CN114549570B - 光学影像与sar影像的融合方法及装置 - Google Patents

光学影像与sar影像的融合方法及装置 Download PDF

Info

Publication number
CN114549570B
CN114549570B CN202210230617.7A CN202210230617A CN114549570B CN 114549570 B CN114549570 B CN 114549570B CN 202210230617 A CN202210230617 A CN 202210230617A CN 114549570 B CN114549570 B CN 114549570B
Authority
CN
China
Prior art keywords
image
point
sar
edge
gray scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210230617.7A
Other languages
English (en)
Other versions
CN114549570A (zh
Inventor
刘方坚
胡玉新
王峰
焦念刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210230617.7A priority Critical patent/CN114549570B/zh
Publication of CN114549570A publication Critical patent/CN114549570A/zh
Application granted granted Critical
Publication of CN114549570B publication Critical patent/CN114549570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开提供一种光学影像与SAR影像的融合方法及装置，方法包括：基于相位一致性检测所述SAR影像的边缘特征，得到所述SAR影像的第一边缘图像；对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射，得到所述SAR影像的强散射目标影像；将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像。

Description

光学影像与SAR影像的融合方法及装置
技术领域
本公开涉及电子信息技术雷达技术领域，特别涉及一种光学影像与SAR影像的融合方法及装置。
背景技术
遥感影像融合中应用最为广泛的是光学影像和合成孔径雷达（SAR）影像，二者的成像方式有所不同——光学影像属于被动成像，能够获取地物精细的结合和纹理特征，但是不易发现伪装目标；SAR影像属于主动成像，能够全天时全天候对目标进行观测，但是往往难以判读。目前针对光学-SAR遥感影像融合的方法较多，包括空域加权的方法、多尺度方法、混合模型法以及新兴的神经网络法。
传统空域加权方法直接将两张图像进行线性加权，获取的结果容易产生相互干扰，导致融合结果出现严重失真，难以进行判读。多尺度方法由于涉及到不同复杂度的变换模型，在变换过程中对计算量的要求较大，在实际工程应用中十分受限。基于神经网络的方法由于需要大量收集大量样本数据进行模型训练和参数调优，前期工作量大；且应用场景受限较为严重，实际工程应用中无法保证算法稳定性。
发明内容
有鉴于此，本公开提供一种光学影像与SAR影像的融合方法，包括：基于相位一致性检测所述SAR影像的边缘特征，得到所述SAR影像的第一边缘图像；对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射，得到所述SAR影像的强散射目标影像；将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
根据本公开的实施例，其中，所述基于相位一致性检测所述SAR影像的边缘特征包括：对所述SAR影像进行滤波，以获取所述SAR影像局部区域各点对应的能量值和频域幅值；对所述SAR影像的噪声进行估计，得到噪声估计值；根据所述局部区域各点对应的能量值和频域幅值以及所述噪声估计值建立所述SAR影像的相位一致性模型；基于所述相位一致性模型检测所述SAR影像的边缘特征。
根据本公开的实施例，其中，所述对所述SAR影像进行滤波包括：利用Gabor滤波器对所述SAR影像进行不同尺度水平的滤波，得到所述SAR影像局部区域各点在不同尺度水平下的能量均值；根据每一点在不同尺度水平下的能量均值计算该点对应的能量值和频域幅值。
根据本公开的实施例，其中，所述对所述SAR影像的噪声进行估计，得到噪声估计值包括：在不同方向，将所述SAR影像的局部区域划分为两个子窗口和一个条带，其中，所述条带位于所述两个子窗口之间；计算所述SAR影像的局部区域灰度值的均值和方差、所述两个子窗口的灰度值、所述条带的灰度值的均值；根据所述SAR影像的局部区域灰度值的均值和方差、所述两个子窗口的灰度值和所述条带的灰度值的均值计算不同方向下所述SAR影像的局部区域的变化系数值；根据所述变化系数值对所述SAR影像的噪声进行估计，得到不同方向下的噪声估计值。
根据本公开的实施例，其中，所述相位一致性模型为：
Figure 592641DEST_PATH_IMAGE001
其中，n表示所述不同尺度，o表示所述不同方向，W o (x,y)为不同方向下位置为(x,y)的点对应的权重系数，E o(x,y)表述不同方向位置为(x,y)的点的能量值，A n表示不同尺度下位置为(x,y)的点的频域幅值，Th 0表示不同方向下的噪声估计值，Σ o表示不同方向求和，Σ n表示不同尺度求和，PC sar (x,y)表示位置为(x,y)的点的梯度，ϵ为修正量。
根据本公开的实施例，其中，所述将所述强散射目标影像与所述光学影像对应点的灰度进行线性加权融合包括：对于所述强散射目标影像的任意一点，在该点的灰度大于预设阈值的情况下，将所述强散射目标影像中该点的灰度与所述光学影像中与该点位置相同的点的灰度进行加权，得到所述融合图像中与该点位置相同的点的灰度；在该点的灰度不大于预设阈值的情况下，将所述光学影像中与该点位置相同的点的灰度作为所述融合图像中与该点位置相同的点的灰度。
根据本公开的实施例，其中，通过公式：
Figure 315747DEST_PATH_IMAGE002
计算强散射目标影像中该点对应的第一权值w 1和所述光学影像中与该点位置相同的点对应的第二权值w 2，其中，(x,y)为该点的位置坐标，H sar (x,y)为所述强散射目标影像中位置为(x,y)的点对应的灰度，H opt (x,y)为光学影像中与位置为(x,y)的点的灰度。
根据本公开的实施例，所述方法还包括：对所述第二边缘图像各点的灰度进行阈值化处理，得到第三边缘图像；以所述第三边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射。
根据本公开的实施例，所述方法还包括：对所述融合图像各点的灰度进行重新量化。
本公开另一方面提供一种光学影像与SAR影像的融合装置，包括：检测模块，用于基于相位一致性检测所述SAR影像的边缘特征，得到所述SAR影像的第一边缘图像；拉伸模块，用于对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；映射模块，用于以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射，得到所述SAR影像的强散射目标影像；融合模块，用于将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
本公开实施例提供的光学影像与SAR影像的融合方法及装置，采用相位一致性进行SAR影像边缘提取，能获取更加稳定的SAR影像的边缘特征，从而最大限度保留目标在可视范围内的散射特性信息。通过对拉伸后的SAR边缘影像与光学影像采用不同的加权融合策略，实现目标散射特性和辐射特性信息的最大化融合，可在保证目标辐射特性的前提下实现散射信息的有机融合，为目标判读等应用提供更有利的数据。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例提供的光学影像与SAR影像的融合方法流程图。
图2示意性示出了根据本公开实施例提供的操作S110的流程图。
图3示意性示出了根据本公开实施例的光学影像与SAR影像的融合装置的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在本公开中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
在本公开的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本公开的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
类似地，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开示例性实施例的描述中，本公开的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
图1示意性示出了根据本公开实施例提供的光学影像与SAR影像的融合方法流程图。
如图1所示，该方法例如可以包括操作S110~操作S114。
在操作S110，基于相位一致性检测SAR影像的边缘特征，得到SAR影像的第一边缘图像。
图2示意性示出了根据本公开实施例提供的操作S110的流程图。
如图2所示，在本公开实施例中，基于相位一致性检测SAR影像的边缘特征例如可以包括操作S111~操作S113。
在操作S111，对SAR影像进行滤波，以获取SAR影像局部区域各点对应的能量值和频域幅值。
在本公开实施例中，可以利用Gabor滤波器对SAR影像进行不同尺度水平的滤波，得到SAR影像局部区域各点在不同尺度水平下的能量均值。根据每一点在不同尺度水平下的能量均值计算该点对应的能量值和频域幅值。
具体的，首先，可以利用Gabor的奇对称和偶对称分量对SAR局部影像进行滤波，其具体表达式如下所示：
Figure 130119DEST_PATH_IMAGE003
其中，ω表示正弦波的频率分量，σ表示高斯模板的大小，t表示偶对称滤波器中直流分量的修正量，γ表示空间纵横比，(x,y)表示二维图像坐标，G e (x,y)表示位置为(x,y)的点的频域幅度，(x',y')表示选中空间中的直线坐标，其表达式如下：
Figure 421423DEST_PATH_IMAGE004
其中，θ表示不同的旋转角度，即 Gabor 滤波核中平行条带的方向。有效值为从0到360度的实数。
然后，再利用奇对称滤波器和偶对称滤波器分别对图像进行卷积操作，得到局部窗口中的能量均值，如下公式所示：
Figure 517817DEST_PATH_IMAGE005
其中，I(x',y' )为原始SAR影像各点对应的幅度，μ e 为偶对称滤波器卷积得到的局部窗口中的能量均值，μ o 为奇对称滤波器卷积得到的局部窗口中的能量均值。
通常来讲，Gabor滤波器奇对称分量存在两部分，偶对称分量存在三部分。因此，将原始图像与滤波器组的希尔伯特变换用两个比值代替，得到如下所示公式：
Figure 716717DEST_PATH_IMAGE006
基于上述公式，可以推导出对应的SAR局部能量模型和局部影像频域幅值，如下所示公式：
Figure 854438DEST_PATH_IMAGE007
其中，n代表不同的尺度水平，对应于不同大小的Gabor窗口。E sar (x,y)表示位置为(x,y)的点的能量值，A n表示不同尺度下位置为(x,y)的点的频域幅值。
在操作S112，对SAR影像的噪声进行估计，得到噪声估计值。
在本公开实施例中，对SAR影像的噪声进行估计的过程例如可以为：在不同方向，将SAR影像的局部区域划分为两个子窗口和一个条带，其中，条带位于所述两个子窗口之间。计算SAR影像的局部区域灰度值的均值和方差、两个子窗口的灰度值、条带的灰度值的均值。根据SAR影像的局部区域灰度值的均值和方差、两个子窗口的灰度值和条带的灰度值的均值计算不同方向下SAR影像的局部区域的变化系数值。根据变化系数值对SAR影像的噪声进行估计，得到不同方向下的噪声估计值。
示例性的，可以借助基于比值的检测算子的思想，在不同方向，将待处理SAR影像局部区域分为边缘两个子窗口和一个中间条带，以建立起局部SAR图像中的变化系数值cv：
Figure 175697DEST_PATH_IMAGE008
其中，μ和σ分别代表局部影像的灰度值的均值和方差，μ 1和μ 2分别表示两个子窗口的灰度均值，μ d 表示中间条带的灰度均值。N和N d 分别表示子窗口和中间条带的宽度。
根据SAR图像噪声阈值与变换系数的相互关系，采用对数加偏的方法构建如下阈值表达式：
Figure 930027DEST_PATH_IMAGE009
其中，o表示不同方向，Th 0表示不同方向下的噪声估计值，α表示控制局部图像变换系数与阈值变化速率的因子，cv s 表示最小尺度上的噪声变换系数。
在操作S113，根据局部区域各点对应的能量值和频域幅值以及噪声估计值建立SAR影像的相位一致性模型。
相位一致性模型为：
Figure 260514DEST_PATH_IMAGE010
其中，n表示所述不同尺度，o表示所述不同方向，W o (x,y)为不同方向下位置为(x,y)的点对应的权重系数，E o(x,y)表述不同方向位置为(x,y)的点的能量值，A n表示不同尺度下位置为(x,y)的点的频域幅值，Th 0表示不同方向下的噪声估计值，Σ o表示不同方向下的求和，Σ n表示不同尺度下的求和，PC sar (x,y)表示位置为(x,y)的点的梯度，ϵ为修正量。
在操作S114，基于相位一致性模型检测SAR影像的边缘特征。
由此，采用相位一致性进行SAR影像边缘提取，能获取更加稳定的SAR影像的边缘特征，从而最大限度保留目标在可视范围内的散射特性信息。
在操作S120，对第一边缘图像进行灰度拉伸，得到第二边缘图像。
示例性的，假设进行SAR影像的边缘图像的灰度值范围分别为：
Figure 987162DEST_PATH_IMAGE011
，则可 以得到灰度拉伸后的影像值与拉伸前的影像值的对应关系如下公式所示：
Figure 417006DEST_PATH_IMAGE012
其中，
Figure 252107DEST_PATH_IMAGE013
为第二边缘图像中位置为(x,y)的点的灰度，
Figure 353662DEST_PATH_IMAGE014
为第一边 缘图像中位置为(x,y)的点的灰度，
Figure 997132DEST_PATH_IMAGE015
和
Figure 535561DEST_PATH_IMAGE016
分别表示第一边缘图像中最大灰度值和 最小灰度值。
进一步地，在灰度拉伸处理后，可以对第二边缘图像各点的灰度进行阈值化处理，得到第三边缘图像，以第三边缘图像各点的灰度对SAR影像对应点的灰度进行映射。对第二边缘图像进行阈值化处理，可以进一步滤除可能残留的部分噪声点的影像，公式如下：
Figure 857958DEST_PATH_IMAGE017
其中，Th表示阈值化处理所设定的阈值，一般以不超过SAR边缘影像最大值的0.1倍为宜。
在操作S130，以第二边缘图像各点的灰度对SAR影像对应点的灰度进行映射，得到SAR影像的强散射目标影像。
具体的，以阈值化处理后的边缘影像
Figure 936773DEST_PATH_IMAGE018
为模板对SAR影像进行映射，映射公式 如下所示：
Figure 762646DEST_PATH_IMAGE019
其中，
Figure 3135DEST_PATH_IMAGE020
表示经过重新映射后的SAR影像所对应的强散射目标影像中位置 为(x,y)的点的灰度，
Figure 953773DEST_PATH_IMAGE021
原始SAR影像中位置为(x,y)的点的灰度。在操作S140，将强 散射目标影像与光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
在本公开实施例中，融合的过程可以为：对于强散射目标影像的任意一点，在该点的灰度大于预设阈值的情况下，将强散射目标影像中该点的灰度与光学影像中与该点位置相同的点的灰度进行加权，得到融合图像中与该点位置相同的点的灰度。在该点的灰度不大于预设阈值的情况下，将光学影像中与该点位置相同的点的灰度作为融合图像中与该点位置相同的点的灰度。
示例性的，假设SAR强散射目标影像和光学影像在点(x,y)处的灰度值分别为H sar (x,y)和H opt (x,y)，按照多模态处理的思想，按照SAR影像中的目标散射特性反映情况对影像重复覆盖区域采用差异化融合策略，具体为：
在目标散射特性强的地方，SAR边缘图像灰度值较高，通常对应于光学图像的边缘部分，两者同时表征了物体的主动反射特性和被动反射特性，采用线性加权的形式将二者进行融合，如下公式所示：
Figure 164175DEST_PATH_IMAGE022
其中，通过公式：
Figure 346019DEST_PATH_IMAGE023
计算强散射目标影像中该点对应的第一权值w 1和所述光学影像中与该点位置相同的点对应的第二权值w 2，其中，(x,y)为该点的位置坐标，H sar (x,y)为所述强散射目标影像中位置为(x,y)的点对应的灰度，H opt (x,y)为光学影像中与位置为(x,y)的点的灰度。
在目标散射特性弱的地方，SAR边缘图像灰度值较低，通常对应光学图像纹理较为单一的目标区域，因此该部分信息主要采用光学影像的信息，融合公式如下所示：
Figure 288568DEST_PATH_IMAGE024
。
在本公开实施例中，该融合方法还可以包括操作S150。
在操作S150，对融合图像各点的灰度进行重新量化。
示例性的，假设融合后的图像灰度值范围为
Figure 195344DEST_PATH_IMAGE025
，通过对融合图像重新 量化，避免因融合后灰度值过大导致的图像异常值显示，公式如下所示：
Figure 615961DEST_PATH_IMAGE026
其中，max_val表示量化后的图像的最大灰度值，
Figure 416427DEST_PATH_IMAGE027
表示重新量化后的融 合图像中位置为(x,y)的点对应的灰度，
Figure 998718DEST_PATH_IMAGE028
表示未量化的融合图像中位置为(x,y) 的点对应的灰度。
通过重新量化融合图像，可以得到光学图像有SAR边缘图像信息的有机融合。
应当理解，SAR影像中的噪声分布通常被认为是乘性噪声，对于SAR影像噪声估计可以有多种不同的方法进行建模，只要采用变换系数法进行噪声估计的方法，即属于本公开权利保护范围。光学影像与SAR边缘影像融合中，线性加权系数可以有多种不同方法来进行计算，而不同算法获得的线性加权系数会导致融合影像的信息量有所差别，对于最终的融合结果产生些微的差异，只要采用线性加权系数融合方法，即属于本公开权利保护范围。
此外，本公开实施例采用通过实际数据的处理示例来验证本公开的处理效果。试验采用高分三号全极化模式SAR影像和高分二号全色影像进行融合测试。其中高分二号全色影像分辨率0.8米，高分三号全极化SAR影像采样间隔为5米，因此首先将两者统一到5米分辨率下进行融合处理。
实验结果得出，本公开实施例的光学影像与SAR影像的融合方法得到的融合图像的清晰度远高于基于小波变换的光学-SAR遥感影像融合得到的融合图像的清晰度。传统小波变换将图像在低频域与高频域融合，但是由于SAR本身的散射特性，高频域易受到噪声的干扰，从而导致最终的融合结果干扰信息多，目视性效果差。本公开的方法从SAR本身辐射特性出发，首先对SAR影像进行处理，保证了有效信息的保留和无效信息的剔除，利用SAR影像中的有效信息进行融合，融合得到的结果既能够拥有较好的目视效果，又能够反映目标的散射特征。
基于同一发明构思，本公开实施例还提供一种光学影像与SAR影像的融合装置。
图3示意性示出了根据本公开实施例提供的光学影像与SAR影像的融合方法流程图。
如图3所示，该光学影像与SAR影像的融合装置300例如可以包括：
检测模块310，用于基于相位一致性检测所述SAR影像的边缘特征，得到所述SAR影像的第一边缘图像。
拉伸模块320，用于对第一边缘图像进行灰度拉伸，得到第二边缘图像；
映射模块330，用于以第二边缘图像各点的灰度对SAR影像对应点的灰度进行映射，得到SAR影像的强散射目标影像。
融合模块340，用于将强散射目标影像与光学影像位置对应点的灰度进行线性加权融合，得到融合图像。
应当理解，装置实施例部分具体实施细节与方法实施例部分对应，此处不再赘述。
综上所述，根据本公开实施例提供的光学影像与SAR影像的融合方法及装置，既保留了原始光学影像应用范围广和易于解读的特点，又将SAR影像反映的目标散射特征得以保留，且流程简便易于工程化实现，能够最大限度地将光学影像和SAR影像的信息量保留了下来，克服了传统方法的不足。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (7)

1.一种光学影像与SAR影像的融合方法，包括：
基于相位一致性模型 检测所述SAR影像的边缘特征，得到所述SAR影像的第一边缘图像；
对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；
以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射，得到所述SAR影像的强散射目标影像；其中，所述以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射包括：对所述第二边缘图像各点的灰度进行阈值化处理，以阈值化处理后的边缘影像为模板对SAR影像进行映射，映射公式如下所示：
Figure FDA0003820469620000011
其中，
Figure FDA0003820469620000012
表示经过重新映射后的SAR影像所对应的强散射目标影像中位置为(x，y)的点的灰度，
Figure FDA0003820469620000013
原始SAR影像中位置为(x，y)的点的灰度，
Figure FDA0003820469620000014
为阈值化处理后的边缘影像中位置为(x，y)的点的灰度；
将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像，包括：对于所述强散射目标影像的任意一点，在该点的灰度大于预设阈值的情况下，将所述强散射目标影像中该点的灰度与所述光学影像中与该点位置相同的点的灰度进行加权，得到所述融合图像中与该点位置相同的点的灰度；在该点的灰度不大于预设阈值的情况下，将所述光学影像中与该点位置相同的点的灰度作为所述融合图像中与该点位置相同的点的灰度。
2.根据权利要求1所述的光学影像与SAR影像的融合方法，其中，所述基于相位一致性模型 检测所述SAR影像的边缘特征包括：
对所述SAR影像进行滤波，以获取所述SAR影像局部区域各点对应的能量值和频域幅值；
对所述SAR影像的噪声进行估计，得到噪声估计值；
根据所述局部区域各点对应的能量值和频域幅值以及所述噪声估计值建立所述SAR影像的相位一致性模型；
基于所述相位一致性模型检测所述SAR影像的边缘特征。
3.根据权利要求2所述的光学影像与SAR影像的融合方法，其中，所述对所述SAR影像进行滤波包括：
利用Gabor滤波器对所述SAR影像进行不同尺度水平的滤波，得到所述SAR影像局部区域各点在不同尺度水平下的能量均值；
根据每一点在不同尺度水平下的能量均值计算该点对应的能量值和频域幅值。
4.根据权利要求1所述的光学影像与SAR影像的融合方法，其中，所述相位一致性模型为：
Figure FDA0003820469620000021
其中，n表示不同尺度，o表示不同方向，Wo(x，y)为不同方向下位置为(x，y)的点对应的权重系数，Eo(x，y)表述不同方向位置为(x，y)的点的能量值，An表示不同尺度下位置为(x，y)的点的频域幅值，Th0表示不同方向下的噪声估计值，∑o表示不同方向下的求和，∑n表示不同尺度下的求和，PCsar(x，y)表示位置为(x，y)的点的梯度，∈为修正量。
5.根据权利要求1所述光学影像与SAR影像的融合方法，其中，通过公式：
Figure FDA0003820469620000022
计算所述强散射目标影像中该点对应的第一权值w1和所述光学影像中与该点位置相同的点对应的第二权值w2，其中，(x，y)为该点的位置坐标，Hsar(x，y)为所述强散射目标影像中位置为(x，y)的点对应的灰度，Hopt(x，y)为光学影像中与位置为(x，y)的点的灰度。
6.根据权利要求1所述光学影像与SAR影像的融合方法，所述方法还包括：
对所述融合图像各点的灰度进行重新量化。
7.一种光学影像与SAR影像的融合装置，包括：
检测模块，用于基于相位一致性检测所述SAR影像的边缘特征，得到所述SAR影像的第一边缘图像；
拉伸模块，用于对所述第一边缘图像进行灰度拉伸，得到第二边缘图像；
映射模块，用于以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射，得到所述SAR影像的强散射目标影像；其中，所述以所述第二边缘图像各点的灰度对所述SAR影像对应点的灰度进行映射包括：对所述第二边缘图像各点的灰度进行阈值化处理，以阈值化处理后的边缘影像为模板对SAR影像进行映射，映射公式如下所示：
Figure FDA0003820469620000031
其中，
Figure FDA0003820469620000032
表示经过重新映射后的SAR影像所对应的强散射目标影像中位置为(x，y)的点的灰度，
Figure FDA0003820469620000033
原始SAR影像中位置为(x，y)的点的灰度，
Figure FDA0003820469620000034
为阈值化处理后的边缘影像中位置为(x，y)的点的灰度；
融合模块，用于将所述强散射目标影像与所述光学影像位置对应点的灰度进行线性加权融合，得到融合图像，包括：对于所述强散射目标影像的任意一点，在该点的灰度大于预设阈值的情况下，将所述强散射目标影像中该点的灰度与所述光学影像中与该点位置相同的点的灰度进行加权，得到所述融合图像中与该点位置相同的点的灰度；在该点的灰度不大于预设阈值的情况下，将所述光学影像中与该点位置相同的点的灰度作为所述融合图像中与该点位置相同的点的灰度。
CN202210230617.7A 2022-03-10 2022-03-10 光学影像与sar影像的融合方法及装置 Active CN114549570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210230617.7A CN114549570B (zh) 2022-03-10 2022-03-10 光学影像与sar影像的融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210230617.7A CN114549570B (zh) 2022-03-10 2022-03-10 光学影像与sar影像的融合方法及装置

Publications (2)

Publication Number Publication Date
CN114549570A CN114549570A (zh) 2022-05-27
CN114549570B true CN114549570B (zh) 2022-10-18

Family

ID=81663013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210230617.7A Active CN114549570B (zh) 2022-03-10 2022-03-10 光学影像与sar影像的融合方法及装置

Country Status (1)

Country Link
CN (1) CN114549570B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126811A (zh) * 2007-09-29 2008-02-20 北京交通大学 一种从sar图像上探测湖岸线及提取湖泊轮廓的方法
CN101853498A (zh) * 2009-03-31 2010-10-06 华为技术有限公司 图像合成方法及图像处理装置
CN102306375A (zh) * 2011-08-31 2012-01-04 北京航空航天大学 一种sar与可见光像素级融合图像的分割方法
CN105844625A (zh) * 2016-03-18 2016-08-10 常州大学 一种融合边缘和区域的活动轮廓图像分割方法
CA2897541A1 (en) * 2015-07-17 2017-01-17 Christoph H. Gierull Processing synthetic aperture radar images for ship detection
CN107464230A (zh) * 2017-08-23 2017-12-12 京东方科技集团股份有限公司 图像处理方法及装置
CN110766706A (zh) * 2019-09-26 2020-02-07 深圳市景阳信息技术有限公司 图像融合方法、装置、终端设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457437B2 (en) * 2010-03-23 2013-06-04 Raytheon Company System and method for enhancing registered images using edge overlays
US9934578B2 (en) * 2016-08-15 2018-04-03 Macau University Of Science And Technology Method for edge detection
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126811A (zh) * 2007-09-29 2008-02-20 北京交通大学 一种从sar图像上探测湖岸线及提取湖泊轮廓的方法
CN101853498A (zh) * 2009-03-31 2010-10-06 华为技术有限公司 图像合成方法及图像处理装置
CN102306375A (zh) * 2011-08-31 2012-01-04 北京航空航天大学 一种sar与可见光像素级融合图像的分割方法
CA2897541A1 (en) * 2015-07-17 2017-01-17 Christoph H. Gierull Processing synthetic aperture radar images for ship detection
CN105844625A (zh) * 2016-03-18 2016-08-10 常州大学 一种融合边缘和区域的活动轮廓图像分割方法
CN107464230A (zh) * 2017-08-23 2017-12-12 京东方科技集团股份有限公司 图像处理方法及装置
CN110766706A (zh) * 2019-09-26 2020-02-07 深圳市景阳信息技术有限公司 图像融合方法、装置、终端设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAR and Infrared Image Fusion Using Nonsubsampled Contourlet Transform;Ying Zhang 等;《2009 International Joint Conference on Artificial Intelligence》;20091231;全文 *
SAR-PC: Edge Detection in SAR Images via an Advanced Phase Congruency Model;Yuming Xiang 等;《MDPI》;20170225;全文 *
基于双特征量和 NSCT的多波段SAＲ图像融合算法;宋元强 等;《信号处理》;20200630;全文 *

Also Published As

Publication number Publication date
CN114549570A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US20070223815A1 (en) Feature Weighted Medical Object Contouring Using Distance Coordinates
CN109919870B (zh) 一种基于bm3d的sar图像相干斑抑制方法
CN102324021A (zh) 一种基于剪切波变换的红外弱小目标检测方法
CN108550145B (zh) 一种sar图像质量评估方法和装置
JP2012523030A (ja) 同一領域上で取得されたｓａｒ画像における統計的に均質な画素を識別するための方法
CN104200471A (zh) 基于自适应权值图像融合的sar图像变化检测方法
Igbinosa Comparison of edge detection technique in image processing techniques
CN108335310B (zh) 一种便携式粒形粒度检测方法及系统
CN103871031A (zh) 基于核回归的sar图像相干斑抑制
Lu et al. Congruence conditions for nonplanar developable surfaces and their application to surface recognition
CN109712156A (zh) 一种低错误率的sar图像边缘检测方法
CN114549570B (zh) 光学影像与sar影像的融合方法及装置
CN116862829A (zh) 一种覆冰环境下架空线路弧垂监测方法及装置
Wang et al. An edge-preserving adaptive image denoising
CN104574428B (zh) 一种sar图像入射角估算方法
Potocnik et al. Image enhancement by using directional wavelet transform
CN108710816B (zh) 一种基于概率融合的极化sar图像建筑物检测方法
CN115984246A (zh) 基于机器视觉的缺陷快速检测方法及装置、设备、存储介质
CN112698330B (zh) 基于比值对数积的极化sar图像非局部均值方法
CN104063864A (zh) 基于四元相位叠合模型的图像模糊度评估方法
Silvetti et al. Quadratic self-correlation: An improved method for computing local fractal dimension in remote sensing imagery
CN110136128A (zh) 基于Rao检验的SAR影像变化检测方法
Xue et al. Ionogram echo extraction based on the convolutional neural networks
CN108648202A (zh) 一种带补偿策略的火山口形sar图像边缘检测方法
Slabaugh et al. Information-theoretic feature detection in ultrasound images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant