CN115100446A - 一种sar与可见光遥感图像匹配的相似性度量方法 - Google Patents

一种sar与可见光遥感图像匹配的相似性度量方法 Download PDF

Info

Publication number
CN115100446A
CN115100446A CN202210726979.5A CN202210726979A CN115100446A CN 115100446 A CN115100446 A CN 115100446A CN 202210726979 A CN202210726979 A CN 202210726979A CN 115100446 A CN115100446 A CN 115100446A
Authority
CN
China
Prior art keywords
texture
sar
image
visible light
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210726979.5A
Other languages
English (en)
Inventor
李璋
王钦炜
滕锡超
江云天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210726979.5A priority Critical patent/CN115100446A/zh
Publication of CN115100446A publication Critical patent/CN115100446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种SAR与可见光遥感图像匹配的相似性度量方法，包括：获取SAR图像的纹理丰富度特征图；对纹理丰富度特征图阈值化为二值掩模，区分纹理密集区域与无纹理区域；在SAR与可见光遥感图像上的二值掩模相应区域均匀收集单元特征描述符，得到第一特征向量与第二特征向量；基于第一特征向量与第二特征向量，得到SAR与可见光遥感图像的相似性度量。本发明应用于图像处理领域，基于场景的纹理丰富度特征生成掩模，利用场景中纹理密集区域的有效信息并剔除无纹理区域的干扰信息来计算相似性度量，有效解决了现有基于相似性度量的SAR与可见光异源图像匹配方法在非均匀纹理分布场景中构建的特征描述符性能差的问题。

Description

一种SAR与可见光遥感图像匹配的相似性度量方法
技术领域
本发明涉及图像处理技术领域，涉及多模态遥感图像匹配方法，具体是一种基于纹理丰富度的SAR与可见光遥感图像匹配的相似性度量方法。
背景技术
高精度的多模态遥感图像匹配技术在诸多领域有着重要的应用前景，例如遥感图像融合、变化检测、飞行器视觉导航等。遥感图像覆盖区域广且场景复杂多样，给高精度多模态遥感图像匹配带来挑战。SAR与可见光图像匹配是多模态图像匹配的典型问题，遥感常见的非均匀纹理分布场景(港口、岛屿等)中，由于SAR图像无纹理区域的干扰(海面散斑噪声等)，会显著降低常用多模态图像匹配方法的精度。
常用的多模态匹配方法之一是基于特征图匹配的方法，在定义了图像中的模板窗口后，通过使用基于特征图的相似性度量来搜索其他图像上的相应窗口。Heinrich等(Heinrich M P,Jenkinson M,Bhushan M,et al.MIND:Modality independentneighborhood descriptor for multi-modal deformable registration[J].Medicalimage analysis,2012,16(7):1423-1435.)提出一种称为模态无关邻域描述符(MIND)来提取局部邻域中的独特结构以生成描述向量。该方法将不同模态的图像转换到MIND特征描述域，并通过基于特征描述域的平方差之和(SSD)度量图像间差异来引导匹配过程，但该描述符并不能完全抑制多模态之间的强烈对比度变化的影响，计算复杂度非常高。
Li Z等(Li Z,Mahapatra D,Tielbeek JAW,et al.Image registration basedon autocorrelation oflocal structure[J].IEEE transactions on medical imaging,2015,35(1):63-75.)提出了一种局部结构自相关(ALOST)的结构描述符。该方法使用相位一致性和平均相位信息代替了MIND结构描述符中的强度信息，相位信息被证明了对对比度变化不敏感，基于此描述符的图像配准性能对受到强烈的空间变化强度失真和大空间变形得到改进，但同样计算复杂度较高。
Ye Y等(Ye Y,Shan J,Bruzzone L,et al.Robust registration of multimodalremote sensing images based on structural similarity[J].IEEE Transactions onGeoscience and Remote Sensing,2017,55(5):2941-2958.)提出了一种将相位一致性与方向直方图策略集成在一起的结构特性描述符，称为HOPC。首先通过基于分块Harris算子和前k选择检测兴趣点，然后在这些兴趣点周围应用快速模板匹配方案。将HOPC描述符的NCC定义了一个名为HOPCncc的相似性度量，以指导匹配过程。通过投影变换模型中的全局约束消除不可靠的匹配，该方法匹配精度高，但结构描述符的计算复杂度较高。
从原理上分析，以上用于多模态图像匹配的描述符是针对图像间非线性强度差异和对比度变化设计的，均可运用在SAR与可见光图像匹配中，但上述方法未考虑遥感图像中常见的非均匀纹理分布所带来的严峻挑战，常用基于相似性度量的多模态图像匹配方法不会区分纹理密集与无纹理区域，当无纹理区域构建的描述符参与匹配计算时，会显著降低全图的匹配精度。
发明内容
针对上述现有技术中的不足，本发明提供一种SAR与可见光遥感图像匹配的相似性度量方法，用于提高存在非均匀纹理分布场景的SAR与可见光遥感图像的匹配精度。该方法基于场景的纹理丰富度特征生成掩模，利用场景中纹理密集区域的有效信息并剔除无纹理区域的干扰信息来计算相似性度量，有效解决了现有基于相似性度量的SAR与可见光异源图像匹配方法在非均匀纹理分布场景中构建的特征描述符性能差的问题。
为实现上述目的，本发明提供一种SAR与可见光遥感图像匹配的相似性度量方法，包括如下步骤：
步骤1，获取SAR图像上每个像素点的纹理丰富度，得到以纹理丰富度为特征的纹理丰富度特征图；
步骤2，对纹理丰富度特征图阈值化为二值掩模，区分SAR图像场景中的纹理密集区域与无纹理区域；
步骤3，在SAR图像上的纹理密集区域均匀收集单元特征描述符，合并为第一特征向量；在可见光遥感图像上二值掩模的相应区域均匀收集单元特征描述符，合并为第二特征向量；
步骤4，基于第一特征向量与第二特征向量，得到SAR与可见光遥感图像的相似性度量，并使用模板匹配策略确定SAR与可见光遥感图像之间的变换矩阵。
在其中一个实施例，步骤2中，所述对纹理丰富度特征图阈值化为二值掩模，具体为：
将纹理丰富度特征图上各像素点的纹理丰富度通过最大值与最小值归一化到[0,1]的范围；
采用阈值TR_THRESH对归一化后的纹理丰富度特征图进行阈值分割：
将归一化后的纹理丰富度特征图中纹理丰富度大于或等于阈值TR_THRESH的像素点的纹理丰富度置为1；
将归一化后的纹理丰富度特征图中纹理丰富度小于阈值TR_THRESH的像素点的纹理丰富度置为0；
其中，纹理丰富度特征图中纹理丰富度置为1的区域即为纹理密集区域，纹理丰富度置为0的区域即为无纹理区域。
在其中一个实施例，步骤3中，所述第一特征向量与第二特征向量的获取过程为：
以d个像素为间隔，在SAR图像上的纹理密集区域均匀收集单元特征描述符feat_desp_sar，合并为最终的第一特征向量VA，为：
Figure BDA0003713580520000031
以d个像素为间隔，在可见光遥感图像上二值掩模的相应区域均匀收集单元特征描述符feat_desp_opt，合并为最终的第二特征向量VB，为：
Figure BDA0003713580520000032
式中，TR_MASK为纹理丰富度特征图阈值化后的二值掩模。
在其中一个实施例，步骤4中，所述SAR与可见光遥感图像的相似性度量，具体为：
Figure BDA0003713580520000033
式中，TRncc为SAR与可见光遥感图像的相似性度量，VA(k)为第一特征向量中的第k个单元特征描述符，
Figure BDA0003713580520000034
为第一特征向量中所有单元特征描述符的均值，VB(k)为第二特征向量中的第k个单元特征描述符，
Figure BDA0003713580520000035
为第二特征向量中所有单元特征描述符的均值，n为第一特征向量、第二特征向量中单元特征描述符的总数。
在其中一个实施例，步骤1中，所述获取SAR图像上每个像素点的纹理丰富度，具体包括：
步骤1.1，对SAR图像ISAR进行散斑抑制，得到滤波后的图像ISR；
步骤1.2，对图像ISR进行卷积，由卷积响应的幅值与相位得到图像ISR上各像素点在多个方向上的相位一致性响应；
步骤1.3，计算图像ISR上每一个像素点相位一致性响应的协方差矩阵，并基于协方差矩阵得到各像素点的最大矩；
步骤1.4，基于图像ISR上各像素点的最大矩，得到各像素点对应的纹理丰富度。
在其中一个实施例，步骤1.2具体为：
采用多尺度与方向上的Log-Gabor小波对图像ISR进行滤波，通过滤波器的实部
Figure BDA0003713580520000046
和虚部
Figure BDA0003713580520000047
对图像ISR卷积得到尺度n和方向o上的响应eno(x,y)和ono(x,y)，计算得到在方向o上的幅值与相位，为：
Figure BDA0003713580520000041
φno(x,y)＝arctan(eno(x,y),ono(x,y))
式中，Ao(x,y)为图像ISR上像素点(x,y)在方向o上的幅值，φno(x,y)为图像ISR上像素点(x,y)在方向o上的相位；
基于幅值与相位计算相位一致性响应，为：
Figure BDA0003713580520000042
式中，PCo(x,y)图像ISR上像素点(x,y)在方向o上的相位一致性响应，Wo(x,y)为通过sigmoid函数应用于滤波器响应扩展值构造的加权函数，T为噪声阈值，ΔΦno(x,y)为一个更敏感的相位偏差，ε为一个小常数，以避免被零除。
在其中一个实施例，步骤1.3具体为：
首先，将ISR上像素点(x,y)在每个方向的相位一致性响应投影到x和y分量，为：
Figure BDA0003713580520000043
Figure BDA0003713580520000044
式中，PCx(x,y)、PCy(x,y)分别为像素点(x,y)的相位一致性响应在x、y方向上的分量，θo为方向o对应的角度，θo∈θ，θ为所有方向对应角度的集合；
其次，基于PCx(x,y)、PCy(x,y)得到像素点(x,y)相位一致性响应的协方差矩阵，为：
Figure BDA0003713580520000045
式中，G(x,y)为像素点(x,y)相位一致性响应的协方差矩阵；
最后，协方差矩阵G(x,y)的最大奇异值对应的最大矩，即为像素点(x,y)的最大矩M(x,y)。
在其中一个实施例，步骤1.4具体为：
将最大矩的强度值作为边缘特征的权重，其强度值即为边缘的权重，在大小为N×N的局部区域计算纹理丰富度，为：
Figure BDA0003713580520000051
式中，TR(x,y)为像素点(x,y)的纹理丰富度，M(x+i,y+j)为像素点(x+i,y+j)的最大矩。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过分析非均匀纹理分布场景的特点，设计纹理丰富度阈值标记场景中的纹理密集和无纹理区域，利用场景中纹理密集区域的有效信息并剔除无纹理区域的干扰信息来计算相似性度量，有效解决了现有基于相似性度量的SAR与可见光异源图像匹配方法在非均匀纹理分布场景中构建的特征描述符性能差的问题；
2、本发明中涉及的SAR与可见光图像匹配方法的相似性度量可基于不同的特征描述符计算，并可根据实际匹配任务进行改进；
3、本发明原理简单，易于实现，由于纹理丰富度划分场景中纹理密集和无纹理区域的有效性，可以将该发明应用于各类非均匀纹理分布场景的匹配任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中非均匀纹理分布的SAR与可见光遥感图像的示意图，其中：(a)为港口的高分辨率星载SAR影像、(b)为岛屿的高分辨率星载SAR影像、(c)为信息缺失的高分辨率星载SAR影像、(a′)为港口的高分辨率光学遥感影像、(b′)为岛屿的高分辨率光学遥感影像、(c′)为信息缺失的高分辨率光学遥感影像；
图2为本发明实施例中相似性度量方法的流程图；
图3为本实施例中散斑抑制的效果示意图，其中：(a)为散斑抑制前的SAR图像，(b)为散斑抑制后的SAR图像；
图4为本实施例中相位一致性响应的效果示意图，其中：(a)为第1个方向上的相位一致性响应示意图，(b)为第2个方向上的相位一致性响应示意图，(c)为第3个方向上的相位一致性响应示意图，(d)为第4个方向上的相位一致性响应示意图，(e)为第5个方向上的相位一致性响应示意图，(f)为第6个方向上的相位一致性响应示意图；
图5为本实施例中的最大矩图；
图6为本实施例中的纹理丰富度特征图；
图7为本实施例中单元特征描述符收集示意图；
图8为常规方法的单元特征描述符收集示意图；
图9为示例中的特征图，其中：(a)、(b)为两幅港口的SAR图像，(a′)、(b′)为与之对应的纹理丰富度特征图；(c)、(d)为两幅岛屿的SAR图像，(c′)、(d′)为与之对应的纹理丰富度特征图；(e)、(f)为两幅信息缺失的SAR图像，(e′)、(f′)为与之对应的纹理丰富度特征图；
图10为示例中的掩模图，其中：(a)、(b)、(c)分别为港口、岛屿、信息缺失的SAR图像，(a-1)、(b-1)、(c-1)分别为TR_THRESH＝0.1时(a)、(b)、(c)对应的掩模图，(a-2)、(b-2)、(c-2)分别为TR_THRESH＝0.25时(a)、(b)、(c)对应的掩模图，(a-3)、(b-3)、(c-3)分别为TR_THRESH＝0.5时(a)、(b)、(c)对应的掩模图；
图11为示例中非均匀纹理分布的图像对上计算的CMR与纹理丰富度阈值TR_THRESH的关系示意图；
图12为示例中非均匀纹理分布的图像对上计算的RMSE与纹理丰富度阈值TR_THRESH的关系示意图；
图13为示例中非均匀纹理分布的图像对上的运行时间和特征向量长度与纹理丰富度阈值TR_THRESH的关系示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本实施例公开了一种基于纹理丰富度的SAR与可见光遥感图像匹配的相似性度量方法，用于提高存在非均匀纹理分布的SAR与可见光遥感图像的匹配精度。非均匀纹理分布的SAR与可见光遥感图像如图1所示。其中，图1(a)、图1(b)、图1(c)分别为高分辨率星载SAR影像，图1(a′)、图1(b′)、图1(c′)分别为高分辨率光学遥感影像；分辨率重采样到相同的5m，SAR与可见光遥感图像对已经使用地理配准技术和大尺寸模板匹配方法对齐。展示的是三种典型的非均匀纹理分布的场景，分别为港口、海岛和信息缺失，三类图像均有纹理分布不均的场景特点。在具体应该过程中，本实施例中的方法基于场景的纹理丰富度特征生成掩模，利用场景中纹理密集区域的有效信息并剔除无纹理区域的干扰信息来计算相似性度量，有效解决了现有基于相似性度量的SAR与可见光异源图像匹配方法在非均匀纹理分布场景中构建的特征描述符性能差的问题。
参考图2，本实施例中基于纹理丰富度的SAR与可见光遥感图像匹配的相似性度量方法具体包括如下步骤：
步骤1，获取SAR图像上每个像素点的纹理丰富度，得到以纹理丰富度为特征的纹理丰富度特征图，其过程为：
步骤1.1，对SAR图像ISAR进行散斑抑制，得到滤波后的图像ISR，即图3所示。SAR图像散斑抑制能够在尽可能保留细节的前提下去除相干图像ISAR中的乘性噪声，获得一幅质量较好的SAR图像ISR，为下一步提取纹理特征做准备，根据SAR图像质量，可调整滤波器窗口w，若散斑噪声较强可增大窗口尺寸，若想保留更多纹理细节则减小窗口尺寸，最后得到滤波后的图像ISR为：
ISR＝speckle_reduction(ISAR,w,params)
式中，speckle_reduction(·)表示任意一种现有的SAR图像散斑抑制方法，params表示该散斑抑制方法的可调整参数。
步骤1.2，对图像ISR进行卷积，由卷积响应的幅值与相位得到图像ISR上各像素点在多个方向上的相位一致性响应。本实施例中分别计算6个方向上的相位一致性响应，即图4所示，其中图4(a)为第1个方向上的相位一致性响应示意图，图4(b)为第2个方向上的相位一致性响应示意图，图4(c)为第3个方向上的相位一致性响应示意图，图4(d)为第4个方向上的相位一致性响应示意图，图4(e)为第5个方向上的相位一致性响应示意图，图4(f)为第6个方向上的相位一致性响应示意图。在具体实施过程中，各个方向上相位一致性响应的计算过程具体为：
将滤波后图像ISR作为一组Log-Gabor小波的输入进行卷积，由卷积响应的幅值幅值与相位进一步计算相位一致性响应；
其中，通过滤波器的实部
Figure BDA0003713580520000081
和虚部
Figure BDA0003713580520000082
对图像ISR卷积得到尺度n和方向o上的响应eno(x,y)和ono(x,y)，计算得到在方向o上的幅值与相位，为：
Figure BDA0003713580520000083
φno(x,y)＝arctan(eno(x,y),ono(x,y))
式中，Ao(x,y)为图像ISR上像素点(x,y)在方向o上的幅值，φno(x,y)为图像ISR上像素点(x,y)在方向o上的相位；
再基于幅值与相位计算相位一致性响应，为：
Figure BDA0003713580520000084
Figure BDA0003713580520000085
Figure BDA0003713580520000086
Figure BDA0003713580520000091
Figure BDA0003713580520000092
式中，PCo(x,y)图像ISR上像素点(x,y)在方向o(o＝1～6)上的相位一致性响应，Wo(x,y)为通过sigmoid函数应用于滤波器响应扩展值构造的加权函数，T为噪声阈值，ΔΦno(x,y)为一个更敏感的相位偏差，ε为一个小常数，以避免被零除，E(x,y)为局部能量函数。
步骤1.3，计算图像ISR上每一个像素点相位一致性响应的协方差矩阵，并基于协方差矩阵得到各像素点的最大矩，即图5所示。其具体实施过程为：
首先，将ISR上像素点(x,y)在每个方向的相位一致性响应投影到x和y分量，为：
Figure BDA0003713580520000093
Figure BDA0003713580520000094
式中，PCx(x,y)、PCy(x,y)分别为像素点(x,y)的相位一致性响应在x、y方向上的分量，θo为方向o对应的角度，θo∈θ，θ为所有方向对应角度的集合；
其次，基于PCx(x,y)、PCy(x,y)构建图像上每个像素点相位一致性响应的协方差矩阵，为：
Figure BDA0003713580520000095
式中，G(x,y)为像素点(x,y)相位一致性响应的协方差矩阵；
最后，协方差矩阵G(x,y)的最大奇异值对应的最大矩，即为像素点(x,y)的最大矩M(x,y)。
步骤1.4，基于图像ISR上各像素点的最大矩，得到各像素点对应的纹理丰富度，其具体实施方式为：
依据边缘密度的设计思路，将最大矩的强度值作为边缘特征的权重，其强度值即为边缘的权重，在大小为N×N的局部区域计算纹理丰富度，为：
Figure BDA0003713580520000096
式中，TR(x,y)为像素点(x,y)的纹理丰富度，M(x+i,y+j)为像素点(x+i,y+j)的最大矩，本实施例中，将N的默认值设置为21，能够表征局部纹理分布的前提下对噪声不敏感，另外可以通过添加高斯权重进一步滤除噪声；
在得到图像ISR上每个像素点的纹理丰富度TR后，最终得到与图像ISR相同尺寸的纹理丰富度特征图，即图6所示。
步骤2，对纹理丰富度特征图阈值化为二值掩模TR_MASK，区分SAR图像场景中的纹理密集区域与无纹理区域，其过程为：
将纹理丰富度特征图上各像素点的纹理丰富度通过最大值与最小值归一化到[0,1]的范围；
采用阈值TR_THRESH对归一化后的纹理丰富度特征图进行阈值分割：
将归一化后的纹理丰富度特征图中纹理丰富度大于或等于阈值TR_THRESH的像素点的纹理丰富度置为1；
将归一化后的纹理丰富度特征图中纹理丰富度小于阈值TR_THRESH的像素点的纹理丰富度置为0；
其中，纹理丰富度特征图中纹理丰富度置为1的区域即为纹理密集区域，纹理丰富度置为0的区域即为无纹理区域。
步骤3，在SAR图像上的纹理密集区域均匀收集单元特征描述符，合并为第一特征向量；在可见光遥感图像上二值掩模为1的相应区域均匀收集单元特征描述符，合并为第二特征向量，其具体实施过程为：
以几个像素的间隔d(通常为密集特征描述符的单元半径)在密集特征描述符被TR_MASK标记为有效纹理的区域上均匀收集单元特征描述符feat_desp，合并为最终的特征向量V，如图7所示，相较于图8所示的常规特征描述符提取方法，本实施例方法能够有效地剔除无纹理区域的干扰信息。因此第一特征向量与第二特征向量的获取过程为：
以d个像素为间隔，在SAR图像上的纹理密集区域均匀收集单元特征描述符feat_desp_sar，合并为最终的第一特征向量VA，为：
Figure BDA0003713580520000101
以d个像素为间隔，在可见光遥感图像上二值掩模的相应区域均匀收集单元特征描述符feat_desp_opt，合并为最终的第二特征向量VB，为：
Figure BDA0003713580520000111
式中，TR_MASK为纹理丰富度特征图阈值化后的二值掩模。
需要注意的是，本实施例中的单元特征描述符的种类可根据实际需求替换，其种类包括但不限于MIND描述符、ALOST描述符与HOPC描述符。
步骤4，基于第一特征向量与第二特征向量，得到SAR与可见光遥感图像的相似性度量，并使用模板匹配策略确定SAR与可见光遥感图像之间的变换矩阵。
SAR与可见光遥感图像的相似性度量具体为：
Figure BDA0003713580520000112
式中，TRncc为SAR与可见光遥感图像的相似性度量，VA(k)为第一特征向量中的第k个单元特征描述符，
Figure BDA0003713580520000113
为第一特征向量中所有单元特征描述符的均值，VB(k)为第二特征向量中的第k个单元特征描述符，
Figure BDA0003713580520000114
为第二特征向量中所有单元特征描述符的均值，n为第一特征向量、第二特征向量中单元特征描述符的总数；
在得到SAR与可见光遥感图像的相似性度量TRncc后，将TRncc作为模板窗口之间的相似性度量，使用模板匹配策略在搜索区域内检测对应点，进而可以确定两个图像之间的变换矩阵。
需要注意的是，因为本发明作为模板匹配中的相似性度量方法，所以需要集成到现有的多模态图像匹配方法上，然后才能应用在实际的SAR与可见光图像匹配任务。且本发明可以在包含非均匀纹理分布场景的SAR与可见光遥感数据集上进行测试。
下面结合具体的示例对本发明中基于纹理丰富度的SAR与可见光遥感图像匹配的相似性度量方法作出进一步的说明。
首先展示本发明中提出的纹理丰富度特征以及生成的掩模，在非均匀纹理分布图像上的可视化结果。即图9-10所示，其中：图9(a)、图9(b)为两幅港口的SAR图像，图9(a′)、图9(b′)为与之对应的纹理丰富度特征图；图9(c)、图9(d)为两幅岛屿的SAR图像，图9(c′)、图9(d′)为与之对应的纹理丰富度特征图；图9(e)、图9(f)为两幅信息缺失的SAR图像，图9(e′)、图9(f′)为与之对应的纹理丰富度特征图。图10(a)、图10(b)、图10(c)分别为港口、岛屿、信息缺失的SAR图像，图10(a-1)、图10(b-1)、图10(c-1)分别为TR_THRESH＝0.1时图10(a)、图10(b)、图10(c)对应的掩模图，图10(a-2)、图10(b-2)、图10(c-2)分别为TR_THRESH＝0.25时图10(a)、图10(b)、图10(c)对应的掩模图，图10(a-3)、图10(b-3)、图10(c-3)分别为TR_THRESH＝0.5时图10(a)、图10(b)、图10(c)对应的掩模图。
由图10可见，提出的纹理丰富度掩模能够有效划分场景中纹理密集与无纹理区域(海面或图像缺失)。本发明中提出的相似性度量方法集成在HOPC模板匹配上，记为HOPC-TRncc，以下对本发明提供的方法(实施例)和原始HOPC方法中的相似性度量HOPCncc(对比例)进行结果对比，对比实验使用海南地区TerraSAR-X卫星采集高分辨率星载SAR图像与谷歌地图光学图像的非均匀纹理分布的图像对。使用图像匹配研究领域常用的正确匹配率(CMR)、均方根误差(RMSE)和运行时间作为评价指标，具体定义如下：
CMR＝NCM/C
Figure BDA0003713580520000121
式中，NCM表示正确匹配的点对数，C为匹配点对总数，(xi,yi)为第i个兴趣点计算的对应点坐标，(xo,yo)表示对应点的坐标真值。
图11-13表示使用HOPCncc与本发明中提出的相似性度量HOPC-TRncc的匹配性能比较，其中，图11为非均匀纹理分布的图像对上计算的CMR与纹理丰富度阈值TR_THRESH的关系示意图，图12为非均匀纹理分布的图像对上计算的RMSE与纹理丰富度阈值TR_THRESH的关系示意图，图13为非均匀纹理分布的图像对上的运行时间和特征向量长度与纹理丰富度阈值TR_THRESH的关系示意图。通过CMR、RMSE指标对比方法的匹配精度，运行时间可以对比方法的计算效率。相比其它方法，本发明提供的方法的匹配精度更高，CMR值相比HOPCncc提高11个百分点，RMSE值降低超过0.16像素的偏差，由于特征向量长度的显著减小导致运行时间减少了50％以上，表示本发明中提出的相似性度量精度更高同时计算速度更快。本发明提供的方法的结果中使用相似性度量检测CP更精确也更快速，因此可以证明本发明能够提供一种针对非均匀纹理场景的更有效的相似性度量。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，包括如下步骤：
步骤1，获取SAR图像上每个像素点的纹理丰富度，得到以纹理丰富度为特征的纹理丰富度特征图；
步骤2，对纹理丰富度特征图阈值化为二值掩模，区分SAR图像场景中的纹理密集区域与无纹理区域；
步骤3，在SAR图像上的纹理密集区域均匀收集单元特征描述符，合并为第一特征向量；在可见光遥感图像上二值掩模的相应区域均匀收集单元特征描述符，合并为第二特征向量；
步骤4，基于第一特征向量与第二特征向量，得到SAR与可见光遥感图像的相似性度量，并使用模板匹配策略确定SAR与可见光遥感图像之间的变换矩阵。
2.根据权利要求1所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤2中，所述对纹理丰富度特征图阈值化为二值掩模，具体为：
将纹理丰富度特征图上各像素点的纹理丰富度通过最大值与最小值归一化到[0,1]的范围；
采用阈值TR_THRESH对归一化后的纹理丰富度特征图进行阈值分割：
将归一化后的纹理丰富度特征图中纹理丰富度大于或等于阈值TR_THRESH的像素点的纹理丰富度置为1；
将归一化后的纹理丰富度特征图中纹理丰富度小于阈值TR_THRESH的像素点的纹理丰富度置为0；
其中，纹理丰富度特征图中纹理丰富度置为1的区域即为纹理密集区域，纹理丰富度置为0的区域即为无纹理区域。
3.根据权利要求2所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤3中，所述第一特征向量与第二特征向量的获取过程为：
以d个像素为间隔，在SAR图像上的纹理密集区域均匀收集单元特征描述符feat_desp_sar，合并为最终的第一特征向量VA，为：
VA＝merge(feat_desp_sar,d),
Figure FDA0003713580510000011
以d个像素为间隔，在可见光遥感图像上二值掩模的相应区域均匀收集单元特征描述符feat_desp_opt，合并为最终的第二特征向量VB，为：
VB＝merge(feat_desp_opt,d),
Figure FDA0003713580510000021
式中，TR_MASK为纹理丰富度特征图阈值化后的二值掩模。
4.根据权利要求3所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤4中，所述SAR与可见光遥感图像的相似性度量，具体为：
Figure FDA0003713580510000022
式中，TRncc为SAR与可见光遥感图像的相似性度量，VA(k)为第一特征向量中的第k个单元特征描述符，
Figure FDA0003713580510000023
为第一特征向量中所有单元特征描述符的均值，VB(k)为第二特征向量中的第k个单元特征描述符，
Figure FDA0003713580510000024
为第二特征向量中所有单元特征描述符的均值，n为第一特征向量、第二特征向量中单元特征描述符的总数。
5.根据权利要求1至4任一项所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤1中，所述获取SAR图像上每个像素点的纹理丰富度，具体包括：
步骤1.1，对SAR图像ISAR进行散斑抑制，得到滤波后的图像ISR；
步骤1.2，对图像ISR进行卷积，由卷积响应的幅值与相位得到图像ISR上各像素点在多个方向上的相位一致性响应；
步骤1.3，计算图像ISR上每一个像素点相位一致性响应的协方差矩阵，并基于协方差矩阵得到各像素点的最大矩；
步骤1.4，基于图像ISR上各像素点的最大矩，得到各像素点对应的纹理丰富度。
6.根据权利要求5任一项所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤1.2具体为：
采用多尺度与方向上的Log-Gabor小波对图像ISR进行滤波，通过滤波器的实部
Figure FDA0003713580510000025
和虚部
Figure FDA0003713580510000026
对图像ISR卷积得到尺度n和方向o上的响应eno(x,y)和ono(x,y)，计算得到在方向o上的幅值与相位，为：
Figure FDA0003713580510000027
φno(x,y)＝arctan(eno(x,y),ono(x,y))
式中，Ao(x,y)为图像ISR上像素点(x,y)在方向o上的幅值，φno(x,y)为图像ISR上像素点(x,y) 在方向o上的相位；
基于幅值与相位计算相位一致性响应，为：
Figure FDA0003713580510000031
式中，PCo(x,y)图像ISR上像素点(x,y)在方向o上的相位一致性响应，Wo(x,y)为通过sigmoid函数应用于滤波器响应扩展值构造的加权函数，T为噪声阈值，ΔΦno(x,y)为一个更敏感的相位偏差，ε为一个小常数，以避免被零除。
7.根据权利要求6所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤1.3具体为：
首先，将ISR上像素点(x,y)在每个方向的相位一致性响应投影到x和y分量，为：
Figure FDA0003713580510000032
Figure FDA0003713580510000033
式中，PCx(x,y)、PCy(x,y)分别为像素点(x,y)的相位一致性响应在x、y方向上的分量，θo为方向o对应的角度，θo∈θ，θ为所有方向对应角度的集合；
其次，基于PCx(x,y)、PCy(x,y)得到像素点(x,y)相位一致性响应的协方差矩阵，为：
Figure FDA0003713580510000034
式中，G(x,y)为像素点(x,y)相位一致性响应的协方差矩阵；
最后，协方差矩阵G(x,y)的最大奇异值对应的最大矩，即为像素点(x,y)的最大矩M(x,y)。
8.根据权利要求5所述的SAR与可见光遥感图像匹配的相似性度量方法，其特征在于，步骤1.4具体为：
将最大矩的强度值作为边缘特征的权重，其强度值即为边缘的权重，在大小为N×N的局部区域计算纹理丰富度，为：
Figure FDA0003713580510000035
式中，TR(x,y)为像素点(x,y)的纹理丰富度，M(x+i,y+j)为像素点(x+i,y+j)的最大矩。
CN202210726979.5A 2022-06-24 2022-06-24 一种sar与可见光遥感图像匹配的相似性度量方法 Pending CN115100446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210726979.5A CN115100446A (zh) 2022-06-24 2022-06-24 一种sar与可见光遥感图像匹配的相似性度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210726979.5A CN115100446A (zh) 2022-06-24 2022-06-24 一种sar与可见光遥感图像匹配的相似性度量方法

Publications (1)

Publication Number Publication Date
CN115100446A true CN115100446A (zh) 2022-09-23

Family

ID=83293068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210726979.5A Pending CN115100446A (zh) 2022-06-24 2022-06-24 一种sar与可见光遥感图像匹配的相似性度量方法

Country Status (1)

Country Link
CN (1) CN115100446A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115932823A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于异源区域特征匹配的飞行器对地面目标定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115932823A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于异源区域特征匹配的飞行器对地面目标定位方法

Similar Documents

Publication Publication Date Title
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN102609701B (zh) 基于最佳尺度的高分辨率合成孔径雷达遥感检测方法
CN109993800A (zh) 一种工件尺寸的检测方法、装置及存储介质
CN107909018B (zh) 一种稳健的多模态遥感影像匹配方法和系统
CN101383899A (zh) 一种空基平台悬停视频稳像方法
CN111709968B (zh) 一种基于图像处理的低空目标探测跟踪方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
JP6935847B2 (ja) 合成開口レーダ画像解析システム、合成開口レーダ画像解析方法および合成開口レーダ画像解析プログラム
CN112254656A (zh) 一种基于结构表面点特征的立体视觉三维位移测量方法
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN112017243A (zh) 一种介质能见度识别方法
CN107688174A (zh) 一种图像测距方法、系统、存储介质和车载视觉感知设备
CN108446637B (zh) 基于立体图模型的sar图像变化检测方法
CN115100446A (zh) 一种sar与可见光遥感图像匹配的相似性度量方法
CN106780309A (zh) 一种合成孔径雷达图像拼接方法
CN115100616A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN114993452A (zh) 基于宽带相位运动放大的结构微小振动测量方法与系统
CN111487643A (zh) 一种基于激光雷达点云和近红外影像的建筑物检测方法
CN114998365A (zh) 一种基于极化干涉sar的地物分类方法
CN110390338A (zh) 一种基于非线性引导滤波与比率梯度的sar高精度匹配方法
CN108008382B (zh) 一种多基地星载干涉sar系统测量陡峭地形的方法
CN113219472A (zh) 一种测距系统和方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination