CN112712510A - 一种基于梯度和相位一致性的异源图像匹配方法 - Google Patents

一种基于梯度和相位一致性的异源图像匹配方法 Download PDF

Info

Publication number
CN112712510A
CN112712510A CN202011645035.2A CN202011645035A CN112712510A CN 112712510 A CN112712510 A CN 112712510A CN 202011645035 A CN202011645035 A CN 202011645035A CN 112712510 A CN112712510 A CN 112712510A
Authority
CN
China
Prior art keywords
matched
image
sar
optical
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011645035.2A
Other languages
English (en)
Other versions
CN112712510B (zh
Inventor
李绮雪
尹奎英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 14 Research Institute
Original Assignee
CETC 14 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 14 Research Institute filed Critical CETC 14 Research Institute
Priority to CN202011645035.2A priority Critical patent/CN112712510B/zh
Publication of CN112712510A publication Critical patent/CN112712510A/zh
Application granted granted Critical
Publication of CN112712510B publication Critical patent/CN112712510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于梯度和相位一致性的异源图像匹配方法，包括以下步骤：对初始待匹配光学图像和初始待匹配SAR图像进行预处理，生成光学基准图像和预处理SAR图像；获得初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量；完成异源图像的初步匹配；获取SAR二次待匹配图像和多个光学二次基准图像；计算得到SAR二次待匹配相位一致性图像、优选初步待匹配光学相位一致性图像和多个光学相位一致性图像；计算均方根误差；求得最终匹配点。本发明克服了现有技术存在的由于仅使用一种距离相似性测度，没有考虑到多个相似匹配点及误匹配，进而可能无法保证异源图像匹配的正确性和稳定性的困难，从而提高了最终的异源图像匹配精度和可靠性。

Description

一种基于梯度和相位一致性的异源图像匹配方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于梯度和相位一致性的异源图像匹配方法。
背景技术
由不同类型传感器获得的图像被称为异源图像，由于不同传感器之间的成像特性存在差别，同一场景在异源图像上可能呈现出完全不同的图像，因此传统的同源图像匹配方法在异源图像匹配中应用效果较差，其中，光学图像与合成孔径雷达(SyntheticAperture Radar，SAR)图像之间的匹配更是难中之难。因此，研究实用且稳定的异源图像匹配技术具有重要的现实意义。国际上主流的异源图像匹配方法可以分为两大类：基于特征的匹配方法和基于区域的匹配方法。基于特征的匹配方法包括特征提取、特征描述、特征匹配等步骤，对图像变形有较好的适应性，但是面对不同非特定场景图像时有效性难以保证；基于区域的匹配方法通常将整幅图像或图像子区的灰度或梯度信息进行匹配，抗噪性较好，但对图像旋转及灰度变化较敏感，且计算量一般较大，难以满足实时性要求。
《基于梯度径向夹角直方图的异源图像匹配》(《测绘学报》2011年第40卷第3期)公开了一种图像全局特征描述方法。该方法选取图像的圆形有效区域，计算该区域的径向矢量(radius direction vector，RDV)和计算归一化梯度矢量(normalized gradientvector，NGV)，同时用金字塔直方图(pyramid histogram，PH)统计有效区域内梯度-径向夹角的分布情况，最后对光学图像不同窗口的特征向量与SAR图像的进行比较，定义距离最近者为最佳匹配点。该方法在低分辨率异源图像匹配中表现出了比较好的性能，且在实际工程应用中具有较快的运算速度，符合实时性要求。但是，仍然存在的不足之处是：该方法计算梯度时采用了方形窗口，在旋转时会引入误差，因此在高分辨率异源匹配时精度降低；梯度-径向夹角量化部分公式有误，未能解决异源图像间灰度反转问题，进而会影响最终匹配效果；计算梯度-径向金字塔直方图时各层特征向量维数一致，未能利用每层特征的独特性；同时，最终的相似度测量方法过于单一，未能适应多个近似匹配点情况下的匹配，最终匹配结果稳定性不高。
发明内容
为了解决上述问题，本发明提出了一种基于梯度和相位一致性的异源图像匹配方法，包括以下步骤：
对初始待匹配光学图像和初始待匹配SAR图像进行预处理，生成光学基准图像和预处理SAR图像；
从预处理SAR图像中截取初步待匹配SAR图像，对初步待匹配SAR图像进行分层划分，获得多层多尺度圆环区域，利用不同加权值方法计算每层的梯度径向夹角直方图向量，获得初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量；
从光学基准图像中获取初步待匹配光学图像，计算初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量；计算初步待匹配SAR图像和初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量的第一相似度，获得多个优选初步待匹配光学图像，其对应的中心点作为多个初步匹配点，完成异源图像的初步匹配；
根据初步待匹配SAR图像的中心点从初始待匹配SAR图像中截取SAR二次待匹配图像，根据优选初步待匹配光学图像的中心点从初始待匹配光学图像截取对应的多个光学二次基准图像；
计算得到SAR二次待匹配图像与优选初步待匹配光学图像对应的相位一致性图像，分别为SAR二次待匹配相位一致性图像与优选初步待匹配光学相位一致性图像；
从优选初步待匹配光学相位一致性图像中滑动选取多个与SAR二次待匹配相位一致性图像大小相同的光学相位一致性图像，不同层的不同圆形或圆环子区的维数不完全一致；
计算SAR二次待匹配相位一致性图像与多个光学相位一致性图像之间对应的相似度系数和相似度系数的均方根误差；
根据均方根误差求得初始待匹配光学图像和初始待匹配SAR图像的最终匹配点。
进一步地，所述多层多尺度圆环区域为M层多尺度圆环区域，其具体的获得方法为：
将初步待匹配SAR图像按层划分，每层在上一层的基础上以圆或圆环的圆心为中心将圆或圆环等分为面积大小相等的圆或圆环，即第M层的初步待匹配SAR图像被划分为最中心的一个小圆和(2M-1-1)个和小圆面积相等且圆心相同的圆环，形成M层多尺度圆环区域；
所述的不同加权值方法是指在计算M层多尺度圆环区域的梯度径向夹角直方图向量时，不同层的不同圆形或圆环子区的维数不完全一致，M层多尺度圆环区域的维数总计为K。
进一步地，所述初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量的具体获得方法为：
用初步待匹配SAR图像的每层的梯度-径向夹角直方图向量除以该向量所属圆形或圆环子区的面积得到归一化直方图向量，将M层的归一化直方图向量首尾拼接，得到初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量。
进一步地，所述首位拼接为以初步待匹配SAR图像的圆心为中心由内往外拼接或由外往内拼接。
进一步地，当M取4时，4层的不同圆形或圆环子区采取不同的维数具体为：设定第一层的维数为N1；在第2层，最内的圆形子区设定维数为N2，外环维数保持N1不变；在第3层，最内的圆形子区设定维数为N3，次内的圆环子区保持N2不变，其余两个圆环区域保持N1不变；在第4层，最内的圆形子区设定维数为N4，依次往外的两个圆环子区保持N3不变，再往外的两个圆环子区保持N2不变，其他圆环维数保持N1不变。
进一步地，所述梯度径向夹角直方图向量απ的计算公式为：
Figure BDA0002877837230000031
其中，vr为所要计算的图像的径向矢量，vd为所要计算的图像的梯度矢量；
Figure BDA0002877837230000032
vdx、vdy分别为vd在x方向和y方向的分量，vrx、vry分别为vr在x方向和y方向的分量。
进一步地，从预处理SAR图像中截取初步待匹配SAR图像的方法具体为，以预处理SAR图像中心点为圆心，r1为半径画圆，作为初步待匹配SAR图像。
进一步地，所述获得多个初步匹配点的具体方法为：
以H1个像素步长在光学基准图像中选取大小相同的圆形有效区域作为初步待匹配光学图像，并按照初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量的计算方法计算初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量；
计算初步待匹配光学图像与初步待匹配SAR图像所对应的多尺度梯度径向夹角直方图特征向量的第一相似度，选取第一相似度最小的H2个初步待匹配光学图像的中心点作为初步匹配点，所选取的初步待匹配光学图像记为优选初步待匹配光学图像；
所述第一相似度用S3表示，其公式具体如下：
Figure BDA0002877837230000033
其中，S1为欧式距离测度，
Figure BDA0002877837230000034
S2为余弦相似性测度，
Figure BDA0002877837230000035
p1(k)、p2(k)分别为初步待匹配光学图像与初步待匹配SAR图像的对应的多尺度梯度径向夹角直方图特征向量的第k个数，k代表特征向量的维数。
进一步地，所述SAR二次待匹配图像和多个光学二次基准图像的获取方法具体为：
以初步待匹配SAR图像的中心点为中心，d1为边长，在初始待匹配SAR图像上取矩形区域作为SAR二次待匹配图像；
以优选初步待匹配光学图像的中心点为中心，d2为边长，在初始待匹配光学图像上取矩形区域作为多个优选初步待匹配光学图像对应的光学二次基准图像；
所述边长d2大于边长d1。
进一步地，还包括，在获得多个初步匹配点后计算SAR二次待匹配图像与多个优选初步待匹配光学图像之间的旋转角，并根据相应的旋转角旋转SAR二次待匹配图像使SAR二次待匹配图像与相应的优选初步待匹配光学图像之间的角度一致。
进一步地，所述对初始待匹配光学图像和初始待匹配SAR图像进行的预处理具体为滤波去噪和灰度线性增强；
所述根据均方根误差求得初始待匹配光学图像和初始待匹配SAR图像的最终匹配点具体为，选取数值最小均方根误差所对应的优选初步待匹配光学图像的中心点作为SAR二次待匹配图像、初步待匹配SAR图像和初始待匹配SAR图像中心点的精确匹配点，所述精确匹配点为最终匹配点；
所述相似度系数是指将光学相位一致性图像与SAR二次待匹配相位一致性图像作归一化互相关计算后得到的数值。
与现有技术相比，本发明具有以下有益效果：
第一，由于本发明利用不同角度空间划分方法计算每层圆环区域的梯度径向夹角直方图向量，考虑到原始高分辨率SAR图像存在的一定畸变问题，且该畸变对高分辨率图像较中低分辨率图像影响较大，克服了现有技术中由于没有考虑到现有成像雷达多为侧视成像，图像中心点附近畸变较小，周围较远处畸变逐渐变大，且在高分辨率图像中更加明显的情况，导致无法更好利用图像中心点附近包含的有效信息，只用同等权值处理中心点附近的像素点，使得本发明生成的梯度径向夹角直方图向量包含的特征更加丰富明显。
第二，由于本发明结合欧式距离和余弦相似性测度判断光学图像和SAR图像的特征向量间相似性，从距离和方向性两个角度考虑特征匹配情况，并且通过选取三个初步匹配点、计算二次匹配区域内的相位一致性特征图像和相似度系数，克服了现有技术存在的由于仅使用一种距离相似性测度，没有考虑到多个相似匹配点及误匹配，进而可能无法保证异源图像匹配的正确性和稳定性的困难，从而提高了最终的异源图像匹配精度和可靠性。
附图说明
图1是本发明的流程图。
图2是本发明实施例中初始待匹配光学图像。
图3是本发明实施例中初始待匹配SAR图像。
图4是本发明实施例中初步待匹配SAR图像，其中心点以十字表示。
图5是本发明实施例中三个初步待匹配光学图像之一，其中心点以十字表示。
图6是本发明实施例中SAR二次待匹配图像。
图7是本发明实施例中SAR二次待匹配相位一致性图像。
图8是本发明实施例中的光学二次基准图像之一。
图9为图8所对应的光学相位一致性图像。
图10是采用本发明处理后得到的最终匹配点，以十字表示。
具体实施方式
以下结合附图对本发明的一种基于梯度和相位一致性的异源图像匹配方法的具体实施方式做详细说明。
参照图1，本发明的具体实施步骤如下。
步骤1.图像预处理。
对初始待匹配光学图像进行滤波去噪和灰度线性增强，生成光学基准图像。
对初始待匹配SAR图像进行滤波去噪和灰度线性增强，生成预处理SAR图像。
所述滤波去噪是指基于P-M方程的滤波，以消除相干斑噪声以增大梯度方向一致的区域，利于图像匹配。
所述灰度线性增强是指计算图像的灰度直方图之后，得到灰度的变化范围，然后将灰度值线性拉伸到[0，255]之间，以增强图像的灰度对比度。
步骤2.从预处理SAR图像中获取初步待匹配SAR图像SARIm age1，计算初步待匹配SAR图像SARIm age1的多尺度梯度径向夹角直方图特征向量。
以预处理SAR图像中心点为圆心，r1为半径画圆，作为初步待匹配SAR图像SARIm age1。
所述r1在本实施例中取60个像素点。
计算梯度径向夹角直方图向量απ，具体计算公式为：
Figure BDA0002877837230000051
其中，vr为所要计算的图像的径向矢量，vd为所要计算的图像的梯度矢量；
Figure BDA0002877837230000052
此时，απ的范围为[0，π)，vdx、vdy分别为vd在x方向和y方向的分量，vrx、vry分别为vr在x方向和y方向的分量。
将初步待匹配SAR图像SARIm age1按层划分，每层在上一层的基础上以圆或圆环的圆心为中心将圆或圆环等分为面积大小相等的圆或圆环，即第M层的初步待匹配SAR图像SARIm age1被划分为最中心的一个小圆和(2M-1-1)个和小圆面积相等圆心相同的圆环，形成M层多尺度圆环区域(图1中为多层多尺度圆环区域)，并利用不同加权值方法计算每层的梯度-径向夹角直方图向量，组成多尺度梯度径向夹角直方图特征向量。
以M＝4为例，所述4层多尺度圆环区域具体为：第1层为完整的初步待匹配SAR图像SARIm age1；第2层以初步待匹配SAR图像SARIm age1的圆心为中心点画圆将初步待匹配SAR图像SARIm age1均分为面积相等一个圆形子区和一个圆环子区；第3层以初步待匹配SAR图像SARIm age1的圆心为中心点画圆将初步待匹配SAR图像SARIm age1均分为一个圆形子区和三个圆环子区；第4层以初步待匹配SAR图像SARIm age1的圆心为中心点画圆将初步待匹配SAR图像SARIm age1均分为一个圆形子区和7个圆环子区；总计获得4个圆形子区和11个圆环子区。
所述的不同加权值是指在计算不同圆环区域梯度-径向夹角直方图时，采取不同的直方图的维数：设定第一层的维数N1为12维，即将梯度-径向夹角量化到[0，π)时，将角度空间划分为12个区间，每个区间对应直方图的一个栅格即用12维向量表示第一层的梯度-径向夹角直方图。在第2层，最内的圆形子区设定维数N2为24维，以更好利用中心点附近的图像特征，外环维数保持N1不变；在第3层，最内的圆形子区设定维数N3为36维，次内的圆环子区保持N2不变，其余两个圆环区域保持N1不变；在第4层，最内的圆形子区设定维数N4为48维，依次往外的两个圆环子区保持N3不变，再往外的两个圆环子区保持N2不变，其他圆环维数保持N1不变，共计336维向量。
用初步待匹配SAR图像SARIm age1的每层的梯度-径向夹角直方图向量除以该向量所属圆形或圆环子区的面积得到归一化直方图向量，将M层的归一化直方图向量首尾拼接(所述首位拼接为以初步待匹配SAR图像SARIm age1的圆心为中心由内往外拼接或由外往内拼接)，得到初步待匹配SAR图像SARIm age1的多尺度梯度径向夹角直方图(multi-scaleHistogram of Angle of Radius and Gradient，MHARG)特征向量。
步骤3.从光学基准图像中获取初步待匹配光学图像，计算初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量；根据初步待匹配SAR图像SARIm age1和初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量获得多个初步匹配点。
以2个像素步长在光学基准图像中选取大小相同的圆形有效区域作为初步待匹配光学图像，记为OpticalIm agei，i＝1，2，3，...，N，并按照步骤2所述方法计算初步待匹配光学图像OpticalIm agei的多尺度梯度径向夹角直方图特征向量。
计算初步待匹配光学图像OpticalIm agei与初步待匹配SAR图像SARIm age1所对应的多尺度梯度径向夹角直方图特征向量的第一相似度，并将第一相似度最大的三个OpticalIm agei(记为优选初步待匹配光学图像OpticalIm agemax，max∈N)的中心点作为初步匹配点，完成初步异源图像匹配。
所述第一相似度S3为联合的欧式距离测度S1和余弦相似性测度S2，具体如下：
Figure BDA0002877837230000071
其中，S1为欧式距离测度，
Figure BDA0002877837230000072
S2为余弦相似性测度，
Figure BDA0002877837230000073
p1(k)、p2(k)分别为初步待匹配光学图像OpticalIm agei与初步待匹配SAR图像SARIm age1的对应的多尺度梯度径向夹角直方图特征向量的第k个数，p1(k)和p2(k)均为1×K的向量；本实施例中，M＝4时，K为336。
第一相似度S3越小，两幅图像越相似。
步骤4.二次划分光学基准图像和预处理SAR图像。
以初步待匹配SAR图像SARIm age1的中心点为中心，d1为边长在预处理SAR图像上取矩形区域作为SAR二次待匹配图像SARIm age2。
所述的长度d1在本发明中取30个像素点值。
以优选初步待匹配光学图像OpticalIm agemax的中心点为中心，d2(d2＞d1)为边长，在光学基准图像上取矩形区域作为三个对应的光学二次基准图像OptIm agemax。
所述的长度d2在本发明中取50个像素点值。
步骤5.计算相位一致性特征图像，获得最终匹配点。
计算SAR二次待匹配图像SARIm age2与优选初步待匹配光学图像OptIm agemax之间的旋转角，并旋转SAR二次待匹配图像SARIm age2使两幅图像的角度一致。
所述的旋转使两幅图像角度一致是由于相位一致性不具备旋转不变性，因此需要在初步异源图像匹配后完成旋转。
计算得到SAR二次待匹配图像SARIm age2与优选初步待匹配光学图像OptIm agemax对应的相位一致性图像，分别为SAR二次待匹配相位一致性图像PCSAR与优选初步待匹配光学相位一致性图像PCOptmax；
所述的相位一致性特征是指利用与人类视觉感知高度契合的相位信息来表征目标特征。由于相位一致性与信号整体的幅度无关，为一个无量纲的量，因此对于尺度、光照和对比度等变化环境具有良好的稳定性，对于异源图像，采用相同的阈值便可得到同样稳定的角点和细节程度相当的边缘图像。相位一致性是在频率域上的测度值，是一个无量纲的量。
在优选初步待匹配光学相位一致性图像PCOptmax中以2个像素为步长，滑动选取与SAR二次待匹配相位一致性图像PCSAR大小相同的光学相位一致性图像
Figure BDA0002877837230000081
Figure BDA0002877837230000082
Figure BDA0002877837230000083
表示从第max个优选初步待匹配光学相位一致性图像PCOptmax中选取的第j个光学相位一致性图像，maxJ表示第max个优选初步待匹配光学相位一致性图像中选取的光学相位一致性图像的总个数。
计算SAR二次待匹配相位一致性图像PCSAR与光学相位一致性图像
Figure BDA0002877837230000084
对应的相似度系数
Figure BDA0002877837230000085
然后计算相似度系数
Figure BDA0002877837230000086
的均方根误差RMSEmax。
所述相似度系数
Figure BDA0002877837230000089
是指将光学相位一致性图像
Figure BDA0002877837230000088
与SAR二次待匹配相位一致性图像PCSAR作归一化互相关计算。
选取均方根误差RMSEmax最小的OpticalIm agemax的中心点作为SAR二次待匹配图像SARIm age2、初步待匹配SAR图像SARIm age1和初始待匹配SAR图像中心点的精确匹配点，即初始待匹配光学图像和初始待匹配SAR图像的最终匹配点，从而完成初始待匹配光学图像和初始待匹配SAR图像两个异源图像的精确匹配。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本发明的仿真试验是在主频3.2GHz的Intel(R)Core(TM)i5-6500CPU、内存8GB的硬件环境和基于C的软件环境下进行的。
2.仿真内容：
本发明仿真是对例如图1的高分辨光学和SAR图像进行仿真实验，来源为美国华盛顿Sandia国家实验室。
具体仿真过程中的图像如图2-10所示，图2是本发明实施例中初始待匹配光学图像；图3是本发明实施例中初始待匹配SAR图像；图4是本发明实施例中初步待匹配SAR图像，其中心点以十字表示，图5是本发明实施例中三个初步待匹配光学图像之一，其中心点以十字表示；图6是本发明实施例中SAR二次待匹配图像；图7是本发明实施例中SAR二次待匹配相位一致性图像；图8是本发明实施例中的光学二次基准图像之一；图9为图8所对应的光学相位一致性图像；图10是采用本发明处理后得到的最终匹配点，以十字表示。
3.仿真效果分析：
用现有GRAPH金字塔和本发明的方法对2幅高分辨率的光学和SAR图像进行异源匹配实验，为了考核匹配结果是否正确，实验分别选取SAR图像中的3个点作为待匹配中心点，手动选取光学图像中的点作为最优匹配点，同样并采用均方根误差方法衡量3次匹配实验的误差；采用测试时间来作为方法运算速度的比较标准，当均方根误差值越小，异源图像匹配的结果越好，测试时间越短，图像匹配的速度越快。
其中，均方根误差是由3次匹配实验中的最终匹配点计算得出，测试时间是3次实验时间的均值，结果如表1。
方法 均方根误差 测试时间(秒)
GRAPH金字塔 10.51 2.2
本发明 2.038 2.8
表1.GRAPH金字塔、本发明方法在仿真中得到的均方根误差和测试时间
表1为GRAPH金字塔、本发明方法在仿真中得到的均方根误差和测试时间的统计结果，以上结果表示：与现有的GRAPH金字塔异源图像匹配方法相比，本发明得到的均方根误差要小很多，所用测试时间虽有增加，但由于本方法分为初步匹配和二次匹配步骤，且最终匹配结果更好，时间上的少许增加是可以接受的，因此，本发明提出的这种基于梯度与相位一致性特征的异源图像匹配方法，改进了上述方法的不足，能提高异源图像匹配的精度，并保持较快的图像匹配速度。
本发明所述异源图像不局限于实施例所述光学图像和SAR图像。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于梯度和相位一致性的异源图像匹配方法，其特征在于，包括以下步骤：
对初始待匹配光学图像和初始待匹配SAR图像进行预处理，生成光学基准图像和预处理SAR图像；
从预处理SAR图像中截取初步待匹配SAR图像，对初步待匹配SAR图像进行分层划分，获得多层多尺度圆环区域，利用不同加权值方法计算每层的梯度径向夹角直方图向量，获得初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量；
从光学基准图像中获取初步待匹配光学图像，计算初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量；计算初步待匹配SAR图像和初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量的第一相似度，获得多个优选初步待匹配光学图像，其对应的中心点作为多个初步匹配点，完成异源图像的初步匹配；
根据初步待匹配SAR图像的中心点从初始待匹配SAR图像中截取SAR二次待匹配图像，根据优选初步待匹配光学图像的中心点从初始待匹配光学图像截取对应的多个光学二次基准图像；
计算得到SAR二次待匹配图像与优选初步待匹配光学图像对应的相位一致性图像，分别为SAR二次待匹配相位一致性图像与优选初步待匹配光学相位一致性图像；
从优选初步待匹配光学相位一致性图像中滑动选取多个与SAR二次待匹配相位一致性图像大小相同的光学相位一致性图像，不同层的不同圆形或圆环子区的维数不完全一致；
计算SAR二次待匹配相位一致性图像与多个光学相位一致性图像之间对应的相似度系数和相似度系数的均方根误差；
根据均方根误差求得初始待匹配光学图像和初始待匹配SAR图像的最终匹配点。
2.根据权利要求1所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，所述多层多尺度圆环区域为M层多尺度圆环区域，其具体的获得方法为：
将初步待匹配SAR图像按层划分，每层在上一层的基础上以圆或圆环的圆心为中心将圆或圆环等分为面积大小相等的圆或圆环，即第M层的初步待匹配SAR图像被划分为最中心的一个小圆和(2M-1-1)个和小圆面积相等且圆心相同的圆环，形成M层多尺度圆环区域；
所述的不同加权值方法是指在计算M层多尺度圆环区域的梯度径向夹角直方图向量时，不同层的不同圆形或圆环子区的维数不完全一致，M层多尺度圆环区域的维数总计为K。
3.根据权利要求2所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，所述初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量的具体获得方法为：
用初步待匹配SAR图像的每层的梯度-径向夹角直方图向量除以该向量所属圆形或圆环子区的面积得到归一化直方图向量，将M层的归一化直方图向量首尾拼接，得到初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量。
4.根据权利要求3所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，所述首尾拼接为以初步待匹配SAR图像的圆心为中心由内往外拼接或由外往内拼接。
5.根据权利要求3所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，当M取4时，4层的不同圆形或圆环子区采取不同的维数具体为：设定第一层的维数为N1；在第2层，最内的圆形子区设定维数为N2，外环维数保持N1不变；在第3层，最内的圆形子区设定维数为N3，次内的圆环子区保持N2不变，其余两个圆环区域保持N1不变；在第4层，最内的圆形子区设定维数为N4，依次往外的两个圆环子区保持N3不变，再往外的两个圆环子区保持N2不变，其他圆环维数保持N1不变。
6.根据权利要求3所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，
所述梯度径向夹角直方图向量απ的计算公式为：
Figure FDA0002877837220000021
其中，vr为所要计算的图像的径向矢量，vd为所要计算的图像的梯度矢量；
Figure FDA0002877837220000022
vdx、vdy分别为vd在x方向和y方向的分量，vrx、vry分别为vr在x方向和y方向的分量。
7.根据权利要求6所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，从预处理SAR图像中截取初步待匹配SAR图像的方法具体为，以预处理SAR图像中心点为圆心，r1为半径画圆，作为初步待匹配SAR图像。
8.根据权利要求7所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，所述获得多个初步匹配点的具体方法为：
以H1个像素步长在光学基准图像中选取大小相同的圆形有效区域作为初步待匹配光学图像，并按照初步待匹配SAR图像的多尺度梯度径向夹角直方图特征向量的计算方法计算初步待匹配光学图像的多尺度梯度径向夹角直方图特征向量；
计算初步待匹配光学图像与初步待匹配SAR图像所对应的多尺度梯度径向夹角直方图特征向量的第一相似度，选取第一相似度最小的H2个初步待匹配光学图像的中心点作为初步匹配点，所选取的初步待匹配光学图像记为优选初步待匹配光学图像；
所述第一相似度用S3表示，其公式具体如下：
Figure FDA0002877837220000023
其中，S1为欧式距离测度，
Figure FDA0002877837220000031
S2为余弦相似性测度，
Figure FDA0002877837220000032
p1(k)、p2(k)分别为初步待匹配光学图像与初步待匹配SAR图像的对应的多尺度梯度径向夹角直方图特征向量的第k个数，k代表特征向量的维数。
9.根据权利要求8所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，所述SAR二次待匹配图像和多个光学二次基准图像的获取方法具体为：
以初步待匹配SAR图像的中心点为中心，d1为边长，在初始待匹配SAR图像上取矩形区域作为SAR二次待匹配图像；
以优选初步待匹配光学图像的中心点为中心，d2为边长，在初始待匹配光学图像上取矩形区域作为多个优选初步待匹配光学图像对应的光学二次基准图像；
所述边长d2大于边长d1。
10.根据权利要求9所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，还包括，在获得多个初步匹配点后计算SAR二次待匹配图像与多个优选初步待匹配光学图像之间的旋转角，并根据相应的旋转角旋转SAR二次待匹配图像使SAR二次待匹配图像与相应的优选初步待匹配光学图像之间的角度一致。
11.根据权利要求10所述的基于梯度和相位一致性的异源图像匹配方法，其特征在于，所述对初始待匹配光学图像和初始待匹配SAR图像进行的预处理具体为滤波去噪和灰度线性增强；
所述根据均方根误差求得初始待匹配光学图像和初始待匹配SAR图像的最终匹配点具体为，选取数值最小均方根误差所对应的优选初步待匹配光学图像的中心点作为SAR二次待匹配图像、初步待匹配SAR图像和初始待匹配SAR图像中心点的精确匹配点，所述精确匹配点为最终匹配点；
所述相似度系数是指将光学相位一致性图像与SAR二次待匹配相位一致性图像作归一化互相关计算后得到的数值。
CN202011645035.2A 2020-12-31 2020-12-31 一种基于梯度和相位一致性的异源图像匹配方法 Active CN112712510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011645035.2A CN112712510B (zh) 2020-12-31 2020-12-31 一种基于梯度和相位一致性的异源图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011645035.2A CN112712510B (zh) 2020-12-31 2020-12-31 一种基于梯度和相位一致性的异源图像匹配方法

Publications (2)

Publication Number Publication Date
CN112712510A true CN112712510A (zh) 2021-04-27
CN112712510B CN112712510B (zh) 2022-12-30

Family

ID=75548099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011645035.2A Active CN112712510B (zh) 2020-12-31 2020-12-31 一种基于梯度和相位一致性的异源图像匹配方法

Country Status (1)

Country Link
CN (1) CN112712510B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546521A (zh) * 2022-11-07 2022-12-30 佳木斯大学 基于关键点响应约束的点匹配方法
CN116129146A (zh) * 2023-03-29 2023-05-16 中国工程物理研究院计算机应用研究所 一种基于局部特征一致性的异源图像匹配方法及系统
CN118377021A (zh) * 2024-06-21 2024-07-23 中国电子科技集团公司第十四研究所 一种基于自适应相位梯度估计的相位滤波方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510531A (zh) * 2018-03-26 2018-09-07 西安电子科技大学 基于pcncc和邻域信息的sar图像配准方法
CN109409292A (zh) * 2018-10-26 2019-03-01 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法
CN110097093A (zh) * 2019-04-15 2019-08-06 河海大学 一种异源图像精确匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510531A (zh) * 2018-03-26 2018-09-07 西安电子科技大学 基于pcncc和邻域信息的sar图像配准方法
CN109409292A (zh) * 2018-10-26 2019-03-01 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法
CN110097093A (zh) * 2019-04-15 2019-08-06 河海大学 一种异源图像精确匹配方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546521A (zh) * 2022-11-07 2022-12-30 佳木斯大学 基于关键点响应约束的点匹配方法
CN115546521B (zh) * 2022-11-07 2024-05-07 佳木斯大学 基于关键点响应约束的点匹配方法
CN116129146A (zh) * 2023-03-29 2023-05-16 中国工程物理研究院计算机应用研究所 一种基于局部特征一致性的异源图像匹配方法及系统
CN116129146B (zh) * 2023-03-29 2023-09-01 中国工程物理研究院计算机应用研究所 一种基于局部特征一致性的异源图像匹配方法及系统
CN118377021A (zh) * 2024-06-21 2024-07-23 中国电子科技集团公司第十四研究所 一种基于自适应相位梯度估计的相位滤波方法及系统
CN118377021B (zh) * 2024-06-21 2024-08-30 中国电子科技集团公司第十四研究所 一种基于自适应相位梯度估计的相位滤波方法及系统

Also Published As

Publication number Publication date
CN112712510B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN112712510B (zh) 一种基于梯度和相位一致性的异源图像匹配方法
CN109409292B (zh) 基于精细化特征优化提取的异源图像匹配方法
CN109389587B (zh) 一种医学图像分析系统、装置及存储介质
CN109242888B (zh) 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
CN108052942B (zh) 一种飞机飞行姿态的视觉图像识别方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN111784721A (zh) 基于深度学习的超声内窥图像智能分割与量化方法及系统
CN112990334A (zh) 基于改进原型网络的小样本sar图像目标识别方法
CN107025449B (zh) 一种视角不变局部区域约束的倾斜影像直线特征匹配方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN105335973A (zh) 运用于带钢加工生产线的视觉处理方法
CN106447688A (zh) 一种高光谱溢油图像的有效分割方法
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN114758222B (zh) 一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法
CN110717518A (zh) 基于3d卷积神经网络的持续性肺结节识别方法及装置
CN116563096B (zh) 用于图像配准的形变场的确定方法、装置以及电子设备
WO2019076265A1 (zh) 光纤束图像处理方法和装置
CN107689058A (zh) 一种基于surf特征提取的图像配准算法
CN116612165A (zh) 一种针对大视角差异sar图像的配准方法
Zhang et al. LPPCO: A novel multimodal medical image registration using new feature descriptor based on the local phase and phase congruency of different orientations
CN110163896B (zh) Sar图像匹配方法
CN111563423A (zh) 基于深度去噪自动编码器的无人机图像目标检测方法及系统
CN115272153A (zh) 一种基于特征稀疏区域检测的影像匹配增强方法
CN115423851A (zh) 一种基于os-sift的可见光-sar图像配准算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant