CN108346162A - 基于结构信息和空间约束的遥感图像配准方法 - Google Patents

基于结构信息和空间约束的遥感图像配准方法 Download PDF

Info

Publication number
CN108346162A
CN108346162A CN201810253062.1A CN201810253062A CN108346162A CN 108346162 A CN108346162 A CN 108346162A CN 201810253062 A CN201810253062 A CN 201810253062A CN 108346162 A CN108346162 A CN 108346162A
Authority
CN
China
Prior art keywords
remote sensing
sensing images
point
registration
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810253062.1A
Other languages
English (en)
Other versions
CN108346162B (zh
Inventor
马文萍
钟用
武越
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810253062.1A priority Critical patent/CN108346162B/zh
Publication of CN108346162A publication Critical patent/CN108346162A/zh
Application granted granted Critical
Publication of CN108346162B publication Critical patent/CN108346162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于结构信息和空间约束的遥感图像配准方法，主要解决了传统遥感图像配准方法中匹配点对较少，以及配准失效或精度较低的问题，本发明的步骤是：(1)读取数据；(2)检测特征点；(3)采用结构信息生成特征描述符；(4)利用空间约束筛选匹配点对；(5)获得几何形变参数；(6)将待配准图像进行几何变换。本发明与现有技术相比，采用结构信息生成特征描述符，提高了特征描述符的有效性和鲁棒性，利用空间约束筛选匹配点对，增强了对错误匹配点对的滤除能力，增加了正确匹配点对数量，解决了遥感图像配准失效问题，提高了遥感图像配准的精度。

Description

基于结构信息和空间约束的遥感图像配准方法
技术领域
本发明属于图像处理技术领域，更进一步涉及遥感图像处理技术领域中的一种基于结构信息和空间约束的遥感图像配准方法。本发明可用于不同时间、不同角度、不同传感器得到的灰度非线性变化的遥感图像配准。
背景技术
图像配准是将不同时间、不同角度或不同传感器拍摄的同一景物的两幅或多幅图像进行对准叠加的过程。给定参考图像和待配准图像，由于图像成像条件不同，图像在光照、对比度、尺度、旋转、灰度变化等方面可能都有很大差异，图像配准的主要目的就是要克服这些困难，找到一个从待配准图像到参考图像的最佳空间几何变换，将两幅图像变换到同一坐标系下，使得变换后的待配准图像相对于某一相似度量函数来说与参考图像具有最大程度的相似性。
西安电子科技大学在其申请的专利“基于互信息选块和sift特征的遥感图像配准方法”(专利申请号：CN201410379927，公开号：CN104200461A)中提出了一种基于尺度不变性特征转换SIFT(Scale invariant feature transform)和互信息的遥感图像配准方法。该方法首先对图像进行分块，随机从参考遥感图像和待配准遥感图像中选取图像对，计算每一对图像的互信息；然后对互信息进行降序排列；选取前n个互信息较大的图像块提取尺度不变性特征转换SIFT特征，并进行粗匹配，去除错误匹配，计算两幅图像之间的变换矩阵参数和变换后的互信息值；最终选取互信息值最大的变换矩阵参数作为图像配准结果。该方法能够加快图像配准的速度，但是该方法在特征点检测、特征点主方向分配和特征点描述子生成阶段采用尺度不变性特征转换SIFT方法，在遥感图像对的灰度非线性变化较大的情况下正确匹配率会迅速下降，当遥感图像中存在较多相似特征时，该方法仅仅采用最近邻方法，得到较多错误匹配点对。
Flora Dellinger在其发表的论文“SAR-SIFT:A SIFT-Like Algorithm for SARImages”(《IEEE Transactions on Geoscience and Remote Sensing》，2015，53(1)：453-466)中提出了一种构建基于合成孔径雷达的尺度不变性特征转换SAR-SIFT(SyntheticAperture Radar-Scale invariant feature transform)特征描述子的方法。该方法利用指数加权均值比算子ROEWA(Ratio of Exponentially Weighted Averages)定义了一种新的梯度计算方法比例梯度GR(Gradient by ratio)，通过计算图像在各尺度上的基于合成孔径雷达的尺度不变性特征转换SAR-SIFT矩阵得到基于合成孔径雷达的尺度不变性特征转换SAR-SIFT尺度空间，然后在尺度空间上寻找极值点，最后提取特征点周围邻域局部特性，生成基于合成孔径雷达的尺度不变性特征转换SAR-SIFT特征描述符。由于提取的基于合成孔径雷达的尺度不变性特征转换SAR-SIFT特征具有尺度和旋转不变性，且对光照变化具有不变性，而且考虑到合成孔径雷达SAR(Synthetic Aperture Radar)图像中斑点噪声的统计特征，利用指数加权均值比算子而非差分法求图像梯度，对噪声较为鲁棒，因而被成功应用于合成孔径雷达SAR图像配准领域。但是，该方法仍然存在的不足之处是，采用基于合成孔径雷达的尺度不变性特征转换SAR-SIFT对遥感图像进行特征提取时，在提取图像特征过程中，当图像灰度变化不规律时，利用梯度信息生成特征点的特征描述符会丢失特征点的部分邻域信息，而且未考虑特征点的空间信息，具有相似特征向量的特征点容易导致正确匹配点对被遗漏，因此针对同一区域灰度变化很大的遥感图像配准问题，基于合成孔径雷达的尺度不变性特征转换SAR-SIFT算法不能提供大量且准确的特征匹配点对，从而导致配准精度较低或失配。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于结构信息和空间约束的遥感图像配准方法，可以利用遥感图像结构信息提升特征点特征描述符的有效性和稳定性，利用空间约束减少误匹配，增加正确匹配点对数，提高遥感图像配准的精度，解决了现有技术对遥感图像配准时效果不好的问题。
实现本发明目的的思路是，将参考遥感图像和待配准遥感图像中所有像素点的梯度幅值和相位一致性值相加得到遥感图像像素点的结构信息值，采用结构信息生成特征点的特征描述符，通过最近邻方法筛选出初次匹配点对，利用空间约束筛选匹配点对，增加正确匹配点对数量。
本发明的具体步骤包括如下：
(1)读取数据：
输入两幅遥感图像，将其中一幅遥感图像作为参考遥感图像，将另一幅遥感图像作为待配准遥感图像；
(2)检测特征点：
(2a)利用SAR-Harris尺度空间公式，分别生成参考遥感图像和待配准遥感图像SAR-Harris尺度空间中的幅值图像；
(2b)利用阈值比较法，分别检测参考遥感图像和待配准遥感图像的SAR-Harris尺度空间幅值图像上的特征点；
(3)采用结构信息生成特征描述符：
(3a)利用相位一致性公式，分别计算参考遥感图像和待配准遥感图像的所有像素点的相位一致性值；
(3b)利用梯度幅值公式，分别计算参考遥感图像和待配准遥感图像所有像素点的梯度幅值；
(3c)利用梯度幅值公式，分别计算参考遥感图像和待配准遥感图像所有像素点的梯度幅值；
(3d)通过将具有相同坐标的像素点的相位一致性值和梯度幅值相加，分别计算出参考遥感图像和待配准遥感图像所有像素点得结构信息值；
(3e)利用直方图统计法，分别生成参考遥感图像和待配准遥感图像中初始特征点的描述符；
(4)利用空间约束筛选匹配点对；
(4a)利用最近邻方法，从参考遥感图像和待配准遥感图像的特征点中筛选出初次匹配点对；
(4b)利用空间约束法，从参考遥感图像和待配准遥感图像的特征点中二次筛选匹配点对；
(5)获得几何形变参数：
采用随机抽样一致性算法，计算参考遥感图像和待配准遥感图像之间的变换矩阵，得到待配准遥感图像的几何形变参数；
(6)将待配准遥感图像进行几何变换：
利用得到的几何形变参数，将待配准遥感图像进行几何变换，得到配准结果。
本发明与现有技术相比具有以下优点：
第一，由于本发明采用结构信息生成特征点的特征描述符，充分反映特征点的邻域特征信息，克服了现有技术在在图像灰度变化不规律时，利用梯度信息生成的特征点的特征描述符会丢失特征点的部分邻域特征信息的问题，使得本发明提高了获取特征点邻域特征信息的能力。
第二，由于本发明利用空间约束筛选匹配点对，增加正确匹配点对，克服了现有技术中采用最近邻方法，得到较多错误匹配点对的问题，使得本发明提高了滤除错误匹配点对的能力。
附图说明
图1是本发明的流程图；
图2是本发明仿真实验1的仿真图；
图3是本发明仿真实验2的仿真图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1，本发明的实施步骤做进一步描述。
步骤1，读取数据。
输入两幅遥感图像，将其中一幅遥感图像作为参考遥感图像，将另一幅遥感图像作为待配准遥感图像。
步骤2，检测特征点。
利用SAR-Harris尺度空间公式，分别生成参考遥感图像和待配准遥感图像SAR-Harris尺度空间中的幅值图像。
所述的SAR-Harris尺度空间公式如下：
R＝det(C)-0.04·tr(C)
其中，R表示一幅遥感图像的SAR-Harris尺度空间，det表示矩阵的行列式操作，C表示一幅遥感图像的SAR-Harris矩阵，tr表示对矩阵主对角线元素的求和操作。
利用阈值比较法，分别检测参考遥感图像和待配准遥感图像的SAR-Harris尺度空间幅值图像上的特征点。
所述的阈值比较法的步骤如下：
第1步，在SAR-Harris尺度空间幅值图像中选取一个像素点，以所选取的像素点为中心，取3x3邻域，得到8个邻域点。
第2步，重复第一步，依次从SAR-Harris尺度空间幅值图像选择像素点，直到得到所有像素点的8个邻域点。
第3步，比较SAR-Harris尺度空间幅值图像中每个像素点与其相邻8个像素点的灰度值。
第4步，将中心点的灰度值大于其周围8个邻域点的灰度值的点作为极值点。
第5步，将所得到的极值点中灰度值大于0.8的像素点作为特征点。
步骤3，采用结构信息生成特征描述符。
利用相位一致性公式，分别计算参考遥感图像和待配准遥感图像所有像素点的相位一致性值。
相位一致性公式如下：
Ω(x,y)＝cos(Φn(x,y)-Ψ(x,y))-|sin(Φn(x,y)-Ψ(x,y))|
其中，PC表示遥感图像像素点的相位一致性值，x和y分别表示遥感图像中像素点的行坐标和列坐标，∑表示求和操作，n表示加伯Gabor滤波器的尺度标号，取值范围为1～8，W表示频率扩展的权重系数，取值范围为0～1，表示向上取整操作，An表示加伯Gabor滤波器尺度标号为n时的幅度响应值，Ω表示加伯Gabor滤波器的相位偏移量，T表示加伯Gabor滤波器的噪声阈值，取值为0.1，cos表示余弦操作，Φn表示加伯Gabor滤波器尺度标号为n的相位响应值，|·|表示绝对值操作，sin表示正弦操作，Ψ表示加伯Gabor滤波器在各个尺度标号的平均相位值。
利用梯度幅值公式，分别计算参考遥感图像和待配准遥感图像所有像素点的梯度幅值。
所述的梯度幅值公式如下：
其中，G表示遥感图像像素点的梯度幅值，x和y分别表示遥感图像中像素点的行坐标和列坐标，I表示遥感图像，表示开平方操作，表示偏导操作。
利用梯度方向公式，分别计算参考遥感图像和待配准遥感图像所有像素点的梯度幅值。
所述的梯度方向公式如下：
其中，θ表示遥感图像像素点的梯度方向角度值，x和y分别表示遥感图像中像素点的行坐标和列坐标，tan-1表示反正切操作，表示偏导操作，I表示遥感图像，/表示相除操作。
通过将具有相同坐标的像素点的相位一致性值和梯度幅值相加，分别得到参考遥感图像和待配准遥感图像所有像素点的结构信息值。
利用直方图统计法，分别生成参考遥感图像和待配准遥感图像中所有特征点的描述符。
直方图统计法的步骤如下：
第1步，在参考遥感图像中，选取一个特征点。
第2步，将所选取的特征点作为中心点，在其周围取一个16x16的邻域。
第3步，用所选特征点16×16邻域内所有像素点的梯度方向角度值，构造梯度方向直方图。
第4步，选取梯度方向直方图的最大值作为所选特征点的主方向角度值。
第5步，用主方向角度值更新所选特征点梯度方向的角度。；
第6步，将0°～360°梯度方向角度区间，划分为0°～44°、45°～89°、90°～134°、135°～179°、180°～224°、225°～269°、270°～314°、315°～359°八个角度子区间。
第7步，将所选特征点的16×16邻域窗口平均划分成16个4×4的子窗口。
第8步，依据每个子窗口中的每个像素点的梯度方向角度值大小，将其划分到八个角度子区间内。
第9步，将每个子窗口内每个子区间中所有像素点的结构信息值相加，得到八个窗口结构信息值，将其存放在一个128维的列矢量中。
第10步，将这个128维的列矢量作为所选特征点的特征描述符。
第11步，重复执行第1步至第10步，依次选取特征点，直到得到参考遥感图像中所有特征点的特征描述符。
第12步，在待配准图像中选取一个特征点。
第13步，执行第1步至第12步操作一次，得到待配准遥感图像中所选特征点的特征描述符。
第14步，重复12步和13步，依次选取特征点，直到得到待配准遥感图像中所有特征点的特征描述符。
步骤4，利用空间约束筛选匹配点对。
利用最近邻方法，从参考遥感图像和待配准遥感图像的特征点中筛选出初次匹配点对。
所述的最近邻方法的步骤如下：
第1步，分别将参考遥感图像和待配准遥感图像中的特征点存放在参考图像特征点集合U和待配准遥感图像特征点集合V。
第2步，在参考遥感图像特征点集合U中选取一个特征点p。
第3步，计算参考遥感图像所选取的特征点p的特征描述符和待配准遥感图像特征点集合V中所有特征点的特征描述符的欧氏距离。
第4步，将参考遥感图像中所选取的特征点p与待配准遥感图像中所有特征点的特征描述符的欧式距离进行排序，得到最小值d1和次最小值d2，以及取得最小值时待配准遥感图像的特征点o，若d1/d2＜0.6，将p和o作为初次匹配点对。
第5步，重复执行第2步至第4步，直到参考遥感图像特征点集合U中所有特征点都被选取。
第6步，将所有匹配点对合并成一个匹配点对集合K。
利用空间约束法，从参考遥感图像和待配准遥感图像的特征点中二次筛选匹配点对。
所述的空间约束法的步骤如下：
第1步，依次计算匹配点对集合K中所有匹配点对两个像素点的主方向角度值之差，得到匹配点对集合K的主方向角度差均值ω。
第2步，在匹配点对集合K中任意选取两对匹配点，计算两对特征点中位于参考遥感图像中的两个特征点之间距离与两对特征点中位于浮动遥感图像中两个特征点之间距离的比值r。
第3步，从参考遥感图像和浮动遥感图像中各自任取一个特征点，组成一个特征点对。
第4步，重复第3步，直到参考遥感图像任意一个特征点都和浮动遥感图像中所有特征点都组成特征点对，所有特征点对合并成特征点对集合L。
第5步，从所得到的特征点对集合L中选取一个特征点对，计算所选特征点对两个像素点的主方向角度值之差，判断是否满足点约束公式，若满足该公式，执行第六步，否则执行第七步，点约束公式如下。
|ω-e|＜τ
其中，|·|表示绝对值操作，e表示所选取的特征点对的主方向差，τ表示点约束阈值，取值为3。
第6步，从匹配点对集合K任意选取一个匹配点对，判断所选取的特征点对两个像素点的坐标是否满足线约束公式，若满足该公式，将所选取特征点对作为最终匹配点对，否则执行第七步，线约束公式如下：
其中，|·|表示求绝对值操作，r表示匹配点对集合K中任意选取两对匹配点距离比值，表示开平方操作，(a,b)和(c,d)分别表示所选匹配点对两个像素点的坐标，(x,y)和(u,v)分别是两幅遥感图像中所选取的特征点对两个像素点的坐标，ρ表示线约束阈值，取值为0.1。
第7步，重复第五步和第六步，依次从特征点对集合L中选取特征点对，直到所有特征点对都被选取。
第8步，将所有最终匹配点对合并成最终匹配点对集合。
步骤5，获得几何形变参数。
采用随机抽样一致性算法，计算参考遥感图像和待配准遥感图像之间的变换矩阵，得到待配准遥感图像的几何形变参数。
步骤6，将待配准遥感图像进行几何变换。
利用得到的几何形变参数，将待配准遥感图像进行几何变换，得到配准结果。
下面结合实验仿真对本发明效果做进一步说明。
1.仿真条件：
本发明的仿真实验平台采用Intel(R)Core(TM)CPU i5-65003.20GHz，内存为8GB，运行Windows 7的PC机，编程语言为Matlab2016b。
2.仿真内容与结果分析：
图2为本发明仿真实验1的仿真图。其中图2(a)和图2(b)分别是USGS项目中的两幅多光谱遥感图像，图像大小均为614x611个像素。图2(a)为本发明用于遥感图像配准的参考图，由Landsat-7ETM+传感器于2000年7月拍摄，图2(b)为本发明用于遥感图像配准的待配准图，由Landsat4-5TM传感器于1999年6月拍摄，可以看出图2(a)和图2(b)对应区域存在着非线性灰度变化。图2(c)为利用本发明的方法对图2(a)和2(b)进行配准得到的配准结果融合图。从图2(c)可以看出，本发明方法得到的待配准图与参考图中对应区域的图像纹理信息准确重合在一起，说明本发明对遥感图像进行了精确配准。
本发明的仿真实验中利用空间约束法，筛选得到107对匹配点对。
为了评价遥感图像配准的精确度，通过下述的均方根误差公式，对107对匹配点对进行加权平均，计算得到均方根误差值RMSE(Root Mean Square Error)。
所述的均方根误差计算公式如下：
其中，RMSE表示均方根误差值，表示开平方操作，N表示筛选得到的匹配点对个数，∑表示求和操作，i表示匹配点对的标号，xi和yi表示标号为i的两个特征点其中一个特征点的行坐标值和列坐标值，ui和vi表示标号为i的两个特征点中另一个特征点的行坐标值和列坐标值。
通过上述均方根误差计算公式，计算得到107对匹配点对之间的均方根误差值为0.5997。现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法得到0对匹配点对，匹配点对之间的均方根误差值为0。将本发明与现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法分别得到的匹配点对数和均方根误差RMSE值填入表1中，得到本发明与现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法的对比实验结果一览表。
从表1可以看出，现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法不能得到匹配点对，表明该方法对图2(a)和图2(b)配准失效，而本发明能够成功配准该组图像，这些数据说明本发明方法能够成功对具有不规律灰度变化的遥感图像进行配准。
表1本发明与SAR-SIFT方法实验结果比较一览表
SAR-SIFT方法 本发明
匹配点对数 0 107
均方根误差值 0 0.5997
图3为本发明仿真实验2的仿真图。其中图3(a)和3(b)分别为同一传感器ALOS-PALSAR分别于2006年6月和2009年3月拍摄的武汉地区的两幅合成孔径雷达SAR图像，图像大小均为400x400个像素。图3(a)为本发明用于遥感图像配准的参考图，图3(b)为本发明用于遥感图像配准的待配准图，图3(c)为利用本发明方法对图3(a)和3(b)所示的图像进行配准，得到的配准结果融合图。从图3(c)可以看出，本发明方法得到的待配准图与参考遥感图中对应区域的图像纹理信息准确重合在一起，说明本发明对遥感图像进行了精确配准。
本发明的仿真实验中利用空间约束法，筛选得到67对匹配点对。
通过下述的均方根误差公式，对67对匹配点对进行加权平均，计算得到均方根误差值RMSE(Root Mean Square Error)。
所述的均方根误差计算公式如下：
其中，RMSE表示均方根误差值，表示开平方操作，N表示筛选得到的匹配点对个数，∑表示求和操作，i表示匹配点对的标号，xi和yi表示标号为i的两个特征点其中一个特征点的行坐标值和列坐标值，ui和vi表示标号为i的两个特征点中另一个特征点的行坐标值和列坐标值。
通过上述均方根误差计算公式，计算得到67对匹配点对之间的均方根误差值为0.5090。现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法得到8对匹配点对，匹配点对之间的均方根误差值为0.5239。将本发明与现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法分别得到的匹配点对数和均方根误差RMSE值填入表2，得到本发明与现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法的对比实验结果一览表。
从表2可以看出，相比于现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法，本发明方法对图3(a)和图3(b)配准得到的匹配点对更多，均方根误差值更小，说明本发明增加了匹配点对，提高了遥感图像配准的精度。
表2本发明与传统SAR-SIFT方法实验结果比较一览表
SAR-SIFT方法 本发明
匹配点对数 8 67
均方根误差值 0.5239 0.5090
综上所述，本发明分别对两组具有非线性灰度变化的遥感图像配准进行了仿真实验，相比于现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法，本发明方法均能得到较多的匹配点对和较小的均方根误差值，配准精度较高。两个仿真实验均表明，本发明采用结构信息生成特征点的特征描述符，利用空间约束筛选正确匹配点对，有效改善了现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法中由于非线性灰度变化导致筛选出错误匹配点对，增加了正确匹配点对，解决了现有技术基于合成孔径雷达的尺度不变性特征转换SAR-SIFT方法应用于遥感图像配准失效或精度较低的问题。

Claims (9)

1.一种基于结构信息和空间约束的遥感图像配准方法，其特征在于：采用结构信息生成特征点的特征描述符；利用空间约束筛选匹配点对；该方法具体步骤包括如下：
(1)读取数据：
输入两幅遥感图像，将其中一幅遥感图像作为参考遥感图像，将另一幅遥感图像作为待配准遥感图像；
(2)检测特征点：
(2a)利用SAR-Harris尺度空间公式，分别生成参考遥感图像和待配准遥感图像SAR-Harris尺度空间中的幅值图像；
(2b)利用阈值比较法，分别检测参考遥感图像和待配准遥感图像的SAR-Harris尺度空间幅值图像上的特征点；
(3)采用结构信息生成特征描述符：
(3a)利用相位一致性公式，分别计算参考遥感图像和待配准遥感图像所有像素点的相位一致性值；
(3b)利用梯度幅值公式，分别计算参考遥感图像和待配准遥感图像所有像素点的梯度幅值；
(3c)利用梯度方向公式，分别计算参考遥感图像和待配准遥感图像所有像素点的梯度幅值；
(3d)通过将具有相同坐标的像素点的相位一致性值和梯度幅值相加，分别得到参考遥感图像和待配准遥感图像所有像素点的结构信息值；
(3e)利用直方图统计法，分别生成参考遥感图像和待配准遥感图像中所有特征点的描述符；
(4)利用空间约束筛选匹配点对；
(4a)利用最近邻方法，从参考遥感图像和待配准遥感图像的特征点中筛选出初次匹配点对；
(4b)利用空间约束法，从参考遥感图像和待配准遥感图像的特征点中二次筛选匹配点对；
(5)获得几何形变参数：
采用随机抽样一致性算法，计算参考遥感图像和待配准遥感图像之间的变换矩阵，得到待配准遥感图像的几何形变参数；
(6)将待配准遥感图像进行几何变换：
利用得到的几何形变参数，将待配准遥感图像进行几何变换，得到配准结果。
2.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(2a)中所述的SAR-Harris尺度空间公式如下：
R＝det(C)-0.04·tr(C)
其中，R表示一幅遥感图像的SAR-Harris尺度空间，det表示矩阵的行列式操作，C表示一幅遥感图像的SAR-Harris矩阵，tr表示对矩阵主对角线元素的求和操作。
3.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(2b)中所述的阈值比较法的步骤如下：
第一步，在SAR-Harris尺度空间幅值图像中选取一个像素点，以所选取的像素点为中心，取3x3邻域，得到8个邻域点；
第二步，重复第一步，依次从SAR-Harris尺度空间幅值图像选择像素点，直到得到所有像素点的8个邻域点；
第三步，比较SAR-Harris尺度空间幅值图像中每个像素点与其相邻8个像素点的灰度值；
第四步，将中心点的灰度值大于其周围8个邻域点的灰度值的点作为极值点；
第五步，将所得到的极值点中灰度值大于0.8的像素点作为特征点。
4.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(3a)所述的相位一致性公式如下：
Ω(x,y)＝cos(Φn(x,y)-Ψ(x,y))-|sin(Φn(x,y)-Ψ(x,y))|
其中，PC表示遥感图像像素点的相位一致性值，x和y分别表示遥感图像中像素点的行坐标和列坐标，∑表示求和操作，n表示加伯Gabor滤波器的尺度标号，取值范围为1～8，W表示频率扩展的权重系数，取值范围为0～1，表示向上取整操作，An表示加伯Gabor滤波器尺度标号为n时的幅度响应值，Ω表示加伯Gabor滤波器的相位偏移量，T表示加伯Gabor滤波器的噪声阈值，取值为0.1，cos表示余弦操作，Φn表示加伯Gabor滤波器尺度标号为n的相位响应值，|·|表示绝对值操作，sin表示正弦操作，Ψ表示加伯Gabor滤波器在各个尺度标号的平均相位值。
5.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(3b)所述的梯度幅值公式如下：
其中，G表示遥感图像像素点的梯度幅值，x和y分别表示遥感图像中像素点的行坐标和列坐标，I表示遥感图像，表示开平方操作，表示偏导操作。
6.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(3c)所述的梯度方向公式如下：
其中，θ表示遥感图像像素点的梯度方向角度值，x和y分别表示遥感图像中像素点的行坐标和列坐标，tan-1表示反正切操作，表示偏导操作，I表示遥感图像，/表示相除操作。
7.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(3e)中所述的直方图统计法的步骤如下：
第一步，在参考遥感图像中，选取一个特征点；
第二步，将所选取的特征点作为中心点，在其周围取一个16x16的邻域；
第三步，用所选特征点16×16邻域内所有像素点的梯度方向角度值，构造梯度方向直方图；
第四步，选取梯度方向直方图的最大值作为所选特征点的主方向角度值：
第五步，用主方向角度值更新所选特征点梯度方向的角度值；
第六步，将0°～360°梯度方向角度区间，划分为0°～44°、45°～89°、90°～134°、135°～179°、180°～224°、225°～269°、270°～314°、315°～359°八个角度子区间；
第七步，将所选特征点的16×16邻域窗口平均划分成16个4×4的子窗口；
第八步，依据每个子窗口中的每个像素点的梯度方向角度值大小，将其划分到八个角度子区间内；
第九步，将每个子窗口内每个子区间中所有像素点的结构信息值相加，得到八个窗口结构信息值，将其存放在一个128维的列矢量中；
第十步，将这个128维的列矢量作为所选特征点的特征描述符；
第十一步，重复执行第一步至第十步，依次选取特征点，直到得到参考遥感图像中所有特征点的特征描述符；
第十二步，在待配准图像中选取一个特征点；
第十三步，执行第二步至第十二步操作一次，得到待配准遥感图像中所选特征点的特征描述符；
第十四步，重复十二步和十三步，依次选取特征点，直到得到待配准遥感图像中所有特征点的特征描述符。
8.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(4a)所述的最近邻方法的步骤如下：
第一步，分别将参考遥感图像和待配准遥感图像中的特征点存放在参考图像特征点集合U和待配准遥感图像特征点集合V；
第二步，在参考遥感图像特征点集合U中选取一个特征点p；
第三步，计算参考遥感图像所选取的特征点p的特征描述符和待配准遥感图像特征点集合V中所有特征点的特征描述符的欧氏距离；
第四步，将参考遥感图像中所选取的特征点p与待配准遥感图像中所有特征点的特征描述符的欧式距离进行排序，得到最小值d1和次最小值d2，以及取得最小值时待配准遥感图像的特征点o，若d1/d2＜0.6，将p和o作为初次匹配点对；
第五步，重复执行第二步至第四步，直到参考遥感图像特征点集合U中所有特征点都被选取；
第六步，将所有匹配点对合并成一个匹配点对集合K。
9.根据权利要求1所述的基于结构信息和空间约束的遥感图像配准方法，其特征在于，步骤(4b)所述的空间约束法的步骤如下：
第一步，依次计算匹配点对集合K中所有匹配点对两个像素点的主方向角度值之差，得到匹配点对集合K的主方向角度差均值ω；
第二步，在匹配点对集合K中任意选取两对匹配点，计算两对特征点中位于参考遥感图像中的两个特征点之间距离与两对特征点中位于浮动遥感图像中两个特征点之间距离的比值r；
第三步，从参考遥感图像和浮动遥感图像中各自任取一个特征点，组成一个特征点对；
第四步，重复第三步，直到参考遥感图像任意一个特征点都和浮动遥感图像中所有特征点都组成特征点对，所有特征点对合并成特征点对集合L；
第五步，从所得到的特征点对集合L中选取一个特征点对，计算所选特征点对两个像素点的主方向角度值之差，判断是否满足点约束公式，若满足该公式，执行第六步，否则执行第七步，点约束公式如下：
|ω-e|＜τ
其中，|·|表示绝对值操作，e表示所选取的特征点对的主方向差，τ表示点约束阈值，取值为3；
第六步，从匹配点对集合K任意选取一个匹配点对，判断所选取的特征点对两个像素点的坐标是否满足线约束公式，若满足该公式，将所选取特征点对作为最终匹配点对，否则执行第七步，线约束公式如下：
其中，|·|表示求绝对值操作，r表示匹配点对集合K中任意选取两对匹配点距离比值，(a,b)和(c,d)分别表示所选匹配点对两个像素点的坐标，(x,y)和(u,v)分别是两幅遥感图像中所选取的特征点对中两个像素点的坐标，ρ表示线约束阈值，取值为0.1；
第七步，重复第五步和第六步，依次从特征点对集合L中选取特征点对，直到所有特征点对都被选取；
第八步，将所有最终匹配点对合并成最终匹配点对集合。
CN201810253062.1A 2018-03-26 2018-03-26 基于结构信息和空间约束的遥感图像配准方法 Active CN108346162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810253062.1A CN108346162B (zh) 2018-03-26 2018-03-26 基于结构信息和空间约束的遥感图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810253062.1A CN108346162B (zh) 2018-03-26 2018-03-26 基于结构信息和空间约束的遥感图像配准方法

Publications (2)

Publication Number Publication Date
CN108346162A true CN108346162A (zh) 2018-07-31
CN108346162B CN108346162B (zh) 2019-10-11

Family

ID=62958218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810253062.1A Active CN108346162B (zh) 2018-03-26 2018-03-26 基于结构信息和空间约束的遥感图像配准方法

Country Status (1)

Country Link
CN (1) CN108346162B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872371A (zh) * 2019-01-24 2019-06-11 哈尔滨理工大学 一种基于改进Sift算法的单目视觉三维重建方法
CN110136083A (zh) * 2019-05-14 2019-08-16 深圳大学 一种结合交互式的底图更新方法及装置
CN111127525A (zh) * 2018-10-31 2020-05-08 千寻位置网络有限公司 带约束点集配准的增量式农田边界精度校准方法及装置
CN113469003A (zh) * 2021-06-24 2021-10-01 上海电力大学 一种遥感图像的匹配方法
CN113592924A (zh) * 2021-07-09 2021-11-02 齐鲁工业大学 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法
CN113643334A (zh) * 2021-07-09 2021-11-12 西安电子科技大学 基于结构相似性的异源遥感图像配准方法
CN114332182A (zh) * 2022-03-14 2022-04-12 北京化工大学 基于多特征约束的sar图像配准方法、设备和介质
CN114820737A (zh) * 2022-05-18 2022-07-29 浙江圣海亚诺信息技术有限责任公司 一种基于结构特征的遥感图像配准方法
CN115797381A (zh) * 2022-10-20 2023-03-14 河南理工大学 基于地理分块与分层特征匹配的异源遥感影像配准方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100310182A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Geocoding by image matching
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN103914847A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 基于相位一致性和sift的sar图像配准方法
CN103955910A (zh) * 2014-05-13 2014-07-30 武汉科技大学 一种基于双边图像梯度尖锐度量的多聚焦图像融合方法
CN105427298A (zh) * 2015-11-12 2016-03-23 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法
US9652860B1 (en) * 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
CN107292922A (zh) * 2017-06-23 2017-10-24 电子科技大学 一种用于光学与合成孔径雷达图像配准的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100310182A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Geocoding by image matching
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
US9652860B1 (en) * 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
CN103839265A (zh) * 2014-02-26 2014-06-04 西安电子科技大学 基于sift和归一化互信息的sar图像配准方法
CN103914847A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 基于相位一致性和sift的sar图像配准方法
CN103955910A (zh) * 2014-05-13 2014-07-30 武汉科技大学 一种基于双边图像梯度尖锐度量的多聚焦图像融合方法
CN105427298A (zh) * 2015-11-12 2016-03-23 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法
CN107292922A (zh) * 2017-06-23 2017-10-24 电子科技大学 一种用于光学与合成孔径雷达图像配准的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN LI等: "RSCJ:Robust Sample Consensus Judging Algorithm for Remote Sensing Image Registration", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS 》 *
孙晓雨等: "基于多尺度空间约束的局部匹配算法", 《图形图像》 *
杨芳: "基于结构信息与区域互信息的多模医学图像配准", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127525A (zh) * 2018-10-31 2020-05-08 千寻位置网络有限公司 带约束点集配准的增量式农田边界精度校准方法及装置
CN111127525B (zh) * 2018-10-31 2023-07-25 千寻位置网络有限公司 带约束点集配准的增量式农田边界精度校准方法及装置
CN109872371A (zh) * 2019-01-24 2019-06-11 哈尔滨理工大学 一种基于改进Sift算法的单目视觉三维重建方法
CN110136083A (zh) * 2019-05-14 2019-08-16 深圳大学 一种结合交互式的底图更新方法及装置
CN113469003B (zh) * 2021-06-24 2023-03-14 上海电力大学 一种遥感图像的匹配方法
CN113469003A (zh) * 2021-06-24 2021-10-01 上海电力大学 一种遥感图像的匹配方法
CN113643334A (zh) * 2021-07-09 2021-11-12 西安电子科技大学 基于结构相似性的异源遥感图像配准方法
CN113592924A (zh) * 2021-07-09 2021-11-02 齐鲁工业大学 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法
CN113592924B (zh) * 2021-07-09 2023-07-18 齐鲁工业大学 基于结构和几何相似性的多光谱卫星图像的鲁棒配准方法
CN114332182A (zh) * 2022-03-14 2022-04-12 北京化工大学 基于多特征约束的sar图像配准方法、设备和介质
CN114332182B (zh) * 2022-03-14 2022-07-22 北京化工大学 基于多特征约束的sar图像配准方法、设备和介质
CN114820737A (zh) * 2022-05-18 2022-07-29 浙江圣海亚诺信息技术有限责任公司 一种基于结构特征的遥感图像配准方法
CN114820737B (zh) * 2022-05-18 2024-05-07 浙江圣海亚诺信息技术有限责任公司 一种基于结构特征的遥感图像配准方法
CN115797381A (zh) * 2022-10-20 2023-03-14 河南理工大学 基于地理分块与分层特征匹配的异源遥感影像配准方法
CN115797381B (zh) * 2022-10-20 2024-04-12 河南理工大学 基于地理分块与分层特征匹配的异源遥感影像配准方法

Also Published As

Publication number Publication date
CN108346162B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN108346162B (zh) 基于结构信息和空间约束的遥感图像配准方法
Zuo et al. A robust approach to reading recognition of pointer meters based on improved mask-RCNN
Hu et al. Revisiting single image depth estimation: Toward higher resolution maps with accurate object boundaries
CN108427924B (zh) 一种基于旋转敏感特征的文本回归检测方法
CN105427298B (zh) 基于各向异性梯度尺度空间的遥感图像配准方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN109035315A (zh) 融合sift特征和cnn特征的遥感图像配准方法及系统
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
CN109949349B (zh) 一种多模态三维图像的配准及融合显示方法
CN103914847A (zh) 基于相位一致性和sift的sar图像配准方法
CN110334762A (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN106447704A (zh) 基于显著区域特征和边缘度的可见光‑红外图像配准方法
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN109446894B (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN108961286B (zh) 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法
CN105184786B (zh) 一种浮点型三角形特征描述方法
CN109117851A (zh) 一种基于网格统计约束的视频图像匹配方法
CN108510531A (zh) 基于pcncc和邻域信息的sar图像配准方法
Pan et al. Residual meshnet: Learning to deform meshes for single-view 3d reconstruction
CN111353325A (zh) 关键点检测模型训练方法及装置
CN116612165A (zh) 一种针对大视角差异sar图像的配准方法
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
Hu et al. Multiscale structural feature transform for multi-modal image matching
CN116883464A (zh) 一种针对大视角差异光学与sar遥感图像的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant