CN106960449B - 基于多特征约束的异源配准方法 - Google Patents

基于多特征约束的异源配准方法 Download PDF

Info

Publication number
CN106960449B
CN106960449B CN201710150688.5A CN201710150688A CN106960449B CN 106960449 B CN106960449 B CN 106960449B CN 201710150688 A CN201710150688 A CN 201710150688A CN 106960449 B CN106960449 B CN 106960449B
Authority
CN
China
Prior art keywords
point
corner
pairs
registered
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710150688.5A
Other languages
English (en)
Other versions
CN106960449A (zh
Inventor
曾操
陈佳东
李焕
朱圣棋
刘洋
廖桂生
杨志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eighth Middle School
Xidian University
Original Assignee
Beijing Eighth Middle School
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eighth Middle School, Xidian University filed Critical Beijing Eighth Middle School
Priority to CN201710150688.5A priority Critical patent/CN106960449B/zh
Publication of CN106960449A publication Critical patent/CN106960449A/zh
Application granted granted Critical
Publication of CN106960449B publication Critical patent/CN106960449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，公开了基于多特征约束的异源配准方法，该方法包括如下步骤：获取待配准SAR图像及参考图像；对待配准SAR图像进行降噪处理，并对降噪后的待配准SAR图像和参考图像进行角点检测，得到多个第一角点和多个第二角点；对多个第一角点和多个第二角点进行基于角点位置、区域互信息及距离的多特征联合约束，得到多对精确匹配角点对；采用RANSAC策略对多对精确匹配角点对进行迭代拟合，确定正向控制点对；利用全部正向控制点对计算精确映射参数，利用映射参数将降噪后的待配准SAR图像向参考图像配准，得到配准后的SAR图像。本发明能够实现变换矩阵的精确估计，从而有效提高配准精度。

Description

基于多特征约束的异源配准方法
技术领域
本发明涉及图像处理技术领域，尤其涉及基于多特征约束的异源配准方法，用于SAR图像和光学图像的特征点提取及特征匹配，可以有效解决在异源配准同名点提取困难的情况下实现对变换矩阵的精确估计，从而有效提高配准精度。
背景技术
异源配准是将时空错位、粒度不一致的异源数据映射为时空一致性的数据，这些时空一致性数据是后续多源关联检测、联合识别和信息融合的基础。由于SAR图像通常信噪比比较低且存在散焦，造成SAR图像与光学图像异源配准极其困难，因此研究SAR图像与光学图像的异源配准具有十分重要的意义。
目前，现有技术中一种主要的异源配准方法为基于图像特征的异源配准方法。该方法的主要优势表现在：一方面，该方法能够减少噪声对特征点提取过程的影响，因此对图像的灰度变化具有较好的适应能力；另一方面，由于图像的特征点要远少于图像的像素点，因此该方法能够在很大程度上减少匹配过程中的计算量。此外，由于特征点的提取对图像的几何形变具有较好的适应力，因此该方法适用性较广。然而，现有的此种方法在异源配准过程中难以对特征进行精确匹配，进而难以估计出精细的变换矩阵，这使得现有的此种方法配准精度较低。
发明内容
有鉴于此，本发明提供了基于多特征约束的异源配准方法，能够实现变换矩阵的精确估计，从而有效提高配准精度。
为达到上述目的，本发明采用如下技术方案：
提供一种基于多特征约束的异源配准方法，包括以下步骤：
步骤1，获取待配准SAR图像及对应的参考图像，参考图像为光学图像，待配准SAR图像和参考图像为同一场景的两幅图像；
步骤2，对待配准SAR图像进行降噪处理，得到降噪后的待配准SAR图像；
利用Harris算法对降噪后的待配准SAR图像进行角点检测，得到降噪后的待配准SAR图像的多个第一角点；以及，利用Harris算法对参考图像进行角点检测，得到参考图像的多个第二角点；
步骤3，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对；
步骤4，采用RANSAC策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对；
步骤5，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准，得到配准后的SAR图像。
基于本发明上述方案，首先获取待配准SAR图像及对应的参考图像，对待配准SAR图像进行降噪处理得到降噪后的待配准SAR图像；然后，利用Harris算法对降噪后的待配准SAR图像和参考图像分别进行角点检测，得到多个第一角点和多个第二角点；接着，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对，进而采用RANSAC策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对；最后，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准，得到配准后的SAR图像。相比现有技术，本发明具有以下优点：
第一，本发明中所采用了基于位置、距离和互信息的多特征约束的匹配策略，因此能够解决异源配准中特征点匹配策略单一、不够精细的问题，从而有效剔除误匹配的角点对，获得更为精确的控制点对；
第二，本发明中采用RANSAC策略对匹配焦点对进行迭代拟合，确定经过精确匹配的多对角点对中的正向控制点对，进而能够利用正向控制点对建立精确仿射变换模型，在该精确仿射变换模型的基础上来匹配控制点对，因此本发明方法能够提升数据拟合的鲁棒性，抑制积累的误差对数据造成进一步的干扰，从而实现对变换矩阵的稳健估计，有效提升异源配准精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多特征的异源配准方法的流程示意图；
图2(a)为某地实测SAR图像；
图2(b)为某地实测光学图像；
图3为对图2(a)所示的实测SAR图像进行滤波后的图像；
图4(a)为降噪处理后的SAR图像的角点检测结果图；
图4(b)为光学图像的角点检测结果图；
图5(a)为对降噪处理后SAR图像进行联合约束后得到的角点示意图；
图5(b)为对光学图像进行联合约束后得到的角点示意图
图6(a)为SAR图像中的正向控制角点示意图；
图6(b)为光学图像中的正向控制角点示意图；
图7为配准后的SAR图像；
图8为将配准后SAR图像与光学图像叠加后的图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明实施例提供的一种基于多特征约束的异源配准方法的流程示意图。
如图1所示，本发明实施例提供的一种基于多特征约束的异源配准方法包括以下步骤：
步骤1，获取待配准SAR图像及对应的参考图像。
其中，参考图像为光学图像，待配准SAR图像和参考图像为同一场景的两幅图像。
步骤2，对待配准SAR图像进行降噪处理，得到降噪后的待配准SAR图像；利用Harris算法对降噪后的待配准SAR图像进行角点检测，得到降噪后的待配准SAR图像的多个第一角点；以及，利用Harris算法对参考图像进行角点检测，得到参考图像的多个第二角点。
其中，具体可按照下式对待配准SAR图像进行平滑滤波处理以对其进行降噪：
Figure BDA0001245498370000041
Mij＝exp(-Aij×Tij)，
Figure BDA0001245498370000042
式中，g′ij表示像素点(i，j)经平滑处理后的灰度值，gij表示像素点的原始灰度值，
Figure BDA0001245498370000043
表示平滑窗口内全部像素点的灰度平均值，Mij表示像素点(i，j)的权重指数，Tij表示平滑窗口内的中心像素点到其邻像元的绝对距离，σij表示平滑窗口中全部像素点的灰度值的方差，n2表示平滑窗口的大小。
优选的，步骤2中，利用Harris算法对降噪后的待配准SAR图像进行角点检测，得到所述降噪后的待配准SAR图像的多个第一角点，具体可以包括：
计算得到降噪后的待配准SAR图像中各像素点对应的角点响应函数；
将降噪后的待配准SAR图像中角点响应函数的取值大于零的像素点确定为所述降噪后的待配准SAR图像的第一角点。
类似的，步骤2中，利用Harris算法对参考图像进行角点检测，得到参考图像的多个第二角点，具体可以包括：
计算得到所参考图像中各像素点对应的角点响应函数；
将参考图像中角点响应函数的取值大于零的像素点确定为参考图像的第二角点。
其中，需要说明的是，某一像素点(x，y)对应的角点响应函数可以表示为：
R＝det(M)-kTr(M)2，
式中，M表示像素点(x，y)的自相关矩阵，
Figure BDA0001245498370000044
Ix表示像素点(x，y)的灰度值在水平方向上的偏导数，Iy表示像素点(x，y)的灰度值在垂直方向上的偏导数；k表示常数；det(M)表示矩阵M的行列式；Tr(M)表示矩阵M的两个特征值之和；x表示在水平方向上的坐标，y表示像素点(x，y)在垂直方向上的坐标。
步骤3，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对。
本发明实施例的一种优选的实现方式中，步骤3具体可以包括以下子步骤：
(3a)获取初始匹配角点对，并根据初始匹配角点对构造初始仿射变换模型，进而利用初始仿射变换模型剔除多个第一角点中的部分第一角点，并确定其余第一角点对应的候补特征点。
其中，需要说明的是，可通过人工选取的方式从降噪后的待配准SAR图像和参考图像中选取相同区域的像素点作为初始匹配角点对。由于后续会根据迭代结果不断对降噪后的待配准SAR图像和参考图像中的角点进行匹配，因此本发明方法不要求初始匹配角点对中的两个角点精确匹配，只要两个角点能够表征图像的相应特征且所处位置大致一致即可。
其中，步骤(3a)具体又可以包括以下子步骤：
(3a1)获取初始匹配角点对，利用初始匹配角点对，计算得到初始映射参数，利用初始映射参数构造初始仿射变换模型。
其中，本领域技术人员可以理解，所述的初始映射参数具体包括：沿水平方向和垂直方向的比例系数、沿水平方向和垂直方向的错切系数以及沿水平方向和垂直方向的位移。需要说明的是，本领域技术人员容易理解，具体可以利用数学工具matlab软件中的角点选择函数——cpselect函数，计算得到初始映射参数，本发明实施例对此不再赘述。
具体的，初始仿射变换模型可表示为：
式中，b11表示沿水平方向的比例系数，b12表示沿垂直方向的比例系数，b13表示沿水平方向的错切系数，b21表示沿垂直方向的错切系数，b22表示沿水平方向的位移，b23表示沿垂直方向的位移；x表示变换前像素点在水平方向上的坐标，y表示变换前像素点在垂直方向上的坐标；x′表示变换后像素点在水平方向上的坐标，y′表示变换后像素点在垂直方向上的坐标。
(3a2)对于多个第一角点中的任一第一角点，利用初始仿射变换模型将该第一角点映射至参考图像中，得到该第一角点对应的第一映射角点；若第一映射角点落在参考图像的边缘区域内，则剔除该第一角点；若第一映射角点未落在参考图像的边缘区域内，则在参考图像中以第一映射角点为中心建立搜索窗口，将落在搜索窗口内的第二角点确定为该第一角点对应的候补特征点。
即，对于全部第一角点中的每个第一角点，均按照步骤(3a2)判断是否将其剔除，并且在不剔除的情况下，确定其对应的候补特征点。
(3b)对于其余第一角点中的任一第一角点，分别在降噪后的待配准SAR图像中建立以该第一角点为中心的第一估计窗口，以及在参考图像中建立以该第一角点的各候补特征点分别为中心的多个第二估计窗口，第一估计窗口和第二估计窗口的尺寸相同；利用第一估计窗口和多个第二估计窗口进行区域互信息约束，确定该第一角点的多个候补特征点中的控制角点。
即，对于步骤(3a)中得到的余下的全部第一角点中的每个第一角点，均按照步骤(3b)确定其对应的控制角点。
具体的，步骤(3b)中，利用第一估计窗口和多个第二估计窗口进行区域互信息约束，确定该第一角点的多个候补特征点中的控制角点，具体可以包括：
对于多个第二估计窗口中的任一第二估计窗口，计算该第二估计窗口和第一估计窗口的互信息，并对互信息进行归一化，得到归一化互信息；若归一化互信息大于预设的互信息阈值，则将该第二估计窗口对应的候补特征点确定为该第一角点的一个控制角点；若归一化互信息小于或等于预设的互信息阈值，则剔除第二估计窗口对应的候补特征点。
其中，需要说明的是，所述的第二估计窗口对应的候补特征点指的是第二估计窗口的中心点，也即步骤(3b)中建立第二估计窗口时用到的候补特征点。
此外，还需说明的是，本领域技术人员可以理解，所述的归一化互信息是度量两张图片相似度的一种表达方式，其值越大代表两张图片的相似性越高。具体的，归一化互信息可表示为：
Figure BDA0001245498370000071
式中，NMI表示归一化互信息，H(A)表示A图像的信息熵，H(B)表示B图像的信息熵，H(A，B)表示A图像和B图像的联合信息熵。
此外，本领域技术人员可以理解，步骤(3b)中所建立的第一估计窗口和第二估计窗口的尺寸也可不同。当第一估计窗口和第二估计窗口的尺寸不同时，则需要利用插值算法将二者尺寸调整至相同后，再计算二者的互信息。
(3c)对于其余第一角点中的任一第一角点，确定该第一角点的控制角点中是否存在对应的精确匹配角点：若存在，则将该第一角点和其对应的精确匹配角点确定为一对精确匹配角点对；若不存在，则删除该第一角点。
其中，第一角点对应的精确匹配角点为与第一角点在参考图像中的映射角点之间距离最小并且距离小于第一预设距离的控制角点。
步骤4，采用RANSAC策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对。
其中，步骤4具体可以包括以下子步骤：
(4a)从多对精确匹配角点对中随机选取至少3组角点对作为正向控制点对，并将其余精确匹配角点对作为反向控制点对。
(4b)利用正向控制点对计算得到中间映射参数，进而利用中间映射参数计算得到中间仿射变换模型。
其中，所述的中间映射参数具体包括：沿水平方向和垂直方向的比例系数、沿水平方向和垂直方向的错切系数以及沿水平方向和垂直方向的位移。中间仿射变换模型的具体形式可参考步骤(3a1)中的初始仿射变换模型，二者相类似，区别仅在于映射参数取值不同。
(4c)对每个反向控制点对执行以下步骤：
通过中间仿射变换模型将反向控制点对中的第一角点映射至参考图像中，得到对应的第二映射角点，计算反向控制点对中的控制角点与第二映射角点在水平方向和垂直方向上的距离；
若反向控制点对中的控制角点与第二映射角点在水平方向和垂直方向上的距离均小于第二预设距离，则将反向控制点对更改为正向控制点对。
(4d)当步骤(4c)执行结束后，确定当前正向控制点对的个数：若当前正向控制点对的个数大于预设数量，则转至步骤5；若当前正向控制点对的个数小于或等于预设数量，则重复执行步骤(4a)-(4c)，直至正向控制点对的个数大于预设数量。
步骤5，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准，得到配准后的SAR图像。
其中，所述的精确仿射变换模型具体可表示为：
Figure BDA0001245498370000081
其中，a11、a12、a22、a21、a13和a13为精确映射参数，a11表示沿水平方向的比例系数，a22表示沿垂直方向的比例系数，a12表示沿水平方向的错切系数，a21表示沿垂直方向的错切系数，a13表示沿水平方向的位移，a23表示沿垂直方向的位移；x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标；x′表示配准后图像的像素点在水平方向上的坐标，y′表示配准后图像的像素点在垂直方向上的坐标。
其中，步骤5中，利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准，得到配准后的SAR图像的具体实现过程为：从配准后图像的像素出发，映射到原始图像上，而该位置的坐标往往不是整数，则需要将原始图像中该位置附近的像素点灰度值利用插值的方法来求出作为此点的灰度值，之后返回给配准后图像上的对应点，得到异源配准结果。
基于本发明上述方案，首先获取待配准SAR图像及对应的参考图像，对待配准SAR图像进行降噪处理得到降噪后的待配准SAR图像；然后，利用Harris算法对降噪后的待配准SAR图像和参考图像分别进行角点检测，得到多个第一角点和多个第二角点；接着，对多个第一角点和多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对，进而采用RANSAC策略对多对精确匹配角点对进行迭代拟合，确定多对精确匹配角点对中的正向控制点对；最后，利用多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用映射参数构造精确仿射变换模型，进而利用精确仿射变换模型将降噪后的待配准SAR图像向参考图像配准，得到配准后的SAR图像。相比现有技术，本发明具有以下优点：
第一，本发明中所采用了基于位置、距离和互信息的多特征约束的匹配策略，因此能够解决异源配准中特征点匹配策略单一、不够精细的问题，从而有效剔除误匹配的角点对，获得更为精确的控制点对；
第二，本发明中采用RANSAC策略对匹配焦点对进行迭代拟合，确定经过精确匹配的多对角点对中的正向控制点对，进而能够利用正向控制点对建立精确仿射变换模型，在该精确仿射变换模型的基础上来匹配控制点对，因此本发明方法能够提升数据拟合的鲁棒性，抑制积累的误差对数据造成进一步的干扰，从而实现对变换矩阵的稳健估计，有效提升异源配准精度。
进一步的，为验证本发明上述方法的正确性，采用本发明上述方法对图2(a)所示的某地实测SAR图像和图2(b)所示的该地的光学图像进行了配准，具体过程如下：
(1)对图2(a)所示的实测SAR图像进行滤波，抑制斑点噪声。
图3所示即为对图2(a)所示的实测SAR图像进行滤波后的图像。对比图2(a)和图3，可以发现，SAR图像中的斑点噪声得到了一定的抑制，这为后续提取SAR图像的特征点提供了有利条件。
(2)利用Harris算法分别检测上一步得到的经过降噪处理后的SAR图像和光学图像中的角点。
其中，检测结果如图4(a)和4(b)所示，图中的“+”即表示所检测出的角点，其中图4(a)为降噪处理后的SAR图像的角点检测结果图，图4(b)为光学图像的角点检测结果图。观察图4(a)和图4(b)，可以看出，SAR图像和光学图像中大部分区域的角点都很好地被提取出来了，并且SAR图像中提取的角点数量明显多于光学图像中的角点。
(3)对上一步得到的图像中的角点进行位置、距离和互信息的联合约束，得到多对精确匹配角点对。
其中，执行结果如图5(a)和5(b)所示，其中图5(a)为对降噪处理后SAR图像进行联合约束后得到的角点示意图，图5(b)为对光学图像进行联合约束后得到的角点示意图，图中的“*”即表示得到的精确匹配角点对中的角点。
观察图4(a)-图5(b)，可以看出，原本大量杂乱且无对应关系的SAR图像和光学图像的角点，经过联合优化处理后已经变得有序且一一对应，实现了控制点对的精确估计。
(4)对上一步得到的多对精确匹配角点对进行迭代拟合，得到其中的正向控制点对。
其中，执行结果如图6(a)和6(b)所示，其中图6(a)为SAR图像中的正向控制角点示意图，图6(b)为光学图像中的正向控制角点示意图，图中的“*”即表示得到的正向控制点对中的角点，图中的数字“1”、“2”…“7”表示图6(a)中的角点和图6(b)中的角点的对应关系，图6(a)和图6(b)中标有相同数字的角点即构成一对正向控制角点对。
对比图6与图5可知，经过迭代拟合，能够进一步剔除存在偏差的角点控制对，所获得的角点对更加精细。
(5)利用上一步得到的正向控制点对进行配准，得到配准后的SAR图像。
图7所示即为配准后的SAR图像，观察图7和图2，可以发现，利用本发明方法成功实现了异源图像的配准。为了进一步估计配准的粗细程度，可将配准后的图像和光学图像叠加显示，如图8所示，可以看出图中没有虚影和错位，取得了良好的配准效果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于多特征约束的异源配准方法，其特征在于，包括以下步骤：
步骤1，获取待配准SAR图像及对应的参考图像，所述参考图像为光学图像，所述待配准SAR图像和所述参考图像为同一场景的两幅图像；
步骤2，对所述待配准SAR图像进行降噪处理，得到降噪后的待配准SAR图像；
利用Harris算法对所述降噪后的待配准SAR图像进行角点检测，得到所述降噪后的待配准SAR图像的多个第一角点；以及，利用Harris算法对所述参考图像进行角点检测，得到所述参考图像的多个第二角点；
步骤3，对所述多个第一角点和所述多个第二角点进行基于角点位置、区域互信息以及距离的多特征联合约束，得到多对精确匹配角点对；
步骤3具体包括以下子步骤：
(3a)获取初始匹配角点对，并根据所述初始匹配角点对构造初始仿射变换模型，进而利用所述初始仿射变换模型剔除所述多个第一角点中的部分第一角点，并确定其余第一角点对应的候补特征点；
其中，通过人工选取的方式从降噪后的待配准SAR图像和参考图像中选取相同区域的像素点作为初始匹配角点对；
(3b)对于所述其余第一角点中的任一第一角点，分别在所述降噪后的待配准SAR图像中建立以该第一角点为中心的第一估计窗口，以及在所述参考图像中建立以该第一角点的各候补特征点分别为中心的多个第二估计窗口，所述第一估计窗口和所述第二估计窗口的尺寸相同；利用所述第一估计窗口和所述多个第二估计窗口进行区域互信息约束，确定该第一角点的多个候补特征点中的控制角点；
(3c)对于所述其余第一角点中的任一第一角点，确定该第一角点的控制角点中是否存在对应的精确匹配角点：若存在，则将该第一角点和其对应的精确匹配角点确定为一对精确匹配角点对；若不存在，则删除该第一角点；其中，所述第一角点对应的精确匹配角点为与所述第一角点在所述参考图像中的映射角点之间距离最小并且距离小于第一预设距离的控制角点；
步骤4，采用RANSAC策略对所述多对精确匹配角点对进行迭代拟合，确定所述多对精确匹配角点对中的正向控制点对；
步骤4具体包括以下子步骤：
(4a)从所述多对精确匹配角点对中随机选取至少3组角点对作为正向控制点对，并将其余精确匹配角点对作为反向控制点对；
(4b)利用所述正向控制点对计算得到中间映射参数，进而利用所述中间映射参数计算得到中间仿射变换模型；
(4c)对每个反向控制点对执行以下步骤：
通过所述中间仿射变换模型将反向控制点对中的第一角点映射至所述参考图像中，得到对应的第二映射角点，计算反向控制点对中的控制角点与所述第二映射角点在水平方向和垂直方向上的距离；
若反向控制点对中的控制角点与所述第二映射角点在水平方向和垂直方向上的距离均小于第二预设距离，则将反向控制点对更改为正向控制点对；
(4d)当步骤(4c)执行结束后，确定当前正向控制点对的个数：若当前正向控制点对的个数大于预设数量，则转至步骤5；若当前正向控制点对的个数小于或等于所述预设数量，则重复执行步骤(4a)-(4c)，直至正向控制点对的个数大于所述预设数量；
步骤5，利用所述多对精确匹配角点对中的全部正向控制点对，计算得到精确映射参数，利用所述映射参数构造精确仿射变换模型，进而利用所述精确仿射变换模型将所述降噪后的待配准SAR图像向所述参考图像配准，得到配准后的SAR图像。
2.根据权利要求1所述的方法，其特征在于，步骤(3a)具体包括以下子步骤：
(3a1)获取初始匹配角点对，并利用所述初始匹配角点对，计算得到初始映射参数，利用所述初始映射参数构造初始仿射变换模型；
(3a2)对于所述多个第一角点中的任一第一角点，利用所述初始仿射变换模型将该第一角点映射至所述参考图像中，得到该第一角点对应的第一映射角点；若所述第一映射角点落在所述参考图像的边缘区域内，则剔除该第一角点；若所述第一映射角点未落在所述参考图像的边缘区域内，则在所述参考图像中以所述第一映射角点为中心建立搜索窗口，将落在所述搜索窗口内的第二角点确定为该第一角点对应的候补特征点。
3.根据权利要求1所述的方法，其特征在于，步骤(3b)中，所述利用所述第一估计窗口和所述多个第二估计窗口进行区域互信息约束，确定该第一角点的多个候补特征点中的控制角点，具体包括：
对于所述多个第二估计窗口中的任一第二估计窗口，计算该第二估计窗口和所述第一估计窗口的互信息，并对所述互信息进行归一化，得到归一化互信息；若所述归一化互信息大于预设的互信息阈值，则将该第二估计窗口对应的候补特征点确定为该第一角点的一个控制角点；若所述归一化互信息小于或等于所述预设的互信息阈值，则剔除所述第二估计窗口对应的候补特征点。
4.根据权利要求1所述的方法，其特征在于，步骤2中，所述利用Harris算法对所述降噪后的待配准SAR图像进行角点检测，得到所述降噪后的待配准SAR图像的多个第一角点，具体包括：
计算得到所述降噪后的待配准SAR图像中各像素点对应的角点响应函数；
将所述降噪后的待配准SAR图像中角点响应函数的取值大于零的像素点确定为所述降噪后的待配准SAR图像的第一角点；
所述利用Harris算法对所述参考图像进行角点检测，得到所述参考图像的多个第二角点，具体包括：
计算得到所述参考图像中各像素点对应的角点响应函数；
将所述参考图像中角点响应函数的取值大于零的像素点确定为所述参考图像的第二角点；
其中，像素点(x,y)对应的角点响应函数为R＝det(M)-kTr(M)2，式中，M表示像素点(x,y)的自相关矩阵，
Figure FDA0002167568440000031
Ix表示像素点(x,y)的灰度值在水平方向上的偏导数，Iy表示像素点(x,y)的灰度值在垂直方向上的偏导数；k表示常数；det(M)表示矩阵M的行列式；Tr(M)表示矩阵M的两个特征值之和；x表示在水平方向上的坐标，y表示像素点(x,y)在垂直方向上的坐标。
5.根据权利要求1所述的方法，其特征在于，所述精确仿射变换模型为：
其中，a11、a12、a22、a21、a13和a13为精确映射参数，a11表示沿水平方向的比例系数，a22表示沿垂直方向的比例系数，a12表示沿水平方向的错切系数，a21表示沿垂直方向的错切系数，a13表示沿水平方向的位移，a23表示沿垂直方向的位移；x表示待配准图像的像素点在水平方向上的坐标，y表示待配准图像中的像素点在垂直方向上的坐标；x'表示配准后图像的像素点在水平方向上的坐标，y'表示配准后图像的像素点在垂直方向上的坐标。
CN201710150688.5A 2017-03-14 2017-03-14 基于多特征约束的异源配准方法 Active CN106960449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710150688.5A CN106960449B (zh) 2017-03-14 2017-03-14 基于多特征约束的异源配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710150688.5A CN106960449B (zh) 2017-03-14 2017-03-14 基于多特征约束的异源配准方法

Publications (2)

Publication Number Publication Date
CN106960449A CN106960449A (zh) 2017-07-18
CN106960449B true CN106960449B (zh) 2020-02-14

Family

ID=59470875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710150688.5A Active CN106960449B (zh) 2017-03-14 2017-03-14 基于多特征约束的异源配准方法

Country Status (1)

Country Link
CN (1) CN106960449B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610164B (zh) * 2017-09-11 2020-07-14 北京空间飞行器总体设计部 一种基于多特征混合的高分四号影像配准方法
CN107945216B (zh) * 2017-11-10 2019-10-11 西安电子科技大学 基于最小二乘估计的多图像联合配准方法
CN108230375B (zh) * 2017-12-27 2022-03-22 南京理工大学 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法
CN109191501B (zh) * 2018-08-07 2021-08-24 宁波市测绘和遥感技术研究院 一种多源高空间分辨率影像的自动几何配准方法
CN109409292B (zh) * 2018-10-26 2021-09-03 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法
CN111476143B (zh) * 2020-04-03 2022-04-22 华中科技大学苏州脑空间信息研究院 获取多通道图像、生物多参数以及身份识别的装置
CN111914857B (zh) * 2020-08-11 2023-05-09 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN112132874B (zh) * 2020-09-23 2023-12-05 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN112541932B (zh) * 2020-11-30 2024-03-26 西安电子科技大学昆山创新研究院 基于双光相机不同焦距变换参数的多源图像配准方法
CN112750152B (zh) * 2021-01-18 2023-04-07 上海联影医疗科技股份有限公司 图像配准方法、装置、计算机设备和存储介质
CN114241022B (zh) * 2022-02-28 2022-06-03 北京艾尔思时代科技有限公司 一种无人机图像自动配准方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667293A (zh) * 2009-09-24 2010-03-10 哈尔滨工业大学 对多种传感器遥感图像进行高精度稳健配准的方法
CN104021559A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于互信息和Harris角点检测的图像配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667293A (zh) * 2009-09-24 2010-03-10 哈尔滨工业大学 对多种传感器遥感图像进行高精度稳健配准的方法
CN104021559A (zh) * 2014-06-17 2014-09-03 西安电子科技大学 基于互信息和Harris角点检测的图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AUTOMATIC REGISTRATION OF SAR AND OPTICAL IMAGE BASED ON MULTI-FEATURES AND MULTI-CONSTRAINTS;Zhenhua Wang et al.;《IEEE》;20101203;第1019-1021页 *
图像配准建立仿射变换模型并用RANSAC算法评估;奔跑的鸡丝;《博客https://www.cnblogs.com/giser-whu/p/3720012.html》;20140509;第1-4页 *
基于Harris角点匹配的目标跟踪;陈芳灵;《人工智能及识别技术》;20120831;第97-98页 *

Also Published As

Publication number Publication date
CN106960449A (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN106960449B (zh) 基于多特征约束的异源配准方法
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
TWI520078B (zh) Optical flow tracking method and device
JP5178875B2 (ja) 対応点探索のための画像処理方法
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
Lo et al. Joint trilateral filtering for depth map super-resolution
CN107169972B (zh) 一种非合作目标快速轮廓跟踪方法
WO2014032496A1 (zh) 一种人脸特征点定位方法、装置及存储介质
EP2757529B1 (en) Systems and methods for 3D data based navigation using descriptor vectors
CN108550166B (zh) 一种空间目标图像匹配方法
Shen et al. A hierarchical horizon detection algorithm
CN110895683B (zh) 一种基于Kinect的单视点手势姿势识别方法
CN103136525A (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN106778767B (zh) 基于orb和主动视觉的视觉图像特征提取及匹配方法
CN103679720A (zh) 一种基于小波分解与Harris角点检测的快速图像配准方法
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN111062972B (zh) 基于图像频率域转换的图像跟踪方法
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN107808165B (zh) 一种基于susan角点检测的红外图像匹配方法
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant