CN104978742B - 基于级联结构的图像配准方法及装置 - Google Patents

Abstract

本发明提供一种基于级联结构的图像配准方法及装置，其中，该方法包括：对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；根据预设置信度，对第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从第一粗匹配组中剔除的匹配对的相似度低于预设置信度；根据预设阈值，对第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于预设阈值；采用RANSAC算法，对第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；根据变换矩阵，将参考图像和输入图像在空间上进行对准处理，以获取输出图像。

Description

基于级联结构的图像配准方法及装置

技术领域

本发明涉及图像配准领域，尤其涉及一种基于级联结构的图像配准方法及装置。

背景技术

图像配准是图像处理的一个基本问题，用于将不同时间、不同传感器或不同条件下获取的两幅或多幅图像在空间上进行对准。图像配准有着广泛的实际意义和应用范围，应用涉及遥感图像处理、医学图像处理、目标识别、全景图像拼接等多个领域。

目前，常用的图像配准算法就是基于特征点的配准，基于尺度不变特征转换(Scale-Invariant Feature Transform，简称SIFT)算法结合随机抽样一致(RANdomSAmple Consensus，简称RANSAC)算法属于基于特征点的配准方法，实现过程首先利用SIFT算法检测实现过程首先检测参考图像和输入图像的特征点并计算每个特征点的描述符，然后在参考图像的特征点中搜索与输入图像特征点的相似度最大的点，得到粗匹配，得到粗匹配后采用RANSAC算法提出错误的匹配对，并得到参考图像和输入图像的变换矩阵。

然而，RANSAC算法对于粗匹配的准确性有要求，当图像为多光谱图像或者图像的拍摄角度差别较大时，由SIFT算法得到的粗匹配的准确率很低时，直接使用RANSAC算法并不能得到正确的结果，甚至会得到完全错误的结果，从而导致将参考图像和所述输入图像在空间上进行对准处理后，获得的输出图像分辨率不高，甚至完全不清楚。

发明内容

本发明提供一种基于级联结构的图像配准方法及装置，通过使用级联结构逐级剔除错误的粗匹配对，满足RANSAC算法对粗匹配对的准确性的要求，使得匹配结果更加准确，保证输出图像的分辨率和清晰度。

本发明提供一种基于级联结构的图像配准方法，包括：

对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；

根据预设置信度，对所述第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从所述第一粗匹配组中剔除的匹配对的相似度低于所述预设置信度；

根据预设阈值，对所述第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从所述第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于所述预设阈值；

采用RANSAC算法，对所述第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；

根据所述变换矩阵，将所述参考图像和所述输入图像在空间上进行对准处理，以获取输出图像。

本发明还提供一种基于级联结构的图像配准装置，包括：

匹配模块，用于对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；

第一剔除模块，用于根据预设置信度，对所述第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从所述第一粗匹配组中剔除的匹配对的相似度低于所述预设置信度；

第二剔除模块，用于根据预设阈值，对所述第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从所述第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于所述预设阈值；

处理模块，用于采用RANSAC算法，对所述第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；

获取模块，用于根据所述变换矩阵，将所述参考图像和所述输入图像在空间上进行对准处理，以获取输出图像。

本发明提供的一种基于级联结构的图像配准方法及装置，其方法通过对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；根据预设置信度，对所述第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从所述第一粗匹配组中剔除的匹配对的相似度低于所述预设置信度；根据预设阈值，对所述第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从所述第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于所述预设阈值；采用RANSAC算法，对所述第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；根据所述变换矩阵，将所述参考图像和所述输入图像在空间上进行对准处理，以获取输出图像。本发明通过使用级联结构逐级剔除错误的粗匹配对，满足RANSAC算法对粗匹配对的准确性的要求，使得匹配结果更加准确，保证输出图像的分辨率和清晰度。

附图说明

图1为本发明第一实施例的基于级联结构的图像配准方法的流程图；

图2为本发明第二实施例的基于级联结构的图像配准方法的流程图；

图3为本发明第三实施例的基于级联结构的图像配准方法的流程图；

图4为本发明第四实施例的基于级联结构的图像配准方法的流程图；

图5为本发明第五实施例的基于级联结构的图像配准方法的流程图；

图6为本发明第六实施例的基于级联结构的图像配准方法的流程图；

图7为本发明第七实施例的基于级联结构的图像配准装置的结构示意图；

图8为本发明第七实施例中匹配模块的结构示意图；

图9为本发明第七实施例中第二剔除模块的结构示意图；

图10为本发明第七实施例中第二剔除模块的另一结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明第一实施例的基于级联结构的图像配准方法的流程图；如图1所示，本实施例的基于级联结构的图像配准方法，具体可以包括以下步骤：

步骤S100、对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组。

步骤S200、根据预设置信度，对第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组。

其中，从第一粗匹配组中剔除的匹配对的相似度低于预设置信度。

步骤S300、根据预设阈值，对第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组。

其中，从第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于预设阈值。

步骤S400、采用RANSAC算法，对第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵。

步骤S500、根据变换矩阵，将参考图像和输入图像在空间上进行对准处理，以获取输出图像。

本实施例中提供的一种基于级联结构的图像配准方法，通过对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；根据预设置信度，对第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从第一粗匹配组中剔除的匹配对的相似度低于预设置信度；根据预设阈值，对第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于预设阈值；采用RANSAC算法，对第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；根据变换矩阵，将参考图像和输入图像在空间上进行对准处理，以获取输出图像。本发明通过使用级联结构逐级剔除错误的粗匹配对，满足RANSAC算法对粗匹配对的准确性的要求，使得匹配结果更加准确，保证输出图像的分辨率和清晰度。

图2为本发明第二实施例的基于级联结构的图像配准方法的流程图，在本发明第一实施例的技术方案的基础上，如图2所示，步骤S100，具体可以包括如下步骤：

步骤S101、采用SIFT算法，分别检测获取参考图像的特征点{R_i(x,y)|i＝1,2,...,m}和对应的描述符，以及输入图像的特征点{S_j(x,y)|j＝1,2,...,n}和对应的描述符。

其中，特征点的信息包括特征点的坐标、尺度和方向；描述符包括特征点的信息和特征点周围的像素点信息，具体的，描述符包括特征点尺度空间内4*4的窗口中计算的8个方向的梯度信息。

具体的，(x，y)为特征点的坐标，m为参考图像的特征点的数量，n为输入图像的特征点的数量。

步骤S102、遍历所有参考图像的特征点R_i(x,y)，获取输入图像的特征点S_j(x,y)分别与所有参考图像的特征点R_i(x,y)构成的匹配对(R_i,S_j)，并从获取的匹配对(R_i,S_j)中，将相似度最小的匹配对作为输入图像的特征点S_j(x,y)对应的目标匹配对，将j加1，重复上述步骤，直至获取输入图像的特征点S_n(x,y)对应的目标匹配对，以获取集合A。

其中，j初始时为1，相似度是指匹配对中的输入图像的特征点对应的描述符和匹配对中的参考图像的特征点对应的描述符之间的欧式距离；集合A包括输入图像的特征点S₁(x,y)对应的目标匹配对至输入图像的特征点S_n(x,y)对应的目标匹配对。

具体的，描述符之间的距离越小，说明描述符之间差异越小，相似度也就越高。

步骤S103、遍历所有输入图像的特征点S_j(x,y)，获取参考图像的特征点R_i(x,y)分别与所有输入图像的特征点S_j(x,y)构成的匹配对(S_j,R_i)，并对获取的匹配对(S_j,R_i)按照其相似度从小到大的顺序进行排序，再将排序后的前k个匹配对作为参考图像的特征点R_i(x,y)对应的目标匹配对，将i加1，重复上述步骤，直至获取参考图像的特征点R_m(x,y)对应的目标匹配对，以获取集合B。

其中，i初始时为1，集合B包括参考图像的特征点R₁(x,y)对应的目标匹配对至参考图像的特征点R_m(x,y)对应的目标匹配对，k＝1,2,3。

步骤S104、将集合A和集合B的交集确定为第一粗匹配组。

本实施例中，通过双向匹配构建第一粗匹配组，这样保证了只有满足双向匹配的匹配对才可以构成第一粗匹配组的元素，提高了第一粗匹配对的准确性。

图3为本发明第三实施例的基于级联结构的图像配准方法的流程图，在本发明第一实施例或者第二实施例的技术方案的基础上，如图3所示，步骤S200，具体可以包括如下步骤：

步骤S201、计算第一粗匹配组中的每个匹配对的相似度。

步骤S202、分别将每个匹配对的相似度与预设置信度比较，将相似度小于预设置信度的匹配对剔除。

在本实施例中，由于不需要设置严格的参数，只需要剔除与约束条件相差较大的点对。因此，在普通图像中，一般剔除相似度排名后30％的匹配对，而对于光谱图像中，由于含有更少的相似信息，一般剔除相似度排名后10％的匹配对。具体的，预设置信度是在第一粗匹配组中根据上述的剔除率计算得到。

本实施例中，通过剔除第一粗匹配组中相似度低于预设置信度的匹配对，从而获得第二粗匹配组，因此，第二粗匹配组包含的匹配对的准确性更高。

图4为本发明第四实施例的基于级联结构的图像配准方法的流程图，在本发明第一实施例、第二实施例和第三实施例的的技术方案的基础上，如图4所示，步骤S300，具体可以包括如下步骤：

步骤S3011、从第二粗匹配组中随机选取两个匹配对(X，Y)和(X′，Y′)，根据上述两个匹配对(X，Y)和(X′，Y′)，在预设的灰度坐标系中，形成两条线段XX′与YY′。

其中X和X′为参考图像的特征点，Y和Y′为输入图像的特征点。

具体的，若两个匹配对(X-Y)和(X′-Y′)是正确的匹配对，那么线段XX′和YY′上的颜色/灰度分布也应该是匹配的。

步骤S3012、对线段XX′进行等间距采样，获得第一采样点集合(X₁,X₂,X₃,...,X_n)，并得到向量x＝[x₁,x₂,x₃,...,x_n]。

其中，x_i为第一采样点集合中采样点X_i对应的灰度值。i＝1,2,...,n，n为第一采样点集合的维度。

步骤S3013、对线段YY′进行等间距采样，获得第二采样点集合(Y₁,Y₂,Y₃,...,Y_n)，并得到向量y＝[y₁,y₂,y₃,...,y_n]。

其中，y_i为第二采样点集合中采样点Y_i对应的灰度值。i＝1,2,...,n，n为第二采样点集合的维度。

步骤S3014、分别对向量x和向量y进行归一化处理，得到两个归一化的向量和并采用公式

计算获取向量和之间的距离d。

步骤S3015、若距离d大于预设阈值，则将匹配对(X，Y)和(X′，Y′)从第二粗匹配组中剔除。

步骤S3016、在剔除后的第二粗匹配组中重新选取两个匹配对，重复上述步骤，直至剔除后的第二粗匹配组中任意两个匹配对对应的距离不大于预设阈值。

具体的，本实施例中，不设置严格的预设阈值，预设阈值是根据具体图像类型以及图像配准的准确性来确定。对于普通图像，一般选择第一预设阈值为0.5，也就是说，当d>0.5时，认为两个匹配对(X-Y)和(X′-Y′)是错误的，需要从第二粗匹配组中剔除。

本实施例中剔除第二粗匹配中不满足灰度距离的匹配对，进一步的提高第三粗匹配组中的匹配对的准确性。

图5为本发明第五实施例的基于级联结构的图像配准方法的流程图，在本发明第一实施例、第二实施例和第三实施例的技术方案的基础上，如图5所示，步骤S300，具体可以包括如下步骤：

步骤S3021、对第二粗匹配组中的参考图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将参考图像的特征点的横坐标依次重新定义为0，1，…,m₁，将参考图像的特征点的纵坐标依次重新定位为0，1，…,m₁，获取参考图像的特征点的新横坐标和新纵坐标。

其中，m₁为第二粗匹配组中参考图像的特征点的数量。

在本实施例中，以第二粗匹配对中剩余5个匹配对为例，假设参考图像中的点分别为A(3，1)，B(5，3)，C(1，5)，D(2，7)和E(4，9)，分别对A-E横纵坐标进行排序，排序后可知，A的纵坐标最小，将A的纵坐标重新定义为0，B的纵坐标其次小，重新定义为1，依次类推，同理，C的横坐标最小，将C的横坐标重新定义为0，D的横坐标其次小，将D的横坐标重新定义为1，依次类推。因此，重新定义坐标系统后的参考图像中的点的新坐标分别为：A(2，0)、B(4，1)、C(0，2)、D(1，3)和E(3，4)。

步骤S3022、对第二粗匹配组中的输入图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将输入图像的特征点的横坐标依次重新定位为0，1，…,n₁，将输入图像的特征点的纵坐标依次重新定位为0，1，…,n₁；获取参考图像的特征点的新横坐标和新纵坐标。

其中，n₁为第二粗匹配组中输入的特征点的数量。

具体的，步骤3022中对输入图像中的坐标点重新定义坐标的方法与步骤3021的方法类似，在此不再赘述。

步骤S3023、遍历第二粗匹配组中的匹配对，若匹配对中的参考图像特征点对应的特征点的新横坐标与输入图像特征点对应的新横坐标之差或者匹配对中参考图像特征点对应的新纵坐标与输入图像特征点对应的新纵坐标之差大于预设阈值时，则将匹配对从第二粗匹配组中剔除。

具体的，假设第二粗匹配中，假设存在一组匹配对(R-S)，其中R的新坐标为(x₁,y₁)，S的新坐标为(x₂,y₂)，当(R-S)为正确的匹配对时，新横坐标差dx＝|x₁-x₂|和新纵坐标差dy＝|y₁-y₂|都应在一定范围内，因此，当新横坐标差dx大于预设阈值或者新纵坐标差dy大于预设阈值，认为匹配对(R-S)是错误的，需要从第二粗匹配组中剔除。

另外，第二预设阈值应该由第二粗匹配中的匹配对数目决定，在本实施例中，不需要设置严格的预设阈值，一般情况下，预设阈值等于第二粗匹配中的匹配对数目的一半。

本实施例中通过为参考图像和输入图像重定义坐标系统，获取第二粗匹配组中的匹配对的新坐标，当第二粗匹配组中的匹配对的新横坐标差或者新纵坐标差大于第二预设阈值时，则认定匹配对错误，使得到的第三粗匹配组中的匹配对的准确性更高。

图6为本发明第六实施例的基于级联结构的图像配准方法的流程图，在本发明第一实施例、第二实施例、第三实施例、第四实施例和第五实施例的技术方案的基础上，如图6所示，步骤S400，具体可以包括如下步骤：

步骤S401、从第三粗匹配组中随机选取四个不共线的匹配对。

步骤S402、根据选取的四个匹配对计算参考图像和输入图像之间的透视变换矩阵H。

在本实施例中，透视变换矩阵H满足，

其中，H为3*3的矩阵，且h₃₃＝1。

假设存在一组匹配对(R-S)，其中R为参考图像中的点，坐标为(x₁,y₁)，S为输入图像中的点，坐标为(x₂,y₂)，则(R-S)存在如下对应关系：

由上述公式可知，利用步骤S401中的四个不共线的匹配对即可计算得到透视变换矩阵H。

步骤S403、计算第三粗匹配组中符合透视变换矩阵H的匹配对数目。

其中，匹配对的数目中包括之前随机选取的四个不共线的匹配对。

步骤S404、重新选取四个不共线的匹配对，重复上述步骤，直至获得目标匹配对数目。

其中，目标匹配对数目大于第三预设阈值。

具体的，第三预设阈值N₁满足N₁＝0.8*N_m，其中N_m为第三粗匹配组中的总匹配对数目。

可选地，步骤S404结束的条件还可以为重复的次数达到一定的值N₂，其中，一般情况下，N₂取值为200。

步骤S405、将目标匹配对数目对应的透视变换矩阵作为对应的变换矩阵。

本实施例中，利用RANSAC算法从匹配对准确性更高的第三粗匹配组中进一步地剔除错误的匹配对，并得到两幅图像之间的透视变换矩阵，满足RANSAC算法对粗匹配对的准确性的要求，使得匹配结果更加准确，保证输出图像的分辨率和清晰度。

本发明还提供一种基于级联结构的图像配准装置，图7为本发明第七实施例的基于级联结构的图像配准装置的结构示意图；如图7所示，本实施例的基于级联结构的图像配准装置，包括：匹配模块710、第一剔除模块720、第二剔除模块730、处理模块740和获取模块750。

其中，匹配模块710，用于对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组。

第一剔除模块720，用于根据预设置信度，对第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从第一粗匹配组中剔除的匹配对的相似度低于预设置信度。

第二剔除模块730，用于根据预设阈值，对第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于预设阈值。

处理模块740，用于采用RANSAC算法，对第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵。

获取模块750，用于根据变换矩阵，将参考图像和输入图像在空间上进行对准处理，以获取输出图像。

上述装置实施例中各模块，对应地，可用于执行图1方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。

另外，如图8为本发明第七实施例中匹配模块的结构示意图。如图8所示，匹配模块710包括：检测单元711、第一获取单元712和确定单元713。

其中，检测单元711，用于采用SIFT算法，分别检测获取参考图像的特征点{R_i(x,y)|i＝1,2,...,m}和对应的描述符，以及输入图像的特征点{S_j(x,y)|j＝1,2,...,n}和对应的描述符。

第一获取单元712，用于遍历所有参考图像的特征点R_i(x,y)，获取输入图像的特征点S_j(x,y)分别与所有参考图像的特征点R_i(x,y)构成的匹配对(R_i,S_j)，并从获取的匹配对(R_i,S_j)中，将相似度最小的匹配对作为输入图像的特征点S_j(x,y)对应的目标匹配对，将j加1，重复上述步骤，直至获取输入图像的特征点S_n(x,y)对应的目标匹配对，以获取集合A；其中，j初始时为1，相似度是指匹配对中的输入图像的特征点对应的描述符和匹配对中的参考图像的特征点对应的描述符之间的欧式距离；集合A包括输入图像的特征点S₁(x,y)对应的目标匹配对至输入图像的特征点S_n(x,y)对应的目标匹配对。

第一获取单元712，还用于遍历所有输入图像的特征点S_j(x,y)，获取参考图像的特征点R_i(x,y)分别与所有输入图像的特征点S_j(x,y)构成的匹配对(S_j,R_i)，并对获取的匹配对(S_j,R_i)按照其相似度从小大到的顺序进行排序，再将排序后的前k个匹配对作为参考图像的特征点R_i(x,y)对应的目标匹配对，将i加1，重复上述步骤，直至获取参考图像的特征点R_m(x,y)对应的目标匹配对，以获取集合B；其中，i初始时为1，集合B包括参考图像的特征点R₁(x,y)对应的目标匹配对至参考图像的特征点R_m(x,y)对应的目标匹配对。

确定单元713，用于将集合A和集合B的交集确定为第一粗匹配组。

其中，(x，y)为特征点的坐标，m为参考图像的特征点的数量，n为输入图像的特征点的数量，k＝1,2,3。

上述装置实施例中各单元，对应地，可用于执行图2方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。

另外，图9为本发明第七实施例中第二剔除模块的结构示意图；如图9所示，第二剔除模块730包括：选取单元731、采样单元732、处理单元733和第一判断单元734。

其中，选取单元731，用于从第二粗匹配组中随机选取两个匹配对(X，Y)和(X′，Y′)，根据上述两个匹配对(X，Y)和(X′，Y′)，在预设的灰度坐标系中，形成两条线段XX′与YY′，其中，X和X′为参考图像的特征点，Y和Y′为输入图像的特征点。

采样单元732，用于对线段XX′进行等间距采样，获得第一采样点集合(X₁,X₂,X₃,...,X_n)，并得到向量x＝[x₁,x₂,x₃,...,x_n]。

采样单元732，还用于对线段YY′进行等间距采样，获得第二采样点集合(Y₁,Y₂,Y₃,...,Y_n)，并得到向量y＝[y₁,y₂,y₃,...,y_n]。

处理单元733，用于分别对向量x和向量y进行归一化处理，得到两个归一化的向量和并采用公式计算获取向量和之间的距离d。

第一判断单元734，若距离d大于预设阈值，则将匹配对(X，Y)和(X′，Y′)从第二粗匹配组中剔除。

选取单元731，还用于在剔除后的第二粗匹配组中重新选取两个匹配对，重复上述步骤，直至剔除后的第二粗匹配组中任意两个匹配对对应的距离不大于预设阈值。

其中，x_i为第一采样点集合中采样点X_i对应的灰度值，y_i为第二采样点集合中采样点Y_i对应的灰度值，i＝1,2,...,n，n为第一采样点集合和第二采样点集合的维度。

上述装置实施例中各单元，对应地，可用于执行图4方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。

可选地，如图10为本发明第七实施例中第二剔除模块的另一结构示意图。如图10所示，第二剔除模块730包括：第二获取单元741和第二判断单元742。

其中，第二获取单元741，用于对第二粗匹配组中的参考图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将参考图像的特征点的横坐标依次重新定义为0，1，…,m₁，将参考图像的特征点的纵坐标依次重新定义为0，1，…,m₁，获取参考图像的特征点的新横纵坐标。

第二获取单元741，还用于对第二粗匹配组中的输入图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将输入图像的特征点的横坐标依次重新定位为0，1，…,n₁，将输入图像的特征点的纵坐标依次重新定位为0，1，…,n₁；获取参考图像的特征点的新横纵坐标。

第二判断单元742，用于遍历第二粗匹配组中的匹配对，若匹配对中的参考图像特征点对应的特征点的新横坐标与输入图像特征点对应的新横坐标之差或者匹配对中参考图像特征点对应的新纵坐标与输入图像特征点对应的新纵坐标之差大于预设阈值时，则将匹配对从第二粗匹配组中剔除。

其中，m₁为第二粗匹配组中参考图像的特征点的数量；n₁为第二粗匹配组中输入的特征点的数量。

上述装置实施例中各单元，对应地，可用于执行图5方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于级联结构的图像配准方法，其特征在于，包括：

对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；

根据预设置信度，对所述第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从所述第一粗匹配组中剔除的匹配对的相似度低于所述预设置信度；

根据预设阈值，对所述第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从所述第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于所述预设阈值；

采用RANSAC算法，对所述第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；

根据所述变换矩阵，将所述参考图像和所述输入图像在空间上进行对准处理，以获取输出图像；

其中，根据预设阈值，对所述第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组，包括：

从所述第二粗匹配组中随机选取两个匹配对(X，Y)和(X′，Y′)，根据上述两个匹配对(X，Y)和(X′，Y′)，在预设的灰度坐标系中，形成两条线段XX′与YY′，其中，X和X′为所述参考图像的特征点，Y和Y′为所述输入图像的特征点；

对所述线段XX′进行等间距采样，获得第一采样点集合(X₁,X₂,X₃,...,X_n)，并得到向量x＝[x₁,x₂,x₃,...,x_n]；

对所述线段YY′进行等间距采样，获得第二采样点集合(Y₁,Y₂,Y₃,...,Y_n)，并得到向量y＝[y₁,y₂,y₃,...,y_n]；

分别对所述向量x和所述向量y进行归一化处理，得到两个归一化的向量 和并采用公式计算获取向量和之间的距离d；

若所述距离d大于所述预设阈值，则将所述匹配对(X，Y)和(X′，Y′)从所述第二粗匹配组中剔除；

在剔除后的第二粗匹配组中重新选取两个匹配对，重复上述步骤，直至剔除后的第二粗匹配组中任意两个匹配对对应的距离不大于所述预设阈值；

其中，x_i为所述第一采样点集合中采样点X_i对应的灰度值，y_i为所述第二采样点集合中采样点Y_i对应的灰度值，i＝1,2,...,n，n为所述第一采样点集合和所述第二采样点集合的维度；

或者包括：

对所述第二粗匹配组中的所述参考图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将所述参考图像的特征点的横坐标依次重新定义为0，1，…,m₁，将所述参考图像的特征点的纵坐标依次重新定位为0，1，…,m₁，获取所述参考图像的特征点的新横坐标和新纵坐标；

对所述第二粗匹配组中的所述输入图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将所述输入图像的特征点的横坐标依次重新定位为0，1，…,n₁，将所述输入图像的特征点的纵坐标依次重新定位为0，1，…,n₁；获取所述参考图像的特征点的新横坐标和新纵坐标；

遍历所述第二粗匹配组中的匹配对，若匹配对中的参考图像特征点对应的特征点的新横坐标与输入图像特征点对应的新横坐标之差或者所述匹配对中参考图像特征点对应的新纵坐标与输入图像特征点对应的新纵坐标之差大于所述预设阈值时，则将所述匹配对从所述第二粗匹配组中剔除；

其中，m₁为所述第二粗匹配组中所述参考图像的特征点的数量；n₁为所述第二粗匹配组中所述输入的特征点的数量。

2.根据权利要求1所述的方法，其特征在于，所述对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组，包括：

采用SIFT算法，分别检测获取所述参考图像的特征点{R_i(x,y)|i＝1,2,...,m}和对应的描述符，以及所述输入图像的特征点{S_j(x,y)|j＝1,2,...,n}和对应的描述符；

遍历所有参考图像的特征点R_i(x,y)，获取输入图像的特征点S_j(x,y)分别与所有参考图像的特征点R_i(x,y)构成的匹配对(R_i,S_j)，并从获取的匹配对(R_i,S_j)中，将相似度最小的匹配对作为所述输入图像的特征点S_j(x,y)对应的目标匹配对，将j加1，重复上述步骤，直至获取输入图像的特征点S_n(x,y)对应的目标匹配对，以获取集合A；其中，j初始时为1，所述相似度是指所述匹配对中的输入图像的特征点对应的描述符和所述匹配对中的参考图像的特征点对应的描述符之间的欧式距离；集合A包括输入图像的特征点S₁(x,y)对应的目标匹配对至输入图像的特征点S_n(x,y)对应的目标匹配对；

遍历所有输入图像的特征点S_j(x,y)，获取参考图像的特征点R_i(x,y)分别与所有输入图像的特征点S_j(x,y)构成的匹配对(S_j,R_i)，并对获取的匹配对(S_j,R_i)按照其相似度从小大到的顺序进行排序，再将排序后的前k个匹配对作为所述参考图像的特征点R_i(x,y)对应的目标匹配对，将i加1，重复上述步骤，直至获取参考图像的特征点R_m(x,y)对应的目标匹配对，以获取集合B；其中，i初始时为1，集合B包括参考图像的特征点R₁(x,y)对应的目标匹配对至参考图像的特征点R_m(x,y)对应的目标匹配对；

将所述集合A和所述集合B的交集确定为所述第一粗匹配组；

其中，(x，y)为特征点的坐标，m为所述参考图像的特征点的数量，n为所述输入图像的特征点的数量，k＝1,2,3。

3.根据权利要求2所述的方法，其特征在于，所述根据预设置信度，对所述第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组，包括：

计算所述第一粗匹配组中的每个匹配对的相似度；

分别将每个匹配对的相似度与所述预设置信度比较，将相似度小于所述预设置信度的匹配对剔除。

4.根据权利要求3所述的方法，其特征在于，所述采用RANSAC算法，对所述第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵，包括：

从第三粗匹配组中随机选取四个不共线的匹配对；

根据选取的四个匹配对计算所述参考图像和所述输入图像之间的透视变换矩阵H；

计算第三粗匹配组中符合透视变换矩阵H的匹配对数目；

重新选取四个不共线的匹配对，重复上述步骤，直至获得目标匹配对数目；其中，所述目标匹配对数目大于第三预设阈值；

将所述目标匹配对数目对应的透视变换矩阵作为对应的变换矩阵。

5.一种基于级联结构的图像配准装置，其特征在于，包括：

匹配模块，用于对参考图像的特征点和输入图像的特征点进行双向匹配处理，获取第一粗匹配组；

第一剔除模块，用于根据预设置信度，对所述第一粗匹配组中的匹配对进行剔除，获取第二粗匹配组；其中，从所述第一粗匹配组中剔除的匹配对的相似度低于所述预设置信度；

第二剔除模块，用于根据预设阈值，对所述第二粗匹配组中的匹配对进行剔除，获取第三粗匹配组；其中，从所述第二粗匹配组中剔除的匹配对中任意两个匹配对之间的灰度距离或者空间距离大于所述预设阈值；

处理模块，用于采用RANSAC算法，对所述第三粗匹配组中的匹配对进行处理，获取对应的变换矩阵；

获取模块，用于根据所述变换矩阵，将所述参考图像和所述输入图像在空间上进行对准处理，以获取输出图像；

所述第二剔除模块，包括：

选取单元，用于从所述第二粗匹配组中随机选取两个匹配对(X，Y)和(X′，Y′)，根据上述两个匹配对(X，Y)和(X′，Y′)，在预设的灰度坐标系中，形成两条线段XX′与YY′，其中，X和X′为所述参考图像的特征点，Y和Y′为所述输入图像的特征点；

采样单元，用于对所述线段XX′进行等间距采样，获得第一采样点集合(X₁,X₂,X₃,...,X_n)，并得到向量x＝[x₁,x₂,x₃,...,x_n]；

所述采样单元，还用于对所述线段YY′进行等间距采样，获得第二采样点集合(Y₁,Y₂,Y₃,...,Y_n)，并得到向量y＝[y₁,y₂,y₃,...,y_n]；

处理单元，用于分别对所述向量x和所述向量y进行归一化处理，得到两个归一化的向量和并采用公式计算获取向量和之间的距离d；

第一判断单元，若所述距离d大于所述预设阈值，则将所述匹配对(X，Y)和(X′，Y′)从所述第二粗匹配组中剔除；

所述选取单元，还用于在剔除后的第二粗匹配组中重新选取两个匹配对，重复上述步骤，直至剔除后的第二粗匹配组中任意两个匹配对对应的距离不大于所述预设阈值；

其中，x_i为所述第一采样点集合中采样点X_i对应的灰度值，y_i为所述第二采样点集合中采样点Y_i对应的灰度值，i＝1,2,...,n，n为所述第一采样点集合和所述第二采样点集合的维度；

或者包括：

第二获取单元，用于对所述第二粗匹配组中的所述参考图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将所述参考图像的特征点的横坐 标依次重新定义为0，1，…,m₁，将所述参考图像的特征点的纵坐标依次重新定义为0，1，…,m₁，获取所述参考图像的特征点的新横坐标和新纵坐标；

所述第二获取单元，还用于对所述第二粗匹配组中的所述输入图像的特征点根据横坐标和纵坐标分别从小到大进行排序，将所述输入图像的特征点的横坐标依次重新定位为0，1，…,n₁，将所述输入图像的特征点的纵坐标依次重新定位为0，1，…,n₁；获取所述参考图像的特征点的新横坐标和新纵坐标；

第二判断单元，用于遍历所述第二粗匹配组中的匹配对，若匹配对中的参考图像特征点对应的特征点的新横坐标与输入图像特征点对应的新横坐标之差或者所述匹配对中参考图像特征点对应的新纵坐标与输入图像特征点对应的新纵坐标之差大于所述预设阈值时，则将所述匹配对从所述第二粗匹配组中剔除；

其中，m₁为所述第二粗匹配组中所述参考图像的特征点的数量；n₁为所述第二粗匹配组中所述输入的特征点的数量。

6.根据权利要求5所述的装置，其特征在于，所述匹配模块，包括：

检测单元，用于采用SIFT算法，分别检测获取所述参考图像的特征点{R_i(x,y)|i＝1,2,...,m}和对应的描述符，以及所述输入图像的特征点{S_j(x,y)|j＝1,2,...,n}和对应的描述符；

第一获取单元，用于遍历所有参考图像的特征点R_i(x,y)，获取输入图像的特征点S_j(x,y)分别与所有参考图像的特征点R_i(x,y)构成的匹配对(R_i,S_j)，并从获取的匹配对(R_i,S_j)中，将相似度最小的匹配对作为所述输入图像的特征点S_j(x,y)对应的目标匹配对，将j加1，重复上述步骤，直至获取输入图像的特征点S_n(x,y)对应的目标匹配对，以获取集合A；其中，j初始时为1，所述相似度是指所述匹配对中的输入图像的特征点对应的描述符和所述匹配对中的参考图像的特征点对应的描述符之间的欧式距离；集合A包括输入图像的特征点S₁(x,y)对应的目标匹配对至输入图像的特征点S_n(x,y)对应的目标匹配对；

所述第一获取单元，还用于遍历所有输入图像的特征点S_j(x,y)，获取参考图像的特征点R_i(x,y)分别与所有输入图像的特征点S_j(x,y)构成的匹配对(S_j,R_i)，并对获取的匹配对(S_j,R_i)按照其相似度从小大到的顺序进行排序，再 将排序后的前k个匹配对作为所述参考图像的特征点R_i(x,y)对应的目标匹配对，将i加1，重复上述步骤，直至获取参考图像的特征点R_m(x,y)对应的目标匹配对，以获取集合B；其中，i初始时为1，集合B包括参考图像的特征点R₁(x,y)对应的目标匹配对至参考图像的特征点R_m(x,y)对应的目标匹配对；

确定单元，用于将所述集合A和所述集合B的交集确定为所述第一粗匹配组；

其中，(x，y)为特征点的坐标，m为所述参考图像的特征点的数量，n为所述输入图像的特征点的数量，k＝1,2,3。