CN111652790A - 一种亚像素图像配准方法 - Google Patents

Abstract

本发明涉及图像配准领域，提出了一种亚像素图像配准方法，包括：图像预处理：将图像处理成灰度图像，并对灰度图像中的角点进行像素级识别，得到所有的初始角点；特征提取：对所述提取的初始角点进行亚像素定位；特征匹配：对所述亚像素级角点进行匹配。其中，本发明采用金字塔LK光流算法作为配准算法，解决传统匹配算法因考虑速度而在匹配点周围邻域搜索而无法处理大而不连续的运动的问题，使匹配的精度上了一个台阶，为后续图像重建提供了更为精确的偏移量。

Description

一种亚像素图像配准方法

技术领域

本发明涉及图像配准领域，尤其涉及一种特征点的亚像素图像配准方法。

背景技术

图像超分辨率重建是一种在现有红外探测器基础上提升空间分辨率的有效方法。它利用信号处理算法将一组相互之间存在亚像素位移的低分辨率图像信息，融合到一副需要重建场景的参考图像中去，并且在融合的过程中去除模糊、噪声，重建出一副高分辨率的图像。精确快速的配准这些低分辨率图像对于超分辨率图像重建至关重要。

图像配准的目标是校准拍摄于不同视角、不同时间或不同频谱带的两幅图像。待处理图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供后续使用。

在中国专利申请CN201710128212中，公开了一种全景图像配准效果检测方法，包括以下步骤：S1：生成训练数据集和测试数据集。S2：生成卷积神经网络模型。S3：基于训练的卷积神经网络测试测试数据集。根据卷积神经网络输出的每块的输出标签，计算每一幅待评价拼接合成图像所有块的输出标签的平均值，然后计算同一拼接算法下所有拼接合成图像输出标签的平均值作为该拼接算法效果好坏的评价等级。该专利中的技术方案属于传统的基于特征的图像配准算法，其算法实现的复杂度较高，计算量较大，匹配时间较长。

在中国专利申请CN201710959793中，提供了一种图像配准方法，包括：根据所述K对匹配对中选取的不同的匹配对组合构建不同的第一平面变换矩阵，利用所述不同的第一平面变换矩阵，分别对所述待配准图像的第一边缘图像进行变换，得到不同的变换后的第一边缘图像；并根据所述不同的变换后的第一边缘图像与所述参考图像的第二边缘图像的重合像素点的不同数量，在所述K对匹配对中选取M对匹配对；根据所述M对匹配对，得到第二平面变换矩阵，利用所述第二平面变换矩阵对所述初始匹配对集合中的特征点进行变换；根据变换后的第一特征点与对应的变换后的第二特征点的第二距离确定候选匹配对；在所述候选匹配对中选定N对匹配对，并以所述N 对匹配对配准图像。但是该专利同样具有匹配精度不高，匹配速度慢的问题。

因此，提高现有技术中图像的匹配精度和速度，成为了本领域研究的重要课题。

发明内容

有鉴于此，本发明的目的在于提出了一种的亚像素图像配准方法，能够解决现有技术中，图像匹配精度不高，配准速度慢的问题。

根据本发明的目的提出的一种亚像素图像配准方法，包括：

图像预处理：将图像处理成灰度图像，并对灰度图像中的角点进行像素级识别，得到所有的初始角点；

特征提取：对所述提取的初始角点进行亚像素定位；

特征匹配：对所述亚像素级角点进行匹配；

其中，所述特征匹配包括初始特征匹配和误匹配排除，所述初始特征匹配采用金字塔LK光流算法作为配准算法，包括采用稀疏光流对图像中的特征点跟踪；采用图像金字塔处理图像中大而不连续运动的物体；所述误匹配排除运用RANSAC算法对匹配点对进行误匹配排除。

优选的，所述图像预处理包括边缘预检测、角点预检测和Harris角点检测。

优选的，所述边缘预检测采用Sobel算子对图像进行边缘检测，获取边缘点。

优选的，所述角点预检测包括：以所述边缘检测后获得的边缘点为中心，取像素3×3形成窗口，计算所述3×3窗口中各外围像素点与中心点灰度差的绝对值，并与预设好的灰度阈值进行比较，对在该灰度阈值范围之内的外围像素点认定为与中心点是相似，沿着顺时针方向计算一周后对相似点数目计数，然后根据计数结果判断该中心点是否为初始角点。

优选的，所述灰度阈值不超过0.8。

优选的，当计数结果满足2≤SUM≤6时，所述中心点为初始角点，其中 SUM表示相似点数目。

优选的，所述Harris角点检测包括：

对所述初始角点计算自相关矩阵M；

对上述处理后的图像进行高斯滤波去除孤立点，得到新的矩阵M；

用Harris角点响应函数计算高斯滤波后图像上各个点的CRF值；

选取局部极值；

设定一CRF阈值，将所述CRF值与所设CRF阈值比较，大于CRF阈值的点被认为是角点。

优选的，所述亚像素定位包括：

假设真实角点为q，初始角点为p，列出满足p点处的梯度向量▽I(p)与 q-p向量的点积为0的方程组，所述方程组的解就是所求真实角点q的亚像素级坐标。

优选的，所述图像金字塔处理过程包括：先对金字塔的最高层进行光流匹配，用得到的运动估计结果更新为下层金字塔的起始点，重复迭代这一过程直到最底层。

优选的，所述RANSAC算法包括：采用初始匹配点对的坐标差作为样本，对样本中每个点与其它点的距离进行判断，如果在给定的阈值R范围内，就称为内点，如果大于阈值R，就称为外点，对所述内点进行计数，选择内点最多的模型的起始点作为偏移量。

本发明通过引入边缘检测和角点预检测方法进行提速，同时对提取到的特征进行亚像素定位，采用金字塔LK光流算法作为配准算法，解决传统匹配算法因考虑速度而在匹配点周围邻域搜索而无法处理大而不连续的运动的问题，而且计算量小，抗噪性能强，最后运用RANSAC算法提高匹配精度和准确度。

附图说明

图1是本发明的图像配准方法的流程示意图

图2是本发明中的3×3窗口示意图

图3a是本发明中SUM＝7时，角点在中心点正上方的窗口示意图；图3b 是本发明中SUM＝7时，角点在中心点右上方的窗口示意图

图4a是本发明中梯度向量▽I(p)与q-p向量的点积为0且▽I(p)＝0时的示意图；图4b是本发明中梯度向量▽I(p)与q-p向量的点积为0且▽I(p)与 q-p向量正交时的示意图

图5是图像金字塔的原理图

图6是RANSAC算法的一种实施方式示意图

图7是采用RANSAC算法对本发明样本进行处理的示意图

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

请参见图1，图1是本发明的图像配准方法的流程示意图。如图所示，该图像配准方法包括步骤：

S1、图像预处理：将图像处理成灰度图像，并对灰度图像中的角点进行像素级识别，得到所有的初始角点。该步骤包括边缘预检测、角点预检测、 Harris角点检测三个步骤。不管图像尺寸大小，传统的Harris检测方法都对图像中每个像素点进行检测，效率很低。在综合分析搜索策略前提下，结合边缘和角点的性质，提出了一种快速的角点检测方法。首先对灰度图像进行边缘检测，缩小搜索范围，接着对边缘图像进行角点预检测进一步缩小范围，最后进行Harris角点检测。

具体的边缘预检测采用Sobel算子对图像进行边缘检测，获取边缘点，来缩小特征检测范围，接着利用特征点附近像素灰度值剧烈变动这一特性，引入“像素相似度”的概念，进一步缩小检测范围。

角点预检测方法的作用也是为了提速，它是利用角点附近像素灰度值变化大，梯度变化也大，而在非角点位置灰度变化小，梯度变化也小这一特性，通过判断中心点像素与邻域各像素的“像素相似度”来确定是否是角点。具体方法是：以边缘检测后获得的边缘点为中心，取像素3×3形成窗口，计算该 3×3窗口中各外围像素点与中心点灰度差的绝对值，并与预设好的灰度阈值进行比较，只在该灰度阈值范围之内的点才认为是与中心点是相似的。沿着顺时针方向计算一周后对相似点数目计数，然后根据计数结果判断该中心点是否为初始角点。如图2所示，图2给出了该3×3的窗口示意图。

在一种实施方式中，该灰度阈值不超过0.8。

具体的判断规则如下：SUM表示相似点数目，SUM介于0和8之间。

SUM＝0时，表示周围没有相似的像素点，这种的点大多为孤立点或噪声点，不可能是角点，故排除此类像素点。

SUM＝8时，表示周围都是相似点，这时最可能处在平坦区域，梯度变化很小，此类点也应排除。

SUM＝7时，如图3所示，图3是SUM＝7时的两种情况，其余情况都可以通过都通过旋转得到。这两种情形下角点都不在中心像素点位置，要么在中心点的正上方(图3a)，要么在中心点的右上方(图3b)，故排除SUM＝7 的情形。

SUM＝1时，正好与SUM＝7相反，只要将图3中的白色部分表示相似，其余同SUM＝7的情形，中心点像素也不可能是角点。

2≤SUM≤6时，由于无法判断点的性质，都列入候选范围，作为初始角点。

利用此预检测方法，能够剔除许多不是角点的点，大大降低计算量，使实时特征提取成为可能。

最后的Harris角点检测步骤如下：

S11：对灰度图像进行边缘检测、角点预检测后，对得出的初始角点计算自相关矩阵M；

S12：对上述处理后的图像进行高斯滤波去除孤立点，得到新的矩阵M；

S13：用Harris角点响应函数计算高斯滤波后图像上各个点的CRF值；

S14：选取局部极值点；

S15：设定一CRF阈值，将CRF值与所设CRF阈值比较，大于CRF阈值的点被认为是角点。

S2、特征提取：在Harris角点检测处理后，为了提高其定位的精度，本发明对提取的像素级初始角点进行亚像素定位。

检测完角点特征后，如果我们进行图像处理的目的不是用于识别而是进行几何测量，那么就需要更高的精度。实际应用中，我们碰到图像中的峰值点的位置一般不会恰好位于一个像素的正中心，也就是说需要实数坐标值而不是整数坐标值，例如(2.06,56.23)。为了获得更精确的定位精度，我们对角点进行了亚像素定位。

亚像素定位的方法有多种多样，比较常用的是基于插值的方法。这种方法是在匹配完之后对匹配点对邻域进行插值后再进行匹配，是一个由粗到细的过程。但是这种方法的缺点是在插值之前已经匹配过的点会出现匹配错误的情况，假如再进行匹配，会出现累计误差，其次插值倍数过大，图像中边缘和细节的保持较差，匹配结果也会受影响。为此，本发明直接对特征点的精度进行深层次定位。由数学理论可知一个向量与其正交的向量的点积为0，角点满足这一性质。如图4所示，图4是本发明中梯度向量▽I(p)与q-p向量的点积为0时的示意图。

图4中，点1表示真实角点q，点2表示初始角点p，向量3表示q-p向量，向量4表示梯度向量▽I(p)。检测所有的q-p向量，在两种情况下，p点处的梯度向量▽I(p)与q-p向量的点积为0，即<▽I(p),q-p>＝0。(1)点p处在平坦区域，即▽I(p)＝0，如图4a所示；(2)q-p向量的方向与边缘的方向一致，也就是说p点处的梯度向量▽I(p)与q-p向量正交，如图4b所示。我们可以在p点周围找到很多组梯度向量▽I(p)以及相关的向量q-p，令其点积为0，然后求解所列方程组。所述方程组的解就是所求真实角点q的亚像素级坐标。

S3、特征匹配：对所述亚像素级角点进行匹配。由于事先不知道目标是图和运动的，假设模型也比较困难，因此要选择适用性广的配准算法。步骤 S3包括初始特征匹配和误匹配排除，其中初始特征匹配采用金字塔LK光流算法作为配准算法，包括采用稀疏光流对图像中的特征点跟踪；采用图像金字塔处理图像中大而不连续运动的物体，以此解决此类情形下跟踪效果不好的情况；误匹配排除运用RANSAC算法对匹配点对进行误匹配排除，提高匹配率。

角点匹配在配准算法中至关重要，本发明采用金字塔LK光流 (Lucas-Kanande光流算法)进行匹配，它对目标在图像间的运动的限制较小，能解决传统匹配算法因考虑速度而在匹配点周围邻域搜索而无法处理大而不连续的运动的问题，而且计算量小，抗噪性能强，在实时跟踪等领域广泛应用。

LK算法的缺点就是当出现较大运动时点会移出LK计算的窗口而失效。为了解决这个问题，采用图像金字塔，它通过分层跟踪的方式，从细节最少的最高层开始向细节最丰富的金字塔底层一层一层进行跟踪，可适用于小窗口处理大运动的情形。

LK算法基于三个假设。

亮度恒定。即假设灰度图像在各帧间被连续跟踪时，其亮度不发生变化。

时间连续或者小运动。在实际处理问题时要满足时间变化相对图像运动的比例要足够小，即满足目标在帧间运动较小，这也是LK算法不能处理大运动的原因。

空间一致。即要满足相邻的点在同一场景内的运动要尽量相似，平面上的投影也要相邻，不能分散。

LK算法只能解决角点小而连贯运动，但还需解决大而不连贯运动的情况。因为在实际拍摄时，大运动普遍存在，本发明采用图像金字塔解决这个问题。即先对金字塔的最高层进行光流匹配，用得到的运动估计结果更新为下层金字塔的起始点，重复迭代这一过程直到最底层。该方法通过分层处理逐步逼近的方式来实现对更快和更长运动的跟踪匹配。如图5所示，图5是图像金字塔的原理图。

误匹配排除方法的选择对匹配准确率高低非常重要，目前常用方法有样本平均值、统计、RANSAC算法等。由于本发明提取的亚像素特征点是实数坐标，采用RANSAC(RANdomSAmpleConsensus)算法来排除误匹配。

RANSAC算法根据给定的一组包含异常数据的样本数据集，计算出一个包含最多有效样本数据的数学模型。如图6所示，图6用一个实施例给出了 RANSAC算法的示意图，该实施例是对一组数据进行直线拟合，该组数据包含了多个异常点。其基本思想如下：

假设有一个模型适应局内点，即所有的未知参数都能从假设的局内点计算出来；

用假设的模型去测试其余数据，如果某个点适用于模型，我们就称为内点，如果不适用于模型，就称为外点；

测试完所有数据后，假如内点越多，模型就越趋于合理；

用所有内点重新去估计模型，因为当初假设模型仅被初始内点估计过；

通过估计局内点与模型间的错误率来评估模型。

这过程被重复执行，每次产生的模型内点数量进行取舍，如果少于目前为止最多的内点数就舍弃，反之就用该模型取代原有模型，最后拟合出一个包含内点最多的模型。

在实际应用中，我们采用初始匹配点对的坐标差作为样本，采用 RANSAC算法的原理，对样本进行处理，处理的示意图如图7所示：首先我们对样本中每个点与其它点的距离进行判断，如果在所给阈值R范围内，就称为内点，如果大于阈值，就称为外点，接着我们对内点进行计数，最后选择内点最多的那个模型的起始点作为偏移量。

综上所述，本发明采用图像预处理，提高了Harris角点检测算法的速度，采用角点亚像素定位，特征点的精度进行深层次定位，提高了定位的精度，采用金字塔LK光流进行匹配，它对目标在图像间的运动的限制较小，能解决传统匹配算法因考虑速度而在匹配点周围邻域搜索而无法处理大而不连续的运动的问题。本发明的图像配准方法解决了传统插值定位方法的不足，使匹配的精度上了一个台阶，为后续图像重建提供了更为精确的偏移量。

尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下，各种改进、增加以及取代是可能的。

Claims (10)

1.一种亚像素图像配准方法，其特征在于，包括：

图像预处理：将图像处理成灰度图像，并对灰度图像中的角点进行像素级识别，得到所有的初始角点；

特征提取：对所述提取的初始角点进行亚像素定位；

特征匹配：对所述亚像素级角点进行匹配；

其中，所述特征匹配包括初始特征匹配和误匹配排除，所述初始特征匹配采用金字塔LK光流算法作为配准算法，包括采用稀疏光流对图像中的特征点跟踪；采用图像金字塔处理图像中大而不连续运动的物体；所述误匹配排除运用RANSAC算法对匹配点对进行误匹配排除。

2.如权利要求1所述的亚像素图像配准方法，其特征在于，所述图像预处理包括边缘预检测、角点预检测和Harris角点检测。

3.如权利要求2所述的亚像素图像配准方法，其特征在于，所述边缘预检测采用Sobel算子对图像进行边缘检测，获取边缘点。

4.如权利要求3所述的亚像素图像配准方法，其特征在于，所述角点预检测包括：以所述边缘检测后获得的边缘点为中心，取像素3×3形成窗口，计算所述3×3窗口中各外围像素点与中心点灰度差的绝对值，并与预设好的灰度阈值进行比较，对在该灰度阈值范围之内的外围像素点认定为与中心点是相似，沿着顺时针方向计算一周后对相似点数目计数，然后根据计数结果判断该中心点是否为初始角点。

5.如权利要求4所述的亚像素图像配准方法，其特征在于，所述灰度阈值不超过0.8。

6.如权利要求4所述的亚像素图像配准方法，其特征在于，当计数结果满足2≤SUM≤6时，所述中心点为初始角点，其中SUM表示相似点数目。

7.如权利要求4所述的亚像素图像配准方法，其特征在于，所述Harris角点检测包括：

对所述初始角点计算自相关矩阵M；

对上述处理后的图像进行高斯滤波去除孤立点，得到新的矩阵M；

用Harris角点响应函数计算高斯滤波后图像上各个点的CRF值；

选取局部极值；

设定一CRF阈值，将所述CRF值与所设CRF阈值比较，大于CRF阈值的点被认为是角点。

8.如权利要求1所述的亚像素图像配准方法，其特征在于，所述亚像素定位包括：

假设真实角点为q，初始角点为p，列出满足p点处的梯度向量▽I(p)与q-p向量的点积为0的方程组，所述方程组的解就是所求真实角点q的亚像素级坐标。

9.如权利要求1所述的亚像素图像配准方法，其特征在于，所述图像金字塔处理过程包括：先对金字塔的最高层进行光流匹配，用得到的运动估计结果更新为下层金字塔的起始点，重复迭代这一过程直到最底层。

10.如权利要求1所述的亚像素图像配准方法，其特征在于，所述RANSAC算法包括：采用初始匹配点对的坐标差作为样本，对样本中每个点与其它点的距离进行判断，如果在给定的阈值R范围内，就称为内点，如果大于阈值R，就称为外点，对所述内点进行计数，选择内点最多的模型的起始点作为偏移量。

Images