CN109886878A - 一种基于由粗到精配准的红外图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于由粗到精配准的红外图像拼接方法，其先对红外图像进行粗配准，再进行精配准，提高了图像配准精度，进而提升了图像拼接效果。其中，粗配准过程中利用两两相邻图像提取特征点构建单应性矩阵，让每张图在粗配准过程中都能使用未经变换的原图像作为特征点的提取对象，从而保证了特征点的提取数量。精配准的过程是基于精配准序列进行依次配准，对粗配准过程存在的形变误差进行调整，且其特征点提取过程基于与特征点对具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积与原图像面积的百分比与图像配准精准度成正比的规律获取，保证了精配准的精度。

Description

一种基于由粗到精配准的红外图像拼接方法

技术领域

本发明属于图像拼接技术领域，具体涉及一种基于由粗到精配准的红外图像拼接方法。

背景技术

对于图像拼接技术，国内外有大量关于图像拼接的研究，通常，图像配准方法可大致分为两类：基于强度和基于特征的方法，基于特征的方法最初提取显着特征，然后使用相似性度量来匹配它们以建立两个图像之间的几何对应，这些方法的主要优点之一是它们对噪声，复杂几何失真和显着的辐射差异快速且稳健，然而，它们只是在通过可靠的算法提取和匹配合适的特征的条件下表现良好，常用的特征包括点、边、轮廓和区域，众所周知的特征匹配方法包括不变描述符，空间关系和松弛方法，Mikolajczyk等人比较了仿射变换，尺度变化，旋转，图像模糊，jpeg压缩和光照变化的描述符的性能。他们发现尺度不变特征变换(SIFT) 在大多数测试中表现最佳，尽管提到的SIFT具有吸引人的优点，但应用于红外图像拼接时，由于红外图像的对比度低等原因，导致采用SIFT检测到的特征点对数量比较少。此外，由于红外图像的重叠区域之间的图像强度的显着差异，在特征匹配中存在许多异常值。因此，使用SIFT无法产生最佳结果，而更强大的图像特征描述符被考虑，如加速鲁棒特征(SURF)，定向快速和旋转简介(ORB)和基于网格的运动统计(GMS)。

Herbert Bay等人在2006年提出了SURF，该描述符继承了SIFT的旋转不变性和鲁棒性的优点，并改进了尺度空间的构造，并减小了特征向量的维数。因此，可以大大提高特征点的提取速度；2010年，Calonder等人提出了二进制鲁棒独立基本特征(BRIEF)描述符，BRIEF 描述符依赖于相对较少数量的强度差测试来将图像块表示为二进制字符串，因此该描述符的构造和匹配非常快，但描述符没有旋转或缩放不变性，并且它是对图像噪声也非常敏感，所有缺点都限制了它的应用；更好的选择是Rublee等人2011年提出的ORB描述符。ORB描述符是一个快速健壮的局部特征检测器，它基于快速关键点检测器和视觉描述符BRIEF，与 BRIEF不同，ORB描述符是旋转不变的并且抵抗噪声。与SURF和ORB相比，GMS作为基于相邻匹配的数量来划分真假匹配的统计公式，使得能够将高匹配数转换为高匹配质量。

现有红外图像的配准方式一般为依次进行图像配准，其识别出与基准图像的特征点对，再计算出单应性矩阵进行配准，再依次处理其他图像进行配准，然后其过程中由于形变误差累计将导致最终配准精度不高，另一方面，红外图像的低对比度导致缺少特征点的提取量，尤其是依次配准的方式，后续配准过程可识别出的特征点很少，致使图像配准的精确度低，拼接图像效果差。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于由粗到精配准的红外图像拼接方法，在对多行多列的红外图像进行拼接时，先粗配准后精配准，使得拼接图像效果提升，粗配准过程中利用图像之间两两配准的原则，让每张图在粗配准过程中都能使用未经变换的原图像作为特征点的提取对象，从而保证了特征点的提取数量。精配准的过程是基于精配准序列进行依次配准，对粗配准过程存在的形变误差进行调整，提高了配准精度。

一方面，本发明提供的一种基于由粗到精配准的红外图像拼接方法，包括如下步骤：

S1：获取待拼接的红外图像并基于重叠区域获取所有图像之间的相邻关系；

其中，两个红外图像之间存在重叠区域，所述两个红外图像为相邻图像；

S2：基于每两个相邻图像之间的特征点对计算出每两个相邻图像之间的单应性矩阵；

S3：选取一个红外图像作为基准图像，并基于相邻图像之间的单应性矩阵计算出其他每个红外图像相对应基准图像的单应性矩阵，再计算出每个红外图像在基准图像坐标系中的坐标得到粗配准后的红外图像；

式中，X_i表示红外图像I_i在基准图像坐标系中的坐标，表示红外图像I_i与基准图像之间的单应性矩阵，X₁表示基准图像的坐标，H₁H₂...H_i-1表示基准图像至红外图像I_i构建的连续相邻图像序列中两两相邻图像之间的单应性矩阵；

S4：以基准图像为初始的精配准图像序列，依次计算粗精配准后的每个红外图像对应当前精配准图像序列的单应性矩阵，并基于单应性矩阵对所述红外图像进行坐标调整和对当前精配准图像序列进行更新；

其中，对粗配准后的红外图像进行精配准的过程如下：

A：识别红外图像在当前精配准图像序列中的相邻图像，相邻图像的个数不超过4个；B：获取红外图像与相邻图像之间的特征点对，其中，基于与特征点对具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积与原图像面积的百分比与图像配准精准度成正比的规律获取4对特征点，所述百分比越大，图像配准精准度越高；

C：利用特征点对计算出红外图像与当前精配准图像序列的单应性矩阵，并将于计算出的单应性矩阵对红外图像进行坐标调整，并将红外图像加入当前精配准图像序列中得到更新的精配准图像序列；

其中，对每个红外图像均完成精配准后的精配准图像序列进行拼接得到拼接图像。

进一步优选，步骤S4中对粗配准后的红外图像进行精配准的过程中，基于与特征点对具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积与原图像面积的百分比与图像配准精准度成正比的规律获取4对特征点的过程如下：

B1：获取相邻图像与待精配准红外图像之间的特征点对集合；

B2：从特征点对集合中随机选取4个点对计算单应性矩阵，再利用计算出的单应性矩阵计算出特征点对集合中每个特征点对的欧式距离；

特征点对的欧式距离计算公式如下：

其中，ρ_i表示特征点对集合中第i个特征点对的欧式距离，(x_i1,y_i1,1)为第i个特征点对在待精配准红外图像中特征点的坐标，(x′_i2,y′_i2,1)为利用单应性矩阵将第i个特征点对在待精配准红外图像中的坐标进行转换后的坐标，(x_i2,y_i2,1)表示第i个特征点对在相邻图像中特征点的坐标，H表示计算出的单应性矩阵；

B3：重复执行B2，并判断是否达到循环停止条件，若达到，得到最小的欧式距离之和对应的4个特征点对为目标特征点对；

其中，重复执行B2中选取的4个点对与任一次循环选取的4个点对不完全相同；

B3：判断是否达到循环停止条件，若未达到，重复执行B2；

其中，重复执行B2中选取的4个点对与任一次循环选取的4个点对不完全相同；

所述循环停止条件包括条件1和条件2，满足其中任一条件，则停止循环；：

条件1：在当前循环操作中统计特征点对的欧式距离ρ_i小于设定的误差阈值ρ_err的特征点对个数N_good，若个数N_good超过设定的阈值N_OK，停止循环，当前循环操作中选取的4个特征点对为目标特征点对；

条件2：当前循环次数超过阈值N_stop，停止循环；从N_stop次循环操作中识别特征点对的欧式距离ρ_i小于设定的误差阈值ρ_err的特征点对个数N_good最大的一次循环操作，所述一次循环操作对应的4个特征点对为目标特征点对。

本发明每次循环中判断每个特征点对的欧式距离ρ_i是否小于设定的误差阈值ρ_err，如果小于等于则认为该特征点对为正确的特征点对，归入正确特征点对集合Q_good集合。如果大于设定的误差阈值ρ_err，则认为是错误的特征点对。当集合Q_good特征点对个数N_good超过设定的阈值N_OK，停止循环，则可认为当前循环所对应的4个特征点对为目标特征点对。其中，集合Q_good在每次循环开始前初始化为空集。

条件2实质为：循环次数超过设定阈值N_stop，停止循环，在N_stop次循环中，设集合Q_good中特征点对个数达到最大时的集合为Q_max，可认为Q_max所对应的4个特征点对为目标特征点对。

进一步优选，步骤B2中从特征点对集合中随机选取4个点对的规律如下：

若相邻图像数为1时，同一张相邻图像对应所有特征点构建特征点对集合，步骤B2从特征点对集合随机选取四个特征点对；

若相邻图像为2时，每张相邻图像对应所有特征点分别构建一个特征点对集合得到两个特征点对集合，步骤B2中分别从每个特征点对集合中随机选取两个特征点对；

若相邻图像为3时，每张相邻图像对应所有特征点分别构建一个特征点对集合得到三个特征点对集合，步骤B2中从两个特征点对集合中随机选取一个特征点对，从另一个特征点对中随机选取两个特征点对；

若相邻图像为4时，每张相邻图像对应所有特征点对分别构建特征点对集合得到四个特征点对集合，步骤B2中从四个特征点对集合中随机选取一个特征点对。

进一步优选，步骤S4之后，还包括对精配准图像序列进行图像灰度校正和图像融合；

其中，灰度校正采用由粗校正到精校正的方式进行调整；

图像融合基于梯度曲线的线性加权平均融合图像。

进一步优选，灰度校正过程如下：

首先，对精配准图像序列中每个图像的灰度值进行灰度粗调整；

h₁(i,j)＝g(i,j)+αG_all-βG_λ

式中，h₁(i,j)表示图像I_λ中(i,j)像素点灰度粗调整后的灰度值，g(i,j)表示图像I_λ中(i,j) 像素点灰度粗调整前的灰度值，G_all表示精配准图像序列中所有图像的灰度平均值，n为精配准图像序列中图像个数，G_λ表示图像I_λ的灰度平均值；

然后，对精配准图像序列中图像内像素点的灰度值进行灰度精调整；

h₂(i,j)＝h₁(i,j)+G_s-G_x

式中，h₂(i,j)表示配准新图像I_λ中(i,j)像素点灰度精调整后的灰度值，G_s表示与配准新图像I_λ对应的精配准图像序列s_i上重叠区域内灰度平均值，G_x表示配准新图像I_λ上重叠区域内灰度平均值。

本发明首先对所有图像内每个像素点的灰度值进行粗调整，然后利用重叠区域调整后续贴到精配准图像序列上的配准新图像。譬如，第二张贴到第一张，其存在重叠区域，利用重叠区域的灰度调节第二张图像上像素点的灰度值。

进一步优选，灰度校正后，配准新图像I_λ与新图像I_λ对应的精配准图像序列s_i之间的重叠区域内图像融合过程如下：

首先，计算重叠区域内每个像素点的灰度梯度值，并获取每列的灰度梯度值最大的像素点；

式中，Grad(i,j)表示配准新图像I_λ与新图像I_λ对应的精配准图像序列s_i之间的重叠区域内(i,j)像素点的灰度梯度值，I_v(i,j)表示重叠区域内(i,j)像素点对应在配准新图像I_λ或新图像I_λ对应的精配准图像序列s_i上的灰度值；

然后，利用如下公式计算出重叠区域融合后像素点(i,j)像素点的灰度值I_m(i,j)；

式中，N_g表示第j列的最大灰度梯度值的点所在的行数，N_r表示第j列的总行数，I₁(i,j)、 I₂(i,j)分别表示(i,j)像素点对应在新图像I_λ对应的精配准图像序列s_i和配准新图像I_λ上的重叠区域的灰度值。

进一步优选，所述特征点为ORB特征点。

进一步优选，步骤S2的执行过程如下：

首先，提取两个相邻图像之间的ORB特征点对；

然后，采用基于网格的快速运动统计方法筛选出匹配度高的点对；

最后，基于筛选出的点对计算出两个相邻图像之间的单应性矩阵。

有益效果

本发明在粗配准的过程中利用图像之间两两配准的原则，让每张图在粗配准过程中都能使用未经变换的原图像作为特征点的提取对象，从而保证了红外图像特征点的提取数量。有效地解决了现有红外图像拼接过程中能识别的特征点少的问题；同时，本发明在粗配准的基础上进行了精配准，由于粗配准后已不存在太大的旋转和偏移，故可以利用相邻图像来扩大特征点对的数量及所占面积，一方面解决了特征点对少的问题，另一方面，本发明通过验证得出与该四对特征点具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积占原图像面积的百分比越大，图像配准的精度越高。因此为了进一步保证配准精度，本发明基于该原则选取精配准过程中的4个特征点对，进一步提高了图像配准精度，进而提高图像拼接效果。

附图说明

图1是本发明提出的一种基于由粗到精配准的红外图像拼接方法的流程图；

图2是本发明提出的4幅邻近图像示意图，其中矩形A、B、C、D分别代表4个图像；

图3为本发明提出的9幅相邻图像示意图，其中矩形A-I分别代表9个图像；

图4为本发明提出的图像精确配准原则原理图，a、b图为两个对应原理图；

图5是本发明提出的GMS特征提取与配准图，其中，a图为GMS匹配所得特征点，b 图为GMS匹配所得特征点的左侧1/5，c图为采取所有特征点配准图，d图为采取左侧1/5特征点配准图；

图6是本发明提供的纵向拼接示意图；

图7是本发明提供的划分1-13的多幅图像RMSE均值的平均值曲线示意图；

图8为本发明提出的灰度初调整效果图；

图9为本发明提出的图像拼接最终效果图。

具体实施方式

下面将结合实施例对本发明做进一步的说明。

本发明是针对多行多列的红外图像进行拼接，待拼接的图像之间必须是存在连续相邻关系。本发明提供的一种基于由粗到精配准的红外图像拼接方法其包括三个主要步骤：图像粗配准过程、图像精配准过来以及后处理过程，具体如图1所示，包括如下步骤：

S1：获取待拼接的红外图像并基于重叠区域获取所有图像之间的相邻关系。其中，本发明根据图像之间是否存在重叠区域来判断是否为相邻关系，若存在重叠区域，则为相邻关系。如图2所示，矩形A、B、C、D分别代表4个图像，其彼此之间存在重叠区域，故两两图像之间均为相邻图像。

S2：基于每两个相邻图像之间的特征点对计算出每两个相邻图像之间的单应性矩阵。

本实施例中，先利用现有技术手段获取每两个相邻图像之间的ORB特征点对，再利用 GMS(Grid-based Motion Statistics forFast)从ORB特征点对中筛选出匹配度更高的点对，接着用RANSAC算法求出每幅图像与其相邻图像所对应的单应性矩阵。

S3：选取一个红外图像作为基准图像，并基于相邻图像之间的单应性矩阵计算出其他每个红外图像相对应基准图像的单应性矩阵，再计算出每个红外图像在基准图像坐标系中的坐标得到粗配准后的红外图像。

应当理解，前述S1-S3的过程为本发明的粗配准过程。为了避免拼接过程中出现特征点逐渐减少，最后无法拼接大图的情况。本文使用的方法是：在图像相邻关系已知的情况下，直接利用原图的相邻图像进行两两拼接得到各自对应的单应性矩阵。其中，选取一个基准图像后，利用图像的相邻关系可以计算出每一幅图像对应于基准图像的单应性矩阵，最后通过坐标变换可得到每幅图像在同一个基准图像坐标系下的位置。

设矩阵H_i是两个相邻图像I_i和I_i+1对应的单应性矩阵，X_i和X_i+1分别为连续相邻图像中第i张图像I_i和第i+1张图像I_i+1配准后对应的坐标。X_i和X_i+1满足以下关系：

X_i+1＝H_iX_i

为了把所有的图像统一到一个坐标系中，假设以第一张图像I₁作为基准图像，其他图像I_i的坐标X_i都可以利用以上公式通过递推的方式进行坐标变换，换算为直接与I₁的坐标X₁相关，可得：

其中H_k代表基准图像至红外图像i构建的连续相邻图像序列中两两相邻图像之间的单应性矩阵。

根据以上方法，当一个图像I_u在已配准好的图像序列s_i中存在一个或者多个邻近图像时，可选一个已知邻近图像I_s，通过粗配准的方法可以得到了图像I_u的坐标X_u与邻近图像I_s的坐标X_s的关系如下：

X_u＝H_usX_s

其中H_us为图像I_u关于图像I_s的单应性矩阵。设邻近图像I_s关于基准图I₁的单应性矩阵为H_s，则I_u关于基准图I₁的粗配准坐标为：

S4：以基准图像为初始的精配准图像序列，依次计算粗精配准后的每个红外图像对应当前精配准图像序列的单应性矩阵，并基于单应性矩阵对所述红外图像进行坐标调整和对当前精配准图像序列进行更新。

本发明粗配准后，为了进一步提高配准精度，还进行精配准操作。精配准的过程为一张一张地依次处理红外图像，首先，以基准图像为初始的精配准图像序列，然后处理与基准图像相邻的其他图像，精配准后得到更新的精配准图像序列，再处理与精配准图像序列中图像相邻的其他图像，依次处理每个红外图像。

其中，处理与当前精配准图像序列中图像相邻的红外图像精配准的过程如下：

A：识别红外图像在当前精配准图像序列中的相邻图像；

B：获取红外图像与相邻图像之间的特征点对，其中，基于与特征点对具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积与原图像面积的百分比与图像配准精准度成正比的规律获取4对特征点，所述百分比越大，图像配准精准度越高。

C：利用特征点对计算出红外图像与当前精配准图像序列的单应性矩阵，并将于计算出的单应性矩阵对红外图像进行坐标调整，并将红外图像加入当前精配准图像序列中得到更新的精配准图像序列。

关于步骤A中识别红外图像在当前精配准图像序列中的相邻图像过程中选取不超过4个相邻图像，即若存在超过4个以上的相邻图像，则从中选取4个相邻图像。如图3所示，图 4中矩形A-I视为图像A-I，图E与其他图均有重叠区域，因此其他8张图均为图E的相邻图像。由于对两张图像进行配准所用到的变换矩阵只需要4个点即可确定，而且图A、C、G、 I与图E的重叠面积很小，并且被图B、D、F和H所覆盖，为了方便计算，一般只考虑图E 与图B、D、F和H的特征点对情况。从上可知，本发明中若相邻图像超过4个时，基于重叠面积大小关系选择重叠面积大的4个相邻图像。其中，在往一个已配准图像序列s_i上添加新图像X_u时，由于图像序列s_i与图像X_u在同一坐标系中的坐标已确定，可通过判断图像序列s_i中各图像的四个角点与图像X_u的四个角点之间的位置关系来确定图像X_u与其他图像是否存在重叠区域，若存在，则为图像X_u的相邻图像。

关于步骤B中获取红外图像与相邻图像之间的特征点对的过程，本发明通过理论推理得到了如下准则：

图像拼接配准时，会对找到所有特征点对进行筛选，找到四对合适的特征点用来求最后单应性矩阵，与该四对特征点具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积占原图像面积的百分比越大，图像配准的精度越高。

由于最后使用4对特征点来求单应性矩阵时，实际上该单应性矩阵只能确保原图上的四个点变换到新的位置上时是准确的，其他位置上特征点变换后是存在误差的。再加上计算过程中保留小数点后数字的位数和线性插值等因素引入计算误差，导致距离这四对特征点的距离越远的图像点，在利用该单应性矩阵变换后，误差越大。如附图4所示，设四边形C₁C₂C₃ C₄为原来需要配准的图像，图像中用来求单应性矩阵的四个特征点作为角点连成一个四边形 A₁A₂A₃A₄，其对角线交点为点O，设该四边形A₁A₂A₃A₄其中一个角点A₁原本对应的点为 b图中的A点，先求单应性矩阵再作透视变换后引入了计算误差，导致A₁变换后偏移到点D。设点C₁原本对应的点应为b图点C，则由于计算误差的原因最终偏移到了点G。若设图像中原本用来求单应性矩阵的四个特征点作为角点连成一个四边形B₁B₂B₃B₄，点B₁变换时由于误差从点B偏移到了点E，假定计算误差导致偏移量AD长度与BE相等，则此时点C₁从点 C偏移到了点F，从b图中可以看出，偏移量CG明显大于偏移量CF。因此当大图C₁C₂C₃C₄大小固定时，用来求单应性矩阵的四对特征点所围成的面积越大，配准精度越高。在用 RANSAC算法来对特征点对进行筛选时，求取的四对特征点与大部分的特征点对具有一致性，故可称与该四对特征点具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积占原图像面积的百分比越大，图像配准的精度越高。

如图5所示，其中，a图为GMS匹配所得特征点，其面积较大。b图为GMS匹配所得特征点的左侧1/5，c图为采取所有特征点配准图，d图为采取左侧1/5特征点配准图，从图中可以看出特征点对所占区域越大，图像配准的精度越高，进一步证明本发明所提那个面积百分比与图像配准精确性成正比的关系的。以上1/5区域与全部区域的对比图可以看出我们原则的合理性。

为了进一步验证：当所用特征点越多，所占的区域越大时，图像拼接的效果越好，我们把同一个图像划分为N个区域，并计算仅采用不同划分方法中的一个区域的信息直接计算图像拼接的RMSE(均方根误差)值。如图6所示，以纵向拼接为例，由于在纵向拼接时，图像区域的重叠面积在水平方向比垂直方向上要长，因此把重叠区域看似一个矩形，并在水平方向上划分为N个部分。我们把同一个图像依次划分为1～13个区域。我们实验发现，即使前期的提取特征点方式再好，的确也会存在错误特征点，我们把多幅图像分别划分为n个区域的图像拼接后的RMSE平均值进行计算，如图7所示，横坐标为该图像划分后的区域数，纵坐标为RMSE值。从图7可以看出，RMSE值随着n的增大受到错误特征点的影响越来越大，即特征点所占面积占原图的百分比越小，其出错的概率越来越大。即随着划分区域的增大，图像拼接效果的RMSE平均值越来越大，该结论与我们的原则相匹配。当所选特征点所占区域越大，其图像配准的效果会更佳。

因此，本发明基于上述准则在精配准的过程中来获取相邻图像与待精配准红外图像之间的特征点对，其过程如下B1-B2：

B1：获取相邻图像与待精配准红外图像之间的特征点对集合。

B2：从特征点对集合中随机选取4个点对计算单应性矩阵，再利用计算出的单应性矩阵计算出特征点对集合中每个特征点对的欧式距离。

B3：判断是否达到循环停止条件，若未达到，重复执行B2；

其中，重复执行B2中选取的4个点对与任一次循环选取的4个点对不完全相同；

循环停止条件有如下2个：

(1)判断每个特征点对的欧式距离ρ_i是否小于设定的误差阈值ρ_err，如果小于等于则认为该特征点对为正确的特征点对，归入正确特征点对集合Q_good集合。如果大于设定的误差阈值ρ_err，则认为是错误的特征点对。当集合Q_good特征点对个数N_good超过设定的阈值N_OK，停止循环，则可认为当前循环所对应的4个特征点对为目标特征点对。其中，集合Q_good在每次循环开始前初始化为空集。

(2)循环次数超过设定阈值N_stop，停止循环，在N_stop次循环中，设集合Q_good中特征点对个数达到最大时的集合为Q_max，可认为Q_max所对应的4个特征点对为目标特征点对。

关于每一次循环的具体计算过程如下：

首先，利用选取的4个点对计算单应性矩阵，假设两张图像中的对应点对齐次坐标为 (x₁,y₁,1)和(x₂,y₂,1)，单应性矩阵的H定义如下：

则存在：

矩阵展开后有三个等式，将第三个等式带入前两个等式中可得：

设置h₃₃为1，我们筛选出的4对特征点的坐标为(x_i1,y_i1,1)和(x_i2,y_i2,1)，其中i＝1，2，3， 4，用(x_i1,y_i1,1)和(x_i2,y_i2,1)分别代替(x₁,y₁,1)和(x₂,y₂,1)，带入x₂和y₂的公式可得到8个方程，通过解方程可计算出单应性矩阵H的其他8个参数的值。

然后，利用计算出的单应性矩阵计算出特征点对集合中每个特征点对的欧式距离；

特征点对的欧式距离计算公式如下：

其中，ρ_i表示特征点对集合中第i个特征点对的欧式距离，(x_i1,y_i1,1)为第i个特征点对在待精配准红外图像中特征点的坐标，(x′_i2,y′_i2,1)为利用单应性矩阵将第i个特征点对在待精配准红外图像中的坐标进行转换后的坐标，(x_i2,y_i2,1)表示第i个特征点对在相邻图像中特征点的坐标，H表示计算出的单应性矩阵。

其中，4个点对的选取规则如下：

若相邻图像数为1时，同一张相邻图像所有特征点构建特征点对集合，步骤B2从特征点对集合随机选取四个特征点对；

若相邻图像为2时，每张相邻图像所有特征点分别构建一个特征点对集合得到两个特征点对集合，步骤B2中分别从每个特征点对集合中随机选取两个特征点对；

若相邻图像为3时，每张相邻图像所有特征点分别构建一个特征点对集合得到三个特征点对集合，步骤B2中从两个特征点对集合中随机选取一个特征点对，从另一个特征点对中随机选取两个特征点对；

若相邻图像为4时，每张相邻图像所有特征点对分别构建特征点对集合得到四个特征点对集合，步骤B2中从四个特征点对集合中随机选取一个特征点对。

如图4中，设图像X_u为图4中的图E，图B、D、F、H均为图E的相邻图像，通过特征点匹配可得图B、D、F、H与图E的特征点对分别为集合B_i、D_i、F_i、H_i，为了提高最终采用的4个特征点所占面积，从集合B_i、D_i、F_i、H_i分别选取一个点对。假设原来每个集合中有25个点，从每个集合中抽取出1个点，共得到4个点，求出两个图像之间的单应性矩阵后，进而求取4个集合中共100个点在变换后得到的特征点与其原本配对的特征点的欧氏距离之和Z；再重复该操作，直至达到循环停止条件。

应当理解，当按照步骤S4处理每个红外图像之后，将得到拼接图像。

本发明为了提高拼接图像的拼接效果，还进行后处理，其主要包括对精配准图像序列进行图像灰度校正和图像融合。

其中，灰度校正采用由粗校正到精校正的方式进行调整；图像融合基于梯度曲线的线性加权平均融合图像。

灰度校正过程如下：

首先，对精配准图像序列中每个图像的灰度值进行灰度粗调整；

h₁(i,j)＝g(i,j)+αG_all-βG_λ

式中，h₁(i,j)表示图像I_λ中(i,j)像素点灰度粗调整后的灰度值，g(i,j)表示图像I_λ中(i,j) 像素点灰度粗调整前的灰度值，G_all表示精配准图像序列中所有图像的灰度平均值，n为精配准图像序列中图像个数，G_λ表示图像I_λ的灰度平均值；

然后，对精配准图像序列中重叠区域内像素点的灰度值进行灰度精调整；

h₂(i,j)＝h₁(i,j)+G_s-G_x

式中，h₂(i,j)表示配准新图像I_λ中(i,j)像素点灰度精调整后的灰度值，G_s表示与配准新图像I_λ对应的精配准图像序列s_i上重叠区域内灰度平均值，G_x表示配准新图像I_λ上重叠区域内灰度平均值。

配准新图像I_λ与新图像I_λ对应的精配准图像序列s_i之间的重叠区域内图像融合过程如下：

首先，计算重叠区域内每个像素点的灰度梯度值，并获取每列的灰度梯度值的最大值；

式中，Grad(i,j)表示配准新图像I_λ与新图像I_λ对应的精配准图像序列s_i之间的重叠区域内(i,j)像素点的灰度梯度值，I_v(i,j)表示重叠区域内(i,j)像素点对应在配准新图像I_λ或新图像I_λ对应的精配准图像序列s_i上的灰度值；

然后，利用如下公式计算出重叠区域融合后像素点(i,j)像素点的灰度值I_m(i,j)；

式中，N_g表示第j列的最大灰度梯度值的点所在的行数，N_r表示第j列的总行数，I₁(i,j)、 I₂(i,j)分别表示(i,j)像素点对应在新图像I_λ对应的精配准图像序列s_i和配准新图像I_λ上的重叠区域灰度值。

需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (8)

1.一种基于由粗到精配准的红外图像拼接方法，其特征在于：包括如下步骤：

S1：获取待拼接的红外图像并基于重叠区域获取所有图像之间的相邻关系；

其中，两个红外图像之间存在重叠区域，所述两个红外图像为相邻图像；

S2：基于每两个相邻图像之间的特征点对计算出每两个相邻图像之间的单应性矩阵；

S3：选取一个红外图像作为基准图像，并基于相邻图像之间的单应性矩阵计算出其他每个红外图像相对应基准图像的单应性矩阵，再计算出每个红外图像在基准图像坐标系中的坐标得到粗配准后的红外图像；

式中，X_i表示红外图像I_i在基准图像坐标系中的坐标，表示红外图像I_i与基准图像之间的单应性矩阵，X₁表示基准图像的坐标，H₁H₂...H_i-1表示基准图像至红外图像I_i构建的连续相邻图像序列中两两相邻图像之间的单应性矩阵；

S4：以基准图像为初始的精配准图像序列，依次计算粗精配准后的每个红外图像对应当前精配准图像序列的单应性矩阵，并基于单应性矩阵对所述红外图像进行坐标调整和对当前精配准图像序列进行更新；

其中，对粗配准后的红外图像进行精配准的过程如下：

A：识别红外图像在当前精配准图像中的相邻图像，相邻图像的个数不超过4个；

B：获取红外图像与相邻图像之间的特征点对，其中，基于与特征点对具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积与原图像面积的百分比与图像配准精准度成正比的规律获取4对特征点，所述百分比越大，图像配准精准度越高；

C：利用特征点对计算出红外图像与当前精配准图像序列的单应性矩阵，并将于计算出的单应性矩阵对红外图像进行坐标调整，并将红外图像加入当前精配准图像序列中得到更新的精配准图像序列；

其中，对每个红外图像均完成精配准后的精配准图像序列进行拼接得到拼接图像。

2.根据权利要求1所述的方法，其特征在于：步骤S4中对粗配准后的红外图像进行精配准的过程中，基于与特征点对具有一致性的所有特征点对所覆盖的最小外接凸多边形的面积与原图像面积的百分比与图像配准精准度成正比的规律获取4对特征点的过程如下：

B1：获取相邻图像与待精配准红外图像之间的特征点对集合；

B2：从特征点对集合中随机选取4个点对计算单应性矩阵，再利用计算出的单应性矩阵计算出特征点对集合中每个特征点对的欧式距离；

特征点对的欧式距离计算公式如下：

其中，ρ_i表示特征点对集合中第i个特征点对的欧式距离，(x_i1,y_i1,1)为第i个特征点对在待精配准红外图像中特征点的坐标，(x′_i2,y′_i2,1)为利用单应性矩阵将第i个特征点对在待精配准红外图像中的坐标进行转换后的坐标，(x_i2,y_i2,1)表示第i个特征点对在相邻图像中特征点的坐标，H表示计算出的单应性矩阵；

B3：判断是否达到循环停止条件，若未达到，重复执行B2；

其中，重复执行B2中选取的4个点对与任一次循环选取的4个点对不完全相同；

所述循环停止条件包括条件1和条件2，满足其中任一条件，则停止循环；

条件1：在当前循环操作中统计特征点对的欧式距离ρ_i小于设定的误差阈值ρ_err的特征点对个数N_good，若个数N_good超过设定的阈值N_OK，停止循环，当前循环操作中选取的4个特征点对为目标特征点对；

条件2：当前循环次数超过阈值N_stop，停止循环；从N_stop次循环操作中识别特征点对的欧式距离ρ_i小于设定的误差阈值ρ_err的特征点对个数N_good最大的一次循环操作，所述一次循环操作对应的4个特征点对为目标特征点对。

3.根据权利要求2所述的方法，其特征在于：步骤B2中从特征点对集合中随机选取4个点对的规律如下：

若相邻图像数为1时，同一张相邻图像对应所有特征点构建特征点对集合，步骤B2从特征点对集合随机选取四个特征点对；

若相邻图像为2时，每张相邻图像对应所有特征点分别构建一个特征点对集合得到两个特征点对集合，步骤B2中分别从每个特征点对集合中随机选取两个特征点对；

若相邻图像为3时，每张相邻图像对应所有特征点分别构建一个特征点对集合得到三个特征点对集合，步骤B2中从两个特征点对集合中随机选取一个特征点对，从另一个特征点对中随机选取两个特征点对；

若相邻图像为4时，每张相邻图像对应所有特征点对分别构建特征点对集合得到四个特征点对集合，步骤B2中从四个特征点对集合中随机选取一个特征点对。

4.根据权利要求1所述的方法，其特征在于：步骤S4之后，还包括对精配准图像序列进行图像灰度校正和图像融合；

其中，灰度校正采用由粗校正到精校正的方式进行调整；

图像融合基于梯度曲线的线性加权平均融合图像。

5.根据权利要求4所述的方法，其特征在于：灰度校正过程如下：

首先，对精配准图像序列中每个图像的灰度值进行灰度粗调整；

h₁(i,j)＝g(i,j)+αG_all-βG_λ

式中，h₁(i,j)表示图像I_λ中(i,j)像素点灰度粗调整后的灰度值，g(i,j)表示图像I_λ中(i,j)像素点灰度粗调整前的灰度值，G_all表示精配准图像序列中所有图像的灰度平均值，n为精配准图像序列中图像个数，G_λ表示图像I_λ的灰度平均值；

然后，对精配准图像序列中图像内像素点的灰度值进行灰度精调整；

h₂(i,j)＝h₁(i,j)+G_s-G_x

式中，h₂(i,j)表示配准新图像I_λ中(i,j)像素点灰度精调整后的灰度值，G_s表示与配准新图像I_λ对应的精配准图像序列s_i上重叠区域内灰度平均值，G_x表示配准新图像I_λ上重叠区域内灰度平均值。

6.根据权利要求4所述的方法，其特征在于：灰度校正后，配准新图像I_λ与新图像I_λ对应的精配准图像序列s_i之间的重叠区域内图像融合过程如下：

首先，计算重叠区域内每个像素点的灰度梯度值，并获取每列的灰度梯度值的最大值；

式中，Grad(i,j)表示配准新图像I_λ与新图像I_λ对应的精配准图像序列s_i之间的重叠区域内(i,j)像素点的灰度梯度值，I_v(i,j)表示重叠区域内(i,j)像素点对应在配准新图像I_λ或配准新图像I_λ对应的精配准图像序列s_i上的灰度值；

然后，利用如下公式计算出重叠区域融合后像素点(i,j)像素点的灰度值I_m(i,j)；

式中，N_g表示第j列的最大灰度梯度值的点所在的行数，N_r表示第j列的总行数，I₁(i,j)、I₂(i,j)分别表示(i,j)像素点对应在新图像I_λ对应的精配准图像序列s_i和配准新图像I_λ上的重叠区域的灰度值。

7.根据权利要求1所述的方法，其特征在于：所述特征点为ORB特征点。

8.根据权利要求1所述的方法，其特征在于：步骤S2的执行过程如下：

首先，提取两个相邻图像之间的ORB特征点对；

然后，采用基于网格的快速运动统计方法筛选出匹配度高的点对；

最后，基于筛选出的点对计算出两个相邻图像之间的单应性矩阵。