CN107403410A - 一种热红外图像的拼接方法 - Google Patents

Abstract

本发明涉及一种热红外图像的拼接方法，其包括：对红外热像仪进行标定得到内方位元素，通过航空器搭载红外热像仪和定姿定位系统对地进行航测，得到红外图像序列和位置姿态数据；根据内方位元素、红外图像序列和相应拍摄时刻的位置姿态数据，采用共线方程方法对红外图像序列中的各幅图像进行几何粗校正，得到值文件和绝对坐标文件；对值文件进行图像预处理后进行图像拉伸，得到灰度分布相对集中和连续的区域；采用SIFT特征点匹配方法和灰度匹配方法，对拉伸后的前后两幅图像进行图像匹配；利用两幅图像中正确的匹配点之间的绝对坐标差值对后一幅图像的绝对坐标文件进行整体的误差校正；在GIS软件上基于绝对坐标文件进行批量图像的镶嵌。

Description

一种热红外图像的拼接方法

技术领域

本发明属于图像处理技术领域，具体涉及一种热红外图像的拼接方法。

背景技术

随着热红外探测器和无人机在航测、国土安全、农林监测、安保监控、科学研究、火警监测、工业外场巡检等领域的广泛应用，人们对热红外图像的大面积自动拼接方法提出了迫切需求。由于热红外辐射特殊的成像机制，热红外图像相对于可见光图像普遍存在图像信息量少、图像象元数少、分辨率低、噪点较多的特点。这些问题都将严重影响热红外图像的成像质量，使得目标模糊，分辨率低。热红外图像成像质量方面的缺陷，除了从成像设备的硬件方面改进来解决之外，还需要考虑从数字图像处理等算法角度来解决以达到实际应用中的精度要求。

红外图像拼接技术就是在充分保证分辨率不变的前提下，将两幅或者多幅小视野的红外图像无缝拼接。将热红外图像拼接成全景图像对技术工作者来说可以更加便利的从整幅图像中获取更多直观有用的信息，便于对热红外图像进行整体处理和分析，提出针对使用热红外图像的图像拼接技术，将有利于对采集到的热红外图像全景进行整体分析。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种热红外图像的拼接方法，该方法能够实现对大量小幅面热红外航拍影像的自动化校正与拼接，实现拍摄区域的大幅面影像。

本发明所采用的技术方案为：一种热红外图像的拼接方法包括以下步骤：

对红外热像仪进行标定得到内方位元素，通过航空器搭载红外热像仪和定姿定位系统对地进行航测，得到红外图像序列和相应拍摄时刻的位置姿态数据；

根据内方位元素、红外图像序列和相应拍摄时刻的位置姿态数据，采用共线方程方法对红外图像序列中的各幅图像进行几何粗校正，得到校正后的值文件和绝对坐标文件；

对校正后的值文件进行图像预处理，并对预处理后的值文件进行图像拉伸，得到灰度分布相对集中和连续的区域；

采用SIFT特征点匹配方法和灰度匹配方法，对值文件中拉伸后的前后两幅图像进行图像匹配；

经过匹配后，利用两幅图像中正确的匹配点之间的绝对坐标差值对后一幅图像的绝对坐标文件进行整体的误差校正；

在GIS软件上基于绝对坐标文件进行批量图像的镶嵌。

进一步地，所述位置姿态数据包括经纬度坐标、航向角、俯仰角和横滚角。

进一步地，所述对校正后的值文件进行图像预处理包括图像增强以及噪点、坏象元和0值掩膜背景值的剔除。

进一步地，所述对预处理后的值文件进行图像拉伸，得到灰度分布相对集中和连续的区域的步骤的具体过程为：

(1)将校正后得到的值文件中的所有值统计生成灰度分布直方图；

(2)对灰度分布直方图进行二值化，设置一个5元素向量，遍历整个灰度分布直方图；

遍历过程中，当5元素向量中所有元素之和为5时，则表明该连续灰度区域均有像素点存在，记录下该连续灰度区域的起始灰度值；

(3)当遍历整个灰度直方图后，取出所记录下连续灰度区域的起始灰度值中的最大值和最小值作为图像拉伸的最大灰度和最小灰度。

进一步地，所述步骤采用SIFT特征点匹配方法和灰度匹配方法对值文件中拉伸后的前后两幅图像进行图像匹配的具体过程为：

采用SIFT特征点匹配方法，按照一定尺度找出匹配点集，采用距离偏差法剔除错误的匹配点，得到正确的匹配点；

统计两幅图像中所有匹配点对坐标偏差值与中心点坐标偏差值的归一化的坐标偏差值中归一化距离相等的数量，并取出数量最多的归一化距离所对应的匹配点对，作为匹配正确的匹配点对，生成正确匹配点集；如果得到的匹配点对数量低于2个，则表明匹配失败；反之，表明匹配成功；

对于匹配失败的点集，采用基于限定区域的灰度匹配方法找到样本图块的匹配图块。

更进一步地，所述步骤采用基于距离偏差法的SIFT特征点匹配方法获得正确的匹配点集的具体过程为：

首先，分别计算模板图像中所有匹配点的坐标平均值和匹配图像中所有匹配点的坐标平均值，得到两幅图像中匹配点集的中心点坐标；

其次，将两幅图像中匹配点的中心点坐标相减，得到的匹配点集中心点坐标偏差值；

再次，对除以倍数后得到的结果进行判断，如果该结果小于或等于参数P，则判定模板图像和匹配图像中对应的特征点为正确的匹配点对，否则，判定为错误的匹配点对；

最后，计算两幅图像中每一对匹配点的坐标偏差值，并分别与匹配点集中心点坐标偏差值相减，再分别除以容许偏差的像素数np，四舍五入后取绝对值，最终得到的是归一化的坐标偏差值。

更进一步地，所述容许偏差的像素数np取5～10，表示容许偏差5～10个像素的距离。

更进一步地，所述步骤对于匹配失败的点集采用基于限定区域的灰度匹配方法找到样本图块的匹配图块的具体过程为：

从模板图像中选取一图像块，将图像块划分为多个子图像块，计算各子图像块的方差，取方差最大的图像块作为模板图像；

将样本红外图像与模板图像作差，差值最小的样本红外图像作为与模板图像最相近的匹配图块；

输出匹配图块中左上角的坐标点的位置。

由于采用以上技术方案，本发明的有益效果为：本发明通过图像几何校正、图像匹配和图像镶嵌，能够解决现有技术中针对可见光影像的处理方法难以对小幅面低信息量的热红外图像进行自动化校正与拼接处理的问题，解决热红外图像间的特征提取与有效匹配问题。采用本发明方法可以实现对大量小幅面热红外航拍影像的自动化校正与拼接，实现拍摄区域的大幅面影像。本发明综合运用了特征点匹配方法和灰度特征匹配方法，能够提高图像匹配的可行性和正确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种热红外图像的拼接方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1所示，本发明提供了一种热红外图像的拼接方法，其包括以下步骤：

S1、对红外热像仪进行标定得到内方位元素，通过航空器搭载红外热像仪和定姿定位系统对地进行航测，得到红外图像序列和相应拍摄时刻的位置姿态数据。其中，位置姿态数据包括经纬度坐标、航向角、俯仰角和横滚角。

S2、根据内方位元素、红外图像序列和相应拍摄时刻的位置姿态数据，采用共线方程方法对红外图像序列中的各幅图像进行几何粗校正，得到校正后的值文件和绝对坐标文件。其中，值文件中包括每个像素点的温度值或者灰度值，绝对坐标文件中包括每个像素点的经纬度坐标。

S3、对步骤S2得到的校正后的值文件进行图像预处理，其主要包括图像增强以及噪点、坏象元和0值掩膜背景值的剔除，并确定预处理后的值文件中像素值的最大值和最小值，以便进行图像拉伸，得到灰度分布相对集中和连续的区域。其中，坏象元是由探测器的不均匀性造成的。

由于在热红外图像中存在随机噪点和较多的坏象元点，这些点的存在使得很难找到合适的灰度拉伸区间，因此，本发明借鉴灰度直方图和形态学的open 开运算方法找到灰度分布相对集中和连续的区域，其具体过程为：

(1)将校正后得到的值文件中的所有温度值或灰度值统计生成灰度分布直方图。

(2)对灰度分布直方图进行二值化，设置一个5元素向量，遍历整个灰度分布直方图。遍历过程中，当5元素向量中所有元素之和为5时，则表明该连续灰度区域均有像素点存在，记录下该连续灰度区域的起始灰度值。

(3)当遍历整个灰度直方图后，取出所记录下连续灰度区域的起始灰度值中的最大值和最小值作为图像拉伸的最大灰度和最小灰度。

S4、采用SIFT特征点匹配方法和灰度匹配方法，对值文件中拉伸后的前后两幅图像进行图像匹配，其具体过程为：

1)采用SIFT特征点匹配方法，按照一定尺度找出匹配点集，采用距离偏差法剔除错误的匹配点，得到正确的匹配点。

由于红外图像均经过了基于POS的几何粗校正，因此两幅图像的匹配点在各自图像上的位置分布应该相近。即如果将两幅图像的匹配点连线，则这些连线应近似平行。在这种假设的基础上，将所有的匹配特征点进行统计。

采用基于距离偏差法的SIFT特征点匹配方法获得正确的匹配点集的具体过程为：

首先，分别计算模板图像中所有匹配点的坐标平均值和匹配图像中所有匹配点的坐标平均值，得到两幅图像中匹配点集的中心点坐标。

其次，将两幅图像中匹配点的中心点坐标相减，得到的匹配点集中心点坐标偏差值。

再次，计算两幅图像中每一对匹配点的坐标偏差值，并分别与匹配点集中心点坐标偏差值相减，再分别除以容许偏差的像素数np，四舍五入后取绝对值，最终得到的是归一化的坐标偏差值。其中容许偏差的像素数np可以取5～10，表示容许偏差5～10个像素的距离。

对除以容许偏差的像素数np后得到的结果进行判断，如果该结果小于或等于容许偏差的像素数np，则判定模板图像和匹配图像中对应的特征点为正确的匹配点对，否则，判定为错误的匹配点对。

最后，利用灰度直方图的统计方法，统计出归一化坐标偏差值统计最多的匹配点对，表明该类匹配点对为正确的匹配点对，并输出正确的匹配点对的坐标位置。

例如，图像一为模板图像，图像一中的匹配点坐标集为 P＝[p₁,p₂,p₃,…,p_n]，p_n为第n个特征点在图像一中的坐标，即p_n＝(px_n,py_n)。

图像二为匹配图像，图像二中的匹配点集的坐标为Q＝[q₁,q₂,q₃,…,q_n]，q_n为第n个特征点在图像二中的坐标，即q_n＝(qx_n,qy_n)。

p_n和q_n为第n个匹配的特征点对，即第n个匹配点对。

计算匹配点集在对应图像中的坐标平均值，即匹配点集的中心点坐标：

图像一与图像二中匹配点集中心点坐标偏差值为：

图像一与图像二中对应每个匹配点对之间的坐标偏差值为：

D_pq＝|P-Q|

图像一与图像二中所有匹配点对坐标偏差值与中心点坐标偏差值的归一化的坐标偏差值为：

其中，round表示四舍五入运算，np表示容许偏差的像素数。

2)统计ΔD_pq中归一化距离相等的数量，并取出数量最多的归一化距离所对应的匹配点对，作为匹配正确的匹配点对，生成正确匹配点集。如果得到的匹配点对数量低于2个，则表明匹配失败。反之，表明匹配成功，进入步骤S5。

3)对于匹配失败的点集，采用基于限定区域的灰度匹配方法找到样本图块的匹配图块，其具体过程为：

从模板图像中选取一图像块，将图像块划分为多个子图像块，计算各子图像块的方差，取方差最大的图像块作为模板图像。

将样本红外图像与模板图像作差，差值最小的样本红外图像作为与模板图像最相近的匹配图块。

输出匹配图块中左上角的坐标点的位置。

S5、经过匹配后，利用绝对坐标文件对两幅图像中正确的匹配点之间的坐标差值进行校正，将前一幅图像的坐标平移到后一幅图像上。

首先，将第一张经匹配后的图像作为模板，连接第二张图像；然后，利用下一张图像的绝对坐标连接到第二张图像，同时把第一张图像的坐标传递给第二张图像，再将第二张图像的坐标传递给第三张图像。

S6、在GIS软件上基于绝对坐标文件进行批量图像的镶嵌。

本发明热红外图像的拼接方法通过图像几何校正、图像匹配和图像镶嵌，能够解决现有技术中针对可见光影像的处理方法难以对小幅面低信息量的热红外图像进行自动化校正与拼接处理的问题，解决热红外图像间的特征提取与有效匹配问题。采用本发明方法可以实现对大量小幅面热红外航拍影像的自动化校正与拼接，实现拍摄区域的大幅面影像。本发明综合运用了特征点匹配方法和灰度特征匹配方法，能够提高图像匹配的可行性和正确性。

本发明热红外图像的拼接方法能够解决以下问题：解决小幅面、低分辨率、低信息量影像的自动拼接问题；对于热红外图像存在的噪声多、噪点多、特征点少、错误匹配点存在的问题，能够解决图像间的精确匹配问题；尤其是在背景温度分布均匀的情况下，能够解决热红外影像间特征点匹配错误多的问题；能够解决单靠一种匹配方式难以达到匹配精度的难题；能够解决采用灰度特征匹配效率低的问题。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种热红外图像的拼接方法，其特征在于，它包括以下步骤：

对红外热像仪进行标定得到内方位元素，通过航空器搭载红外热像仪和定姿定位系统对地进行航测，得到红外图像序列和相应拍摄时刻的位置姿态数据；

根据内方位元素、红外图像序列和相应拍摄时刻的位置姿态数据，采用共线方程方法对红外图像序列中的各幅图像进行几何粗校正，得到校正后的值文件和绝对坐标文件；

对校正后的值文件进行图像预处理，并对预处理后的值文件进行图像拉伸，得到灰度分布相对集中和连续的区域；

采用SIFT特征点匹配方法和灰度匹配方法，对值文件中拉伸后的前后两幅图像进行图像匹配；

经过匹配后，利用两幅图像中正确的匹配点之间的绝对坐标差值对后一幅图像的绝对坐标文件进行整体的误差校正；

在GIS软件上基于绝对坐标文件进行批量图像的镶嵌。

2.如权利要求1所述的一种热红外图像的拼接方法，其特征在于，所述位置姿态数据包括经纬度坐标、航向角、俯仰角和横滚角。

3.如权利要求1所述的一种热红外图像的拼接方法，其特征在于，所述对校正后的值文件进行图像预处理包括图像增强以及噪点、坏象元和0值掩膜背景值的剔除。

4.如权利要求2所述的一种热红外图像的拼接方法，其特征在于，所述对校正后的值文件进行图像预处理包括图像增强以及噪点、坏象元和0值掩膜背景值的剔除。

5.如权利要求1或2或3或4所述的一种热红外图像的拼接方法，其特征在于，所述对预处理后的值文件进行图像拉伸，得到灰度分布相对集中和连续的区域的步骤的具体过程为：

(1)将校正后得到的值文件中的所有值统计生成灰度分布直方图；

(2)对灰度分布直方图进行二值化，设置一个5元素向量，遍历整个灰度分布直方图；

遍历过程中，当5元素向量中所有元素之和为5时，则表明该连续灰度区域均有像素点存在，记录下该连续灰度区域的起始灰度值；

(3)当遍历整个灰度直方图后，取出所记录下连续灰度区域的起始灰度值中的最大值和最小值作为图像拉伸的最大灰度和最小灰度。

6.如权利要求1或2或3或4所述的一种热红外图像的拼接方法，其特征在于，所述步骤采用SIFT特征点匹配方法和灰度匹配方法对值文件中拉伸后的前后两幅图像进行图像匹配的具体过程为：

采用SIFT特征点匹配方法，按照一定尺度找出匹配点集，采用距离偏差法剔除错误的匹配点，得到正确的匹配点；

统计两幅图像中所有匹配点对坐标偏差值与中心点坐标偏差值的归一化的坐标偏差值中归一化距离相等的数量，并取出数量最多的归一化距离所对应的匹配点对，作为匹配正确的匹配点对，生成正确匹配点集；如果得到的匹配点对数量低于2个，则表明匹配失败；反之，表明匹配成功；

对于匹配失败的点集，采用基于限定区域的灰度匹配方法找到样本图块的匹配图块。

7.如权利要求5所述的一种热红外图像的拼接方法，其特征在于，所述步骤采用SIFT特征点匹配方法和灰度匹配方法对值文件中拉伸后的前后两幅图像进行图像匹配的具体过程为：

采用SIFT特征点匹配方法，按照一定尺度找出匹配点集，采用距离偏差法剔除错误的匹配点，得到正确的匹配点；

统计两幅图像中所有匹配点对坐标偏差值与中心点坐标偏差值的归一化的坐标偏差值中归一化距离相等的数量，并取出数量最多的归一化距离所对应的匹配点对，作为匹配正确的匹配点对，生成正确匹配点集；如果得到的匹配点对数量低于2个，则表明匹配失败；反之，表明匹配成功；

对于匹配失败的点集，采用基于限定区域的灰度匹配方法找到样本图块的匹配图块。

8.如权利要求6所述的一种热红外图像的拼接方法，其特征在于，所述步骤采用基于距离偏差法的SIFT特征点匹配方法获得正确的匹配点集的具体过程为：

首先，分别计算模板图像中所有匹配点的坐标平均值和匹配图像中所有匹配点的坐标平均值，得到两幅图像中匹配点集的中心点坐标；

其次，将两幅图像中匹配点的中心点坐标相减，得到的匹配点集中心点坐标偏差值；

再次，对除以倍数后得到的结果进行判断，如果该结果小于或等于参数P，则判定模板图像和匹配图像中对应的特征点为正确的匹配点对，否则，判定为错误的匹配点对；

最后，计算两幅图像中每一对匹配点的坐标偏差值，并分别与匹配点集中心点坐标偏差值相减，再分别除以容许偏差的像素数np，四舍五入后取绝对值，最终得到的是归一化的坐标偏差值。

9.如权利要求8所述的一种热红外图像的拼接方法，其特征在于，所述容许偏差的像素数np取5～10，表示容许偏差5～10个像素的距离。

10.如权利要求6所述的一种热红外图像的拼接方法，其特征在于，所述步骤对于匹配失败的点集采用基于限定区域的灰度匹配方法找到样本图块的匹配图块的具体过程为：

从模板图像中选取一图像块，将图像块划分为多个子图像块，计算各子图像块的方差，取方差最大的图像块作为模板图像；

将样本红外图像与模板图像作差，差值最小的样本红外图像作为与模板图像最相近的匹配图块；

输出匹配图块中左上角的坐标点的位置。