CN111461986B - 一种无人机夜间实时二维图像拼接方法 - Google Patents

Abstract

本发明公开了一种无人机夜间实时二维图像拼接方法，包括如下步骤：S1、无人机自动规划生成多条航线并起飞；S2、在每一条航线中，对热成像视频流抽帧，并进行实时匹配、拼接、融合，生成条带图；S3、然后在相邻航线中，对两个条带图进行匹配、拼接、融合，生成大图；S4、在任务结束后，将拼接后的正射态势图像叠加到卫星地图，本发明采用无人机搭载热成像相机，能够在能见度低的状况下清晰成图，并实时进行图像拼接，快速生成正射态势图像，实现了无人机在夜间情况下对于火场等灾区的实时、可靠态势感知，提高了救援效率。

Description

一种无人机夜间实时二维图像拼接方法

技术领域

本发明属于图像拼接技术领域，具体涉及一种对于无人机热成像航拍图像的实时拼接方法。

背景技术

无人驾驶飞机简称“无人机”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。从20世纪初飞机的诞生起，由于考虑到驾驶飞机的安全性，当时的人们就已经提出了无人驾驶飞机的想法。直至20世纪30年代，英国费雷尔公司将一架“女王”双固定翼飞机改造成无人靶机，开启了无人机进入航空史的序幕。随着无人机技术逐渐成熟，制造成本和进入门槛降低，消费级无人机市场已经爆发，而民用无人机市场处于爆发前夜。无人机无驾驶舱，但安装有自动驾驶仪、程序控制装置等设备。近几年来，随着无人机行业飞速发展，无人机也越来越多应用于林业、消防等领域。

在夜间的现场救援时，消防员需要快速得知大面积的火场态势信息。普通无人机搭载的相机在夜间拍摄的图像不清晰，不能能够在能见度低的状况下清晰成图，不利于提高救援效率。

发明内容

本发明的目的在于提供一种无人机夜间实时二维图像拼接方法，以解决上述背景技术中提出现有无人机拍摄图像在夜间不清晰的问题。

为实现上述目的，本发明采用了如下技术方案：

一种无人机夜间实时二维图像拼接方法，包括如下步骤：

S1、无人机自动规划生成多条航线并起飞；

S2、在每一条航线中，对热成像视频流抽帧，并进行实时匹配、拼接、融合，生成条带图；

S3、然后在相邻航线中，对两个条带图进行匹配、拼接、融合，生成大图；

S4、在任务结束后，将拼接后的正射态势图像叠加到卫星地图。

优选的，在S2中，采用了针对特征稀缺的热成像图像的拼接技术，实现了正射态势图的生成。

优选的，采用针对特征稀缺的热成像图像拼接技术、生成正射态势图的方法包括：

在每一条航线中，对相邻图像进行匹配、拼接、融合，生成条带图；

在相邻航线中，对两个条带图进行匹配、拼接、融合，生成大图。

优选的，在每一条航线中，对相邻图像进行匹配、拼接、融合，生成条带图的方法包括：

采用多个块特征，进行两帧图像的匹配；并采用去噪方法去除误匹配，计算单应矩阵；

根据单应矩阵进行拼接，并对接缝附近的图像进行融合。

优选的，采用多个块特征，进行两帧图像的匹配；并采用去噪方法去除误匹配，计算单应矩阵的方法包括：

在前帧图像中，与后帧图像的重叠区域，提取固定排列、n个固定数量的特征块。选取两排特征块，每排特征块数量为15个，同一排的特征块间隔为32像素；两个排的间隔为128。每个特征块的像素大小为32*64，作为模板集和/>

采用归一化相关系数匹配法，对于第一排模板，分别将模板与后帧图像匹配，并在后帧图像中，得到匹配中心点的坐标集C₁₁～C_1n；

对坐标集C₁₁～C_1n，进行RANSAC算法拟合直线，去除野点，得到直线方程L₁，并保留i个内点C₁₁～C_1i；

优选的，计算单应矩阵的方法还包括：同样的方法，对于第二排模板，计算直线方程L₂，并保留j个内点C₂₁～C_2j；

在C₁₁～C_1i中，与模板中匹配对的中心点坐标分别进行x坐标差的计算，得到x坐标差的集合X₁₁～X_1i，并采用k均值聚类法去除野值，得到真正的匹配坐标集C₁₁～C_1i；

同样的方法，对于第二排C_1k模板，得到真正的匹配坐标集C₂₁～C_2l；

在后帧图像中，选取四个点{C₁₁，C_1k，C₂₁，C_2l}；并在前帧图像中，选取{C₁₁，C_1k，C₂₁，C_2l}对应的匹配模板的中心点

由上述四对点，计算两帧图像之间的单应矩阵，根据单应矩阵，将后帧图像映射到前帧图像坐标系，完成拼接。

优选的，在相邻航线中，对两个条带图进行匹配、拼接、融合，生成大图的方法包括：在条带图1中的与条带图2的重叠区域，提取固定一列、n个固定数量的特征块，每个特征块的像素大小为32*64，作为模板集

采用归一化相关系数匹配法，分别将模板与条带图2匹配，并在条带图2中，得到匹配中心点的坐标集C₁～C_n；

对坐标集C₁～C_n，进行RANSAC算法拟合直线，去除野点，得到直线方程L₁，并保留m个内点C₁～C_m；

根据坐标集C₁～C_m和直线方程L₁，由L₁斜率计算条带图2相对于条带图1的旋转，由匹配点对的坐标集和L₁斜率计算得到平移参数；

根据旋转、平移参数，将条带图2与条带图1进行拼接，并对接缝附近的图像进行融合。

优选的，生成大图的方法还包括：对坐标集C₁～C_n，进行RANSAC算法拟合直线，去除野点，得到直线方程L₁，并保留m个内点C₁～C_m；

根据坐标集C₁～C_m和直线方程L₁，由L₁斜率计算条带图2相对于条带图1的旋转、由匹配点对的坐标集和L₁斜率计算得到平移参数；

根据旋转、平移参数，将条带图2与条带图1进行拼接，并对接缝附近的图像进行融合。

本发明的技术效果和优点：本发明提出的一种无人机夜间实时二维图像拼接方法，与现有技术相比，具有以下优点：

1、采用无人机搭载热成像相机，能够在能见度低的状况下清晰成图，并实时进行图像拼接，快速生成正射态势图像，实现了无人机在夜间情况下对于火场等灾区的实时、可靠态势感知，提高了救援效率；

2、地面站端实时处理图像、实时拼接生成正射态势图像。在图像拼接过程中，针对特征稀缺的热成像图像，采用了多特征块的匹配算法，并经过了多种措施滤波去噪，得到可靠的匹配对，使得对于热成像图像有较好的匹配效果。

附图说明

图1为本发明模板集示意图；

图2为本发明匹配集示意图；

图3为本发明匹配集去噪结果示意图；

图4为本发明拼接效果示意图；

图5为本发明融合效果示意图；

图6为本发明条带图效果示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本发明利用图像拼接技术，利用无人机搭载的热成像相机，实时进行图像拼接，快速生成正射态势图像。

请参阅图1-图6所示，本发明提供了一种无人机夜间实时二维图像拼接方法，包括步骤：

首先，对于待观测区域，通过地面站自动规划航线；

其次，在航线飞行过程中，对相邻图像进行拼接。采用多特征块匹配算法实现匹配：

在前帧图像，生成两排模板集。以其中一排为例，对每个模板框用不同亮度值标注出，见图1；

对每一排模板集，在后帧图像中进行匹配，得到匹配集，见图2；

对匹配集进行基于RANSAC和k均值聚类方法的去噪，得到可靠的匹配集，见图3

根据匹配集，由四对点计算单应矩阵，并进行图像拼接，见图4；

基于羽化方法进行融合，见图5；

在航线拐角处，为了避免飞机转弯时pos数据和图像的不完全同步造成的误差，也是为了有足够的时间进行两个条带的拼接，因此在拐角的航线上不进行拼接。每条航线飞行完毕后，生成条带图，见图6；

再次，在拐角航线中，使用多特征块匹配算法，对条带进行拼接；

最后，当任务完毕后，生成正射态势图并叠加到卫星地图。

上述计算中，采用多个块特征，进行两帧图像的匹配；并采用去噪方法去除误匹配，计算单应矩阵的方法包括：

在前帧图像中，与后帧图像的重叠区域，提取固定排列、n个固定数量的特征块。选取两排特征块，每排特征块数量为15个，同一排的特征块间隔为32像素；两个排的间隔为128像素。每个特征块的像素大小为32*64，作为模板集和/>

采用归一化相关系数匹配法，对于第一排模板，分别将模板与后帧图像匹配，并在后帧图像中，得到匹配中心点的坐标集C₁₁～C_1n；对坐标集C₁₁～C_1n，进行RANSAC算法拟合直线，去除野点，得到直线方程L₁，并保留i个内点C₁₁～C_1i；

同样的方法，对于第二排模板，计算直线方程L₂，并保留j个内点C₂₁～C_2j；在C₁₁～C_1i中，与模板中匹配对的中心点坐标分别进行x坐标差的计算，得到x坐标差的集合X₁₁～X_1i，并采用k均值聚类法去除野值，得到真正的匹配坐标集C₁₁～C_1i；

同样的方法，对于第二排C_1k模板，得到真正的匹配坐标集C₂₁～C_2l；在后帧图像中，选取四个点{C₁₁，C_1k，C₂₁，C_2l}；并在前帧图像中，选取{C₁₁，C_1k，C₂₁，C_2l}对应的匹配模板的中心点

由上述四对点，计算两帧图像之间的单应矩阵，根据单应矩阵，将后帧图像映射到前帧图像坐标系，完成拼接。

在相邻航线中，对两个条带图进行匹配、拼接、融合，生成大图的方法包括：

在条带图1中的与条带图2的重叠区域，提取固定一列、n个固定数量的特征块，每个特征块的像素大小为32*64，作为模板集采用归一化相关系数匹配法，分别将模板/>与条带图2匹配，并在条带图2中，得到匹配中心点的坐标集C₁～C_n；对坐标集C₁～C_n，进行RANSAC算法拟合直线，去除野点，得到直线方程L₁，并保留m个内点C₁～C_m；根据坐标集C₁～C_m和直线方程L₁，由L₁斜率计算条带图2相对于条带图1的旋转，由匹配点对的坐标集和L₁斜率计算得到平移参数；根据旋转、平移参数，将条带图2与条带图1进行拼接，并对接缝附近的图像进行融合；

对坐标集C₁～C_n，进行RANSAC算法拟合直线，去除野点，得到直线方程L₁，并保留m个内点C₁～C_m；根据坐标集C₁～C_m和直线方程L₁，由L₁斜率计算条带图2相对于条带图1的旋转、由匹配点对的坐标集和L₁斜率计算得到平移参数；根据旋转、平移参数，将条带图2与条带图1进行拼接，并对接缝附近的图像进行融合。

方法原理：对于夜间可见光相机失效情况下，采用热成像相机进行大范围区域的航拍图像拼接。起飞之前仅需通过简单的鼠标操作，在地面站的地图上拖动待测区域的多边形顶点，即可自动生成航线；飞行过程中，云台保持垂直向下，通过数据链路将图像、pos信息实时传输给地面站；同时，地面站端实时处理图像、实时拼接生成正射态势图像。在图像拼接过程中，针对特征稀缺的热成像图像，采用了多特征块的匹配算法，并经过了多种措施滤波去噪，得到可靠的匹配对，使得对于热成像图像有较好的匹配效果。在飞行完毕后，立即生成正射大图。本发明实现了无人机在夜间情况下对于火场等灾区的实时、可靠态势感知，提高了救援效率。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种无人机夜间实时二维图像拼接方法，其特征在于，包括如下步骤：

S1、无人机自动规划生成多条航线并起飞；

S2、在每一条航线中，对热成像视频流抽帧，并进行实时匹配、拼接、融合，生成条带图；

其中步骤S2包括：采用多个特征块进行两帧图像的匹配，在前帧图像与后帧图像的重叠区域，提取n个固定排列且固定数量的特征块，具体为：选取两排特征块，每排特征块数量为15个，同一排的特征块间隔为32像素；两个排的间隔为128，每个特征块的像素大小为32*64，作为模板集和/>

采用归一化相关系数匹配法，对于第一排模板将模板与后帧图像进行匹配，并在后帧图像中，得到匹配中心点的坐标集C₁₁～C_1n；

对坐标集C₁₁～C_1n进行RANSAC算法拟合直线，去除野点得到直线L₁的方程，并保留i个内点C₁₁～C_1i；

在C₁₁～C_1i中与模板中匹配对的中心点坐标进行x坐标差的计算，得到x坐标差的集合X₁₁～X_1i，并采用k均值聚类法去除野值得到匹配坐标集C₁₁～C_1i；

同样采用归一化相关系数匹配法，对于第二排模板将模板与后帧图像进行匹配，并在后帧图像中得到匹配中心点的坐标集C₂₁～C_2n；

对坐标集C₂₁～C_2n进行RANSAC算法拟合直线，去除野点得到直线L₂的方程，并保留j个内点C₂₁～C_2j；

在C₂₁～C_2j中与模板中匹配对的中心点坐标进行x坐标差的计算，得到x坐标差的集合X₂₁～X_2j，并采用k均值聚类法去除野值得到匹配坐标集C₂₁～C_2l；

在后帧图像中选取四个点{C₁₁，C_1k，C₂₁，C_2l}，并在前帧图像中选取与{C₁₁，C_1k，C₂₁，C_2l}对应的匹配模板的中心点

由上述中心点计算两帧图像之间的单应矩阵，根据单应矩阵将后帧图像映射到前帧图像坐标系完成拼接，生成正射态势图像；

然后对接缝附近的图像进行融合，生成条带图；

S3、然后在相邻航线中，对两个条带图进行匹配、拼接、融合，生成大图；

S4、在任务结束后，将拼接后的正射态势图像叠加到卫星地图。

2.根据权利要求1所述的一种无人机夜间实时二维图像拼接方法，其特征在于步骤S3包括：在条带图1与条带图2的重叠区域，提取n个固定排列且固定数量的特征块，每个特征块的像素大小为32*64，作为模板集

采用归一化相关系数匹配法将模板与条带图2匹配，在条带图2中得到匹配中心点的坐标集C₁～C_n；

对坐标集C₁～C_n进行RANSAC算法拟合直线，去除野点得到直线L₁的方程，并保留m个内点C₁～C_m；

根据坐标集C₁～C_m和直线L₁的方程，由直线L₁的斜率计算条带图2相对于条带图1的旋转，由匹配点对的坐标集和直线L₁的斜率计算得到平移参数；

根据旋转和平移参数，将条带图2与条带图1进行拼接，并对接缝附近的图像进行融合，生成大图。