CN112330747B - 基于无人机平台的多传感器联合探测和显示方法 - Google Patents

Abstract

本发明公开了一种基于无人机平台的多传感器联合探测和显示方法，其利用双目相机模块、红外热成像仪模块、信息融合处理模块、增强现实呈现模块来实现，其中双目可见光相机模块和红外热成像仪模块均挂载于无人机平台上，双目相机模块包括分别放置于左侧和右侧的两个单目相机模块，利用双目相机模块感知环境的可见光信息，利用红外热成像仪模块感知环境的红外信息，利用信息综合处理模块完成双目相机模块和红外热成像仪模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示。本发明能更有效检测和定位目标，对于复杂环境下的目标探测具有很大优势，可广泛应用于灾区搜救、军事侦察等。

Description

基于无人机平台的多传感器联合探测和显示方法

技术领域

本发明涉及视觉成像、热成像、多源信息融合、增强现实领域，尤其涉及一种基于无人机平台的多传感器联合探测和显示方法。

背景技术

无人机已在军事和民用上发挥越来越重要的作用。随着无人机性能的发展，搭载多传感器实现多源探测逐渐成为一种新的具有广泛潜力的应用方向。

对于满足复杂环境下探测能力的传感器，考虑到体积、重量、耗能等方面的因素，比较适合无人机搭载的载荷主要为可见光相机、红外热成像、激光雷达等。可见光相机捕获可见光光谱信息，与人的视觉信息最为接近，而且可见光相机信息非常丰富，分辨率高，易于判读。可见光图像的不足之处在于其处理复杂度较高，目标识别、目标距离等信息也不能直接获取，需要较为复杂的计算。红外热成像运用光电技术检测物体热辐射的红外线特定波段信号，将该信号转换成可供人类视觉分辨的图像和图形，并可以进一步计算出温度值。红外热成像技术使人类超越了视觉障碍，由此人们可以“看到”物体表面的温度分布状况。红外热成像特别有助于地表面的活体探测，其缺点在于分辨率较低，对于活体的真伪、属性也需要进一步判证。因此，融合可见光及热红外成像信息，既可以快速检测得到活体目标(甚至是隐藏的)，又可以进行同步判证，可大幅提升环境探测的效率和准确性。

增强现实是一种新兴的、具有颠覆性的人机交互方式。它可以将多种不同信息进行有效叠加、融合，达到虚实结合的效果，从而大大增强人的认知能力。增强现实目前主要有光学式和视频式两者方式。增强现实的一个重要技术基础就是三维注册(3Dregistration)。在本发明中，我们拟引入视频式增强现实技术对探测信息进行融合，将更多维度、更直观的信息进行展示，可以提高信息认知效率、提升决策速度。

发明内容

针对无人机在复杂环境下的探测问题，特别是活体探测，本发明提出一种基于无人机平台的多传感器联合探测和显示方法，该方法利用双目相机模块、红外热成像仪模块、信息融合处理模块、增强现实呈现模块等来实现，其中双目可见光相机模块(简称双目相机模块)和红外热成像仪模块(简称红外热成像仪)均挂载于无人机平台上，双目相机模块包括分别放置于左侧和右侧的两个单目相机模块，利用双目相机模块感知环境的可见光信息，利用红外热成像仪模块感知环境的红外信息，利用信息综合处理模块完成双目相机模块和红外热成像仪模块的感知信息的融合处理，包括标定、校正、配准、目标识别等，利用增强现实融合显示模块完成感知信息的融合显示。本发明包含的详细步骤包括：

S1，双目相机模块标定，具体包括单目相机内参标定(mono cameracalibration)、双目标定(setero calibration)、双目校正(stereo rectification)。

S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；

S12，对于双目标定，采用标定板，获得双目相机模块的左右两个单目相机的位移、旋转六参数(x,y,z,

ω,κ)，其中x,y,z分别为相机的x轴、y轴和z轴的位移，

ω,κ分别为相机俯仰角、偏航角和翻滚角；

S13，双目校正。根据双目标定结果，计算右单目相机的单应映射矩阵；

S2，对红外热成像仪进行内参标定，对红外热成像仪与双目相机模块进行外参联合标定。

采用针孔成像模型(pinhole model)，对红外热成像仪进行成像建模。安装于无人机平台时，应尽可能保证红外热成像仪模块和双目相机模块的朝向一致。

S21，红外热成像仪模块的内参矩阵为K_inf，外向参数(exterior parameters)矩阵为R_inf和T_inf，其中R_inf为外向角度参数矩阵，T_inf为外向距离参数矩阵，其红外成像过程满足针孔成像模型：

x_inf＝K_infR_inf(X_obj-T_inf)，

其中，x_inf为红外成像点的二维坐标，X_obj为被成像物理点的三维坐标，两变量满足上述的针孔成像模型。

S22，将标准小热源作为标定点，并移动其位置，对红外热成像仪模块与双目相机模块进行外参联合标定。

S221，在共视空间放置标准小热源；为提高标定精度，在热源表面增加人工标记，人工标记为各类双目相机模块容易检测与识别的几何形状，如圆形或方格等；

S222，使用双目相机模块和红外热成像仪对标准小热源进行拍摄，并存储图像；

S223，移动标准小热源，重复拍摄并存储图像。该过程满足以下要求：

拍摄次数在30次以上；

每次拍摄保证标准小热源对于左右单目相机和红外热成像仪同时可见；

热源应避免在一个平面上移动，即应保证热源有深度变化；

热源距离双目相机模块和红外热成像仪的距离均应小于某一距离阈值。

S224，对于相机数据，利用标记自动检测识别方法、立体匹配方法和摄影测量前向交汇(forward intersection)方法计算目标的双目相机数据三维坐标，以左相机建立坐标系，获得所有标记的三维坐标X_obj；

S225，对于热成像数据，提取热源的图像二维坐标，获得热源的二维成像坐标x_inf；

S226，根据红外热成像仪模块的内参矩阵K_inf、外向参数(exterior parameters)矩阵R_inf和T_inf的初始值，采用非线性最小二乘方法迭代求解K_inf、R_inf和T_inf的精确值。

S3，计算红外热成像仪的旋转单应矩阵H：

S4，对于获得的红外图像和可见光相机图像，根据内参标定结果，进行标定变换。分别对可见光图像和红外图像去畸变，再采用旋转单应矩阵H对红外图像做对齐变换。

S5，采用阈值二值法提取红外图像的目标区域，所提取的目标区域记为ROI_i，其下标i表示第i个目标。

S6，提取和匹配左右单目相机图像的同名特征点。

采用FAST特征和ORB描述子，提取图像特征并进行图像匹配，利用极线约束加速匹配过程，并采用基础矩阵约束去除误匹配点，最终获得同名特征点的视差集合{λ_m}及左图特征点集合

S7，计算同名特征点的深度，利用前向交汇方法，获得特征点的三维坐标，记为X′_obj，该坐标是基于左单目相机坐标系。

S8，计算所有三维特征点在红外热成像仪的投影坐标：

x_m＝K_infR_inf(X′_obj-T_inf)，

三维特征点在红外图像的投影坐标记为{x_m}，X′_obj为特征点的三维坐标。

S9，对于落入目标区域ROI_i的特征点，将其所在区域ROI_i投影回左相机图像，具体步骤包括:

S91，设二维成像点x_i1,x_i2,…,x_ij∈ROI_i，即ROI_i包含j个特征点，其对应的三维成像点为y_i1,y_i2,…,y_ij，其中，j为特征点数目，也是三维成像点数目；

S92，若三维成像点数目j≥3，对三维成像点{y_i1,y_i2,…,y_ij}拟合二维平面，记为π_i，当利用无人机挂载成像设备进行成像时，其成像区域在三维世界的一个二维平面上；对ROI_i内的任一像素，进行如下处理：

S921，求解该像素视线，与平面π_i的交点，记为P，该像素视线是指红外成像仪模块的光心点与该像素点构成的射线；

S922，通过左相机投影方程，得到P在左相机的成像点

S923，对ROI_i内的所有像素点，重复S921和S922，由此得到ROI_i的所有像素点在左图像上的同名点，记为集合

S924，利用所有的同名点集合

构建包络；包络内所有的点构成红外成像区域ROI_i对应的可见光成像区域。

所述的利用所有的同名点集合

构建包络，是利用给定包含n个点的点集，求解包含该点集的凸包，即外接凸多边形，采用Graham扫描法求解点集凸包。

所述的Graham扫描法的具体过程包括：获得Y轴坐标最小的点，记为P₀；对其他(n-1)点按其与P₀点的夹角大小，进行逆时针排序；若夹角相等，则其他(n-1)点中与P₀点的欧式距离较小者，排序靠前，欧式距离较大的点排序靠后；检查是否有多个点的夹角相等，若存在，则保留欧式距离最大的点，移除所有其他夹角相同的点；记剩余的已排序点数为m，点集为{y_i,i＝1,2,…,m}；若m＜3,不存在凸包，求解凸包失败并返回；若m＞3，建立空栈S，将点y₁，y₂，y₃推入栈S,从栈中逐个移除与P₀点夹角方向不满足逆时针方向要求的点,结束扫描过程，获得凸包的顶点集，将顶点集中的点逐点连接，即为所求凸包。

S93，若三维成像点数目0＜j＜3，则若j＝1，假定三维成像点所在平面为水平平面；若j＝2，假定三维成像点所在平面为倾斜平面，且倾斜平面由水平平面经最小旋转变换获得。所述的最小旋转变换的具体过程为：计算由两个点构成直线l与水平平面的交点；若交点为有限点，计算直线与水平面夹角α，倾斜平面由水平平面旋转角度α获得，此时倾斜平面和水平平面的夹角亦为α；若交点为无限点，即直线l与水平平面平行，则倾斜平面即为包含直线l的水平平面；

对目标区域ROI_i内的所有像素点，再执行一次步骤S921至S923；

S94，若三维成像点数目j＝0，则采用SIFT或者Harris角点作为特征点类型，在该区域对应的可见光图像附近重新提取特征点，然后重复S91至S93步骤。若采用SIFT或者Harris角点作为特征点类型，仍无法获得该区域内的同名点，则忽略该区域。

S10，增强现实融合显示。采用增强现实技术，将红外热成像仪的目标信息、深度信息等叠加到左单目可见光相机图像上，并根据任务需求选择合适的显示界面进行增强现实显示。

本发明的有益效果为：

(1)本发明提出了一种红外热成像仪和可见光双目相机联合探测技术，该技术结合两种传感器的长处，更有效检测目标并计算目标方位，更有利于探测的认知与判证；提出了一种新的红外热成像仪和可见光双目相机的联合标定方法，本方法只需采用单个小热源，其特点在于低成本、简单快捷，同时保持了很高的标定精度。本发明提出了利用增强现实技术，将红外热成像仪和可见光相机的图像进行融合叠加呈现，有效提升系统的环境感知认知效率。

(2)本发明利用混合现实技术，实现了红外成像仪和可见光相机探测数据的高度融合，对于复杂环境下的环境感知和目标探测具有特别优势，可广泛应用于灾区搜救、军事侦察等。

附图说明

图1为本发明方法所用的光学设备结构示意图；

图2为本发明方法的处理流程图。

具体实施方式

为了更好的了解本发明内容，这里给出一个实施例。

本实施例利用双目相机模块、红外热成像仪模块、信息融合处理模块、增强现实呈现模块等来实现，其中双目可见光相机模块(简称双目相机模块)和红外热成像仪模块(简称红外热成像仪)均挂载于无人机平台上，双目相机模块包括分别放置于左侧和右侧的两个单目相机模块，利用双目相机模块感知环境的可见光信息，利用红外热成像仪模块感知环境的红外信息，利用信息综合处理模块完成双目相机模块和红外热成像仪模块的感知信息的融合处理，包括标定、校正、配准、目标识别等，利用增强现实融合显示模块完成感知信息的融合显示。图1本发明方法所用的光学设备结构示意图，图1中101为双目相机模块的左侧单目相机，102为红外热成像仪模块，103为双目相机模块的右侧单目相机。图2为本发明方法的处理流程图。本实施例包含的详细步骤如下：

S1，双目相机模块标定，具体包括单目相机内参标定(mono cameracalibration)、双目标定(setero calibration)、双目校正(stereo rectification)。

S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；

S12，对于双目标定，采用标定板，获得双目相机模块的左右两个单目相机的位移、旋转六参数(x,y,z,

ω,κ)，其中x,y,z分别为相机的x轴、y轴和z轴的位移，

ω,κ分别为相机俯仰角、偏航角和翻滚角；

S13，双目校正。根据双目标定结果，计算右单目相机的单应映射矩阵；

S2，对红外热成像仪进行内参标定，对红外热成像仪与双目相机模块进行外参联合标定。

采用针孔成像模型(pinhole model)，对红外热成像仪进行成像建模。为获得较好的探测和增强显示结果，安装于无人机平台时，应尽可能保证红外热成像仪模块和双目相机模块的朝向一致。

S21，红外热成像仪模块的内参矩阵为K_inf，外向参数(exterior parameters)矩阵为R_inf和T_inf，其中R_inf为外向角度参数矩阵，T_inf为外向距离参数矩阵，其红外成像过程满足针孔成像模型：

x_inf＝K_infR_inf(X_obj-T_inf)，

其中，x_inf为红外成像点的二维坐标，X_obj为被成像物理点的三维坐标，两者满足上述的针孔成像模型。

S22，将标准小热源作为标定点，并移动其位置，对红外热成像仪模块与双目相机模块进行外参联合标定。

红外热成像仪的成像机理依靠热源成像，因此标定过程有别于可见光相机标定，无法采用标定板的方法。联合标定的依据是双目相机模块和热成像仪模块具有足够多的已知三维位置的共视目标。

S221，在共视空间放置标准小热源；为提高标定精度，在热源表面增加人工标记，人工标记为各类双目相机模块容易检测与识别的几何形状，如圆形或方格等；

S222，使用双目相机模块和红外热成像仪对标准小热源进行拍摄，并存储图像；

S223，移动标准小热源，重复拍摄并存储图像。该过程满足以下要求：

拍摄次数在30次以上；

每次拍摄保证标准小热源对于左右单目相机和红外热成像仪同时可见；

热源应避免在一个平面上移动，即应保证热源有深度变化；

考虑到双目深度计算误差与深度二次方成正比，热源距离双目相机模块和红外热成像仪的距离均应小于某一距离阈值。

S224，对于相机数据，利用标记自动检测识别方法、立体匹配方法和摄影测量前向交汇(forward intersection)方法计算目标的双目相机数据三维坐标，以左相机建立坐标系，获得所有标记的三维坐标X_obj；

S225，对于热成像数据，提取热源的图像二维坐标，获得热源的二维成像坐标x_inf；

S226，根据红外热成像仪模块的内参矩阵K_inf、外向参数(exterior parameters)矩阵R_inf和T_inf的初始值(可通过出厂数据获取)，采用非线性最小二乘方法迭代求解K_inf、R_inf和T_inf的精确值。

至此，完成红外热成像仪模块的内参标定，以及红外热成像仪模块与双目相机模块的联合标定。

S3，计算红外热成像仪的旋转单应矩阵H：

S4，对于获得的红外图像和可见光相机图像，根据内参标定结果，进行标定变换。分别对可见光图像和红外图像去畸变，再采用旋转单应矩阵H对红外图像做对齐变换。

S5，采用阈值二值法提取红外图像的目标区域，所提取的目标区域记为ROI_i，其下标i表示第i个目标。

S6，提取和匹配左右单目相机图像的同名特征点。

采用FAST特征和ORB描述子，提取图像特征并进行图像匹配，利用极线约束加速匹配过程，并采用基础矩阵约束去除误匹配点，最终获得同名特征点的视差集合{λ_m}及左图特征点集合

S7，计算同名特征点的深度，利用前向交汇方法，获得特征点的三维坐标，记为X′_obj，该坐标是基于左单目相机坐标系。

S8，计算所有三维特征点在红外热成像仪的投影坐标：

x_m＝K_infR_inf(X′_obj-T_inf)，

三维特征点在红外图像的投影坐标记为{x_m}，X′_obj为特征点的三维坐标。

S9，对于落入目标区域ROI_i的特征点，将其所在区域ROI_i投影回左相机图像，具体步骤包括:

S91，设二维成像点x_i1,x_i2,…,x_ij∈ROI_i，即ROI_i包含j个特征点，其对应的三维成像点为y_i1,y_i2,…,y_ij，其中，j为特征点数目，也是三维成像点数目；

S92，若三维成像点数目j≥3，对三维成像点{y_i1,y_i2,…,y_ij}拟合二维平面，记为π_i，当利用无人机挂载成像设备进行成像时，其成像区域在三维世界的一个二维平面上；对ROI_i内的任一像素，进行如下处理：

S921，求解该像素视线，与平面π_i的交点，记为P，该像素视线是指红外成像仪模块的光心点与该像素点构成的射线；

S922，通过左相机投影方程，得到P在左相机的成像点

S923，对ROI_i内的所有像素点，重复S921和S922，由此得到ROI_i的所有像素点在左图像上的同名点，记为集合

S924，由于可见光图像的分辨率通常远高于红外图像，利用所有的同名点集合

构建包络；包络内所有的点构成红外成像区域ROI_i对应的可见光成像区域。

所述的利用所有的同名点集合

构建包络，是利用给定包含n个点的点集，求解包含该点集的凸包，即外接凸多边形，采用Graham扫描法求解点集凸包。

所述的Graham扫描法的具体过程包括：获得Y轴坐标最小的点，记为P₀；对其他(n-1)点按其与P₀点的夹角大小，进行逆时针排序；若夹角相等，则其他(n-1)点中与P₀点的欧式距离较小者，排序靠前，欧式距离较大的点排序靠后；检查是否有多个点的夹角相等，若存在，则保留欧式距离最大的点，移除所有其他夹角相同的点；记剩余的已排序点数为m，点集为{y_i,i＝1,2,…,m}；若m＜3,不存在凸包，求解凸包失败并返回；若m＞3，建立空栈S，将点y₁，y₂，y₃推入栈S,从栈中逐个移除与P₀点夹角方向不满足逆时针方向要求的点,结束扫描过程，获得凸包的顶点集，将顶点集中的点逐点连接，即为所求凸包。

S93，若三维成像点数目0＜j＜3，则若j＝1，假定三维成像点所在平面为水平平面；若j＝2，假定三维成像点所在平面为倾斜平面，且倾斜平面由水平平面经最小旋转变换获得。通常平面由非共线的三个点确定，故两个点确定的平面需从水平平面可经过一个自由度(degree of freedom,DOF)变换，该变换称为最小变换。所述的最小旋转变换的具体过程为：计算由两个点构成直线l与水平平面的交点；若交点为有限点，计算直线与水平面夹角α，倾斜平面由水平平面旋转角度α获得，此时倾斜平面和水平平面的夹角亦为α；若交点为无限点，即直线l与水平平面平行，则倾斜平面即为包含直线l的水平平面；

对目标区域ROI_i内的所有像素点，再执行一次步骤S921至S923；

S94，若三维成像点数目j＝0，则采用SIFT或者Harris角点作为特征点类型，在该区域对应的可见光图像附近重新提取特征点，然后重复S91至S93步骤。若采用SIFT或者Harris角点作为特征点类型，仍无法获得该区域内的同名点，则忽略该区域。

考虑到噪声等影响，S6至S9的过程需要进一步的鲁棒性处理。

S10，增强现实融合显示。采用增强现实技术，将红外热成像仪的目标信息、深度信息等叠加到左单目可见光相机图像上，并根据任务需求选择合适的显示界面进行增强现实显示。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种基于无人机平台的多传感器联合探测和显示方法，其特征在于，利用双目相机模块、红外热成像仪模块、信息融合处理模块、增强现实呈现模块来实现，其中双目可见光相机模块和红外热成像仪模块均挂载于无人机平台上，双目相机模块包括分别放置于左侧和右侧的两个单目相机模块，利用双目相机模块感知环境的可见光信息，利用红外热成像仪模块感知环境的红外信息，利用信息综合处理模块完成双目相机模块和红外热成像仪模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示，其具体步骤包括：

S1，双目相机模块标定，具体包括单目相机内参标定、双目标定、双目校正；

S2，对红外热成像仪进行内参标定，对红外热成像仪与双目相机模块进行外参联合标定；

S3，计算红外热成像仪的旋转单应矩阵H：

K_inf为红外热成像仪的内参矩阵，R_inf为外向角度参数矩阵；

S4，对于获得的红外图像和可见光相机图像，根据内参标定结果，进行标定变换；分别对可见光图像和红外图像去畸变，再采用旋转单应矩阵H对红外图像做对齐变换；

S5，采用阈值二值法提取红外图像的目标区域，所提取的目标区域记为ROI_i，其下标i表示第i个目标；

S6，提取和匹配左右单目相机图像的同名特征点；

S7，计算同名特征点的深度，利用前向交汇方法，获得特征点的三维坐标，记为X′_obj，该坐标是基于左单目相机坐标系；

S8，计算所有三维特征点在红外热成像仪的投影坐标：

x_m＝K_infR_inf(X′_obj-T_inf)，

三维特征点在红外图像的投影坐标记为{x_m}，T_inf为红外热成像仪的外向距离参数矩阵，X′_obj为特征点的三维坐标；

S9，对于落入目标区域ROI_i的特征点，将其所在区域ROI_i投影回左相机图像；

S10，增强现实融合显示；采用增强现实技术，将红外热成像仪的目标信息、深度信息叠加到左单目可见光相机图像上，并根据任务需求选择显示界面进行增强现实显示。

2.一种如权利要求1所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，所述的步骤S1，具体包括：

S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；

S12，对于双目标定，采用标定板，获得双目相机模块的左右两个单目相机的位移、旋转六参数

其中x,y,z分别为相机的x轴、y轴和z轴的位移，

分别为相机俯仰角、偏航角和翻滚角；

S13，双目校正；根据双目标定结果，计算右单目相机的单应映射矩阵。

3.一种如权利要求1所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，所述的步骤S2，具体包括：

采用针孔成像模型，对红外热成像仪进行成像建模；安装于无人机平台时，应保证红外热成像仪模块和双目相机模块的朝向一致；

S21，红外热成像仪模块的内参矩阵为K_inf，外向参数矩阵为R_inf和T_inf，其中R_inf为外向角度参数矩阵，T_inf为外向距离参数矩阵，其红外成像过程满足针孔成像模型：

x_inf＝K_infR_inf(X_obj-T_inf)，

其中，x_inf为红外成像点的二维坐标，X_obj为被成像物理点的三维坐标，两变量满足上述的针孔成像模型；

S22，将标准小热源作为标定点，并移动其位置，对红外热成像仪模块与双目相机模块进行外参联合标定；

S221，在共视空间放置标准小热源；为提高标定精度，在热源表面增加人工标记，人工标记为各类双目相机模块容易检测与识别的几何形状；

S222，使用双目相机模块和红外热成像仪对标准小热源进行拍摄，并存储图像；

S223，移动标准小热源，重复拍摄并存储图像；该过程满足以下要求：

拍摄次数在30次以上；

每次拍摄保证标准小热源对于左右单目相机和红外热成像仪同时可见；

热源应避免在一个平面上移动，即应保证热源有深度变化；

热源距离双目相机模块和红外热成像仪的距离均应小于某一距离阈值；

S224，对于相机数据，利用标记自动检测识别方法、立体匹配方法和摄影测量前向交汇方法计算目标的双目相机数据三维坐标，以左相机建立坐标系，获得所有标记的三维坐标X_obj；

S225，对于热成像数据，提取热源的图像二维坐标，获得热源的二维成像坐标x_inf；

S226，根据红外热成像仪模块的内参矩阵K_inf、外向参数矩阵R_inf和T_inf的初始值，采用非线性最小二乘方法迭代求解K_inf、R_inf和T_inf的精确值。

4.一种如权利要求1所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，所述的步骤S6，采用FAST特征和ORB描述子，提取图像特征并进行图像匹配，利用极线约束加速匹配过程，并采用基础矩阵约束去除误匹配点，最终获得同名特征点的视差集合{λ_m}及左图特征点集合

5.一种如权利要求1所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，所述的步骤S9，具体步骤包括:

S91，设二维成像点x_i1,x_i2,…,x_ij∈ROI_i，即ROI_i包含j个特征点，其对应的三维成像点为y_i1,y_i2,…,y_ij，其中，j为特征点数目，也是三维成像点数目；

S92，若三维成像点数目j≥3，对三维成像点{y_i1,y_i2,…,y_ij}拟合二维平面，记为π_i，当利用无人机挂载成像设备进行成像时，其成像区域在三维世界的一个二维平面上；对ROI_i内的任一像素，进行如下处理：

S921，求解该像素视线，与平面π_i的交点，记为P，该像素视线是指红外成像仪模块的光心点与该像素构成的射线；

S922，通过左相机投影方程，得到P在左相机的成像点

S923，对ROI_i内的所有像素点，重复S921和S922，由此得到ROI_i的所有像素点在左图像上的同名点，记为集合

S924，利用所有的同名点集合

构建包络；包络内所有的点构成红外成像目标区域ROI_i对应的可见光成像区域；

S93，若三维成像点数目0＜j＜3，则若j＝1，假定三维成像点所在平面为水平平面；若j＝2，假定三维成像点所在平面为倾斜平面，且倾斜平面由水平平面经最小旋转变换获得；

对目标区域ROI_i内的所有像素点，再执行一次步骤S921至S923；

S94，若三维成像点数目j＝0，则采用SIFT或者Harris角点作为特征点类型，在该区域对应的可见光图像附近重新提取特征点，然后重复S91至S93步骤；若采用SIFT或者Harris角点作为特征点类型，仍无法获得该区域内的同名点，则忽略该区域。

6.一种如权利要求5所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，步骤S924所述的利用所有的同名点集合

构建包络，是利用给定包含n个点的点集，求解包含该点集的凸包，即外接凸多边形，采用Graham扫描法求解点集凸包。

7.一种如权利要求6所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，所述的Graham扫描法的具体过程包括：获得Y轴坐标最小的点，记为P₀；对其他(n-1)点按其与P₀点的夹角大小，进行逆时针排序；若夹角相等，则其他(n-1)点中与P₀点的欧式距离较小者，排序靠前，欧式距离较大的点排序靠后；检查是否有多个点的夹角相等，若存在，则保留欧式距离最大的点，移除所有其他夹角相同的点；记剩余的已排序点数为m，点集为{y_i,i＝1,2,…,m}；若m＜3,不存在凸包，求解凸包失败并返回；若m＞3，建立空栈S，将点y₁，y₂，y₃推入栈S,从栈中逐个移除与P₀点夹角方向不满足逆时针方向要求的点,结束扫描过程，获得凸包的顶点集，将顶点集中的点逐点连接，即为所求凸包。

8.一种如权利要求5所述的基于无人机平台的多传感器联合探测和显示方法，其特征在于，步骤S93中所述的最小旋转变换，其具体过程为：计算由两个点构成直线l与水平平面的交点；若交点为有限点，计算直线与水平面夹角α，倾斜平面由水平平面旋转角度α获得，此时倾斜平面和水平平面的夹角亦为α；若交点为无限点，即直线l与水平平面平行，则倾斜平面即为包含直线l的水平平面。

Images