CN104504748A - 一种无人机倾斜摄影红外三维成像系统及建模方法 - Google Patents

Abstract

本发明公开了一种无人机倾斜摄影红外三维成像系统及建模方法，包括：红外载荷单元、机载图传单元、POS单元、地面管理单元和三维建模处理单元；红外载荷单元，用于对地物进行成像,并将图像发送至机载图传单元；POS单元，用于测量该系统的位置和姿态信息；机载图传单元，用于接收红外载荷单元发送的图像以及POS单元测量的位置和姿态信息并发送至地面管理单元；三维建模处理单元，用于根据地面管理单元接收的图像和POS系统的位置和姿态信息，建立三维模型。该系统通过获取待测目标的红外图像以及对该图像进行三维建模，以供技术人员根据该三维模型进行准确的定位和科学决策。

Description

一种无人机倾斜摄影红外三维成像系统及建模方法

技术领域

本发明涉及测绘技术领域，具体涉及一种无人机倾斜摄影红外三维成像系统及建模方法。

背景技术

倾斜摄影技术是国际测绘领域近些年发展的一项高新技术，与以往垂直角度拍摄不同，倾斜摄影在同一个航飞平台上搭载多个传感器，同时从一个垂直，四个倾斜角度采集影像。通过三维建模技术将多角度倾斜影像和垂直影像构建成地物场景的三维模型，将用户引入了符合人眼视觉的直观真实场景。

目前大部分都采用可见光相机成像，并对成像后的结果进行分析，获取三维模型。而基于该成像技术，对物体的温度变化，对检测火灾火源，可疑目标侦查追踪等都不能做出准确的预测；对于动物夜间迁徙监测，地震中人员搜救，夜间侦查等情景下不容易发现目标以及夜间无法侦查等，上述情景下，通过追踪可见光技术均不能使得技术人员根据图像对待测目标进行分析。

发明内容

针对现有技术中的缺陷，本发明提供了一种无人机倾斜摄影红外三维成像系统及建模方法，通过获取待测目标的红外图像以及对该图像进行三维建模，以供技术人员根据该红外三维模型进行准确的定位和科学决策。

第一方面，本发明提供一种无人机倾斜摄影红外三维成像系统，包括：红外载荷单元、机载图传单元、POS单元、地面管理单元和三维建模处理单元；

所述红外载荷单元和所述POS单元均与所述机载图传单元相连，所述机载图传单元与所述地面管理单元相连，所述地面管理单元与所述三维建模处理单元相连；

所述红外载荷单元，用于对地物进行成像，并将图像发送至所述机载图传单元；

所述POS单元，用于测量该系统的位置和姿态信息；

所述机载图传单元，用于接收所述红外载荷单元发送的图像，并将接收的图像以及所述POS单元测量的位置和姿态信息发送至地面管理单元；

所述地面管理单元，用于接收所述机载图传单元发送的图像和POS系统的位置和姿态信息；

所述三维建模处理单元，用于根据所述地面管理单元接收的图像和POS系统的位置和姿态信息，建立三维模型。

可选的，所述红外载荷单元包括红外相机。

可选的，所述红外相机为5个，所述5个红外相机呈马耳他十字形布局排列。

可选的，所述红外相机为中波红外相机或者长波红外相机。

可选的，所述红外相机为制冷型或非制冷型相机。

可选的，所述系统还包括：航飞单元和航空云台单元；

所述航飞单元与所述航空云台单元连接；

所述航飞单元，用于搭载所述航空云台单元按照预设的路线飞行。

可选的，所述航空云台单元与所述红外载荷单元、机载图传单元、POS单元相连。

可选的，所述POS单元包括GPS模块和IMU模块；

所述GPS模块，用于测量该系统的准确位置信息，所述IMU模块，用于测量该系统的所在位置的三维姿态信息。

可选的，所述地面管理单元包括地面接收模块、地面数据恢复模块和地面存储模块；

所述地面接收模块，用于接收机载图传单元发出的电磁波信号；

所述地面数据恢复模块，用于将所述地面接收模块接收的电磁波信号恢复为图像数据；

所述地面存储模块，用于存储所述地面数据恢复模块的图像数据。

第二方面，本发明还提供了无人机倾斜摄影红外三维成像系统的建模方法，包括：

获取所述地面管理单元的多个图像数据；

对所述多个图像数据进行处理；

提取处理后的多个图像的特征点，根据所述特征点，将不同图像上的特征点进行匹配，根据匹配结果获取三维模型。

由上述技术方案可知，本发明提供的一种无人机倾斜摄影红外三维成像系统及建模方法，该系统通过红外相机进行成像，解决了可见光对物体的温度变化，对检测火灾火源，可疑目标侦查追踪等都不能做出准确的预测；对于动物夜间迁徙监测，地震中人员搜救，夜间侦查等情景下不容易发现目标以及夜间无法侦查等问题，通过获取待测目标的红外图像以及对该图像进行三维建模，以供技术人员根据该三维模型进行准确的定位和科学决策。

附图说明

图1为本发明一实施例提供的无人机倾斜摄影红外三维成像系统的结构示意图；

图2为本发明一实施例提供的无人机倾斜摄影红外三维成像系统的方法流程图；

图3为本发明另一实施例提供的无人机倾斜摄影红外三维成像系统的方法流程图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本发明实施例提供的一种无人机倾斜摄影红外三维成像系统，包括：红外载荷单元1、机载图传单元2、POS单元3、地面管理单元4和三维建模处理单元5；

所述红外载荷单元和所述POS单元均与所述机载图传单元相连，所述机载图传单元与所述地面管理单元相连，所述地面管理单元与所述三维建模处理单元相连；

所述红外载荷单元，用于对地物进行成像，并将图像发送至所述机载图传单元；

所述POS单元，用于测量该系统的位置和姿态信息；

所述机载图传单元，用于接收所述红外载荷单元发送的图像，并将接收的图像以及所述POS单元测量的位置和姿态信息发送至地面管理单元；

所述地面管理单元，用于接收所述机载图传单元发送的图像和POS系统的位置和姿态信息；

所述三维建模处理单元，用于根据所述地面管理单元接收的图像和POS系统的位置和姿态信息，建立三维模型。

上述系统通过红外相机进行成像，解决了可见光对物体的温度变化，对检测火灾火源，可疑目标侦查追踪等都不能做出准确的预测；对于动物夜间迁徙监测，地震中人员搜救，夜间侦查等情景下不容易发现目标以及夜间无法侦查等问题，通过获取待测目标的图像以及对该图像进行三维建模，以供技术人员根据该三维模型进行准确的定位和科学决策。

为了进一步说明本发明的上述系统，通过下面具体的实施例进行说明。

上述红外载荷单元包括红外相机，且红外相机的数量为5个，所述5个红外相机呈马耳他十字形布局排列。在具体实施过程中，1台红外相机垂直拍摄影像，另外4台红外相机呈固定角度对地物进行倾斜摄影。具体的，也可以在航飞过程中对地物场景进行多角度成像。

举例来说，单机幅面为640*512，像元大小为20u，焦距为100mm或80mm，倾斜角度为40°-45°。

具体的，所述红外相机为中波红外相机或者长波红外相机；所述红外相机为制冷型或非制冷型相机。

在具体应用中，上述系统还包括：航飞单元6和航空云台单元7；

所述航飞单元6与所述航空云台单元7连接；

所述航飞单元，用于搭载所述航空云台单元按照预设的路线飞行。

举例来说，航飞单元6由飞机机体61、飞控模块62、数据链模块63、发射回收模块64、动力模块62组成，其中的飞机机体61为无人机的机械主体部分，飞控模块62为无人机的管理与控制系统，用于控制航飞的稳定性，其中的数据链模块63用于确保遥控指令的传达，保证无人机接收，发送信息的实时性与可靠性，以保证信息反馈的有效完成，发射回收模块64用于保证无人机顺利升空以达到安全的高度和速度飞行，并在执行完任务后安全回落到地面，其中的动力模块62用于为飞机机体提供动力，并为配套的飞控模块，数据链模块提供电源。

所述航空云台单元7与所述红外载荷单元、机载图传单元、POS单元相连。所述POS单元3包括GPS模块31和IMU模块32；

所述GPS模块，用于测量该系统的准确位置信息，所述IMU模块，用于测量该系统的所在位置的三维姿态信息。

上述机载图传单元2，由信道复用模块21，机载发射电台22，机载天线23组成，其中的信道复用系统21用于将5台红外相机的图像数据复用为单通道数据，其中的机载发射电台22用于将图像数据和POS单元3的姿态和位置与姿态数据以电磁波的形式通过机载天线23发射出去。

所述地面管理单元4包括地面接收模块41、地面数据恢复模块42和地面存储模块43；

所述地面接收模块，用于接收机载图传单元发出的电磁波信号。

所述地面数据恢复模块，用于将所述地面接收模块接收的电磁波信号恢复为图像数据；

所述地面存储模块，用于存储所述地面数据恢复模块的图像数据。

图2示出了无人机倾斜摄影红外三维成像系统的建模方法，其特征在于，如图2所示，该方法包括如下步骤：

201、获取所述地面管理单元的多个图像数据；

202、对所述多个图像数据进行处理；

203、提取处理后的多个图像的特征点，根据所述特征点，将不同图像上的特征点进行匹配，根据匹配结果获取三维模型。

具体的，上述系统由于采用红外相机，因红外相机影像图片的特性，在三维建模时，首先需要对红外影像进行去噪和灰度增强等处理。

上述的红外影像具体的包括以下特点：太阳辐射因素对红外成像具有一定影响；红外图像的整体灰度分布低且较集中；红外图像的信噪比较低；红外图像的对比度较低；红外传感器得到的相邻两帧图像间的差别较大。

如图3所示，基于上述红外图像的特点，上述步骤202具体包括：

2021、小波变换去噪：

假设噪声为乘性噪声，I(x,y)＝R(x,y)*F(x,y)，I(x,y)是图像的观察值(含噪信号)，R(x,y)是图像的真实值(原始信号)，F(x,y)为图像噪声，对图像进行对数变换变为加性噪声： 小波变换，得到HL、LH、HH三个高频图像，Delta为一级小波分解得到的各高频图像方差，取阈值为T＝3*Delta。对三个HL、LH、HH三个高频图像按照8邻域进行遍历，若其像素绝对值大于或等于T，归为修正区；反之，则归为抑制区。归为抑制区的像素，其值要乘以一衰减因子a2，其中0≤a2≤1。归为修正区的像素首先需要判断其是边缘信息还是噪声引起的，在该点的8邻域内选取判断区，如果判断区内至少有一个以上的修正区内的像素存在，则该点是边缘信息，像素值保持不变；否则认为是噪声引起的，像素值舍掉(即等于0)。

图像重构，小波反变换。

2022、直方图均衡化红外图像增强：

列出原始图像灰度级f_j

统计各灰度级的像素数目n_j

计算原始图像直方图p(f_j)＝n_j/n

计算累计分布函数

灰度级映射：g_i＝INT{(L-1)c(f)＝0.5}

INT为取整，L为灰度级，

上述步骤203具体包括如下步骤：

2031、SURF算法提取特征点

SURF算法为计算待选特征点和尺度σ范围内Hessian矩阵，如果Hessian矩阵值最大，则点为特征点。

在尺度σ的Hessian矩阵H(X，σ)定义为：

$H(X,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(X,\mathrm{\σ})& L_{\mathrm{xy}}(X,\mathrm{\σ})\\ L_{\mathrm{xy}}(X,\mathrm{\σ})& L_{\mathrm{yy}}(X,\mathrm{\σ})\end{array}\right]$

式中：L_xx(X,σ)为高斯二阶导数与图像I在点X处的卷积，L_xy(X,σ)，L_yy(X,σ)以此类推。

2032、随机抽样一致性算法RANSAC匹配

如果用X和Y表示一幅图像中任意一个特征点的位置坐标,x和y表示另一幅图像中任意一个特征点的位置坐标,L表示这两幅图像之间的尺度变换,θ表示旋转变换,a和b表示平移变换。那么计算全局运动参数可以用相似变换表示如下：

$\left[\frac{X}{Y}\right]=L\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\frac{x}{y}\right]+\left[\frac{a}{b}\right]$

在两幅图像的特征点中选出一对相似三角形，利用它们的顶点信息根据上述方程得到三个齐次方程，组成一个方程组，计算出运动参数L，θ,a,b

利用参数L，θ,a,b把每个三角形附近区域中所有的点变换到另一幅图像上，如果两幅图像上的一对点互为变换后的对应点。那么它们就是改变换确定的一对对应点。若对应点的个数占据全部点个数的比例达到一定的阈值(人工选定)，那就认为这组变换关系是可以接受的。

利用经该变换确定的所有对应点即内点以最小二乘方法重新求解运动参数。

若对应点比例不能达到要求，则重新选择一组近似三角形，再去计算它们所对应的运动参数。如果对于每一组(在实际实现中，指选取的次数大于选定的阈值，而不是选取所有的三角形)相似三角形求出的运动参数，对应点的比例都打不到设定的阈值，那么这两幅图像不存在匹配关系。

2033、空三加密；

2034、模型生成；

2035、纹理映射；

2036、模型修改与纹理贴图。

具体的，上述步骤2033至步骤2036与可见光相机三维建模的过程一致，因此，本发明不在此进行详细说明。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种无人机倾斜摄影红外三维成像系统，其特征在于，包括：红外载荷单元、机载图传单元、POS单元、地面管理单元和三维建模处理单元；

所述红外载荷单元和所述POS单元均与所述机载图传单元相连，所述机载图传单元与所述地面管理单元相连，所述地面管理单元与所述三维建模处理单元相连；

所述红外载荷单元，用于对地物进行成像，并将图像发送至所述机载图传单元；

所述POS单元，用于测量该系统的位置和姿态信息；

所述机载图传单元，用于接收所述红外载荷单元发送的图像，并将接收的图像以及所述POS单元测量的位置和姿态信息发送至地面管理单元；

所述地面管理单元，用于接收所述机载图传单元发送的图像和POS系统的位置和姿态信息；

所述三维建模处理单元，用于根据所述地面管理单元接收的图像和POS系统的位置和姿态信息，建立三维模型。

2.根据权利要求1所述的系统，其特征在于，所述红外载荷单元包括红外相机。

3.根据权利要求2所述的系统，其特征在于，所述红外相机为5个，所述5个红外相机呈马耳他十字形布局排列。

4.根据权利要求2或3所述的系统，其特征在于，所述红外相机为中波红外相机或者长波红外相机。

5.根据权利要求4所述的系统，其特征在于，所述红外相机为制冷型或非制冷型相机。

6.根据权利要求1所述的系统，其特征在于，所述系统还包括：航飞单元和航空云台单元；

所述航飞单元与所述航空云台单元连接；

所述航飞单元，用于搭载所述航空云台单元按照预设的路线飞行。

7.根据权利要求6所述的系统，其特征在于，所述航空云台单元与所述红外载荷单元、机载图传单元、POS单元相连。

8.根据权利要求7所述的系统，其特征在于，所述POS单元包括GPS模块和IMU模块；

所述GPS模块，用于测量该系统的准确位置信息，所述IMU模块，用于测量该系统的所在位置的三维姿态信息。

9.根据权利要求8所述的系统，其特征在于，所述地面管理单元包括地面接收模块、地面数据恢复模块和地面存储模块；

所述地面接收模块，用于接收机载图传单元发出的电磁波信号；

所述地面数据恢复模块，用于将所述地面接收模块接收的电磁波信号恢复为图像数据；

所述地面存储模块，用于存储所述地面数据恢复模块的图像数据。

10.根据权利要求1至9中任一项所述的无人机倾斜摄影红外三维成像系统的建模方法，其特征在于，包括：

获取所述地面管理单元的多个图像数据；

对所述多个图像数据进行处理；

提取处理后的多个图像的特征点，根据所述特征点，将不同图像上的特征点进行匹配，根据匹配结果获取三维模型。