CN107589758A - 一种基于双源视频分析的智能化野外无人机搜救方法与系统 - Google Patents

Abstract

本发明提供的是一个基于双源视频分析的智能化野外无人机搜救方法及系统，包括以下过程：利用红外图像进行候选目标以及感兴趣区域ROI提取；使用改进的深度卷积神经网络目标检测框架Single‑shot Multi‑box Detector对目标区域进行光学目标检测，从而定位待搜救人员；在定位待救援人员之后可以精准投递急救物品；在飞行过程中使用LiDAR进行自主避障；基于AprilTag标志的检测进行精准自主降落。红外和光学视频分析的相互辅助可以有效克服光照、遮挡等因素，使得本发明可以全天时工作，从而保证搜救效率。

Description

一种基于双源视频分析的智能化野外无人机搜救方法与系统

技术领域

本发明属于图像处理与无人机技术领域，特别涉及无人机野外搜救关键技术，包括目标检测、自主避障以及自主定点降落。

背景技术

随着国民生活水平的提高，人们出行游玩的形式愈加多样化。随之而来的是野外救援需求的提升。野外搜救难度极大，通常来说，野外迷失人员精神和生理压力骤升，体能消耗加速，尤其是遭遇自然灾害(地震，山洪暴发、山体滑坡等)后，人体可能已经遭受损伤，因此野外搜救就是在和时间赛跑，分秒必争。但是阻碍救援因素却是不少。恶劣的天气，通讯故障，交通不便等都是致命因素。搜救行动往往牵动大量人力物力。由于传统的救援方式是地面搜索，在某些特殊环境，比如山林或者山谷，救援人员以及设备运输就会受阻，导致搜救效率就十分低下。

如果拥有一个“上帝视野”，一切都会简便很多。幸运的是，随着近几年无人机(Unmanned Ariel Vehicles,UAV))的快速发展，这已经成为可能。无人机搭载图像采集设备以及各种传感器，可以将空中的俯瞰视野实时传回地面。此外，UAV敏捷，快速，可以表现出一定的自主行为，并且可以以低操作成本执行难以由人类操作者执行的动作。这些特点使得无人机更适合应用到空中监控领域中。目前国内在灾后搜救中所用无人机大多仅图像采集的任务，无人机自主性没有得到发挥，应用场景也比较有限。现在，随着无人机制造技术的提高，微小型无人机的续航和荷载都有明显提升，如何充分利用无人机资源，发挥无人机的优越性，值得认真考虑。例如，荷载和续航的提升可以让无人机搭载更多的传感器设备甚至是计算设备而不仅仅局限于图像采集设备(一般为光学相机)，这就为无人机功能的扩展提供了极大的可能性。

发明内容

基于上述背景，本发明主要关注了野外搜救无人机设计中的一些关键技术，并通过多传感器数据融合实现无人机的一些自主行为(如自主避障，自动返航等)，同时，利用机载计算设备，结合计算机视觉中的目标检测识别技术，进行待救援人员的检测与定位。通过模块化的设计，本发明旨在充分利用无人机平台资源，大大降低操作人员误操作可能性，大幅度减少野外搜救耗时，为关键的生命救援争取时间。为达到上述目的，本发明采取了以下技术方案：

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述方法包括以下步骤：

A.依靠配套的安卓移动应用App进行必要的任务规划并反馈重要信息；

B.使用红外热成像仪获取红外图像，并获取感兴趣区域(Region of Interest,ROI)以及目标候选。

C.使用光学图像进行目标(待救援人员)检测与定位。

D.基于AprilTag检测的视觉辅助自动定点降落。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述的步骤A依靠地面端的移动设备上运行的应用App实现。具体地，其包含以下步骤：

A1.设定初始搜索点GPS坐标，按下“开始任务”虚拟按键则无人机自动起飞并飞至该GPS坐标位置，然后进行“之”字形扫描搜寻。

A2.移动设备界面实时显示无人机机载光学相机视角视野以及飞行器当前飞行高度、速度、电池电量。

A3.高亮显示感兴趣目标区域并发出“请注意”提示语。

A4.充当Socket通信中的客户端，向服务器端发送感兴趣目标区域顶点坐标以及可疑目标所处GPS坐标。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述步骤B的实现具体包括：

B1.读取热像仪当前帧图像并将其转为灰度图像；

B2将B1所得图像进行高斯平滑，并将灰度范围规范化为0～255；

B3对B2所得图像进行顶帽运算(Top Hat)；

B4对B3所得图像进行自适应阈值二值化，并根据连通域大小确定候选目标包围框。所有候选目标包围框的最小内接矩形区域即为感兴趣目标区域ROI。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述步骤C的实现具体包括：:

C1.根据坐标系之间的转换关系得到红外图像感兴趣区域ROI对应的光学图像感兴趣区域ROI。

C2.将C1所得ROI区域输入到由SSD和ResNet组合的改进型深度卷积神经网络模型，得到目标检测的结果，并给出类别标签和包围矩形框。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述的步骤E具体包括：

D1.无人机返航飞行到降落标志AprilTag大致上方位置；

D2.获取光学相机当前图像，将其灰度化之后，进行高斯平滑滤波；

D3.使用自适应阈值二值化D2所得图像，并利用OpenCV对结果图像进行AprilTag标志轮廓检测；

D4.对D3所得的所有候选轮廓，拟合出四边形，并进行透视变换，将得到的四边形区域变换为原始的正方形。

D5.对D4所得所有正方形区域，逐一进行单元块划分(划分为7X7)，并使用海明编码对中间的5X5个单元块进行编码；

D6.根据D5得到的编码，比对实际使用的AprilTag编码，如果匹配则求解出标志相对于相机的6DOF(Degree of Freedom)坐标；

D7.根据D6得到的6DOF坐标精确调整无人机姿态，使之精确降落于标志上面。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，飞行过程使用激光雷达以及超声波进行自动障碍躲避；具体包括以下步骤：

步骤1.使用激光雷达获取雷达扫描数据LaserScan；

步骤2.提供无人机里程计数据Odometry以及各个参考坐标系之间的转换关系；

步骤3.利用步骤2的数据，使用机器人操作系统(Robot Operation System,ROS)中的导航工具包(Navigation Stack)生成速度控制命令，并发送给无人机，实现主动避障：

步骤4.在飞行过程中，始终处理朝下安置的超声波模块反馈的障碍信息，并以此为依据保持无人机与下方障碍的安全距离。

一种基于双源视频分析的智能化野外无人机搜救系统，包括多旋翼无人机平台、机载云台相机、机载热成像仪、激光雷达、超声波测量单元、机载计算设备和存储器、地面工作站；所述多旋翼无人机平台包括机载惯性测量单元、GPS模块、机载控制器；所述地面工作站包括移动设备、遥控器和计算机。

该系统分为天空端和地面端两部分；天空端包含多旋翼无人机平台、自主避障模块、红外图像处理模块以及自主降落模块；地面端包含带有人机交互模块的移动设备、Socket通信模块、遥控器、以及带有光学目标检测模块的计算机；遥控器与移动设备连接，带有人机交互模块的移动设备通过Socket通信模块与带有光学目标检测模块的计算机连接。

所述多旋翼无人机平台主要完成飞行功能，为其它各个模块提供载体；

所述自主避障模块包括激光雷达、超声波测量单元、机载惯性测量单元、GPS模块和机载控制器；机载控制器作为核心控制器，处理激光雷达、超声波的数据，对无人机自身进行定位，并获取无人机周围障碍信息，避开障碍并按照路径规划算法规划的路径进行飞行；

所述红外图像处理模块包括红外热成像仪、视频采集设备以及机载计算设备；机载计算设备通过视频采集卡获取红外热成像仪视频流中的图像帧序列，并运行候选目标检测算法得到候选目标以及感兴趣区域ROI；

所述自主降落模块包括多旋翼无人机平台、云台相机以及机载计算设备；通过获取云台相机视野中的降落标志相对无人机的6DOF坐标信息，无人机将动态调整自己相对于降落平面的姿态，从而实现精准降落。

本发明所述的基于双源视频分析的智能化野外无人机搜救方法与系统，其实现过程是：首先，在配套的地面端移动应用App上规划搜索任务，包括设定初始搜索GPS位置点，飞行高度，飞行限速。然后点击“开始任务”虚拟按键。无人机将从起飞点垂直起飞至设定飞行高度，随即飞向设定的初始搜索GPS位置。飞行过程中将进行自主避障，即水平绕过障碍，如果无法水平绕过则尝试向上越过障碍。飞行到初始搜索点之后，开始进行“之”字形飞行。飞行过程中启用红外图像处理模块和光学图像处理模块以进行目标检测。在检测到目标之后，地面端移动设备将会发出报警提示音，并询问是否继续飞行。若选择结束搜索，则无人机飞回起飞点GPS位置大概上方，悬停，并使云台相机水平和上下进行运动，同时启动自主降落模块以检测降落标志。检测到降落标志之后，无人机将相应地动态调整自身姿态，慢速下降并靠近降落标志，最后平稳降落在标志上面，完成一次搜索任务。

于现有技术相比，本发明结合了野外搜救无人机设计中的一些关键技术，并通过多传感器数据融合实现无人机的一些自主行为(如自主避障，自动返航等)，同时，利用机载计算设备，结合计算机视觉中的目标检测识别技术，进行待救援人员的检测与定位。具体功能效果包括：

利用无人机平台结合红外热成像仪和光学相机实现了对搜救目标的快速定位，利用深度学习模型可以实现对双源视频流的实时处理并提取出人体目标；

无人机机载计算设备利用激光雷达以及超声波数据获取里程计数据和无人机周围的障碍信息，实现了无人机自主规划搜索路径并躲避障碍物。

无人机通过光学相机锁定地面上的固定标志AprilTag，可实现无人机高空快速锁定降落点，并进行快速垂直降落。从而实现高精度无人机定点降落，降落精度在厘米级。

通过模块化的设计，本发明充分利用了无人机平台资源，大大降低操作人员误操作可能性，大幅度减少野外搜救耗时，为关键的生命救援争取时间。

附图说明

图1为本发明实施例提供的无人机搜救系统的模块划分图。

图2为本发明实施例提供的无人机搜救系统的主要部件连接图。

图3为本发明实施例提供的无人机搜救系统配套使用的移动应用App运行界面示意图。

图4为本发明实施例提供的无人机搜救系统的热成像仪和光学相机图像坐标系示意图无人机硬件及模块示意图。

图5为本发明实施例提供的无人机搜救方法中的深度卷积神经网络目标检测框架SSD+ResNet的网络结构示意图。

图6为本发明实施例提供的无人机搜救方法中机器人操作系统ROS中导航工具包输入输出相关主题示意图。

图7为本发明实施例提供的无人机搜救系统中无人机坐标系各轴定义示意图。

图8为本发明实施例提供的无人机搜救系统中超声波避障策路示意图。

图9位本发明实施例提供的无人机搜救系统中使用到的降落标志AprilTag及其编码单元划分示意图。

图10为本发明提供的无人机搜救系统整体工作示意图。

具体实施方式

本发明提供了一种基于双源视频分析的智能化野外无人机搜救方法与系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图对本发明进一步详细说明。本发明的无人机端主要属于无人机技术领域，涉及空中机器人的基本问题，包括无人机自身定位、对飞行环境制图、避障、路径规划等。系统采用模块化开发方式，模块划分请参阅图1。图2为系统主要部件连接图。图10为系统整体工作示意图。所述方法包含以下步骤：

步骤S100、系统依靠配套的安卓移动应用APP进行必要的任务规划并反馈必要的状态信息；

步骤S200、使用红外热成像仪获取红外图像，并获取感兴趣区域(Region ofInterest,ROI)以及目标候选。

步骤S300、使用光学图像进行目标(待救援人员)检测与定位。

步骤S400、飞行过程使用激光雷达以及超声波进行自动障碍躲避。

步骤S500、基于AprilTag检测的视觉辅助自动定点降落。

在进行步骤S100之前，首先需要将地面端遥控器的USB接口与智能移动设备连接起来，并设置允许该移动应用使用USB，使用的移动设备是基于Android4.4以上版本系统的。请参阅图3，移动应用APP运行界面包含飞行器状态显示栏、实时预览窗口、任务设置栏、以及必要的虚拟按键。其中状态显示包括：飞行器当前飞行速度、高度、电池电量，任务规划包括设定初始搜索GPS点、飞行限速、飞行限高。虚拟按键包括“初始化”、“开始任务”以及“结束任务”。具体地，步骤S100包括以下：

步骤S110、设定初始搜索点GPS坐标、飞行限高、限速，依次按下“初始化”、“开始任务”虚拟按键。

则无人机打开电机，大约2s之后竖直上升至设定高度，随即水平旋转使机头朝向设定的GPS坐标位置，向该点飞去。到达该位置之后，进行“之”字形扫描搜寻。在飞行过程中，如遇到障碍将自动减速避障。

步骤S120、移动设备界面实时显示无人机机载光学相机视角视野以及飞行器当前飞行高度、速度、电池电量。

飞行器状态信息将以10Hz的频率自动刷新。其中，电池电量30％为预警阈值，电量低于30％则应用发出返航提示音。

步骤S130、系统运行时，移动应用App充当Socket通信中的客户端，向服务器端发送感兴趣目标区域顶点坐标以及可疑目标所处GPS坐标。

使用的Socket通信采用的是TCP连接。需要服务器处于启动状态，服务器由高性能笔记本电脑实现。

所述步骤S200中所获取的红外热成像图像是FLIR公司Vue Pro640红外热像仪的miniHDMI输出经过USB3.0高速HDMI视频采集卡采集而得。Vue Pro640和高速视频采集卡需要使用miniHDMI转HDMI线缆(符合HDMI1.4标准)连接。该步骤将由无人机端的机载计算设备完成，其是一个运行嵌入式Linux系统的开发板，其中搜救系统使用到的开发接口为UART串口和USB3.0接口。具体地，步骤S200包括以下：

步骤S210、读取热像仪当前帧图像并将其转为灰度图像；

步骤S220、将步骤S210、所得图像进行高斯平滑，并将灰度范围规范化为0～255；

对图像进行高斯平滑，目的是去除图像中噪声而同时保留一定的边缘信息。因为红外热像仪所得图像分辨率仅为640×512，因此采用的是3×3大小的高斯核，即

根据热成像仪工作原理，强光会给图像带来影响，具体来说是因为强光照射在空气中的水汽上，使得水汽温度上升，也会向外辐射红外线，因此会影响热成像仪的成像，在画面上表现出来就如同蒙上了一层白雾。由于通常水汽在一个较小的区域分布是均匀的，这层白雾向外所辐射的红外能量也是均匀分布的。因此，需要对图像进行均值平移处理。设图像I的长度为W，,宽度为H，P(x,y)为位置(x,y)的灰度，P'(x,y)为均值平移后(x,y)处的灰度值，则

经过零均值化之后，有些像素点的灰度值会变为负数，这是不符合图像分析要求的，通常灰度图的8bit灰度范围为0～255。因此需要进行灰度变换，同时，为了充分保留图像的细节，将每一帧红外图像的灰度都规范在0～255的范围内。这样，使得不管在什么样的光照条件下，红外图像的灰度值分布都是基本相同的，为后面的进一步处理提供了方便。经过处理之后，得到的结果为：

步骤S230、对B2所得图像进行顶帽运算(Top-hat)；

Top-hat是灰度形态学的重要应用之一。形态学运算时是由两个基本运算：腐蚀(erode)和膨胀(dilate)两个基本运算组成。其他形态学算子都是由这两种基本算子复合而成的。开运算是先腐蚀后膨胀，而闭运算是先膨胀后腐蚀。由开运算进一步复合得到的形态学Tophat算子是最具代表性的：

其中，为对原始灰度图像进行开运算的结果。Tophat算子其实就是原始灰度图像与其开运算后的图像的差值。进行Tophat运算之后，那些比结构元素小同时比周围区域亮的区域将会得到增强。背景噪声也会得到较好的抑制。考虑到在无人机飞行高度下热像仪成像中目标尺寸很小，但是比周围区域亮度大，采用Tophat算子进行预处理是合理的。

步骤S240、对B3所得图像进行自适应阈值二值化，并根据连通域大小确定候选目标包围框。所有候选目标包围框的最小内接矩形区域即为感兴趣区域ROI。

野外环境背景很复杂，因此可以利用先验知识来快速锁定可疑目标，比如在飞行高度为20m的时候，目标的红外成像大小大约为30x30个像素点，过大或者过小的亮斑都极有可能是其他物体，比如金属块等。因此通过判定连通域的面积大小，可以进一步剔除虚警。无人机搜救系统工作时，天空端的红外图像处理程序根据设置好的阈值，如果经过上述图像分析处理得到的目标框个数大于0，则无人机向地面发送报告指令，通知地面端采用光学检测手段进行光学搜索，同时将得到的目标候选框的顶点坐标发送回地面端的计算设备。考虑到实际情况，即待搜救人员如果为多个，也不会分布的很分散，因此如果有多个目标，则感兴趣区域ROI为多个目标的最小外接矩形区域。

所述步骤S300中，使用的光学图像由机载云台一体相机经高清数字图传所得，由USB3.0高清视频采集卡从遥控器的图传接收端口采集为1080P分辨率图像。光学图像处理在一台高性能笔记本电脑上进行。为了方便可视化搜救结果。系统包括一个GUI界面程序。该程序既能够实时显示光学图像处理结果，即将检测到的目标用高亮颜色矩形框框住，又充当Socket通信的服务器端以接收移动应用App传递过来的ROI顶点坐标。具体地，该步骤其包含以下：

步骤S310、根据坐标系之间的转换关系得到红外图像感兴趣区域ROI对应的光学图像感兴趣区域ROI。

本系统采用两路视频源进行图像处理。为了得到步骤S200中红外图像ROI对应的光学图像ROI，需要得到两个相机坐标系之间的转换关系，请参阅图4。θ₁为红外热像仪的视场角，θ₂为光学相机的视场角大小(以x轴为例)，d为两个成像系统轴心点的位置差。则红外相机图像坐标系中的点p_f(u_f,v_f)将通过下列变换映射到光学相机的图像坐标p_p(u_p,v_p)。先考虑共轴时(蓝色虚线与红色实线)的情况，有以下关系：

u_p＝u_p0+WIDTH_P·(u_f-u_f0)/WIDTH_F

v_p＝v_p0+HEIGHT_P·(v_f-v_f0)/HEIGHT_F

式中，WIDTH_P(WIDTH_F)和HEIGHT_P(HEIGHT_F)分别为光学(红外)图像的宽度和高度，p₀为光学相机坐标原点，p为图像上任意一点。实际上两个相机成像系统不共轴，安装位置有一个水平的偏差d(d实际为6cm)，此时上式中的u_p变为：

u_p＝u_p0+WIDTH_P·(u_f-u_f0)/WIDTH_F+d/fx

v_p不变。其中fx是光学相机成像系统中每个像素代表的实际物理尺寸长度，在飞行高度很大的时候，d/fx是一个很小的数值，由于红外图像处理的目的是提取目标候选区域，因此较小的像素偏差是可以接受的，所以也可以忽略该项。此外，系统使用的光学相机畸变很小，不加考虑。

步骤S320、将步骤S310所得ROI区域输入到由SSD和ResNet组合的改进型深度卷积神经网络模型，得到目标检测的结果，并给出类别标签和包围矩形框。

原始的SSD方法是一种高效的基于卷积神经网络的目标检测框架，其基底网络使用的是VGG16前面的预测层。VGG16模型已经被证明是一个效果较好的分类预测模型，但是其结构比较复杂，层数比较多，一个32×32的目标经过VGG后变成2×2大小，这样后面的额外层就容易丢失语义信息(只相当于简单做拼接)。因此原始SSD对于野外搜救情境下目标尺度较小的情况，检测效果不理想。考虑到残差网络ResNet在输出和输入之间引入一个捷径连接(Shortcut Connection),也即identity函数,而不是简单的堆叠网络，这样可以解决网络由于太深出现语义丢失的问题，从而可以把网络做的很深，保证检测精度。因此将原始SSD改进为使用ResNet-101结构作为其基底网络，网络结构参阅图5。

在步骤S320之前，需要对改进的网络模型进行训练。即按照VOC格式建立野外搜救目标(人)数据集。其中正样本为各种姿态、无人机视角下的目标，负样本为各种野外背景图片。

步骤S400所述的自主避障主要依靠激光雷达以及超声波测距单元完成。激光雷达采用的是Hokuyo UTM-30LX型号的激光雷达，该雷达属于2D雷达，可以获取360°水平面的激光点云数据(LaserScan)；超声波测距模块为常见型号。自主避障主要利用机器人操作系统ROS中的导航工具包(NavigationStack)实现。请参阅图6，具体地，该步骤包含以下：

步骤S410、使用激光雷达获取雷达扫描数据LaserScan；

步骤S420、提供导航工具包中必要的主题消息，包括无人机里程计数据Odometry以及各个参考坐标系之间的转换关系以及目标姿态。因为无人机需要向前飞行，所以默认目标姿态为朝前位移5米，并不断重复。

因为野外搜救场景为未知环境，所以主题消息/map(地图)可以不提供。

步骤S430、生成速度控制命令，并发送给无人机，实现主动避障；

生成的速度控制指令为50Hz的频率,包含X、Y、Z、W四个轴的运动速度，各轴的定义请参阅图7。运动速度最大不超过在步骤S100中设定的限速值。

步骤S440、在飞行过程中，始终处理朝下安置的超声波模块反馈的障碍信息，并以此为依据保持无人机与下方障碍的安全距离。

超声波的避障策略请参阅图8。由此策略，无人机系统将始终与下方障碍保持Ds～H的距离，从而保证安全飞行。

所述步骤S500使用的降落标志AprilTag请参阅图9。实际操作中，降落标志大小为可用A4大小纸张打印出来，并贴在较为平坦的地面或其他平面上。待用户点击在配套的移动应用App中的“结束任务”虚拟按键才执行该步骤。具体地，该步骤包括：

步骤S510、无人机返航飞行到降落标志AprilTag大致上方位置；

目前无人机平台基本上都支持航点飞行，即让无人机飞向指定GPS点。在无人机起飞之时，系统已经记录起飞点GPS坐标。因此在接收到结束任务指令之后，无人机将从当前点飞回至起飞点上方位置，然后执行以下步骤。

步骤S520、获取光学相机当前图像，将其灰度化之后，进行高斯平滑滤波；

步骤S530、使用局部自适应阈值二值化S520所得图像，并利用开源图像处理库OpenCV对结果图像进行AprilTag标志轮廓检测；

因为AprilTag为黑白块组成，且已经打印在白纸上，边缘信息比较丰富，因此使用局部自适应阈值法对所得图像进行二值化之后可以很容易定位标志的轮廓。其中轮廓检测主要使用OpenCV中的findContours函数完成。

步骤S540、对S530所得的所有候选轮廓，拟合出四边形，并进行透视变换，将得到的四边形区域变换为原始的正方形。并根据“四边形顶点顺序为顺时针则有向面积为负，反之为正”的规律，统一将四边形的顶点坐标以逆时针顺序存放。

步骤S540之后，需要对正方形候选区域使用大津阈值二值化，并归一化大小，比如统一缩放到100×100大小。

步骤S550、对S540所得所有正方形区域，逐一进行单元块划分(划分为7X7)，并使用海明编码对中间的5x5个单元块进行编码；

参阅图9，对于AprilTag系统，需要k＝3个校验位。校验码设为c₁,c₂,c₃，将其从左往右间插在第2ⁱ的位置，所以一个AprilTag可以编码表示为c₁c₂b₁c₃b₂。b₁,b₂为信息码。根据海明编码规则，c₁负责校验码字(包括信息码和校验码)的第1,3,5位；c₂负责校验码字的第2,3位，c₃负责校验第4,5位。若采用偶校验(即被校验的位加上自身一共有偶数个“1”)，则

c₁＝b₁⊙b₂

c₂＝b₂

c₃＝b₂

其中⊙表示异或操作。设编码结果存为bitMatrix，则得到的的bitMatrix有可能是旋转后的结果，因此还需要确定其旋转状态。具体来说，因为每一行5bit码中有两个bit的信息码，因此共有4种编码可能(每一行)。对bitMatrix的每一个旋转状态(每旋转90度为一个状态)，对bitMatrix中的每一行，寻找其与这四种可能编码的海明距离(即不同值个数)中的最小值，5个最小值之和为该旋转状态下的海明距离。可以通过求四个状态下海明距离的最小值来确定标志的旋转状态。最后，一个标志的编码，和顶点顺序都确定下来了，标志识别过程结束。

步骤S560、根据步骤S550得到的编码，比对实际使用的AprilTag编码，如果匹配则求解出标志相对于相机的6DOF(Degree of Freedom)坐标；

因为定点降落使用的AprilTag的编码是已知的，匹配成功之后说明无人机已经检测到降落标志。则需要进一步求解标志相对于无人机云台相机的位姿(Pose)。利用上述步骤S540得到的图像中标志顶点坐标(图像中心为原点)与世界坐标系中打印标志的对应顶点坐标组成的点对，使用OpenCV中solvePnP函数，可以求解相机相对于降落标志的6个自由度的偏移量,其中主要使用到X、Y、Z、W三个轴的偏移量数据。

步骤S570、根据S560得到的6DOF坐标精确调整无人机姿态，使之精确降落于标志上面。

进行步骤S570时，无人机需要设置为位置控制模式，则输入步骤S560得到的位置偏移量，无人机即可精准降落于标志上，着地后约2秒关闭电机，则一次搜救任务完成。

综上所述，本发明提供的基于双源视频分析的智能化野外无人机搜救方法及系统，由于使用了红外图像处理方法以获取初步的ROI以及候选目标，光学图像中需要处理的数据量得以大大减少，因此系统可以使用深度卷积神经网络来得到较高的检测精度而同时保证检测速度。此外，系统采用了模块化的开发方法，因此可移植性比较强。同时，本系统还包含了可视化界面程序和简洁的UI，具有易操作的特点。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或者替换都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于双源视频分析的智能化野外无人机搜救方法，其特征在于，包括以下步骤：

A.采用配套的安卓移动应用App进行任务规划并反馈信息；

B.使用红外热成像仪获取红外图像，并获取感兴趣区域ROI以及目标候选；

C.使用光学图像进行目标检测与定位；

D.基于AprilTag检测的视觉辅助自动定点降落。

2.根据权利要求1所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于，所述的步骤A依靠地面端的移动设备上运行的应用App实现；

具体地，其包含以下步骤：

A1.设定初始搜索点GPS坐标，按下“开始任务”虚拟按键则无人机自动起飞并飞至该GPS坐标位置，然后进行“之”字形扫描搜寻；

A2.移动设备界面实时显示无人机机载光学相机视角视野以及飞行器当前飞行高度、速度、电池电量；

A3.高亮显示感兴趣目标区域并发出“请注意”提示语；

A4.充当Socket通信中的客户端，向充当服务器端的地面工作端发送感兴趣目标区域顶点坐标以及可疑目标所处GPS坐标。

3.根据权利要求1所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于，所述步骤B的实现具体包括：

B1.读取热像仪当前帧图像并将其转为灰度图像；

B2.将B1所得图像进行高斯平滑，并将灰度范围规范化为0～255；

B3.对B2所得图像进行顶帽运算；

B4.对B3所得图像进行自适应阈值二值化，并根据连通域大小确定候选目标包围框；所有候选目标包围框的最小内接矩形区域即为感兴趣目标区域ROI。

4.根据权利要求3所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于，所述步骤C的实现具体包括：

C1.根据坐标系之间的转换关系得到红外图像感兴趣区域ROI对应的光学图像感兴趣区域ROI；

C2.将C1所得ROI区域输入到由SSD和ResNet组合的改进型深度卷积神经网络模型，得到目标检测的结果，并给出类别标签和包围矩形框。

5.根据权利要求4所述的基于双源视频分析的智能化野外无人机搜救方法，其中，所述的步骤D具体包括：

D1.无人机返航飞行到降落标志AprilTag上方位置；

D2.获取光学相机当前图像，将其灰度化之后，进行高斯平滑滤波；

D3.使用自适应阈值二值化D2所得图像，并利用OpenCV对结果图像进行AprilTag标志轮廓检测；

D4.对D3所得的所有候选轮廓，拟合出四边形，并进行透视变换，将得到的四边形区域变换为原始的正方形；

D5.对D4所得所有正方形区域，逐一进行单元块划分，划分为7X7个单元块，并使用海明编码对中间的5X5个单元块进行编码；

D6.根据D5得到的编码，比对实际使用的AprilTag编码，如果匹配则求解出标志相对于相机的6DOF坐标；

D7.根据D6得到的6DOF坐标精确调整无人机姿态，使之精确降落于标志上面。

6.根据权利要求1所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于：所述无人机在飞行过程使用激光雷达以及超声波进行自动障碍躲避；具体包括以下步骤：

步骤1.使用激光雷达获取雷达扫描数据LaserScan；

步骤2.提供无人机里程计数据Odometry以及各个参考坐标系之间的转换关系；

步骤3.利用步骤2的数据，使用机器人操作系统中的导航工具包生成速度控制命令，并发送给无人机，实现主动避障：

步骤4.在飞行过程中，始终处理朝下安置的超声波模块反馈的障碍信息，并以此为依据保持无人机与下方障碍的安全距离。

7.一种基于双源视频分析的智能化野外无人机搜救系统，其特征在于：包括多旋翼无人机平台、机载云台相机、机载热成像仪、激光雷达、超声波测量单元、机载计算设备和存储器、地面工作站；所述多旋翼无人机平台包括机载惯性测量单元、GPS模块、机载控制器；所述地面工作站包括移动设备、遥控器和计算机。

8.根据权利要求7所述的基于双源视频分析的智能化野外无人机搜救系统，其特征在于：该系统分为天空端和地面端两部分；天空端包含多旋翼无人机平台、自主避障模块、红外图像处理模块以及自主降落模块；地面端包含带有人机交互模块的移动设备、Socket通信模块、遥控器、以及带有光学目标检测模块的计算机；

所述多旋翼无人机平台主要完成飞行功能，为其它各个模块提供载体；

所述自主避障模块包括激光雷达、超声波测量单元、机载惯性测量单元、GPS模块和机载控制器；机载控制器作为核心控制器，处理激光雷达、超声波的数据，对无人机自身进行定位，并获取无人机周围障碍信息，避开障碍并按照路径规划算法规划的路径进行飞行；

所述红外图像处理模块包括红外热成像仪、视频采集设备以及机载计算设备；机载计算设备通过视频采集卡获取红外热成像仪视频流中的图像帧序列，并运行候选目标检测算法得到候选目标以及感兴趣区域ROI；

所述自主降落模块包括多旋翼无人机平台、云台相机以及机载计算设备；通过获取云台相机视野中的降落标志相对无人机的6DOF坐标信息，无人机将动态调整自己相对于降落平面的姿态，从而实现精准降落。