CN105550692A - 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法 - Google Patents

Abstract

本发明公开了一种基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，以机载摄像机实时采集到的视频图像为对象，自动地较准确地检测目标在图像中的位置，进而计算出目标在图像中的坐标以及无人机和目标的相对距离。该方法以标志物图形的颜色特征和形状轮廓的形态特征作为判断依据，可以实时地对标志物图形进行检测，进而实时计算标志物的坐标，检测结果准确率高，对无人机自动寻地着陆具有重要的应用价值。

Description

基于标志物颜色及轮廓检测的无人机自动寻的着陆方法

技术领域

本发明涉及一种基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，属于数字图像处理和无人机技术交叉的领域。

背景技术

近年来，小型无人机和微型无人机的发展驱动了一些领域新的研究，例如电子、机械、航空、自动控制等。在搜索、营救、国土安全、实时森林防火、敏感地区的监控等方面，无人机具有巨大的潜力。

国内外无人机制造商生产的无人机在载荷、适用范围、任务执行能力以及命令、控制和数据获取能力都千差万别，商用和民用仍然处于初期阶段。

无人机执行任务的过程中，着陆阶段是最容易出故障的阶段，实现无人机自动着降是提高无人机自主控制能力的重要环节。传统无人机由操作员通过无人机的机载摄像头由下行链路传回的视频图像控制，操纵无人机从一个坐标飞行到另一个坐标，这要求操作员熟悉无人机的飞行特性，以及当前位置和目标位置等详细信息。传统无人机在操作时所能依靠的自动系统非常有限，大部分工作还需要人工完成。因此，无人机自动导航和着陆方面是迫切需要提升的短板。

随着光学摄像技术、图像处理技术的发展，机器视觉导航技术已经成为无人机自主导航技术的重点。基于视觉的导航着陆系统只需要一个摄像头和一个机载图像处理单元，利用摄像头传回的实时视频图像来计算目标位置，辅助机载的导航控制系统控制无人机完成自主着陆。基于图像特征匹配实现目标的检测和跟随主要利用的图像特征有：

1)角点特征。2012年刘洪琼等在《计算机技术与自动化》发表论文“的角点跟踪算法”对视频稳定系统的角点跟踪算法的分析，针对图像旋转与局部物体运动情况，采取圆投影向量相关系数法对基于角点跟踪的运动估计算法进行改进，结合局部运动邻域相关算法剔除运动物体，并采用菱形快速搜索算法提高角点配准速度。

2)尺度不变特征(sift)。2015年Wensley,J.H.在ProceedingsoftheIEEE发表论文“AnEfficientSIFT-BasedMode-SeekingAlgorithmforSub-PixelRegistrationofRemotelySensedImages”对尺度不变换特征转换特征匹配在遥感图像的多模匹配中遇到的问题提出了解决方案。指出在模式识别中每一个sift特征都和一个尺度、方向和位置相关，以此来排除无关的匹配点提高匹配的准确度。

3)加速鲁棒特性(surf)。2006HerbertBay于2006年在ECCV大会上第一次在提出了这一旋转和尺度不变检测方法和描述子方法，surf使用海森矩阵的行列式值作特征点侦测并用积分图加速运算，检测速度比sift提高了数倍。

4)图像的颜色特征。图像的颜色特征描述的是图像的全局特征，其对图像的局部大小、方向、形状等变化不敏感，不能很好地得到图像的局部特征。

角点特征检测速度快，但受到图像噪声、光照等的影响，它的健壮性不是很好。Sift和Surf计算复杂，难以达到实时的要求，并且当视频中不存在目标图像时也能检测到特征点。

发明内容

本发明所要解决的技术问题是提供一种基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，能够利用机载摄像头的实时视频图像准确检测到无人机和降落标志物的相对位置，且在低像素、不同天气条件下均有较高的适用性。本发明用模板匹配标志物图形的形状以及颜色的重要参数作为判断依据，实时计算计算标志物坐标，检测结果准确率高，对无人机自主寻的着降具有重要的实用价值。本发明旨在给出一种快速、准确、部署简单的无人机自动寻的着陆方法，利用廉价的可见光传感器实时获取场景图像，并通过着陆区域标志物(也即图像检测的目标)的颜色特征以及其形状轮廓约束来对无人机着陆区域进行实时的准确检测，进而实现无人机在指定区域自动降落。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，所述标志物仅包括红绿蓝中的任意两种颜色，包括以下具体步骤：

步骤1，无人机机载摄像头拍摄的视频信号通过图传设备实时传输至图像处理系统；

步骤2，图像处理系统对接收到的视频图像进行逐帧预处理，具体为：

201，将当前帧图像进行缩放，以满足实际需求；并对缩放后的图像进行通道分离，得到各通道的二值化图像；

202，对步骤201所得的具有标志物边界信息的二值化图像进行腐蚀膨胀处理，并获取其连通域；

203，对步骤202中获取的连通域进行去噪处理，具体为：

a，若获取的连通域数目大于第一阈值，按照边界长度对连通域进行排序，滤除边界长度不在有效边界长度范围内的连通域，若剩余连通域数目大于第二阈值，则进入步骤b，否则进入步骤5；

b，获取剩余连通域的外接矩形的长宽比，滤除外接矩形长宽比不在有效比值范围内的连通域，进入步骤204；

204，将剩余连通域映射到对应标志物所含两种颜色的通道的二值化图像上，所得到的区域作为兴趣区；对兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，若该比值小于第三阈值，则删除对应的连通域，否则进入步骤6；

205，若步骤204中剩余连通域的数目等于1，则进入步骤3；若剩余连通域数目大于1，且当前帧之前的各帧视频图像经过步骤201至204处理后的连通域剩余数目均大于1，则舍弃当前帧图像，返回步骤201；若剩余连通域数目大于1，且当前帧之前的各帧视频图像经过步骤201至204处理后的连通域剩余数目出现过等于1的情况，则进入步骤4；

步骤3，计算该连通域的中心坐标，该中心坐标即为目标标志物的坐标；

步骤4，计算各剩余连通域的中心坐标，并计算各个中心坐标与前一帧视频图像得到的目标标志物坐标之间的相对距离，相对距离最短的中心坐标即为目标标志物的坐标。

作为本发明的进一步优化方案，步骤2中各通道的二值化图像为：

$I_i=threshold\left(threshold\left(\frac{{\mathrm{CH}}_i}{{\mathrm{CH}}_k}-1\right)\×threhold\left(\frac{{\mathrm{CH}}_i}{{\mathrm{CH}}_j}-1\right)\right)$

式中，i＝0,1,2、j＝0,1,2、k＝0,1,2，i≠j≠k，当i＝0,j＝1,k＝2时CH₀,CH₁,CH₂分别对应B,G,R通道；I_i为二值化图像。

作为本发明的进一步优化方案，步骤a中第二阈值小于第一阈值。

作为本发明的进一步优化方案，步骤204中第三阈值为0.15。

作为本发明的进一步优化方案，步骤a中第一阈值为3。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明能够利用机载摄像头的实时视频图像准确检测到无人机和降落标志物的相对位置，且在低像素、不同天气条件下均有较高的适用性；用模板匹配标志物图形的形状以及颜色的重要参数作为判断依据，实时计算计算标志物坐标，检测结果准确率高，对无人机自主寻的着降具有重要的实用价值；利用廉价的可见光传感器实时获取场景图像，并通过着陆区域标志物(也即图像检测的目标)的颜色特征以及其形状轮廓约束来对无人机着陆区域进行实时的准确检测，进而实现无人机在指定区域自动降落。

附图说明

图1是对接收到的视频图像进行预处理的流程图。

图2是计算连通域以及对连通域进行初步去噪处理的流程图。

图3是对连通域取外接矩形并且利用外接矩形长宽比去噪的流程图。

图4是利用连通域内B通道和R通道像素值的比值去噪的流程图。

图5是标志物图像。

图6是本实例中处理的帧。

图7是预处理后的B通道的二值图像。

图8是预处理后的R通道的二值图像。

图9是对B通道二值图像腐蚀膨胀的结果。

图10是对B通道取连通域的结果。

图11是初步去噪后的结果。

图12是利用外接矩形长宽比去噪后的结果。

图13是连通域内B通道和R通道像素的比值去噪后的结果。

图14是最终在本帧中找到的标志物坐标。

图15是本发明方法流程图。

具体实施方式

下面结合附图以及实施例对本发明的技术方案做进一步的详细说明：

本发明一种基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，如图1、2、3、4和15所示，具体内容这里不再赘述。

本实例中，视频采集于离目标1-4米的相机，拍摄角度相机镜头和目标法线最大偏角60度，帧大小1920*1080，帧速率29f/s。标志物图像如图5所示，图片大小1000*1000像素，中间红色部分大小520*520，红色区域面积和蓝色区域面积的比值约为0.37。检测目标区域，通过对着陆标志物(标志物为两个嵌套在一起的矩形，内部矩形为红色，外部矩形为蓝色)的颜色和形状进行限制来检测出标志物在图像中的区域，具体步骤如下：

1.读入一帧图像存入img_scene，设置缩放比例为0.4,对img_scene图像进行缩放处理，如图6所示(本实施例中采用视频为算法检测效果测试用视频，本发明中给出的图6中所示帧图像为检测过程中有代表性的一帧)。接下来将分别获取场景图中的蓝色和红色区域，以便后续操作中对标志物位置进行确定。

为了减小光线和摄像机角度的条件的影响，按公式(1)对缩放后的图像进行通道分离，得到各通道的二值化图像：

$I_i=threshold\left(threshold\right(\frac{{\mathrm{CH}}_i}{{\mathrm{CH}}_k}-1)\×threhold(\frac{{\mathrm{CH}}_i}{{\mathrm{CH}}_j}-1\left)\right)---\left(1\right)$

式中，i＝0,1,2、j＝0,1,2、k＝0,1,2，i≠j≠k，当i＝0,j＝1,k＝2时CH₀,CH₁,CH₂分别对应B,G,R通道，I为计算结果，类型是二值化图像。

本实施例中，首先，对img_scene图像分离通道，并将B、G、R三通道转换为32位浮点类型的图像，以方便于后面乘除法运算。以下通过B、G、R三通道所对应图像以及公式(2)，计算得到C₁,C₂,C₃,C₄中间结果图像。C_l(l＝1,2,3,4)图像中其每个像素通过B通道、R通道、G通道所对应位置的像素值按公式(2)进行比值运算再减去1得到结果：

$\left\{\begin{array}{c}{C}_1=(\frac{B}{R}-1)\\ C_2=(\frac{B}{G}-1)\\ C_3=(\frac{R}{B}-1)\\ C_4=(\frac{R}{G}-1)\end{array}\right.---\left(2\right)$

然后，将图像C₁,C₂,C₃,C₄像素值中大于0的部分像素保留，小于零的位置置为0，即认为B通道中满足(B>R且B>G),以及R通道中满足(R>B且R>G)的像素值强度达到我们要提取的标准予以保留，其它像素值置为0。

再后，定义Seg_img_blue(代替公式(1)中I₀)和Seg_img_red(代替公式(1)中I₂)分别为从各自通道中提取出蓝色和红色区域的结果为：

$\left\{\begin{array}{c}Seg\_img\_blue={\mathrm{threshold}}_b(C_1\×C_2)\\ Seg\_img\_red={\mathrm{threshold}}_r(C_3\×C_4)\end{array}\right.---\left(3\right)$

本实施例中，公式(3)中使用的是通过乘法将C₁,C₂,C₃,C₄两两合并，也可用逻辑与等其他合并方法。公式(3)中的threshold_b及threshold_r函数为进行图像的阈值分割，其阈值THRESHOLD_VALUE_B、THRESHOLD_VALUE_R可以分别从实验中获得。根据我们的实验，本实例中取THRESHOLD_VALUE_B＝0.8、THRESHOLD_VALUE_R＝0.8。分别将C₁×C₂图像素值大于THRESHOLD_VALUE_B和C₃×C₄图像像素值大于THRESHOLD_VALUE_B的像素值置为1，其余的为0，所得就是我们需要的B通道和R通道中蓝色区域和红色区域所对应的二值图像M1和M2，M1和M2分别如图7和图8所示。

最后，将通道图像M1和M2转换回8位int类型Seg_img_B_int、Seg_img_R_int。该方法用目标通道分别与另外两个通道的比值作为后续提取的基础来有效降低环境光线强弱变化对检测结果的影响。

2.针对本实例中标志物的标志B通道Seg_img_B_int存在我们需要的标志物边框信息，用7*7的结构对B通道图像进行腐蚀和膨胀去除微小的噪点，结果如图9示。对B通道Seg_img_B_int取连通域，使用findContours，模式(mode)选择找到所有轮廓，包括大轮廓里面的小轮廓，方法(method)选择获取所有轮廓像素。

3.本实例中获取到的连通域数量contours_size>3(CONTOURS_MIN1)，进行第一步连通域去噪处理，定义可变长度数组将连通域按边界长短(边界像素的数量)从小到大排序，取后80％的部分，也就是去掉边界比较短的20％连通域噪声，本实例中连通域数量contours_size是5个(如图10所示)，取边界最大的80％之后剩下4个连通域(如图11所示)。

4.第一次去噪后如果连通域数量contours_size大于2(CONTOURS_MIN2)，则根据标志物图型的外接矩形boundingRect的长宽比进行第二步连通域去噪处理，将外接矩形的长宽比进行排序，保留长宽比接近1的80％。在本实例中上一步剩下的4个连通域处理后的结果如图12所示，减少了一个连通域，剩余3个连通域。

假设剩余的连通域数量contours_size为n，将这n个连通域的凸包分别映射在到B通道二值图像Seg_img_B_int和R通道二值图像Seg_img_R_int上，得到n对兴趣区，每对由相应的B通道和R通道的二值图像组成。在每一对兴趣区中分别对每个区域求像素和，分别记为sum(B[k])、sum(R[k])，k＝1,2,…,n，其比值为Rate[k]，将比值Rate[k]小于0.15的连通域剔出，得到比较精确的目标区域结果：

$Rate\[k\]=\frac{\min \{sum(B\[k\]),sum(R\[k\])\}}{max\{sum(B\[k\]),sum(R\[k\])\}}---\left(1\right)$

本实例中上一步剩下3个连通域，因此有3对兴趣区，兴趣区基于B通道Seg_img_B_int取得，可以预测噪声区域上述比值会很小，处理之后结果已经很理想，去掉了所有的噪声区域且保留了目标区域，如图13所示。

5.计算本帧中连通域的中心坐标Coordinates(以图像中心为原点)，如图14所示。本实例中使用连通域的外接矩形(boundingRect)的四个顶点的中心，定义本帧坐标为currentcoo，(currentcoo.x为横坐标，currentcoo.y为纵坐标)则

$\left\{\begin{array}{c}currentcoo.x=bounding\mathrm{Re}ct.x+bouding\mathrm{Re}ct.width/2\\ currentcoo.y=bounding\mathrm{Re}ct.y+bounding\mathrm{Re}ct.height/2\end{array}\right.---\left(2\right)$

式中，(boundingRect.x，boundingRect.y)为外接矩形左上角坐标，boundingRect.width为外接矩形的宽，boundingRect.height为外接矩形的高。本实例中到这一步连通域只剩下一个，因此最后的坐标就是这个中心。本实例中时长为一分钟的视频最终测试结果帧处理结果为单个坐标的比例达到80％以上，因此很容易能在某一帧得到正确的结果。

接下来的帧处理结果中用马尔科夫链原理：相邻帧之间的时间是很短的，标志物图像的中心位置Coordinates具有很强的相关性，具体表现在前帧lastFrame标志物图像中心lastcoo与本帧currentFrame中标志物图像中心currentcoo在帧中的相对距离distance〈lastcoo,currentcoo〉很短。那么，后一帧图像中的标志物坐标即为与前一帧的坐标lastcoo的距离最短的那个中心坐标点。

$dis\tan ce<lastcoo,currentcoo>=\sqrt{{(lastcoo.x-currentcoo.x)}^2+{(lastcoo.y-currentcoo.y)}^2}---\left(3\right)$

式中，(lastcoo.x,lastcoo.y)为前帧lastFrame标志物图像中心lastcoo的坐标，(currentcoo.x,currentcoo.y)为本帧currentFrame中标志物图像中心currentcoo的坐标。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，所述标志物仅包括红绿蓝中的任意两种颜色，其特征在于，包括以下具体步骤：

步骤1，无人机机载摄像头拍摄的视频信号通过图传设备实时传输至图像处理系统；

步骤2，图像处理系统对接收到的视频图像进行逐帧预处理，具体为：

201，将当前帧图像进行缩放，以满足实际需求；并对缩放后的图像进行通道分离，得到各通道的二值化图像；

202，对步骤201所得的具有标志物边界信息的二值化图像进行腐蚀膨胀处理，并获取其连通域；

203，对步骤202中获取的连通域进行去噪处理，具体为：

a，若获取的连通域数目大于第一阈值，按照边界长度对连通域进行排序，滤除边界长度不在有效边界长度范围内的连通域，若剩余连通域数目大于第二阈值，则进入步骤b，否则进入步骤5；

b，获取剩余连通域的外接矩形的长宽比，滤除外接矩形长宽比不在有效比值范围内的连通域，进入步骤204；

204，将剩余连通域映射到对应标志物所含两种颜色的通道的二值化图像上，所得到的区域作为兴趣区；对兴趣区内求像素和，获取每个连通域对应的一对兴趣区的像素和的比值，若该比值小于第三阈值，则删除对应的连通域，否则进入步骤6；

205，若步骤204中剩余连通域的数目等于1，则进入步骤3；若剩余连通域数目大于1，且当前帧之前的各帧视频图像经过步骤201至204处理后的连通域剩余数目均大于1，则舍弃当前帧图像，返回步骤201；若剩余连通域数目大于1，且当前帧之前的各帧视频图像经过步骤201至204处理后的连通域剩余数目出现过等于1的情况，则进入步骤4；

步骤3，计算该连通域的中心坐标，该中心坐标即为目标标志物的坐标；

步骤4，计算各剩余连通域的中心坐标，并计算各个中心坐标与前一帧视频图像得到的目标标志物坐标之间的相对距离，相对距离最短的中心坐标即为目标标志物的坐标。

2.根据权利要求1所述的基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，其特征在于，步骤2中各通道的二值化图像为：

$I_i=threshold\left(threshold\left(\frac{{\mathrm{CH}}_i}{{\mathrm{CH}}_k}-1\right)\&times;threhold\left(\frac{{\mathrm{CH}}_i}{{\mathrm{CH}}_j}-1\right)\right)$

式中，i＝0,1,2、j＝0,1,2、k＝0,1,2，i≠j≠k，当i＝0,j＝1,k＝2时CH₀,CH₁,CH₂分别对应B,G,R通道；I_i为二值化图像。

3.根据权利要求1所述的基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，其特征在于，步骤a中第二阈值小于第一阈值。

4.根据权利要求1所述的基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，其特征在于，步骤204中第三阈值为0.15。

5.根据权利要求1所述的基于标志物颜色及轮廓检测的无人机自动寻的着陆方法，其特征在于，步骤a中第一阈值为3。