CN104166854B - 针对小型无人机自主降落的视觉分级地标定位识别方法 - Google Patents

Abstract

本发明公开了一种针对小型无人机自主降落的视觉分级地标定位识别方法，包括视觉分级地标设计和视觉分级地标定位识别两个步骤；通过视觉分级地标定位识别，对机载摄像头获取的图像进行处理，给出降落地标的定位信息；在小型无人机离地高度较高时，提供分级地标粗定位的结果；当小型无人机逐步降落，离地高度较低时，对分级地标进行细定位与识别。本发明采用视觉分级地标避免使用单级地标时由于离地高度变化而图像分辨率固定而导致地标的尺度变化问题。在整个自主降落的过程中，通过算法计算得到的相关信息经过经过投影几何关系转换反馈给飞行控制计算机，辅助小型无人机进行精准自主降落。

Description

针对小型无人机自主降落的视觉分级地标定位识别方法

技术领域

本发明属于空中机器人与计算机视觉的交叉领域，涉及无人机自主降落时的分级地标设计与定位识别问题，尤其涉及一种针对小型无人机自主降落的视觉分级地标定位识别方法。

背景技术

当今，小型无人直升机的研究与应用越来越普遍，被广泛地用于监视、侦查、预警、电子对抗、通信中继等军用场合与环境监测、航测航拍、气象预测、地震火灾等灾害搜救、输电线路与铁路线路的巡视等民用场合。由于无人机在设计时无需考虑人的生理和心理承受极限，因此可以具有更高的机动性和灵活性。

然而，小型无人直升机复杂环境下的自主回收降落既是技术难点，也是我们越来越关注的焦点。目前GPS/INS组合导航系统在小型无人直升机大部分的自主飞行任务中均能起到很好的作用，但是由于在自主降落过程中，GPS被遮挡或者中断，导航精度不足，则会导致自主降落失误，因而GPS/INS并不能确保小型无人机完成自主降落的任务。同时，复杂的降落环境，以及机体位姿在降落过程中改变，也会影响导航信息的准确性。小型无人直升机存在静不稳定性，其水平方向的位移会使降落地标逃出视野，而其垂直方向的变化，则使得机载摄像头的可视范围发生变化。

针对以上面对的问题，在小型无人机自主降落的过程中，合理设计人工降落地标，以及利用机载摄像头获取图像，并设计算法提取降落地标特征信息，辅助小型无人机自主降落，显得尤为重要。

发明内容

本发明的目的在于针对现有使用GPS/INS组合导航系统的不足，小型无人机自主降落时环境的复杂，以及自主降落时视觉系统所面临的问题，提出一种针对小型无人机自主降落的视觉分级地标定位识别方法，辅助小型无人机进行精准自主降落。

本发明解决其技术问题是通过以下技术方案来实现的：一种针对小型无人机自主降落的视觉分级地标定位方法，包括视觉分级降落地标设计与视觉分级地标定位识别两步骤，具体如下：

(1)视觉分级地标设计，该步骤包括以下子步骤：

(1.1)确定视觉分级地标形状：视觉分级地标由同心正方形组成；同心正方形的边长由内至外呈等差数列依次递增；设视觉分级地标最内部正方形的边长为L₁，公差为d，则第n个正方形的边长为L_n＝L₁+(n-1)d；其中L₁与d由小型无人机停置在地面时机载摄像头可看到的矩形地面视野面积S确定，满足(L₁+d)²≤S与L₁≤d；

(1.2)确定视觉分级地标颜色：视觉分级地标包含黑白两种颜色，其中视觉分级地标最内部正方形填充为黑色，第2m-1至第2m个正方形之间的部分填充白色，第2m至第2m+1个正方形之间的部分填充黑色，其中m为大于0的整数；

(1.3)确定视觉分级地标级数：将视觉分级地标中由内至外的第2m-1至第2m个正方形之间的白色框，称为第m级地标；设视觉分级地标中正方形的总数为N，则分级的总级数为M满足：2M+1＝N；设外内轮廓面积比为Q_m＝(L_2m/L_2m-1)²；

(1.4)确定视觉分级地标尺寸：视觉分级地标的尺寸就是最外部正方形的边长L_N，L_N的大小介于起落架尺寸与翼展尺寸之间；确定正方形的总数N与地标总级数M，然后调整L₁与d的值，即可计算出所需降落地标的尺寸L_N和各级地标的外内轮廓面积比Q_m；

(2)视觉分级地标定位识别，该步骤包括以下子步骤：

(2.1)在线图像自适应阈值分割二值化：通过小型无人机机载摄像头获取RGB格式的视觉分级地标图像，将获取的图像转化为灰度图像，然后使用最大类间方差法进行自适应阈值分割，转化为二值化图像；

(2.2)基于图像形态学的分级降落地标粗定位：对步骤2.1得到的二值化图像进行形态学闭运算，去除噪点，得到连通域轮廓图像，连通各分级地标，确定地标在图像中的区域位置；

(2.3)基于树形轮廓和直线特征的分级降落地标细定位：以树形结构的链码表示步骤2.2得到的连通域轮廓图像；在根节点轮廓中以渐进式概率Hough变换算法检测分级降落地标的直线特征，然后细定位降落地标所在连通域的精细位置；

(2.4)基于轮廓面积比的分级降落地标识别：通过计算图像中正方形边框外内轮廓像素面积比，根据先验信息区分识别各级地标，并以渐进式概率Hough变换算法识别各级地标的特征直线，输出识别地标具体位置信息以及机体相对于地标的偏航信息。

进一步地，所述步骤2.3具体包括以下子步骤：

(2.3.1)以序列的形式存储步骤2.2得到的连通域轮廓图像，并形成轮廓树；

(2.3.2)分别计算根节点轮廓的像素面积A_i，minArea为图片总像素个数的5％，当满足条件minArea<A_i时，根节点轮廓为有效根节点轮廓，不满足上述条件时，根节点轮廓视为背景噪点，记录有效根节点轮廓个数为count；若count等于0，表明分级降落地标没有在图像视野中，若count等于1，则计算出该轮廓的位置即为地标在图像视野中的位置，转步骤2.3.4；若是count大于1则执行步骤2.3.3；

(2.3.3)以渐进式概率Hough变换算法检测连通域轮廓图像的直线，记录所识别直线的两端点坐标及轮廓树各有效根节点轮廓的外包矩形，设有直线段l_i，端点坐标分别为P_i1(x_i1,y_i1),P_i2(x_i2,y_i2)，识别出的直线段总数为n_l，根节点轮廓Seq_j，其外包矩形R_j，对角顶点分别为P_j1(x_j1,y_j1),P_j2(x_j2,_yj2)，其中i∈[1,n_l]，j∈[1,count]，x_j1<x_j2，y_j1<y_j2，则端点P_i落于外包矩形R_j的判定条件为：

x_j1–δ<x_i<x_j2+δ且y_j1–δ<y_i<y_j2+δ

其中，δ为容错裕度，根据图像分辨率选取；统计R_j包含端点的总数N_j满足条件：N_j>α2n_l时，其中α∈[0.7,1]，即可定位Seq_j为分级地标目标的位置；

(2.3.4)输出地标的细定位轮廓区域与像素坐标，分级降落地标细定位结束。

进一步地，所述步骤2.4具体包括以下子步骤：

(2.4.1)在细定位轮廓区域构建轮廓树，选择具有孔的节点轮廓Seq_i作为有效地标，i∈[1,M]，若有效地标数为零，则图像视野中没有地标；若非零，执行步骤2.4.2；

(2.4.2)由内至外分别计算各级有效地标的外内轮廓面积比，确定图像视野范围内存在的有效地标的级数，至少连续两级地标面积比正确或者只识别到最外层轮廓Seq_M，即可识别为降落地标；

(2.4.3)计算识别的降落地标的最外层地标的位置信息，即计算最外层地标轮廓的重心，作为输出地标位置信息；

(2.4.4)用渐进式概率Hough变换算法检测最外层地标轮廓的直线段，计算两两平行的直线与图像坐标轴的夹角，作为机体相对于地标的偏航信息。

本发明与现有技术相比具有以下显著的优点：1)采用摄像机，可以弥补INS误差随着时间和距离的增加会越来越大的问题。2)采用摄像机可以补偿GPS信号在某些地域信号很弱或者中断的问题，也可避免GPS信号跳变的问题。3)分级地标的采用避免使用单级地标时由于离地高度变化而图像分辨率固定而导致地标的尺度变化问题。4)分级地标使得当地标只有部分在视野中时也能准确定位出来。

附图说明

图1是本发明的视觉分级降落地标设计示例；

图2是本发明的视觉分级降落地标辅助小型无人直升机降落示意图；

图3是本发明的视觉分级降落地标适用的特殊情况示意图，(a)为近距离下的视野局限的情况；(b)为中等距离下地标图像即将离开视野的情况；(c)为中等距离下内级地标无法可靠识别的情况；

图4是本发明不同状态下闭运算处理实验示意图，(a)为近距离下视野受限只显示部分分级地标的情况，(b)为中等距离地标只有部分在视野中的情况，(c)和(d)为相应的闭运算结果示意图；

图5是本发明的视觉分级降落地标的定位识别流程图。

具体实施方式

下面以设计适用于小型直升机的四级分级降落地标为例，具体阐述用于小型无人直升机自主降落的视觉分级地标定位识别方法，包括如下步骤：

(1)视觉分级降落地标设计，该步骤包括以下子步骤：

(1.1)确定视觉分级地标形状：视觉分级地标由同心正方形组成；同心正方形的边长由内至外呈等差数列依次递增；设视觉分级地标最内部正方形的边长为L₁，公差为d，则第n个正方形的边长为L_n＝L₁+(n-1)d；其中L₁与d由小型无人机停置在地面时机载摄像头可看到的矩形地面视野面积S确定，满足(L₁+d)²≤S与L₁≤d；

(1.2)确定视觉分级地标颜色：视觉分级地标包含黑白两种颜色，其中视觉分级地标最内部正方形填充为黑色，第2m-1至第2m个正方形之间的部分填充白色，第2m至第2m+1个正方形之间的部分填充黑色，其中m为大于0的整数；

(1.3)确定视觉分级地标级数：将视觉分级地标中由内至外的第2m-1至第2m个正方形之间的白色框，称为第m级地标；设视觉分级地标中正方形的总数为N，则分级的总级数为M满足：2M+1＝N；设外内轮廓面积比为Q_m＝(L_2m/L_2m-1)²；

(1.4)确定视觉分级地标尺寸：视觉分级地标的尺寸就是最外部正方形的边长L_N，L_N的大小介于起落架尺寸与翼展尺寸之间；确定正方形的总数N与地标总级数M，然后调整L₁与d的值，即可计算出所需降落地标的尺寸L_N和各级地标的外内轮廓面积比Q_m；

根据以上步骤1.1至1.4，为本发明设计了如图1所示的四级视觉分级降落地标示例，即M＝4，第1至第4级地标分别为由内至外的4个白色框，其中N＝9，L₁＝0.15m，d＝0.15m，则分级降落地标的外围尺寸为L₉＝1.35m，而实验所用小型无人机为Hirobo90直升机，其翼展为1.56m，可满足其降落需求，同时分级降落地标外内轮廓面积比Q_m分别如下表所示。

地标级数m	1	2	3	4
					外内轮廓面积比Qm	4	1.78	1.44	1.31

由表可知，设计的视觉分级降落地标的各级地标的外内轮廓面积比由内至外逐渐减少，并且具备区分度。在实际使用时，视觉分级地标级数可根据测量范围作相应调整，地标的实际尺寸并非如图1的所示尺寸固定不变，而是只要保持具有区分度的面积比则可以被有效而准确地有效识别。因此，只要采用分级地标的设计思想，不管是设计的降落地标的级数是多少，以及各级地标的尺寸如何，都属于该发明的内容。

本发明设计的视觉分级降落地标，能够处理以下几种特殊情况：1)近距离下的视野局限的情况，如图3(a)所示；2)中等距离下地标图像即将离开视野的情况，如图3(b)所示；3)中等距离下内级地标无法可靠识别的情况，如图3(c)所示。设近距离及中等距离时第一级地标占总图像面积百分比分别为K_l，K_m大致确定为K_l>＝65％,5％<K_m<65％。

(2)视觉分级地标定位识别

视觉分级地标定位识别将要处理在小型无人机自主降落时的各种状态下识别降落地标，并考虑实时性并最终从图像中提取导航解算所需的有效信息。小型无人机自主降落时的各种状态是指小型无人直升机离地高度不同，直升机与降落地标的相对位置不同，机载摄像头视野发生变化或者出现部分遮挡等情况。此外，本实施方式中的机载摄像头在小型无人直升机上的安装位置是垂直向下，机载摄像机为CCD图像传感器，视觉处理硬件为CAPA800。

本发明采用渐进的视觉分级地标定位识别方法，重点解决实时性及目标遮挡的目标识别问题，最终以分级地标的直线特征，外内轮廓的树形结构及像素面积比等特征对各级地标进行定位与识别，具体包括如下步骤：

(2.1)在线图像自适应阈值分割二值化：通过小型无人机机载摄像头获取RGB格式的视觉分级地标图像，首先使用OpenCV库的cvCvtColor函数将获取的图像转化为灰度图像，然后使用最大类间方差法进行自适应阈值分割，转化为二值化图像；

(2.2)基于图像形态学的分级降落地标粗定位：对步骤(2.1)得到的二值化图像，使用cvMorphologyEx函数进行形态学闭运算，去除噪点，得到连通域轮廓图像，连通各分级地标，确定地标在图像中的区域位置；如图4所示为不同状态下闭运算处理示意图，图4(a)为近距离下视野受限只显示部分分级地标的情况，图4(b)为中等距离地标只有部分在视野中的情况，图4(c)和图4(d)为相应的具体闭运算结果。远距离下通过连通分级地标，更易于小目标的处理，而中远距离，闭运算并不改变分级地标的各级特征。

(2.3)基于树形轮廓和直线特征的分级降落地标细定位：使用cvFindContours函数以树形结构的链码表示步骤(2.2)粗定位得到的连通域轮廓；在根节点轮廓中使用cvHoughLines2函数以渐进式概率Hough变换算法检测分级地标的直线特征，然后细定位降落地标所在连通域的精细位置；具体包括以下子步骤：

(2.3.1)使用cvFindContours函数以序列的形式存储步骤(2.2)得到的连通域轮廓图像，并形成轮廓树；

(2.3.2)分别计算根节点轮廓的像素面积A_i，minArea为图片总像素个数的5％，当满足条件minArea<A_i时，根节点轮廓为有效根节点轮廓，不满足上述条件的根节点轮廓视为背景噪点，记录有效根节点轮廓个数为count；若count等于0时，表明降落地标没有在图像视野中，若是count等于1时，则计算出该轮廓的位置即为地标在图像视野中的位置，转步骤(2.3.4)；若是count大于1则执行步骤(2.3.3)；

(2.3.3)使用cvHoughLines2函数以渐进式概率Hough变换算法检测连通域轮廓图像的直线，记录所识别直线的两端点坐标及轮廓树各有效根节点轮廓的外包矩形，设有直线段l_i，端点坐标分别为P_i1(x_i1,y_i1),P_i2(x_i2,y_i2)，识别出的直线段总数为nl，根节点轮廓Seq_j，其外包矩形R_j，对角顶点分别为P_j1(x_j1,y_j1),P_j2(x_j2,y_j2)，其中i∈[1,n_l]，j∈[1,count]，x_j1<x_j2，y_j1<y_j2，则端点P_i落于外包矩形R_j的判定条件为：

x_j1–δ<x_i<x_j2+δ且y_j1–δ<y_i<y_j2+δ

其中，δ为容错裕度，根据图像分辨率选取。统计R_j包含端点的总数N_j满足条件：N_j>α2n_l时，其中α∈[0.7,1]，即可定位Seq_j为分级地标目标的位置。

(2.3.4)输出地标的细定位轮廓区域与像素坐标，分级降落地标细定位结束。

(2.4)基于轮廓面积比的分级降落地标识别：通过计算图像中正方形边框外内轮廓像素面积比，根据先验信息区分识别各级地标，并以渐进式概率Hough变换算法识别各级地标的特征直线，输出识别地标具体位置信息以及机体相对于地标的偏航信息，具体包括以下子步骤：

(2.4.1)在细定位轮廓区域构建轮廓树，选择具有孔的节点轮廓Seq_i作为有效地标，i∈[1,M]，若有效地标数为零，则图像视野中没有地标；若非零，执行步骤(2.4.2)；

(2.4.2)由内至外分别计算各级有效地标的外内轮廓面积比，确定图像视野范围内存在的有效地标的级数，至少连续两级地标面积比正确或者只识别到最外层轮廓Seq_M，即可识别为降落地标；

(2.4.3)计算识别的降落地标的最外层地标的位置信息，即计算最外层地标轮廓的重心，作为输出地标位置信息；

(2.4.4)使用cvHoughLines2函数以渐进式概率Hough变换算法检测最外层地标轮廓的直线段，计算两两平行的直线与图像坐标轴的夹角，作为机体相对于地标的偏航信息。

在小型无人直升机进行自主降落时，小型无人机可能面临各种状态，比如小型无人直升机离地高度发生变化，导致降落地标在视野中的形状与尺寸发生变化；小型无人直升机与降落地标的相对位置发生变化，机载摄像头视野发生变化，导致降落地标出现部分遮挡，显示不完整的情况；降落环境发生变化，光照等发生变化，也会影响小型无人机自主降落。本发明设计视觉分级降落地标，用于辅助小型无人直升机自主降落。通过以上分级地标定位识别的方法步骤，都能对机载摄像头获取的图像进行处理，给出降落地标的定位信息，以及细分的地标特征。在小型无人机离地高度较高时，算法提供分级地标粗定位的结果即可；当小型无人机逐步降落，离地高度较低时，则需要对分级地标进行细定位与识别。在整个自主降落的过程中，通过算法计算得到的相关信息经过经过投影几何关系转换反馈给飞行控制计算机，辅助小型无人机进行精准自主降落。

Claims (1)

1.一种针对小型无人机自主降落的视觉分级地标定位识别方法，其特征在于，包括以下步骤：

(1)视觉分级地标设计，该步骤包括以下子步骤：

(1.1)确定视觉分级地标形状：视觉分级地标由同心正方形组成；同心正方形的边长由内至外呈等差数列依次递增；设视觉分级地标最内部正方形的边长为L₁，公差为d，则第n个正方形的边长为L_n＝L₁+(n-1)d；其中L₁与d由小型无人机停置在地面时机载摄像头可看到的矩形地面视野面积S确定，满足(L₁+d)²≤S与L₁≤d；

(1.2)确定视觉分级地标颜色：视觉分级地标包含黑白两种颜色，其中视觉分级地标最内部正方形填充为黑色，第2m-1至第2m个正方形之间的部分填充白色，第2m至第2m+1个正方形之间的部分填充黑色，其中m为大于0的整数；

(1.3)确定视觉分级地标级数：将视觉分级地标中由内至外的第2m-1至第2m个正方形之间的白色框，称为第m级地标；设视觉分级地标中正方形的总数为N，则分级的总级数为M满足：2M+1＝N；设外内轮廓面积比为Q_m＝(L_2m/L_2m-1)²；

(1.4)确定视觉分级地标尺寸：视觉分级地标的尺寸就是最外部正方形的边长L_N，L_N的大小介于起落架尺寸与翼展尺寸之间；确定正方形的总数N与地标总级数M，然后调整L₁与d的值，即可计算出所需降落地标的尺寸L_N和各级地标的外内轮廓面积比Q_m；

(2)视觉分级地标定位识别，该步骤包括以下子步骤：

(2.1)在线图像自适应阈值分割二值化：通过小型无人机机载摄像头获取RGB格式的视觉分级地标图像，将获取的图像转化为灰度图像，然后使用最大类间方差法进行自适应阈值分割，转化为二值化图像；

(2.2)基于图像形态学的分级降落地标粗定位：对步骤(2.1)得到的二值化图像进行形态学闭运算，去除噪点，得到连通域轮廓图像，连通各分级地标，确定地标在图像中的区域位置；

(2.3)基于树形轮廓和直线特征的分级降落地标细定位：以树形结构的链码表示步骤(2.2)得到的连通域轮廓图像；在根节点轮廓中以渐进式概率Hough变换算法检测分级降落地标的直线特征，然后细定位降落地标所在连通域的精细位置；具体包括以下子步骤：

(2.3.1)以序列的形式存储步骤(2.2)得到的连通域轮廓图像，并形成轮廓树；

(2.3.2)分别计算根节点轮廓的像素面积A_i，minArea为图片总像素个数的5％，当满足条件minArea<A_i时，根节点轮廓为有效根节点轮廓，不满足上述条件时，根节点轮廓视为背景噪点，记录有效根节点轮廓个数为count；若count等于0，表明分级降落地标没有在图像视野中，若count等于1，则计算出该轮廓的位置即为地标在图像视野中的位置，转步骤(2.3.4)；若是count大于1则执行步骤(2.3.3)；

(2.3.3)以渐进式概率Hough变换算法检测连通域轮廓图像的直线，记录所识别直线的两端点坐标及轮廓树各有效根节点轮廓的外包矩形，设有直线段l_i，端点坐标分别为P_i1(x_i1,y_i1),P_i2(x_i2,y_i2)，识别出的直线段总数为n_l，根节点轮廓Seq_j，其外包矩形R_j，对角顶点分别为P_j1(x_j1,y_j1),P_j2(x_j2,y_j2)，其中i∈[1,n_l]，j∈[1,count]，x_j1<x_j2，y_j1<y_j2，则端点P_i落于外包矩形R_j的判定条件为：

x_j1–δ<x_i<x_j2+δ且y_j1–δ<y_i<y_j2+δ

其中，δ为容错裕度，根据图像分辨率选取；统计R_j包含端点的总数N_j满足条件：N_j>2αn_l时，其中α∈[0.7,1]，即可定位Seq_j为分级地标目标的位置；

(2.3.4)输出地标的细定位轮廓区域与像素坐标，分级降落地标细定位结束；

(2.4)基于轮廓面积比的分级降落地标识别：通过计算图像中正方形边框外内轮廓面积比，根据先验信息区分识别各级地标，并以渐进式概率Hough变换算法识别各级地标的特征直线，输出识别地标具体位置信息以及机体相对于地标的偏航信息，具体包括以下子步骤：

(2.4.1)在细定位轮廓区域构建轮廓树，选择内部包含正方形的节点轮廓Seq_i作为有效地标，i∈[1,M]，若有效地标数为零，则图像视野中没有地标；若非零，执行步骤(2.4.2)；

(2.4.2)由内至外分别计算各级有效地标的外内轮廓面积比，确定图像视野范围内存在的有效地标的级数，至少连续两级地标面积比正确或者只识别到最外层轮廓Seq_M，即可识别为降落地标；

(2.4.3)计算识别的降落地标的最外层地标的位置信息，即计算最外层地标轮廓的重心，作为输出地标位置信息；

(2.4.4)用渐进式概率Hough变换算法检测最外层地标轮廓的直线段，计算两两平行的直线与图像坐标轴的夹角，作为机体相对于地标的偏航信息。