CN107063261A - 用于无人机精准着陆的多特征信息地标检测方法 - Google Patents

Abstract

本发明提供了一种用于无人机精准着陆的多特征信息地标检测方法，包括多特征地标的设计方法以及相应的高效检测算法，包括轮廓层次信息、几何位置信息、颜色信息、投影不变量多种特征信息构成地标的识别、判断及定位方法，实现无人机的实时定位并辅助无人机着落。本发明利用多特征的地标完成对无人机的定位，并辅助无人机的降落，能够有效提高无人机自主降落的准确性，对无人机的自主控制具有积极的意义。

Description

用于无人机精准着陆的多特征信息地标检测方法

技术领域

本发明涉及计算机视觉领域、自动控制领域、机器人领域，具体涉及一种用于无人机精准着陆等控制操作的地标设计及检测方法。

背景技术

近年来，随着无人机技术的发展，无人机精准识别地标并着陆有着广泛的应用，尤其是着陆在移动平台(如舰艇、大型车辆)和狭窄区域(如城市、工厂)等。视觉导航具有精度高、体积小、信息量大、无源性和信息丰富等优点。将视觉技术应用于无人机的精准定位，具有很大的研究意义和发展空间。目前的无人机导航多基于GPS及惯性组件，惯性导航系统定位误差随时间而增大，民用GPS导航的精度低，同时无法适应室内等GPS信号弱的地方。结合计算机视觉技术，应用自然地标或者人工地标可以有效实现无人机自主精准着陆。而针对无人机的地标设计及应用大多基于单一特征的检测方法，应对无人机可能面临的复杂环境，图像噪声更为强烈，难以具备普适性；抑或地标设计和视觉算法较为复杂，不便于无人机实时处理，增加了对硬件的要求和控制无人机精准着陆的约束条件。

发明内容

针对现有技术的不足，本发明提供一种用于无人机精准着陆的多特征信息地标检测方法，该地标形状简单、区分度高、特征信息多，可适用于多种复杂环境，同时配合相应的识别及姿态解算算法，可协助无人机快速有效识别地标并实现无人机姿态信息的准确解算，为实现无人机精准着陆等控制操作提供重要信息。

本发明的技术方案是：

1.一种用于无人机精准着陆的多特征信息地标检测方法，包括多特征地标的设计方法以及相应的高效检测算法，包括轮廓层次信息、几何位置信息、颜色信息、投影不变量多种特征信息构成地标的识别、判断及定位方法，实现无人机的实时定位并辅助无人机着落。

2.地标图案由具有嵌套关系的圆和圆环组成，外层大圆环确定地标的兴趣区 域，大圆环内部设置四个实心圆，这构成地标的轮廓层次信息；有一个实心圆位于外圆环中心，其他三个实心圆按照一定角度和距离环绕在外圆环中心，构成几何位置信息；四个实心圆填充不同的颜色，色彩的特定分布作为颜色信息；其中两个实心圆距离外圆环圆心长度相同，这两个实心圆圆心与外圆环圆心连接的两条直线与外圆环交点形成两个的交比值，作为投影不变量。

3.高效检测算法辅助无人机着落方法包含以下几个步骤：

(3.1)将摄像机拍摄到的图片进行灰度化，得到灰度图片，为克服光照对地标的影响，对地标进行归一化操作，将灰度图片的像素值范围转换到0～255之间得到标准化的灰度图片；

(3.2)运用canny边缘检测算法对步骤(3.1)得到的标准化灰度图片进行边缘检测，进行轮廓提取进而得到带有轮廓信息的轮廓图片；在实际操作中发现，当地标距离较远时，轮廓中地标的边沿可能出现了断裂的情况，此时，需要在轮廓检测前对轮廓进行形态学膨胀；

(3.3)梳理上述步骤中得到的地标轮廓的层次信息，包括父轮廓，子轮廓，前轮廓，后轮廓信息并保存成两个线性表，用vector<Contours>存储轮廓信息，用vector<Vec4i>存储轮廓的层次信息；

(3.4)线性遍历轮廓信息表vector<Vec4i>,对于表中的每一个轮廓，查看它的所有子轮廓的个数，并将子轮廓个数为4的轮廓信息保留下来作为候选地标信息；

(3.5)对于步骤(3.4)得到的轮廓信息，首先对轮廓进行椭圆检测，排除那些不是椭圆的候选轮廓，对于剩下的轮廓，通过检测内部轮廓的相对大小判断是否为真正的地标轮廓；首先计算子轮廓的方差v，计算公式为 式中，num_i为第i个子轮廓的点数；其次设置阈值，当子轮廓方差小于方差时，认为这是进一步的候选地标轮廓；选择适当的阈值,子轮廓半径为r时，设置方差阈值为：

(3.6)如果步骤(3.5)已经没有候选轮廓，则退出到下面步骤(3.8)，如果有一个轮廓，则提取子轮廓的中点坐标，并且将它们按照相对位置和颜色进行排序；

(3.7)求取相应直线与外轮廓圆的交点以形成并计算交比值；并检验地标是否满足交比不变性；如果存在多个候选轮廓，则满足交比不变性且误差最小的作为地标；

(3.8)按照颜色顺序输出子轮廓的中点坐标，子轮廓的中点坐标可以通过公式求得，轮廓由n像素点构成，其中x_i为第i点的图像横坐标、y_i为纵坐标，为中点坐标；最后通过投影变换求解方程组，就可以求解出无人机相对于地标的位置信息；

(3.9)根据求解的无人机相对位置以及姿态传感器的数据对无人机姿态做进一步解算，得到最优估计的姿态位置信息并反馈至飞行控制系统以协助飞行控制系统做下一步控制决策。

本发明的优点与积极效果是：

1.应用视觉技术，有效弥补GPS精度差或信号弱以及惯性导航定位误差随时间增大的不足，适用环境广泛；

2.地标具备轮廓层次、颜色和几何不变量等多特征，可有效应对无人机可能面临的图像噪声更为强烈的复杂环境；

3.高效识别算法配合特征多且图案简单、区分度高的地标，可快速且准确识别地标，完成姿态解算，为实现无人机精准着陆等控制操作提供重要信息；

4.地标设计简洁，检测算法执行快速，对硬件条件要求较低，亦可配合无人机完成着陆外其他任务及适用于移动机器人定位等。

附图说明

图1为本发明的多特征信息地标示意图；

图2为本发明实例的地标具体图示；

图3为本发明的检测算法流程图；

图4为本发明的配合检测算法各部分的地标图示。

具体实施方式

以下以设计适用于小型四旋翼无人机精准着落为例，具体阐述多特征地标的设计方法及高效检测算法，具体内容如下：

1.多特征的地标图案，图案见附图1，设计步骤包括以下子步骤：

1.1确定地标图案的尺寸和形状：根据无人机应用环境及自身尺寸合理设定地标图案的尺寸。以室内小型四旋翼无人机的应用背景，以及机载560×480分辨率的摄像机为例，我们选取半径为25厘米的外围。一般选取地标尺寸稍大于无人机尺寸的2倍，及外圆环半径R约为无人机旋翼半径的1.5～3倍。外圆环的宽度d一般为半径的1/20，这里为1.25厘米，圆环中填充黑色。内部实心圆的半径r要视相机分辨率而定，对于我们的应用环境，我们定为约2.3厘米，一般情况外圆环的半径是实心圆半径的9～15倍。

1.2确定实心圆与外圆环中心的相对位置：使实心圆1位于外圆环中心，另外三个实心圆的位置可做调整，但需保证有两个实心圆3、4距离中心距离相等，以形成相同的交比值。另外一个实心圆2位置可自由调整，只要构成非对称排列即可提供无人机降落的偏航角信息，这里，我们设定实心圆2距离中心l₂≈0.46×R，实心圆3、4距离中心l₃＝l₄≈0.67×R，并且实心圆1、2、3构成直角三角形，以降低中心投影带来的形变影响，另外，实心圆2和3形成45°夹角，实心圆3和4形成90°夹角。如果不需要考虑无人机降落方向问题，实心圆的排列可以对称，也可以用实心圆之间排列顺序提供地标的序列号信息。地标如图2。

1.3确定实心圆的填充颜色信息：由于色彩受光照影响较大，不建议将色彩作为地标检测的主要标准，而是在合适的应用条件(光照充足)及较好的相机分辨度基础上，利用颜色信息加速检测算法或者将颜色信息作为地标的序列号信息以适用于指定地标的降落。这里，中心实心圆1被填充为黑色，实心圆2、3、4被填充为绿、红和蓝，对于彩色图像的三种分量，也可以按照亮度填充实心圆2、3、4，以适用更复杂的情况。

2.地标的高效检测算法，算法流程见附图3，该检测过程包括以下几个子步骤：

2.1通过无人机机载摄像头实时获取地面图像信息，将图像进行灰度化处理，得到灰度图片，为克服光照对地标的影响，对地标进行归一化操作，即将灰度图片的像素值范围转换到0～255之间得到标准化的灰度图片。

2.2设定邻域进行自适应二值化对图像做进一步处理，采用canny边缘检测算法对步骤2.1得到的标准化灰度图片进行边缘检测，提取轮廓进而得到带有轮廓信息的轮廓图片。在实际操作中我们可以发现，当检测的轮廓图片在70cm以内或轮廓图片是从较远处得到的时候，轮廓中地标的边沿常出现断裂的情况，这对于我们接下来的步骤2.3地标的轮廓信息的提起是十分不利的，因此，在得到了轮廓图片的时候，我们还需要对轮廓进行形态学膨胀以得到完整的轮廓信息图片。

2.3此步骤梳理上述步骤中得到的地标轮廓的层次信息包括父轮廓(包含该轮廓的轮廓)，子轮廓(该轮廓包含的轮廓)，前轮廓(和他没有继承与被继承关系的上面一个轮廓)，后轮廓(和他没有继承与被继承关系的下面一个轮廓)信息并保存成两个线性表，用vector<Contours>存储轮廓信息，用vector<Vec4i>存储轮廓的层次信息；

2.4线性遍历轮廓信息表vector<Vec4i>,并对于表中的每一个轮廓，查看它的所有子轮廓的个数，并将子轮廓个数为4的轮廓信息保留下来作为候选地标信息，其中，图4(a)为待处理的地标示意图；存储的父轮廓信息如图4(b)外圆环，子轮廓如图4(c)中实心圆。

2.5对于步骤2.4得到的轮廓信息，首先需要对轮廓进行椭圆检测以排除那些不是椭圆的候选轮廓，然后进一步对剩下的候轮廓进行判断，以确定其是否为我们的地标轮廓，主要是检测内部的圆在误差允许范围内是否一样大。这里，我们用候选轮廓的子轮廓的方差大小来进行判断。计算公式为 式中num_i为第i个子轮廓的点数。这里，我们设置经典值v＝10，对于v<10的，认为这是进一步的候选地标轮廓。亦可根据自己的情况选择适当的阈值,子轮廓直径为r时，设置方差阈值为：故实例中r≈2，则选取经典值v＝10。2.6如果步骤2.5没有检测到候选轮廓，则退出到下面步骤2.8，如果有一个轮廓，则提取子轮廓的中点坐标，并且将它们按照颜色排序,如图4(d)。

2.7求取相应直线与外轮廓圆的交点P1,P2,Q1,Q2(如图4(e)),并且查看地标是否满足交比不变性。即查看等式是否在误差允许的范围内成立。如果有多个候选轮廓，则选择上述等式误差最小的作为我们的地标。

2.8按照颜色顺序输出子轮廓的中点坐标，子轮廓的中点坐标可以通过公式求得(轮廓由n像素点构成，其中x_i为第i点的图像横坐标、y_i为纵坐标，为中点坐标)。最后通过投影变换求解方程组，就可以求解出无人机相对于地标的位置信息。

2.9根据无人机兴对地标位置以及针孔相机模型对无人机姿态做进一步解算，如图4(f)，将已经获取的信息转换至无人机坐标系姿态位置信息并反馈至飞行控制系统以协助飞控做下一步控制决策。

Claims (3)

1.一种用于无人机精准着陆的多特征信息地标检测方法，包括多特征地标的设计方法以及相应的高效检测算法，其特征是：包括轮廓层次信息、几何位置信息、颜色信息、投影不变量多种特征信息构成地标的识别、判断及定位方法，实现无人机的实时定位并辅助无人机着落。

2.根据权利要求1所述的用于无人机精准着陆的多特征信息地标检测方法，其特征是：地标图案由具有嵌套关系的圆和圆环组成，外层大圆环确定地标的兴趣区域，大圆环内部设置四个实心圆，这构成地标的轮廓层次信息；有一个实心圆位于外圆环中心，其他三个实心圆按照一定角度和距离环绕在外圆环中心，构成几何位置信息；四个实心圆填充不同的颜色，色彩的特定分布作为颜色信息；其中两个实心圆距离外圆环圆心长度相同，这两个实心圆圆心与外圆环圆心连接的两条直线与外圆环交点形成两个的交比值，作为投影不变量。

3.根据权利要求1所述的用于无人机精准着陆的多特征信息地标检测方法，其特征在于，高效检测算法辅助无人机着落方法包含以下几个步骤：

(3.1)将摄像机拍摄到的图片进行灰度化，得到灰度图片，为克服光照对地标的影响，对地标进行归一化操作，将灰度图片的像素值范围转换到0～255之间得到标准化的灰度图片；

(3.2)运用canny边缘检测算法对步骤(3.1)得到的标准化灰度图片进行边缘检测，进行轮廓提取进而得到带有轮廓信息的轮廓图片；在实际操作中发现，当地标距离较远时，轮廓中地标的边沿可能出现了断裂的情况，此时，需要在轮廓检测前对轮廓进行形态学膨胀；

(3.3)梳理上述步骤中得到的地标轮廓的层次信息，包括父轮廓，子轮廓，前轮廓，后轮廓信息并保存成两个线性表，用vector<Contours>存储轮廓信息，用vector<Vec4i>存储轮廓的层次信息；

(3.4)线性遍历轮廓信息表vector<Vec4i>,对于表中的每一个轮廓，查看它的所有子轮廓的个数，并将子轮廓个数为4的轮廓信息保留下来作为候选地标信息；

(3.5)对于步骤(3.4)得到的轮廓信息，首先对轮廓进行椭圆检测，排除那些不是椭圆的候选轮廓，对于剩下的轮廓，通过检测内部轮廓的相对大小判断是否为真正的地标轮廓；首先计算子轮廓的方差v，计算公式为式中，num_i为第i个子轮廓的点数；其次设置阈值，当子轮廓方差小于方差阈值时，认为这是进一步的候选地标轮廓；选择适当的阈值,子轮廓半径为r时，设置方差阈值为：

(3.6)如果步骤(3.5)已经没有候选轮廓，则退出到下面步骤(3.8)，如果有一个轮廓，则提取子轮廓的中点坐标，并且将它们按照相对位置和颜色进行排序；

(3.7)求取相应直线与外轮廓圆的交点并计算交比值；并检验地标是否满足交比不变性；如果存在多个候选轮廓，则满足交比不变性且误差最小的作为地标；

(3.8)按照颜色顺序输出子轮廓的中点坐标，子轮廓的中点坐标可以通过公式求得，轮廓由n像素点构成，其中x_i为第i点的图像横坐标、y_i为纵坐标，为中点坐标；最后通过投影变换求解方程组，就可以求解出无人机相对于地标的位置信息；

(3.9)根据求解的无人机相对位置以及姿态传感器的数据对无人机姿态做进一步解算，得到最优估计的姿态位置信息并反馈至飞行控制系统以协助飞行控制系统做下一步控制决策。