CN111307157A - 一种基于视觉的无人机自主降落的导航信息解算方法 - Google Patents

Abstract

本发明涉及一种基于视觉的无人机自主降落的导航信息解算方法，该方法包括如下步骤：(1)设计并制作地标，将地标张贴在降落平台上；(2)将降落平台上的地标作为检测目标，保持无人机的摄像头垂直向下，持续拍摄检测目标图像；(3)对检测目标图像进行预处理；(4)基于预处理的检测目标图像进行目标检测；(5)根据检测到的目标图像解算导航信息。与现有技术相比，本发明解决了无人机高度变换视野丢失问题，并且根据地标的几何特征解算导航信息，计算过程简单，增强了算法的实时性。

Description

一种基于视觉的无人机自主降落的导航信息解算方法

技术领域

本发明涉及一种无人机自主降落的导航信息解算方法，尤其是涉及一种基于视觉的无人机自主降落的导航信息解算方法。

背景技术

近年来，无人机技术迅速发展，由于无人机具有自主化、智能化等特点，它在军事、商业、生活等领域的应用日益广泛。成功检测、跟踪目标以及自主着陆对进一步提高无人机自主化、智能化具有重大意义。为实现这一目标，传统方法通常是采用全球定位系统(Global Positioning System,GPS)和惯性导航系统(Inertial Navigation System,INS)组合的方式。然而，这种方法难以确保降落时的降落精度，而且GPS信号容易受到干扰，增加了在复杂环境中着陆的事故率。

与传统方法相比，基于视觉的导航系统具有很强的抗干扰能力，视觉传感器可以实时捕捉外部环境中的运动信息。因此，基于视觉导航实现无人机自主着陆成为一个热门的研究方向。目前有很多关于视觉导航的研究，然而这些方法应用于无人机降落的导航信息解算时存在一定的局限性，主要体现在如下两个方面：

其一，诸如模板匹配、多目视觉等方法计算量大、处理速度慢，实时性差。

其二，在降落过程中，无人机的视野中的视觉标识尺寸和形状会发生变化，甚至一部分标识不在视野内，无人机无法识别出降落标志，导致降落失败。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于视觉的无人机自主降落的导航信息解算方法。

本发明的目的可以通过以下技术方案来实现：

一种基于视觉的无人机自主降落的导航信息解算方法，该方法包括如下步骤：

(1)设计并制作地标，将地标张贴在降落平台上；

(2)将降落平台上的地标作为检测目标，保持无人机的摄像头垂直向下，持续拍摄检测目标图像；

(3)对检测目标图像进行预处理；

(4)基于预处理的检测目标图像进行目标检测；

(5)根据检测到的目标图像解算导航信息。

所述的地标由外到内由5个黑白相间的图形嵌套组成，最外两个图形是正方形，中间两个图形是等边三角形，最内的图形是正方形，所有图形的中心分布在同一条轴线上，由外向内的5个图形的面积比为32：16：4：2：1。

步骤(3)具体为：

(31)将拍摄的每一帧检测目标图像缩放至宽度为w，高度为h，计算第i帧目标图像的中心点(x_ic，y_ic)：

(32)对每一帧检测目标图像经灰度化处理，再经过高斯平滑去除噪声；

(33)针对每一帧检测目标图像，将图像二值化处理成黑白图像：

其中，img(x,y)为二值化处理前像素点(x，y)的灰度值，img′(x,y)为二值化处理后像素点(x，y)的灰度值，threshold为二值化阈值。

二值化处理过程中通过动态阈值方法设定二值化阈值。

步骤(4)具体为：

(41)对黑白图像进行边缘检测，获取层次关系，将每个轮廓及其包含的子轮廓存为一组；

(42)根据轮廓的数量、位置关系、面积比排除不满足条件的轮廓；

(43)对得到满足条件的轮廓进行多边形拟合，若轮廓数量和角点数目满足先验知识，视这组轮廓为正确的，成功检测到了目标。

解算的导航信息包括无人机机体坐标系下的地标位置、无人机与降落平台的航向角偏差以及无人机相对地标的高度。

步骤(5)中无人机机体坐标系下的地标位置通过如下方式获得：

(51)在像素坐标系下，提取目标图像中由内向外第二个正方形轮廓的四个角点坐标(x_rj,y_rj),j∈[1,4]和第一个三角形轮廓的三个角点坐标(x_ti,y_ti),i∈[1,3]；

(52)计算像素坐标系下正方形中心位置(x_rc,y_rc)和三角形中心位置(x_tc,y_tc)：

(53)根据三角形轮廓的三个角点坐标计算得到三角形的最大边长l_max；

(54)计算三角形中心位置到该帧目标图像的中心点的距离e₀：

e_x＝x_tc-x_ic，e_y＝y_tc-y_ic；

(55)计算图像坐标系下三角形中心点的坐标(x_cc,y_cc)：

其中，L为该三角形的实际边长；

(56)在机体坐标系下，用三角形中心点位置表示地标位置得到无人机机体坐标系下的地标位置坐标(x_b,y_b)：

其中，α为无人机的偏航角。

无人机与降落平台的航向角偏差θ通过下式得到：

无人机相对地标的高度采用线性插值方法获得，具体地：

预先记录无人机相对地标的实际高度对应的三角形最大像素边长，共两组数据，其中一组要求地标中心与图像中心对齐，另一组要求地标中心与图像中心间的偏移量为D，测量n次，记录地i次无人机相对地标的实际高度H_i以及对应的三角形最大像素边长L_1i、L_2i，修正得到地i次测量的最大像素边长，记为L_i：

最后，通过线性插值方法得到人机相对地标的高度h：

与现有技术相比，本发明具有如下优点：

(1)计算量小，处理速度快，提高地标检测的实时性。

(2)图像由多个形状不同的轮廓嵌套组成，分级检测，解决了无人机因高度变化丢失视野的问题。并且三角形稳定性最好，解算高度时对边长进行修正，降低了图像畸变的负面影响。

附图说明

图1为本发明基于视觉的无人机自主降落的导航信息解算方法的流程框图；

图2为本发明实施例中地标的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

如图1所示，一种基于视觉的无人机自主降落的导航信息解算方法，该方法包括如下步骤：

(1)设计并制作地标，将地标张贴在降落平台上；

(2)将降落平台上的地标作为检测目标，保持无人机的摄像头垂直向下，持续拍摄检测目标图像；

(3)对检测目标图像进行预处理；

(4)基于预处理的检测目标图像进行目标检测；

(5)根据检测到的目标图像解算导航信息。

如图2所示，地标由外到内由5个黑白相间的图形嵌套组成，最外两个图形是正方形，中间两个图形是等边三角形，最内的图形是正方形，所有图形的中心分布在同一条轴线上，由外向内的5个图形的面积比为32：16：4：2：1。本实施例中，地标由外而内的颜色分别为黑、白、黑、白和黑，最外正方形的边长为38cm，为减少反光的影响，采用粗糙的纸打印张贴。

步骤(3)具体为：

(31)将拍摄的每一帧检测目标图像缩放至宽度为w，高度为h，计算第i帧目标图像的中心点(x_ic，y_ic)：

(32)对每一帧检测目标图像经灰度化处理，再经过高斯平滑去除噪声；

(33)针对每一帧检测目标图像，将图像二值化处理成黑白图像：

其中，img(x,y)为二值化处理前像素点(x，y)的灰度值，img′(x,y)为二值化处理后像素点(x，y)的灰度值，threshold为二值化阈值。

二值化处理过程中通过动态阈值方法设定二值化阈值。主要包括以下两部分：假如在当前帧图像成功检测到了地标，圈定感兴趣区域(ROI),对该部分使用OTSU算法得到局部阈值，与当前帧全局阈值比较，若差值在合理的范围内，则存储该局部阈值作为下一帧二值化的全局阈值。若在连续多帧图像中未检测到地标，开启阈值搜素模式，按固定步长搜索(0，255)的子区间，重新找回阈值。

步骤(4)具体为：

(41)对黑白图像进行边缘检测，获取层次关系，将每个轮廓及其包含的子轮廓存为一组；

(42)根据轮廓的数量、位置关系、面积比排除不满足条件的轮廓；

(43)对得到满足条件的轮廓进行多边形拟合，若轮廓数量和角点数目满足先验知识，视这组轮廓为正确的，成功检测到了目标。

本实施例中更为具体地：第一步，将每个轮廓及其内部轮廓按组划分，判断该组轮廓的数量和位置关系，排除不满足条件的轮廓。第二步，计算第一步得到的轮廓间的面积比，若不满足先验知识，则排除这组轮廓。第三步，按照角点的数目对地标的各个图形由外至内进行编码,即{4，4，3，3，4}。无人机高度变化可能导致检测不到地标的全部轮廓，假设轮廓个数为n，得到一组正方形和三角形组合的集合，集合中每个元素是从上述编码中取n个值组成，左右顺序不能改变，即得到轮廓数量对应着的图形集合作为先验知识。对第二步得到的轮廓进行多边形拟合后，若轮廓数量和角点数目满足先验知识，视这组轮廓为正确的，成功检测到了地标。

解算的导航信息包括无人机机体坐标系下的地标位置、无人机与降落平台的航向角偏差以及无人机相对地标的高度。

步骤(5)中无人机机体坐标系下的地标位置通过如下方式获得：

(51)在像素坐标系下，提取目标图像中由内向外第二个正方形轮廓的四个角点坐标(x_rj,y_rj),j∈[1,4]和第一个三角形轮廓的三个角点坐标(x_ti,y_ti),i∈[1,3]；

(52)计算像素坐标系下正方形中心位置(x_rc,y_rc)和三角形中心位置(x_tc,y_tc)：

(53)根据三角形轮廓的三个角点坐标计算得到三角形的最大边长l_max；

(54)计算三角形中心位置到该帧目标图像的中心点的距离e₀：

e_x＝x_tc-x_ic，e_y＝y_tc-y_ic；

(55)计算图像坐标系下三角形中心点的坐标(x_cc,y_cc)：

其中，L为该三角形的实际边长；

(56)在机体坐标系下，用三角形中心点位置表示地标位置得到无人机机体坐标系下的地标位置坐标(x_b,y_b)：

其中，α为无人机的偏航角。

无人机与降落平台的航向角偏差θ通过下式得到：

无人机相对地标的高度采用线性插值方法获得，具体地：

预先记录无人机相对地标的实际高度对应的三角形最大像素边长，共两组数据，其中一组要求地标中心与图像中心对齐，另一组要求地标中心与图像中心间的偏移量为D，测量n次，记录地i次无人机相对地标的实际高度H_i以及对应的三角形最大像素边长L_1i、L_2i，修正得到地i次测量的最大像素边长，记为L_i：

最后，通过线性插值方法得到人机相对地标的高度h：

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (9)

1.一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，该方法包括如下步骤：

(1)设计并制作地标，将地标张贴在降落平台上；

(2)将降落平台上的地标作为检测目标，保持无人机的摄像头垂直向下，持续拍摄检测目标图像；

(3)对检测目标图像进行预处理；

(4)基于预处理的检测目标图像进行目标检测；

(5)根据检测到的目标图像解算导航信息。

2.根据权利要求1所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，所述的地标由外到内由5个黑白相间的图形嵌套组成，最外两个图形是正方形，中间两个图形是等边三角形，最内的图形是正方形，所有图形的中心分布在同一条轴线上，由外向内的5个图形的面积比为32：16：4：2：1。

3.根据权利要求2所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，步骤(3)具体为：

(31)将拍摄的每一帧检测目标图像缩放至宽度为w，高度为h，计算第i帧目标图像的中心点(x_ic，y_ic)：

(32)对每一帧检测目标图像经灰度化处理，再经过高斯平滑去除噪声；

(33)针对每一帧检测目标图像，将图像二值化处理成黑白图像：

其中，img(x,y)为二值化处理前像素点(x，y)的灰度值，img′(x,y)为二值化处理后像素点(x，y)的灰度值，threshold为二值化阈值。

4.根据权利要求3所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，二值化处理过程中通过动态阈值方法设定二值化阈值。

5.根据权利要求3所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，步骤(4)具体为：

(41)对黑白图像进行边缘检测，获取层次关系，将每个轮廓及其包含的子轮廓存为一组；

(42)根据轮廓的数量、位置关系、面积比排除不满足条件的轮廓；

(43)对得到满足条件的轮廓进行多边形拟合，若轮廓数量和角点数目满足先验知识，视这组轮廓为正确的，成功检测到了目标。

6.根据权利要求5所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，解算的导航信息包括无人机机体坐标系下的地标位置、无人机与降落平台的航向角偏差以及无人机相对地标的高度。

7.根据权利要求6所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，步骤(5)中无人机机体坐标系下的地标位置通过如下方式获得：

(51)在像素坐标系下，提取目标图像中由内向外第二个正方形轮廓的四个角点坐标(x_rj,y_rj),j∈[1,4]和第一个三角形轮廓的三个角点坐标(x_ti,y_ti),i∈[1,3]；

(52)计算像素坐标系下正方形中心位置(x_rc,y_rc)和三角形中心位置(x_tc,y_tc)：

(53)根据三角形轮廓的三个角点坐标计算得到三角形的最大边长l_max；

(54)计算三角形中心位置到该帧目标图像的中心点的距离e₀：

e_x＝x_tc-x_ic，e_y＝y_tc-y_ic；

(55)计算图像坐标系下三角形中心点的坐标(x_cc,y_cc)：

其中，L为该三角形的实际边长；

(56)在机体坐标系下，用三角形中心点位置表示地标位置得到无人机机体坐标系下的地标位置坐标(x_b,y_b)：

其中，α为无人机的偏航角。

8.根据权利要求7所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，无人机与降落平台的航向角偏差θ通过下式得到：

9.根据权利要求7所述的一种基于视觉的无人机自主降落的导航信息解算方法，其特征在于，无人机相对地标的高度采用线性插值方法获得，具体地：

预先记录无人机相对地标的实际高度对应的三角形最大像素边长，共两组数据，其中一组要求地标中心与图像中心对齐，另一组要求地标中心与图像中心间的偏移量为D，测量n次，记录地i次无人机相对地标的实际高度H_i以及对应的三角形最大像素边长L_1i、L_2i，修正得到地i次测量的最大像素边长，记为L_i：

最后，通过线性插值方法得到人机相对地标的高度h：

Images