CN106774386B - 基于多尺度标识物的无人机视觉导航降落系统 - Google Patents

Abstract

一种基于多尺度标识物的无人机视觉导航降落系统，包括多尺度标识物，识别及姿态结算算法和导航系统，多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。本发明尺度变化适应力高、姿态解算能力好、扩展性较好。

Description

基于多尺度标识物的无人机视觉导航降落系统

技术领域

本发明涉及无人机驾驶飞行器(Unmanned Aerial Vehicle)简称无人机(UAV)和计算机视觉(Computer vision)领域，尤其是一种无人机视觉导航降落系统。

背景技术

无人机自主导航降落是指无人机利用飞行控制系统和自身传感器进行定位导航并最终控制无人机降落的过程。自主降落是实现自主飞行的重要基础和关键技术。根据任务的不同要求，通常对于导航与控制精度，环境鲁棒性及可靠性均有较高的要求。

传统的无人机自主着陆的导航技术包括：惯性导航系统(INS)、GPS导航系统和INS/GPS组合导航系统。惯性导航系统是利用陀螺、加速度计等惯性元件估计无人机在运动过程中的角速度和加速度，然后通过积分计算和传感器融合，得到无人机的位置、速度等导航参数。惯性导航的缺点是传感器的数据会随着时间的推移而漂移，因此难以长时间独立工作，而需与其它导航方法组合使用；GPS导航系统利用导航卫星进行导航定位，但由于完全依靠导航卫星，存在信号易受干扰和技术垄断等问题，同时导航精度有限，一般GPS的精度在5-10米。差分GPS精度高，但价格昂贵。近几年，由于计算机视觉的快速发展和机载运算设备的性能不断提升。视觉导航凭借其在导航精度，任务的处理能力，环境的适应能力上的优势逐步成为导航降落中的重要方法和未来的发展的重要趋势。

现有的基于视觉的无人机导航降落系统主要包括：基于人工标识物的导航降落系统、基于自然场景分析的导航降落系统和基于地基信息导航降落系统。

基于人工标示物的导航降落系统，需要在降落区域布置人工标识物，但在可靠性，环境鲁棒性上要高于另两种方法。

基于标示物的导航降落能够满足大多数此类无人机任务场景，如自主返航降落，物资运输投递，自主能源补给等。

目前常见的用于导航的识别物为一些平面图案，包括“H”型，圆形，矩形标识物，Apriltage，ARtag等编码表示物，或者由LED组成的平面标识物。此类算法，可以通过标识物，进行相机的位置解算，被用在视觉导航，增强现实(AR)等场景中。但目前基于标识物的降落方法有以下几点不足：

1)由于在无人机降落过程中，飞行高度发生变化，所以所获取的图像会有巨大的尺度变化，而该类标识物无法进行尺度的调整，造成标识物检测失败，姿态结算错误等问题。在移动目标视觉导航降落的过程中，

2)通常一般形状标识物，识别和姿态估计的计算量较大，实时性较差。不具备旋转，仿射不变性。

也由于标识物识别上的瓶颈，使得无法设计出很好位置解算方法和导航控制策略，使得传统的标示物视觉导航算法无法很好的满足实际任务的需求。

发明内容

为了克服已有无人机视觉导航降落系统的尺度变化适应力低、姿态解算能力差、扩展性不足的不足，本发明提供了一种尺度变化适应力高、姿态解算能力好、扩展性较好的基于多尺度标识物的无人机视觉导航降落系统。

本发明解决其技术问题所采用的技术方案是：

一种基于多尺度标识物的无人机视觉导航降落系统，所述系统包括多尺度标识物和导航系统，所述多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；通过direct linear transform方法解算Homography，然后通过Homography的分解求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。

进一步，所述坐标系标定模块中，在待降落区域布置标识物，建立地面标识物和无人机采集到的图像几何联系，定义以下坐标系：世界坐标系(w：O_w-W_xW_yW_z)，相机坐标系(C：O_c-C_xC_yC_z)，无人机坐标系(B：O_b-B_xB_yB_z)和图像坐标系(I：uv)；

设定相机是垂直安装于无人机重心处，方向垂直朝下，因此相机坐标系和无人机坐标系经过之间的关系是固定的，坐标系之间通过旋转平移转化；

在图像坐标系中，以图像左上角为原点建立u-v坐标系，图像坐标的(0，0)坐标是图片的左上角，x轴为图像矩形上面那条水平线，y轴为图像图像矩形左边那条垂直线。将相机的光轴与图像平面的焦点(也成为图像的主点principal point)，作为该坐标系的原点，一般位于图像中心；X轴平行于u轴，y轴平行于v轴，(u₀，v₀)代表o₁在u-v坐标系下的坐标，u和v与x和y存在以下关系：

u＝x+u₀v＝y+v₀

相机坐标系以O为摄像机光心，X_c轴和Y_c轴与图像坐标系x轴和y轴平行，Z_c为主光轴，和图像平面垂直，交点为图像的主点o₁，oo₁位摄像机的焦距，f_c＝(f/dx,f/dy)；

世界坐标系中，设定标识物的几何中心点作为世界坐标系的(0,0,0)位置，假设空间点P在世界坐标系下的齐次坐标是(x_w，y_w，z_w)，那么该点在相机坐标系下的齐次坐标是(x_c，y_c，z_c)

R为以相机坐标系为基准的旋转矩阵，T为以相机坐标系为基准的平移向量，将世界坐标系中的一个点，转化到相机坐标系中；

通过以上关系表达图像平面[u,v]，相机坐标系和世界坐标系中间的关系，从而确定无人机在世界坐标系中的位置，完成导航降落。

再进一步，所述导航系统采用MVC框架和ROS框架相结合，最顶层的视图层包含图像的显示模块和飞机姿态回传模块；模型层包装无人机的视觉伺服逻辑上的控制，将视觉感知信息转化为无人机控制器；控制层实现与无人机飞行控制器之间的交互，支持与Ardrone，Asctec和Pixhawk等飞控的通信；视觉算法层包括目标物识别算法和姿态结算算法。

所述视觉算法层中，通过相机获取的图像作为输入，进行视觉处理把姿态位置信息交给逻辑控制层，然后根据不同的控制模型，输出给控制层实现无人机视觉自动控制；各层依附在ROS框架中，各层之间通信交互按照ROS的通信机制标准实现。

本发明的有益效果主要表现在：克服了传统基于标识物导航问中尺度变化适应力低，姿态解算能力差，扩展性不足的问题，提升了导航降落的精度，使得无人机能够更好的完成实际的任务；标识物本身的扩展性强，适合根据不同的任务进行快速的改造。除了标识物算法之外，本发明同时实现了完整的无人机导航控制系统，可以匹配目前市面上大多数的民用无人机控制系统。

附图说明

图1是坐标系的示意图。

图2是现有的各种标识物的示意图，该类标识物没有考虑尺度的变化。

图3是现有的另一类标识物的示意图，该类标识物考虑了尺度的变化，只能进行2个或3个自由度的估计。

图4是本发明的原始多尺度标识物图。

图5是结合编码的标识物的示意图。

图6是结合LED显示屏的标识物的示意图。

图7是基于多尺度标识物的无人机视觉导航降落系统的原理框图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图7，一种基于多尺度标识物的无人机视觉导航降落系统，

定义坐标系，在待降落区域布置了标识物，建立地面标识物和无人机采集到的图像几何联系，定义了以下坐标系。

世界坐标系(w：O_w-W_xW_yW_z)，相机坐标系(C：O_c-C_xC_yC_z)，无人机坐标系(B：O_b-B_xB_yB_z)，图像坐标系(I：uv)

由于系统假设相机是垂直安装于无人机重心处，方向垂直朝下，因此相机坐标系和无人机坐标系经过之间的关系是固定的，坐标系之间可以通过旋转平移可以转化；

在图像坐标系中，一般以图像左上角为原点建立u-v坐标系；

图像坐标的(0，0)坐标，是图片的左上角。x轴为图像矩形上面那条水平线，y轴为图像图像矩形左边那条垂直线。将相机的光轴与图像平面的焦点(也成为图像的主点principal point)，作为该坐标系的原点，一般位于图像中心。X轴平行于u轴，y轴平行于v轴，(u0，v0)代表o1在u-v坐标系下的坐标，u和v与x和y存在以下关系：

u＝x+u₀v＝y+v₀

相机坐标系：O为摄像机光心，X_c轴和Y_c轴与图像坐标系x轴和y轴平行，Z_c为主光轴，和图像平面垂直，交点为图像的主点o₁，oo₁位摄像机的焦距。f_c＝(f/dx,f/dy)因为dx，dy的单位是毫米/像素，所以f_c的单位为像素。

世界坐标系是为了表述无人机位置而引入，假设标识物的几何中心点作为世界坐标系的(0,0,0)位置。假设空间点P在世界坐标系下的齐次坐标是(x_w，y_w，z_w)，那么该点在相机坐标系下的齐次坐标是(x_c，y_c，z_c)

R以相机坐标系为基准的旋转矩阵。T，以相机坐标系为基准的平移向量。可以将世界坐标系中的一个点，转化到相机坐标系中。

通过以上关系就可以表达图像平面[u,v]，相机坐标系和世界坐标系中间的关系，从而确定无人机在世界坐标系中的位置，完成导航降落。

本系统假设在精准的视觉导航之前，无人机已经根据GPS坐标，到达待降落区域。

本实施例的标识物的设计考虑到目前常用标示物遇到的几个问题：1、无法克服尺度变化问题；2、只能进行2D的姿态估计。3、扩展性差。

目前大多数的标识物(参照图2所示)，并没有考虑尺度的变化，在无人机降落过程中会出现，部分标识物超出摄像头视野，从而无法识别或跟踪失败的情况。

参照图3，该标识物也考虑了尺度上的变化，但由于本身的特性，只能进行2自由度(x，y)3或者自由度的估计(x，y，z)。而无人机本生的控制有6个自由度(X，Y，Z，α，β，γ)三个轴以及饶三个轴转动的自由度。

标识物确定之后，可能在不同的任务中需要适应不同的环境，如需要使得标识物具备信息存储能力；在弱光环境下，可能需要主动发光。标识物无法进行快速的生成。

参照图4～图6，本发明提出一种多尺度的标识物，更加准确的说是研究了一种多尺度标识物的生成方法。以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个或者两个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍。确定该标识物只需要确定两个参数，像素尺寸，标识物的整体尺寸。确定了这两个尺寸之后，标识物可以自动生成。考虑到可扩展性，利用该方法可以快速生成带有信息存储，LED屏幕显示等标识物。

标识物的识别的过程如下：1)在全图中计算梯度的方向和大小；2)将类似梯度的点进行聚类；3)进行基于graph的直线分割；4)然后对得到之间进行矩形检测；5)在得到的矩形中，确定视场中最大且同时存在四个的矩形，计算各自的矩形中心点。

在检测到矩形之后，可以根据矩阵中心点来进行姿态的估计。利用四个以上矩阵的中心点，已知其标示物上的实际坐标，以及图像坐标，此类问题可以表述成perspective-N-point(PNP)问题。本发明利用的标识物为平面标识物，因此可以假设世界坐标系在标识物中心点，标示物上的点的z轴坐标为0且各矩阵的中心坐标已知。通过direct lineartransform方法解算Homography，然后通过Homography的分解求得相机相对于标识物的旋转平移矩阵。

导航系统设计：导航系统由图像获取模块，运算处理模块组成，其中运算处理模块负责目标物识别，姿态解算，导航控制，以及与无人机飞行控制器的通信。

本发明采用MVC框架和ROS框架相结合，最顶层的视图层包含了图像的显示，飞机姿态回传等交互模块。模型层包装了无人机的视觉伺服逻辑上的控制，将视觉感知信息转化为无人机控制器；控制层实现了与无人机飞行控制器之间的交互，支持与Ardrone，Asctec，Pixhawk等飞控的相互通信。视觉算法层包括目标物识别，姿态结算等视觉算法。整体的工作流程为，通过相机获取的图像作为输入，进行视觉处理把姿态位置信息交给逻辑控制层，然后根据不同的控制模型，输出给控制层实现无人机视觉自动控制。各层之间耦合度低，并依附在ROS框架中，各层之间通信交互按照ROS的通信机制标准实现。

本实施例的无人机视觉导航是通过机载图像获取设备(摄像头)，获取环境中视觉信息，进行分析和感知，完成无人机的导航控制。基于标识物的视觉导航方法，可以通过标识物，解算无人机相对于地面的位置，姿态，结合无人机本身的惯导信息，控制无人机机，完成如精准降落等复杂任务。

Claims (5)

1.一种基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述系统包括多尺度标识物和导航系统，所述多尺度标识物以图像中心作为世界坐标系原点(0,0,0)，边长1个像素，以该像素为中心向四个方向延伸，每向外延伸一次，黑色矩形的边长变为原来的2倍；按照像素尺寸和标识物的整体尺寸自动生成所述多尺度标识物；假设世界坐标系在标识物中心点，标识物上的点的z轴坐标为0且各矩阵的中心坐标已知；通过direct lineartransform方法解算Homography，然后通过Homography的分解求得相机相对于标识物的旋转平移矩阵；所述导航系统包括坐标系标定模块、图像获取模块和运算处理模块，所述运算处理模块用于负责目标物识别、姿态解算、导航控制以及与无人机飞行控制器的通信。

2.如权利要求1所述的基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述坐标系标定模块中，在待降落区域布置标识物，建立地面标识物和无人机采集到的图像几何联系，定义以下坐标系：世界坐标系(w：Ow-WxWyWz)，相机坐标系(C：Oc-CxCyCz)，无人机坐标系(B：Ob-BxByBz)和图像坐标系(I：uv)；

设定相机是垂直安装于无人机重心处，方向垂直朝下，因此相机坐标系和无人机坐标系经过之间的关系是固定的，坐标系之间通过旋转平移转化；

在图像坐标系中，以图像左上角为原点建立u-v坐标系，图像坐标的(0，0)坐标是图片的左上角，x轴为图像矩形上面那条水平线，y轴为图像图像矩形左边那条垂直线，将相机的光轴与图像平面的焦点作为该坐标系的原点，位于图像中心；X轴平行于u轴，y轴平行于v轴，(u0，v0)代表o1在u-v坐标系下的坐标，u和v与x和y存在以下关系：

u＝x+u0 v＝y+v0

相机坐标系以O为摄像机光心，Xc轴和Yc轴与图像坐标系x轴和y轴平行，Zc为主光轴，和图像平面垂直，交点为图像的主点o1，oo1位摄像机的焦距，fc＝(f/dx,f/dy)；

世界坐标系中，设定标识物的几何中心点作为世界坐标系的(0,0,0)位置，假设空间点P在世界坐标系下的齐次坐标是(xw，yw，zw)，那么该点在相机坐标系下的齐次坐标是(xc，yc，zc)，R为以相机坐标系为基准的旋转矩阵，t为以相机坐标系为基准的平移向量，将世界坐标系中的一个点，转化到相机坐标系中；

通过以上关系表达图像平面[u,v]，相机坐标系和世界坐标系中间的关系，从而确定无人机在世界坐标系中的位置，完成导航降落。

3.如权利要求1或2所述的基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述导航系统采用MVC框架和ROS框架相结合，最顶层的视图层包含图像的显示模块和飞机姿态回传模块；模型层包装无人机的视觉伺服逻辑上的控制，将视觉感知信息转化为无人机控制器；控制层实现与无人机飞行控制器之间的交互，支持与Ardrone，Asctec和Pixhawk飞控的相互通信；视觉算法层包括目标物识别算法和姿态结算算法。

4.如权利要求3所述的基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述视觉算法层中，通过相机获取的图像作为输入，进行视觉处理把姿态位置信息交给逻辑控制层，然后根据不同的控制模型，输出给控制层实现无人机视觉自动控制；各层依附在ROS框架中，各层之间通信交互按照ROS的通信机制标准实现。

5.如权利要求1或2所述的基于多尺度标识物的无人机视觉导航降落系统，其特征在于：所述多尺度标识物的识别的过程如下：1)在全图中计算梯度的方向和大小；2)将类似梯度的点进行聚类；3)进行基于graph的直线分割；4)然后对得到之间进行矩形检测；5)在得到的矩形中，确定视场中最大且同时存在四个的矩形，计算各自的矩形中心点；根据矩阵中心点进行姿态的估计。