CN106225787B - 一种无人机视觉定位方法 - Google Patents

Abstract

本发明提供了一种适用于动态场景下的定位标志和标识识别定位方法。所设计的定位标志能够在低分辨率和复杂的环境下被识别，通过多步验证确保了定位标志识别的可靠性，方法依据无人机空间位置与姿态关系建立了偏差解析模型，从而根据图像中标志物中所提供的信息进行定位，输出位置与角度信息。可应用于无人机物流、无人机监察等方向。

Description

一种无人机视觉定位方法

技术领域

本发明属于机器视觉/无人机定位领域，具体涉及一种通过视觉传感器对人工标志物进行定位与识别的方法。

背景技术

随着互联网技术的不断进步，我国电子商务发展迅速，市场规模扩张迅速，物流产业也得到了飞速发展。然而风光的背后也暴露出了诸多问题，如快递送达不及时，货物送到损坏严重等，这些问题也反映出人工物流领域的缺陷。为了弥补这些缺陷，各大物流企业开始思考如何在降低成本的同时还能保证服务的质量，满足客户需求。由此，具有造价低、体积小、操控简便、生存能力较强等优点的无人机派送方案应运而生。

如今无人机派送在国外已经形成了较为完善的运行模式，其中尤以美国亚马逊为例。该公司无人机物流试运行模式采用“配送车＋无人机”为国内的投入使用提供了参考方案。该模式主要是无人机负责物流配送的“最后一公里”。举例来说就是，配送车在离开仓库之后，只需行走在主路上即可，然后在每个小支路处停车，并派出无人机进行配送，完成配送之后自动返航准备下一个投送任务。

要实现上述自动控制功能，需要在无人机上加装部分装置以满足定点飞行的要求，其中最为关键的是使无人机需要能够知道其下一个目的点在何处并动态调整路径，即可在某种手段下导航至投送点并自动返回。这种无人机导航技术主要分为有GPS和无GPS两大类，前者通过接收GPS信号来规划路径导航，后者则借助一些传感器对指定参照物进行感知来辅助导航。目前国内外针对无GPS下无人机导航及无人机派送这种特定模式下的控制方法开展了大量的研究，但还没有能够完全兼顾成本、效果与易实现程度的解决方案出现。

虽然目前无人机派送在物流运输上还存在着一些问题和缺点亟待解决，但从它所带来的经济价值和效果上看，无人机在电商物流发展的前景仍是广阔的，相关技术的研究和发明也是具有非常大的价值的。

相关技术

1 无人机导航技术

导航技术是按照要求的精度，沿着预定的航线在指定的时间内正确地引导无人机至目的地。目前在无人机上采用的导航技术主要包括惯性导航、卫星导航、视觉导航及地磁导航等。在无人机导航中，根据无人机担负的不同任务来选择合适的导航技术至关重要。

2 无人机飞行控制技术

飞行控制是利用遥控设备或飞行控制装置完成起飞、空中飞行、执行任务和返场回收等整个飞行过程的关键技术，对于无人机相当于驾驶员对于有人机的作用。根据实际情况通过人工或程序自动为无人机指定动作，配合导航技术完成各项复杂功能。

3 视觉定位技术

机器视觉技术具备定位功能，能够自动判断物体的位置，并将位置信息通过一定的通讯协议输出。定位检测可分为两个步骤，一是制作实现功能所需的标准模板，二是通过机器视觉装置将被摄取目标转换成图像信号，传送给专用的图像处理系统进行搜索与定位。基于机器视觉的视觉定位技术不但克服了传统人工定位方法费时费力的缺点，同时也发挥了自己快速准确的优点，多用于全自动装配、生产和控制。

现有技术不足

1 对于无人机导航技术，目前多采用基于GPS的单一导航技术或组合导航技术，适用于高空、没有干扰、远距离的飞行导航，对GPS信号的依赖程度很高，但民用GPS定位精度有限，难以满足物流派送中精确的投递任务要求，很可能将快递投丢，因此需要借助一些其他定位辅助方法。

2对于无人机飞行控制技术，主流的方式是无人机飞控加无线电遥控器相互配合，无人机内部的飞控自动控制飞机的姿态和速度，操控者使用遥控器控制无人机完成指定的操作。这种控制方式在派送任务中显然是不合理的，应该让无人机在启动后能够通过一定途径自动地获取任务、规划路径并返回，以尽可能的减少送货人员的操作。

3 视觉定位技术多被用在静态的生产、装备环境下，如要在无人机上装配视觉定位系统，视觉传感器会处于不稳定的运动状态之下，成像质量难以保证，导致判断精度有所下降。另外考虑到续航的因素，体积重量过大的高性能图像处理系统也不适合在无人机上作业。

发明内容

本发明为了解决上述技术问题，克服现有技术中的不足，设计了一种适用于无人机视觉定位系统中的定位标志，根据无人机空间位置与姿态关系建立了偏差解析模型并设计了视觉识别与定位算法，提出的无人机视觉定位方法具体采用如下具体步骤：

（1）确定定位标志

设置定位标志为一黑色矩形区域，该区域内部按照预先设定的规则放置两组大小不同的白色正方形，其中大的组里正方形数量为3个，小的组里正方形数量为6个，其中设定的规则为：3个大正方形分布于黑色矩形区域的三个角，并分别标记正方形中心点为M₁、M₂、M₃，一小正方形位于黑色区域剩下的那个角并标记其中心点为m₂，另一小正方形位于黑色矩形区域中心并标记其中心点为m₁，剩余的四个小正方形对称设置在m₁的四周，M₂和M₃的连线以及M₁和m₂的连线均经过m₁，9个正方形互相没有重叠部分；

（2）定位标志的识别与提取

（21）首先进行图像读取和灰度化，并采用阈值分割方法将图像中的背景去除，其次对图像进行边缘检测与外部轮廓识别，将像素点大于阈值的外部轮廓保留下来，然后对保留下来的外部轮廓进行多边形特征筛选，筛选出所有四边形区域，最后对四边形区域进行内部轮廓识别，筛选出内部轮廓数量为9个的四边形区域；

（22）在得到的四边形区域中，首先确定定位标志中代表三个大正方形的3个点，比较3个点两两之间模的大小，确定模最大的两个点为、，三个点中剩余的点为M₁，确定的直线经过的点为，确定的直线经过的点为；

（3）无人机实际空间坐标信息的获取

（31）对图像传感器视角进行标定，选取的图像区域作为待检测区域，使用标准长度的物体置于镜头视野底部，设标定后的视角为；

（32）根据待检测区域原点以及识别出的定位标志点m₁，解析出定位标志在待检测区域中的x轴像素偏差和y轴像素偏差，其中和分别为m₁相对于待检测区域原点的横纵坐标；

（33）通过无人机返回的GPS高度信息和超声波返回的高度信息，确定当前无人机离标志点的垂直高度h；

（34）计算向量与水平轴的角度，该角度为无人机相机与定位标志的偏移角度；

（35）计算无人机实际偏离定位标志的距离

x轴实际偏差为

y轴实际偏差为

。

优选地，步骤（21）中筛选出内部轮廓数量为9个的四边形区域后，若四边形区域不唯一，则进一步筛选，判断四边形区域中是否存在两组大小不同的内部轮廓，其中大的内部轮廓数量为3,小的内部轮廓数量为6，若是，则将该四边形区域保留。

本发明具有如下有益效果：

（1）采用了不同的阈值参数进行判断和筛选，根据定位标志的轮廓特征排除其他环境的干扰因素，可用于无人机视觉定位。

（2）本发明的方法使视觉处理算法适合各种类型的相机镜头，降低了对硬件设备的依赖性，解算出来的偏差信息更有利于后续无人机的自动控制，降低了无人机控制参数的调试难度。

附图说明

图1 为定位标志设计图。

图2 为标志识别流程图。

图3 为图像轮廓识别与提取示意图。

图4 为偏差定位模型图。

图5 为标识区域解析流程图。

图6 为标识信息解析图。

具体实施方式

1）定位标志设计

地面定位标志设计的合理与否直接影响视觉定位的精度和图像处理的速度。该地面标志的设计充分考虑了环境干扰因素的影响和机载计算机的处理能力，即保证了与环境的区分度，也简化了标志的设计，增加了识别的速度和精度，该标志可以识别出位置偏差和根据图案解析出无人机相对于地面定位标志旋转角度。

图1显示了地面标志的实际尺寸和形状，考虑图像传感器的视野范围与高度的关系，以及地面标志移动和放置的便利性。该标志为宽30厘米，高26厘米的矩形区域，区域内部按照一定的规则放置了2组大小不同的白色正方形，分别为边长5.4厘米和边长2.7厘米的正方形。整个标志图案规则，颜色对比鲜明，辨识度极高。该标志的特点如下：

标志采用规则图形设计，有利于视觉识别；

标志内部9个正方形区域的位置特征，可以有效的反映无人机相对于标志的角度偏差；

通过内部9个正方形的不同颜色组合可以解析出不同的ID信息，提高标志识别的容错率；

2）标志识别与提取算法设计

本发明根据标志的外形轮廓特征，使用阈值分割和形态学处理算法及标志的几何结构判断等方法在图像中选择出符合要求的区域作为待选区域，并将符合区域交给后面的定位算法解析出空间位置信息。

标志区域提取模块软件流程如图2所示，该流程图反映了进行标志区域提取的图像处理顺序和标志区域筛选过程。流程图中对视觉算法执行的各个阶段，采用了不同的阈值参数进行判断和筛选，其目的是根据定位标志的轮廓特征排除其他环境的干扰因素，该程序中可对图像二值化阈值、轮廓像素数量、轮廓多边形的边数、轮廓多边形的边长等参数进行实时控制，增加了该程序的环境适应能力。具体过程如下：

图像读取和灰度化。

对RGB图像进行灰度化将抛弃色彩信息，可以大幅减少图像处理运算量。

图像阈值分割。

在本发明中设计的定位标志采用黑白两种颜色进行设计，与周围环境的区分度很大。因此采用阈值分割的方法可以快速有效的分离图像中感兴趣的区域，将背景从中去除，排除灰度图像中存在各种其他物体的干扰。同时进行二值处理之后图像中仅存在黑白两种灰度级别，有利于后续对图像的滤波处理。

本发明使用局部自适应阈值方法。其优点在于每个像素位置处的二值化阈值不是固定的，而是由其周围邻域像素的分布来决定的。亮度较高的图像区域的二值化阈值通常比较高，而亮度较低的图像区域的二值化阈值则会相应的缩小。不同亮度、对比度、邻域大小的局部图像区域将会拥有相对应的局部二值化阈值。这样更有利于适应对于无人机作业时复杂的环境。

图像二值形态学滤波

在对图像进行自适应二值化处理之后，如果直接进行识别会将背景中许多微小噪点误识别为目标区域，而使用二值形态学操作可以有效的滤除二值图像中的微小噪点，平滑定位标志区域边缘。因此本发明针对二值形态学操作的几种方式进行不同程度和顺序的组合，选择最佳的二值形态学组合滤波方法。

二值化后的原始图像中存在大量不连续的颗粒型噪点。本发明选择了膨胀、腐蚀、开运算、闭运算等几种二值形态学操作进行组合使用，消除了大部分噪点，使图像更加纯净，有利于后面的处理工作。

目标区域识别与提取

目标区域的识别中最关键的方法是边缘检测与轮廓识别，在进行轮廓检测时，可以根据情况选择合适的轮廓检索的模式和轮廓近似方法，选择合适的方式有利于提高图像处理效率。

图3显示了对二值形态学滤波之后的图像进行轮廓提取并筛选的步骤：

图3(a)是进行轮廓提取的原始图像；

图3(b)是对原始图像进行外轮廓提取的结果，在该图中共提取了781个轮廓，存在许多多余的轮廓区域。而这些轮廓都是由像素点组成的曲线图形，而所要提取的定位标志区域与其他微小噪点区域相比外轮廓曲线的组成需要比较多的像素点；

图3(c)显示了进行轮廓像素数量进行筛选后的结果，在程序中设定一个轮廓像素数量的下限阈值，对图3(b)中的每一个轮廓与这个阈值比较，大于这个阈值的轮廓区域被保留下来。进行筛选之后符合要求的轮廓数量减少到67个；

图3(d)是对轮廓进行多边形近似后，在经过多边形特征进行筛选后的结果。在该图中通过设置合理的多边形近视边长阈值，保证所得多边形可以反映轮廓的基本形状。由于所要提取的定位标志区域为凸四边形，因此通过判断所得多边形是否为四边形且四边形为凸四边形，可以排除许多不规则多边形区域。最后用所得四边形的最长边与事先设定的阈值进行比较，保留大于该阈值的的四边形区域。

最终经过这几步的筛选，如图3(d)中只剩下一个满足条件的四边形区域，即为目标区域，将此区域的原始图像交给后面的处理程序，至此标志识别与提取工作完成。

3）定位模型建立

根据定位标志的设计，以及无人机与地面标志点的空间位置关系，制定相应的标志点定位模型，进而通过识别地面标志点获得实际的空间坐标信息，定位模型如图4所示：

该定位模型的定位信息解析步骤为：

对图像传感器视角进行标定，选取的图像区域作为待检测区域，使用标准长度的物体（标准长度D）至于镜头视野底部，向上移动镜头是标准长度物体刚好占满的宽度，记录此时镜头移动的高度（H）。设标定后的视角为，则计算公式为：

(1.1)

视觉识别程序根据视野中标志的特征，解析出标志在图像中的x轴像素偏差，y轴像素偏差以及镜头相对于标志的旋转角度；

通过无人机返回的GPS高度信息和超声波返回的高度信息，确定当前无人机离标志点的垂直高度()；

通过视觉算法所获得的像素偏差数据和无人机返回的高度数据，可计算出无人机实际偏离标志点的距离。设x轴实际偏差为()，y轴实际偏差为()，计算公式如下：

通过该方法，可以使视觉处理算法适合各种类型的相机镜头，降低了对硬件设备的依赖性。该检测方法结合了实际高度信息，解决了由于相机镜头距离标志点远近而造成的偏差距离失真，与直接使用像素偏差的方法相比较具有更好的检测范围和控制精度。该方法解算出来的偏差信息更有利于后续无人机的自动控制，降低了无人机控制参数的调试难度。

4）定位解析算法

在上一步图像提取操作后，程序传来的是目标区域的原始图像，这样做的目的是可以在后面针对这个小区域重新预处理，得到更为精准的分割图像和检测结果。由于所提取的区域很可能包含定位标识的区域，而定位标识颜色单一且对比度极大，因此在进行图像二值化分割是采用OTSU阈值化方法。

标识区域解析模块流程图如图5所示，首先主要针对待选标识局部区域进行处理，因此首先需要从原始的图像中提取出待选标识区域所在的像素区域进行局部处理，从而提高标识解析的速度。在定位标识内部由九个正方形区域按一定的规则进行排列，因此在标识区域解析模块中可以通过检测区域内部是否存在九个正方形区域及正方形区域的大小来排除在标识区域提取模块中误识别的区域。通过区域内部九个正方形的排列规则可以检测出定位标识与相机镜头的相对旋转角度和位置偏差信息。

整个解析过程分为区域预处理和定位解析两部分：

提取区域预处理

图像提取过程中为了降低轮廓的复杂度，只对图像中标志区域的外轮廓进行了提取，就会因为定位标志的外轮廓和背景中的类似四边形过于相似，导致提取出错误的待选标志区域。因此这里需要对定位标志的内部信息进行解析，进一步判断所提取待选区域中是否包含定位标志。为了得到跟快的处理速度，对图像的处理只在待选标志的外接最小矩形区域之内进行，大大缩小了图像处理的范围，提高了检测速度。

在进行标识信息提取前，需要先对待选的标识区域进行预处理。与标识区域提取模块的处理方法相同，只是处理的图像区域范围缩小。

由于在标志信息解析程序中仅对包含待选区域的最小外接矩形图像区域进行处理，因此若待选区域中存在定位标志则定位标志占整个图像区域的二分之一以上且定位标志的灰度级别相差很大，所以在对图像进行二值化处理中使用OTSU算法可以达到最佳的分割效果和较快的处理速度。进行二值形态学滤波后定位标志内形状轮廓清晰平滑。最后对图像进行全部轮廓提取，并通过轮廓数量关系滤除在标志区域提取模块中误识别的区域。标志区域有一个外轮廓和九个轮廓区域组成，而不存在这种轮廓组合关系的待选区域将被滤除。在九个内部轮廓区域中存在其中三个轮廓区域面积大于其它六个轮廓区域面积的情况，而不存在此种关系的待选区域也将被滤除，通过对定位标志区域内部轮廓的特征分析，最终得到的区域就是包含定位标志的区域。

定位解析

根据标识区域的内部特征，可以在多个可选的标识区域中，选择出正确的标识，并通过标识的内部特征计算出旋转角度信息和位置偏差信息。

标志信息解析的关键步骤如图6所示，图6(a)对关键点所对应的坐标分别标志为、、、、。标志解析算法首先确定标志的3个定位点、、，在比较向量、、的模，确定模最大的两个点的坐标为、，如图6(b)所示。由定位标志特点可知向量所确定的直线方程经过标志的中心点，如图6(c)确定了中心的坐标。向量所确定的直线方程经过点，如图6(d)确定了定位标志右下角关键点坐标。

由向量计算出其与图像坐标轴的角度，由该角度确定相机与定位标志的偏移角度，由点的坐标确定定位标志偏移图像中心的位置偏移量。标志信息解析模块最终输出的信息，此信息即可作为无人机定位控制的输入量。

Claims (2)

1.一种无人机视觉定位方法，其特征在于，该方法包括如下步骤：

(1)确定定位标志

设置定位标志为一黑色矩形区域，该区域内部按照预先设定的规则放置两组大小不同的白色正方形，其中所述两组大小不同的白色正方形中大的那组里正方形数量为3个，所述两组大小不同的白色正方形中小的那组里正方形数量为6个，所述设定的规则为：3个大正方形分布于黑色矩形区域的三个角，并分别标记正方形中心点为M₁、M₂、M₃，一小正方形位于黑色区域剩下的那个角并标记其中心点为m₂，另一小正方形位于黑色矩形区域中心并标记其中心点为m₁，剩余的四个小正方形对称设置在m₁的四周，M₂和M₃的连线以及M₁和m₂的连线均经过m₁，9个正方形互相没有重叠部分；

(2)定位标志的识别与提取

(21)首先进行图像读取和灰度化，并采用阈值分割方法将图像中的背景去除，其次对图像进行边缘检测与外部轮廓识别，将像素点大于阈值的外部轮廓保留下来，然后对保留下来的外部轮廓进行多边形特征筛选，筛选出所有四边形区域，最后对四边形区域进行内部轮廓识别，筛选出内部轮廓数量为9个的四边形区域；

(22)在得到的四边形区域中，首先确定定位标志中代表三个大正方形的3个点，比较3个点两两之间模的大小，确定模最大的两个点为M₂、M₃，三个点中剩余的点为M₁，确定的直线经过的点为m₁，确定的直线经过的点为m₂；

(3)无人机实际空间坐标信息的获取

(31)对图像传感器视角进行标定，选取800px×600px的图像区域作为待检测区域，使用标准长度的物体置于镜头视野底部，设标定后的视角为β1；

(32)根据待检测区域原点以及识别出的定位标志点m₁，解析出定位标志在待检测区域中的x轴像素偏差EPDX和y轴像素偏差EPDY，其中EPDX和EPDY分别为m₁相对于待检测区域原点的横纵坐标；

(33)通过无人机返回的GPS高度信息和超声波返回的高度信息，确定当前无人机离标志点的垂直高度h；

(34)计算向量与水平x轴的角度，该角度为无人机相机与定位标志的偏移角度；

(35)计算无人机实际偏离定位标志的距离

x轴实际偏差EDX为

y轴实际偏差EDY为

2.如权利要求1所述的无人机视觉定位方法，其特征在于，步骤(21)中筛选出内部轮廓数量为9个的四边形区域后，若四边形区域数量不唯一，则进一步筛选，判断四边形区域中是否存在两组大小不同的内部轮廓，其中大的内部轮廓数量为3,小的内部轮廓数量为6，若是，则将该四边形区域保留。