CN106054931A - 一种基于视觉定位的无人机定点飞行控制系统 - Google Patents

一种基于视觉定位的无人机定点飞行控制系统 Download PDF

Info

Publication number
CN106054931A
CN106054931A CN201610618929.XA CN201610618929A CN106054931A CN 106054931 A CN106054931 A CN 106054931A CN 201610618929 A CN201610618929 A CN 201610618929A CN 106054931 A CN106054931 A CN 106054931A
Authority
CN
China
Prior art keywords
unmanned plane
module
flight control
flight
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610618929.XA
Other languages
English (en)
Other versions
CN106054931B (zh
Inventor
王庞伟
于洪斌
王力
熊昌镇
程冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201610618929.XA priority Critical patent/CN106054931B/zh
Publication of CN106054931A publication Critical patent/CN106054931A/zh
Application granted granted Critical
Publication of CN106054931B publication Critical patent/CN106054931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种基于视觉定位的无人机定点飞行控制系统。该系统包括无人机机载模块、定位标志、地面监控模块、通讯模块。系统可通过与视觉处理算法配合,由识别信息控制无人机定点飞行,弥补了GPS定点飞行精度不够的缺点,控制系统使用开源操作系统与通用无人机通讯协议,具有良好的兼容性与扩展性。可应用于无人机物流、无人机监察等方向。

Description

一种基于视觉定位的无人机定点飞行控制系统
技术领域
本发明属于机器视觉/无人机定位领域,具体涉及一种通过视觉传感器对人工标志物进行定位与识别,并由识别信息控制无人机定点飞行的系统。
背景技术
随着互联网技术的不断进步,我国电子商务发展迅速,市场规模扩张迅速,物流产业也得到了飞速发展。然而风光的背后也暴露出了诸多问题,如快递送达不及时,货物送到损坏严重等,这些问题也反映出人工物流领域的缺陷。为了弥补这些缺陷,各大物流企业开始思考如何在降低成本的同时还能保证服务的质量,满足客户需求。由此,具有造价低、体积小、操控简便、生存能力较强等优点的无人机派送方案应运而生。
如今无人机派送在国外已经形成了较为完善的运行模式,其中尤以美国亚马逊为例。该公司无人机物流试运行模式采用“配送车+无人机”为国内的投入使用提供了参考方案。该模式主要是无人机负责物流配送的“最后一公里”。举例来说就是,配送车在离开仓库之后,只需行走在主路上即可,然后在每个小支路处停车,并派出无人机进行配送,完成配送之后自动返航准备下一个投送任务。
要实现上述自动控制功能,需要在无人机上加装部分装置以满足定点飞行的要求,其中最为关键的是使无人机需要能够知道其下一个目的点在何处并动态调整路径,即可在某种手段下导航至投送点并自动返回。这种无人机导航技术主要分为有GPS和无GPS两大类,前者通过接收GPS信号来规划路径导航,后者则借助一些传感器对指定参照物进行感知来辅助导航。目前国内外针对无GPS下无人机导航及无人机派送这种特定模式下的控制方法开展了大量的研究,但还没有能够完全兼顾成本、效果与易实现程度的解决方案出现。
虽然目前无人机派送在物流运输上还存在着一些问题和缺点亟待解决,但从它所带来的经济价值和效果上看,无人机在电商物流发展的前景仍是广阔的,相关技术的研究和发明也是具有非常大的价值的。
相关技术
1 无人机导航技术
导航技术是按照要求的精度,沿着预定的航线在指定的时间内正确地引导无人机至目的地。目前在无人机上采用的导航技术主要包括惯性导航、卫星导航、视觉导航及地磁导航等。在无人机导航中,根据无人机担负的不同任务来选择合适的导航技术至关重要。
2 无人机飞行控制技术
飞行控制是利用遥控设备或飞行控制装置完成起飞、空中飞行、执行任务和返场回收等整个飞行过程的关键技术,对于无人机相当于驾驶员对于有人机的作用。根据实际情况通过人工或程序自动为无人机指定动作,配合导航技术完成各项复杂功能。
3 视觉定位技术
机器视觉技术具备定位功能,能够自动判断物体的位置,并将位置信息通过一定的通讯协议输出。定位检测可分为两个步骤,一是制作实现功能所需的标准模板,二是通过机器视觉装置将被摄取目标转换成图像信号,传送给专用的图像处理系统进行搜索与定位。基于机器视觉的视觉定位技术不但克服了传统人工定位方法费时费力的缺点,同时也发挥了自己快速准确的优点,多用于全自动装配、生产和控制。
现有技术不足
1 对于无人机导航技术,目前多采用基于GPS的单一导航技术或组合导航技术,适用于高空、没有干扰、远距离的飞行导航,对GPS信号的依赖程度很高,但民用GPS定位精度有限,难以满足物流派送中精确的投递任务要求,很可能将快递投丢,因此需要借助一些其他定位辅助方法。
2对于无人机飞行控制技术,主流的方式是无人机飞控加无线电遥控器相互配合,无人机内部的飞控自动控制飞机的姿态和速度,操控者使用遥控器控制无人机完成指定的操作。这种控制方式在派送任务中显然是不合理的,应该让无人机在启动后能够通过一定途径自动地获取任务、规划路径并返回,以尽可能的减少送货人员的操作。
3 视觉定位技术多被用在静态的生产、装备环境下,如要在无人机上装配视觉定位系统,视觉传感器会处于不稳定的运动状态之下,成像质量难以保证,导致判断精度有所下降。另外考虑到续航的因素,体积重量过大的高性能图像处理系统也不适合在无人机上作业。
发明内容
针对以上三个相关技术的不足,本发明设计了一种基于视觉定位的无人机定点飞行控制系统,具体采用如下技术方案:该系统包括无人机机载模块、定位标志、地面监控模块、通讯模块,所述无人机机载模块包括飞行控制模块、图像采集模块、嵌入式平台,图像采集模块设置在无人机下方正中心;飞行控制模块用于识别无人机当前的飞行模式,以及执行嵌入式平台发出的控制指令,控制无人机的飞行动作;嵌入式平台分别从飞行控制模块和图像采集模块获取当前飞行模式信息以及视频数据,当获取无人机处于GPS定位飞行模式时,嵌入式平台启动内部视觉处理模块对视频数据进行分析,以识别定位标志是否存在,若存在,则视觉处理模块计算无人机与定位标志的水平方向位置偏差与方位角偏差,并根据水平方向位置偏差与方位角偏差生成定位信息,嵌入式平台进而通过其内部的控制逻辑模块将定位信息转换为实际的姿态控制信号,姿态控制信号通过接口传递给飞行控制模块,飞行控制模块根据姿态控制信号完成调整水平方向位置偏差与方位角偏差的飞行动作,当视觉处理模块计算出水平方向位置偏差与方位角偏差值处于设定范围内后,嵌入式平台向飞行控制模块发出降落命令,飞行控制模块控制无人机完成降落。
优选地,地面监控模块通过通讯模块向无人机机载模块发送任务,无人机机载模块在接收到任务后,无人机的飞行模式由自由飞行模式切换为GPS定位飞行模式,无人机通过GPS导航到达目标点附近后,无人机机载模块开始检测定位标志是否存在,检测到定位标志后通过获取的定位信息对无人机进行姿态控制并实现自主降落,无人机完成任务后自动返航,并反馈任务状态。
优选地,通讯模块采用基于MavLink协议的无线通讯模式,嵌入式平台搭载Android操作系统,嵌入式平台通过USB-host API接口和串行驱动程序接收和发送飞行控制模块的数据。
优选地,所述定位标志为一黑色矩形区域,该区域内部按照预先设定的规则放置两组大小不同的白色正方形,其中大的组里正方形数量为3个,小的组里正方形数量为6个,所述设定的规则为:3个大正方形分布于黑色矩形区域的三个角,并分别标记正方形中心点为M1、M2、M3,一小正方形位于黑色区域剩下的那个角并标记其中心点为m2,另一小正方形位于黑色矩形区域中心并标记其中心点为m1,剩余的四个小正方形对称设置在m1的四周,M2和M3的连线以及M1和m2的连线均经过m1,9个正方形互相没有重叠部分。
本发明具有如下有益效果:
(1)对无人机进行实时监控,发送控制指令,无人机完成自主飞行和视觉定位,最终达到精确定点的目的。
(2)对各个模块进行独立设计,使其能够独立完成部分功能,在通过可靠的通讯连接,建立各模块之间的通讯通道,完成信息在无人机、地面站、机载计算机之间的相互传递,保证无人机飞行路径的正确性、飞行状态的稳定性和视觉定位的准确性。
附图说明
图1 为定位标志设计图。
图2 为标志识别流程图。
图3 为图像轮廓识别与提取示意图。
图4 为偏差定位模型图。
图5 为标识区域解析流程图。
图6 为标识信息解析图。
图7 为无人机定点飞行系统结构图。
图8 为系统硬件结构图。
图9 为系统运行流程图。
图10 为视觉处理与控制软件结构图。
图11 为视觉处理与控制软件运行流程图。
图12 为坐标系匹配图。
图13 为视觉定位控制结构图。
图14 为视觉定位控制流程图。
图15 为无人机物流运输系统图。
图16 为无人机物流运输系统运行流程图。
具体实施方式
1)定位标志设计
地面定位标志设计的合理与否直接影响视觉定位的精度和图像处理的速度。该地面标志的设计充分考虑了环境干扰因素的影响和机载计算机的处理能力,即保证了与环境的区分度,也简化了标志的设计,增加了识别的速度和精度,该标志可以识别出位置偏差和根据图案解析出无人机相对于地面定位标志旋转角度。
图1显示了地面标志的实际尺寸和形状,考虑图像传感器的视野范围与高度的关系,以及地面标志移动和放置的便利性。该标志为宽30厘米,高26厘米的矩形区域,区域内部按照一定的规则放置了2组大小不同的白色正方形,分别为边长5.4厘米和边长2.7厘米的正方形。整个标志图案规则,颜色对比鲜明,辨识度极高。该标志的特点如下:
标志采用规则图形设计,有利于视觉识别;
标志内部9个正方形区域的位置特征,可以有效的反映无人机相对于标志的角度偏差;
通过内部9个正方形的不同颜色组合可以解析出不同的ID信息,提高标志识别的容错率;
2)标志识别与提取算法设计
本发明根据标志的外形轮廓特征,使用阈值分割和形态学处理算法及标志的几何结构判断等方法在图像中选择出符合要求的区域作为待选区域,并将符合区域交给后面的定位算法解析出空间位置信息。
标志区域提取模块软件流程如图2所示,该流程图反映了进行标志区域提取的图像处理顺序和标志区域筛选过程。流程图中对视觉算法执行的各个阶段,采用了不同的阈值参数进行判断和筛选,其目的是根据定位标志的轮廓特征排除其他环境的干扰因素,该程序中可对图像二值化阈值、轮廓像素数量、轮廓多边形的边数、轮廓多边形的边长等参数进行实时控制,增加了该程序的环境适应能力。具体过程如下:
图像读取和灰度化。
对RGB图像进行灰度化将抛弃色彩信息,可以大幅减少图像处理运算量。
图像阈值分割。
在本发明中设计的定位标志采用黑白两种颜色进行设计,与周围环境的区分度很大。因此采用阈值分割的方法可以快速有效的分离图像中感兴趣的区域,将背景从中去除,排除灰度图像中存在各种其他物体的干扰。同时进行二值处理之后图像中仅存在黑白两种灰度级别,有利于后续对图像的滤波处理。
本发明使用局部自适应阈值方法。其优点在于每个像素位置处的二值化阈值不是固定的,而是由其周围邻域像素的分布来决定的。亮度较高的图像区域的二值化阈值通常比较高,而亮度较低的图像区域的二值化阈值则会相应的缩小。不同亮度、对比度、邻域大小的局部图像区域将会拥有相对应的局部二值化阈值。这样更有利于适应对于无人机作业时复杂的环境。
图像二值形态学滤波
在对图像进行自适应二值化处理之后,如果直接进行识别会将背景中许多微小噪点误识别为目标区域,而使用二值形态学操作可以有效的滤除二值图像中的微小噪点,平滑定位标志区域边缘。因此本发明针对二值形态学操作的几种方式进行不同程度和顺序的组合,选择最佳的二值形态学组合滤波方法。
二值化后的原始图像中存在大量不连续的颗粒型噪点。本发明选择了膨胀、腐蚀、开运算、闭运算等几种二值形态学操作进行组合使用,消除了大部分噪点,使图像更加纯净,有利于后面的处理工作。
目标区域识别与提取
目标区域的识别中最关键的方法是边缘检测与轮廓识别,在进行轮廓检测时,可以根据情况选择合适的轮廓检索的模式和轮廓近似方法,选择合适的方式有利于提高图像处理效率。
图3显示了对二值形态学滤波之后的图像进行轮廓提取并筛选的步骤:
图3(a)是进行轮廓提取的原始图像;
图3(b)是对原始图像进行外轮廓提取的结果,在该图中共提取了781个轮廓,存在许多多余的轮廓区域。而这些轮廓都是由像素点组成的曲线图形,而所要提取的定位标志区域与其他微小噪点区域相比外轮廓曲线的组成需要比较多的像素点;
图3(c)显示了进行轮廓像素数量进行筛选后的结果,在程序中设定一个轮廓像素数量的下限阈值,对图3(b)中的每一个轮廓与这个阈值比较,大于这个阈值的轮廓区域被保留下来。进行筛选之后符合要求的轮廓数量减少到67个;
图3(d)是对轮廓进行多边形近似后,在经过多边形特征进行筛选后的结果。在该图中通过设置合理的多边形近视边长阈值,保证所得多边形可以反映轮廓的基本形状。由于所要提取的定位标志区域为凸四边形,因此通过判断所得多边形是否为四边形且四边形为凸四边形,可以排除许多不规则多边形区域。最后用所得四边形的最长边与事先设定的阈值进行比较,保留大于该阈值的的四边形区域。
最终经过这几步的筛选,如图3(d)中只剩下一个满足条件的四边形区域,即为目标区域,将此区域的原始图像交给后面的处理程序,至此标志识别与提取工作完成。
3)定位模型建立
根据定位标志的设计,以及无人机与地面标志点的空间位置关系,制定相应的标志点定位模型,进而通过识别地面标志点获得实际的空间坐标信息,定位模型如图4所示:
该定位模型的定位信息解析步骤为:
对图像传感器视角进行标定,选取的图像区域作为待检测区域,使用标准长度的物体(标准长度D)至于镜头视野底部,向上移动镜头是标准长度物体刚好占满的宽度,记录此时镜头移动的高度(H)。设标定后的视角为,则计算公式为:
(1.1)
视觉识别程序根据视野中标志的特征,解析出标志在图像中的x轴像素偏差,y轴像素偏差以及镜头相对于标志的旋转角度;
通过无人机返回的GPS高度信息和超声波返回的高度信息,确定当前无人机离标志点的垂直高度();
通过视觉算法所获得的像素偏差数据和无人机返回的高度数据,可计算出无人机实际偏离标志点的距离。设x轴实际偏差为(),y轴实际偏差为(),计算公式如下:
通过该方法,可以使视觉处理算法适合各种类型的相机镜头,降低了对硬件设备的依赖性。该检测方法结合了实际高度信息,解决了由于相机镜头距离标志点远近而造成的偏差距离失真,与直接使用像素偏差的方法相比较具有更好的检测范围和控制精度。该方法解算出来的偏差信息更有利于后续无人机的自动控制,降低了无人机控制参数的调试难度。
4)定位解析算法
在上一步图像提取操作后,程序传来的是目标区域的原始图像,这样做的目的是可以在后面针对这个小区域重新预处理,得到更为精准的分割图像和检测结果。由于所提取的区域很可能包含定位标识的区域,而定位标识颜色单一且对比度极大,因此在进行图像二值化分割是采用OTSU阈值化方法。
标识区域解析模块流程图如图5所示,首先主要针对待选标识局部区域进行处理,因此首先需要从原始的图像中提取出待选标识区域所在的像素区域进行局部处理,从而提高标识解析的速度。在定位标识内部由九个正方形区域按一定的规则进行排列,因此在标识区域解析模块中可以通过检测区域内部是否存在九个正方形区域及正方形区域的大小来排除在标识区域提取模块中误识别的区域。通过区域内部九个正方形的排列规则可以检测出定位标识与相机镜头的相对旋转角度和位置偏差信息。
整个解析过程分为区域预处理和定位解析两部分:
提取区域预处理
图像提取过程中为了降低轮廓的复杂度,只对图像中标志区域的外轮廓进行了提取,就会因为定位标志的外轮廓和背景中的类似四边形过于相似,导致提取出错误的待选标志区域。因此这里需要对定位标志的内部信息进行解析,进一步判断所提取待选区域中是否包含定位标志。为了得到跟快的处理速度,对图像的处理只在待选标志的外接最小矩形区域之内进行,大大缩小了图像处理的范围,提高了检测速度。
在进行标识信息提取前,需要先对待选的标识区域进行预处理。与标识区域提取模块的处理方法相同,只是处理的图像区域范围缩小。
由于在标志信息解析程序中仅对包含待选区域的最小外接矩形图像区域进行处理,因此若待选区域中存在定位标志则定位标志占整个图像区域的二分之一以上且定位标志的灰度级别相差很大,所以在对图像进行二值化处理中使用OTSU算法可以达到最佳的分割效果和较快的处理速度。进行二值形态学滤波后定位标志内形状轮廓清晰平滑。最后对图像进行全部轮廓提取,并通过轮廓数量关系滤除在标志区域提取模块中误识别的区域。标志区域有一个外轮廓和九个轮廓区域组成,而不存在这种轮廓组合关系的待选区域将被滤除。在九个内部轮廓区域中存在其中三个轮廓区域面积大于其它六个轮廓区域面积的情况,而不存在此种关系的待选区域也将被滤除,通过对定位标志区域内部轮廓的特征分析,最终得到的区域就是包含定位标志的区域。
定位解析
根据标识区域的内部特征,可以在多个可选的标识区域中,选择出正确的标识,并通过标识的内部特征计算出旋转角度信息和位置偏差信息。
标志信息解析的关键步骤如图6所示,图6(a)对关键点所对应的坐标分别标志为。标志解析算法首先确定标志的3个定位点,在比较向量的模,确定模最大的两个点的坐标为,如图6(b)所示。由定位标志特点可知向量所确定的直线方程经过标志的中心点,如图6(c)确定了中心的坐标。向量所确定的直线方程经过点,如图6(d)确定了定位标志右下角关键点坐标
由向量计算出其与图像坐标轴的角度,由该角度确定相机与定位标志的偏移角度,由点的坐标确定定位标志偏移图像中心的位置偏移量。标志信息解析模块最终输出的信息,此信息即可作为无人机定位控制的输入量。
5)系统整体结构
为了能够对无人机进行实时监控,发送控制指令,无人机完成自主飞行和视觉定位,最终达到精确定点的目的。需要对各个模块进行独立设计,使其能够独立完成部分功能,在通过可靠的通讯连接,建立各模块之间的通讯通道,完成信息在无人机、地面站、机载计算机之间的相互传递,保证无人机飞行路径的正确性、飞行状态的稳定性和视觉定位的准确性。该系统的总体结构如图7所示。该系统由空中设备、地面标志、地面监控设备三个功能模块组成。它们通过不同的信息传递方式进行信息交换,实现两个或多个地面站点之间的定点飞行。
如图8为系统硬件结构图,虚线内为发明涉及硬件设计部分,使用搭载Android开源操作系统的嵌入式设备采集摄像头传回的实时图像,并通过App的形式在设备内部进行各项运算,通过数传模块将基于MavLink协议的控制量传递给无人机飞控系统,从而驱动无人机电机进行飞行控制,装置使用无人机上的电池供电,并安装在无人机下方。
安装与使用步骤如下:
步骤1:将无人机上的电池与嵌入式设备相连,为设备供电,开机启动Android系统。
步骤2:连接设备与相机,使用Andorid底层驱动相机硬件,采集实时图像。
步骤3:使用USB HOST连接数传模块,建立MavLink通信链路。
步骤4:在嵌入式设备上安装无人机飞行控制软件。
步骤5:将嵌入式设备安装在无人机下方固定,确保相机镜头位于无人机正中心。
步骤6:无人机上电,启动嵌入式设备上的无人机飞行控制软件,与无人机建立通信,读取无人机状态。
步骤7:使用软件上的功能按钮或遥控设备为无人机解锁。
步骤8:通过地面站为无人机设定任务,任务流程如图9所示。
6)软件结构
考虑摄像头数据获取和视觉处理对硬件设备的性能要求相对较高,且该硬件设备需要搭载在无人机平台上,因此本发明采用Android嵌入式平台。这种基于Linux的自由及开放源代码的操作系统,主要使用于移动设备,该平台由操作系统、中间件、用户界面和应用软件组成。Android平台由于其具有显著的开放性,使其功能得到了进一步的完善,提供的用户程序接口更加丰富,降低了开发软件的周期。
视觉处理与控制的软件结构如图10所示,由于使用Android嵌入式设备做为视觉处理和控制平台,为了实现与无人机飞控的串行端口连接,需要进行接口转换,在使用Android嵌入式设备的USB-host API接口和串行驱动程序收发无人机飞控的数据。无人机与外部设备通讯采用了MAVLink的通信协议,因此在Android嵌入式设备中需要专门的程序来解析和打包MAVLink消息。Android嵌入式设备通过Camera API读取摄像头的视频帧数据,使用视觉识别算法进行处理,并将处理后的定位信息发送给控制逻辑模块转换为实际的控制信号,通过MAVLink协议打包发送给无人机飞控执行。在视觉处理算法模块中采用了JAVA的JNI调用机制,能够实现在JAVA层调用C/C++视觉处理算法,使用这种机制可以充分利用C/C++的代码效率,提高视觉算法的运行速度。
视觉处理与定位控制软件流程如图11所示,Android嵌入式设备启动后,首先获取无人机飞控的MAVLink消息,通过消息中得到的当前飞行模式,来选择不同的程序模块且对MAVLink消息的获取从设备启动开始一直保持运行状态,实时监控飞行器的状态。当在MAVLink消息中发现当前处于GPS定位飞行模式时,即可启动视觉处理程序。在该程序模块中对定位标识进行识别解析,通过相应的控制方法进行计算,在使用MAVLink协议打包控制信号,发送给无人机飞控执行,此控制过程一直持续到当视觉处理算法检测到偏差到一定范围时结束,最后设备发出降落指令,完成飞行器的降落。
7)飞行控制算法
如图12所示,飞行器摄像头放置在飞行器的中心且垂直向下,则无人机在图像平面的垂直投影点始终在图像中心。图中摄像头采集的图像的坐标系与无人机姿态坐标系重合。若以图像中心为坐标原点,经过视觉识别算法处理后所得到的水平位置偏差,即为实际的坐标值。而飞行器在此坐标系下可以通过控制飞行器俯仰与横滚角度使飞行器沿轴和轴方向运动。
视觉识别算法检测到标识并解析出偏差信息后,需要将其转化为实际的无人机姿态控制信号,并通过MAVLINK协议将控制信息发送到无人机上,使无人机执行相应的动作。
如图13所示,该控制算法分为两中不同的控制方法。其中无人机与定位标识的偏差修正使用PID控制方法,因为摄像头采集的图像无法精确的反应出标识点位置的实际地理坐标且GPS精度也不足以实现精确的定点飞行。因此无人机的水平偏差采用PID控制方法能够使无人机逐渐接近定位标识的垂直上空。而视觉定位算法所解析的角度偏差能够反映无人机与定位标识的实际角度偏差且无人机中的指南针模块也可以很好的反映无人机的偏航角度。因此无人机的角度偏差控制只要将正确的角度位置通过MAVLINK协议发送到无人机飞控系统,飞控系统会自动调整偏航角度,使其达到预定的航向角度。
由于位置偏差PID控制中,输出量只反映了偏差的大小,因此使用MANUAL_CONTROL(MavLink协议输出控制命令)消息包向无人机发送pitch和roll轴的倾斜角度来控制无人机的水平飞行方向使其逼近定位标识上空,而偏航角度偏差控制中,只需要通过SET_ATTITUDE_TARGET(MavLink协议姿态设置命令)消息包向无人机偏航角姿态设定值即可,偏航角修正完全由飞控自动调节。
视觉定位控制的软件流程如图14所示,首先对无人机进行水平偏差位置进行控制,使无人机稳定悬停在定位标识上空,在进行偏航角控制,使偏航角度偏差为零,最后完成无人机的降落。水平位置偏差控制优先于偏航角度控制的原因是因为偏航角度控制是以无人机自身中心作为旋转轴,先进行偏航角度控制可能会导致定位标识由于无人机的自身旋转而离开摄像头的视野范围。而当水平偏差修正到定位标识上空时,无人机的旋转中心与定位标识的中心重合,当进行偏航角度控制时可以保证定位标识始终在无人机的正下方,从而保证了定位的精确度。
图15显示了无人机派送环节中的各部分关系,其中无人机地面监控系统主要负责物流任务的查询及向无人机分配物流运输任务,无人机负责接收物流运输任务,并根据坐标信息和地面标志信息准确到达目标点完成包裹的投放,可以看出无人机在物流运输系统中完全由地面监控软件分配任务,并自主飞行到目的地。
无人机物流运输系统的运行过程如图16所示,该流程图反映了地面监控软件和无人机在整个物流运输过程中具体的运行流程。地面监控软件通过无线通讯的方式向无人机发送任务,无人机在接收到任务后通过GPS导航到达目标点附近并检测地面标志是否存在,检测到地面标志后通过获取的定位信息控制无人机运行到地面定位标志上空并实现自主降落,完成任务后自动返航,并反馈任务状态。

Claims (4)

1.一种基于视觉定位的无人机定点飞行控制系统,该系统包括无人机机载模块、定位标志、地面监控模块、通讯模块,其特征在于,
所述无人机机载模块包括飞行控制模块、图像采集模块、嵌入式平台,图像采集模块设置在无人机下方正中心;
飞行控制模块用于识别无人机当前的飞行模式,以及执行嵌入式平台发出的控制指令,控制无人机的飞行动作;
嵌入式平台分别从飞行控制模块和图像采集模块获取当前飞行模式信息以及视频数据,当获取无人机处于GPS定位飞行模式时,嵌入式平台启动内部视觉处理模块对视频数据进行分析,以识别定位标志是否存在,若存在,则视觉处理模块计算无人机与定位标志的水平方向位置偏差与方位角偏差,并根据水平方向位置偏差与方位角偏差生成定位信息,嵌入式平台进而通过其内部的控制逻辑模块将定位信息转换为实际的姿态控制信号,姿态控制信号通过接口传递给飞行控制模块,飞行控制模块根据姿态控制信号完成调整水平方向位置偏差与方位角偏差的飞行动作,当视觉处理模块计算出水平方向位置偏差与方位角偏差值处于设定范围内后,嵌入式平台向飞行控制模块发出降落命令,飞行控制模块控制无人机完成降落。
2.如权利要求1所述的基于视觉定位的无人机定点飞行控制系统,其特征在于,地面监控模块通过通讯模块向无人机机载模块发送任务,无人机机载模块在接收到任务后,无人机的飞行模式由自由飞行模式切换为GPS定位飞行模式,无人机通过GPS导航到达目标点附近后,无人机机载模块开始检测定位标志是否存在,检测到定位标志后通过获取的定位信息对无人机进行姿态控制并实现自主降落,无人机完成任务后自动返航,并反馈任务状态。
3.如权利要求1或2所述的基于视觉定位的无人机定点飞行控制系统,其特征在于,通讯模块采用基于MavLink协议的无线通讯模式,嵌入式平台搭载Android操作系统,嵌入式平台通过USB-host API接口和串行驱动程序接收和发送飞行控制模块的数据。
4.如权利要求1-3任一项所述的基于视觉定位的无人机定点飞行控制系统,其特征在于,所述定位标志为一黑色矩形区域,该区域内部按照预先设定的规则放置两组大小不同的白色正方形,其中大的组里正方形数量为3个,小的组里正方形数量为6个,所述设定的规则为:3个大正方形分布于黑色矩形区域的三个角,并分别标记正方形中心点为M1、M2、M3,一小正方形位于黑色区域剩下的那个角并标记其中心点为m2,另一小正方形位于黑色矩形区域中心并标记其中心点为m1,剩余的四个小正方形对称设置在m1的四周,M2和M3的连线以及M1和m2的连线均经过m1,9个正方形互相没有重叠部分。
CN201610618929.XA 2016-07-29 2016-07-29 一种基于视觉定位的无人机定点飞行控制系统 Active CN106054931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610618929.XA CN106054931B (zh) 2016-07-29 2016-07-29 一种基于视觉定位的无人机定点飞行控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610618929.XA CN106054931B (zh) 2016-07-29 2016-07-29 一种基于视觉定位的无人机定点飞行控制系统

Publications (2)

Publication Number Publication Date
CN106054931A true CN106054931A (zh) 2016-10-26
CN106054931B CN106054931B (zh) 2019-11-05

Family

ID=57196815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610618929.XA Active CN106054931B (zh) 2016-07-29 2016-07-29 一种基于视觉定位的无人机定点飞行控制系统

Country Status (1)

Country Link
CN (1) CN106054931B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406351A (zh) * 2016-10-28 2017-02-15 易瓦特科技股份公司 用于控制无人机航线的方法和设备
CN106444797A (zh) * 2016-12-01 2017-02-22 腾讯科技(深圳)有限公司 一种控制飞行器降落的方法以及相关装置
CN106527485A (zh) * 2016-12-14 2017-03-22 天津文林科技有限公司 一种基于光机电一体化视觉定位的无人机定点飞行控制系统
CN106527481A (zh) * 2016-12-06 2017-03-22 重庆零度智控智能科技有限公司 无人机飞行控制方法、装置及无人机
CN106796726A (zh) * 2014-09-04 2017-05-31 株式会社S1 运动检测方法和系统
CN106950991A (zh) * 2017-04-27 2017-07-14 广东容祺智能科技有限公司 一种基于图像识别的无人机返航方法
CN107194399A (zh) * 2017-07-14 2017-09-22 广东工业大学 一种视觉定标的方法、系统及无人机
CN107292929A (zh) * 2017-05-08 2017-10-24 深圳市唯内德软件开发有限公司 低功耗特征点图像定位方法及装置
CN107340298A (zh) * 2017-06-29 2017-11-10 广西师范大学 基于摄像头路面检测的平衡车系统测控方法
CN107450590A (zh) * 2017-08-07 2017-12-08 深圳市科卫泰实业发展有限公司 一种无人机辅助降落方法
CN107544551A (zh) * 2017-09-01 2018-01-05 北方工业大学 一种基于智能无人机的区域快捷物流运输方法
CN107589758A (zh) * 2017-08-30 2018-01-16 武汉大学 一种基于双源视频分析的智能化野外无人机搜救方法与系统
CN108230389A (zh) * 2016-12-14 2018-06-29 杭州迅蚁网络科技有限公司 基于颜色空间学习的无人机定位方法
CN108286964A (zh) * 2017-12-29 2018-07-17 河南三和航空工业有限公司 一种飞行器起降过程中的导航方法
CN108459618A (zh) * 2018-03-15 2018-08-28 河南大学 一种无人机自动对移动平台投放的飞行控制系统及方法
CN108496129A (zh) * 2017-04-28 2018-09-04 深圳市大疆创新科技有限公司 一种基于飞行器的设施检测方法及控制设备
CN108628346A (zh) * 2018-06-08 2018-10-09 西安交通大学 一种智慧物流空地协同系统控制方法
CN108803664A (zh) * 2018-08-01 2018-11-13 辽宁壮龙无人机科技有限公司 一种自主飞行投物无人机及控制方法
CN108924494A (zh) * 2018-07-13 2018-11-30 王新凤 基于地面的空中监测系统
CN109215075A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 工业机器人物料抓取中工件的定位识别系统及方法
CN109389270A (zh) * 2017-08-09 2019-02-26 菜鸟智能物流控股有限公司 一种物流对象确定方法、装置和机器可读介质
CN109410281A (zh) * 2018-11-05 2019-03-01 珠海格力电器股份有限公司 一种定位控制方法、装置、存储介质及物流系统
CN109445455A (zh) * 2018-09-21 2019-03-08 深圳供电局有限公司 一种无人飞行器自主降落方法及其控制系统
CN109634305A (zh) * 2018-12-21 2019-04-16 国网安徽省电力有限公司淮南供电公司 基于图像辅助定位的无人机位姿调整方法及系统
CN110322462A (zh) * 2019-06-13 2019-10-11 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110968105A (zh) * 2018-09-29 2020-04-07 比亚迪股份有限公司 货物运输方法、装置、介质及电子设备
CN110989687A (zh) * 2019-11-08 2020-04-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法
CN111580551A (zh) * 2020-05-06 2020-08-25 杭州电子科技大学 一种基于视觉定位的导航系统与方法
CN111766894A (zh) * 2020-03-25 2020-10-13 湖南大学 一种模块化可变体无人机系统及其送货方法
CN111880576A (zh) * 2020-08-20 2020-11-03 西安联飞智能装备研究院有限责任公司 基于视觉的无人机飞行控制方法及装置
CN112346480A (zh) * 2020-11-18 2021-02-09 宁波图灵奇点智能科技有限公司 一种室内无人机及其控制方法、计算机可读存储介质
CN112835380A (zh) * 2020-12-30 2021-05-25 深兰科技(上海)有限公司 飞行器的返航方法、装置、飞行器及计算机可读存储介质
CN114234927A (zh) * 2021-12-16 2022-03-25 上海宝冶工程技术有限公司 一种基于无人机的传统木结构榫卯节点的拔榫测量方法
WO2022089381A1 (zh) * 2020-10-29 2022-05-05 泰斗微电子科技有限公司 双通道切换方法、无人机及控制终端
CN114740900A (zh) * 2022-06-09 2022-07-12 南京理工大学 基于容错控制的四旋翼无人机精准降落系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
US20090306840A1 (en) * 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN103625649A (zh) * 2013-12-06 2014-03-12 北京工商大学 一种基于自适应区域分割与窗口连通的飞行器自主着陆区域判别方法
CN105059533A (zh) * 2015-08-14 2015-11-18 深圳市多翼创新科技有限公司 一种飞行器及其降落方法
CN105197252A (zh) * 2015-09-17 2015-12-30 武汉理工大学 一种小型无人机降落方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
US20090306840A1 (en) * 2008-04-08 2009-12-10 Blenkhorn Kevin P Vision-based automated landing system for unmanned aerial vehicles
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN103625649A (zh) * 2013-12-06 2014-03-12 北京工商大学 一种基于自适应区域分割与窗口连通的飞行器自主着陆区域判别方法
CN105059533A (zh) * 2015-08-14 2015-11-18 深圳市多翼创新科技有限公司 一种飞行器及其降落方法
CN105197252A (zh) * 2015-09-17 2015-12-30 武汉理工大学 一种小型无人机降落方法及系统

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796726A (zh) * 2014-09-04 2017-05-31 株式会社S1 运动检测方法和系统
CN106406351A (zh) * 2016-10-28 2017-02-15 易瓦特科技股份公司 用于控制无人机航线的方法和设备
CN106406351B (zh) * 2016-10-28 2020-01-14 易瓦特科技股份公司 用于控制无人机航线的方法和设备
CN106444797A (zh) * 2016-12-01 2017-02-22 腾讯科技(深圳)有限公司 一种控制飞行器降落的方法以及相关装置
CN106527481A (zh) * 2016-12-06 2017-03-22 重庆零度智控智能科技有限公司 无人机飞行控制方法、装置及无人机
CN108230389B (zh) * 2016-12-14 2021-07-13 杭州迅蚁网络科技有限公司 基于颜色空间学习的无人机定位方法
CN106527485A (zh) * 2016-12-14 2017-03-22 天津文林科技有限公司 一种基于光机电一体化视觉定位的无人机定点飞行控制系统
CN108230389A (zh) * 2016-12-14 2018-06-29 杭州迅蚁网络科技有限公司 基于颜色空间学习的无人机定位方法
CN106950991A (zh) * 2017-04-27 2017-07-14 广东容祺智能科技有限公司 一种基于图像识别的无人机返航方法
CN108496129A (zh) * 2017-04-28 2018-09-04 深圳市大疆创新科技有限公司 一种基于飞行器的设施检测方法及控制设备
CN107292929A (zh) * 2017-05-08 2017-10-24 深圳市唯内德软件开发有限公司 低功耗特征点图像定位方法及装置
CN107340298B (zh) * 2017-06-29 2020-01-31 广西师范大学 基于摄像头路面检测的平衡车系统测控方法
CN107340298A (zh) * 2017-06-29 2017-11-10 广西师范大学 基于摄像头路面检测的平衡车系统测控方法
CN109215075B (zh) * 2017-06-30 2021-07-09 沈阳新松机器人自动化股份有限公司 工业机器人物料抓取中工件的定位识别系统及方法
CN109215075A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 工业机器人物料抓取中工件的定位识别系统及方法
CN107194399B (zh) * 2017-07-14 2023-05-09 广东工业大学 一种视觉定标的方法、系统及无人机
CN107194399A (zh) * 2017-07-14 2017-09-22 广东工业大学 一种视觉定标的方法、系统及无人机
CN107450590A (zh) * 2017-08-07 2017-12-08 深圳市科卫泰实业发展有限公司 一种无人机辅助降落方法
CN109389270A (zh) * 2017-08-09 2019-02-26 菜鸟智能物流控股有限公司 一种物流对象确定方法、装置和机器可读介质
CN109389270B (zh) * 2017-08-09 2022-11-04 菜鸟智能物流控股有限公司 一种物流对象确定方法、装置和机器可读介质
CN107589758A (zh) * 2017-08-30 2018-01-16 武汉大学 一种基于双源视频分析的智能化野外无人机搜救方法与系统
CN107544551B (zh) * 2017-09-01 2020-06-09 北方工业大学 一种基于智能无人机的区域快捷物流运输方法
CN107544551A (zh) * 2017-09-01 2018-01-05 北方工业大学 一种基于智能无人机的区域快捷物流运输方法
CN108286964A (zh) * 2017-12-29 2018-07-17 河南三和航空工业有限公司 一种飞行器起降过程中的导航方法
CN108459618A (zh) * 2018-03-15 2018-08-28 河南大学 一种无人机自动对移动平台投放的飞行控制系统及方法
CN108628346A (zh) * 2018-06-08 2018-10-09 西安交通大学 一种智慧物流空地协同系统控制方法
CN108924494A (zh) * 2018-07-13 2018-11-30 王新凤 基于地面的空中监测系统
CN108803664A (zh) * 2018-08-01 2018-11-13 辽宁壮龙无人机科技有限公司 一种自主飞行投物无人机及控制方法
CN109445455A (zh) * 2018-09-21 2019-03-08 深圳供电局有限公司 一种无人飞行器自主降落方法及其控制系统
CN110968105B (zh) * 2018-09-29 2021-07-09 比亚迪股份有限公司 货物运输方法、装置、介质及电子设备
CN110968105A (zh) * 2018-09-29 2020-04-07 比亚迪股份有限公司 货物运输方法、装置、介质及电子设备
CN109410281A (zh) * 2018-11-05 2019-03-01 珠海格力电器股份有限公司 一种定位控制方法、装置、存储介质及物流系统
CN109634305A (zh) * 2018-12-21 2019-04-16 国网安徽省电力有限公司淮南供电公司 基于图像辅助定位的无人机位姿调整方法及系统
CN110322462A (zh) * 2019-06-13 2019-10-11 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110989687B (zh) * 2019-11-08 2021-08-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法
CN110989687A (zh) * 2019-11-08 2020-04-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法
CN111766894A (zh) * 2020-03-25 2020-10-13 湖南大学 一种模块化可变体无人机系统及其送货方法
CN111766894B (zh) * 2020-03-25 2023-01-31 湖南大学 一种模块化可变体无人机系统及其送货方法
CN111580551A (zh) * 2020-05-06 2020-08-25 杭州电子科技大学 一种基于视觉定位的导航系统与方法
CN111880576B (zh) * 2020-08-20 2024-02-02 西安联飞智能装备研究院有限责任公司 基于视觉的无人机飞行控制方法及装置
CN111880576A (zh) * 2020-08-20 2020-11-03 西安联飞智能装备研究院有限责任公司 基于视觉的无人机飞行控制方法及装置
WO2022089381A1 (zh) * 2020-10-29 2022-05-05 泰斗微电子科技有限公司 双通道切换方法、无人机及控制终端
CN112346480A (zh) * 2020-11-18 2021-02-09 宁波图灵奇点智能科技有限公司 一种室内无人机及其控制方法、计算机可读存储介质
CN112835380A (zh) * 2020-12-30 2021-05-25 深兰科技(上海)有限公司 飞行器的返航方法、装置、飞行器及计算机可读存储介质
CN114234927A (zh) * 2021-12-16 2022-03-25 上海宝冶工程技术有限公司 一种基于无人机的传统木结构榫卯节点的拔榫测量方法
CN114740900B (zh) * 2022-06-09 2022-09-06 南京理工大学 基于容错控制的四旋翼无人机精准降落系统及方法
CN114740900A (zh) * 2022-06-09 2022-07-12 南京理工大学 基于容错控制的四旋翼无人机精准降落系统及方法

Also Published As

Publication number Publication date
CN106054931B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN106054931A (zh) 一种基于视觉定位的无人机定点飞行控制系统
CN106225787B (zh) 一种无人机视觉定位方法
US11693428B2 (en) Methods and system for autonomous landing
US20220397917A1 (en) Systems and methods for 3d model based drone flight planning and control
JP7274674B1 (ja) 無人航空機による3次元再構成の実行
CN105197252B (zh) 一种小型无人机降落方法及系统
CN108153334B (zh) 无合作目标式无人直升机视觉自主返航与着降方法及系统
CN105318888A (zh) 基于无人机感知的无人驾驶车辆路径规划方法
CN105512628A (zh) 基于无人机的车辆环境感知系统及方法
CN109992006A (zh) 一种电力巡检无人机的精准回收方法和系统
CN106127201A (zh) 一种基于视觉定位降落末端的无人机降落方法
CN106774386A (zh) 基于多尺度标识物的无人机视觉导航降落系统
CN109885086A (zh) 一种基于复合多边形标志引导的无人机垂直降落方法
CN110618691B (zh) 基于机器视觉的无人机同心圆靶精准降落方法
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN106708073A (zh) 一种自主导航电力巡线故障检测的四旋翼飞行器系统
CN107069859A (zh) 一种基于无人机基站的无线充电系统及方法
CN112947526B (zh) 一种无人机自主降落方法和系统
CN108871409A (zh) 一种故障检测方法和系统
CN207718231U (zh) 一种手势识别遥控无人机
CN109839111A (zh) 一种基于视觉定位的室内多机器人编队系统
CN110850889B (zh) 一种基于rtk导航的无人机自主巡检系统
CN112731966A (zh) 一种融合视觉的多旋翼无人机专用降落控制方法及装置
Sanchez-Lopez et al. A vision based aerial robot solution for the mission 7 of the international aerial robotics competition
CN116578035A (zh) 基于数字孪生技术的旋翼无人机自主降落控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant