CN115237158A - 多旋翼无人机自主跟踪与着陆控制系统及控制方法 - Google Patents
多旋翼无人机自主跟踪与着陆控制系统及控制方法 Download PDFInfo
- Publication number
- CN115237158A CN115237158A CN202210987758.3A CN202210987758A CN115237158A CN 115237158 A CN115237158 A CN 115237158A CN 202210987758 A CN202210987758 A CN 202210987758A CN 115237158 A CN115237158 A CN 115237158A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- rotor unmanned
- landmark
- landing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 230000036544 posture Effects 0.000 claims description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 230000002567 autonomic effect Effects 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了多旋翼无人机自主跟踪与着陆控制系统及控制方法，由内外两层二维码组成的地标，通过单目相机采集并输送至机载处理器，实现无人机相对于地标的位姿估计，无人机自身姿态通过视觉定位相机采集并输出至机载处理器，通过机载处理器生成控制指令输送至飞行控制器，进而控制无人机执行跟踪或着陆任务。本发明所述多旋翼无人机自主跟踪与着陆控制方法使无人机在执行任务时，在没有人为指导的情况下，只需要依靠视觉信息即可实现高精度且稳定性良好地自主寻找地标、跟踪地标并实现对地标的着陆。
Description
技术领域
本发明属于无人机视觉导航技术领域，具体涉及多旋翼无人机自主跟踪与着陆控制系统及控制方法。
背景技术
近些年来，多旋翼无人机在民用领域广泛应用，使其成为无人机领域的研究热点。与此同时，随着图像处理技术以及相关硬件的飞速发展，通过在多旋翼无人机上搭载视觉传感器来获取期望的图像信息，已逐渐成为最近几年无人机领域相关技术人员非常关注的一个研究领域。此外，众多无人机制造企业也通过将视觉传感器与无人机系统相结合的方式，设计并发布了众多具有全新功能的多旋翼无人机产品。
在对无人机，尤其是多旋翼无人机的设计研发过程中，无人机对移动目标的跟踪以及无人的自主着陆，是实现无人机自主飞行极为重要的两个控制阶段，其中，无人机对移动目标的跟踪技术更是无人机搭载视觉传感器以执行相关任务的基础。故，如果可以准确且稳定地控制无人机实现自主跟踪和自主着陆，将大大增强无人机智能化程度。目前，要实现无人机自主跟踪和着陆则需要自主导航能力作为必要前提。
随着图像处理、机器视觉算法研究的深入以及GPU和DSP硬件处理速度的提升，视觉导航技术受到越来越多的重视。尤其在复杂环境中，基于视觉的自主着陆和导航系统能够比其他传感器提早发现目标或障碍物，保证飞行安全。而实现无人机自主导航的前提是实现飞行器周围环境的检测和自身位置的估计，由于GPS使用的局限性，如何实现不依赖全球定位系统信息的自主导航已经成为无人机研究领域的重要研究目标，基于图像的视觉导航是其中关键技术。
相较于其余传统的导航方式，视觉导航具有成本更低，记录的信息量更加丰富，受外界信号干扰小等优点。
现有技术中，基于视觉导航的跟踪以及着陆控制方案的控制精度均较低，且控制稳定性较差。随着无人机在农业、航拍、电力巡线、无人快递等领域应用的不断扩展，多旋翼无人机的自主跟踪与着陆控制技术亟待进一步提升。
发明内容
针对上述现有技术中存在的缺陷，本发明公开了多旋翼无人机自主跟踪与着陆控制系统及控制方法，控制多旋翼无人机实现高精度且稳定性良好地自主跟踪及着陆。
结合说明书附图，本发明的技术方案如下：
多旋翼无人机自主跟踪与着陆控制系统，包括：由地面计算机和遥控器组成的地面端模块、飞行控制器、机载处理器、供电模块，其特征在于：
还包括：地标、视觉导航模块；
所述地标为由内外两层二维码组成，内外两层二维码的中心点重合；
所述视觉导航模块由搭载在多旋翼无人机上的单目相机和视觉定位相机组成；
所述单目相机用于采集多旋翼无人机周围包括地标在内的视频流信息，单目相机信号输出端与机载处理器相连，机载处理器检测识别地标，并计算分析获得多旋翼无人机相对于地标的位置与姿态估计结果；
所述视觉定位相机用于对多旋翼无人机自身包括位置及姿态的状态信息进行估计，视觉定位相机信号输出端与机载处理器相连；
所述机载处理器基于多旋翼无人机自身包括位置及姿态的状态信息估计结果，以及多旋翼无人机相对于地标的位置与姿态估计结果，生成跟踪模式或着陆模式相应的控制指令输送至飞行控制器，控制多旋翼无人机飞行至跟踪模式或着陆模式下的期望位置。
进一步地，所述地标外层尺寸为150mm×150mm，地标内层尺寸为30mm×30mm。
进一步地，所述飞行控制器：
与机载处理器信号连接，一方面用于接收机载处理器生成的控制指令，进而控制多旋翼无人机的飞行状态，另一方面将多旋翼无人机飞行状态实时反馈至机载处理器，实现闭环控制；
与遥控器信号连接，用于接收遥控器手动多旋翼无人机飞行状态的控制指令；
与地面计算机信号连接，用于将多旋翼无人机飞行状态实时反馈至地面计算机。
进一步地，所述机载处理器：
与地面计算机信号连接，用于地面计算机远程登录，并接收地面计算机信号发送的包括：启动机载处理器、跟踪或着落模式切换在内的控制指令；
与飞行控制器信号连接，用于将分析获得的飞行控制指令信号发送至飞行控制器，进而通过飞行控制器控制多旋翼无人机的飞行状态，控制无人机飞行至期望位置以执行跟踪或着陆指令。
进一步地，所述供电模块分别与视觉定位相机、单目相机、机载处理器和飞行控制器电连接。
多旋翼无人机自主跟踪与着陆控制方法，采用前述所述的控制系统，所述自主跟踪与着陆控制方法的具体步骤如下：
S1：控制多旋翼无人机起飞至指定位置后悬停；
S2：采集多旋翼无人机周围视频流信息，当预设时间内识别到地标则进入步骤S3，否则多旋翼无人机上升预设高度，并重复本步骤S2；
S3：分析像素坐标系、图像坐标系、单目相机坐标系、地标所在惯性坐标系之间的转换关系，计算获得多旋翼无人机相对于地标的位置与姿态估计；
S4：将当前时刻的多旋翼无人机相对于地标的位姿估计值作为机载处理器输入，由机载处理器转换为控制多旋翼无人机机动的控制指令至飞行控制器；
S5：判断多旋翼无人机当前模式，如果是跟踪模式则进入步骤S6，如果是着陆模式则进入步骤S7；
S6：机载处理器基于当前时刻多旋翼无人机相对于地标的位姿估计值，并结合“跟踪”程序控制指令，生成跟踪模式控制指令输送至飞行控制器，通过飞行控制器控制多旋翼无人机飞行至跟踪模式下的期望位置；
S7：机载处理器基于当前时刻多旋翼无人机相对于地标的位姿估计值，并结合“着陆”程序控制指令，生成着陆模式控制指令输送至飞行控制器，通过飞行控制器控制多旋翼无人机飞行至跟着陆模式下的期望位置。
进一步地，所述步骤S3中，单目相机相对于地标的位置和姿态信息的获得过程具体如下：
首先：像素坐标系AO(u,v)与图像坐标系BOs(x,y)转换关系如下:
上述转换关系中：
dx,dy为像素坐标点占有的感光尺寸；
(u0,v0)为像素坐标原点的像素O0坐标。
然后：如图5所示，利用成像原理获得单目相机坐标系COc(xc,yc,zc)和图像坐标系BOs(x,y)的转换关系为：
上述转换关系中：
f为单目相机焦距。
接着：单目相机坐标系COc(xc,yc,zc)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系为：
最后：通过上述转换关系，即可获得像素坐标系AO(u,v)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系：
上述转换关系中：
参数fu,fv,u0,v0通过单目相机标定得到，三个空间物点的像素坐标和惯性坐标已知，通过方程组求解出tx，ty，tz和θ，φ，ψ六个未知参数，即可获得像素坐标系AO(u,v)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系，进而实现搭载有单目相机的多旋翼无人机相对于地标的位置和姿态估计。
进一步地，所述步骤S6中，通过飞行控制器控制多旋翼无人机飞行至跟踪模式下的期望位置是指：多旋翼无人机在水平方向上接近地标以实现多旋翼无人机对地标的自主跟踪，并且保持多旋翼无人机的飞行高度以保证目标在单目相机视频流采集视野中。
进一步地，所述步骤S7中，通过飞行控制器控制多旋翼无人机飞行至跟着陆模式下的期望位置，具体过程如下：
S71：控制多旋翼无人机水平方向接近地标同时下降自身高度；
S72：判断地标是否丢失，若地标丢失则上升预设飞行高度H2，以扩大视野使地标重新进入单目相机视频流采集视野，地标若不丢失则计算多旋翼无人机与地标中心的直线距离；
S73：判断多旋翼无人机与地标中心的直线距离是否小于预设距离L，若小于预设距离L，则执行步骤S74，否则继续保持当前着陆模式，多旋翼无人机水平方向接近地标同时下降自身高度，直至多旋翼无人机与地标中心的直线距离小于预设距离L；
S74：机载处理器发出驱动电机停转控制指令至飞行控制器，通过飞行控制器控制多旋翼无人机的驱动电机停转，多旋翼无人机的机翼停止旋转，多旋翼无人机依自身重力降落着陆。
更进一步地，所述步骤S2中，所述预设时间T为10s，所述预设高度H1为0.3m；
所述步骤S72中，预设飞行高度H2为0.3m；
所述步骤S73中，预设距离L为0.3m。
与现有技术相比，本发明的有益效果在于：
1、本发明所述多旋翼无人机自主跟踪与着陆控制方法使无人机在执行任务时，在没有人为指导的情况下，只需要依靠视觉信息即可自主寻找地标、跟踪地标并实现对地标的着陆。
2、本发明所述多旋翼无人机自主跟踪与着陆控制系统中，采用自主设计的二层嵌套ArUco码作为地标，在无人机自主跟踪或着陆时有更高的精度和鲁棒性。
3、本发明所述多旋翼无人机自主跟踪与着陆控制方法，通过多次的目标识别及判断步骤，使得无人机在作业时具有更高的稳定性。
4、本发明所述多旋翼无人机自主跟踪与着陆控制系统中，仅采用相机作为传感器来识别无人机周围环境及地标，系统结构简单，制造成本较低。
附图说明
图1为多旋翼无人机自主跟踪与着陆控制系统结构框图；
图2为本发明所述多旋翼无人机自主跟踪与着陆控制方法流程框图；
图3为本发明所述多旋翼无人机自主跟踪与着陆控制方法中，像素坐标系A、图像坐标系B、单目相机坐标系C、地标所在惯性坐标系D的示意图；
图4为本发明所述多旋翼无人机控制系统及自主跟踪与着陆控制方法中，地标示意图；
图5为本发明所述多旋翼无人机自主跟踪与着陆控制方法中，所利用的成像原理示意图。
具体实施方式
为清楚、完整地描述本发明所述技术方案及其具体工作过程，结合说明书附图，本发明的具体实施方式如下：
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例一：
本实施例一公开了一种多旋翼无人机控制系统，如图1所示，所述控制系统包括：地标、视觉导航模块、地面端模块、飞行控制器、机载处理器、供电模块。其中：
所述地标：
如图3所示，所述地标采用内外两层二维码组成的二级结构地标，即二层嵌套ArUco码，地标外层尺寸为150mm×150mm，地标内层尺寸为30mm×30mm，外层使用id号为31的二维码，内层采用id号为21的二维码，内外两层二维码的中心点重合，保证无人机系统在同时识别到二级结构地标的同时，可以直接取内外层二维码估计多旋翼无人机相对于地标的位姿，并将取内层二维码为地标信息估计的多旋翼无人机相对于地标的位姿与取外层二维码为地标信息估计的多旋翼无人机相对于地标的位姿二者的均值作为该时刻的多旋翼无人机相对于地标的位姿估计值进而作为下一控制节点的输入值。
所述视觉导航模块：
由搭载安装在多旋翼无人机上的单目相机和视觉定位相机组成，其中：
所述单目相机用于采集多旋翼无人机周围包括地标在内的视频流信息，单目相机信号输出端与机载处理器相连，供机载处理器检查识别地标；
本实施例一中，所述单目相机采用深圳威鑫世界科技公司生产高清摄像头，摄像头型号为SY011HD，此摄像头像素200万，焦距3mm,分辨率为1920×1080，可视角度130°，工作电压为5V，可输出MJPG,YUV,YUV2格式的图像；
所述视觉定位相机用于对多旋翼无人机自身包括位置及姿态的状态信息进行估计，视觉定位相机信号输出端与机载处理器相连；
本实施例一中，所述本文选用的是由英特尔公司生产的T265相机，所述视觉定位相机由两个鱼眼镜头组成并内置V-SLAM算法，可以直接输出多旋翼无人机自身状态的估计结果。
本实施例一所述多旋翼无人机控制系统在试验过程中，为了保障试验人员安全，场地外围搭建了防护网。由于无人机定位数据全部依赖视觉信息，在防护网上固定若干二维码，多旋翼无人机在飞行时前置的视觉定位相机自身集成了V-SLAM定位算法，可直接通过视觉定位相机输出多旋翼无人机的位置和姿态信息，故，通过在多旋翼无人机的四周设置较为明显的特征点标识，可有效提升多旋翼无人机的定位精度。
所述地面端模块：
由地面计算机和遥控器组成，其中：
所述地面计算机：
与机载处理器信号连接，地面计算机通过WIFI远程登陆至机载处理器输入离散控制指令使跟踪或着陆系统工作，并切换跟踪模式或着陆模式；
与飞行控制器信号连接，以实时获取多旋翼无人机的飞行状态；
所述遥控器：
与飞行控制器信号连接，用于手动向多旋翼无人机发送飞行控制指令；
本实施例一中，所述遥控器采用一个FS-i6s型号的无人机遥控器，该遥控器拥有切换手动飞行模式和Offboard模式，Offboard模式是指无人机当前的飞行控制指令由机载处理器发出，手动模式是指无人机的飞行指令是由遥控器发出的，因此地面端遥控器拥有对无人机的最高控制权以避免因系统出错从而使无人机失去控制的情况。
所述飞行控制器：
与机载处理器信号连接，一方面用于接收机载处理器生成的控制指令，进而控制多旋翼无人机的飞行状态，另一方面将多旋翼无人机飞行状态实时反馈至机载处理器，实现闭环控制；
与遥控器信号连接，用于接收遥控器手动多旋翼无人机飞行状态的控制指令；
与地面计算机信号连接，用于将多旋翼无人机飞行状态实时反馈至地面计算机；
本实施例一中，所述飞行控制器是由深圳市合力公司与PX4团队共同开发的Pixhawk4硬件，是可以通过搭载的气压计、陀螺仪、GPS等传感器采集到的数据信息经过内置的控制算法输出多路控制指令以控制无人机的自动驾驶设备，其中预装了最新的PX4原生固件，由于PX4项目开源，受到了大多数科研爱好者的开发维护，目前PX4固件已经成为了自动驾驶软件的通用标准。
所述机载处理器：
与视觉定位相机信号连接，用于接收视觉定位相机输出的多旋翼无人机自身的状态信息；
与单目相机信号连接，用于接收单目相机采集并输出的包括地标信息在内的视频流信息，进而检测识别地标，并基于V-SLAM算法，计算分析获得多旋翼无人机相对于地标的位置与姿态估计结果；
与地面计算机信号连接，用于地面计算机远程登录，并接收地面计算机信号发送的包括：启动机载处理器、跟踪/着落模式切换等在内的控制指令；
与飞行控制器信号连接，用于将分析获得的飞行控制指令信号发送至飞行控制器。进而通过飞行控制器控制多旋翼无人机的飞行状态，控制无人机飞行至期望位置以执行跟踪或着陆任务；
本实施例一中，机载处理器文采用英伟达公司开发的Jetson Xavier NX板卡作为系统的机载处理器，板卡拥有40针引脚提供了I2C、UART以及SPI等扩展接口，并且同时提供了4个USB 3.1A型端口以满足大多数用户的需求；
本实施例一中，机载处理器通过ROS系统的MAVROS接口发布MAVLink类型消息至飞行控制器。
所述供电模块：
分别与视觉定位相机、单目相机、机载处理器和飞行控制器电信号连接，以用于对个用电元器件供电。
实施例二：
本实施例二公开了一种多旋翼无人机自主跟踪与着陆控制方法，所述自主跟踪与着陆控制方法基于前述实施例一中所述的多旋翼无人机控制系统。
如图2所示，所述自主跟踪与着陆控制方法的具体步骤如下：
S1：控制多旋翼无人机起飞至指定位置后悬停；
所述多旋翼无人机接通电源，多旋翼无人机的控制系统上电，待控制系统的机载处理器开机后，操作人员在地面端模块的地面PC上远程登陆机载处理器的电脑端，并输入起飞指令，机载处理器接收起飞指令并通过向飞行控制器发送控制指令，控制多旋翼无人机起飞至指定位置后悬停。
S2：采集多旋翼无人机周围视频流信息，当预设时间内识别到地标则进入步骤S3，否则多旋翼无人机上升预设高度，并重复本步骤S2；
视觉导航模块中的单目相机搭载安装在多旋翼无人机上，通过单目相机采集获取多旋翼无人机周围的视频流信息并发送至机载处理器，机载处理器通过对接收到的视频流信息进行检测及识别；如果在预设时间T内检测到地标，则进入下述步骤S3，否则，机载处理器向飞行控制器发送控制指令，控制多旋翼无人机自动由当前高度继续上升预设高度H1，以扩大单目相机视野范围，并重复本步骤S2，再次检测识别地标；
本步骤S2中，所述预设时间T为10s，所述预设高度H1为0.3m。
S3：基于V-SLAM算法，分析像素坐标系A、图像坐标系B、单目相机坐标系C、地标所在惯性坐标系D之间的转换关系，实现多旋翼无人机相对于地标的位置与姿态估计；
如图3所示，所述单目相机相对于地标的位置和姿态信息的获得过程具体如下：
首先：像素坐标系AO(u,v)与图像坐标系BOs(x,y)转换关系如下:
上述转换关系中：
dx,dy为像素坐标点占有的感光尺寸；
(u0,v0)为像素坐标原点的像素O0坐标。
然后：如图5所示，利用成像原理获得单目相机坐标系COc(xc,yc,zc)和图像坐标系BOs(x,y)的转换关系为：
上述转换关系中：
f为单目相机焦距。
接着：单目相机坐标系COc(xc,yc,zc)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系为：
最后：通过上述转换关系，即可获得像素坐标系AO(u,v)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系：
上述转换关系中：
参数fu,fv,u0,v0通过单目相机标定得到，未知参数只有tx，ty，tz和θ，φ，ψ6个未知参数。3个空间物点的像素坐标和惯性坐标已知，通过方程组求解出上述的6个未知参数，即可获得像素坐标系AO(u,v)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系，进而实现搭载有单目相机的多旋翼无人机相对于地标的位置和姿态估计；
如图3所示，所述地标采用内外两层二维码组成的二级结构地标，即二层嵌套ArUco码，外层使用id号为31的二维码，内层采用id号为21的二维码，内外两层二维码的中心点重合，保证无人机系统在同时识别到二级结构地标的同时，可以直接取内外层二维码估计多旋翼无人机相对于地标的位姿，并将取内层二维码为地标信息估计的多旋翼无人机相对于地标的位姿与取外层二维码为地标信息估计的多旋翼无人机相对于地标的位姿二者的均值作为该时刻的多旋翼无人机相对于地标的位姿估计值进而作为下一控制节点的输入值。
S4：当前时刻的多旋翼无人机相对于地标的位姿估计值计算完毕后将其作为机载处理器输入，由机载处理器转换为控制多旋翼无人机机动的控制指令至飞行控制器；
S5：判断多旋翼无人机当前模式，如果是跟踪模式则进入步骤S6，如果是着陆模式则进入步骤S7；
本步骤S5中，机载处理器通过接收地面端模块发出的模式程序指令，判断多旋翼无人机的当前模式，如机载处理器接收到地面端模块发出的跟踪模式的程序指令，则判断多旋翼无人机当前为跟踪模式，进入步骤S6，如机载处理器接收到地面端模块发出的着陆模式的程序指令，则判断多旋翼无人机当前为着陆模式，进入步骤S7。
S6：机载处理器基于当前时刻多旋翼无人机相对于地标的位姿估计值，并结合“跟踪”程序控制指令，生成跟踪模式控制指令输送至飞行控制器，通过飞行控制器控制多旋翼无人机飞行至跟踪模式下的期望位置，即：多旋翼无人机在水平方向上接近地标以实现多旋翼无人机对地标的自主跟踪，并且保持多旋翼无人机的飞行高度以保证目标在单目相机视频流采集视野中。
S7：机载处理器基于当前时刻多旋翼无人机相对于地标的位姿估计值，并结合“着陆”程序控制指令，生成着陆模式控制指令输送至飞行控制器，通过飞行控制器控制多旋翼无人机飞行至跟着陆模式下的期望位置，具体过程如下：
S71：控制多旋翼无人机水平方向接近地标同时下降自身高度；
S72：判断地标是否丢失，若地标丢失则上升预设飞行高度H2，以扩大视野使地标重新进入单目相机视频流采集视野，地标若不丢失则计算多旋翼无人机与地标中心的直线距离；
本步骤S72中，预设飞行高度H2为0.3m；
S73：判断多旋翼无人机与地标中心的直线距离是否小于预设距离L，若小于预设距离L，则执行步骤S74，否则继续保持当前着陆模式，多旋翼无人机水平方向接近地标同时下降自身高度，直至多旋翼无人机与地标中心的直线距离小于预设距离L；
本步骤S73中，预设距离L为0.3m；
S74：机载处理器发出驱动电机停转控制指令至飞行控制器，通过飞行控制器控制多旋翼无人机的驱动电机停转，多旋翼无人机的机翼停止旋转，多旋翼无人机依自身重力降落着陆。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (10)
1.多旋翼无人机自主跟踪与着陆控制系统，包括：由地面计算机和遥控器组成的地面端模块、飞行控制器、机载处理器、供电模块，其特征在于：
还包括：地标、视觉导航模块；
所述地标为由内外两层二维码组成，内外两层二维码的中心点重合；
所述视觉导航模块由搭载在多旋翼无人机上的单目相机和视觉定位相机组成；
所述单目相机用于采集多旋翼无人机周围包括地标在内的视频流信息，单目相机信号输出端与机载处理器相连，机载处理器检测识别地标，并计算分析获得多旋翼无人机相对于地标的位置与姿态估计结果；
所述视觉定位相机用于对多旋翼无人机自身包括位置及姿态的状态信息进行估计，视觉定位相机信号输出端与机载处理器相连；
所述机载处理器基于多旋翼无人机自身包括位置及姿态的状态信息估计结果，以及多旋翼无人机相对于地标的位置与姿态估计结果，生成跟踪模式或着陆模式相应的控制指令输送至飞行控制器，控制多旋翼无人机飞行至跟踪模式或着陆模式下的期望位置。
2.如权利要求1所述多旋翼无人机自主跟踪与着陆控制系统，其特征在于：
所述地标外层尺寸为150mm×150mm，地标内层尺寸为30mm×30mm。
3.如权利要求1所述多旋翼无人机自主跟踪与着陆控制系统，其特征在于：
所述飞行控制器：
与机载处理器信号连接，一方面用于接收机载处理器生成的控制指令，进而控制多旋翼无人机的飞行状态，另一方面将多旋翼无人机飞行状态实时反馈至机载处理器，实现闭环控制；
与遥控器信号连接，用于接收遥控器手动多旋翼无人机飞行状态的控制指令；
与地面计算机信号连接，用于将多旋翼无人机飞行状态实时反馈至地面计算机。
4.如权利要求1所述多旋翼无人机自主跟踪与着陆控制系统，其特征在于：
所述机载处理器：
与地面计算机信号连接，用于地面计算机远程登录，并接收地面计算机信号发送的包括：启动机载处理器、跟踪或着落模式切换在内的控制指令；
与飞行控制器信号连接，用于将分析获得的飞行控制指令信号发送至飞行控制器，进而通过飞行控制器控制多旋翼无人机的飞行状态，控制无人机飞行至期望位置以执行跟踪或着陆指令。
5.如权利要求1所述多旋翼无人机自主跟踪与着陆控制系统，其特征在于：
所述供电模块分别与视觉定位相机、单目相机、机载处理器和飞行控制器电连接。
6.多旋翼无人机自主跟踪与着陆控制方法，其特征在于：
采用权利要求1-5中任意一项所述的控制系统，所述自主跟踪与着陆控制方法的具体步骤如下：
S1：控制多旋翼无人机起飞至指定位置后悬停；
S2：采集多旋翼无人机周围视频流信息，当预设时间内识别到地标则进入步骤S3，否则多旋翼无人机上升预设高度，并重复本步骤S2；
S3：分析像素坐标系、图像坐标系、单目相机坐标系、地标所在惯性坐标系之间的转换关系，计算获得多旋翼无人机相对于地标的位置与姿态估计；
S4：将当前时刻的多旋翼无人机相对于地标的位姿估计值作为机载处理器输入，由机载处理器转换为控制多旋翼无人机机动的控制指令至飞行控制器；
S5：判断多旋翼无人机当前模式，如果是跟踪模式则进入步骤S6，如果是着陆模式则进入步骤S7；
S6：机载处理器基于当前时刻多旋翼无人机相对于地标的位姿估计值，并结合“跟踪”程序控制指令，生成跟踪模式控制指令输送至飞行控制器，通过飞行控制器控制多旋翼无人机飞行至跟踪模式下的期望位置；
S7：机载处理器基于当前时刻多旋翼无人机相对于地标的位姿估计值，并结合“着陆”程序控制指令，生成着陆模式控制指令输送至飞行控制器，通过飞行控制器控制多旋翼无人机飞行至跟着陆模式下的期望位置。
7.如权利要求6所述多旋翼无人机自主跟踪与着陆控制方法，其特征在于：
所述步骤S3中，单目相机相对于地标的位置和姿态信息的获得过程具体如下：
首先：像素坐标系AO(u,v)与图像坐标系BOs(x,y)转换关系如下:
上述转换关系中：
dx,dy为像素坐标点占有的感光尺寸；
(u0,v0)为像素坐标原点的像素O0坐标。
然后：如图5所示，利用成像原理获得单目相机坐标系COc(xc,yc,zc)和图像坐标系BOs(x,y)的转换关系为：
上述转换关系中：
f为单目相机焦距。
接着：单目相机坐标系COc(xc,yc,zc)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系为：
最后：通过上述转换关系，即可获得像素坐标系AO(u,v)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系：
上述转换关系中：
参数fu,fv,u0,v0通过单目相机标定得到，三个空间物点的像素坐标和惯性坐标已知，通过方程组求解出tx，ty，tz和θ，φ，ψ六个未知参数，即可获得像素坐标系A O(u,v)与地标所在惯性坐标系DOe(xe,ye,ze)的转换关系，进而实现搭载有单目相机的多旋翼无人机相对于地标的位置和姿态估计。
8.如权利要求6所述多旋翼无人机自主跟踪与着陆控制方法，其特征在于：
所述步骤S6中，通过飞行控制器控制多旋翼无人机飞行至跟踪模式下的期望位置是指：多旋翼无人机在水平方向上接近地标以实现多旋翼无人机对地标的自主跟踪，并且保持多旋翼无人机的飞行高度以保证目标在单目相机视频流采集视野中。
9.如权利要求6所述多旋翼无人机自主跟踪与着陆控制方法，其特征在于：
所述步骤S7中，通过飞行控制器控制多旋翼无人机飞行至跟着陆模式下的期望位置，具体过程如下：
S71：控制多旋翼无人机水平方向接近地标同时下降自身高度；
S72：判断地标是否丢失，若地标丢失则上升预设飞行高度H2，以扩大视野使地标重新进入单目相机视频流采集视野，地标若不丢失则计算多旋翼无人机与地标中心的直线距离；
S73：判断多旋翼无人机与地标中心的直线距离是否小于预设距离L，若小于预设距离L，则执行步骤S74，否则继续保持当前着陆模式，多旋翼无人机水平方向接近地标同时下降自身高度，直至多旋翼无人机与地标中心的直线距离小于预设距离L；
S74：机载处理器发出驱动电机停转控制指令至飞行控制器，通过飞行控制器控制多旋翼无人机的驱动电机停转，多旋翼无人机的机翼停止旋转，多旋翼无人机依自身重力降落着陆。
10.如权利要求9所述多旋翼无人机自主跟踪与着陆控制方法，其特征在于：
所述步骤S2中，预设时间T为10s，预设高度H1为0.3m；
所述步骤S72中，预设飞行高度H2为0.3m；
所述步骤S73中，预设距离L为0.3m。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210987758.3A CN115237158A (zh) | 2022-08-17 | 2022-08-17 | 多旋翼无人机自主跟踪与着陆控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210987758.3A CN115237158A (zh) | 2022-08-17 | 2022-08-17 | 多旋翼无人机自主跟踪与着陆控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115237158A true CN115237158A (zh) | 2022-10-25 |
Family
ID=83679606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210987758.3A Pending CN115237158A (zh) | 2022-08-17 | 2022-08-17 | 多旋翼无人机自主跟踪与着陆控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115237158A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116300989A (zh) * | 2022-11-14 | 2023-06-23 | 海南大学 | 一种基于陆空协同的无人机自主降落控制系统 |
-
2022
- 2022-08-17 CN CN202210987758.3A patent/CN115237158A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116300989A (zh) * | 2022-11-14 | 2023-06-23 | 海南大学 | 一种基于陆空协同的无人机自主降落控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机系统 | |
| CN106774436B (zh) | 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法 | |
| US11940795B2 (en) | Performing 3D reconstruction via an unmanned aerial vehicle | |
| CN107850902B (zh) | 可移动物体上的相机配置 | |
| EP3123260B1 (en) | Selective processing of sensor data | |
| CN109388150B (zh) | 多传感器环境地图构建 | |
| WO2018053861A1 (en) | Methods and system for vision-based landing | |
| KR101574601B1 (ko) | 비전센서가 결합된 다중회전익 무인비행체 및 다중회전익 무인비행체의 자율비행 제어방법, 그 방법을 수행하기 위한 프로그램이 기록된 기록매체 | |
| EP3734394A1 (en) | Sensor fusion using inertial and image sensors | |
| CN205540288U (zh) | 一种具有多功能地面站的无人机系统 | |
| Li et al. | UAV autonomous landing technology based on AprilTags vision positioning algorithm | |
| Cui et al. | Search and rescue using multiple drones in post-disaster situation | |
| CN115933718A (zh) | 一种融合全景slam与目标识别的无人机自主飞行技术方法 | |
| CN102654917A (zh) | 运动体运动姿态感知方法及系统 | |
| CN115237158A (zh) | 多旋翼无人机自主跟踪与着陆控制系统及控制方法 | |
| CN112198903A (zh) | 一种模块化的多功能机载计算机体系 | |
| WO2020062356A1 (zh) | 控制方法、控制装置、无人飞行器的控制终端 | |
| Amidi et al. | Research on an autonomous vision-guided helicopter | |
| CN113063401A (zh) | 一种无人机航测系统 | |
| CN113110534A (zh) | 一种小型无人机控制与感知系统 | |
| CN114897935B (zh) | 基于虚拟相机的无人机对空中目标物的追踪方法及系统 | |
| WO2022094962A1 (zh) | 飞行器的悬停方法、飞行器及存储介质 | |
| CN202084081U (zh) | 运动体运动姿态感知系统 | |
| Luo et al. | An autonomous helicopter with vision based navigation | |
| WO2022113482A1 (ja) | 情報処理装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |