CN108873917A - 一种面向移动平台的无人机自主着陆控制系统及方法 - Google Patents

一种面向移动平台的无人机自主着陆控制系统及方法 Download PDF

Info

Publication number
CN108873917A
CN108873917A CN201810735398.1A CN201810735398A CN108873917A CN 108873917 A CN108873917 A CN 108873917A CN 201810735398 A CN201810735398 A CN 201810735398A CN 108873917 A CN108873917 A CN 108873917A
Authority
CN
China
Prior art keywords
unmanned plane
value
image
landing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810735398.1A
Other languages
English (en)
Inventor
贾华宇
马珺
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201810735398.1A priority Critical patent/CN108873917A/zh
Publication of CN108873917A publication Critical patent/CN108873917A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G05D1/0684—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种面向移动平台的无人机自主着陆控制系统及方法；属于空中机器人与计算机视觉的交叉领域，涉及无人机自主降落技术；系统包括：设置在无人机上的视觉模块，着陆目标检测模块、无人机位姿估计模块和参数对比模块；无人机着陆时，通过视觉模块获得实时影像，对灰色化的图像阈值分割，根据图像处理结果解算出无人机相对于着陆目标的旋转矩阵和平移矩阵，通过旋转矩阵与欧拉角的关系得到无人机的姿态角，实时估计无人机位姿信息，判断并调整自身的飞行；本发明结合无人机技术和图像处理算法，实现了无人机面向移动平台的精准着落，自动化程度更高，操作更简单，提高了无人机的安全性，降低了无人机的失事率。

Description

一种面向移动平台的无人机自主着陆控制系统及方法
技术领域
本发明属于空中机器人与计算机视觉的交叉领域，涉及无人机自主降落技术，具体为一种面向移动平台的无人机自主着陆控制系统及方法。
背景技术
当今，小型无人机的研究与应用越来越普遍，被广泛地用于监视、侦查、预警、电子对抗、通信中继等军用场合与环境监测、航测航拍、气象预测、地震火灾等灾害搜救、输电线路与铁路线路的巡视等民用场合。由于无人机在设计时无需考虑人的生理和心理承受极限，因此可以具有更高的机动性和灵活性。
然而，小型无人机复杂环境下的自主降落既是技术难点，也是我们越来越关注的焦点。目前GPS/INS组合导航系统在小型无人直升机大部分的自主飞行任务中均能起到很好的作用，但是由于在自主降落过程中，GPS被遮挡或者中断，导航精度不足，则会导致自主降落失误，因而GPS/INS并不能确保小型无人机完成自主降落的任务。同时，复杂的降落环境，以及机体位姿在降落过程中改变，也会影响导航信息的准确性。小型无人机存在静不稳定性，其水平方向的位移会使降落地标逃出视野，而其垂直方向的变化，则使得机载摄像头的可视范围发生变化。在现有的着陆导航方式中，惯性导航由于需要通过积分运算来得到飞行器大概位置和速度信息，使得误差会随着时间的推移不断增加；在一些特定的环境中，例如在室内，无人机传感器无法获得足够精确的GPS信号来跟踪路径和探测物体；地面控制导航则受控于人类因素。这些因素都可能导致着陆失败。
传统的无人机着陆，着陆场是固定的，即坐标是固定的，不需要考虑着陆场的移动，在定位上便利，只需要考虑纵向位移。而对于移动平台，需要实现无人机与移动平台的相对定位，需要无人机自主检测和定位地面移动平台。目前通用的目标检测和定位是采用图像技术，对无人机上云台相机获取的视频图像序列的特定目标进行检测、识别和定位。由于图像的目标识别定位成本较低，精度较高，抗干扰能力强，因此该技术在众多领域得以广泛适用。因此，本发明也将采用图像处理技术，来对移动平台上的固定目标进行识别和定位，以完成自主移动降落目的。
发明内容
本发明克服现有技术的不足，目的是提供一种面向移动平台的无人机自主着陆控制系统及方法。
为实现上述目的，本发明所采用的技术方案为：一种面向移动平台的无人机自主着陆控制系统包括：设置在无人机上的视觉模块，着陆目标检测模块、无人机位姿估计模块和参数对比模块。
所述的视觉模块用于获取着陆目标的图像。
所述的着陆目标检测模块用于实时对当前视觉模块获取的着陆目标帧图像进行处理，并将处理结果传至无人机位姿估计模块；所述的着陆目标检测模块包括阈值分割单元和提取角点单元，所述的阈值分割单元用于对摄像机图像进行灰度化处理和阈值分割；所述的提取角点单元用于消除杂点，提取着陆标志角点。
所述的无人机位姿估计模块用于根据图像处理结果解算出无人机相对于着陆目标的旋转矩阵和平移矩阵，并通过旋转矩阵与欧拉角的关系得到无人机的姿态角，实时估计无人机位姿信息。
所述的参数对比模块是接受将无人机位姿估计模块解算获得的位姿估计值与无人机当前的位姿真实值，再通过两者的差值作为无人机的输入信号，控制无人机飞行至移动平台的上方。
优选的，所述视觉模块包括固定于无人机底部的机载摄像机，用于垂直向下拍摄。
更优的，无人机在着陆之前对机载摄像机进行校准，所述的校准包括拍摄着陆平台图像、检测所述图像中的特征点、估计固定参数及外部参数、改进包括镜头畸变参数在内的所有参数。
优选的，所述的阈值分割单元的方法是将摄像机图像像素点(i,j)的红、绿、蓝分量以不同的权值进行加权平均：
Gary(i,j)＝0.299R(i,j)+0.587G(i,j)+0.114B(i,j)
其中，Gary(i,j)是像素点灰度化后的灰度值，R(i,j),G(i,j),B(i,j)是摄像机图像像素点红、绿、蓝分量的值，以此得到该像素点的灰度化后的灰度值。进一步地采用最大类间方差法进行全局阈值分割，以的原理将输入像素点灰度值进行输出，其中Fin(i,j)为像素点输入值，Fout(i,j)为像素点输出值，Thd为选取的阈值；以此方法分离灰度图像中的背景与着陆标志。
优选的，所述的提取角点单元的方法是在阈值处理后的图像中，将像素领域内的灰度值按大小排列，取序列中间点的值作为输出值，消除因脉冲噪声产生的杂点；在提取角点过程中，为了减小噪声的影响，定义矩阵M为：
其中，G为高斯滤波模板，Ix为图像像素点灰度值x方向的梯度值，Iy为图像像素点灰度值y方向的梯度值；在矩阵M的基础上，定义角点响应函数：
其中，det(M)为矩阵M的行列式，trace(M)为矩阵M的迹；
当CRF函数值大于门限阈值30000且CRF值是3×3领域内的局部极大值时，则可定义为图像的一个角点。
优选的，所述无人机位姿估计模块包括位置估计单元和姿态估计单元；所述的位置估计单元用于解算无人机当前位置信息，利用世界坐标系中坐标点(Xw,Yw,0)到图像像素坐标系坐标点(u,v)的映射关系为：
解算出世界坐标系映射到机体坐标系的平移矩阵T＝(Tx Ty Tz)T，从而得到无人机相对于着陆标志的相对位置信息；其中，机载摄像机(4)内参矩阵：
在机载摄像机(4)校准过程中可得，为已知量，
是世界坐标系映射到机体坐标系的旋转矩阵，T＝(Tx Ty Tz)T是世界坐标系映射到机体坐标系的平移矩阵。
所述的姿态估计单元用于计算无人机当前姿态估计值，利用位置估计单元中所解得的平移向量得到旋转矩阵，由旋转矩阵R解算出无人机俯仰角θ、横滚角φ、偏航角ψ的估计值。
优选的，当实时影像中无法检测到特征值时，控制无人机以当前位置为中心进行盘旋影像捕捉，通过盘旋捕捉到的影像与着陆目标影像帧进行对比，判断并调整自身的飞行。
一种面向移动平台的无人机自主着陆控制系统的控制方法，包括以下步骤：
步骤401：摄像机校准。
步骤402：控制无人机飞行。
步骤403：获取无人机当前位姿真实值。
步骤404：摄像机环境检测。
步骤405：对摄像机获取的实时图像灰色化处理。
步骤406：确定自适应阈值。
步骤407：对灰色化的图像进行阈值分割。
步骤408：采用中值滤波方法消除图像中的杂点。
步骤409：对消除杂点后的图像提取着陆标志的角点。
步骤410：使用所述步骤409得到的角点像素坐标和世界坐标系中的坐标点映射到图像像素坐标系的关系，解算无人机姿态估计值。
步骤411：计算无人机当前位置估计值。
步骤412：将步骤410和步骤411得到的位姿估计值和步骤403获取的无人机当前真实值对比，以其误差值作为输入信号控制无人机飞行。
步骤413：判断无人机是否在着陆目标上空，若是执行步骤414，否则执行步骤402，继续控制飞行。
步骤414：控制无人机飞行，降低飞行高度。
步骤415：判断无人机高度是否小于预设高度值，若是执行步骤416，否则执行步骤414，继续降低飞行高度。
步骤416：电动机断电，判断无人机是否着陆完成，若是，则无人机着陆结束，否则控制无人机起飞，转至步骤402。
步骤417：无人机着陆结束。
与现有技术相比本发明具有以下有益效果。
无人机着陆时，通过视觉模块获得实时影像，根据实时影像中着陆标志影像帧的特征分布，通过对灰色化的图像阈值分割，根据图像处理结果解算出无人机相对于着陆目标的旋转矩阵和平移矩阵，并通过旋转矩阵与欧拉角的关系得到无人机的姿态角，实时估计无人机位姿信息，判断并调整自身的飞行。本发明结合无人机技术和图像处理算法，实现了无人机面向移动平台的精准着落。相对于传统的遥控起落和定点自主起降方法，本发明自动化程度更高，操作更简单，基于视觉模块的自主着陆，提高了无人机的安全性，降低了无人机的失事率。
附图说明
图1为本发明提供的一种面向移动平台的无人机自主着陆控制系统的结构示意图。
图2为本发明所述的的机载摄像机校准流程示意图。
图3为本发明面向移动平台的无人机自主着陆控制方法的坐标转换图。
图4为本发明面向移动平台的无人机自主着陆控制方法的流程示意图。
其中1为视觉模块，2为着陆目标检测模块，3为无人机位姿估计模块，4为机载摄像机，5为阈值分割单元，6为提取角点单元，7为位置估计单元，8为姿态估计单元，9为参数对比模块。
具体实施方式
下面结合实施例详细说明本发明的技术方案，但保护范围不被此限制。
如图1所示，本发明提供了一种面向移动平台的无人机自主着陆控制系统，包括视觉模块1，着陆目标检测模块2、无人机位姿估计模块3和参数对比模块9。
其中，视觉模块1用于获取着陆目标的图像。视觉模块1包括机载摄像机4，其位置固定于无人机底部，垂直向下拍摄。
着陆目标检测模块2用于实时对当前帧图像中进行图像处理，并将处理结果传至无人机位姿估计模块3。着陆目标检测模块2包括阈值分割单元5和提取角点单元6。阈值分割单元5用于对摄像机图像进行灰度化处理和阈值分割。提取角点单元6用于利用中值滤波的方法消除因脉冲噪声产生的杂点。
无人机位姿估计模块3用于根据图像处理结果解算出无人机相对于着陆目标的旋转矩阵和平移矩阵，并通过旋转矩阵与欧拉角的关系得到无人机的姿态角，实时估计无人机位姿信息。其中，无人机位姿估计模块3包括位置估计单元7和姿态估计单元8。位置估计单元7用于解算无人机当前位置。姿态估计单元8用于计算无人机当前姿态估计值。
其中，将无人机位姿估计模块3解算获得的位姿估计值与无人机当前的位姿真实值传送至参数对比模块9，以两者的差值作为无人机的输入信号，采用Fuzzy-Sugeno算法控制无人机飞行至着陆场的上方。
如图4所示，一种面向移动平台的无人机自主着陆控制系统的控制方法为。
步骤401：机载摄像机4校准；包括：机载摄像机4打印着陆目标图案照片并贴在着陆平台上；通过移动平台或者相机，从不同的角度拍摄着陆平台的照片；检测所拍照片中的特征点；估计五个固定参数和所有外部参数；改进包括镜头畸变参数在内的所有参数。校准过程如图2所示。
步骤402：控制无人机飞行。
步骤403：获取无人机当前位姿真实值。
步骤404：机载摄像机4环境检测。
步骤405：对摄像机获取的实时图像灰色化处理；将摄像机图像像素点(i,j)的红、绿、蓝分量以不同的权值进行加权平均：
Gary(i,j)＝0.299R(i,j)+0.587G(i,j)+0.114B(i,j)
其中，Gary(i,j)是像素点灰度化后的灰度值，R(i,j),G(i,j),B(i,j)是机载摄像机4图像像素点红、绿、蓝分量的值，以此得到该像素点的灰度化后的灰度值。
步骤406：确定自适应阈值；
步骤407：对灰色化的图像进行阈值分割：进一步地采用最大类间方差法进行全局阈值分割，以的原理将输入像素点灰度值进行输出，其中Fin(i,j)为像素点输入值，Fout(i,j)为像素点输出值，Thd为选取的阈值。以此方法分离灰度图像中的背景与着陆标志。
步骤408和409：提取角点单元6利用中值滤波的方法消除因脉冲噪声产生的杂点，最后提取“H”着陆标志的12个角点。其中，采用中值滤波方法消除图像中的杂点。
在阈值处理后的图像中，将像素领域内的灰度值按大小排列，取序列中间点的值作为输出值，消除因脉冲噪声产生的杂点。在提取角点过程中，为了减小噪声的影响，定义矩阵M为：
其中，G为高斯滤波模板，Ix为图像像素点灰度值x方向的梯度值，Iy为图像像素点灰度值y方向的梯度值。在矩阵M的基础上，定义角点响应函数：
其中，det(M)为矩阵M的行列式，trace(M)为矩阵M的迹。
当CRF函数值大于门限阈值30000且CRF值是3×3领域内的局部极大值时，则可定义为图像的一个角点。
步骤410：使用所述步骤409得到的角点像素坐标和世界坐标系中的坐标点映射到图像像素坐标系的关系，解算无人机姿态估计值；
步骤411：计算无人机当前位置估计值；具体为：
其中，无人机位姿估计模块3包括位置估计单元7和姿态估计单元8；
其中，位置估计单元7用于解算无人机当前位置。在本项目中，机载摄像机与无人机是固连的，用摄像机坐标系代替机体坐标系。在世界坐标系的标定过程中，世界坐标系中的Zw值均为0。世界坐标系中坐标点(Xw,Yw,0)到图像像素坐标系坐标点(u,v)的映射关系为：
机载摄像机4内参矩阵在机载摄像机4校准过程中可得，为已知量，
是世界坐标系映射到机体坐标系的旋转矩阵，T＝(Tx Ty Tz)T是世界坐标系映射到机体坐标系的平移矩阵；
将世界坐标系中坐标点(Xw,Yw,0)到图像像素坐标系坐标点(u,v)的映射关系改写为：
其中，记上述齐次方程为：Hq＝0。
将“H”着陆标记的12个角点的世界坐标和图像像素坐标代入Hq＝0，得到将该齐次方程的系数矩阵做奇异值分解，有
可得一个最小二乘解求解出无人机当前相对于着陆标志的平移矩阵：
其中，姿态估计单元8用于计算无人机当前姿态估计值。将得到的一个
最小二乘解做奇异值分解，有求解出旋转矩阵依据旋转矩阵R解算无人机的相对姿态估计值，有偏航角ψ取值有两个ψ1,ψ2，取舍取决于
r12＝cosθsinψ的符号：当r12＞0时，当r12＜0时，当r12＝0时，sinψ＝0,ψ＝0。以此方法可解算出无人机俯仰角θ、横滚角φ、偏航角ψ的估计值。
步骤412：将步骤410和步骤411得到的位姿估计值和步骤403获取的无人机当前真实值对比，以其误差值作为输入信号控制无人机飞行；其中，将无人机位姿估计模块3解算获得的位姿估计值与无人机当前的位姿真实值传送至参数对比模块9，以两者的差值作为无人机的输入信号，采用Fuzzy-Sugeno算法控制无人机飞行至着陆场的上方。
步骤413：判断无人机是否在着陆目标上空，若是执行步骤414，否则执行步骤402，继续控制飞行；其中，当实时影像中无法检测到特征值时，控制无人机以当前位置为中心进行盘旋影像捕捉，通过盘旋捕捉到的影像与着陆目标影像帧进行对比，判断并调整自身的飞行。
步骤414：控制无人机飞行，降低飞行高度。
步骤415：判断无人机高度是否小于预设高度值，若是执行步骤416，否则执行步骤414，继续降低飞行高度。
步骤416：电动机断电，判断无人机是否着陆完成，若是，则无人机着陆结束，否则控制无人机起飞，转至步骤402。
步骤417：无人机着陆结束。
具体地，将解算出的位姿估计值和无人机当前位姿真实值做参数对比，以两者的差值作为输入信号，采用Fuzzy-Sugeno算法控制无人机飞行至着陆场的上方并保持。然后无人机降低飞行高度，当飞行高度小于设定的高度值，断开电动机的电源，无人机扑向着陆场，完成着陆。
在本发明中，采用Parrot AR Drone 2无人机和一艘小船进行验证基于视觉的无人机自主着陆于移动平台。
无人机的整个着陆过程分为几个阶段，在本发明中，先控制无人机的飞行，通过机载摄像机拍摄图像，获取着陆地标的角点，利用目标角点物理坐标和图像像素坐标解算出机载摄像机和着陆目标之间的信息，估计出当前无人机的位姿信息，同时以当前无人机的位姿真实值与位姿估计值的差值作为输入信号，采用Fuzzy-Sugeno算法控制无人机飞行至着陆场的上方，然后控制无人机的高度，当无人机的高度小于预设值时，关闭电动机，完成着陆。
区别于现有技术，本发明提供了一种基于视觉的无人机自主着陆于移动平台的控制装置和方法，该装置包括视觉模块、着陆目标检测模块和无人机位姿估计模块，无人机在飞行过程中，通过视觉模块搜寻“H”形着陆标志，无人机着陆时，通过视觉模块获得实时影像，根据实时影像中着陆标志影像帧的特征分布，判断并调整自身的飞行。本发明基于视觉模块的自主着陆，提高了无人机的安全性，降低了无人机的失事率。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (8)

1.一种面向移动平台的无人机自主着陆控制系统，其特征在于，所述的无人机自主降落控制系统包括：设置在无人机上的视觉模块(1)，着陆目标检测模块(2)、无人机位姿估计模块(3)和参数对比模块(9)；
所述的视觉模块(1)用于获取着陆目标的图像；
所述的着陆目标检测模块(2)用于实时对当前视觉模块(1)获取的着陆目标帧图像进行处理，并将处理结果传至无人机位姿估计模块(3)；所述的着陆目标检测模块(2)包括阈值分割单元(5)和提取角点单元(6)，所述的阈值分割单元(5)用于对摄像机图像进行灰度化处理和阈值分割；所述的提取角点单元(6)用于消除杂点，提取着陆标志角点；
所述的无人机位姿估计模块(3)用于根据图像处理结果解算出无人机相对于着陆目标的旋转矩阵和平移矩阵，并通过旋转矩阵与欧拉角的关系得到无人机的姿态角，实时估计无人机位姿信息；
所述的参数对比模块(9)是接受将无人机位姿估计模块(3)解算获得的位姿估计值与无人机当前的位姿真实值，再通过两者的差值作为无人机的输入信号，控制无人机飞行至移动平台的上方。
2.根据权利要求1所述的一种面向移动平台的无人机自主着陆控制系统，其特征在于，所述视觉模块(1)包括固定于无人机底部的机载摄像机(4)，用于垂直向下拍摄。
3.根据权利要求2所述的一种面向移动平台的无人机自主着陆控制系统，其特征在于，无人机在着陆之前对机载摄像机(4)进行校准，所述的校准包括拍摄着陆平台图像、检测所述图像中的特征点、估计固定参数及外部参数、改进包括镜头畸变参数在内的所有参数。
4.根据权利要求1所述的一种面向移动平台的无人机自主着陆控制系统，其特征在于，所述的阈值分割单元(5)的方法是将摄像机图像像素点(i,j)的红、绿、蓝分量以不同的权值进行加权平均，
Gary(i,j)＝0.299R(i,j)+0.587G(i,j)+0.114B(i,j)
其中，Gary(i,j)是像素点灰度化后的灰度值，R(i,j),G(i,j),B(i,j)是摄像机图像像素点红、绿、蓝分量的值，以此得到该像素点的灰度化后的灰度值。进一步地采用最大类间方差法进行全局阈值分割，以的原理将输入像素点灰度值进行输出，其中Fin(i,j)为像素点输入值，Fout(i,j)为像素点输出值，Thd为选取的阈值；以此方法分离灰度图像中的背景与着陆标志。
5.根据权利要求1所述的一种面向移动平台的无人机自主着陆控制系统，其特征在于，所述的提取角点单元(6)的方法是在阈值处理后的图像中，将像素领域内的灰度值按大小排列，取序列中间点的值作为输出值，消除因脉冲噪声产生的杂点；在提取角点过程中，为了减小噪声的影响，定义矩阵M为：
其中，G为高斯滤波模板，Ix为图像像素点灰度值x方向的梯度值，Iy为图像像素点灰度值y方向的梯度值；在矩阵M的基础上，定义角点响应函数：
其中，det(M)为矩阵M的行列式，trace(M)为矩阵M的迹；
当CRF函数值大于门限阈值30000且CRF值是3×3领域内的局部极大值时，则可定义为图像的一个角点。
6.根据权利要求1所述的一种面向移动平台的无人机自主着陆控制系统，其特征在于，所述无人机位姿估计模块(3)包括位置估计单元(7)和姿态估计单元(8)；所述的位置估计单元(7)用于解算无人机当前位置信息，利用世界坐标系中坐标点(Xw,Yw,0)到图像像素坐标系坐标点(u,v)的映射关系为：
解算出世界坐标系映射到机体坐标系的平移矩阵T＝(Tx Ty Tz)T，从而得到无人机相对于着陆标志的相对位置信息；其中，机载摄像机(4)内参矩阵：
在机载摄像机(4)校准过程中可得，为已知量，
是世界坐标系映射到机体坐标系的旋转矩阵，T＝(Tx Ty Tz)T是世界坐标系映射到机体坐标系的平移矩阵；
所述的姿态估计单元(8)用于计算无人机当前姿态估计值，利用位置估计单元(7)中所解得的平移向量得到旋转矩阵，由旋转矩阵R解算出无人机俯仰角θ、横滚角φ、偏航角ψ的估计值。
7.根据权利要求1所述的一种面向移动平台的无人机自主着陆控制系统，其特征在于，当实时影像中无法检测到特征值时，控制无人机以当前位置为中心进行盘旋影像捕捉，通过盘旋捕捉到的影像与着陆目标影像帧进行对比，判断并调整自身的飞行。
8.如权利要求1所述的一种面向移动平台的无人机自主着陆控制系统的控制方法，其特征在于：包括以下步骤：
步骤401：摄像机校准；
步骤402：控制无人机飞行；
步骤403：获取无人机当前位姿真实值；
步骤404：摄像机环境检测；
步骤405：对摄像机获取的实时图像灰色化处理；
步骤406：确定自适应阈值；
步骤407：对灰色化的图像进行阈值分割；
步骤408：采用中值滤波方法消除图像中的杂点；
步骤409：对消除杂点后的图像提取着陆标志的角点；
步骤410：使用所述步骤409得到的角点像素坐标和世界坐标系中的坐标点映射到图像像素坐标系的关系，解算无人机姿态估计值；
步骤411：计算无人机当前位置估计值；
步骤412：将步骤410和步骤411得到的位姿估计值和步骤403获取的无人机当前真实值对比，以其误差值作为输入信号控制无人机飞行；
步骤413：判断无人机是否在着陆目标上空，若是执行步骤414，否则执行步骤402，继续控制飞行；
步骤414：控制无人机飞行，降低飞行高度；
步骤415：判断无人机高度是否小于预设高度值，若是执行步骤416，否则执行步骤414，继续降低飞行高度；
步骤416：电动机断电，判断无人机是否着陆完成，若是，则无人机着陆结束，否则控制无人机起飞，转至步骤402；
步骤417：无人机着陆结束。
CN201810735398.1A 2018-07-05 2018-07-05 一种面向移动平台的无人机自主着陆控制系统及方法 Pending CN108873917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810735398.1A CN108873917A (zh) 2018-07-05 2018-07-05 一种面向移动平台的无人机自主着陆控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810735398.1A CN108873917A (zh) 2018-07-05 2018-07-05 一种面向移动平台的无人机自主着陆控制系统及方法

Publications (1)

Publication Number Publication Date
CN108873917A true CN108873917A (zh) 2018-11-23

Family

ID=64299368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810735398.1A Pending CN108873917A (zh) 2018-07-05 2018-07-05 一种面向移动平台的无人机自主着陆控制系统及方法

Country Status (1)

Country Link
CN (1) CN108873917A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801336A (zh) * 2019-01-09 2019-05-24 南京理工大学 基于可见光及红外光视觉的机载目标定位系统及方法
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN110231836A (zh) * 2019-06-14 2019-09-13 北京查打先锋高科技有限责任公司 一种引导无人机降落在移动靶标的方法
CN110253580A (zh) * 2019-06-24 2019-09-20 昆明滇鹰科技有限公司 动平台降落复合地标导航系统
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
CN110322462A (zh) * 2019-06-13 2019-10-11 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110395398A (zh) * 2019-09-05 2019-11-01 广东电网有限责任公司 一种基于多旋翼无人机的接地装配系统及其接地方法
CN110598370A (zh) * 2019-10-18 2019-12-20 太原理工大学 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN110687928A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 降落控制方法，系统，无人机及存储介质
CN111003192A (zh) * 2019-12-30 2020-04-14 南京信息工程大学 一种基于gps与视觉的无人机自主着陆系统和着陆方法
CN111325752A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种直升机精准着陆及动态位姿调整视觉辅助方法
CN111369621A (zh) * 2020-03-11 2020-07-03 西安应用光学研究所 系留式升空平台图像定位解算方法
CN111598952A (zh) * 2020-05-21 2020-08-28 华中科技大学 一种多尺度合作靶标设计与在线检测识别方法及系统
CN111627068A (zh) * 2019-12-31 2020-09-04 成都国翼电子技术有限公司 用于自动校正无人机前视摄像机图像中心的装置及方法
CN112099527A (zh) * 2020-09-17 2020-12-18 湖南大学 一种垂直起降无人机移动平台自主着陆的控制方法及系统
CN112462791A (zh) * 2020-12-02 2021-03-09 成都时代星光科技有限公司 一种车载无人机机场全自动高精度飞行着陆系统及方法
CN112785646A (zh) * 2021-01-26 2021-05-11 联想(北京)有限公司 一种降落位姿确定方法及电子设备
CN112987691A (zh) * 2021-02-25 2021-06-18 北京空间飞行器总体设计部 一种地外天体表面软着陆闭环随动控制试验方法
CN113109852A (zh) * 2021-03-11 2021-07-13 国网江西省电力有限公司电力科学研究院 一种无人机进狭窄空间的路径规划方法及装置
CN113485440A (zh) * 2021-07-31 2021-10-08 武夷科技信息(北京)有限公司 一种无人机着陆飞行的方向控制方法
CN113485449A (zh) * 2021-08-16 2021-10-08 普宙科技(深圳)有限公司 基于嵌套二维码的无人机自主降落方法及系统
CN113568427A (zh) * 2021-07-08 2021-10-29 上海机器人产业技术研究院有限公司 无人机自主着陆移动平台的方法及系统
CN114136314A (zh) * 2021-11-30 2022-03-04 北京天兵科技有限公司 一种航天飞行器辅助姿态解算方法
CN114170296A (zh) * 2021-11-10 2022-03-11 埃洛克航空科技（北京）有限公司 基于多模式综合决策的旋转平均估计方法以及装置
CN114200948A (zh) * 2021-12-09 2022-03-18 中国人民解放军国防科技大学 一种基于视觉辅助的无人机自主着舰方法
CN114265423A (zh) * 2021-12-30 2022-04-01 哈尔滨工业大学 一种基于旋转框检测定位的无人机移动平台着陆方法及系统
CN114485577A (zh) * 2021-12-13 2022-05-13 丁莹莹 一种基于视觉的无人机着陆姿态估计方法
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN115629164A (zh) * 2022-12-21 2023-01-20 天津飞眼无人机科技有限公司 一种无人机碳通量监测数据采集设备及处理方法
US11573576B2 (en) * 2019-03-13 2023-02-07 Goertek Inc. Method for controlling a drone, drone and system
CN116300989A (zh) * 2022-11-14 2023-06-23 海南大学 一种基于陆空协同的无人机自主降落控制系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424126A (zh) * 2013-08-12 2013-12-04 西安电子科技大学 一种无人机视觉自主着陆仿真验证系统及方法
CN104601956A (zh) * 2015-01-15 2015-05-06 西安工程大学 基于固定翼无人机的输电线路在线监测系统及监测方法
CN104748750A (zh) * 2013-12-28 2015-07-01 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统
CN106326892A (zh) * 2016-08-01 2017-01-11 西南科技大学 一种旋翼式无人机的视觉着陆位姿估计方法
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
WO2017189325A1 (en) * 2016-04-29 2017-11-02 Jordan Holt Methods and systems for obstruction detection during autonomous unmanned aerial vehicle landings
US9874878B2 (en) * 2014-07-22 2018-01-23 Sikorsky Aircraft Corporation System and method for adaptive multi-scale perception
CN206968999U (zh) * 2017-07-14 2018-02-06 广东工业大学 一种无人机及视觉定标的系统
CN107677274A (zh) * 2017-09-12 2018-02-09 西北工业大学 基于双目视觉的无人机自主着陆导航信息实时解算方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103424126A (zh) * 2013-08-12 2013-12-04 西安电子科技大学 一种无人机视觉自主着陆仿真验证系统及方法
CN104748750A (zh) * 2013-12-28 2015-07-01 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统
US9874878B2 (en) * 2014-07-22 2018-01-23 Sikorsky Aircraft Corporation System and method for adaptive multi-scale perception
CN104601956A (zh) * 2015-01-15 2015-05-06 西安工程大学 基于固定翼无人机的输电线路在线监测系统及监测方法
WO2017189325A1 (en) * 2016-04-29 2017-11-02 Jordan Holt Methods and systems for obstruction detection during autonomous unmanned aerial vehicle landings
CN106326892A (zh) * 2016-08-01 2017-01-11 西南科技大学 一种旋翼式无人机的视觉着陆位姿估计方法
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN107202982A (zh) * 2017-05-22 2017-09-26 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN107291093A (zh) * 2017-07-04 2017-10-24 西北工业大学 基于视觉slam的复杂环境下无人机自主降落区域选择方法
CN206968999U (zh) * 2017-07-14 2018-02-06 广东工业大学 一种无人机及视觉定标的系统
CN107677274A (zh) * 2017-09-12 2018-02-09 西北工业大学 基于双目视觉的无人机自主着陆导航信息实时解算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张晓龙: "基于视觉的四旋翼飞行器自主着陆和位姿估计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王立军: "《船舶运动响应建模与简捷鲁棒控制》", 30 September 2017, 电子科技大学出版社 *
董振: "基于视觉信息的无人机自主着陆导航算法与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
雷毅: "《焊接自动控制基础》", 31 August 2017, 中国石油大学出版社 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325752A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种直升机精准着陆及动态位姿调整视觉辅助方法
CN111325752B (zh) * 2018-12-17 2023-06-13 北京华航无线电测量研究所 一种直升机精准着陆及动态位姿调整视觉辅助方法
CN109801336B (zh) * 2019-01-09 2022-09-06 南京理工大学 基于可见光及红外光视觉的机载目标定位系统及方法
CN109801336A (zh) * 2019-01-09 2019-05-24 南京理工大学 基于可见光及红外光视觉的机载目标定位系统及方法
US11573576B2 (en) * 2019-03-13 2023-02-07 Goertek Inc. Method for controlling a drone, drone and system
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN110221625B (zh) * 2019-05-27 2021-08-03 北京交通大学 无人机精确位置的自主降落导引方法
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
CN110322462A (zh) * 2019-06-13 2019-10-11 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110297498B (zh) * 2019-06-13 2022-04-26 暨南大学 一种基于无线充电无人机的轨道巡检方法及系统
CN110231836A (zh) * 2019-06-14 2019-09-13 北京查打先锋高科技有限责任公司 一种引导无人机降落在移动靶标的方法
CN110253580B (zh) * 2019-06-24 2022-07-22 昆明滇鹰科技有限公司 动平台降落复合地标导航系统
CN110253580A (zh) * 2019-06-24 2019-09-20 昆明滇鹰科技有限公司 动平台降落复合地标导航系统
CN110395398A (zh) * 2019-09-05 2019-11-01 广东电网有限责任公司 一种基于多旋翼无人机的接地装配系统及其接地方法
CN110395398B (zh) * 2019-09-05 2023-09-08 广东电网有限责任公司 一种基于多旋翼无人机的接地装配系统及其接地方法
CN110687928A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 降落控制方法，系统，无人机及存储介质
CN110598370A (zh) * 2019-10-18 2019-12-20 太原理工大学 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN110598370B (zh) * 2019-10-18 2023-04-14 太原理工大学 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN111003192A (zh) * 2019-12-30 2020-04-14 南京信息工程大学 一种基于gps与视觉的无人机自主着陆系统和着陆方法
CN111627068A (zh) * 2019-12-31 2020-09-04 成都国翼电子技术有限公司 用于自动校正无人机前视摄像机图像中心的装置及方法
CN111369621A (zh) * 2020-03-11 2020-07-03 西安应用光学研究所 系留式升空平台图像定位解算方法
CN111369621B (zh) * 2020-03-11 2023-03-24 西安应用光学研究所 系留式升空平台图像定位解算方法
CN111598952B (zh) * 2020-05-21 2022-07-08 华中科技大学 一种多尺度合作靶标设计与在线检测识别方法及系统
CN111598952A (zh) * 2020-05-21 2020-08-28 华中科技大学 一种多尺度合作靶标设计与在线检测识别方法及系统
CN112099527A (zh) * 2020-09-17 2020-12-18 湖南大学 一种垂直起降无人机移动平台自主着陆的控制方法及系统
CN112462791A (zh) * 2020-12-02 2021-03-09 成都时代星光科技有限公司 一种车载无人机机场全自动高精度飞行着陆系统及方法
CN112785646A (zh) * 2021-01-26 2021-05-11 联想(北京)有限公司 一种降落位姿确定方法及电子设备
CN112987691A (zh) * 2021-02-25 2021-06-18 北京空间飞行器总体设计部 一种地外天体表面软着陆闭环随动控制试验方法
CN113109852A (zh) * 2021-03-11 2021-07-13 国网江西省电力有限公司电力科学研究院 一种无人机进狭窄空间的路径规划方法及装置
CN113109852B (zh) * 2021-03-11 2024-03-12 国网江西省电力有限公司电力科学研究院 一种无人机进狭窄空间的路径规划方法及装置
CN113568427A (zh) * 2021-07-08 2021-10-29 上海机器人产业技术研究院有限公司 无人机自主着陆移动平台的方法及系统
CN113568427B (zh) * 2021-07-08 2023-12-22 上海机器人产业技术研究院有限公司 无人机自主着陆移动平台的方法及系统
CN113485440A (zh) * 2021-07-31 2021-10-08 武夷科技信息(北京)有限公司 一种无人机着陆飞行的方向控制方法
CN113485449A (zh) * 2021-08-16 2021-10-08 普宙科技(深圳)有限公司 基于嵌套二维码的无人机自主降落方法及系统
CN114170296A (zh) * 2021-11-10 2022-03-11 埃洛克航空科技（北京）有限公司 基于多模式综合决策的旋转平均估计方法以及装置
CN114136314A (zh) * 2021-11-30 2022-03-04 北京天兵科技有限公司 一种航天飞行器辅助姿态解算方法
CN114200948A (zh) * 2021-12-09 2022-03-18 中国人民解放军国防科技大学 一种基于视觉辅助的无人机自主着舰方法
CN114200948B (zh) * 2021-12-09 2023-12-29 中国人民解放军国防科技大学 一种基于视觉辅助的无人机自主着舰方法
CN114485577A (zh) * 2021-12-13 2022-05-13 丁莹莹 一种基于视觉的无人机着陆姿态估计方法
CN114485577B (zh) * 2021-12-13 2024-04-12 丁莹莹 一种基于视觉的无人机着陆姿态估计方法
CN114265423A (zh) * 2021-12-30 2022-04-01 哈尔滨工业大学 一种基于旋转框检测定位的无人机移动平台着陆方法及系统
CN114265423B (zh) * 2021-12-30 2022-11-01 哈尔滨工业大学 一种基于旋转框检测定位的无人机移动平台着陆方法及系统
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN116300989A (zh) * 2022-11-14 2023-06-23 海南大学 一种基于陆空协同的无人机自主降落控制系统
CN115629164A (zh) * 2022-12-21 2023-01-20 天津飞眼无人机科技有限公司 一种无人机碳通量监测数据采集设备及处理方法

Similar Documents

Publication Publication Date Title
CN108873917A (zh) 一种面向移动平台的无人机自主着陆控制系统及方法
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
CN107194399B (zh) 一种视觉定标的方法、系统及无人机
CN102353377B (zh) 一种高空长航时无人机组合导航系统及其导航定位方法
Martínez et al. On-board and ground visual pose estimation techniques for UAV control
CN106155086B (zh) 一种道路检测无人机及其自动巡航方法
CN105644785B (zh) 一种基于光流法和地平线检测的无人机着陆方法
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN106873627A (zh) 一种自动巡检输电线路的多旋翼无人机及方法
CN109765930A (zh) 一种无人机视觉导航系统
CN107229063A (zh) 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
Thurrowgood et al. A vision based system for attitude estimation of UAVs
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
CN108475442A (zh) 用于无人机航拍的增强现实方法、处理器及无人机
CN103852077A (zh) 链路失效时无人机定位信息防欺骗自主判断方法
CN106991700A (zh) 一种无人机目标位置锁定和追踪装置及其方法
CN109739257A (zh) 融合卫星导航与视觉感知的巡检无人机停机方法及系统
CN110222612A (zh) 用于无人机自主降落的动态标靶识别与跟踪方法
Bao et al. Vision-based horizon extraction for micro air vehicle flight control
CN110221625A (zh) 无人机精确位置的自主降落导引方法
CN110458877A (zh) 基于仿生视觉的红外与可见光信息融合的导航方法
CN110058604A (zh) 一种基于计算机视觉的无人机精准降落系统
CN112489032A (zh) 一种复杂背景下无人机载小目标检测定位方法及系统
CN109857128A (zh) 无人机视觉定点降落方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication