CN114200948A - 一种基于视觉辅助的无人机自主着舰方法 - Google Patents

一种基于视觉辅助的无人机自主着舰方法 Download PDF

Info

Publication number
CN114200948A
CN114200948A CN202111502480.8A CN202111502480A CN114200948A CN 114200948 A CN114200948 A CN 114200948A CN 202111502480 A CN202111502480 A CN 202111502480A CN 114200948 A CN114200948 A CN 114200948A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
landing
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111502480.8A
Other languages
English (en)
Other versions
CN114200948B (zh
Inventor
王祥科
刘志宏
杨凌杰
俞先国
相晓嘉
王冠政
胡新雨
颜佳润
习业勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111502480.8A priority Critical patent/CN114200948B/zh
Publication of CN114200948A publication Critical patent/CN114200948A/zh
Application granted granted Critical
Publication of CN114200948B publication Critical patent/CN114200948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于视觉辅助的无人机自主着舰方法，其包括：步骤S1：设计降落标志；选择两种不同种类的二维码，通过嵌套放置构成降落标志；骤S2：取像；无人机先通过固定的下视相机捕获降落标志的图像；步骤S3：获取标志中心坐标；利用检测算法得到降落标志中心在图像上的坐标；步骤S4：姿态补偿；通过姿态补偿来消除无人机平移过程中的姿态变化；步骤S5：目标预测；考虑到降落标志的位姿实时变化，引入卡尔曼滤波对目标在图像上的下一时刻位置进行预测；步骤S6：控制降落；将预测的坐标直接作为控制器的输入，实现无人机的降落。本发明具有原理简单、控制精度高、可靠性好等优点。

Description

一种基于视觉辅助的无人机自主着舰方法
技术领域
本发明主要涉及到无人机技术领域，特指一种基于视觉辅助的无人机自主着舰方法。
背景技术
在人为控制旋翼无人机的降落时，由于操作的不熟练和抖动可能会造成无人机侧翻或者倾倒，导致旋翼及其它部件受损，而且降落的精度很大程度上依赖于操作人员的熟练水平。此外，无人机在船只或海面舰艇上的着陆还会受海风及舰艇摇晃的干扰，这对精确降落提出了更高的挑战。
为解决该问题，可通过无人机的自主降落进行实现。在目前无人机的降落方案中，一般包括以下几种：
1、通过GPS进行定位；通过GPS进行无人机定位时，由于其定位精度低，且经常存在信号较弱或中断的情况，难以实现精确的降落；通过雷达引导无人机降落时，容易受电磁波干扰而使其失效，且雷达价格昂贵，不利于推广。
2、通过雷达引导实现的方法价格昂贵且易受电磁波干扰，因此也不易推广。
3、将现有传感器与机载视觉系统集成使用。基于机载视觉传感器，可采用视觉伺服控制实现无人机的自主降落。该方法以视觉信息作为反馈进行控制，对环境的测量是非接触式的，同时相较于传统导航控制方法能够获得更大的信息量，因此能够有效提升控制的精度，对于无人机控制具有重要的应用价值。
现有的通过机载视觉传感器实现自主降落的方法可分为两种：
一种是基于位置的视觉伺服方法，即在获得图像中标志的特征点坐标后，借助相机内参解算处无人机相对于特定标志的位姿关系。
如Miguel等人通过已知地面标记的单应性估计得到无人机的三维空间坐标，而后将无人机相对停机坪的平移和高度信息估计用于控制无人机的纵向、横向和下降速度，并分别设计了三个模糊控制器对三个方向的速度进行管理。
另有Lee等人先通过图像上的特征点坐标解算出当前无人机与目标车辆的相对距离，而后根据位置差对时间的导数，并结合目标车辆的速度估计设计速度跟踪控制器，实现无人机在地面运动车辆上的降落。
另有Sani等人借助相机内参矩阵解算出无人机相对降落标志的相对位置，同时还通过IMU传感器结合卡尔曼滤波的方法对目标的当前位置进行估计，解决视觉数据不可用条件下控制的连续性。
另一种是基于图像的视觉伺服方法，该方法直接在图像平面上进行控制律的设计，而无需解算目标相对无人机的位置。
如Zhang等人通过假设无人机做低速运动以忽略姿态变化的影响，从而在像素层上直接设计PID控制器使无人机平移到目标正上方并完成降落。
另有Lee等人在二维图像空间上直接进行控制器的设计，同时产生一个速度参照指令作为自适应滑模控制器的输入，对无人机在机动过程中所经历的地面效应进行补偿，以更好地跟踪期望的平移和旋转速度。
另有杨建业等人设计了一种视觉伺服控制器，通过机载单目相机提供的图像信息，在不进行相对位姿解算的情况下实现在运动目标上的快速着陆，同时利用前馈补偿策略来减小跟踪的稳态误差。
通过分析可知：
1、通过基于位置的视觉伺服控制无人机的降落时，需要先对相机的内参进行标定，而后通过内参矩阵和外参矩阵解算目标相对无人机的空间位置，再进行控制律的设计。然而在相机标定环节中，标定的内参结果往往存在较大误差，且每个参数误差的叠加会导致最终的相对位置存在较大偏差，从而影响降落精度。
2、通过基于图像的视觉伺服方法控制无人机的降落时，Lee等人的方案需要先通过降落标志在图像上的四个角点坐标构建一个交互矩阵，再对深度信息进行粗略估计，从而计算出无人机的六个速度控制量，但这导致计算复杂度较高。此外，在解决欠驱动系统的旋翼无人机x和y方向不能直接进行控制的问题时，他们是通过用水平方向的线速度和线加速度表达式去代替滚转角速度和俯仰角速度来实现的。杨建业等人的方案也是通过堆叠四个点特征与高度信息得到交互矩阵，并且对深度信息进行估计；同时还假设无人机着陆是在姿态自稳的前提下进行，将滚转角与俯仰角的参考速度认为始终为零，从而忽略了实际中无人机由于外界干扰难以保持稳定的因素。此外，两者都未考虑目标运动导致的图像上特征点运动问题。
也就是说，利用相机进行视觉降落的方法多是通过对相机参数进行标定，而后解算出降落标志相对无人机的位置进行控制的。但由于相机参数较多，且标定环节容易引入误差，导致定位结果与实际结果相差较大，从而使得降落精度有较大偏差。目前的无人机降落多是在高度较低的情况下进行的，即使降落标志较小也能识别到。但高度达到50米时，普通的降落标志就很难被识别检测。若是只增加图像尺寸，当无人机靠近降落标志时，受限于相机视场角大小，图像将无法涵盖整个降落标志而导致识别失败，从而影响无人机的精确降落。且现有的自主降落研究，多是基于静止或水平运动的降落标志，而舰艇在海面上时受海浪运动影响，导致降落标志的位姿不断变化，容易影响降落的精度。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种，原理简单、控制精度高、可靠性好的基于视觉辅助的无人机自主着舰方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于视觉辅助的无人机自主着舰方法，其包括：
步骤S1：设计降落标志；选择两种不同种类的二维码，通过嵌套放置构成降落标志；
步骤S2：取像；无人机先通过固定的下视相机捕获降落标志的图像；
步骤S3：获取标志中心坐标；利用检测算法得到降落标志中心在图像上的坐标；
步骤S4：姿态补偿；通过姿态补偿来消除无人机平移过程中的姿态变化；
步骤S5：目标预测；考虑到降落标志的位姿实时变化，引入卡尔曼滤波对目标在图像上的下一时刻位置进行预测；
步骤S6：控制降落；将预测的坐标直接作为控制器的输入，实现无人机的降落。
作为本发明方法的进一步改进：所述步骤S2中，进行模型构建；所述模型构建的流程包括：
将相机垂直向下固定在无人机正下方，定义无人机机体坐标系为
Figure BDA0003402278660000041
相机坐标系为
Figure BDA0003402278660000042
其中，
Figure BDA0003402278660000043
的原点ob位于机体质心，xb轴沿机头方向，yb轴指向机头左侧，zb轴垂直机体向上；
Figure BDA0003402278660000044
的原点oc位于相机中心，xc轴与yb轴方向相反，yc轴与xb轴方向相反。
作为本发明方法的进一步改进：通过图像雅可比矩阵，根据特征点的变化速率
Figure BDA0003402278660000045
确定相机坐标系下无人机的线速度Vc和角速度Ωc；通过分析机体坐标系
Figure BDA0003402278660000046
与相机坐标系
Figure BDA0003402278660000047
之间的转化关系，确定出无人机的速度控制量；所述图像雅可比矩阵J(u，v)为：
Figure BDA0003402278660000048
作为本发明方法的进一步改进：所述姿态补偿的流程包括：
当前无人机姿态下对应的图像平面为S1，在当前位置无人机垂直于地面时的图像平面为S2；只要让目标特征点位于图像中心，就保证无人机位于目标正上方；
定义当前图像平面S1上的特征点s(u，v)在S2平面上对应的点为s*(u*，v*)，且当前无人机的偏航角、俯仰角和滚转角为ψ，θ和φ(通过降落标志解算出来)。则无人机需要先通过旋转矩阵Rφ将滚转角变为0，而后再通过旋转矩阵Rθ将俯仰角变为0。
作为本发明方法的进一步改进：所述步骤S5中，目标预测的流程包括：
当目标特征点位于S2平面的图像中心时，无人机恰好位于降落标志的正上方；期望的特征点速度表示为：
Figure BDA0003402278660000051
其中λu和λv为正的常数；通过卡尔曼滤波对特征点在图像上的位置进行预测。
作为本发明方法的进一步改进：所述步骤S6中，所述控制降落过程中进行速度控制，所述速度控制的流程包括：
在获得垂直于地面的平面S2平面上特征点位置的预测值后，期望的特征点变化速率更新为：
Figure BDA0003402278660000052
定义机体坐标系
Figure BDA0003402278660000053
下的无人机线速度为
Figure BDA0003402278660000054
角速度为
Figure BDA0003402278660000055
Figure BDA0003402278660000056
同时，记姿态补偿后相机坐标系
Figure BDA0003402278660000057
下的无人机运动速度为
Figure BDA0003402278660000058
Figure BDA0003402278660000059
和
Figure BDA00034022786600000510
根据机体坐标系
Figure BDA00034022786600000511
与相机坐标系
Figure BDA00034022786600000512
的关系，可得：
Figure BDA00034022786600000513
得到
Figure BDA00034022786600000514
与Vc*、Ωc*之间的关系：
Figure BDA00034022786600000515
由于最终的控制量为无人机的三个线速度
Figure BDA0003402278660000061
和一个角速度
Figure BDA0003402278660000062
而
Figure BDA0003402278660000063
Figure BDA0003402278660000064
可得：
Figure BDA0003402278660000065
其中：
Figure BDA0003402278660000066
Figure BDA0003402278660000067
为使无人机以特定朝向降落，通过检测算法得到无人机当前朝向与期望朝向的夹角ψ后，可令：
Figure BDA0003402278660000068
令
Figure BDA0003402278660000069
Figure BDA00034022786600000610
当
Figure BDA00034022786600000611
保持不变时，
Figure BDA00034022786600000612
与
Figure BDA00034022786600000613
成正比；
Figure BDA00034022786600000614
与
Figure BDA00034022786600000615
的关系同理；换言之，当无人机下降速度相同时，特征点位于图像边缘比位于图像中心附近的变化速率更快，此时位于边缘附近的特征点很容易超出图像范围；为解决这个问题，设计了如下的无人机下降速度控制律：
Figure BDA00034022786600000616
其中h和w分别表示图像的高度和宽度，λz为正的常数，Vz为定义的无人机下降最大速度；这样设计的目的是使目标在图像边缘时，无人机可以缓慢下降，防止其超出图像范围；而当目标位于图像中心附近时，可以快速下降以减少降落时间；
Figure BDA00034022786600000617
和
Figure BDA00034022786600000618
可表示成：
Figure BDA00034022786600000619
当
Figure BDA00034022786600000620
或
Figure BDA00034022786600000621
越小，未知变量z的取值对
Figure BDA00034022786600000622
或
Figure BDA00034022786600000627
的影响就越小；因此，取λu和λv为较小的值以保证
Figure BDA00034022786600000623
和
Figure BDA00034022786600000624
较小；同时，当
Figure BDA00034022786600000625
或
Figure BDA00034022786600000626
过大时，令
Figure BDA0003402278660000071
当
Figure BDA0003402278660000072
或
Figure BDA0003402278660000073
足够小时，取λψ为较小的值以保证
Figure BDA0003402278660000074
较小；对应于实际情况中，就是当特征点位于图像边缘时，只进行平移运动；当特征点位于图像中心附近时，再进行平移、旋转运动。
作为本发明方法的进一步改进：所述步骤S6中，所述控制降落的控制架构包括控制器-1：当无人机检测到大二维码且未检测到小二维码时，说明目标处于较高位置，此时执行以下命令：
阶段1：当
Figure BDA0003402278660000075
或
Figure BDA0003402278660000076
时，
Figure BDA0003402278660000077
阶段2：一旦
Figure BDA0003402278660000078
且
Figure BDA0003402278660000079
时，
Figure BDA00034022786600000710
ud和vd的是为了让特征点离图像边缘较远时再进行偏航运动，防止由于偏航导致目标超出图像范围；z1为给定的常数，若要求无人机从高度H1处降落，取z1＝H1/2。
作为本发明方法的进一步改进：所述步骤S6中，所述控制降落的控制架构包括控制器-2：当无人机检测到小二维码时，表明其距离降落标志很近，此时执行以下命令：
Figure BDA0003402278660000081
其中z2是给定的常数，若相机识别到小二维码的最远距离为H2，则可取z2＝H2/2。
作为本发明方法的进一步改进：所述步骤S6中，所述控制降落的控制架构包括控制器-3：当无人机在降落过程中由于检测原因导致两个二维码都未被检测到，或是降落标志短暂超出相机视场，则将基于目标在相机视场中最后时刻检测到的位置对无人机进行控制。
与现有技术相比，本发明的优点就在于：
1、本发明的基于视觉辅助的无人机自主着舰方法，原理简单、控制精度高、可靠性好，通过借助固定在旋翼无人机上的下视相机，捕获并识别舰艇上的降落标志。同时考虑海面舰艇摇晃的情况，实现无人机从50米高度处的精准降落。
2、本发明的基于视觉辅助的无人机自主着舰方法，只利用固定在无人机上的相机，不需要借助GPS或者雷达引导系统，即可实现自主降落。同时，采用基于图像的视觉伺服方法，直接在图像平面上进行控制律的设计，避免相机标定环节存在的误差对定位精度造成影响，导致降落偏差较大。
3、本发明的基于视觉辅助的无人机自主着舰方法，通过一种鲁棒的嵌套二维码，使得无人机在高空时可以识别到外圈的大二维码，当抵近舰艇时可以识别到内嵌的小二维码，从而保证对无人机降落过程的精确控制。
4、本发明的基于视觉辅助的无人机自主着舰方法，针对海面舰艇摇晃导致的降落标志位姿变化，引入卡尔曼滤波方法，对下一时刻的降落标志在图像上的特征点进行预测，从而实现无人机的精准降落。
附图说明
图1是本发明方法的流程示意图。
图2是本发明在具体应用实例中无人机坐标系构建的原理示意图。
图3是本发明在具体应用实例中当前图像平面与姿态补偿后图像平面的示意图。
图4是本发明在具体应用实例的控制架构示意图。
图5是本发明在具体应用实例中设计降落标志的示意图。
图6是本发明在具体应用实例中检测到的标志中心的示意图。
图7是本发明在具体应用实例中通过坐标系旋转实现姿态补偿示意图。
图8是本发明在具体应用实例中对特征点进行滤波的流程示意图。
图9是本发明在具体应用实例中通过输入预测坐标控制无人机降落的流程示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
本发明采用基于图像的视觉伺服(IBVS)控制方法来实现无人机在海面舰艇上的自主降落。整个控制过程无需解算目标相对无人机的位置，而是在图像平面上直接进行控制律的设计，从而避免了位置解算环节由于相机内参标定误差而导致的偏差。系统架构如图1所示。
如图1所示，本发明的基于视觉辅助的无人机自主着舰方法，其包括：
步骤S1：设计降落标志；选择两种不同种类的二维码，通过嵌套放置构成降落标志(参见图5)；
步骤S2：取像；无人机先通过固定的下视相机捕获降落标志的图像；
步骤S3：获取标志中心坐标；利用检测算法得到降落标志中心在图像上的坐标(参见图6)；
步骤S4：姿态补偿；通过姿态补偿解决无人机平移过程中姿态变化带来的影响(参见图7)；
步骤S5：目标预测；考虑到降落标志的位姿实时变化，引入卡尔曼滤波对目标在图像上的下一时刻位置进行预测(参见图8)；
步骤S6：控制降落；将预测的坐标直接作为控制器的输入，实现无人机的降落(参见图9)。
在具体应用实例中，所述步骤S2中，进行模型构建；所述模型构建的流程包括：
将相机垂直向下固定在无人机正下方，定义无人机机体坐标系为
Figure BDA0003402278660000101
相机坐标系为
Figure BDA0003402278660000102
它们的关系如图2所示。其中，
Figure BDA0003402278660000103
的原点ob位于机体质心，xb轴沿机头方向，yb轴指向机头左侧，zb轴垂直机体向上；
Figure BDA0003402278660000104
的原点oc位于相机中心，xc轴与yb轴方向相反，yc轴与xb轴方向相反。为便于分析，假定ob与oc重合。从后面的分析可知，ob与oc不重合时也不影响控制结果。
定义目标在相机坐标系
Figure BDA0003402278660000105
中的坐标为P(x,y,z)，在图像上的坐标为s(u,v)。根据小孔成像原理，(x,y，z)与(u，v)之间满足以下关系：
Figure BDA0003402278660000106
其中f表示相机的焦距。定义目标在相机坐标系
Figure BDA0003402278660000107
中的线速度和角速度分别为
Figure BDA0003402278660000108
和
Figure BDA0003402278660000109
则目标点P的变化速率可以表示为：
Figure BDA00034022786600001010
上式等效于：
Figure BDA00034022786600001011
其中sk(P)表示向量P的斜对称矩阵：
Figure BDA00034022786600001012
通过对公式(1)求导，再将公式(3)代入，可以得到目标在
Figure BDA00034022786600001013
中的变化速率
Figure BDA00034022786600001014
与在图像上特征点变化速率
Figure BDA00034022786600001015
之间的关系：
Figure BDA00034022786600001016
其中J(u，v)表示图像雅可比矩阵：
Figure BDA0003402278660000111
本发明借助图像雅可比矩阵，可以根据特征点的变化速率
Figure BDA0003402278660000112
确定相机坐标系下无人机的线速度Vc和角速度Ωc；进一步，通过分析机体坐标系
Figure BDA0003402278660000113
与相机坐标系
Figure BDA0003402278660000114
之间的转化关系，确定出无人机的速度控制量。
在确定特征点变化速率
Figure BDA0003402278660000115
的过程中，由于相机固定在无人机上，导致无人机的姿态变化会直接影响相机的姿态，从而无法确定期望的特征点位置。针对这个问题，本发明采用姿态补偿的方法进行解决。在具体应用实例中，所述步骤S3中，进行姿态补偿，如图3所示，所述姿态补偿的流程包括：
当前无人机姿态下对应的图像平面为S1，而在当前位置无人机垂直于地面(即俯仰角和滚转角为0)时的图像平面为S2。此时只要让目标特征点位于图像中心，就可保证无人机位于目标正上方。
定义当前图像平面S1上的特征点s(u,v)在S2平面上对应的点为s*(u*,v*)，且当前无人机的偏航角、俯仰角和滚转角为ψ，θ和φ(通过降落标志解算出来)。则无人机需要先通过旋转矩阵Rφ将滚转角变为0，而后再通过旋转矩阵Rθ将俯仰角变为0。Rφ和Rθ的表示如下：
Figure BDA0003402278660000116
定义S2平面对应的相机坐标系为
Figure BDA0003402278660000117
目标在该坐标系下的坐标为P*(x*,y*,z*)，则它与P(x,y,z)之间满足以下关系：
Figure BDA0003402278660000118
由公式(1)可获得(u,v)和(x,y,z)之间的关系，令
Figure BDA0003402278660000119
其中m为正的常数。同时，令z*＝f，则基于公式(8)的第三个方程可得：
Figure BDA0003402278660000121
其中分母中的(3,·)表示矩阵Rθ·Rφ的第三行。当z*＝f时，x*和y*分别对应于u*和v*。因此，u*和v*可表示为：
Figure BDA0003402278660000122
其中(1-2,·)表示矩阵Rθ·Rφ的前两行。上述公式也可写成：
Figure BDA0003402278660000123
在具体应用实例中，所述步骤S5中，目标预测的流程包括：
当目标特征点位于S2平面的图像中心时，无人机恰好位于降落标志的正上方。因此，期望的特征点速度可以表示为：
Figure BDA0003402278660000124
其中λu和λv为正的常数。然而，由于降落标志的位姿是运动的，因此还需要对降落标志在图像上的位置进行预测。这里通过卡尔曼滤波对特征点在图像上的位置进行预测。
对公式(12)进行求导可得：
Figure BDA0003402278660000125
在上述方程中，
Figure BDA0003402278660000126
经离散化后可表示为：
Figure BDA0003402278660000127
其中Δt表示采样时间。同理，可得到
Figure BDA0003402278660000128
的离散化表达式。
定义k时刻的状态变量
Figure BDA0003402278660000129
和控制输入Uk为：
Figure BDA00034022786600001210
其中
Figure BDA00034022786600001211
和
Figure BDA00034022786600001212
是对对S2平面上的特征点坐标的估计。则状态更新方程可表示为：
Figure BDA0003402278660000131
接着，定义k时刻预测的协方差估计矩阵和过程激励噪声的协方差矩阵分别为
Figure BDA0003402278660000132
和Qk，此时有
Figure BDA0003402278660000133
记k+1时刻观测变量Zk+1的表达式为：
Figure BDA0003402278660000134
其中u*和v*的表达式见公式(12)，则k+1时刻预拟合残差Yk+1可表示成：
Figure BDA0003402278660000135
定义预拟合残差的协方差矩阵为Sk+1，则其可表示为：
Figure BDA0003402278660000136
其中Rk+1表示k+1时刻观测噪声的协方差矩阵。进一步，可以得到更新后的状态估计表达式：
Figure BDA0003402278660000137
同时，更新后的状态协方差矩阵为：
Figure BDA0003402278660000138
其中I2表示2行2列的单位矩阵。
综上所述，通过公式(17)可对下一时刻S2平面上的特征点位置
Figure BDA0003402278660000139
进行预测。同时，当获得下一个时间点的测量值Zk+1后，可以修正先前的估计得到Xk+1，这个估计作为参数传递给公式(17)用于下一次估计，从而使得下一时刻的估计值更加精确。
在具体应用实例中，所述步骤S6中，所述控制降落过程中进行速度控制，所述速度控制的流程包括：
在获得S2平面上特征点位置的预测值后，公式(13)中期望的特征点变化速率更新为：
Figure BDA0003402278660000141
定义机体坐标系
Figure BDA0003402278660000142
下的无人机线速度为
Figure BDA0003402278660000143
角速度为
Figure BDA0003402278660000144
Figure BDA0003402278660000145
同时，记姿态补偿后的相机坐标系
Figure BDA0003402278660000146
下的无人机运动速度为
Figure BDA0003402278660000147
Figure BDA0003402278660000148
和
Figure BDA0003402278660000149
根据图2中机体坐标系
Figure BDA00034022786600001410
与相机坐标系
Figure BDA00034022786600001411
的关系，可得：
Figure BDA00034022786600001412
通过公式(5)，可得到
Figure BDA00034022786600001413
与Vc*、Ωc*之间的关系：
Figure BDA00034022786600001414
由于最终的控制量为无人机的三个线速度
Figure BDA00034022786600001415
和一个角速度
Figure BDA00034022786600001416
而
Figure BDA00034022786600001417
Figure BDA00034022786600001418
因此将公式(25)代入公式(26)，可得：
Figure BDA00034022786600001419
其中
Figure BDA00034022786600001420
为使无人机以特定朝向降落，通过检测算法得到无人机当前朝向与期望朝向的夹角ψ后，可令
Figure BDA00034022786600001421
在公式(27)中，令
Figure BDA00034022786600001422
Figure BDA00034022786600001423
当
Figure BDA00034022786600001424
保持不变时，
Figure BDA00034022786600001425
与
Figure BDA00034022786600001426
成正比；
Figure BDA00034022786600001427
与
Figure BDA00034022786600001428
的关系同理。换言之，当无人机下降速度相同时，特征点位于图像边缘比位于图像中心附近的变化速率更快，此时位于边缘附近的特征点很容易超出图像范围。为解决这个问题，设计了如下的无人机下降速度控制律：
Figure BDA0003402278660000151
其中h和w分别表示图像的高度和宽度，λz为正的常数，Vz为定义的无人机下降最大速度。这样设计的目的是使目标在图像边缘时，无人机可以缓慢下降，防止其超出图像范围；而当目标位于图像中心附近时，可以快速下降以减少降落时间。
在公式(27)中，
Figure BDA0003402278660000152
和
Figure BDA0003402278660000153
可表示成：
Figure BDA0003402278660000154
当
Figure BDA0003402278660000155
或
Figure BDA0003402278660000156
越小，未知变量z的取值对
Figure BDA0003402278660000157
或
Figure BDA0003402278660000158
的影响就越小。因此，取λu和λv为较小的值以保证
Figure BDA0003402278660000159
和
Figure BDA00034022786600001510
较小。同时，当
Figure BDA00034022786600001511
或
Figure BDA00034022786600001512
过大时，令
Figure BDA00034022786600001513
当
Figure BDA00034022786600001514
或
Figure BDA00034022786600001515
足够小时，取λψ为较小的值以保证
Figure BDA00034022786600001516
较小。对应于实际情况中，就是当特征点位于图像边缘时，只进行平移运动；当特征点位于图像中心附近时，再进行平移、旋转运动。
在具体应用实例中，参见图4，所述步骤S6中，所述控制降落的控制架构包括：
(1)控制器-1：当无人机检测到大二维码且未检测到小二维码时，说明目标处于较高位置，此时执行以下命令：
阶段1：当
Figure BDA00034022786600001517
或
Figure BDA00034022786600001518
时，
Figure BDA00034022786600001519
阶段2：一旦
Figure BDA00034022786600001520
且
Figure BDA00034022786600001521
时，
Figure BDA0003402278660000161
ud和vd的存在是为了让特征点离图像边缘较远时再进行偏航运动，防止由于偏航导致目标超出图像范围。z1为给定的常数，若要求无人机从高度H1处降落，可取z1＝H1/2。
(2)控制器-2：当无人机检测到小二维码时，表明其距离降落标志很近，此时执行以下命令：
Figure BDA0003402278660000162
其中z2也是给定的常数，若相机可识别到小二维码的最远距离为H2，则可取z2＝H2/2。
(3)控制器-3：当无人机在降落过程中由于检测原因导致两个二维码都未被检测到，或是降落标志短暂超出相机视场，则将基于目标在相机视场中最后时刻检测到的位置对无人机进行控制。这样既能驱使无人机向目标丢失的方向运动，从而让目标重新回到相机视场内，又能保证控制过程的连续性。
由上可知，本发明采用基于图像的视觉伺服控制方法实现无人机的自主降落，无需通过GPS进行定位，避免了因定位误差造成的降落位置偏差；也不需要雷达进行引导，防止受电磁波干扰而无法定位。同时，在通过检测算法获得图像上目标的特征点坐标后，不需要解算出降落标志相对无人机的空间位置，而是直接在图像平面上进行控制律的设计，从而避免了相对位置解算环节由于相机内参标定不准导致的偏差。
本发明通过对无人机的滚转角和俯仰角进行补偿，使补偿后的两个姿态角始终为零，从而保证该状态下无人机的滚转角速度和俯仰角速度始终为零，解决了水平方向的速度与这两个姿态角速度耦合的问题。进一步，在通过图像雅可比矩阵求解无人机速度时，只需要利用标志中心的坐标信息，既解决了降落标志位姿变化导致的特征点变化速率难以求解问题，又有效降低了计算的复杂度，同时设计的控制律弱化深度信息不确定带来的影响。
本发明针对降落标志位姿实时变化的特点，在图像平面上构建目标特征点变化的状态方程，并引入卡尔曼滤波对其下一时刻的状态进行预测，得到状态预测后的无人机速度控制量，从而实现无人机在运动标志上的准确降落。
结合现有技术来看，传统方式在利用视觉伺服方法控制无人机的飞行速度时，大多数研究采用基于位置的视觉伺服方法。这种方法需要先对相机内参进行标定，而后借助内参矩阵和外参矩阵，将检测到的图像坐标解算成目标相对无人机的空间位置，进而设计控制律实现降落。然而，在相机标定环节往往存在较大误差，且由于相机内参的数量较多，使得每个参数的误差会叠加到最终的结果上，导致解算的相对位置误差较大。针对这个问题，上述本发明的方法采用基于图像的视觉伺服方法，直接在图像平面上进行控制律的设计，从而避免了相机标定环节的不准确对控制精度的影响。
同时，由于无人机是个欠驱动系统，即只有四个电机输入，但有三个线速度和三个角速度共六个输出，因此水平方向的运动速度会与俯仰、偏航运动耦合，增加控制的难度。对于该问题，传统技术多是通过多个特征点直接构造一个满秩的交互矩阵，进而求解无人机的六个速度，再对俯仰角速率和偏航角速率带来的耦合问题进行解决。而本发明采用虚拟相机方法对无人机的俯仰角和滚转角进行补偿，使得补偿状态下两者的角速度始终为零，解决了两者与无人机水平运动耦合的问题。此外，大多数方法通过多个特征点求解无人机的运动速度，但忽视了降落标志位姿变化对期望特征点速率的影响。而本发明围绕目标中心进行分析，有效解决了地面标志位姿变化对期望特征点变化的影响，同时还减小了计算的复杂度。此外，目前研究无人机的降落多是以静止状态下的目标进行控制律的设计，而忽视了降落标志运动对降落控制造成的影响。针对这个问题，本发明引入卡尔曼滤波，在图像空间中对特征点的坐标进行预测，控制无人机平稳降落到位姿变化的降落标志上。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种基于视觉辅助的无人机自主着舰方法，其特征在于，包括：
步骤S1：设计降落标志；选择两种不同种类的二维码，通过嵌套放置构成降落标志；
步骤S2：取像；无人机先通过固定的下视相机捕获降落标志的图像；
步骤S3：获取标志中心坐标；利用检测算法得到降落标志中心在图像上的坐标；
步骤S4：姿态补偿；通过姿态补偿来消除无人机平移过程中的姿态变化；
步骤S5：目标预测；考虑到降落标志的位姿实时变化，引入卡尔曼滤波对目标在图像上的下一时刻位置进行预测；
步骤S6：控制降落；将预测的坐标直接作为控制器的输入，实现无人机的降落。
2.根据权利要求1所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述步骤S2中，进行模型构建；所述模型构建的流程包括：
将相机垂直向下固定在无人机正下方，定义无人机机体坐标系为
Figure FDA0003402278650000011
相机坐标系为
Figure FDA0003402278650000012
其中，
Figure FDA0003402278650000013
的原点ob位于机体质心，xb轴沿机头方向，yb轴指向机头左侧，zb轴垂直机体向上；
Figure FDA0003402278650000014
的原点oc位于相机中心，xc轴与yb轴方向相反，yc轴与xb轴方向相反。
3.根据权利要求2所述的基于视觉辅助的无人机自主着舰方法，其特征在于，通过图像雅可比矩阵，根据特征点的变化速率
Figure FDA0003402278650000015
确定相机坐标系下无人机的线速度Vc和角速度Ωc；通过分析机体坐标系
Figure FDA0003402278650000016
与相机坐标系
Figure FDA0003402278650000017
之间的转化关系，确定出无人机的速度控制量；所述图像雅可比矩阵J(u,v)为：
Figure FDA0003402278650000018
4.根据权利要求1或2或3所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述姿态补偿的流程包括：
当前无人机姿态下对应的图像平面为S1，在当前位置无人机垂直于地面时的图像平面为S2；让目标特征点位于图像中心，令无人机位于目标正上方；
定义当前图像平面S1上的特征点s(u,v)在S2平面上对应的点为s*(u*,v*)，且当前无人机的偏航角、俯仰角和滚转角为ψ，θ和φ，通过降落标志解算出来；则无人机先通过旋转矩阵Rφ将滚转角变为0，再通过旋转矩阵Rθ将俯仰角变为0。
5.根据权利要求1或2或3所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述步骤S5中，目标预测的流程包括：
当目标特征点位于S2平面的图像中心时，无人机恰好位于降落标志的正上方；期望的特征点速度表示为：
Figure FDA0003402278650000021
其中λu和λv为正的常数；通过卡尔曼滤波对特征点在图像上的位置进行预测。
6.根据权利要求1或2或3所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述步骤S6中，所述控制降落过程中进行速度控制，所述速度控制的流程包括：
在获得垂直于地面的平面S2平面上特征点位置的预测值后，期望的特征点变化速率更新为：
Figure FDA0003402278650000022
定义机体坐标系
Figure FDA0003402278650000023
下的无人机线速度为
Figure FDA0003402278650000024
角速度为
Figure FDA0003402278650000025
Figure FDA0003402278650000026
同时，记姿态补偿后相机坐标系
Figure FDA0003402278650000027
下的无人机运动速度为
Figure FDA0003402278650000028
Figure FDA0003402278650000029
和
Figure FDA00034022786500000210
根据机体坐标系
Figure FDA00034022786500000211
与相机坐标系
Figure FDA00034022786500000212
的关系，得：
Figure FDA00034022786500000213
得到
Figure FDA0003402278650000031
与Vc*、Ωc*之间的关系：
Figure FDA0003402278650000032
最终控制量为无人机的三个线速度
Figure FDA0003402278650000033
和一个角速度
Figure FDA0003402278650000034
而
Figure FDA0003402278650000035
Figure FDA0003402278650000036
得：
Figure FDA0003402278650000037
其中：
Figure FDA0003402278650000038
通过检测算法得到无人机当前朝向与期望朝向的夹角ψ后，令
Figure FDA0003402278650000039
令
Figure FDA00034022786500000310
当
Figure FDA00034022786500000311
保持不变时，
Figure FDA00034022786500000312
与
Figure FDA00034022786500000313
成正比；
Figure FDA00034022786500000314
与
Figure FDA00034022786500000315
的关系同理；无人机下降速度控制律为：
Figure FDA00034022786500000316
其中h和w分别表示图像的高度和宽度，λz为正的常数，Vz为定义的无人机下降最大速度；
Figure FDA00034022786500000317
和
Figure FDA00034022786500000318
表示成：
Figure FDA00034022786500000319
当特征点位于图像边缘时，进行平移运动；当特征点位于图像中心附近时，再进行平移、旋转运动。
7.根据权利要6所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述步骤S6中，所述控制降落的控制架构包括控制器-1：当无人机检测到大二维码且未检测到小二维码时，说明目标处于较高位置，此时执行以下命令：
阶段1：当
Figure FDA0003402278650000041
或
Figure FDA0003402278650000042
时，
Figure FDA0003402278650000043
阶段2：一旦
Figure FDA0003402278650000044
且
Figure FDA0003402278650000045
时，
Figure FDA0003402278650000046
ud和vd的是为了让特征点离图像边缘较远时再进行偏航运动，防止由于偏航导致目标超出图像范围；z1为给定的常数，若要求无人机从高度H1处降落，取z1＝H1/2。
8.根据权利要6所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述步骤S6中，所述控制降落的控制架构包括控制器-2：当无人机检测到小二维码时，表明其距离降落标志很近，此时执行以下命令：
Figure FDA0003402278650000047
其中z2是给定的常数，若相机识别到小二维码的最远距离为H2，则可取z2＝H2/2。
9.根据权利要6所述的基于视觉辅助的无人机自主着舰方法，其特征在于，所述步骤S6中，所述控制降落的控制架构包括控制器-3：当无人机在降落过程中由于检测原因导致两个二维码都未被检测到，或是降落标志短暂超出相机视场，则将基于目标在相机视场中最后时刻检测到的位置对无人机进行控制。
CN202111502480.8A 2021-12-09 2021-12-09 一种基于视觉辅助的无人机自主着舰方法 Active CN114200948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111502480.8A CN114200948B (zh) 2021-12-09 2021-12-09 一种基于视觉辅助的无人机自主着舰方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111502480.8A CN114200948B (zh) 2021-12-09 2021-12-09 一种基于视觉辅助的无人机自主着舰方法

Publications (2)

Publication Number Publication Date
CN114200948A true CN114200948A (zh) 2022-03-18
CN114200948B CN114200948B (zh) 2023-12-29

Family

ID=80651796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111502480.8A Active CN114200948B (zh) 2021-12-09 2021-12-09 一种基于视觉辅助的无人机自主着舰方法

Country Status (1)

Country Link
CN (1) CN114200948B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415736A (zh) * 2022-04-01 2022-04-29 之江实验室 一种无人机多阶段视觉精准降落方法和装置
CN115857520A (zh) * 2023-02-15 2023-03-28 北京航空航天大学 一种基于视觉和船状态结合的无人机着舰状态监视方法
CN116627154A (zh) * 2023-06-09 2023-08-22 上海大学 基于位姿预测和轨迹优化的无人机引导降落方法及无人机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932522A (zh) * 2015-05-27 2015-09-23 深圳市大疆创新科技有限公司 一种飞行器的自主降落方法和系统
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN111596693A (zh) * 2020-06-17 2020-08-28 中国人民解放军国防科技大学 基于云台相机的无人机对地面目标跟踪控制方法及系统
CN112184812A (zh) * 2020-09-23 2021-01-05 广东海洋大学 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932522A (zh) * 2015-05-27 2015-09-23 深圳市大疆创新科技有限公司 一种飞行器的自主降落方法和系统
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN110221625A (zh) * 2019-05-27 2019-09-10 北京交通大学 无人机精确位置的自主降落导引方法
CN111596693A (zh) * 2020-06-17 2020-08-28 中国人民解放军国防科技大学 基于云台相机的无人机对地面目标跟踪控制方法及系统
CN112184812A (zh) * 2020-09-23 2021-01-05 广东海洋大学 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAEWON LEE 等: "Autonomous Landing of a VTOL UAV on a Moving Platform Using Image-based Visual Servoing", 2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, pages 971 - 976 *
JESSE S. WYNN 等: "Visual Servoing with Feed-Forward for Precision Shipboard Landing of an Autonomous Multirotor", 2019 AMERICAN CONTROL CONFERENCE, pages 3928 - 3935 *
LINGJIE YANG 等: "Autonomous Landing of a Rotor Unmanned Aerial Vehicle on a Boat Using Image-Based Visual Servoing", 2021 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO), pages 1848 - 1854 *
刘晓玉;方康玲;: "基于图像的机器人视觉伺服控制", 武汉科技大学学报(自然科学版), no. 05, pages 482 - 489 *
赵文一: "无人机视觉辅助自主降落系统研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, pages 59 - 61 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415736A (zh) * 2022-04-01 2022-04-29 之江实验室 一种无人机多阶段视觉精准降落方法和装置
CN115857520A (zh) * 2023-02-15 2023-03-28 北京航空航天大学 一种基于视觉和船状态结合的无人机着舰状态监视方法
CN116627154A (zh) * 2023-06-09 2023-08-22 上海大学 基于位姿预测和轨迹优化的无人机引导降落方法及无人机
CN116627154B (zh) * 2023-06-09 2024-04-30 上海大学 基于位姿预测和轨迹优化的无人机引导降落方法及无人机

Also Published As

Publication number Publication date
CN114200948B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN114200948B (zh) 一种基于视觉辅助的无人机自主着舰方法
US11609574B2 (en) Extrinsic sensor calibration systems and methods
CN108594848B (zh) 一种基于视觉信息融合的无人机分阶段自主着艇方法
CN111596693B (zh) 基于云台相机的无人机对地面目标跟踪控制方法及系统
EP4209856A1 (en) Autonomous and assisted docking systems and methods
Mammarella et al. Machine vision/GPS integration using EKF for the UAV aerial refueling problem
CN107463181A (zh) 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN113627473B (zh) 基于多模态传感器的水面无人艇环境信息融合感知方法
Dougherty et al. Laser-based guidance of a quadrotor uav for precise landing on an inclined surface
CN113311873B (zh) 一种基于视觉的无人机伺服跟踪方法
CN108562289B (zh) 连续多边几何环境中四旋翼飞行器激光雷达导航方法
CN108536163B (zh) 一种单面结构环境下的动力学模型/激光雷达组合导航方法
Mills et al. Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers
Wynn et al. Visual servoing with feed-forward for precision shipboard landing of an autonomous multirotor
Cho et al. Autonomous ship deck landing of a quadrotor UAV using feed-forward image-based visual servoing
Dunbabin et al. Vision-based docking using an autonomous surface vehicle
Figueiredo et al. Vision-based localization and positioning of an AUV
Acuna et al. Vision-based UAV landing on a moving platform in GPS denied environments using motion prediction
Lee Machine learning vision and nonlinear control approach for autonomous ship landing of vertical flight aircraft
Pei et al. Research of a non-linearity control algorithm for UAV target tracking based on fuzzy logic systems
Zhao et al. Vision-based autonomous landing control of a multi-rotor aerial vehicle on a moving platform with experimental validations
CN109459046B (zh) 悬浮式水下自主航行器的定位和导航方法
Kaiser et al. Localization and control of an aerial vehicle through chained, vision-based pose reconstruction
Medeiros et al. A computer vision system for guidance of vtol uavs autonomous landing
Yang et al. Autonomous landing of a rotor unmanned aerial vehicle on a boat using image-based visual servoing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant