CN111596693B - 基于云台相机的无人机对地面目标跟踪控制方法及系统 - Google Patents

基于云台相机的无人机对地面目标跟踪控制方法及系统 Download PDF

Info

Publication number
CN111596693B
CN111596693B CN202010554379.6A CN202010554379A CN111596693B CN 111596693 B CN111596693 B CN 111596693B CN 202010554379 A CN202010554379 A CN 202010554379A CN 111596693 B CN111596693 B CN 111596693B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
camera
target
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010554379.6A
Other languages
English (en)
Other versions
CN111596693A (zh
Inventor
刘志宏
王祥科
杨凌杰
丛一睿
李�杰
俞先国
陈浩
黄华平
王冠政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010554379.6A priority Critical patent/CN111596693B/zh
Publication of CN111596693A publication Critical patent/CN111596693A/zh
Application granted granted Critical
Publication of CN111596693B publication Critical patent/CN111596693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于云台相机的无人机对地面目标跟踪控制方法及系统，属于目标跟踪技术领域，用于解决目前目标跟踪效果差的技术问题，采用的技术方案为：首先进行目标检测与识别，提取目标的特征点；利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；将S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；根据Va和θg分别对无人机和云台进行姿态调整。本发明的基于云台相机的无人机对地面目标跟踪控制方法及系统均具有跟踪精度高、跟踪效果好等优点。

Description

基于云台相机的无人机对地面目标跟踪控制方法及系统
技术领域
本发明涉及目标跟踪技术领域，具体涉及一种基于云台相机的无人机对地面目标跟踪控制方法及系统。
背景技术
基于机载传感器实现对地面目标的持久鲁棒跟踪是无人机执行对地观测任务的基本形式之一，也是后续目标行为/意图分析和态势生成的基础。传统方法大多采用“识别-定位-控制”策略，即在识别目标后，结合机载传感器内外参数定位目标在空间中的位置，而后基于定位结果设计跟踪控制律。但是在目标定位环节中，定位误差通常较大，且无人机时刻处于高速运动中，导致固定翼无人机跟踪效果较差，难以做到长时间的鲁棒跟踪。因此，以固定翼无人机和机载视觉传感器为对象，如何设计无需目标位置解算的视觉伺服跟踪控制律，实现“识别-控制”一体化，是实现无人机对地面目标持久鲁棒跟踪的关键问题。
现有研究大多需要对目标的三维空间位置进行解算，即先对机载传感器的参数进行标定，再利用图像检测算法获得目标在图像上的特征点坐标，最后将特征点坐标转化为目标相对无人机的三维空间坐标，或是再结合GPS信息进行控制器的设计。例如：Morgan等通过估计无人机相对目标的位置，可实现固定翼无人机对目标信息的获取，定位及连续监视。Florent等提出一种视觉伺服控制算法，利用惯性测量单元和嵌入式相机，通过让固定翼无人机在三维空间上的运动轨迹收敛到圆周，从而实现相机固联状态下无人机对静止目标的跟踪。Pietro等[3]使用带云台相机的固定翼无人机，通过让云台朝向与无人机飞行方向的夹角趋于90度，进而利用基于图像的视觉伺服方法实现无人机对地面静止目标的盘旋跟踪；进一步，他们又验证了目标以很慢的速度沿直线运动时无人机跟踪效果的有效性。Quintero等使用带云台相机的固定翼无人机，实现对未知运动的地面车辆的跟踪，即无人机在保持与地面目标足够近的同时，还需保证目标在相机视场内。其中，车辆的位置信息通过GPS接收器获得，再通过解算获得无人机的空间位置信息，从而实现对无人机和云台的控制。
目前使用的固定翼无人机对地面目标的跟踪控制方法主要存在以下两个缺点：
(1)在通过二维的目标特征点坐标解算无人机相对目标的三维空间坐标时，需结合机载传感器内外参数进行定位。然而在目标定位环节中，定位误差通常较大，且无人机时刻处于高速运动中，导致固定翼无人机跟踪效果较差，难以做到长时间的鲁棒跟踪。例如，Morgan等在实现固定翼无人机对目标的持续监视时，就是先定位无人机相对目标的位置，进而设计控制器实现无人机对目标的跟踪。Florent等通过获得无人机相对目标的三维空间位置，进而让该位置点收敛到恒定高度平面与圆锥面的交界处，即圆周上，从而实现无人机绕静止目标盘旋飞行。此外，Quintero等在进行无人机的跟踪设计时，还用到GPS接收器获得目标的绝对位置信息，这在GPS拒止环境下将无法完成。
(2)在不解算目标位置的前提下，只能实现固定翼无人机对静止或运动速度很慢的目标进行跟踪。目前关于不解算目标位置，直接利用视觉伺服方法实现带云台相机的固定翼无人机对地面目标的跟踪研究还很少。Pietro等成功实现了该条件下的无人机跟踪控制，然而关于云台偏航角的控制是让其保持在90度，即在俯视图中云台相机朝向与无人机飞行方向垂直。因此，当目标运动速度较快时，由于无人机无法快速调整飞行方向，且云台需要优先保持与无人机的夹角，容易导致目标脱离相机视场。
在参考文献([3]Peliti P,Rosa L,Oriolo G,et al.Vision-Based LoiteringOver a Target for a Fixed-Wing UAV[J].Ifac Proceedings Volumes,2012,45(22):51-57.)设计了固定翼无人机和云台的控制器，实现了固定翼无人机对地面目标的跟踪。该控制器的设计思路是让云台与无人机飞行方向的夹角趋于90度，从而让无人机的飞行方向与目标相对无人机的连线垂直，如图1所示，进而实现无人机绕地面静止目标的盘旋跟踪，并验证了目标运动速度很慢情况下跟踪控制的有效性。然而，这种设计无法最大化云台的性能，即无法让云台随着图像上特征点的位置变换而在限幅范围内自由偏转，这会导致当目标运动速度过快时容易脱离相机视场，使得跟踪失败。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种跟踪精度高的基于云台相机的无人机对地面目标跟踪控制方法及系统。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于云台相机的无人机对地面目标跟踪控制方法，包括步骤：
S01、首先进行目标检测与识别，提取目标的特征点；
S02、利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；
S03、将S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；
S04、根据Va和θg分别对无人机和云台进行姿态调整。
优选地，在步骤S02中，不受固定翼无人机姿态和云台姿态变化影响的图像平面为理想相机图像平面，将当前图像上的特征点坐标(u1,v1)映射到理想相机图像平面的坐标(u2,v2)的具体过程为：
S21、将云台相机光心与地面目标的连线记为lp，任取该线上一点P(xp,yp,zp)，对应当前
Figure GDA0004065940690000031
下的点坐标，则根据三角形相似原理，有如下关系成立：
Figure GDA0004065940690000032
其中k为非正的常数；f为相机焦距；
S22、通过多个旋转变换，将P点映射到理想相机下
Figure GDA00040659406900000329
中的P′(x′p,y′p,z′p)点；
S23、根据P点映射到理想相机下
Figure GDA00040659406900000330
中的P′(x′p,y′p,z′p)点，求得(u1,v1)映射到理想相机图像平面的坐标(u2,v2)；
其中
Figure GDA0004065940690000033
为相机坐标系，/>
Figure GDA0004065940690000034
的原点oc位于相机光心，zc轴的方向与光轴朝向一致，yc轴的方向垂直光轴向上，进而确定xc轴的方向使/>
Figure GDA0004065940690000035
为右手空间直角坐标系。
优选地，在步骤S22中，多个旋转变换为：
1)令当前时刻的相机坐标系
Figure GDA0004065940690000036
对应的俯仰角θt变为-90°；/>
从
Figure GDA0004065940690000037
到/>
Figure GDA0004065940690000038
需要绕/>
Figure GDA0004065940690000039
逆时针旋转θa，对应的旋转矩阵为：/>
Figure GDA00040659406900000310
Figure GDA00040659406900000311
其中ob-xbybzb和
Figure GDA00040659406900000312
分别表示当前状态S0时的无人机机体坐标系/>
Figure GDA00040659406900000313
和相机坐标系/>
Figure GDA00040659406900000314
表示云台俯仰角θt＝-90°时的相机坐标系/>
Figure GDA00040659406900000315
和/>
Figure GDA00040659406900000316
的夹角大小为/>
Figure GDA00040659406900000317
其中/>
Figure GDA00040659406900000331
为机体坐标系，/>
Figure GDA00040659406900000318
的原点ob位于固定翼无人机的质心处，xb轴的方向与机头朝向一致，yb轴的方向垂直机身向右，zb轴的方向垂直机体向下；
2)令当前时刻的相机坐标系
Figure GDA00040659406900000319
对应的偏航角θp变为0°；/>
Figure GDA00040659406900000320
让/>
Figure GDA00040659406900000321
绕
Figure GDA00040659406900000322
轴逆时针旋转/>
Figure GDA00040659406900000323
后，/>
Figure GDA00040659406900000324
轴与ocxb轴重合；记变换后的坐标系为/>
Figure GDA00040659406900000325
则对应的旋转矩阵为：
Figure GDA00040659406900000326
3)令固定翼无人机的滚转角为0°；当前时刻的相机坐标系
Figure GDA00040659406900000327
对应的无人机状态为S0，此时的无人机姿态角为(偏航角ψ1,俯仰角θ1,滚转角φ1)，则转换为滚转角为0对应的状态S1，绕/>
Figure GDA00040659406900000328
轴逆时针旋转φ1；对应的旋转矩阵为：
Figure GDA0004065940690000041
4)令固定翼无人机的俯仰角为0°；无人机的滚转角和俯仰角均为0时对应状态S2，记该状态下的相机坐标系为
Figure GDA0004065940690000042
则使俯仰角为0，绕yb轴逆时针旋转θ1，也可绕/>
Figure GDA0004065940690000043
的y轴逆时针旋转θ1，对应的旋转矩阵为：
Figure GDA0004065940690000044
5)令相机坐标系
Figure GDA0004065940690000045
的z轴与垂直机身方向的夹角为α；相机光轴朝向与机身垂直方向保持夹角α；记变换后的相机坐标系为/>
Figure GDA0004065940690000046
对应的旋转矩阵为：
Figure GDA0004065940690000047
优选地，在步骤S22中，通过多个旋转变换，将目标在当前相机坐标系下的坐标P变成理想相机坐标系下的P′点：
Figure GDA0004065940690000048
优选地，在步骤S23中，令zp′＝f，则可以求得系数k：
Figure GDA0004065940690000049
公式(9)中的上角标(3,·)表示矩阵的第三行；在求得k后，可进一步求出目标在理想相机图像平面中的特征点坐标：
Figure GDA00040659406900000410
优选地，在步骤S03中，通过特征点变化速度获得无人机的速度控制量，利用图像雅可比矩阵进行求解，公式可表示成：
Figure GDA00040659406900000411
其中T和Ω分别表示无人机飞行的线速度和角速度，都是三维的向量；Jv为图像雅可比矩阵，表示成：
Figure GDA0004065940690000051
其中z表示目标到相机的视深；
其中为使目标快速收敛到图像中心，采用指数收敛方式；目标到图像中心的误差为
Figure GDA0004065940690000052
Figure GDA0004065940690000053
则误差的收敛速度可表示成：
Figure GDA0004065940690000054
其中λ是个2×2的正定矩阵。
优选地，在步骤S03中，将S与期望特征点S*的差值作为输入，输入至伺服控制器中，实现特征点S变化到无人机速度变化、无人机偏航角变化和云台姿态角变化的映射；无人机速度变化包括无人机速度速率，所述无人机偏航角变化包括无人机偏航角速率，对应的得到过程为：
记理想相机状态下的机体坐标系为
Figure GDA0004065940690000055
当前状态下的欧拉坐标系为/>
Figure GDA0004065940690000056
则从/>
Figure GDA0004065940690000057
到/>
Figure GDA0004065940690000058
需经过以下变换：
a)从
Figure GDA0004065940690000059
转换到/>
Figure GDA00040659406900000510
记
Figure GDA00040659406900000511
中对应的目标线速度cV和角速度cΩ分别为：
Figure GDA00040659406900000512
则经过上述第5)步的逆变换，
Figure GDA00040659406900000513
即可与/>
Figure GDA00040659406900000514
保持一致；记/>
Figure GDA00040659406900000515
下固定翼无人机的线速度和角速度分别为b2V和b2Ω，则表示成：
Figure GDA00040659406900000516
/>
b)从
Figure GDA00040659406900000517
转换到/>
Figure GDA00040659406900000518
固定翼无人机在当前状态下，滚转角和俯仰角分别旋转φ和θ后转换成理想相机对应的状态，；当
Figure GDA00040659406900000519
下对应的无人机角速率已知时，可以通过投影变换获得无人机的欧拉角速率；
记欧拉角速率为
Figure GDA00040659406900000520
其中ob-xyz表示惯性坐标系，此时三个姿态角均为0；绕z轴偏航ψ角后与坐标系
Figure GDA0004065940690000061
重合；而后绕y1轴俯仰θ角后与坐标系/>
Figure GDA0004065940690000062
重合；最后绕x2轴滚转φ角后与坐标系/>
Figure GDA0004065940690000063
重合；考虑/>
Figure GDA0004065940690000064
下的无人机角速度与eΩ之间的投影关系，可以得到：
Figure GDA0004065940690000065
其中
Figure GDA0004065940690000066
由于理想相机状态下固定翼无人机的俯仰角和滚转角始终为0，因此对应的滚转角速率和俯仰角速率也始终为0，则偏航角速率的输入为：
Figure GDA0004065940690000067
再根据公式，可以通过
Figure GDA0004065940690000068
下的速度得到/>
Figure GDA0004065940690000069
下对应的速度：
Figure GDA00040659406900000610
又由于无人机以恒定的速度进行飞行，对应于S2状态下就是沿x轴的飞行速度为Vt，而沿y轴和z轴的速度均为0；合公式(19)，可以得到
Figure GDA00040659406900000611
下的无人机速度表示：
Figure GDA00040659406900000612
将公式(11)，(21)代入公式(12)中，可以得到：
Figure GDA00040659406900000613
进一步整理可得：
Figure GDA00040659406900000614
其中
Figure GDA00040659406900000615
Figure GDA00040659406900000616
再利用最小二乘法，可以求得最终的偏航角速率：
Figure GDA0004065940690000071
优选地，在云台相机模型中，云台通过调整θp和θt使目标趋于图像中心；以O1为相机光心所在位置，O2为图像中心，|O1O2|表示相机焦距，C为目标特征点；结合图像坐标系
Figure GDA0004065940690000077
的构建，目标的坐标可表示为(|O2A|,-|O2B|)；
云台相机的偏航角θp变化将影响目标特征点的横坐标，而θt的变化将影响目标特征点的纵坐标；
记△θp和△θt为目标从当前位置到达图像中心时云台需要旋转的角度，结合云台姿态角符号的定义，则有
Figure GDA0004065940690000072
若期望图像上特征点坐标(u1,v1)指数收敛到图像中心，则有
Figure GDA0004065940690000073
其中
Figure GDA0004065940690000074
因此，云台姿态角的变化速率可表示成：
Figure GDA0004065940690000075
优选地，所述伺服控制器为：
Figure GDA0004065940690000076
本发明还公开了一种基于云台相机的无人机对地面目标跟踪控制系统，包括
特征点提取模块，用于进行目标检测与识别，提取目标的特征点；
特征点S提取模块，用于利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；
控制模块，用于将S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；
调整模块，用于根据Va和θg分别对无人机和云台进行姿态调整。
与现有技术相比，本发明的优点在于：
本发明的基于云台相机的无人机对地面目标跟踪控制方法及系统，以固定翼无人机和机载视觉传感器为对象，提出无需目标位置解算的视觉伺服目标跟踪控制器，实现“识别-控制”一体化；利用基于图像的视觉伺服方法，通过图像雅可比矩阵直接构建特征点变化速率和无人机速度控制之间的关系，进而将特征点坐标作为控制输入，直接获得系统的控制输出；该方法无需使用GPS进行定位，也不需要通过相机参数解算目标相对无人机的位置，从而避免了传统的“识别-定位-控制”方法在定位环节的误差，有助于提高无人机对地面目标的跟踪精度，达到长久鲁棒的跟踪效果。
本发明的基于云台相机的无人机对地面目标跟踪控制方法及系统，提出了一种理想相机模型，用于解决无人机姿态变化和云台姿态变化对图像上特征点坐标的影响，通过将当前图像上的特征点转化到理想相机对应图像上的特征点，从而可将后者收敛到图像中心的速度直接作为期望的特征点速率，并通过最小二乘法获得无人机的偏航角速率；进一步，由于云台姿态的变化对特征点速率不产生影响，因此云台可以在限幅范围内自由偏转以使目标处于图像中心，从而最大化云台的性能，保证在目标运动速度较快时无人机和云台也能通过偏转实现对其的跟踪。
附图说明
图1为现有技术中的固定翼无人机绕地面静止目标盘旋跟踪俯视图。
图2为本发明的控制系统在实施例的框架图。
图3为本发明中无人机和云台系统的坐标系构建图。
图4为本发明中云台相机的偏航和俯仰运动图。
图5为本发明中云台姿态角的限幅示意图。
图6为相机坐标系通过旋转后使θt为-90°。
图7为相机坐标系通过旋转后使θp为0°。
图8为
Figure GDA0004065940690000081
中无人机角速率与欧拉角速率的变换图。
图9为云台相机成像与相应坐标之间的关系。
图10为本发明中系统控制架构的设计框图。
具体实施方式
以下结合说明书附图和具体实施例对本发明作进一步描述。
如图2所示，本实施例的基于云台相机的固定翼无人机对地面目标的视觉伺服跟踪控制方法，包括步骤：
S01、首先进行目标检测与识别，提取目标的特征点；
S02、利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；
S03、将S与期望特征点S*(如取图像中点)的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg(包括云台偏航角和俯仰角)；
S04、根据Va和θg分别对无人机和云台进行姿态调整。
通过上述步骤的循环，最终实现无人机对地面目标跟踪的同时，保持目标位于相机视场之内。其中为分析固定翼无人机的运动，根据实际情况对无人机的飞行状态做出一些合理的假设：固定翼无人机在对目标进行盘旋跟踪时，始终以恒定的速度Vt进行飞行；同时，由于高度变化容易影响相机成像效果，故假设无人机的飞行高度H也保持不变。
借助现有的图像检测方法(例如YOLOv3等)，可获得目标特征点坐标(u1,v1)。而为了进行坐标系的转换，首先需构建所需的坐标系。各坐标系及其之间的相对关系如图3所示，包括以下四个坐标系：
(1)图像坐标系
Figure GDA0004065940690000091
Figure GDA0004065940690000092
的原点oi位于图像中心，xi轴平行于图像的宽，yi轴平行于图像的高。
(2)相机坐标系
Figure GDA0004065940690000093
Figure GDA0004065940690000094
的原点oc位于相机光心，zc轴的方向与光轴朝向一致，yc轴的方向垂直光轴向上，进而确定xc轴的方向使/>
Figure GDA0004065940690000095
为右手空间直角坐标系。
(3)机体坐标系
Figure GDA0004065940690000096
Figure GDA0004065940690000097
的原点ob位于固定翼无人机的质心处，xb轴的方向与机头朝向一致，yb轴的方向垂直机身向右，zb轴的方向垂直机体向下。
(4)云台坐标系
Figure GDA0004065940690000098
Figure GDA0004065940690000099
的原点可认为与oc一致，都位于相机光心，yg轴沿相机光轴朝向，zg轴垂直相机光轴向上，xg轴的选取使/>
Figure GDA00040659406900000911
为右手空间直角坐标系。
其中各参数以及定义如下：
表1：相关参数及其解释
Figure GDA00040659406900000910
Figure GDA0004065940690000101
由于云台需要利用自身的偏转让目标处于图像中心，因此需要对云台的偏转进行分析。如图4所示，
Figure GDA0004065940690000102
表示云台的偏航角速率，/>
Figure GDA0004065940690000103
表示云台的俯仰角速率。通过这两个维度的变化，云台可调整相机的视角而使目标位于视场之内。此外，由于云台机械特性的限制，云台的偏转角都有限幅。如图5所示，其中偏航角/>
Figure GDA00040659406900001010
俯仰角/>
Figure GDA0004065940690000109
由于假设无人机的飞行速度和高度恒定，因此可以结合unicycle模型对“无人机+云台”系统进行分析。系统的模型可以表示为：
Figure GDA0004065940690000104
在进行控制器的设计前，先对“理想相机”概念进行描述：(1)该状态下的无人机质心与当前时刻的质心一致；(2)相机相对无人机的姿态保持恒定；(3)无人机的俯仰角和滚转角为0。定义“理想相机”的目的，是为了让图像上目标特征点坐标不受云台姿态变化及无人机俯仰角和滚转角变化的影响，从而实现目标特征点变化到无人机偏航角变化的映射。
因此，为获得期望的特征点变化速率，需要将当前图像上的特征点坐标(u1,v1)映射到“理想相机”状态下的坐标(u2,v2)。将光心与地面目标的连线记为lp，任取该线上一点P(xp,yp,zp)(对应当前
Figure GDA0004065940690000105
下的点坐标)，则根据三角形相似原理，有如下关系成立：
Figure GDA0004065940690000106
其中k为非正的常数。接下来，通过以下5个旋转变换，将P点映射到“理想相机”下
Figure GDA0004065940690000107
中的P′(x′p,y′p,z′p)点。
(1)令当前时刻的相机坐标系
Figure GDA0004065940690000108
对应的θt变为-90°。如图6所示，ob-xbybzb和
Figure GDA0004065940690000111
分别表示当前状态S0时的无人机机体坐标系/>
Figure GDA0004065940690000112
和相机坐标系/>
Figure GDA0004065940690000113
表示云台俯仰角θt＝-90°时的相机坐标系/>
Figure GDA0004065940690000114
和/>
Figure GDA0004065940690000115
的夹角大小为/>
Figure GDA0004065940690000116
从
Figure GDA0004065940690000117
到/>
Figure GDA0004065940690000118
需要绕/>
Figure GDA0004065940690000119
逆时针旋转θa，对应的旋转矩阵为：/>
Figure GDA00040659406900001110
Figure GDA00040659406900001111
(2)令当前时刻的相机坐标系
Figure GDA00040659406900001112
对应的θp变为0°。如图7所示，由于/>
Figure GDA00040659406900001113
因此让/>
Figure GDA00040659406900001114
绕/>
Figure GDA00040659406900001115
轴逆时针旋转/>
Figure GDA00040659406900001116
后，/>
Figure GDA00040659406900001117
轴就能与ocxb轴重合。记变换后的坐标系为
Figure GDA00040659406900001118
则对应的旋转矩阵为：
Figure GDA00040659406900001119
(3)令固定翼无人机的滚转角为0°。由于当前时刻的相机坐标系
Figure GDA00040659406900001120
对应的无人机状态为S0，若此时的无人机姿态角为(ψ1,θ1,φ1)，则要转换为滚转角为0对应的状态S1，需要绕/>
Figure GDA00040659406900001121
轴逆时针旋转φ1。对应的旋转矩阵为：
Figure GDA00040659406900001122
(4)令固定翼无人机的俯仰角为0°。无人机的滚转角和俯仰角均为0时对应状态S2，记该状态下的相机坐标系为
Figure GDA00040659406900001123
则要使俯仰角为0，需要绕yb轴逆时针旋转θ1，也可近似认为绕/>
Figure GDA00040659406900001124
的y轴逆时针旋转θ1，对应的旋转矩阵为：
Figure GDA00040659406900001125
(5)令相机坐标系
Figure GDA00040659406900001126
的z轴与垂直机身方向的夹角为α。根据“理想相机”的定义，相机光轴朝向还要与机身垂直方向保持夹角α。记变换后的相机坐标系为/>
Figure GDA00040659406900001127
对应的旋转矩阵为：
Figure GDA00040659406900001128
因此通过以上变换，可以将目标在当前相机坐标系下的坐标P变成“理想相机”坐标系下的P′点：
Figure GDA0004065940690000121
令zp′＝f，则可以求得系数k：
Figure GDA0004065940690000122
公式(9)中的上角标(3,·)表示矩阵的第三行。在求得k后，可进一步求出目标在“理想相机”图像平面中的特征点坐标：
Figure GDA0004065940690000123
为使目标快速收敛到图像中心，可采用指数收敛方式。目标到图像中心的误差为
Figure GDA0004065940690000124
则误差的收敛速度可表示成：
Figure GDA0004065940690000125
其中λ是个2×2的正定矩阵。
要通过特征点变化速度获得无人机的速度控制量，可以利用图像雅可比矩阵进行求解。公式可表示成：
Figure GDA0004065940690000126
其中T和Ω分别表示无人机飞行的线速度和角速度，都是三维的向量；Jv为图像雅可比矩阵，表示成：
Figure GDA0004065940690000127
其中z表示目标到相机的视深。
记“理想相机”状态下的机体坐标系为
Figure GDA0004065940690000128
当前状态下的欧拉坐标系为/>
Figure GDA0004065940690000129
则从
Figure GDA00040659406900001210
到/>
Figure GDA00040659406900001211
需经过以下变换：
(1)从
Figure GDA00040659406900001212
转换到/>
Figure GDA00040659406900001213
记
Figure GDA00040659406900001214
中对应的目标线速度和角速度分别为：
Figure GDA0004065940690000131
则经过上述第(5)步的逆变换，
Figure GDA0004065940690000132
即可与/>
Figure GDA0004065940690000133
保持一致。记/>
Figure GDA0004065940690000134
下固定翼无人机的线速度和角速度分别为/>
Figure GDA0004065940690000135
和/>
Figure GDA0004065940690000136
则它们可表示成：
Figure GDA0004065940690000137
(2)从
Figure GDA0004065940690000138
转换到/>
Figure GDA0004065940690000139
固定翼无人机在当前状态下，滚转角和俯仰角分别旋转φ和θ后转换成“理想相机”对应的状态，转换过程如图8所示。当
Figure GDA00040659406900001321
下对应的无人机角速率已知时，可以通过投影变换获得无人机的欧拉角速率。
记欧拉角速率为
Figure GDA00040659406900001310
在图8中，ob-xyz表示惯性坐标系，此时三个姿态角均为0。绕z轴偏航ψ角后与坐标系
Figure GDA00040659406900001311
重合；而后绕y1轴俯仰θ角后与坐标系/>
Figure GDA00040659406900001312
重合；最后绕x2轴滚转φ角后与坐标系/>
Figure GDA00040659406900001313
重合。考虑/>
Figure GDA00040659406900001314
下的无人机角速度与eΩ之间的投影关系，可以得到:
Figure GDA00040659406900001315
其中
Figure GDA00040659406900001316
由于“理想相机”状态下固定翼无人机的俯仰角和滚转角始终为0，因此对应的滚转角速率和俯仰角速率也始终为0，则偏航角速率的输入为：
Figure GDA00040659406900001317
/>
再根据公式，可以通过
Figure GDA00040659406900001318
下的速度得到/>
Figure GDA00040659406900001319
下对应的速度：
Figure GDA00040659406900001320
又由于无人机以恒定的速度进行飞行，对应于S2状态下就是沿x轴的飞行速度为Vt，而沿y轴和z轴的速度均为0。结合公式(19)，可以得到
Figure GDA00040659406900001410
下的无人机速度表示：
Figure GDA0004065940690000141
将公式(11)，(21)代入公式(12)中，可以得到：
Figure GDA0004065940690000142
进一步整理可得：
Figure GDA0004065940690000143
其中
Figure GDA0004065940690000144
Figure GDA0004065940690000145
再利用最小二乘法，可以求得最终的偏航角速率：
Figure GDA0004065940690000146
接下来，对云台的控制进行分析。在云台相机模型中，云台通过调整θp和θt使目标趋于图像中心。如图9所示，O1为相机光心所在位置，O2为图像中心，|O1O2|表示相机焦距，C为目标特征点。结合图像坐标系
Figure GDA00040659406900001411
的构建，目标的坐标可表示为(|O2A|,-|O2B|)。分析可知，云台相机的偏航角θp变化将影响目标特征点的横坐标，而θt的变化将影响目标特征点的纵坐标。记△θp和△θt为目标从当前位置到达图像中心时云台需要旋转的角度。结合图5中云台姿态角符号的定义，则有
Figure GDA0004065940690000147
若期望图像上特征点坐标(u1,v1)指数收敛到图像中心，则有
Figure GDA0004065940690000148
其中
Figure GDA00040659406900001412
因此，云台姿态角的变化速率可表示成：/>
Figure GDA0004065940690000149
综上，“无人机+云台”系统的控制器为：
Figure GDA0004065940690000151
本发明还公开了一种基于云台相机的无人机对地面目标跟踪控制系统，包括
特征点提取模块，用于进行目标检测与识别，提取目标的特征点；
特征点S提取模块，用于利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；
控制模块，用于将S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；
调整模块，用于根据Va和θg分别对无人机和云台进行姿态调整。
本发明的基于云台相机的无人机对地面目标跟踪控制方法及系统，以固定翼无人机和机载视觉传感器为对象，提出无需目标位置解算的视觉伺服目标跟踪控制器，实现“识别-控制”一体化；利用基于图像的视觉伺服方法，通过图像雅可比矩阵直接构建特征点变化速率和无人机速度控制之间的关系，进而将特征点坐标作为控制输入，直接获得系统的控制输出；该方法无需使用GPS进行定位，也不需要通过相机参数解算目标相对无人机的位置，从而避免了传统的“识别-定位-控制”方法在定位环节的误差，有助于提高无人机对地面目标的跟踪精度，达到长久鲁棒的跟踪效果。
本发明的基于云台相机的无人机对地面目标跟踪控制方法及系统，提出了一种理想相机模型，用于解决无人机姿态变化和云台姿态变化对图像上特征点坐标的影响，通过将当前图像上的特征点转化到理想相机对应图像上的特征点，从而可将后者收敛到图像中心的速度直接作为期望的特征点速率，并通过最小二乘法获得无人机的偏航角速率；进一步，由于云台姿态的变化对特征点速率不产生影响，因此云台可以在限幅范围内自由偏转以使目标处于图像中心，从而最大化云台的性能，保证在目标运动速度较快时无人机和云台也能通过偏转实现对其的跟踪。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，包括步骤：
S01、首先进行目标检测与识别，提取目标的特征点；
S02、利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；
S03、将特征点S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；
S04、根据Va和θg分别对无人机和云台进行姿态调整；
在步骤S03中，通过特征点变化速度获得无人机的速度控制量，利用图像雅可比矩阵进行求解，公式可表示成：
Figure QLYQS_1
其中T和Ω分别表示无人机飞行的线速度和角速度，都是三维的向量；Jv为图像雅可比矩阵，表示成：
Figure QLYQS_2
其中z表示目标到相机的视深；
其中为使目标快速收敛到图像中心，采用指数收敛方式；目标到图像中心的误差为
Figure QLYQS_3
Figure QLYQS_4
则误差的收敛速度可表示成：
Figure QLYQS_5
其中λ是个2×2的正定矩阵；
在步骤S03中，将S与期望特征点S*的差值作为输入，输入至伺服控制器中，实现特征点S变化到无人机速度变化、无人机偏航角变化和云台姿态角变化的映射；无人机速度变化包括无人机速度速率，所述无人机偏航角变化包括无人机偏航角速率，对应的得到过程为：
记理想相机状态下的机体坐标系为
Figure QLYQS_6
当前状态下的欧拉坐标系为/>
Figure QLYQS_7
则从/>
Figure QLYQS_8
到/>
Figure QLYQS_9
需经过以下变换：
a)从
Figure QLYQS_10
转换到/>
Figure QLYQS_11
记
Figure QLYQS_12
中对应的目标线速度cV和角速度cΩ分别为：
Figure QLYQS_13
则经过上述第5)步的逆变换，
Figure QLYQS_14
即可与/>
Figure QLYQS_15
保持一致；记/>
Figure QLYQS_16
下固定翼无人机的线速度和角速度分别为/>
Figure QLYQS_17
和/>
Figure QLYQS_18
则表示成：
Figure QLYQS_19
/>
b)从
Figure QLYQS_20
转换到/>
Figure QLYQS_21
固定翼无人机在当前状态下，滚转角和俯仰角分别旋转φ和θ后转换成理想相机对应的状态，当
Figure QLYQS_22
下对应的无人机角速率已知时，通过投影变换获得无人机的欧拉角速率；
记欧拉角速率为
Figure QLYQS_23
其中ob-xyz表示惯性坐标系，此时三个姿态角均为0；绕z轴偏航ψ角后与坐标系
Figure QLYQS_24
重合；而后绕y1轴俯仰θ角后与坐标系/>
Figure QLYQS_25
重合；最后绕x2轴滚转φ角后与坐标系/>
Figure QLYQS_26
重合；考虑/>
Figure QLYQS_27
下的无人机角速度与eΩ之间的投影关系，得到：
Figure QLYQS_28
其中
Figure QLYQS_29
由于理想相机状态下固定翼无人机的俯仰角和滚转角始终为0，因此对应的滚转角速率和俯仰角速率也始终为0，则偏航角速率的输入为：
Figure QLYQS_30
再根据公式，通过
Figure QLYQS_31
下的速度得到/>
Figure QLYQS_32
下对应的速度：
Figure QLYQS_33
又由于无人机以恒定的速度进行飞行，对应于S2状态下就是沿x轴的飞行速度为Vt，而沿y轴和z轴的速度均为0；合公式(19)，得到
Figure QLYQS_34
下的无人机速度表示：
Figure QLYQS_35
将公式(11)，(21)代入公式(12)中，得到：
Figure QLYQS_36
进一步整理可得：
Figure QLYQS_37
其中
Figure QLYQS_38
Figure QLYQS_39
再利用最小二乘法，求得最终的偏航角速率：
Figure QLYQS_40
在云台相机模型中，云台通过调整θp和θt使目标趋于图像中心；以O1为相机光心所在位置，O2为图像中心，|O1O2|表示相机焦距，C为目标特征点；结合图像坐标系
Figure QLYQS_41
的构建，目标的坐标可表示为(|O2A|,-|O2B|)；
云台相机的偏航角θp变化将影响目标特征点的横坐标，而θt的变化将影响目标特征点的纵坐标；
记△θp和△θt为目标从当前位置到达图像中心时云台需要旋转的角度，结合云台姿态角符号的定义，则有
Figure QLYQS_42
若期望图像上特征点坐标(u1,v1)指数收敛到图像中心，则有
Figure QLYQS_43
其中
Figure QLYQS_44
因此，云台姿态角的变化速率可表示成：
Figure QLYQS_45
2.根据权利要求1所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤S02中，不受固定翼无人机姿态和云台姿态变化影响的图像平面为理想相机图像平面，将当前图像上的特征点坐标(u1,v1)映射到理想相机图像平面的坐标(u2,v2)的具体过程为：
S21、将云台相机光心与地面目标的连线记为lp，任取该线上一点P(xp,yp,zp)，对应当前相机坐标系
Figure QLYQS_46
下的点坐标，则根据三角形相似原理，有如下关系成立：
Figure QLYQS_47
其中k为非正的常数；f为相机焦距；
S22、通过多个旋转变换，将P点映射到理想相机下
Figure QLYQS_48
中的P′(x′p,y′p,z′p)点；
S23、根据P点映射到理想相机下
Figure QLYQS_49
中的P′(x′p,y′p,z′p)点，求得(u1,v1)映射到理想相机图像平面的坐标(u2,v2)；
其中
Figure QLYQS_50
为相机坐标系，/>
Figure QLYQS_51
的原点oc位于相机光心，zc轴的方向与光轴朝向一致，yc轴的方向垂直光轴向上，进而确定xc轴的方向使/>
Figure QLYQS_52
为右手空间直角坐标系。
3.根据权利要求2所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤S22中，多个旋转变换为：
1)令当前时刻的相机坐标系
Figure QLYQS_53
对应的俯仰角θt变为-90°；
从
Figure QLYQS_54
到/>
Figure QLYQS_55
需要绕/>
Figure QLYQS_56
逆时针旋转θa，对应的旋转矩阵为：
Figure QLYQS_57
其中ob-xbybzb和
Figure QLYQS_59
分别表示当前状态S0时的无人机机体坐标系/>
Figure QLYQS_61
和相机坐标系/>
Figure QLYQS_64
表示云台俯仰角θt＝-90°时的相机坐标系/>
Figure QLYQS_60
和/>
Figure QLYQS_62
的夹角大小为/>
Figure QLYQS_63
其中/>
Figure QLYQS_65
为机体坐标系，/>
Figure QLYQS_58
的原点ob位于固定翼无人机的质心处，xb轴的方向与机头朝向一致，yb轴的方向垂直机身向右，zb轴的方向垂直机体向下；
2)令当前时刻的相机坐标系
Figure QLYQS_66
对应的偏航角θp变为0°；/>
Figure QLYQS_67
让/>
Figure QLYQS_68
绕/>
Figure QLYQS_69
轴逆时针旋转/>
Figure QLYQS_70
后，/>
Figure QLYQS_71
轴与ocxb轴重合；记变换后的坐标系为/>
Figure QLYQS_72
则对应的旋转矩阵为：
Figure QLYQS_73
3)令固定翼无人机的滚转角为0°；当前时刻的相机坐标系
Figure QLYQS_74
对应的无人机状态为S0，此时的无人机姿态角为(偏航角ψ1,俯仰角θ1,滚转角φ1)，则转换为滚转角为0对应的状态S1，绕/>
Figure QLYQS_75
轴逆时针旋转φ1；对应的旋转矩阵为：
Figure QLYQS_76
4)令固定翼无人机的俯仰角为0°；无人机的滚转角和俯仰角均为0时对应状态S2，记该状态下的相机坐标系为
Figure QLYQS_77
则使俯仰角为0，绕yb轴逆时针旋转θ1，也可绕/>
Figure QLYQS_78
的y轴逆时针旋转θ1，对应的旋转矩阵为：
Figure QLYQS_79
5)令相机坐标系
Figure QLYQS_80
的z轴与垂直机身方向的夹角为α；相机光轴朝向与机身垂直方向保持夹角α；记变换后的相机坐标系为/>
Figure QLYQS_81
对应的旋转矩阵为：
Figure QLYQS_82
4.根据权利要求3所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤S22中，通过多个旋转变换，将目标在当前相机坐标系下的坐标P变成理想相机坐标系下的P′点：
Figure QLYQS_83
5.根据权利要求4所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，在步骤S23中，令z′p＝f，则求得系数k：
Figure QLYQS_84
公式(9)中的上角标(3,·)表示矩阵的第三行；在求得k后，可进一步求出目标在理想相机图像平面中的特征点坐标：
Figure QLYQS_85
6.根据权利要求1所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，所述伺服控制器为：
Figure QLYQS_86
7.一种基于云台相机的无人机对地面目标跟踪控制系统，用于执行如权利要求1-6中任意一项所述的基于云台相机的无人机对地面目标跟踪控制方法，其特征在于，控制系统包括
特征点提取模块，用于进行目标检测与识别，提取目标的特征点；
特征点S提取模块，用于利用坐标系转换，将当前特征点映射到不受固定翼无人机姿态和云台姿态变化影响的图像平面上，从而获得对应的特征点S；
控制模块，用于将S与期望特征点S*的差值作为输入，对无人机和云台系统进行伺服控制，获得无人机的速度Va和期望的云台姿态θg；
调整模块，用于根据Va和θg分别对无人机和云台进行姿态调整。
CN202010554379.6A 2020-06-17 2020-06-17 基于云台相机的无人机对地面目标跟踪控制方法及系统 Active CN111596693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554379.6A CN111596693B (zh) 2020-06-17 2020-06-17 基于云台相机的无人机对地面目标跟踪控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554379.6A CN111596693B (zh) 2020-06-17 2020-06-17 基于云台相机的无人机对地面目标跟踪控制方法及系统

Publications (2)

Publication Number Publication Date
CN111596693A CN111596693A (zh) 2020-08-28
CN111596693B true CN111596693B (zh) 2023-05-26

Family

ID=72186479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554379.6A Active CN111596693B (zh) 2020-06-17 2020-06-17 基于云台相机的无人机对地面目标跟踪控制方法及系统

Country Status (1)

Country Link
CN (1) CN111596693B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966133A (zh) * 2020-08-29 2020-11-20 山东翔迈智能科技有限公司 一种云台视觉伺服控制系统
CN114333199B (zh) * 2020-09-30 2024-03-26 中国电子科技集团公司第五十四研究所 一种报警方法、设备及系统、芯片
CN111935412B (zh) * 2020-10-19 2021-04-13 广东科凯达智能机器人有限公司 一种巡检目标自动识别跟踪的方法、系统及机器人
CN112947569B (zh) * 2021-03-09 2022-08-12 中南大学 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
CN113110542B (zh) * 2021-04-16 2022-07-15 东北大学 一种基于单轴云台的四旋翼无人机目标追踪系统
CN113689501B (zh) * 2021-08-26 2023-05-23 电子科技大学 一种基于收敛点的双机协同目标机定位跟踪控制方法
CN113741519B (zh) * 2021-09-01 2023-04-25 清华大学 无人机盘旋跟踪智能控制方法、装置、电子设备和存储介质
CN114265418A (zh) * 2021-09-03 2022-04-01 国家电投集团江苏新能源有限公司 一种用于光伏电站的无人机巡检与缺陷定位系统及方法
CN114200948B (zh) * 2021-12-09 2023-12-29 中国人民解放军国防科技大学 一种基于视觉辅助的无人机自主着舰方法
CN114296479B (zh) * 2021-12-30 2022-11-01 哈尔滨工业大学 一种基于图像的无人机对地面车辆跟踪方法及系统
CN115144867A (zh) * 2022-06-24 2022-10-04 山东浪潮科学研究院有限公司 一种基于无人机搭载三轴云台相机的目标检测定位方法
CN117130383B (zh) * 2023-09-14 2024-03-29 之江实验室 无人机视觉跟踪方法、系统、无人机及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
WO2017177542A1 (zh) * 2016-04-12 2017-10-19 高鹏 目标跟踪方法、装置和系统
WO2018040906A1 (zh) * 2016-08-31 2018-03-08 纳恩博（北京）科技有限公司 一种云台控制方法和装置、计算机存储介质
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
WO2017177542A1 (zh) * 2016-04-12 2017-10-19 高鹏 目标跟踪方法、装置和系统
WO2018040906A1 (zh) * 2016-08-31 2018-03-08 纳恩博（北京）科技有限公司 一种云台控制方法和装置、计算机存储介质
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
车玉涵 ; 刘富 ; 康冰 ; .基于云台相机的四旋翼无人机跟踪控制系统.吉林大学学报(信息科学版).2019,(第03期),全文. *
辛哲奎 ; 方勇纯 ; .无人机地面目标跟踪系统的建模与控制.高技术通讯.2009,(第04期),全文. *
辛哲奎 ; 方勇纯 ; 张雪波 ; .小型无人机地面目标跟踪系统机载云台自适应跟踪控制.控制理论与应用.2010,(第08期),全文. *

Also Published As

Publication number Publication date
CN111596693A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111596693B (zh) 基于云台相机的无人机对地面目标跟踪控制方法及系统
Lee et al. Adaptive image-based visual servoing for an underactuated quadrotor system
CN110347171B (zh) 一种飞行器控制方法及飞行器
CN108594848B (zh) 一种基于视觉信息融合的无人机分阶段自主着艇方法
CN108453738A (zh) 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法
CN107463181A (zh) 一种基于AprilTag的四旋翼飞行器自适应追踪系统
Li et al. UAV autonomous landing technology based on AprilTags vision positioning algorithm
CN108733066B (zh) 一种基于吊舱姿态反馈的目标跟踪控制方法
CN107831776A (zh) 基于九轴惯性传感器的无人机自主返航方法
CN105468014A (zh) 一种单自驾仪一体化的飞行器系统及其二维云台控制方法
WO2021037047A1 (zh) 一种飞行器的偏航角修正方法、装置及飞行器
CN112947569B (zh) 基于预设性能四旋翼无人机视觉伺服目标跟踪控制方法
Mills et al. Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers
CN110568860A (zh) 一种无人飞行器的返航方法、装置及无人飞行器
CN111665870B (zh) 一种轨迹跟踪方法及无人机
CN109521785A (zh) 一种随身拍智能旋翼飞行器系统
Zhang et al. Autonomous landing on ground target of UAV by using image-based visual servo control
Serra et al. Nonlinear IBVS controller for the flare maneuver of fixed-wing aircraft using optical flow
Proctor et al. Vision‐only control and guidance for aircraft
CN116149193B (zh) 一种基于视觉的旋翼无人机抗扰动控制方法及系统
CN108170160A (zh) 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法
CN113075937B (zh) 基于目标加速度估计的无人机捕获目标的控制方法
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
Abdessameud et al. Dynamic image-based tracking control for VTOL UAVs
CN114089779B (zh) Gps拒止环境下空中机器人视觉自主控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant