CN113075937A - 基于目标加速度估计的无人机捕获目标的控制方法 - Google Patents

基于目标加速度估计的无人机捕获目标的控制方法 Download PDF

Info

Publication number
CN113075937A
CN113075937A CN202110288163.4A CN202110288163A CN113075937A CN 113075937 A CN113075937 A CN 113075937A CN 202110288163 A CN202110288163 A CN 202110288163A CN 113075937 A CN113075937 A CN 113075937A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
target
representing
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110288163.4A
Other languages
English (en)
Other versions
CN113075937B (zh
Inventor
苗瀚
金忍
曲家琦
宋韬
王祎婧
褚昭晨
柴剑铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110288163.4A priority Critical patent/CN113075937B/zh
Publication of CN113075937A publication Critical patent/CN113075937A/zh
Application granted granted Critical
Publication of CN113075937B publication Critical patent/CN113075937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/03Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses by using non-electrical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于目标加速度估计的无人机捕获目标的控制方法,该方法中通过机载摄像机实时拍摄目标无人机的画面,从而获得带有目标无人机的连续图像信息,利用卷积神经网络,通过图像识别的方式获得每一帧图像上目标无人机的特征点位置,再根据特征点位置实时解算出无人机相对于摄像机的状态估计,在此基础上解算追踪无人机的控制指令,进而控制所述追踪无人机捕获目标。

Description

基于目标加速度估计的无人机捕获目标的控制方法
技术领域
本发明涉及旋翼无人机识别及追踪目标的控制方法,基于目标加速度估计的无人机捕获目标的控制方法。
背景技术
随着无人机应用的兴起,利用光学传感器进行无人机检测和姿态估计成为协同飞行和低空安全的重要研究课题。现有的技术仅基于目标检测方法获得目标无人机的位置,进而控制无人机追踪或捕获目标,然而现有技术中,对于目标位置、速度等信息的实时估计的准确性、即时性都有待提高,在获得目标的运动信息后,追踪无人机的制导控制方案一般为PID控制算法,但是实际结果并不够理想,其精度和即时性也难以满足所有的飞行任务要求。
为了获得更好的适应性和增强协同性能,目标无人机的姿态信息成为了解其状态和意图的关键信息,例如四旋翼的加速度,目前,大多数的目标6D位姿估计算法都依赖于精确的位姿标注或三维目标模型,这些算法耗费大量人力资源,难以应用于非合作目标。
然而,对于非合作目标,不可能提前在目标无人机上绘制特殊识别标记,所以需要基于无人机的一般特征进行识别和判断,但目前并没有相关领域的研究。
由于上述原因,本发明人对现有的四旋翼无人机状态估计做了深入研究,并研究新的追踪无人机控制方案,以期待设计出一种能够解决上述问题的基于目标加速度估计的无人机捕获目标的控制方法。
发明内容
为了克服上述问题,本发明人进行了锐意研究,设计出一种基于目标加速度估计的无人机捕获目标的控制方法,该方法中通过机载摄像机实时拍摄目标无人机的画面,从而获得带有目标无人机的连续图像信息,利用卷积神经网络,通过图像识别的方式获得每一帧图像上目标无人机的特征点位置,再根据特征点位置实时解算出无人机相对于摄像机的状态估计,在此基础上解算追踪无人机的控制指令,进而控制所述追踪无人机捕获目标,从而完成本发明。
具体来说,本发明的目的在于提供一种无人机捕获目标的控制方法,该方法中实时获得目标无人机的状态估计,并据此解算追踪无人机的控制指令,通过该控制指令控制所述追踪无人机捕获目标。
其中,所述控制指令通过下式(一)实时获得:
ac=Kp(Pt-P)+Kv(Vt-V)+Kα(at-a) (一)
其中,Kp、Kv和Kα都表示控制参数;优选地,Kp的取值为1.6,Kv的取值为3.6,Kα的取值为0.8;
Pt表示目标无人机的位置,Vt表示目标无人机的速度,αt表示目标无人机的加速度;
P表示追踪无人机的位置,V表示追踪无人机的速度,a表示追踪无人机的加速度。
其中,所述目标无人机的状态估计通过下述步骤获得:
步骤1,通过携带有摄像机的追踪无人机追踪并拍摄目标无人机,获得连续的包含目标无人机的图像;
步骤2,通过卷积神经网络处理所述图像,并从每帧图像中都提取出目标无人机的4个关键点的像素坐标;
步骤3,根据所述目标无人机的4个关键点的像素坐标获得目标无人机的状态估计。
其中,在步骤2中,首先通过图像识别的方式框选出目标无人机的基础关键点位置,
再根据基础关键点位置寻找并框选出相关关键点的位置,
进而获得目标无人机的4个关键点的像素坐标。
其中,所述步骤3包括如下子步骤:
子步骤1,通过目标无人机关键点的像素坐标获得旋转矩阵,
子步骤2,通过旋转矩阵获得目标无人机的姿态,
子步骤3,通过目标无人机的姿态获得目标无人机的加速度,
子步骤4,通过目标无人机的加速度获得目标无人机的实际位置和速度。
其中,在所述子步骤1中,通过下式(二)获得旋转矩阵:
Figure BDA0002979802400000031
其中,R表示旋转矩阵,即用于从正交坐标系到相机坐标系做转换的3×3旋转矩阵;
R′表示任意3×3旋转矩阵,其第三列[r7 r8 r9]T等于旋转轴Za,且R′满足旋转矩阵的正交约束;
旋转轴
Figure BDA0002979802400000032
表示点Pi0指向点Pj0的向量,||Pi0Pj0||表示点Pi0指向点Pj0的向量的模;
rot(Z,αl)表示目标无人机绕Z轴的旋转角度为αl
c=cosαl,s=sin αl
其中,在所述子步骤2中,通过下式(三)获得目标无人机的姿态:
Figure BDA0002979802400000041
其中,当-a sin(R31)的值落在
Figure BDA0002979802400000042
范围内时,θ1表示目标无人机的俯仰角,θ2无意义;
当-a sin(R31)的值未落在
Figure BDA0002979802400000043
范围内时,θ2表示目标无人机的俯仰角,θ1无意义;
ψ1表示俯仰角为θ1时对应求解得到的目标无人机的偏航角,
ψ2表示俯仰角为θ2时对应求解得到的目标无人机的偏航角,
φ1表示俯仰角为θ1时对应求解得到的目标无人机的滚转角,
φ2表示俯仰角为θ2时对应求解得到的目标无人机的滚转角,
R31、R32、R33表示式(二)中求解得到的旋转矩阵R中第三行的三个元素,
R21表示式(二)中求解得到的旋转矩阵R中第二行的第一个元素,
R11表示式(二)中求解得到的旋转矩阵R中第一行的第一个元素;
a sin表示反正弦函数,a tan表示反正切函数。
其中,在所述子步骤3中,通过下式(四)获得目标无人机的加速度:
at=[ax,ay,az]T (四)
其中,at表示目标无人机的加速度,
ax表示惯性坐标系中X轴方向的加速度分量,
Figure BDA0002979802400000051
ay表示惯性坐标系中Y轴方向的加速度分量,
Figure BDA0002979802400000052
az表示竖直方向的加速度分量,az=0
其中,g表示重力加速度;
θ表示式(三)中求解所得目标无人机的俯仰角,
Figure BDA0002979802400000053
表示式(三)中求解所得目标无人机的滚转角,
ψ表示式(三)中求解所得目标无人机的偏航角。
其中,在所述子步骤4中,通过下式(五)获得目标无人机的实际位置,
Figure BDA0002979802400000054
其中,Kk代表卡尔曼增益,γk表示用于模拟间歇测量的二进制随机变量,如果目标无人机在第k帧图像中被检测出,则γk=1,如果目标无人机在第k帧图像中未被检测出,则γk=0;
wk表示第k帧图像对应的过程噪声,wk-1表示第k-1帧图像对应的过程噪声;
Figure BDA0002979802400000061
表示基于k-1帧图像估计出的第k帧图像对应的状态量,
Figure BDA0002979802400000062
表示估计得到的最优的第k-1帧图像对应的状态量,
Figure BDA0002979802400000063
表示估计得到的最优的第k帧图像对应的状态量,
出值
Figure BDA0002979802400000064
Figure BDA0002979802400000065
都可以表示为X,
Zk表示第k帧图像对应的量测量,可表示为Z;
A表示过程矩阵,H表示观测矩阵;
Figure BDA0002979802400000066
Pt表示目标无人机的位置,vt表示目标无人机的速度,at表示目标无人机的加速度,h表示图像的采样周期,优选为25Hz,I3表示三维单位矩阵。
本发明所具有的有益效果包括:
(1)根据本发明提供的基于目标加速度估计的无人机捕获目标的控制方法能够针对非合作的目标无人机进行追踪,进行能够执行打击、捕获等操作;
(2)根据本发明提供的基于目标加速度估计的无人机捕获目标的控制方法能够实时根据获得的目标无人机的状态估计调整追踪无人机的飞行状态,使得追踪无人机与目标无人机之间的距离快速缩小,实现对目标的稳定快速追踪;
(3)根据本发明提供的基于目标加速度估计的无人机捕获目标的控制方法中算法相对简单,运算量小,能够满足实时计算输出的控制需要。
附图说明
图1示出实施例中无人机捕捉跟踪目标轨迹图;
图2示出实施例中目标位置变化曲线;
图3示出实施例中目标速度变化曲线;
图4示出实施例中目标加速度变化曲线;
图5示出实施例及对比例中无人机跟踪目标过程相对位置变化曲线。
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
根据本发明提供的基于目标加速度估计的无人机捕获目标的控制方法,该方法中实时获得目标无人机的状态估计,并据此解算追踪无人机的控制指,通过该控制指令控制所述追踪无人机捕获目标。
所述控制指令通过下式(一)实时获得:
ac=Kp(Pt-P)+Kv(Vt-V)+Kα(at-a) (一)
其中,Kp、Kv和Kα都表示控制参数;优选地,Kp的取值为1.6,Kv的取值为3.6,Kα的取值为0.8;
所Pt表示目标无人机的位置,Vt表示目标无人机的速度,αt表示目标无人机的加速度;所述目标无人机的状态估计包括目标无人机的位置、速度和加速度;
P表示追踪无人机的位置,V表示追踪无人机的速度,a表示追踪无人机的加速度。所述追踪无人机的位置和速度都通过追踪无人机上的卫星信号接收机实时获得,所述追踪无人机的加速度通过追踪无人机上的加速度计实时获得。
在一个优选的实施方式中,所述目标无人机的状态估计通过下述步骤获得:
步骤1,通过携带有摄像机的追踪无人机追踪并拍摄目标无人机,获得连续的包含目标无人机的图像。所述目标无人机为四旋翼无人机,所述追踪无人机可以是任意型号的无人机,其能够携带摄像机即可,优选地,所述摄像机为单目摄像机等设备,能够连续拍摄包含目标无人机的图像即可,每秒拍摄获得20~50帧图像,优选为30帧图像,所述图像的尺寸大小及像素大小都一致,以使得通过相邻帧图像可以比较清晰地追踪目标无人机的运动轨迹。
步骤2,通过卷积神经网络处理所述图像,并从每帧图像中都提取出目标无人机的4个关键点的像素坐标。
在步骤2中,首先通过图像识别的方式框选出目标无人机的基础关键点位置,
再根据基础关键点位置寻找并框选出相关关键点的位置,
进而获得目标无人机的4个关键点的像素坐标,即4个相关关键点的像素坐标。
所述基础关键点是指目标无人机上具有明显的外观特征的位置区域,包括机头、机尾、机顶和机腹。所述4个相关关键点是指四旋翼无人机上具有相似外观特征的四个电机所在位置。其中,第一个电机即第一个相关关键点位于机头的左上角,第二的电机即第二个相关关键点位于机头的右上角,第三个电机即第三个相关关键点位于机尾的左下角,第四个电机即第四个相关关键点位于机尾的左下角。本申请中,在确定关键点所在区域后,选取该区域中心点的像素坐标作为该关键点的像素坐标。
所述卷积神经网络是一种基于生物启发的分层特征计算结构,是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络具有表征学习(representationlearning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)。
步骤3,根据所述目标无人机的4个关键点的像素坐标及摄像机参数,获得目标无人机的状态估计。所述目标无人机的状态估计包括目标无人机的位置、目标无人机的姿态和目标无人机的速度,优选地,所述目标无人机的状态估计是在惯性坐标系中解算的,所述惯性坐标系是指以目标起飞点为原点的坐标系,该坐标系的X轴方向指向地理北向,Y轴指向地理东向,Z轴与X轴和Y轴正交构成右手法则,指向下为正。
优选地,所述步骤3包括如下子步骤:
子步骤1,通过目标无人机关键点的像素坐标获得旋转矩阵,
子步骤2,通过旋转矩阵获得目标无人机的姿态,
子步骤3,通过目标无人机的姿态获得目标无人机的加速度,
子步骤4,通过目标无人机的加速度获得目标无人机的实际位置和速度。
在一个优选的实施方式中,在所述子步骤1中,通过下式(二)获得旋转矩阵:
Figure BDA0002979802400000101
其中,R表示旋转矩阵,即用于从正交坐标系到相机坐标系做转换的3×3旋转矩阵;
R′表示任意3×3旋转矩阵,其第三列[r7 r8 r9]T等于旋转轴Za,且R′满足旋转矩阵的正交约束;
旋转轴
Figure BDA0002979802400000102
表示点Pi0指向点Pj0的向量,||Pi0Pj0||表示点Pi0指向点Pj0的向量的模;步骤2中获得4个关键点的像素坐标后可以求解出点Pi0和点Pj0的深度,从而确定式(二)中的旋转轴Za,即[r7 r8 r9]T
rot(Z,αl)表示目标无人机绕Z轴的旋转角度为αl
c和s都表示中间变量,c=cos αl,s=sin αl
r1到r9分别表示任意3×3旋转矩阵R′中的每个元素,第三列[r7 r8 r9]T等于旋转轴Za。
优选地,在所述子步骤2中,通过下式(三)获得目标无人机的姿态:
Figure BDA0002979802400000111
其中,
当-a sin(R31)的值落在
Figure BDA0002979802400000112
范围内时,θ1表示目标无人机的俯仰角,θ2无意义;
当-a sin(R31)的值未落在
Figure BDA0002979802400000113
范围内时,θ2表示目标无人机的俯仰角,θ1无意义;
ψ1表示俯仰角为θ1时对应求解得到的目标无人机的偏航角,
ψ2表示俯仰角为θ2时对应求解得到的目标无人机的偏航角,
φ1表示俯仰角为θ1时对应求解得到的目标无人机的滚转角,
φ2表示俯仰角为θ2时对应求解得到的目标无人机的滚转角,
R31、R32、R33表示式(二)中求解得到的旋转矩阵R中第三行的三个元素,
R21表示式(二)中求解得到的旋转矩阵R中第二行的第一个元素,
R11表示式(二)中求解得到的旋转矩阵R中第一行的第一个元素;
a sin表示反正弦函数,a tan表示反正切函数。
目标无人机姿态包括无人机机体坐标系与惯性坐标的三个夹角,即滚转角、俯仰角和偏航角,通过上述式(三)可以获得。
优选地,在所述子步骤3中,通过下式(四)获得目标无人机的加速度:
at=[ax,ay,az]T (四)
其中,at表示目标无人机的加速度,
ax表示惯性坐标系中X轴方向的加速度分量,
Figure BDA0002979802400000121
ay表示惯性坐标系中Y轴方向的加速度分量,
Figure BDA0002979802400000122
az表示竖直方向的加速度分量,az=0
其中,g表示重力加速度;
θ表示式(三)中求解所得目标无人机的俯仰角,
Figure BDA0002979802400000123
表示式(三)中求解所得目标无人机的滚转角,
ψ表示式(三)中求解所得目标无人机的偏航角。
本申请中仅考虑目标无人机平稳稳定飞行时的状态,即假设目标四旋翼在水平平面内保持稳定飞行,所以az=0,不考虑az不为零时的情况。俯仰角定义取值范围为
Figure BDA0002979802400000131
当θ1小于90°时θ=θ1;当θ1大于90°时,θ=θ2。偏航角ψ与ψ1、ψ2及滚转角
Figure BDA0002979802400000132
取值和φ1、φ2的关系与θ一致。
优选地,在所述子步骤4中,通过下式(五)获得目标无人机的实际位置,
Figure BDA0002979802400000133
其中,Kk代表卡尔曼增益,γk表示用于模拟间歇测量的二进制随机变量,如果目标无人机在第k帧图像中被检测出,则γk=1,如果目标无人机在第k帧图像中未被检测出,则γk=0;
wk表示第k帧图像对应的过程噪声,wk-1表示第k-1帧图像对应的过程噪声;
Figure BDA0002979802400000134
表示基于k-1帧图像估计出的第k帧图像对应的状态量,
Figure BDA0002979802400000135
表示估计得到的最优的第k-1帧图像对应的状态量,
Figure BDA0002979802400000136
表示估计得到的最优的第k帧图像对应的状态量,
输出值
Figure BDA0002979802400000137
Figure BDA0002979802400000138
都可以表示为X,
Zk表示第k帧图像对应的量测量,可表示为Z;
A表示过程矩阵,H表示观测矩阵;
Figure BDA0002979802400000139
Pt表示目标无人机的位置,vt表示目标无人机的速度,at表示目标无人机的加速度,h表示图像的采样周期,优选为25Hz,I3表示三维单位矩阵。
实施例1:
目标无人机初始位置是[0,0,40],其在固定高度的水平面内绕8字型轨迹飞行,其真实的运动信息如下:
目标运动轨迹为:
Figure BDA0002979802400000141
目标运动速度为:
Figure BDA0002979802400000142
目标加速度为:
Figure BDA0002979802400000143
目标的实际飞行状态如图1、图2、图3和图4中的虚线所示;
追踪无人机的初始位置为[0,-5,20],其上携带有摄像机;所述追踪无人机通过下述方法实时获得目标无人机的状态估计:
步骤1,通过摄像机追踪并拍摄目标无人机,获得连续的包含目标无人机的图像;
步骤2,通过卷积神经网络处理所述图像,并从每帧图像中都提取出目标无人机的4个关键点的像素坐标,其中每个关键点都对应一个目标无人机电机所在区域中心点的像素坐标;
其中,首先通过图像识别的方式框选出目标无人机的基础关键点位置,
再根据基础关键点位置寻找并框选出相关关键点的位置,
进而获得目标无人机的4个关键点的像素坐标;
步骤3,根据所述目标无人机的4个关键点的像素坐标获得目标无人机的状态估计,
具体包括如下子步骤:
子步骤1,通过目标无人机关键点的像素坐标获得旋转矩阵,
子步骤2,通过旋转矩阵获得目标无人机的姿态,
子步骤3,通过目标无人机的姿态获得目标无人机的加速度,
子步骤4,通过目标无人机的加速度获得目标无人机的实际位置和速度。
在所述子步骤1中,通过下式(二)获得旋转矩阵:
Figure BDA0002979802400000151
R表示旋转矩阵,即用于从正交坐标系到相机坐标系做转换的3×3旋转矩阵;
R′表示任意3×3旋转矩阵,其第三列[r7 r8 r9]T等于旋转轴Za,且R′满足旋转矩阵的正交约束;
rot(Z,αl)表示目标无人机绕Z轴的旋转角度为αl
c=cos αl,s=sin αl
在所述子步骤2中,通过下式(三)获得目标无人机的姿态:
Figure BDA0002979802400000161
其中,当-a sin(R31)的值落在
Figure BDA0002979802400000162
范围内时,θ1表示目标无人机的俯仰角,θ2无意义;
当-a sin(R31)的值未落在
Figure BDA0002979802400000163
范围内时,θ2表示目标无人机的俯仰角,θ1无意义;
在所述子步骤3中,通过下式(四)获得目标无人机的加速度:
at=[ax,ay,az]T (四)
Figure BDA0002979802400000164
Figure BDA0002979802400000165
在所述子步骤4中,通过下式(五)获得目标无人机的实际位置,
Figure BDA0002979802400000171
A表示过程矩阵,H表示观测矩阵;
Figure BDA0002979802400000172
Pt表示目标无人机的位置,vt表示目标无人机的速度,at表示目标无人机的加速度,h表示图像25Hz的采样周期,I3表示三维单位矩阵。
通过上述方法实时获得的目标无人机的状态估计如图2、图3和图4中的实线所示;相应地,目标无人机的真实轨迹如图2、图3和图4中的虚线所示,可知本方法能够及时准确地获知目标的状态估计。
基于上述实时获得的目标的状态估计,利用式(一)实时解算追踪无人机的控制指令,并通过该控制指令控制追踪无人机捕获目标。
ac=Kp(Pt-P)+Kv(Vt-V)+Kα(at-a) (一)
Kp的取值为1.6,Kv的取值为3.6,Kα的取值为0.8。
得到的无人机捕捉跟踪目标轨迹图如图1中所示,无人机跟踪目标过程相对位置变化曲线如5中所示。
对比例:
基于上述实施例1相同的目标的状态估计,选用传统的PID控制算法对追踪无人机进行制导控制,其制导指令为:
Figure BDA0002979802400000181
ΔP=Pt-P,Kp=1.6,Kd=0.3,Ki=0.3
得到的无人机捕捉跟踪目标轨迹图如图1中所示,无人机跟踪目标过程相对位置变化曲线如5中所示。
通过上述实验例和对比例的比较可知,实施例1的基于目标加速度估计的无人机捕获目标的控制方法能够更快更好地完成对目标的捕捉工作,即能够更快地相遇/拦截目标。
以上结合了优选的实施方式对本发明进行了说明,不过这些实施方式仅是范例性的,仅起到说明性的作用。在此基础上,可以对本发明进行多种替换和改进,这些均落入本发明的保护范围内。

Claims (9)

1.一种无人机捕获目标的控制方法,其特征在于,该方法中实时获得目标无人机的状态估计,并据此解算追踪无人机的控制指令,通过该控制指令控制所述追踪无人机捕获目标。
2.根据权利要求1所述的无人机捕获目标的控制方法,其特征在于,
所述控制指令通过下式(一)实时获得:
ac=Kp(Pt-P)+Kv(Vt-V)+Ka(at-a) (一)
其中,Kp、Kv和Kα都表示控制参数;优选地,Kp的取值为1.6,Kv的取值为3.6,Kα的取值为0.8;
Pt表示目标无人机的位置,Vt表示目标无人机的速度,αt表示目标无人机的加速度;所述目标无人机的状态估计包括目标无人机的位置、速度和加速度;
P表示追踪无人机的位置,V表示追踪无人机的速度,a表示追踪无人机的加速度。
3.根据权利要求1所述的无人机捕获目标的控制方法,其特征在于,
所述目标无人机的状态估计通过下述步骤获得:
步骤1,通过携带有摄像机的追踪无人机追踪并拍摄目标无人机,获得连续的包含目标无人机的图像;
步骤2,通过卷积神经网络处理所述图像,并从每帧图像中都提取出目标无人机的4个关键点的像素坐标;
步骤3,根据所述目标无人机的4个关键点的像素坐标获得目标无人机的状态估计。
4.根据权利要求3所述的无人机捕获目标的控制方法,其特征在于,
在步骤2中,首先通过图像识别的方式框选出目标无人机的基础关键点位置,
再根据基础关键点位置寻找并框选出相关关键点的位置,进而获得目标无人机的4个关键点的像素坐标。
5.根据权利要求3所述的无人机捕获目标的控制方法,其特征在于,
所述步骤3包括如下子步骤:
子步骤1,通过目标无人机关键点的像素坐标获得旋转矩阵,
子步骤2,通过旋转矩阵获得目标无人机的姿态,
子步骤3,通过目标无人机的姿态获得目标无人机的加速度,
子步骤4,通过目标无人机的加速度获得目标无人机的实际位置和速度。
6.根据权利要求5所述的无人机捕获目标的控制方法,其特征在于,
在所述子步骤1中,通过下式(二)获得旋转矩阵:
Figure FDA0002979802390000021
其中,R表示旋转矩阵,即用于从正交坐标系到相机坐标系做转换的3×3旋转矩阵;
R′表示任意3×3旋转矩阵,其第三列[r7 r8 r9]T等于旋转轴Za,且R′满足旋转矩阵的正交约束;
旋转轴
Figure FDA0002979802390000022
Figure FDA0002979802390000023
表示点Pi0指向点Pj0的向量,||Pi0 Pj0||表示点Pi0指向点Pj0的向量的模;
rot(Z,αl)表示目标无人机绕Z轴的旋转角度为αl
c=cosαl,s=sinαl
7.根据权利要求5所述的无人机捕获目标的控制方法,其特征在于,
在所述子步骤2中,通过下式(三)获得目标无人机的姿态:
Figure FDA0002979802390000031
其中,当-asin(R31)的值落在
Figure FDA0002979802390000032
范围内时,θ1表示目标无人机的俯仰角,θ2无意义;
当-asin(R31)的值未落在
Figure FDA0002979802390000033
范围内时,θ2表示目标无人机的俯仰角,θ1无意义;
ψ1表示俯仰角为θ1时对应求解得到的目标无人机的偏航角,
ψ2表示俯仰角为θ2时对应求解得到的目标无人机的偏航角,
φ1表示俯仰角为θ1时对应求解得到的目标无人机的滚转角,
φ2表示俯仰角为θ2时对应求解得到的目标无人机的滚转角,
R31、R32、R33表示式(二)中求解得到的旋转矩阵R中第三行的三个元素,
R21表示式(二)中求解得到的旋转矩阵R中第二行的第一个元素,
R11表示式(二)中求解得到的旋转矩阵R中第一行的第一个元素;
a sin表示反正弦函数,a tan表示反正切函数。
8.根据权利要求5所述的无人机捕获目标的控制方法,其特征在于,
在所述子步骤3中,通过下式(四)获得目标无人机的加速度:
at=[ax,ay,az]T (四)
其中,at表示目标无人机的加速度,
ax表示惯性坐标系中X轴方向的加速度分量,
Figure FDA0002979802390000041
ay表示惯性坐标系中Y轴方向的加速度分量,
Figure FDA0002979802390000042
az表示竖直方向的加速度分量,az=0
其中,g表示重力加速度;
θ表示式(三)中求解所得目标无人机的俯仰角,
Figure FDA0002979802390000043
表示式(三)中求解所得目标无人机的滚转角,
ψ表示式(三)中求解所得目标无人机的偏航角。
9.根据权利要求5所述的无人机捕获目标的控制方法,其特征在于,
在所述子步骤4中,通过下式(五)获得目标无人机的实际位置,
Figure FDA0002979802390000051
其中,Kk代表卡尔曼增益,γk表示用于模拟间歇测量的二进制随机变量,如果目标无人机在第k帧图像中被检测出,则γk=1,如果目标无人机在第k帧图像中未被检测出,则γk=0;
wk表示第k帧图像对应的过程噪声,wk-1表示第k-1帧图像对应的过程噪声;
Figure FDA0002979802390000052
表示基于k-1帧图像估计出的第k帧图像对应的状态量,
Figure FDA0002979802390000053
表示估计得到的最优的第k-1帧图像对应的状态量,
Figure FDA0002979802390000054
表示估计得到的最优的第k帧图像对应的状态量,
输出值
Figure FDA0002979802390000055
Figure FDA0002979802390000056
都可以表示为X,
Zk表示第k帧图像对应的量测量,可表示为Z;
A表示过程矩阵,H表示观测矩阵;
Figure FDA0002979802390000057
Pt表示目标无人机的位置,vt表示目标无人机的速度,at表示目标无人机的加速度,h表示图像的采样周期,优选为25Hz,I3表示三维单位矩阵。
CN202110288163.4A 2021-03-17 2021-03-17 基于目标加速度估计的无人机捕获目标的控制方法 Active CN113075937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110288163.4A CN113075937B (zh) 2021-03-17 2021-03-17 基于目标加速度估计的无人机捕获目标的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110288163.4A CN113075937B (zh) 2021-03-17 2021-03-17 基于目标加速度估计的无人机捕获目标的控制方法

Publications (2)

Publication Number Publication Date
CN113075937A true CN113075937A (zh) 2021-07-06
CN113075937B CN113075937B (zh) 2022-12-02

Family

ID=76612747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110288163.4A Active CN113075937B (zh) 2021-03-17 2021-03-17 基于目标加速度估计的无人机捕获目标的控制方法

Country Status (1)

Country Link
CN (1) CN113075937B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012422A (zh) * 2023-03-23 2023-04-25 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN106709498A (zh) * 2016-11-15 2017-05-24 成都赫尔墨斯科技有限公司 一种无人机拦截系统
CN108680165A (zh) * 2018-05-04 2018-10-19 中国人民解放军63920部队 基于光学图像的目标飞行器姿态确定方法和装置
CN108710127A (zh) * 2018-04-19 2018-10-26 上海鹰觉科技有限公司 低空及海面环境下的目标检测识别方法及系统
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN110132060A (zh) * 2019-04-26 2019-08-16 南京理工大学 一种基于视觉导航的拦截无人机的方法
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN111126272A (zh) * 2019-12-24 2020-05-08 腾讯科技(深圳)有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111161305A (zh) * 2019-12-18 2020-05-15 任子行网络技术股份有限公司 无人机智能识别追踪方法及系统
CN112215074A (zh) * 2020-09-10 2021-01-12 鲁东大学 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN112419363A (zh) * 2020-11-06 2021-02-26 南京邮电大学 无人机目标跟随方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统
CN106709498A (zh) * 2016-11-15 2017-05-24 成都赫尔墨斯科技有限公司 一种无人机拦截系统
CN108710127A (zh) * 2018-04-19 2018-10-26 上海鹰觉科技有限公司 低空及海面环境下的目标检测识别方法及系统
CN108680165A (zh) * 2018-05-04 2018-10-19 中国人民解放军63920部队 基于光学图像的目标飞行器姿态确定方法和装置
CN109949361A (zh) * 2018-12-16 2019-06-28 内蒙古工业大学 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN110132060A (zh) * 2019-04-26 2019-08-16 南京理工大学 一种基于视觉导航的拦截无人机的方法
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN111161305A (zh) * 2019-12-18 2020-05-15 任子行网络技术股份有限公司 无人机智能识别追踪方法及系统
CN111126272A (zh) * 2019-12-24 2020-05-08 腾讯科技(深圳)有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN112215074A (zh) * 2020-09-10 2021-01-12 鲁东大学 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN112419363A (zh) * 2020-11-06 2021-02-26 南京邮电大学 无人机目标跟随方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
尹宏鹏: "基于计算机视觉的运动目标跟踪算法研究", 《信息科技辑》 *
张嘉旭: "基于深度学习的无人机位姿视觉测量与计算方法", 《信息科技辑》 *
朱玮: "基于视觉的四旋翼飞行器目标识别及跟踪", 《信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012422A (zh) * 2023-03-23 2023-04-25 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用

Also Published As

Publication number Publication date
CN113075937B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN111596693B (zh) 基于云台相机的无人机对地面目标跟踪控制方法及系统
Rohan et al. Convolutional neural network-based real-time object detection and tracking for parrot AR drone 2
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN108594848A (zh) 一种基于视觉信息融合的无人机分阶段自主着艇方法
CN110058602A (zh) 基于深度视觉的多旋翼无人机自主定位方法
CN107463181A (zh) 一种基于AprilTag的四旋翼飞行器自适应追踪系统
Sa et al. Inspection of pole-like structures using a vision-controlled VTOL UAV and shared autonomy
CN107831776A (zh) 基于九轴惯性传感器的无人机自主返航方法
CN108759826A (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
Li et al. UAV autonomous landing technology based on AprilTags vision positioning algorithm
Courbon et al. Visual navigation of a quadrotor aerial vehicle
Masselli et al. A novel marker based tracking method for position and attitude control of MAVs
CN112363528B (zh) 基于机载视觉的无人机抗干扰集群编队控制方法
CN113075937B (zh) 基于目标加速度估计的无人机捕获目标的控制方法
CN117036989A (zh) 基于计算机视觉的微型无人机目标识别与跟踪控制方法
Haddadi et al. Visual-inertial fusion for indoor autonomous navigation of a quadrotor using ORB-SLAM
CN108227749A (zh) 无人机及其追踪系统
Wang et al. Pose and velocity estimation algorithm for UAV in visual landing
Zhang et al. Enhanced fiducial marker based precise landing for quadrotors
CN114326765B (zh) 一种用于无人机视觉着陆的地标跟踪控制系统及方法
Gabdullin et al. Analysis of onboard sensor-based odometry for a quadrotor uav in outdoor environment
Boucheloukh et al. UAV navigation based on adaptive fuzzy backstepping controller using visual odometry
Moore et al. A method for the visual estimation and control of 3-DOF attitude for UAVs
CN115144867A (zh) 一种基于无人机搭载三轴云台相机的目标检测定位方法
Cao et al. Research on application of computer vision assist technology in high-precision UAV navigation and positioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant