CN110347186A - 基于仿生双目联动的地面运动目标自主跟踪系统 - Google Patents
基于仿生双目联动的地面运动目标自主跟踪系统 Download PDFInfo
- Publication number
- CN110347186A CN110347186A CN201910643749.0A CN201910643749A CN110347186A CN 110347186 A CN110347186 A CN 110347186A CN 201910643749 A CN201910643749 A CN 201910643749A CN 110347186 A CN110347186 A CN 110347186A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- coordinate system
- ground moving
- moving target
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 42
- 238000005096 rolling process Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000033001 locomotion Effects 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000021615 conjugation Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 18
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种基于仿生双目联动的地面运动目标自主跟踪系统，包括两架无人机；两架无人机分别对同一地面运动目标进行跟踪，通过各自机载吊舱获取地面运动目标的图像，并检测目标在图像中的位置信息；两架无人机共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息并将上述信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。本发明利用两架无人机在空间上的视角互补和吊舱协同控制，降低目标遮挡对跟踪的影响，提高目标跟踪的稳定性。
Description
技术领域
本发明主要涉及一种地面运动目标自主跟踪系统，特指一种基于仿生双目联动的地面运动目标自主跟踪系统。
背景技术
无人机在自主跟踪地面目标的过程中，通过机载吊舱获取目标区域的图像，进行目标检测，并控制无人机的运动和吊舱的转动，保持目标位于图像的中央。基于无人机的目标跟踪可广泛用于军事侦察、反恐维稳、赛事直播、电力巡线、灾情救援等领域，得到了国内外的极大关注。在目标跟踪的过程中，如何保持吊舱对目标的持续跟踪是其中的关键。由于建筑物、树木等障碍的遮挡，目标检测会出现偶发性失效，使得现有针对理想目标检测条件下的目标跟踪系统很难适用。因此，亟需一种适应性更强的地面目标跟踪系统。
发明内容
本发明的目的是提供一种基于仿生双目联动的地面运动目标自主跟踪系统，利用两架无人机在空间上的视角互补和吊舱协同控制，降低目标遮挡对跟踪的影响，提高目标跟踪的稳定性。
为了解决上述技术问题，本发明采用的技术方案是：
基于仿生双目联动的地面运动目标自主跟踪系统，包括1#无人机和2#无人机；
1#无人机和2#无人机分别对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；
1#无人机和2#无人机通过各自的通讯模块彼此进行通讯共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息；两架无人机的当前状态信息以及两架无人机各自当前所检测到的地面运动目标在图像中的位置信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。
其中1#无人机和2#无人机的无人机飞控系统均包括通信模块、吊舱控制模块以及仿生联动控制模块；
无人机的状态信息包括无人机的GPS位置信息、无人机的姿态角信息(包括无人机偏航、俯仰、滚转)以及机载吊舱的旋转角度信息(包括机载吊舱的偏航、俯仰)。
地面站，地面站负责对整个系统状态进行监控，确定当前跟踪的地面运动目标，控制两架无人机启动/结束对地面运动目标的跟踪，实现人机交互；地面站接收的信息包括两架无人机的状态信息、两架无人机上机载相机获取的地面运动目标的原始图像以及检测到的地面运动目标在图像中的位置信息、两架无人机对地面运动目标的跟踪状态。地面站负责启动/结束无人机跟踪，负责确定当前跟踪的地面运动目标，也负责切换对当前跟踪的地面运动目标，实现上述功能直接由地面站给无人机发送指令即可。
仿生联动控制模块基于Zee等人提出的saccade-related vergence burstneurons(SVBNs)模型进行设计。仿生联动控制模块将两架无人机的机载吊舱的协同运动表示为共轭和辐辏两种运动模式，根据地面运动目标的方位自动调整共轭角和辐辏角，实现两架无人机的联动跟踪。
在仿生联动控制模块中，两架无人机其机载吊舱的俯仰和滚转角速度的控制量的生成方法是：根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角；根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量。
基于上述基于仿生双目联动的地面运动目标自主跟踪系统，本发明提供一种基于仿生双目联动的地面运动目标自主跟踪方法，包括以下步骤：
(1)1#无人机和2#无人机各自机载吊舱中的机载相机的视线聚焦在同一地面运动目标上，完成视线交汇；1#无人机和2#无人机对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；
(2)根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角；
(3)根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量，并将得到的1#无人机和2#无人机其机载吊舱的控制量分别输出给1#无人机和2#无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。
本发明中，步骤(2)的实现方法如下：
(2.1)根据式(1)计算出两架无人机在当地导航坐标系下的视线向量L1和L2：
其中，和分别为两架无人机从吊舱坐标系到当地导航坐标系的旋转矩阵；当地导航坐标系原点在无人机的起飞点，其三个轴的方向分别与地球的北向、东向和指向地心方向相同；吊舱坐标系的原点为机载吊舱的旋转中心，其X轴为吊舱俯仰运动的旋转轴，Y轴为相机光轴方向，Z轴通过右手法则得到；
(2.2)根据式(2)计算出地面运动目标相对于两架无人机的位置向量和
其中，和分别为两架无人机从相机坐标系到当地导航坐标系的旋转矩阵，(u1,v1)和(u2,v2)分别为地面运动目标在两个图像坐标系中的坐标；如果某个吊舱无法检测到地面运动目标，则令或者相机坐标系以相机中心为原点，X轴与吊舱坐标系的X轴重合，Z轴与吊舱坐标系的Y轴重合，Y轴通过右手法则得到；图像坐标系是一个二维坐标系，原点定义在图片的左上角，X轴水平向右，Y轴竖直向下；
(2.3)根据式(3)计算由两架无人机和地面运动目标构成的观测平面的法向量n，构建双目固连坐标系：
其中，p1和p2分别为两架无人机在世界坐标系中的三维坐标，λ1和λ2分别表示两架无人机的吊舱是否能够检测到地面运动目标，等于1则表示能够检测到地面运动目标，等于0则表示不能够检测到地面运动目标，nlast表示上一时刻观测平面的法向量；双目固连坐标系是以无人机的吊舱中心为原点，X轴指向友机的吊舱中心，Z轴指向观测平面的法向量方向，Y轴方向由右手法则确定；
(2.4)根据式(4)分别计算两架无人机其无人机视线向量在观测平面上的投影向量P1和P2：
(2.5)根据式(5)和(6)分别计算两架无人机在观测平面内的期望视线角和实际视线角α1，α2：
根据式(7)计算期望的共轭角和实际的共轭角χc：
根据式(8)计算期望的辐辏角和实际的辐辏角χv：
(2.6)根据式(9)分别计算1#无人机和2#无人机其吊舱视线和观测平面的夹角β1和β2：
本发明中，步骤(3)中1#无人机和2#无人机其机载吊舱的控制量的获取方法如下：
(3.1)根据式(10)计算共轭误差Econjugate和辐辏误差Evergence：
(3.2)根据式(11)分别计算1#无人机和2#无人机在观测平面内的期望角速度和
其中，kc和kv分别表示共轭运动和辐辏运动的比例控制系数，kn表示耦合部分的比例控制系数。
(3.3)根据式(13)分别计算两架无人机垂直于观测平面的期望角速度和
其中kl表示垂直方向的比例控制系数；为了保证吊舱俯仰和偏航运动速度的一致性，kl的值应当与kc相近，一般可取kl＝kc。
(3.4)根据式(13)和(14)将期望角速度和分别转换到为1#无人机和2#无人机其机载吊舱的控制量和
其中，双目旋转坐标系是一个二维坐标系，定义在观测平面内，其X方向指向双目固连坐标系的Y轴，Y方向指向双目固连坐标系的X轴；表示从1#无人机的双目旋转坐标系到1#无人机的双目固连坐标系的转换矩阵，表示从2#无人机的双目旋转坐标系到2#无人机的双目固连坐标系的转换矩阵，表示从1#无人机的双目固连坐标系到1#无人机的吊舱基座坐标系的转换矩阵，表示从2#无人机的双目固连坐标系到2#无人机的吊舱基座坐标系的转换矩阵，表示从1#无人机的吊舱基座坐标系到1#无人机的吊舱坐标系的转换矩阵，表示从2#无人机的吊舱基座坐标系到2#无人机的吊舱坐标系的转换矩阵。以上变量的左上角标用以区分两架无人机。
其中步骤(3.2)中，考虑到吊舱转动的响应速度，一般取0.1＜kc＜0.5。由于辐辏运动和共轭运动类似，因此可令kv＝kc。
如果两架无人机之间的相对距离固定，共轭运动是主要的运动形式，也可取0.05＜kv＜kc。耦合运动是次要的运动形式，一般取0.01＜kn＜0.2。共轭运动由一个非线性函数fs进行开关控制，从而避免地面运动目标在图像中心附近时的抖振现象。非线性开关函数fs由式(15)进行计算：
其中d(·)表示两个向量之间的余弦距离，在本发明中表示期望视线向量和实际视线向量的夹角余弦。Td是一个阈值，取值范围为0＜Td＜2，控制着图像中央死区的大小。如果两个夹角余弦之和小于Td，表示实际视线向量距离期望值较远，因此允许进行共轭运动，即fs＝1；反之，表示目标在图像中心附近，因此停止共轭运动，即fs＝0。一般认为实际视线向量和期望视线向量夹角小于5°为理想状态，因此取Td＝1.99。
与现有技术相比，本发明的优点在于：
人的双目具备单点注视的特点，即双目视线始终聚焦在同一目标点上，并通过神经回路的控制自动调整辐辏和共轭的角度，从而适应目标位置的变化。当一只眼睛被遮挡，而另一只眼睛可以看到目标时，被遮挡的眼睛可以跟随另一只眼睛运动，从而始终指向目标方向。一旦遮挡消失，被遮挡的眼睛又可以迅速发现目标。其内在机理是双眼的运动控制回路相互耦合，大脑的共轭控制指令和辐辏控制指令同时施加到双眼上，使得双眼以联动的方式协同跟踪目标。
本发明正是模仿人眼双目联动的方式来控制分别搭载于两架无人机上的吊舱。两架无人机位于空中不同位置，通过视角的互补减小目标遮挡的概率，并通过机间通信共享无人机状态信息和目标检测结果。每一个吊舱同时利用自身状态信息和另一个吊舱的状态信息进行运动控制，从而在目标存在偶发性遮挡的情况下，始终指向目标方向，进而使整个系统保持对目标的稳定跟踪。
本发明采用仿生双目联动的神经机理来控制分别搭载于两架无人机的吊舱，充分发挥了多无人机的空间分布优势和机间信息共享优势，可以在部分遮挡条件下实现对地面运动目标更稳定的跟踪，从而大大提高了地面运动目标跟踪系统的实用性。此外，现有多无人机系统往往在任务层进行协同，本发明的联动控制实现了多无人机系统在控制层的联动，为提高无人机之间的协同能力提供了一种新的有效途径。
附图说明
图1是本发明的一个实施例的系统构成图。
图2是本发明的一个实施例的系统控制框图。
图3是本发明相关坐标系的关系图。
图4是本发明部分坐标系的示意图。
图5是本发明的仿生联动控制模型。
图6是在具体应用实例中目标在两架无人机像平面中的运动轨迹图。
具体实施方式
以下将结合具体实施例对本发明做进一步详细说明。
参照图1，本实施例中基于仿生双目联动的地面运动目标自主跟踪系统包,含两架固定翼或旋翼无人机1。在两架无人机其机体的下方分别安装有PTU吊舱2。两架无人机其机体内部安装无人机飞控系统3。1#无人机和2#无人机的无人机飞控系统均包括通信模块、吊舱控制模块以及仿生联动控制模块。两架无人机之间以及各无人机和地面站5之间通过通信模块4进行数据传输。地面站可实时监控两架无人机的状态并发送控制指令给两架无人机。
1#无人机和2#无人机分别对同一地面运动目标进行跟踪，通过各自的机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息。1#无人机和2#无人机通过通信模块共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息；两架无人机的当前状态信息以及两架无人机各自当前所检测到的地面运动目标在图像中的位置信息分别输入到两架无人机的仿生联动控制模块；由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。
本实施例中的无人机飞控系统的硬件包括机载计算机，机载计算机采用TX2，无人机飞控系统的软件部分包括飞控单元，飞控单元采用Pixhawk。
本实施例中的吊舱采用微型两轴吊舱，内置RGB相机。
本实施例中的通信模块采用P900数传电台。
系统控制框图参见图2。通过两无人机其PTU吊舱中的相机获取地面运动目标的图像，对两架无人机获取的地面运动目标的图像进行目标检测，获取地面运动目标的图像坐标。然后经过坐标转换得到在双目旋转坐标系下的误差表达，最后基于联动控制计算两无人机其机载吊舱的控制量。坐标转换除了需要地面运动目标的图像坐标，还需要自身的位姿信息以及友机的状态信息。
本发明提供的基于仿生双目联动的地面运动目标自主跟踪方法，步骤如下：
(1)1#无人机和2#无人机各自机载吊舱中的机载相机的视线聚焦在同一地面运动目标上，完成视线交汇；1#无人机和2#无人机对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息(即坐标)。
图像坐标的获取可以采用手动标注的方式获取，即采用手动标注的方式确定地面运动目标在两个吊舱相机中的图像坐标。为了准确获取地面运动目标在两个吊舱中的图像坐标，本实施例使用yolo v3神经网络进行目标检测。yolo v3神经网络需要对网络模型进行有监督的训练。首先获取一些由吊舱相机拍摄的包含地面运行目标的图像集，图像集应尽可能丰富并贴合实际应用场景，以保证检测的精度。然后采用手动标注的方式为每张图像添加标签，将图像集以及对应的标签集输入神经网络进行训练，得到训练好的网络模型。将新得到待进行目标检测的吊舱图像输入该神经网络，即可得到地面运动目标的边界框，进而得到地面运动目标在吊舱图像中的图像坐标。
由于本系统采用仿生双目联动模型，要求两架无人机其吊舱相机的视线聚焦在同一地面运动目标上。因此首先需要完成视线交汇。令L1和L2分别为两架无人机的三维视线向量，D为从1#无人机指向1#无人机的三维向量。视线交汇的判断条件为两架无人机其吊舱相机的视线共面，即由L1，L2和D三个向量构成的行列式近似0：
并且两个视线的焦点位于视线的正半轴：
L1·L2＞0 (17)
其中，δ是根据系统误差选定的一个接近于0的阈值，一般取0＜δ＜0.1。
目标检测过程存在漏检和误检的情况。为此，根据目标位置变化的连续性建立观测模型，通过卡尔曼滤波对检测结果进行处理，得到连续平滑的检测结果。
(2)根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角。
由于本发明涉及坐标系的旋转平移，首先将相关坐标系定义如下，参见图3，图4：
a)当地导航坐标系。定义当地导航坐标系原点在无人机的起飞点，三个轴的方向与地球的北向、东向和指向地心方向相同，即NED坐标系。
b)无人机导航坐标系。无人机导航坐标系原点在飞机的重心，三个轴的方向与当地导航坐标系的三个坐标轴平行。无人机导航坐标系与当地导航坐标系之间是位置平移关系。
c)无人机机体坐标系通过无人机导航坐标系沿滚转角，俯仰角，偏航角的顺序旋转得到。
d)定义吊舱基座坐标系的原点为吊舱的旋转中心。吊舱基座坐标系的X轴指向无人机右侧，Y轴指向无人机前侧，Z轴指向无人机上方。吊舱基座坐标系和无人机的机体坐标系之间有一个旋转和平移关系。
e)定义吊舱坐标系的原点为吊舱的旋转中心。X轴为吊舱俯仰运动的旋转轴，Y轴为相机光轴方向，Z轴通过右手法则得到。吊舱坐标系在吊舱基座坐标系的基础上通过旋转吊舱的偏航角和俯仰角得到。
f)相机坐标系以相机中心为原点，X轴与吊舱坐标系的X轴重合，Z轴与吊舱坐标系的Y轴重合，Y轴通过右手法则得到。忽略相机中心和吊舱旋转中心的安装误差，相机坐标系通过吊舱坐标系绕X轴旋转90°得到。
g)图像坐标系是一个二维坐标系，原点定义在图片的左上角，X轴水平向右，Y轴竖直向下。地面运动目标的图像坐标表示在图像坐标系中。
h)双目固连坐标系以无人机的吊舱中心为原点，X轴指向友机的吊舱中心，Z轴指向观测平面的法向量方向，Y轴方向由右手法则确定。
i)双目旋转坐标系是一个二维坐标系，定义在观测平面内。X方向指向双目固连坐标系的Y轴，Y方向指向双目固连坐标系的X轴。
除了当地导航坐标系是唯一的，其他的坐标系都是分别定义在两架无人机上。
由于仿生双目联动的模型基于双目坐标系进行计算，而无人机观测得到的目标信息在图像坐标系下进行表示，因此需要将观测信息转换到双目坐标系下进行表示。在坐标转换的过程中，需要根据吊舱是否能够检测到目标进行切换控制。如果两个吊舱都能检测到目标，则融合两个吊舱的检测结果；如果只有一个吊舱能检测到目标，则只使用该吊舱的检测结果；如果两个吊舱都检测不到目标，则采用上一时刻的检测结果。
综上所述，步骤(2)的具体流程为：
(2.1)根据式(1)计算出两架无人机在当地导航坐标系下的视线向量L1和L2：
其中，和分别为两架无人机从吊舱坐标系到当地导航坐标系的旋转矩阵；
(2.2)根据式(2)计算出地面运动目标相对于两架无人机的位置向量和
其中，和分别为两架无人机从相机坐标系到当地导航坐标系的旋转矩阵，(u1,v1)和(u2,v2)分别为地面运动目标在两个图像坐标系中的坐标；如果某个吊舱无法检测到地面运动目标，则令或者
(2.3)根据式(3)计算由两架无人机和地面运动目标构成的观测平面的法向量n，构建双目固连坐标系：
其中，p1和p2分别为两架无人机在世界坐标系中的三维坐标，λ1和λ2分别表示两架无人机的吊舱是否能够检测到地面运动目标，等于1则表示能够检测到地面运动目标，等于0则表示不能够检测到地面运动目标，nlast表示上一时刻观测平面的法向量；
(2.4)根据式(4)分别计算两架无人机其无人机视线向量在观测平面上的投影向量P1和P2：
(2.5)根据式(5)和(6)分别计算两架无人机在观测平面内的期望视线角和实际视线角α1，α2：
根据式(7)计算期望的共轭角和实际的共轭角χc：
根据式(8)计算期望的辐辏角和实际的辐辏角χv：
(2.6)根据式(9)分别计算1#无人机和2#无人机其吊舱视线和观测平面的夹角β1和β2：
(3)根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量。
吊舱视线的期望角速度由仿生双目联动模型计算得到。双目联动的基本运动形式符合Hering原则，即认为两只眼睛是一个整体，每只眼睛同时接受共轭运动指令和辐辏运动指令。共轭运动是指两只眼睛向相同的方向转动相同的角度，辐辏运动是指两只眼睛向相反的方向转动相同的角度。目前描述双目联动广为接受的一个模型是Zee等人提出的saccade-related vergence burstneurons(SVBNs)模型，本发明在此基础上针对无人机跟踪地面目标的应用场景进行设计，得到了仿生联动控制模型，参见图5。这个模型用来描述二维观测平面内的联动行为，垂直于观测平面的联动行为由共面约束保证。其中和χc分别是期望的和实际的共轭角，和χv分别是期望的和实际的共轭角。根据几何关系，共轭误差Econjugate和辐辏误差Evergence可以由式(10)计算得到。fs为非线性开关函数，它的原始效果是使双眼在不同的目标点之间迅速切换，而在凝视目标时保持稳定。由于目标在图像中心附近时易出现抖振现象，因此我们设置了一个死区，当目标点在死区范围内时吊舱的控制量为0。fs即根据目标是否在死区范围内输出开关量。死区的大小根据跟踪效果调节得到。
经过仿生双目联动控制模型计算得到的期望角速度表达在双目坐标系下，需要经过坐标变化到吊舱基座坐标系和吊舱坐标系下表示，得到吊舱的最终控制量。
通过上述分析可知，步骤(3)的具体步骤为：
(3.1)根据式(10)计算共轭误差Econjugate和辐辏误差Evergence：
(3.2)根据式(11)分别计算1#无人机和2#无人机在观测平面内的期望角速度和
其中，kc和kv分别表示共轭运动和辐辏运动的比例控制系数，kn表示耦合部分的比例控制系数。
(3.3)根据式(13)分别计算两架无人机垂直于观测平面的期望角速度和
其中kl表示垂直方向的比例控制系数；为了保证吊舱俯仰和偏航运动速度的一致性，取kl＝kc；
(3.4)根据式(13)和(14)将期望角速度和分别转换到为1#无人机和2#无人机其机载吊舱的控制量和
其中，双目旋转坐标系是一个二维坐标系，定义在观测平面内，其X方向指向双目固连坐标系的Y轴，Y方向指向双目固连坐标系的X轴；表示从1#无人机的双目旋转坐标系到1#无人机的双目固连坐标系的转换矩阵，表示从2#无人机的双目旋转坐标系到2#无人机的双目固连坐标系的转换矩阵，表示从1#无人机的双目固连坐标系到1#无人机的吊舱基座坐标系的转换矩阵，表示从2#无人机的双目固连坐标系到2#无人机的吊舱基座坐标系的转换矩阵，表示从1#无人机的吊舱基座坐标系到1#无人机的吊舱坐标系的转换矩阵，表示从2#无人机的吊舱基座坐标系到2#无人机的吊舱坐标系的转换矩阵。
步骤(3.2)中，考虑到吊舱转动的响应速度，一般取0.1＜kc＜0.5。由于辐辏运动和共轭运动类似，因此可令kv＝kc。
另一方面，步骤(3.2)中，如果两架无人机之间的相对距离固定，共轭运动是主要的运动形式，也可取0.05＜kv＜kc。耦合运动是次要的运动形式，一般取0.01＜kn＜0.2。共轭运动由一个非线性函数fs进行开关控制，从而避免地面运动目标在图像中心附近时的抖振现象。非线性开关函数fs由式(15)进行计算：
其中d(·)表示两个向量之间的余弦距离，在本发明中表示期望视线向量和实际视线向量的夹角余弦。Td是一个阈值，取值范围为0＜Td＜2，控制着图像中央死区的大小。如果两个夹角余弦之和小于Td，表示实际视线向量距离期望值较远，因此允许进行共轭运动，即fs＝1；反之，表示目标在图像中心附近，因此停止共轭运动，即fs＝0。一般认为实际视线向量和期望视线向量夹角小于5°为理想状态，因此取Td＝1.99。
以一个具体应用实例进行说明。以目标车辆作为地面运动目标，当目标车辆绕一个七层建筑物行驶时，两架无人机相距100米成180度悬停在建筑物两侧，飞行高度为100米。因此，由于建筑物的遮挡，部分时间内只有一架无人机可以观测到地面车辆。首先，两架无人机分别对进行目标检测，根据检测结果构建双目固连坐标系，将跟踪误差表达在双目固连坐标系下。然后基于仿生联动控制模型计算期望的视线角速度，并转到吊舱坐标系下，表示为吊舱两个自由度的期望控制量，输出到吊舱。实验结果参见图6，可见在包含局部遮挡的情况下，无人机始终能保持目标在吊舱的视野范围内。
综上所述，本发明基于仿生双目联动模型，设计了包含两架无人机的地面运动目标跟踪系统。两架无人机通过机间通信共享状态信息，并以联动的方式控制吊舱的转动。该系统对于偶发性的目标遮挡具有一定的鲁棒性，从而对保证无人机系统持续稳定跟踪地面运动目标具有重要意义和实用价值。本发明的方法要求视场中的目标为单一目标。如果有多个同类目标出现，需要以人机交互的方式选择一个目标进行跟踪。
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：包括1#无人机和2#无人机；
1#无人机和2#无人机分别对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；
1#无人机和2#无人机通过各自的通讯模块彼此进行通讯共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息；两架无人机的当前状态信息以及两架无人机各自当前所检测到的地面运动目标在图像中的位置信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。
2.根据权利要求1所述的基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：无人机的状态信息包括无人机的GPS位置信息、无人机的姿态角信息以及机载吊舱的旋转角度信息。
3.根据权利要求1所述的基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：还包括地面站，地面站负责对整个系统状态进行监控，确定当前跟踪的地面运动目标，控制两架无人机启动/结束对地面运动目标的跟踪，实现人机交互；地面站接收的信息包括两架无人机的状态信息、两架无人机上机载相机获取的地面运动目标的原始图像以及检测到的地面运动目标在图像中的位置信息、两架无人机对地面运动目标的跟踪状态。
4.根据权利要求1所述的基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：仿生联动控制模块将两架无人机的机载吊舱的协同运动表示为共轭和辐辏两种运动模式，根据地面运动目标的方位自动调整共轭角和辐辏角，实现两架无人机的联动跟踪。
5.基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，包括以下步骤：
(1)1#无人机和2#无人机各自机载吊舱中的机载相机的视线聚焦在同一地面运动目标上，完成视线交汇；1#无人机和2#无人机对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；
(2)根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角；
(3)根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量，并将得到的1#无人机和2#无人机其机载吊舱的控制量分别输出给1#无人机和2#无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。
6.根据权利要求5所述的基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，步骤(2)的实现方法如下：
(2.1)根据式(1)计算出两架无人机在当地导航坐标系下的视线向量L1和L2：
其中，和分别为两架无人机从吊舱坐标系到当地导航坐标系的旋转矩阵；当地导航坐标系原点在无人机的起飞点，其三个轴的方向分别与地球的北向、东向和指向地心方向相同；吊舱坐标系的原点为机载吊舱的旋转中心，其X轴为吊舱俯仰运动的旋转轴，Y轴为相机光轴方向，Z轴通过右手法则得到；
(2.2)根据式(2)计算出地面运动目标相对于两架无人机的位置向量和
其中，和分别为两架无人机从相机坐标系到当地导航坐标系的旋转矩阵，(u1,v1)和(u2,v2)分别为地面运动目标在两个图像坐标系中的坐标；如果某个吊舱无法检测到地面运动目标，则令或者；相机坐标系以相机中心为原点，X轴与吊舱坐标系的X轴重合，Z轴与吊舱坐标系的Y轴重合，Y轴通过右手法则得到；图像坐标系是一个二维坐标系，原点定义在图片的左上角，X轴水平向右，Y轴竖直向下；
(2.3)根据式(3)计算由两架无人机和地面运动目标构成的观测平面的法向量n，构建双目固连坐标系：
其中，p1和p2分别为两架无人机在世界坐标系中的三维坐标，λ1和λ2分别表示两架无人机的吊舱是否能够检测到地面运动目标，等于1则表示能够检测到地面运动目标，等于0则表示不能够检测到地面运动目标，nlast表示上一时刻观测平面的法向量；双目固连坐标系是以无人机的吊舱中心为原点，X轴指向友机的吊舱中心，Z轴指向观测平面的法向量方向，Y轴方向由右手法则确定；
(2.4)根据式(4)分别计算两架无人机其无人机视线向量在观测平面上的投影向量P1和P2：
(2.5)根据式(5)和(6)分别计算两架无人机在观测平面内的期望视线角和实际视线角α1，α2：
根据式(7)计算期望的共轭角和实际的共轭角χc：
根据式(8)计算期望的辐辏角和实际的辐辏角χv：
(2.6)根据式(9)分别计算1#无人机和2#无人机其吊舱视线和观测平面的夹角β1和β2：
7.根据权利要求6所述的基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，步骤(3)中1#无人机和2#无人机其机载吊舱的控制量的获取方法如下：
(3.1)根据式(10)计算共轭误差Econjugate和辐辏误差Evergence：
(3.2)根据式(11)分别计算1#无人机和2#无人机在观测平面内的期望角速度和
其中，kc和kv分别表示共轭运动和辐辏运动的比例控制系数，kn表示耦合部分的比例控制系数；
(3.3)根据式(13)分别计算两架无人机垂直于观测平面的期望角速度和
其中kl表示垂直方向的比例控制系数；为了保证吊舱俯仰和偏航运动速度的一致性，取kl＝kc；
(3.4)根据式(13)和(14)将期望角速度和分别转换到为1#无人机和2#无人机其机载吊舱的控制量和
其中，双目旋转坐标系是一个二维坐标系，定义在观测平面内，其X方向指向双目固连坐标系的Y轴，Y方向指向双目固连坐标系的X轴；表示从1#无人机的双目旋转坐标系到1#无人机的双目固连坐标系的转换矩阵，表示从2#无人机的双目旋转坐标系到2#无人机的双目固连坐标系的转换矩阵，表示从1#无人机的双目固连坐标系到1#无人机的吊舱基座坐标系的转换矩阵，表示从2#无人机的双目固连坐标系到2#无人机的吊舱基座坐标系的转换矩阵，表示从1#无人机的吊舱基座坐标系到1#无人机的吊舱坐标系的转换矩阵，表示从2#无人机的吊舱基座坐标系到2#无人机的吊舱坐标系的转换矩阵。
8.根据权利要求7所述的基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，步骤(3.2)中，考虑到吊舱转动的响应速度，取0.1＜kc＜0.5。
9.根据权利要求8所述的基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，步骤(3.2)中，kv＝kc。
10.根据权利要求7所述的基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，如果两架无人机之间的相对距离固定，共轭运动是主要的运动形式，则取0.05＜kv＜kc；耦合运动是次要的运动形式，取0.01＜kn＜0.2；共轭运动由一个非线性函数fs进行开关控制，从而避免地面运动目标在图像中心附近时的抖振现象；非线性开关函数fs由式(15)进行计算：
其中d(·)表示两个向量之间的夹角余弦，表示1#无人机的期望视线向量和实际视线向量的夹角余弦，表示2#无人机的期望视线向量和实际视线向量的夹角余弦；Td是一个阈值，取值范围为0＜Td＜2，控制着图像中央死区的大小；如果两个夹角余弦之和小于Td，表示实际视线向量距离期望值较远，因此允许进行共轭运动，即fs＝1；反之，表示目标在图像中心附近，因此停止共轭运动，即fs＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910643749.0A CN110347186B (zh) | 2019-07-17 | 2019-07-17 | 基于仿生双目联动的地面运动目标自主跟踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910643749.0A CN110347186B (zh) | 2019-07-17 | 2019-07-17 | 基于仿生双目联动的地面运动目标自主跟踪系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110347186A true CN110347186A (zh) | 2019-10-18 |
| CN110347186B CN110347186B (zh) | 2022-04-05 |
Family
ID=68175757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910643749.0A Active CN110347186B (zh) | 2019-07-17 | 2019-07-17 | 基于仿生双目联动的地面运动目标自主跟踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110347186B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111551177A (zh) * | 2020-04-16 | 2020-08-18 | 上海航天控制技术研究所 | 一种基于无人机平台的外场协同探测试验方法 |
| CN111816023A (zh) * | 2020-07-27 | 2020-10-23 | 中国工程物理研究院总体工程研究所 | 一种新型四轴载人离心机的运动学方法 |
| CN112418296A (zh) * | 2020-11-18 | 2021-02-26 | 中国科学院上海微系统与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
| CN113296546A (zh) * | 2021-04-22 | 2021-08-24 | 杭州晟冠科技有限公司 | 一种轮船联动跟踪定位误差的补偿方法 |
| CN113449566A (zh) * | 2020-03-27 | 2021-09-28 | 北京机械设备研究所 | 人在回路的“低慢小”目标智能图像跟踪方法及系统 |
| CN113721642A (zh) * | 2021-02-25 | 2021-11-30 | 北京理工大学 | 探测跟踪处置一体化的无人机反制控制方法 |
| WO2022021027A1 (zh) * | 2020-07-27 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、装置、无人机、系统及可读存储介质 |
| CN114296479A (zh) * | 2021-12-30 | 2022-04-08 | 哈尔滨工业大学 | 一种基于图像的无人机对地面车辆跟踪方法及系统 |
| CN117055599A (zh) * | 2023-08-31 | 2023-11-14 | 北京航翊科技有限公司 | 无人机飞行控制方法、装置、电子设备及存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040263924A1 (en) * | 2003-04-18 | 2004-12-30 | California Institute Of Technology | Holographic memory using beam steering |
| US20080118104A1 (en) * | 2006-11-22 | 2008-05-22 | Honeywell International Inc. | High fidelity target identification and acquisition through image stabilization and image size regulation |
| US20090194702A1 (en) * | 2003-08-06 | 2009-08-06 | U.S. Government As Represented By The Secretary Of The Army | Method and system for quantum and quantum inspired ghost imaging |
| CN105184776A (zh) * | 2015-08-17 | 2015-12-23 | 中国测绘科学研究院 | 目标跟踪方法 |
| CN106356757A (zh) * | 2016-08-11 | 2017-01-25 | 河海大学常州校区 | 一种基于人眼视觉特性的电力线路无人机巡检方法 |
| CN106530239A (zh) * | 2016-09-24 | 2017-03-22 | 上海大学 | 基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法 |
| CN106886748A (zh) * | 2016-12-28 | 2017-06-23 | 中国航天电子技术研究院 | 一种基于tld的适用于无人机的变尺度目标跟踪方法 |
| WO2018086050A1 (zh) * | 2016-11-11 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 深度图生成方法和基于该方法的无人机 |
| US20180143636A1 (en) * | 2016-10-28 | 2018-05-24 | Parrot Drones | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle |
| WO2018127452A1 (en) * | 2017-01-05 | 2018-07-12 | Novelty Aps | Surveillance method, drone, mobile device, surveillance system, data carrier |
| CN108563235A (zh) * | 2018-05-24 | 2018-09-21 | 南方科技大学 | 一种多旋翼无人机、抓取目标物体的方法、装置及设备 |
| US20180300895A1 (en) * | 2017-04-14 | 2018-10-18 | Thales | Target tracking method performed by a drone, related computer program, electronic system and drone |
| CN108733066A (zh) * | 2018-05-07 | 2018-11-02 | 中国人民解放军国防科技大学 | 一种基于吊舱姿态反馈的目标跟踪控制方法 |
| CN108873031A (zh) * | 2018-05-07 | 2018-11-23 | 中国人民解放军国防科技大学 | 一种2自由度吊舱的外参标定优化方法 |
| CN109191504A (zh) * | 2018-08-01 | 2019-01-11 | 南京航空航天大学 | 一种无人机目标跟踪方法 |
| CN109269352A (zh) * | 2018-09-20 | 2019-01-25 | 北京机械设备研究所 | 一种基于地面探测的无人机跟踪目标方法及系统 |
| US20190051193A1 (en) * | 2017-11-30 | 2019-02-14 | Intel Corporation | Vision-based cooperative collision avoidance |
-
2019
- 2019-07-17 CN CN201910643749.0A patent/CN110347186B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040263924A1 (en) * | 2003-04-18 | 2004-12-30 | California Institute Of Technology | Holographic memory using beam steering |
| US20090194702A1 (en) * | 2003-08-06 | 2009-08-06 | U.S. Government As Represented By The Secretary Of The Army | Method and system for quantum and quantum inspired ghost imaging |
| US20080118104A1 (en) * | 2006-11-22 | 2008-05-22 | Honeywell International Inc. | High fidelity target identification and acquisition through image stabilization and image size regulation |
| CN105184776A (zh) * | 2015-08-17 | 2015-12-23 | 中国测绘科学研究院 | 目标跟踪方法 |
| CN106356757A (zh) * | 2016-08-11 | 2017-01-25 | 河海大学常州校区 | 一种基于人眼视觉特性的电力线路无人机巡检方法 |
| CN106530239A (zh) * | 2016-09-24 | 2017-03-22 | 上海大学 | 基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法 |
| US20180143636A1 (en) * | 2016-10-28 | 2018-05-24 | Parrot Drones | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle |
| WO2018086050A1 (zh) * | 2016-11-11 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 深度图生成方法和基于该方法的无人机 |
| CN106886748A (zh) * | 2016-12-28 | 2017-06-23 | 中国航天电子技术研究院 | 一种基于tld的适用于无人机的变尺度目标跟踪方法 |
| WO2018127452A1 (en) * | 2017-01-05 | 2018-07-12 | Novelty Aps | Surveillance method, drone, mobile device, surveillance system, data carrier |
| US20180300895A1 (en) * | 2017-04-14 | 2018-10-18 | Thales | Target tracking method performed by a drone, related computer program, electronic system and drone |
| US20190051193A1 (en) * | 2017-11-30 | 2019-02-14 | Intel Corporation | Vision-based cooperative collision avoidance |
| CN108733066A (zh) * | 2018-05-07 | 2018-11-02 | 中国人民解放军国防科技大学 | 一种基于吊舱姿态反馈的目标跟踪控制方法 |
| CN108873031A (zh) * | 2018-05-07 | 2018-11-23 | 中国人民解放军国防科技大学 | 一种2自由度吊舱的外参标定优化方法 |
| CN108563235A (zh) * | 2018-05-24 | 2018-09-21 | 南方科技大学 | 一种多旋翼无人机、抓取目标物体的方法、装置及设备 |
| CN109191504A (zh) * | 2018-08-01 | 2019-01-11 | 南京航空航天大学 | 一种无人机目标跟踪方法 |
| CN109269352A (zh) * | 2018-09-20 | 2019-01-25 | 北京机械设备研究所 | 一种基于地面探测的无人机跟踪目标方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| NIKOLAOS STEFAS 等: "《Vision-Based UAV Navigation in Orchards》", 《SCIENCEDIRECT》 * |
| YUAN CHANG 等: "《Cross-Drone Binocular Coordination for Ground Moving Target Tracking in Occlusion-Rich Scenarios》", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 * |
| YUAN CHANG 等: "《Multi-UAV Binocular Intersection With One-Shot Communication: Modeling and Algorithms》", 《IEEE》 * |
| 符小卫 等: "《一种双无人机协同跟踪地面移动目标方法》", 《计算机应用研究》 * |
| 索文凯 等: "《基于光学视觉辅助无人机自主降落研究综述》", 《激光杂志》 * |
| 高擎峰: "《多无人机被动目标定位与跟踪技术研究》", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449566B (zh) * | 2020-03-27 | 2024-05-07 | 北京机械设备研究所 | 人在回路的“低慢小”目标智能图像跟踪方法及系统 |
| CN113449566A (zh) * | 2020-03-27 | 2021-09-28 | 北京机械设备研究所 | 人在回路的“低慢小”目标智能图像跟踪方法及系统 |
| CN111551177A (zh) * | 2020-04-16 | 2020-08-18 | 上海航天控制技术研究所 | 一种基于无人机平台的外场协同探测试验方法 |
| CN111816023A (zh) * | 2020-07-27 | 2020-10-23 | 中国工程物理研究院总体工程研究所 | 一种新型四轴载人离心机的运动学方法 |
| WO2022021027A1 (zh) * | 2020-07-27 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、装置、无人机、系统及可读存储介质 |
| CN112418296A (zh) * | 2020-11-18 | 2021-02-26 | 中国科学院上海微系统与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
| CN112418296B (zh) * | 2020-11-18 | 2024-04-02 | 中国科学院上海微系统与信息技术研究所 | 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法 |
| CN113721642B (zh) * | 2021-02-25 | 2023-12-19 | 北京理工大学 | 探测跟踪处置一体化的无人机反制控制方法 |
| CN113721642A (zh) * | 2021-02-25 | 2021-11-30 | 北京理工大学 | 探测跟踪处置一体化的无人机反制控制方法 |
| CN113296546A (zh) * | 2021-04-22 | 2021-08-24 | 杭州晟冠科技有限公司 | 一种轮船联动跟踪定位误差的补偿方法 |
| CN114296479A (zh) * | 2021-12-30 | 2022-04-08 | 哈尔滨工业大学 | 一种基于图像的无人机对地面车辆跟踪方法及系统 |
| CN117055599A (zh) * | 2023-08-31 | 2023-11-14 | 北京航翊科技有限公司 | 无人机飞行控制方法、装置、电子设备及存储介质 |
| CN117055599B (zh) * | 2023-08-31 | 2024-05-14 | 北京航翊科技有限公司 | 无人机飞行控制方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110347186B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347186B (zh) | 基于仿生双目联动的地面运动目标自主跟踪系统 | |
| US20220124303A1 (en) | Methods and systems for selective sensor fusion | |
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| Grabe et al. | On-board velocity estimation and closed-loop control of a quadrotor UAV based on optical flow | |
| CN108983816B (zh) | 多旋翼无人机变尺度协同监视编队飞行控制方法 | |
| CN105022401B (zh) | 基于视觉的多四旋翼无人机协同slam方法 | |
| Mademlis et al. | Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner] | |
| CN103365297B (zh) | 基于光流的四旋翼无人机飞行控制方法 | |
| CN105759833A (zh) | 一种沉浸式无人机驾驶飞行系统 | |
| CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
| CN111474953B (zh) | 多动态视角协同的空中目标识别方法及系统 | |
| Li et al. | UAV autonomous landing technology based on AprilTags vision positioning algorithm | |
| CN105182992A (zh) | 无人机的控制方法、装置 | |
| CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| CN115291536B (zh) | 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法 | |
| Okura et al. | Augmented telepresence using autopilot airship and omni-directional camera | |
| Moore et al. | UAV altitude and attitude stabilisation using a coaxial stereo vision system | |
| CN205787918U (zh) | 一种自动判断无人机运动方向的探测系统 | |
| Martínez et al. | Trinocular ground system to control UAVs | |
| WO2021238743A1 (zh) | 一种无人机飞行控制方法、装置及无人机 | |
| US20220075370A1 (en) | Systems, methods and programs for continuously directing an unmanned vehicle to an environment agnostic destination marked by a user | |
| CN114897935B (zh) | 基于虚拟相机的无人机对空中目标物的追踪方法及系统 | |
| Ross et al. | Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle | |
| CN108052114A (zh) | 一种无人机的图像采集及跟踪控制系统 | |
| CN111580554B (zh) | 基于逐帧识别生成原始点云的室内无人机编队飞行方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |