CN103149939B - 一种基于视觉的无人机动态目标跟踪与定位方法 - Google Patents
一种基于视觉的无人机动态目标跟踪与定位方法 Download PDFInfo
- Publication number
- CN103149939B CN103149939B CN201310059457.5A CN201310059457A CN103149939B CN 103149939 B CN103149939 B CN 103149939B CN 201310059457 A CN201310059457 A CN 201310059457A CN 103149939 B CN103149939 B CN 103149939B
- Authority
- CN
- China
- Prior art keywords
- mrow
- target
- image
- tracking
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004807 localization Effects 0.000 title abstract 2
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 14
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉的无人机动态目标跟踪与定位方法,属于无人机导航领域。所述方法包括视频处理,进行动态目标的检测和图像跟踪;云台伺服控制;建立影像中目标与现实环境中目标的对应关系,进一步测量摄像机与动态目标之间的距离,完成动态目标的精确定位;无人机飞控系统进行自主跟踪地面动态目标飞行。本发明不需要人的全程参与,可自行完成对运动目标的检测、图像跟踪,自动偏转光轴,使动态目标始终呈现在成像平面中央,在获取无人机高度信息的基础上依据建立的模型实时测量无人机与动态目标之间的距离,从而实现对动态目标的定位,以此作为反馈信号,形成闭环控制,引导无人机的跟踪飞行。
Description
技术领域
本发明属于无人机导航领域。具体涉及一种基于视觉的无人机动态目标跟踪与定位方法。
背景技术
无人机通常通过视觉传感器感知周围环境,地面站对下传的传感器信息处理分析获取有效信息引导无人机飞行。无人机常常携带的光电设备包括CCD光电摄像机、红外热像仪、合成孔径雷达成像等。其中CCD摄像机不仅能够获得高解析度的图像情报,而且容易与红外焦平面阵列结合形成多光谱成像系统,因此成为小型无人机首选甚至是唯一的光电视觉传感器。
无人机利用机载CCD摄像机对飞行区域进行监控,获取的航空图像经过压缩后通过卫星链路下传回地面,地面站对数据进行解压缩处理,得到原始的无人机航空图像。对下传的航空视频进行预处理,图像增强、滤波和去噪,以提高图像的清晰度,经过图像分割、特征提取等步骤后标识出目标,在后续的视频帧中图像跟踪该运动目标,计算目标相应于光轴的偏差大小及方向,并将水平与俯仰方向的偏差信号上传给无人机机载光轴伺服系统,控制光轴角度,使所跟踪的目标始终保持在成像平面中央,从而可以进行长时间的锁定该目标,引导无人机跟踪飞行。
要实现在无人机飞行过程中实时监测地面,获取感兴趣目标的方位信息,首先需要从序列航空图像中检测出运动目标。无人机机载摄像机的运动使得航空视频的背景环境也是运动的,因此变化的背景对动态目标的检测将会造成极大的干扰。运动检测主要包括帧差法、背景差分法和光流法。前两种方法虽然实现简单,但是对动态场景中的运动目标之外的变化因素都非常敏感,不能满足动态背景下的动态目标的检测需求;光流法采用了运动目标随时间变化的光流特性,该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标,但计算量很大且易受噪声、光照等干扰,因此也不适合无人机机载视频处理的需求。针对动态背景中运动目标检测,不少文献也做了相关方面的研究。基本思想是通过机载传感器或者图像处理估计出背景的运动模型,补偿背景的运动,从而将动态背景下动态目标的检测问题转化为静态背景下动态目标的检测。
检测出运动目标之后,需要在后续视频中连续跟踪该运动目标,实时获取运动目标的位置信息。运动目标跟踪算法一般分为基于区域、基于特征和基于模型的跟踪算法。在无人机航空视频的图像跟踪中,为了满足引导无人机飞行的需求,跟踪算法需要精确锁定特定目标并且算法实时性要高。MeanShift算法是一种有效且常用的跟踪算法,其本质上属于基于特征的跟踪算法。分为以下几步:首先在初始帧中建立目标特征,使用颜色直方图来描述目标区域的特征;然后在后续帧中进行目标候选区域特征提取;最后通过相似性函数判断当前帧中候选区域是否为真实目标。MeanShift算法实时性较好;采用归一化核函数直方图建模,对边缘遮挡、目标形变以及背景变化不敏感,但其仍然存在使用上的局限性,一方面,由于MeanShift采用核函数颜色直方图建模,颜色直方图是一种比较弱的对目标特征的描述,当背景和目标的颜色分布较相似的时候,算法效果欠佳,搜索目标往往收敛于背景中与目标颜色分布比较相似的物体,另一方面不能跟踪快速运动的物体。Kalman滤波是在协方差估计误差最小的意义上的最优的递归算法,即只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值,视觉的跟踪看作推理的过程。缺点在于方法的鲁棒性还有待加强,需要有较为准确的初始值,适用于规律运动的目标跟踪。
CCD摄像机中呈现的只是运动目标二维的运动信息,因此需要加入其它传感器和采用一定的算法才能实现运动目标的相对定位。通常情况下用激光测距仪测量目标相对无人机的距离得到精确的目标相对位置和相对速度。激光测距是采用脉冲激光,无法做到实时的连续测距,因此我们应当考虑实时的测距算法。
在现有的技术中,复杂背景下无人机对运动目标的跟踪与定位,通常辅助人工搜索的方法检测特定运动目标,并用跟踪算法实现运动目标在图像中的跟踪,计算脱靶量,从而控制光轴伺服系统实现光轴稳定跟踪,是一种半自主的引导方式。并且对无人机的引导,大多数情况下是角度导引,并非位置导引,因此有一定的局限性。
发明内容
本发明以无人机导引飞行为应用背景,利用无人机携带的CCD摄像机获得视觉信息,在航空视频中检测出运动目标并在图像中稳定实时跟踪,计算脱靶量,自动调整机载云台的旋转和俯仰角度使被跟踪的地面运动目标始终保持在摄像机成像平面的中心,根据单目测距模型实时测量无人机与运动目标之间的距离,确定运动目标在三维世界中的位置坐标,引导无人机跟踪飞行。本发明在基本上或完全不依赖于地面设备的辅助,依靠视觉传感器和机载惯性设备实现无人机进入目标区域后,自主检测、跟踪并为目标精确定位功能,引导无人机跟踪飞行。
本发明提供的一种基于视觉的无人机动态目标跟踪与定位方法,包括如下步骤:
第一步,视频处理,进行动态目标的检测和图像跟踪。
(1)动态目标检测:在连续两帧图像中,第一帧图像中提取特征点集,在第二帧图像中对这些特征点进行跟踪,得到第一帧图像中特征点集的对应特征点集,进一步剔除对应特征点集中属于动态目标的特征点。用剩余的有效特征点集对中的各特征点对的运动矢量估计全局的运动,得到变换矩阵,从而补偿背景的运动,将动态背景下的动态目标检测转换为静态背景下的动态目标检测,帧差补偿背景后的两帧图像,用最小类间方差阈值法自动选取阈值产生相应的二值图像,对二值图像进行滤波处理,接着用最小外接矩形描述该动态目标,实现动态目标的检测;
(2)对检测出的动态目标在后续帧中采用融合基于偏移的均值向量跟踪和卡尔曼先验预估的算法连续跟踪,首先用卡尔曼滤波预估出动态目标在当前帧图像中的位置,然后将该位置信息传递给基于偏移的均值向量跟踪算法,该算法在该位置附近搜索目标,判定搜索结果是否有效,若是有效则进一步传递给卡尔曼滤波作为观测值进行下一步的预测。
第二步,云台伺服控制,根据动态目标在成像平面中与像平面中心的偏差,实时调整云台的俯仰偏转角度,使目标保持在图像的中央。
第三步,建立影像中目标与现实环境中目标的对应关系,进一步测量摄像机与动态目标之间的距离,完成动态目标的精确定位。
第四步,无人机飞控系统进行自主跟踪地面动态目标飞行。
本发明一种基于视觉的无人机动态目标跟踪与定位方法的优点在于:
不需要人的全程参与,可自行完成对运动目标的检测、图像跟踪,自动偏转光轴,使动态目标始终呈现在成像平面中央,在获取无人机高度信息的基础上依据建立的模型实时测量无人机与动态目标之间的距离,从而实现对动态目标的定位,以此作为反馈信号,形成闭环控制,引导无人机的跟踪飞行。
附图说明
图1是本发明提供的基于视觉的无人机目标跟踪与定位实现框图;
图2动态背景下运动目标检测流程;
图3(a)没有经过背景补偿的帧差效果图,图3(b)经过背景补偿后的帧差效果图;
图4阈值化分割后检测效果;
图5形态学滤波后结果;
图6融合Kalman与MeanShift的跟踪算法改进流程;
图7无人机地面目标跟踪系统坐标系;
图8小孔成像模型;
图9单目测距模型。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
本发明一种基于视觉的无人机动态目标跟踪与定位方法,是利用机载CCD摄像机感知无人机飞行区域的周围环境,从航空视频中利用图像处理算法自主检测出运动目标并在图像中稳定实时跟踪,计算脱靶量,自动调整机载云台的旋转和俯仰角度使被跟踪的地面目标始终保持在摄像机的光轴附近,同时根据单目测距模型,实时测量无人机与运动目标之间的距离,确定运动目标在三维世界中的位置坐标,从而引导无人机跟踪飞行。
要实现对运动目标的自主检测、跟踪与定位,主要分为以下几个部分:视频处理部分,云台伺服控制部分,目标定位部分和无人机跟踪飞行部分。结合附图1和图2,本发明提供的基于视觉的无人机动态目标跟踪与定位方法具体包括如下步骤:
步骤一:视频处理,包括在图像中的运动目标检测和运动跟踪。无人机携带机载CCD摄像机在某感兴趣的运动目标活动区域内飞行,感知周围环境,获取的环境信息以航空视频的形式经过压缩后通过链路下传给地面站,地面站对解压缩后的航空视频进行图像处理,以提取出感兴趣的运动目标并连续跟踪。视频处理使得无人机依靠机载CCD摄像机不借助外界的交互,就能够自主地检测到动态背景中的动态目标并在图像中稳定跟踪。
步骤1.1在图像中的运动目标检测:
首先提取航空视频中的连续两帧图像(It-1,It),在第t-1时刻的图像It-1中运用KLT特征点检测算法提取特征点。假设It-1提取的特征点集为Ft-1。特征点集Ft-1中特征点对应着在水平和垂直方向都有较大梯度的点。接着在第t时刻的图像It中对特征点集Ft-1进行跟踪。特征点集Ft-1跟踪的过程即为求取特征点集Ft-1在图像It中对应的像素坐标点集Ft的过程,特征点集Ft-1的跟踪可以描述为:
Ft=Ft-1+di
其中,di表示特征点的偏移量。因此,特征点集的跟踪可以理解为对偏移量di的求解。di的具体求解过程用金字塔光流来求解。
利用KLT特征点检测算法选取的特征点中不可避免包含属于运动目标的特征点,如果运动目标上的特征点参与了背景运动的估计,势必会影响全局运动估计的可靠性。所以有必要在全局运动估计前去除属于运动目标的特征点,有效性判定法则如式(1)所示:
其中,fi代表特征点集Ft中第i个特征点,Vi代表第i个特征点在连续帧图像中的运动光流向量,||Vi||·Ang(Vi)分别代表该运动光流向量的模和方向,(μ||·||,σ||·||)代表KLT特征点检测算法选定特征点在连续两帧图像中所有光流向量的模的期望和方差,(μAng,σAng)代表KLT特征点检测算法选定特征点在连续两帧图像中所有光流向量的方向的期望、方差,Fin代表有效特征点,Fout代表无效特征点。
在得到相邻两幅图像(It-1,It)中对应的有效特征点集F=<Ft-1,Ft>后,利用这些特征点的像素坐标估计出两幅图像的运动变换。采用六参数仿射模型来表示It-1到It的图像变换矩阵:全局运动模型如公式(2)所示:
其中分别代表特征点集坐标的x和y值。
用随机采样一致性(RANSAC,RANdom Sample Consensus)法来拟合公式(2)中参数a,b,c,d,t1,t2,进而拟合出背景的运动模型,补偿背景,将动态背景下的运动目标检测问题转换为静态背景下的运动目标检测,运用帧差法进行运动目标检测。区别于以往的数据拟合方法,RANSAC并不是使用所有的数据集对模型进行拟合,因为线性拟合方法极易受到整体数据集中离群点的影响,从而使所拟合的模型与真实模型之间存在较大偏差。
利用得到的图像变换矩阵对第t-1时刻的图像It-1进行运动补偿,以减少运动的背景对前景运动目标检测的影响。补偿后的图像表示为:
补偿后的图像,由于在摄像机运动过程中,会有一部分图像信息在旋转和平移补偿后丢失,稳定后的视频上容易形成无定义区域(undefined area),为了保证图像大小的一致性,必须先对无定义区域补充定义,因为无定义区域一定出现在图像边缘区域,由于运动目标在这附近的几率很小,所以定义无定义区域的差分过后值为0。用下面的式子来定义差分后的图像Idiff(x,y):
经过背景补偿后的动态背景下的动态目标检测的效果与未经背景补偿的动态目标检测效果分别如图3(a)和图3(b)所示。经过背景补偿后,背景的运动对运动目标的检测的影响已经大大减少。
步骤1.2检测出运动目标之后,必须选取合适的阈值实现运动目标分割。阈值分割的目的是检测图像中与运动目标相对应的区域,用作后续的跟踪和行为分析。它利用了图像中要提取的运动目标与其背景在灰度特性上的差异,把图像视为具有不同灰度级的两类区域即目标和背景的组合,选取一个合适的阈值,以确定图像中的每一个像素点应该属于目标还是背景区域,从而产生相应的二值图像。确定合适的阈值是图像二值化的关键。本发明中采用Ostu提出的一种不依赖于物体和背景像素的概率密度分布模型的方法,最大类间方差阈值法自动选取阈值,它是在最小二乘法基础上推导得出的。算法比较简单,通过利用直方图的零阶、一阶累积矩来最大化判别函数,自动选择最佳阈值。所述的最大类间方差阈值法步骤如下:
假设一幅图像的灰度级为L,灰度值为i像素个数为ni,总的像素数为N,每一个灰度值出现的概率为Pi,则有:
选择阈值T,将图像划分为两类:C0:(0,1,2,...,T);C1:(T+1,T+2,...,L-1)。C0和C1类出现的概率分别为:
这两类像素的平均灰度值分别为:
整幅图像的平均灰度值为:
C0和C1类的方差分别为:
总方差为:
其中类内方差和类间方差分别为:
以类间方差作为衡量不同阈值导出的类别分离性能的测量准则,从直方图的左端开始,计算每个灰度值导出的类别的类间方差自动确定使得类间方差最大的阈值,当类间方差最大的时候,可以认为此时前景和背景差异最大,因此,最佳阈值为:
经过最大类间方差阈值分割的效果图如图4所示。此时二值图像中由于相邻两帧间的光照变化、背景的微变等,都会引发噪声点的出现,因此本发明中继续采用形态学滤波方法进一步处理。设A为待处理图像,B为滤波矩阵。A被B膨胀(Dilation)定义为:
用B来膨胀A得到的集合是与A至少有一个非零元素相交时的结构元素的集合。膨胀的用途之一是将二值图像中的裂缝桥接起来。使用B对A进行腐蚀(Erosion),定义为:
用B来腐蚀A得到的集合是B完全包括在A中时的参考点的集合。腐蚀的用途之一是从二值图像中消除不相关的细节,只保留连续的较大的区域。因此对帧差后的二值图像先腐蚀后膨胀凸显运动目标。接着用最小外接矩形描述该运动目标,为后续的运动目标跟踪做准备。
经过开运算处理后的二值图像如图5所示,消除了小目标,并且桥接了一些裂缝,使运动更突显出来,在这一系列阈值分割、滤波的基础上用最小外接矩形描述该运动目标。
步骤1.3从无人机航空视频中检测出运动目标之后,对该用矩形框包围描述的目标在后续帧中连续跟踪。
本发明中采用融合基于特征跟踪的偏移的均值向量(MeanShift)算法和基于先验预估的卡尔曼(Kalman)滤波方法实现对运动目标实时精确地跟踪。本发明融合了Kalman与MeanShift进行图像跟踪,用Kalman预测出目标在下一时刻最有可能出现的位置,MeanShift在以该预估位置为中心的窗口范围内搜索,以增强跟踪的快速性能,同时将搜索结果作为观测值再次传递给Kalman,以预测下一时刻的位置。鉴于MeanShift的跟踪特征颜色直方图相对较弱,遭遇相似目标或者大面积遮挡的时候,会造成误跟踪,因此引入一个判定原则,当判定MeanShift搜索值有效时再传递给Kalman作为其观测值,否则放弃使用,以增强跟踪的精准度。实验结果表明改进后的融合算法大大增加了跟踪的快速性和准确性。
在卡尔曼滤波跟踪算法中,首先建立目标跟踪的状态空间模型,以目标的位置和速度作为状态变量,其中xk,yk表示第k时刻目标的位置,表示第k时刻目标的速度。因此卡尔曼滤波器的状态方程可以定义为:
Xk=FXk-1+wk (17)
相应的观测值为目标的位置{Zk}k=1,...={xk,yk},观测方程为:
Zk=HXk+vk (18)
其中F和H分别为系统矩阵和观测矩阵,wk和vk均为零均值的正态白噪声序列。在x轴上,按照牛顿运动定理,有运动方程:
式中,t为采样时间,可以认为是帧数,通常为1。同理在y轴上有相似的方程,则具体化的状态方程和观测方程为:
利用Kalman滤波预测下一时刻运动目标的运动状态,具体实现步骤参见参考文献[1]:秦永元,张洪钺.卡尔曼滤波与组合导航原理.1998,西北工业大学出版社。
基于偏移的均值向量MeanShift跟踪是以颜色直方图核函数为特征的目标跟踪算法。首先在初始帧中建立目标特征,使用颜色直方图来描述目标区域的特征;然后在后续帧中进行目标候选区域特征提取;最后通过相似性函数判断当前帧中候选区域是否为真实目标。
MeanShift的实现步骤参见参考文献[2]:COMANICIU D,MEER P.Mean shift:Arobustapproach toward feature space analysis[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2002,24(5):603–619。
如图6所示,融合的思路为,先由Kalman滤波器预测出目标在下一时刻最有可能出现的位置,用MeanShift在以该预估位置为中心的窗口范围内搜索,这样必然会增强跟踪的快速性能,同时将搜索结果作为观测值再次传递给Kalman滤波器,以预测下一时刻的位置。考虑到MeanShift搜索算法虽然对目标的旋转和变形都有很好地处理,但是由于其颜色直方图这种比较弱的特征描述会引起误跟踪,或者是当运动目标遭遇大比例的遮挡时,MeanShift搜索算法也会失效,此时若将不精确的观测值传递给Kalman,得到的预估值必然也不准确。因此先做判定。令Kalman预测值为MeanShift搜索值为(xk,yk),判定MeanShift的搜索值是否有效,即判定值的大小。一般预测值和观测值接近,ek较小,如果ek,较大,则认为MeanShift搜索失效,继续利用以前的预测值作为观测值估算下一时刻的起始点如果判定有效,则继续使用MeanShift的结果作为观测值。ek的参考值的确定按照如下的步骤,计算初始阶段Kalman预测值与MeanShift搜索值的差值的方差(一般认为在跟踪初始阶段MeanShift能够较好地跟踪),以初始阶段的方差为标准,在后续帧的计算过程中,当该帧图像中MeanShift搜索值与Kalman预测值的误差与初始阶段误差平均数的差平方落在2倍标准方差之外时,判定MeanShift搜索无效。本发明中跟踪算法的优点在于跟踪实时并且较为精确,基本能够满足无人机导引的需求。
步骤二:云台伺服控制部分。除了在图像中跟踪目标,仍然需要实时稳定的调节云台的偏转角度,使得运动目标始终保持在摄像机光轴位置或者离视野中心较近的区域。如果没有能够及时调整,运动目标将会跑出摄像机的视野范围,导致跟踪失败。具体实施过程为计算出脱靶量,反馈给伺服控制系统,驱动平台框架旋转,跟踪目标。脱靶量是指运动目标在成像平面中的位置坐标与成像平面中心在水平方向和垂直方向上的偏差。如果云台转动的幅度过大,可能会漏掉正在跟踪的目标;如果云台转动幅度过小,会由于赶不上被跟踪目标的运动速度而导致目标的丢失。因此必须设定合理的云台转动策略,才能提高跟踪的成功率,实现对目标的平滑跟踪。云台的伺服控制由位置环和速度环两个回路组成,为了满足光轴的稳定实时跟踪特性,根据速度回路和位置回路的开环剪切频率和相位裕度分别设计水平方向、俯仰方向的速度和位置超前、滞后控制器,实时消除目标与光轴的水平和俯仰方向上的偏差。
步骤三:目标定位。在视频处理部分我们得到了运动目标在摄像机成像平面中的位置信息,为了进一步解算出运动目标在世界坐标系中的位置,有必要建立影像中目标与现实环境中目标的对应关系。
在基于视觉的无人机动态目标跟踪与定位方法中,涉及的坐标系包括:惯性坐标系OsXsYsZs(记为∑s),机体坐标系ObXbYbZb(记为∑b),摄像机坐标系OcXcYcZc(记为∑c),参见图7。根据运动目标、摄像机和无人机的相对位姿关系,运动目标的位置pt=[xt,yt,zt]T可表示为:
pt=p1+p2+p3 (22)
其中,向量p1=[x1,y1,z1]T表示无人机在惯性坐标系∑s下的位置,它和无人机的姿态角都可以由传感器(如加速度计、陀螺仪等)直接测量得到;向量p2=[x2,y2,z2]T表示无人机质心到摄像机光心的距离,它可以由下式计算得到:
其中bp2=[bx2,by2,bz2]表示摄像机在机体坐标系∑b下的位置,它可以通过标定预先得到。矩阵表示机体坐标系∑b到惯性坐标系∑s的旋转矩阵,它由无人机的姿态角(包括滚转角、俯仰角和偏航角)[φθψ]T确定,具体表达见下式:
其中c代表cos(·),s代表sin(·)。式中,向量p3=[x3,y3,z3]T表示摄像机到运动目标的距离,它满足如下关系:
其中,cp3=[cx3,cy3,cz3]T为目标在摄像机坐标系∑c下的位置,表示摄像机坐标系∑c到机体坐标系∑b的旋转矩阵,它由云台摄像机的水平旋转角α和俯仰角β确定,它们可以利用云台上的码盘信息获得。具体表达见下式:
将式(23)和式(25)代入式(22),可以得到
因此若要求取pt,则要重点求解cp3(cx3,cy3,cz3)。如图8,O(u0,v0)为像平面的中心,p(u,v)为运动目标在成像平面中的像素坐标,目标点在图像平面的成像位置可以利用针孔模型近似表示为:
式中表示摄像机的内参数矩阵:
式中 f表示摄像机的焦距,dxdy表示每一个像素在x轴与y轴方向上的物理尺寸,[u0,v0]T表示图像中心的像素值。这些值可以通过摄像机标定求得。进一步变换公式如下:
式中表示如下常数矩阵:
至此,若已知成像位置和目标在摄像机坐标系中的深度信息cz3就可以求得运动目标在摄像机坐标下的位置cp3,根据公式(8)即可解算出惯性坐标系中的位置坐标[xtytzt]T。运动目标在图像中的成像位置在视频处理部分已经得到,接下来重点求解深度信息。引入单目测距模型,如图9所示。
已知被跟踪运动目标的高度,由无线高度表获取无人机的飞行高度,由搭载摄像机的云台码盘信息得到光轴的俯仰角度,根据图9实时单目测距模型的几何关系,可以实时求解无人机到运动目标的水平距离,进而求解无人机到运动目标的直线距离。M表示被跟随运动目标,有效焦距为f的CCD摄像机安装在无人机的前下方,俯仰角度为β,距离地面的高度为h;被跟随运动目标上的被测点为P,P距地面高度为H,P与镜头中心的水平距离为d。
其中,Oo是镜头中心,O(x0,y0)是光轴与像平面的交点,作为像平面坐标系的原点;P′(x,y)是被测点P在像平面的投影。为了方便计算,通常先将运动目标与无人机的云台摄像机放置成直线,即P′点在轴上,那么有几何关系:
j=β+γ (32)
tanj=(h-H)/d (33)
tanγ=OP′/f (34)
联立上面三式,根据几何关系有:
其中,j为像点与物点的连线与水平方向的夹角,γ表示被测点P、镜头中心Oo连线与光轴间的夹角,代表运动目标在成像平面中与成像平面中心的角度偏差;无人机高度h可由无线高度表获得,H为被跟踪目标质心到地面高度大致可以估算出来,β为云台俯仰角度可以通过云台摄像机得到,OP′=ΔY,目标中心与图像中心的偏差值可在检测跟踪模块中获得。至此,运动目标与摄像机的水平距离就可以计算得到。获知水平距离d,进一步计算该运动目标在摄像机坐标系中的景深cz3:
OoP2=(h-H)2+d2 (36)
cz3=cosγOoP (38)
即可求得目标在摄像机坐标系中的坐标。回到无人机目标跟踪与定位系统中,已知了无人机在惯性坐标系的位置[x1,y1,z1]T和摄像机在机体坐标系中位置[bx1,bx2 bx3]T,就可以解算出运动目标在三维世界中的位置坐标。
步骤四:无人机飞行控制部分。在完成运动目标的精确定位后,将目标的运动状态反馈给无人机,使得无人机可以根据具有双闭环结构的无人机地面目标跟踪飞行控制系统自主地跟踪地面动态目标飞行。其中,外环为导引控制器,其任务是根据无人机和动态目标的运动状态计算出期望位姿和速度,当无人机按照该位姿和速度飞行时,不仅可以与动态目标保持预期的相对位姿,同时还可以确保无人机在相对安全的模式下跟踪目标飞行。内环为无人机飞行控制器,其任务是使无人机能够按照期望的位姿和速度稳定飞行。
Claims (5)
1.一种基于视觉的无人机动态目标跟踪与定位方法,其特征在于,包括如下步骤:
第一步,视频处理,进行动态目标的检测和图像跟踪;
(1)动态目标检测:在连续两帧图像中,第一帧图像中提取特征点集,在第二帧图像中对这些特征点进行跟踪,得到第一帧图像中特征点集的对应特征点集,进一步去除对应特征点集中属于动态目标的特征点;用剩余的有效特征点集对中的各特征点对的运动矢量估计全局的运动,得到变换矩阵,从而补偿背景的运动,将动态背景下的动态目标检测转换为静态背景下的动态目标检测,帧差补偿背景后的两帧图像,用最大类间方差阈值法自动选取阈值产生相应的二值图像,对二值图像进行滤波处理,接着用最小外接矩形描述该动态目标,实现动态目标的检测;所述的最大类间方差阈值法步骤如下:
假设一幅图像的灰度级为L,灰度值为i像素个数为ni,总的像素数为N,每一个灰度值出现的概率为Pi,则有:
选择阈值T,将图像划分为两类:C0:(0,1,2,...,T);C1:(T+1,T+2,...,L-1);C0和C1类出现的概率分别为:
这两类像素的平均灰度值分别为:
整幅图像的平均灰度值为:
C0和C1类的方差分别为:
总方差为:
其中类内方差和类间方差分别为:
以类间方差作为衡量不同阈值导出的类别分离性能的测量准则,从直方图的左端开始,计算每个灰度值导出的类别的类间方差自动确定使得类间方差最大的阈值,当类间方差最大的时候,认为此时前景和背景差异最大,因此,最佳阈值为:
(2)对检测出的动态目标在后续帧中采用融合基于偏移的均值向量跟踪和卡尔曼先验预估的算法连续跟踪,首先用卡尔曼滤波预估出动态目标在当前帧图像中的位置,然后将该位置信息传递给基于偏移的均值向量跟踪算法,该算法在该位置附近搜索目标,判定搜索结果是否有效,若是有效则进一步传递给卡尔曼滤波作为观测值进行下一步的预测;
第二步,云台伺服控制,实时调整云台的俯仰偏转角度,使目标保持在图像的中央;
第三步,建立影像中目标与现实环境中目标的对应关系,进一步测量摄像机与动态目标之间的距离,完成动态目标的精确定位,具体为:
根据运动目标、摄像机和无人机的相对位姿关系,运动目标的位置pt=[xt,yt,zt]T表示为:
pt=p1+p2+p3 (22)
其中,向量p1=[x1,y1,z1]T表示无人机在惯性坐标系Σs下的位置;向量p2=[x2,y2,z2]T表示无人机质心到摄像机光心的距离,由下式计算得到:
其中bp2=[bx2,by2,bz2]表示摄像机在机体坐标系Σb下的位置,矩阵表示机体坐标系Σb到惯性坐标系Σs的旋转矩阵,具体表达见下式:
其中c代表cos(·),s代表sin(·),其中θ为无人机的俯仰角,φ为无人机的横滚角,ψ为无人机的航向角;
向量p3=[x3,y3,z3]T表示摄像机到运动目标的距离,满足如下关系:
其中,cp3=[cx3,cy3,cz3]T为目标在摄像机坐标系Σc下的位置,表示摄像机坐标系Σc到机体坐标系Σb的旋转矩阵,具体表达见下式:
其中,α和β分别为云台摄像机的水平旋转角和俯仰角;
将式(23)和式(25)代入式(22),得到
目标点在图像平面的成像位置利用针孔模型近似表示为:
式中表示摄像机的内参数矩阵:
式中f表示摄像机的焦距,dx,dy表示每一个像素在x轴与y轴方向上的物理尺寸,[u0,v0]T表示图像中心的像素值,进一步变换公式如下:
式中表示如下常数矩阵:
cz3=cosγOoP (38)
γ表示被测点P、镜头中心Oo连线与光轴间的夹角,OoP表示摄像机镜头中心与运动目标上的被测点P之间的距离;
第四步,无人机飞控系统进行自主跟踪地面动态目标飞行。
2.根据权利要求1所述的一种基于视觉的无人机动态目标跟踪与定位方法,其特征在于,去除对应特征点集中属于动态目标的特征点,得到有效特征点集,有效性判定法则如式(1)所示:
其中,fi代表特征点集Ft中第i个特征点,Vi代表第i个特征点在连续帧图像中的运动光流向量,||Vi||·Ang(Vi)分别代表该运动光流向量的模和方向,(μ||·||,σ||·||)代表KLT特征点检测算法选定特征点在连续两帧图像中所有光流向量的模的期望和方差,(μAng·σAng)代表KLT特征点检测算法选定特征点在连续两帧图像中所有光流向量的方向的期望、方差,Fin代表有效特征点,Fout代表无效特征点。
3.根据权利要求1所述的一种基于视觉的无人机动态目标跟踪与定位方法,其特征在于,所述的变换矩阵采用六参数仿射模型来表示:
其中,为变换矩阵,分别代表图像It特征点集的x和y值坐标,参数a,b,c,d,t1,t2用随机采样一致性法来拟合得到。
4.根据权利要求1所述的一种基于视觉的无人机动态目标跟踪与定位方法,其特征在于,所述的补偿背景的运动后的图像表示为:
其中为变换矩阵,It-1为补偿背景前的图像。
5.根据权利要求4所述的一种基于视觉的无人机动态目标跟踪与定位方法,其特征在于,所述的帧差补偿背景后的两帧图像,用下面的式子来定义差分后的图像Idiff(x,y):
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310059457.5A CN103149939B (zh) | 2013-02-26 | 2013-02-26 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310059457.5A CN103149939B (zh) | 2013-02-26 | 2013-02-26 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103149939A CN103149939A (zh) | 2013-06-12 |
CN103149939B true CN103149939B (zh) | 2015-10-21 |
Family
ID=48548080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310059457.5A Active CN103149939B (zh) | 2013-02-26 | 2013-02-26 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103149939B (zh) |
Families Citing this family (192)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103365297B (zh) * | 2013-06-29 | 2016-03-09 | 天津大学 | 基于光流的四旋翼无人机飞行控制方法 |
WO2015082594A1 (en) * | 2013-12-06 | 2015-06-11 | Bae Systems Plc | Determining routes for aircraft |
CN103604427B (zh) * | 2013-12-10 | 2016-10-12 | 中国航天空气动力技术研究院 | 对地面移动目标动态定位的无人机系统和方法 |
CN103886580A (zh) * | 2013-12-23 | 2014-06-25 | 汕头大学 | 肿瘤图像处理方法 |
CN103775840B (zh) * | 2014-01-01 | 2018-05-25 | 许洪 | 一种应急照明系统 |
CN103822615B (zh) * | 2014-02-25 | 2016-01-20 | 北京航空航天大学 | 一种多控制点自动提取与聚合的无人机地面目标实时定位方法 |
CN103838258B (zh) * | 2014-02-26 | 2016-05-25 | 上海微小卫星工程中心 | 一种应用于天基空间目标的自动跟踪方法及系统 |
CN103838244B (zh) * | 2014-03-20 | 2016-08-17 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
FR3020169A1 (fr) * | 2014-04-16 | 2015-10-23 | Parrot | Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees |
CN103901895B (zh) * | 2014-04-18 | 2014-10-29 | 江苏久祥汽车电器集团有限公司 | 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人 |
BR112016024604A2 (pt) * | 2014-04-22 | 2017-08-15 | Skyrobot Inc | sistema de detecção e investigação de falha do painel solar |
CN104075710B (zh) * | 2014-04-28 | 2016-09-21 | 中国科学院光电技术研究所 | 一种基于航迹预测的机动扩展目标轴向姿态实时估计方法 |
CN104007767A (zh) * | 2014-05-14 | 2014-08-27 | 中国农业大学 | 无人机空间导航方法、无人机控制系统及控制装置 |
CN104102218B (zh) * | 2014-06-30 | 2017-04-05 | 西北工业大学 | 基于视觉伺服的感知与规避方法及系统 |
CN105518555B (zh) * | 2014-07-30 | 2017-11-03 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
CN104159031A (zh) * | 2014-08-19 | 2014-11-19 | 湖北易瓦特科技有限公司 | 针对目标对象进行定位跟踪的方法及其设备 |
CN104197928B (zh) * | 2014-08-29 | 2017-01-18 | 西北工业大学 | 多摄像机协同的无人机检测、定位及跟踪方法 |
CN104408743A (zh) * | 2014-11-05 | 2015-03-11 | 百度在线网络技术(北京)有限公司 | 图像分割方法和装置 |
CN104597912A (zh) * | 2014-12-12 | 2015-05-06 | 南京航空航天大学 | 一种六旋翼无人直升机跟踪飞行控制系统及方法 |
EP3123260B1 (en) | 2014-12-31 | 2021-04-14 | SZ DJI Technology Co., Ltd. | Selective processing of sensor data |
CN104820435A (zh) * | 2015-02-12 | 2015-08-05 | 武汉科技大学 | 基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法 |
CN104820434A (zh) * | 2015-03-24 | 2015-08-05 | 南京航空航天大学 | 一种无人机对地面运动目标的测速方法 |
CN104794435B (zh) * | 2015-04-03 | 2017-12-29 | 中国科学院自动化研究所 | 一种基于视觉的无人机对地运动目标检测方法 |
CN106155092A (zh) * | 2015-04-21 | 2016-11-23 | 高域(北京)智能科技研究院有限公司 | 一种智能多模式飞行拍摄设备及其飞行控制方法 |
CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
WO2016187760A1 (en) | 2015-05-23 | 2016-12-01 | SZ DJI Technology Co., Ltd. | Sensor fusion using inertial and image sensors |
CN107850436B (zh) * | 2015-05-23 | 2021-03-05 | 深圳市大疆创新科技有限公司 | 使用惯性传感器和图像传感器的传感器融合 |
CN105045293B (zh) * | 2015-05-27 | 2018-05-08 | 深圳一电航空技术有限公司 | 云台控制方法、外部载体控制方法及云台 |
CN104881650A (zh) * | 2015-05-29 | 2015-09-02 | 成都通甲优博科技有限责任公司 | 一种基于无人机动平台的车辆跟踪方法 |
CN104853104B (zh) * | 2015-06-01 | 2018-08-28 | 深圳市微队信息技术有限公司 | 一种自动跟踪拍摄运动目标的方法以及系统 |
CN104950906A (zh) * | 2015-06-15 | 2015-09-30 | 中国人民解放军国防科学技术大学 | 基于移动通信网络的无人机远程测控系统及方法 |
CN105182992A (zh) * | 2015-06-30 | 2015-12-23 | 深圳一电科技有限公司 | 无人机的控制方法、装置 |
CN105988474A (zh) * | 2015-07-06 | 2016-10-05 | 深圳市前海疆域智能科技股份有限公司 | 一种飞行器的偏差补偿方法和飞行器 |
JP6673371B2 (ja) | 2015-07-08 | 2020-03-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 可動物体を使用して障害物を検出する方法及びそのシステム |
CN106331471B (zh) * | 2015-07-10 | 2020-09-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种自动跟踪摄像方法、装置、移动终端和旋转支架 |
CN105203034B (zh) * | 2015-07-29 | 2018-07-17 | 四川大学 | 一种基于单目摄像头三维测距模型的测高测面积方法 |
CN105007398A (zh) * | 2015-08-07 | 2015-10-28 | 广州极飞电子科技有限公司 | 一种图像增稳方法及装置 |
EP3347789B1 (en) | 2015-09-11 | 2021-08-04 | SZ DJI Technology Co., Ltd. | Systems and methods for detecting and tracking movable objects |
CN107209854A (zh) | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
WO2017045143A1 (en) | 2015-09-16 | 2017-03-23 | SZ DJI Technology Co., Ltd. | Systems and methods for positioning of uav |
JP2018504652A (ja) * | 2015-10-09 | 2018-02-15 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 顕著特徴ベースの移動体測位 |
JP6596745B2 (ja) * | 2015-10-20 | 2019-10-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 対象物体を撮像するシステム |
EP3368957B1 (en) | 2015-10-30 | 2022-02-09 | SZ DJI Technology Co., Ltd. | Systems and methods for uav path planning and control |
CN105430261A (zh) * | 2015-11-16 | 2016-03-23 | 杨珊珊 | 无人飞行器拍摄方法及无人飞行器拍摄装置 |
CN105460217B (zh) * | 2015-12-03 | 2017-11-14 | 北京奇虎科技有限公司 | 一种基于无人飞行器的续拍方法和无人飞行器 |
CN105354857B (zh) * | 2015-12-07 | 2018-09-21 | 北京航空航天大学 | 一种有立交桥遮挡的车辆轨迹匹配方法 |
CN105353768B (zh) * | 2015-12-08 | 2017-12-26 | 清华大学 | 狭窄空间内基于随机采样的无人机轨迹规划方法 |
CN105527975A (zh) * | 2015-12-09 | 2016-04-27 | 周润华 | 一种基于无人机的目标跟踪系统 |
CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
CN105549605B (zh) * | 2015-12-16 | 2018-08-17 | 深圳市中航佳智能科技有限公司 | 一种实现无人机盯飞的方法 |
CN105549614B (zh) * | 2015-12-17 | 2018-06-05 | 北京猎鹰无人机科技有限公司 | 无人机目标跟踪方法 |
TWI557526B (zh) * | 2015-12-18 | 2016-11-11 | 林其禹 | 自拍無人飛機系統及其執行方法 |
CN105487552B (zh) * | 2016-01-07 | 2019-02-19 | 深圳一电航空技术有限公司 | 无人机跟踪拍摄的方法及装置 |
WO2017143589A1 (en) | 2016-02-26 | 2017-08-31 | SZ DJI Technology Co., Ltd. | Systems and methods for visual target tracking |
WO2017147792A1 (en) * | 2016-03-01 | 2017-09-08 | SZ DJI Technology Co., Ltd. | Methods and systems for target tracking |
CN105759839B (zh) * | 2016-03-01 | 2018-02-16 | 深圳市大疆创新科技有限公司 | 无人机视觉跟踪方法、装置以及无人机 |
CN105652891B (zh) * | 2016-03-02 | 2018-06-29 | 中山大学 | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 |
CN105786024B (zh) * | 2016-03-02 | 2018-08-24 | 北京航空航天大学 | 一种基于模型误差补偿的机载光电平台高精度跟踪控制器及其跟踪控制方法 |
CN107168378A (zh) * | 2016-03-08 | 2017-09-15 | 张立秀 | 一种自动寻找目标物的系统及方法 |
CN107284661B (zh) * | 2016-04-06 | 2020-07-17 | 成都积格科技有限公司 | 警用运动目标追踪无人机 |
CN105957109A (zh) * | 2016-04-29 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法和装置 |
CN105806307B (zh) * | 2016-05-13 | 2018-10-09 | 中国航空工业集团公司西安飞机设计研究所 | 一种载具相对目标运动的测试方法 |
CN107436679B (zh) * | 2016-05-27 | 2020-08-07 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
CN106153008B (zh) * | 2016-06-17 | 2018-04-06 | 北京理工大学 | 一种基于视觉的旋翼无人机三维目标定位方法 |
CN106092141B (zh) * | 2016-07-19 | 2019-03-01 | 纳恩博(常州)科技有限公司 | 一种改善相对位置传感器性能的方法及装置 |
JP6820066B2 (ja) * | 2016-07-29 | 2021-01-27 | Necソリューションイノベータ株式会社 | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 |
CN109716256A (zh) | 2016-08-06 | 2019-05-03 | 深圳市大疆创新科技有限公司 | 用于跟踪目标的系统和方法 |
CN106156764B (zh) * | 2016-08-25 | 2018-08-10 | 四川泰立科技股份有限公司 | 实现高速跟踪的光学跟踪系统及其控制方法 |
CN107782306B (zh) * | 2016-08-26 | 2021-03-26 | 北京臻迪机器人有限公司 | 无人机定位显示方法及装置 |
CN107783551A (zh) * | 2016-08-26 | 2018-03-09 | 北京臻迪机器人有限公司 | 控制无人机跟随的方法及装置 |
CN107783555B (zh) * | 2016-08-29 | 2021-05-14 | 杭州海康机器人技术有限公司 | 一种基于无人机的目标定位方法、装置及系统 |
CN106303453A (zh) * | 2016-08-30 | 2017-01-04 | 上海大学 | 一种基于高速球机的主动式跟踪方法 |
CN106371460A (zh) * | 2016-09-07 | 2017-02-01 | 四川天辰智创科技有限公司 | 寻找目标的方法及装置 |
CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
CN106254836A (zh) * | 2016-09-19 | 2016-12-21 | 南京航空航天大学 | 无人机红外图像目标跟踪系统及方法 |
CN106227239A (zh) * | 2016-09-22 | 2016-12-14 | 安徽机电职业技术学院 | 基于机器视觉的四旋翼飞行机器人目标锁定跟踪系统 |
CN107223219B (zh) | 2016-09-26 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 控制方法、控制设备和运载系统 |
CN106682572B (zh) * | 2016-10-12 | 2020-09-08 | 纳恩博(北京)科技有限公司 | 目标跟踪方法、系统和第一电子设备 |
CN106843278B (zh) * | 2016-11-24 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 一种飞行器跟踪方法、装置及飞行器 |
CN106354157B (zh) * | 2016-11-28 | 2019-05-14 | 中山市昌源模型有限公司 | 一种无人机自主飞行系统 |
CN106683121A (zh) * | 2016-11-29 | 2017-05-17 | 广东工业大学 | 一种融合检测过程的鲁棒目标追踪方法 |
CN108227749A (zh) * | 2016-12-14 | 2018-06-29 | 昊翔电能运动科技(昆山)有限公司 | 无人机及其追踪系统 |
CN106845364B (zh) * | 2016-12-28 | 2020-06-09 | 中国航天电子技术研究院 | 一种快速自动目标检测方法 |
CN108288281A (zh) * | 2017-01-09 | 2018-07-17 | 翔升(上海)电子技术有限公司 | 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备 |
CN110268224A (zh) * | 2017-02-10 | 2019-09-20 | 深圳市大疆创新科技有限公司 | 用于无人机实时位置跟踪的系统和方法 |
CN106774436B (zh) * | 2017-02-27 | 2023-04-25 | 南京航空航天大学 | 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法 |
CN108537726B (zh) * | 2017-03-03 | 2022-01-04 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法、设备和无人机 |
CN107128492B (zh) * | 2017-05-05 | 2019-09-20 | 成都通甲优博科技有限责任公司 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
US10133281B1 (en) * | 2017-05-05 | 2018-11-20 | Pinnacle Vista, LLC | Leading drone system |
CN107247458A (zh) * | 2017-05-24 | 2017-10-13 | 中国电子科技集团公司第二十八研究所 | 无人机视频图像目标定位系统、定位方法及云台控制方法 |
CN107357318B (zh) * | 2017-06-16 | 2019-12-17 | 中国科学院长春光学精密机械与物理研究所 | 稳定云台转动的控制方法及控制系统及稳定云台 |
CN107192377B (zh) * | 2017-06-16 | 2021-01-15 | 深圳市可飞科技有限公司 | 远程测量物体坐标的方法、装置及飞行器 |
CN107219863B (zh) * | 2017-06-16 | 2020-04-10 | 中国科学院长春光学精密机械与物理研究所 | 稳定云台转动的控制方法及控制系统及稳定云台 |
CN107203223B (zh) * | 2017-06-16 | 2020-04-10 | 中国科学院长春光学精密机械与物理研究所 | 驱动控制系统及具有该控制系统的稳定云台 |
CN107176306B (zh) * | 2017-06-16 | 2020-01-31 | 重庆大学 | 一种光轴稳定平台 |
CN107172360A (zh) * | 2017-07-06 | 2017-09-15 | 杨顺伟 | 无人机跟拍方法及装置 |
CN107352032B (zh) * | 2017-07-14 | 2024-02-27 | 广东工业大学 | 一种人流量数据的监控方法及无人机 |
CN109391762B (zh) * | 2017-08-03 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法和装置 |
CN107392173B (zh) * | 2017-08-04 | 2023-10-03 | 成都云擎科技有限公司 | 一种基于光电搜索的反无人机系统 |
CN109388151A (zh) * | 2017-08-04 | 2019-02-26 | 深圳曼塔智能科技有限公司 | 无人机目标追踪的方法、装置、系统及终端设备 |
CN109409354B (zh) * | 2017-08-18 | 2021-09-21 | 深圳市道通智能航空技术股份有限公司 | 无人机智能跟随目标确定方法、无人机和遥控器 |
CN107590450A (zh) * | 2017-09-01 | 2018-01-16 | 歌尔科技有限公司 | 一种运动目标的标记方法、装置和无人机 |
CN108426576B (zh) * | 2017-09-15 | 2021-05-28 | 辽宁科技大学 | 基于标识点视觉导航与sins的飞行器路径规划方法及系统 |
CN107577245A (zh) * | 2017-09-18 | 2018-01-12 | 深圳市道通科技股份有限公司 | 一种飞行器参数设定方法和装置及计算机可读存储介质 |
CN107833236B (zh) * | 2017-10-31 | 2020-06-26 | 中国科学院电子学研究所 | 一种动态环境下结合语义的视觉定位系统和方法 |
CN107907109B (zh) * | 2017-11-03 | 2020-06-16 | 福建工程学院 | 一种基于改进型图像处理的角度识别方法和小型无人机 |
CN108038415B (zh) * | 2017-11-06 | 2021-12-28 | 湖南华诺星空电子技术有限公司 | 一种基于机器视觉的无人机自动检测与跟踪方法 |
CN108038417A (zh) * | 2017-11-14 | 2018-05-15 | 上海歌尔泰克机器人有限公司 | 云台控制方法、装置及系统 |
CN107977021A (zh) * | 2017-11-28 | 2018-05-01 | 佛山市安尔康姆航空科技有限公司 | 一种云台舵机的控制方法 |
CN107993252A (zh) * | 2017-11-29 | 2018-05-04 | 天津聚飞创新科技有限公司 | 用户跟踪系统、方法及装置 |
CN107727079B (zh) * | 2017-11-30 | 2020-05-22 | 湖北航天飞行器研究所 | 一种微小型无人机全捷联下视相机的目标定位方法 |
CN108298101B (zh) * | 2017-12-25 | 2020-03-24 | 上海歌尔泰克机器人有限公司 | 云台旋转的控制方法及装置、无人机 |
CN108303420A (zh) * | 2017-12-30 | 2018-07-20 | 上饶市中科院云计算中心大数据研究院 | 一种基于大数据和移动互联网的家用型精子质量检测方法 |
CN108536140B (zh) * | 2018-02-26 | 2022-03-25 | 臻迪科技股份有限公司 | 一种无人船自主导航系统及方法 |
CN108319285A (zh) * | 2018-02-26 | 2018-07-24 | 厦门大学嘉庚学院 | 一种基于摄像头的四旋翼飞行器跟踪控制系统及方法 |
CN108573498B (zh) * | 2018-03-08 | 2019-04-26 | 上海申雪供应链管理有限公司 | 基于无人机的行驶车辆即时跟踪系统 |
CN108444478B (zh) * | 2018-03-13 | 2021-08-10 | 西北工业大学 | 一种用于水下航行器的移动目标视觉位姿估计方法 |
CN110297234B (zh) * | 2018-03-22 | 2023-03-14 | 西安航通测控技术有限责任公司 | 一种网络化大区域被动式对空目标交会测定方法及系统 |
CN108364304A (zh) * | 2018-04-11 | 2018-08-03 | 湖南城市学院 | 一种用于单目机载目标检测的系统和方法 |
CN109141367B (zh) * | 2018-04-16 | 2019-06-14 | 深圳市金盾智能系统工程有限公司 | 基于图像识别的井盖显示系统 |
CN110471403B (zh) * | 2018-05-09 | 2023-11-03 | 北京外号信息技术有限公司 | 通过光通信装置对能够自主移动的机器进行导引的方法 |
CN110475226A (zh) * | 2018-05-11 | 2019-11-19 | 深圳Tcl新技术有限公司 | 一种基于无人机的基站信号覆盖方法、系统及无人机 |
CN108898057B (zh) * | 2018-05-25 | 2021-08-10 | 广州杰赛科技股份有限公司 | 跟踪目标检测的方法、装置、计算机设备和存储介质 |
CN108986071B (zh) * | 2018-05-31 | 2020-12-01 | 上海扩博智能技术有限公司 | 叶片自动检测跟踪方法、系统、设备及存储介质 |
CN108932732B (zh) * | 2018-06-21 | 2021-02-26 | 浙江大华技术股份有限公司 | 一种获取监测对象数据信息的方法及装置 |
CN108803668B (zh) * | 2018-06-22 | 2021-08-24 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种静态目标监测的智能巡检无人机吊舱系统 |
CN109064498A (zh) * | 2018-08-01 | 2018-12-21 | 湖北工业大学 | 基于Meanshift、卡尔曼滤波和图像匹配的目标跟踪方法 |
CN109062235A (zh) * | 2018-08-24 | 2018-12-21 | 天津远度科技有限公司 | 飞行控制方法、装置及无人机 |
CN109163928A (zh) * | 2018-08-27 | 2019-01-08 | 河海大学常州校区 | 一种基于双目视觉的无人机智能取水系统 |
CN110770669A (zh) | 2018-08-28 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 云台的目标位置标记方法、云台与拍摄装置 |
CN109034123B (zh) * | 2018-08-29 | 2022-06-03 | 北京交通大学 | 一种基于瞬时能量的突发人群异常检测方法 |
CN109099779B (zh) * | 2018-08-31 | 2019-09-20 | 江苏域盾成鹫科技装备制造有限公司 | 一种无人机侦测与智能拦截系统 |
CN109272527A (zh) * | 2018-09-03 | 2019-01-25 | 中国人民解放军国防科技大学 | 一种三维场景中随机运动目标的跟踪控制方法及装置 |
CN109032184B (zh) * | 2018-09-05 | 2021-07-09 | 深圳市道通智能航空技术股份有限公司 | 飞行器的飞行控制方法、装置、终端设备及飞行控制系统 |
CN109358656A (zh) * | 2018-09-11 | 2019-02-19 | 西安应用光学研究所 | 一种适用于机载光电系统的目标捕获方法 |
CN109520497B (zh) * | 2018-10-19 | 2022-09-30 | 天津大学 | 基于视觉和imu的无人机自主定位方法 |
CN109368552A (zh) * | 2018-10-22 | 2019-02-22 | 广州微牌智能科技有限公司 | 托盘入叉方法、装置、系统、设备和存储介质 |
CN109636771B (zh) * | 2018-10-23 | 2021-09-03 | 中国船舶重工集团公司第七0九研究所 | 基于图像处理的飞行目标检测方法及系统 |
CN111145248B (zh) * | 2018-11-06 | 2023-06-27 | 北京地平线机器人技术研发有限公司 | 位姿信息确定方法、确定装置和电子设备 |
CN111192318B (zh) * | 2018-11-15 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 确定无人机位置和飞行方向的方法、装置及无人机 |
CN109596118B (zh) * | 2018-11-22 | 2021-02-05 | 亮风台(上海)信息科技有限公司 | 一种用于获取目标对象的空间位置信息的方法与设备 |
CN109343035B (zh) * | 2018-11-23 | 2023-07-14 | 江西洪都航空工业集团有限责任公司 | 一种红外雷达复合导引头目标选择方法 |
CN109597432B (zh) * | 2018-11-30 | 2022-03-18 | 航天时代飞鸿技术有限公司 | 一种基于车载摄像机组的无人机起降监控方法及系统 |
CN115086606A (zh) * | 2018-12-05 | 2022-09-20 | 深圳阿科伯特机器人有限公司 | 移动目标的监控方法、装置、系统、存储介质及机器人 |
CN109752023B (zh) * | 2018-12-20 | 2020-12-29 | 北京恒星箭翔科技有限公司 | 一种目标运动状态快速估计方法 |
CN109765939A (zh) * | 2018-12-21 | 2019-05-17 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 无人机的云台控制方法、装置和存储介质 |
CN109508036B (zh) * | 2018-12-24 | 2020-12-18 | 深圳市道通智能航空技术有限公司 | 一种中继点生成方法、装置和无人机 |
CN109712170B (zh) * | 2018-12-27 | 2021-09-07 | 广东省智能制造研究所 | 基于视觉惯性里程计的环境对象追踪方法和装置 |
CN111681199B (zh) * | 2019-02-25 | 2023-11-03 | 北京地平线机器人技术研发有限公司 | 检测图像有效性的方法及装置 |
CN109993935B (zh) * | 2019-03-14 | 2022-03-29 | 华南理工大学 | 一种施工机械定位及其安全区域监测的装置和方法 |
CN110068250B (zh) * | 2019-03-21 | 2021-10-26 | 南京砺剑光电技术研究院有限公司 | 轻武器射击训练智慧靶场系统 |
CN109946729B (zh) * | 2019-03-21 | 2020-12-29 | 北京环境特性研究所 | 一种空中目标跟踪方法及装置 |
US10964055B2 (en) | 2019-03-22 | 2021-03-30 | Qatar Armed Forces | Methods and systems for silent object positioning with image sensors |
CN109818672B (zh) * | 2019-03-27 | 2020-12-25 | 中国科学技术大学 | 一种针对无线光通信的光源轨迹预测方法及系统 |
CN110132060A (zh) * | 2019-04-26 | 2019-08-16 | 南京理工大学 | 一种基于视觉导航的拦截无人机的方法 |
CN110068827A (zh) * | 2019-04-29 | 2019-07-30 | 西北工业大学 | 一种无人机自主目标测距的方法 |
CN110147836B (zh) * | 2019-05-13 | 2021-07-02 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、终端及存储介质 |
CN110045395B (zh) * | 2019-05-17 | 2021-10-08 | 北京和协航电信息科技有限公司 | 一种基于导航卫星信号的检靶方法、系统和设备 |
CN110139038B (zh) * | 2019-05-22 | 2021-10-22 | 深圳市道通智能航空技术股份有限公司 | 一种自主环绕拍摄方法、装置以及无人机 |
CN110147122A (zh) | 2019-06-14 | 2019-08-20 | 深圳市道通智能航空技术有限公司 | 一种移动目标的追踪方法、装置及无人机 |
CN112116655B (zh) * | 2019-06-20 | 2024-04-05 | 北京地平线机器人技术研发有限公司 | 目标对象的位置确定方法和装置 |
CN110287936B (zh) * | 2019-07-02 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
CN110415273B (zh) * | 2019-07-29 | 2020-09-01 | 肇庆学院 | 一种基于视觉显著性的机器人高效运动跟踪方法及系统 |
CN110609571B (zh) * | 2019-08-06 | 2022-01-07 | 同济大学 | 一种基于多无人机的多运动目标分布式协同视觉定位方法 |
CN110796104A (zh) * | 2019-11-01 | 2020-02-14 | 深圳市道通智能航空技术有限公司 | 目标检测方法、装置、存储介质及无人机 |
CN110716579B (zh) * | 2019-11-20 | 2022-07-29 | 深圳市道通智能航空技术股份有限公司 | 目标跟踪方法及无人飞行器 |
CN111127518B (zh) * | 2019-12-24 | 2023-04-14 | 深圳禾苗通信科技有限公司 | 基于无人机的目标跟踪方法及装置 |
CN112198886B (zh) * | 2019-12-31 | 2021-08-27 | 北京理工大学 | 一种跟踪机动目标的无人机控制方法 |
CN110824453A (zh) * | 2020-01-10 | 2020-02-21 | 四川傲势科技有限公司 | 一种基于图像跟踪与激光测距的无人机目标运动估计方法 |
CN111445497B (zh) * | 2020-02-25 | 2021-03-30 | 华中科技大学 | 一种基于尺度上下文回归的目标追踪与跟随方法 |
CN112513766A (zh) * | 2020-02-26 | 2021-03-16 | 深圳市大疆创新科技有限公司 | 路径规划的方法、跟踪设备、存储介质和计算机程序产品 |
CN111476815B (zh) * | 2020-04-03 | 2022-05-17 | 浙江大学 | 基于运动区域颜色概率的运动目标检测方法 |
CN111479063B (zh) * | 2020-04-15 | 2021-04-06 | 上海摩象网络科技有限公司 | 云台驱动方法、设备及手持相机 |
CN111736190B (zh) * | 2020-07-24 | 2022-01-25 | 广东电网有限责任公司 | 一种无人机机载目标检测系统及方法 |
CN111968035B (zh) * | 2020-08-05 | 2023-06-20 | 成都圭目机器人有限公司 | 基于损失函数的图像相对旋转角计算方法 |
CN111984036B (zh) * | 2020-08-28 | 2022-09-16 | 中国人民解放军国防科技大学 | 一种基于云台相机的固定翼无人机对快速运动目标的跟踪方法 |
CN112233141B (zh) * | 2020-09-28 | 2022-10-14 | 国网浙江省电力有限公司杭州供电公司 | 电力场景下基于无人机视觉的运动目标追踪方法及系统 |
CN112363528B (zh) * | 2020-10-15 | 2022-06-14 | 北京理工大学 | 基于机载视觉的无人机抗干扰集群编队控制方法 |
CN112489089B (zh) * | 2020-12-15 | 2022-06-07 | 中国人民解放军国防科技大学 | 一种微型固定翼无人机机载地面运动目标识别与跟踪方法 |
CN112684805B (zh) * | 2021-01-14 | 2021-11-23 | 北京航空航天大学 | 一种考虑姿态约束的高机动微型无人机控制方法 |
CN112711274A (zh) * | 2021-01-19 | 2021-04-27 | 四川一电航空技术有限公司 | 无人机控制方法、装置、无人机及计算机可读存储介质 |
CN112810828A (zh) * | 2021-02-02 | 2021-05-18 | 四川一电航空技术有限公司 | 飞行器的自稳云台及其云台姿态反馈系统 |
CN112985388B (zh) * | 2021-02-08 | 2022-08-19 | 福州大学 | 基于大位移光流法的组合导航方法及系统 |
CN116648725A (zh) * | 2021-04-09 | 2023-08-25 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、装置、可移动平台及计算机可读存储介质 |
CN113110542B (zh) * | 2021-04-16 | 2022-07-15 | 东北大学 | 一种基于单轴云台的四旋翼无人机目标追踪系统 |
CN113409387A (zh) * | 2021-05-11 | 2021-09-17 | 深圳拓邦股份有限公司 | 一种机器人视觉定位方法及机器人 |
CN113421287A (zh) * | 2021-07-16 | 2021-09-21 | 上海微电机研究所(中国电子科技集团公司第二十一研究所) | 一种基于视觉主动目标跟踪的机器人及其控制方法、系统 |
CN113848979B (zh) * | 2021-10-12 | 2023-01-17 | 苏州大学 | 基于前馈补偿pid控制的无人机复杂动态目标追踪方法 |
CN114384924A (zh) * | 2021-12-06 | 2022-04-22 | 华能陕西子长发电有限公司 | 一种使用无人机定距跟踪地面移动目标的控制方法 |
CN114841848A (zh) * | 2022-04-19 | 2022-08-02 | 珠海欧比特宇航科技股份有限公司 | 高带宽信号处理系统、设备、方法和存储介质 |
CN114782539B (zh) * | 2022-06-21 | 2022-10-11 | 中航金城无人系统有限公司 | 一种多云天气下基于云层观测的视觉定位系统及方法 |
CN115359048B (zh) * | 2022-10-19 | 2023-01-31 | 中国工程物理研究院应用电子学研究所 | 一种基于闭环跟瞄的实时动态对准测量方法及跟瞄装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677941B2 (en) * | 2000-08-05 | 2004-01-13 | American Gnc Corporation | Three-dimensional relative positioning and tracking using LDRI |
CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
CN101609504A (zh) * | 2009-07-21 | 2009-12-23 | 华中科技大学 | 一种红外图像海面目标检测识别定位方法 |
CN102221937A (zh) * | 2010-04-15 | 2011-10-19 | 上海天派无线科技有限公司 | 实时视频图像坐标识别系统及其方法 |
CN102252681A (zh) * | 2011-04-18 | 2011-11-23 | 中国农业大学 | 基于gps和机器视觉的组合导航定位系统及方法 |
CN102393961A (zh) * | 2011-06-29 | 2012-03-28 | 山东电力研究院 | 基于计算机视觉的飞行器输电线路实时检测跟踪方法 |
-
2013
- 2013-02-26 CN CN201310059457.5A patent/CN103149939B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677941B2 (en) * | 2000-08-05 | 2004-01-13 | American Gnc Corporation | Three-dimensional relative positioning and tracking using LDRI |
CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
CN101609504A (zh) * | 2009-07-21 | 2009-12-23 | 华中科技大学 | 一种红外图像海面目标检测识别定位方法 |
CN102221937A (zh) * | 2010-04-15 | 2011-10-19 | 上海天派无线科技有限公司 | 实时视频图像坐标识别系统及其方法 |
CN102252681A (zh) * | 2011-04-18 | 2011-11-23 | 中国农业大学 | 基于gps和机器视觉的组合导航定位系统及方法 |
CN102393961A (zh) * | 2011-06-29 | 2012-03-28 | 山东电力研究院 | 基于计算机视觉的飞行器输电线路实时检测跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103149939A (zh) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103149939B (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
US11393350B2 (en) | Systems and methods for vehicle guidance using depth map generation | |
US10884110B2 (en) | Calibration of laser and vision sensors | |
Teuliere et al. | Chasing a moving target from a flying UAV | |
EP2917874B1 (en) | Cloud feature detection | |
CN111932588A (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
US20150356357A1 (en) | A method of detecting structural parts of a scene | |
US10991105B2 (en) | Image processing device | |
CN109612333B (zh) | 一种面向可重复使用火箭垂直回收的视觉辅助导引系统 | |
Bratanov et al. | A vision-based sense-and-avoid system tested on a ScanEagle UAV | |
Bovcon et al. | Improving vision-based obstacle detection on USV using inertial sensor | |
Ruiz et al. | Detection and tracking of a landing platform for aerial robotics applications | |
Ramos et al. | Vision-based tracking of non-cooperative space bodies to support active attitude control detection | |
EP1307705A1 (en) | Height measurement apparatus | |
Helgesen et al. | Tracking of marine surface objects from unmanned aerial vehicles with a pan/tilt unit using a thermal camera and optical flow | |
Zhang et al. | Camera-IMU-based underwater localization | |
Aminzadeh et al. | Implementation and performance evaluation of optical flow navigation system under specific conditions for a flying robot | |
Liu et al. | A method for restraining gyroscope drift using horizon detection in infrared video | |
Helgesen et al. | Detection and tracking of floating objects using a uav with thermal camera | |
Rostum et al. | A review of using visual odometery methods in autonomous UAV Navigation in GPS-Denied Environment | |
Chen et al. | Research on optimization of visual navigation algorithm for real-time obstacle avoidance of uav moving target tracking | |
Hamza et al. | Runway positioning and moving object detection prior to landing | |
Gatter et al. | On precisely determining self-cast shadow regions in aerial camera images | |
Ge et al. | A fast mosaicking method for small UAV image sequence using a small number of ground control points | |
CN114322943B (zh) | 一种基于无人机前视图像的目标距离测量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |