CN105957109A - 目标跟踪方法和装置 - Google Patents
目标跟踪方法和装置 Download PDFInfo
- Publication number
- CN105957109A CN105957109A CN201610282383.5A CN201610282383A CN105957109A CN 105957109 A CN105957109 A CN 105957109A CN 201610282383 A CN201610282383 A CN 201610282383A CN 105957109 A CN105957109 A CN 105957109A
- Authority
- CN
- China
- Prior art keywords
- module
- tracking
- target
- tracked target
- unmanned vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种目标跟踪方法和装置,其中,该目标跟踪方法包括:采用跟踪学习检测算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内;在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。将跟踪检测学习算法搭载到无人机的控制平台,能够实现无人机对拍摄目标的实时有效跟踪。
Description
技术领域
本发明涉及视觉跟踪领域,尤其涉及一种目标跟踪方法和装置。
背景技术
无人驾驶飞行器(通常也简称为无人机)在飞行过程中,可以根据用户在手持客户端上面选定目标,然后根据跟踪目标,给出无人机飞行策略。
目前,当目标被树木,房屋,彩旗等物体遮挡后再出现时候,采用现在的视频追踪技术无法再继续追踪目标,会导致目标消失,并且对无人机的飞行策略产生较大的影响。
发明内容
技术问题
有鉴于此,本发明要解决的技术问题是,如何控制无人机有效跟踪目标。
解决方案
为了解决上述技术问题,根据本发明的一实施例,提供了一种目标跟踪方法,包括:
采用跟踪学习检测算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内;
在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。
对于上述方法,在一种可能的实现方式中,还包括:
在所述被跟踪目标再次出现在所述拍摄视野内的情况下,采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。
对于上述方法,在一种可能的实现方式中,还包括:
在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下,判定本次跟踪失败。
对于上述方法,在一种可能的实现方式中,在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态,包括:
向所述无人驾驶飞行器的云台控制模块发送旋转控制命令,以调整所述无人驾驶飞行器的云台的旋转角度;或
向所述无人驾驶飞行器的飞控模块发送飞行控制命令,调整所述无人驾驶飞行器的飞行动作。
对于上述方法,在一种可能的实现方式中,所述跟踪学习检测算法通过移动图形处理单元来处理。
对于上述方法,在一种可能的实现方式中,采用跟踪学习检测算法对所拍摄的被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内,包括:
检测模块根据已经训练得到的目标模型,在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域;
跟踪模块在所拍摄的所述被跟踪目标的视频流中,跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态,并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置,以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内;
学习模块采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本,并采用最新的训练样本更新所述目标模型。
根据本发明的另一实施例,还提供了一种目标跟踪装置,包括:
跟踪学习检测单元,用于采用跟踪学习检测算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内;
调整控制单元,用于在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。
对于上述装置,在一种可能的实现方式中,
所述跟踪学习检测单元还用于在所述被跟踪目标再次出现在所述拍摄视野内的情况下,采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。
对于上述装置,在一种可能的实现方式中,还包括:
所述调整控制单元还用于在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下,判定本次跟踪失败。
对于上述装置,在一种可能的实现方式中,所述调整控制单元包括:
旋转控制模块,用于向所述无人驾驶飞行器的云台控制模块发送旋转控制命令,以调整所述无人驾驶飞行器的云台的旋转角度;和/或
飞行控制模块,用于向所述无人驾驶飞行器的飞控模块发送飞行控制命令,调整所述无人驾驶飞行器的飞行动作。
对于上述装置,在一种可能的实现方式中,所述跟踪学习检测算法通过移动图形处理单元来执行。
对于上述装置,在一种可能的实现方式中,所述跟踪学习检测单元包括:
检测模块,用于根据已经训练得到的目标模型,在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域;
跟踪模块,与所述检测模块连接,用于在所拍摄的所述被跟踪目标的视频流中,跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态,并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置,以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内;
学习模块,与所述检测模块和所述跟踪模块分别连接,用于采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本,并采用最新的训练样本更新所述目标模型。
有益效果
将跟踪检测学习算法搭载到无人机的控制平台,能够实现无人机对拍摄目标的实时有效跟踪。在目标暂时消失的情况下,无人机仍能继续拍摄,如果目标再次出现,则可以继续跟踪。
根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。
图1示出根据本发明一实施例的目标跟踪方法的示意图;
图2示出根据本发明一实施例的目标跟踪方法中TLD算法的架构图;
图3示出根据本发明一实施例的目标跟踪方法中TLD算法的运行机制图;
图4示出根据本发明一实施例的目标跟踪方法中学习模块的工作原理示例图;
图5示出根据本发明一实施例的目标跟踪装置的示意图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
图1示出根据本发明一实施例的目标跟踪方法的示意图。如图1所示,该目标跟踪方法主要可以包括:
步骤101、采用跟踪学习检测(Tracking-Learning-Detection,TLD)算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器(简称无人机)的拍摄视野内;
步骤102、在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。
在一种可能的实现方式中,该目标跟踪方法还包括:
步骤103、在所述被跟踪目标再次出现在所述拍摄视野内的情况下,采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。
在一种可能的实现方式中,该目标跟踪方法还包括:
步骤104、在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下,判定本次跟踪失败。
在一种可能的实现方式中,步骤101包括:
检测模块根据已经训练得到的目标模型,在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域;
跟踪模块在所拍摄的所述被跟踪目标的视频流中,跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态,并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置,以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内;
学习模块采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本,并采用最新的训练样本更新所述目标模型。
在一种可能的实现方式中,步骤102包括:
向所述无人驾驶飞行器的云台控制模块发送旋转控制命令,以调整所述无人驾驶飞行器的云台的旋转角度;或
向所述无人驾驶飞行器的飞控模块发送飞行控制命令,调整所述无人驾驶飞行器的飞行动作。
具体而言,本实施例的TLD算法可以通过移动图形处理单元(GraphicsProcessing Unit,GPU)来处理。利用移动GPU平台的优势,达到实时的效果,提高运行速度和效率。当目标被遮挡或是消失在当前画面里面,采用TLD算法会根据之前确定的样本,经过学习所生成的特征继续对目标进行检索。当目标重新出现在视野里面时,本算法会继续跟踪,并对目标当前的姿态重新进行训练学习,继而提高跟踪准确率。
例如,在无人机的Tegra x1平台上面对用户选定的目标(被跟踪目标)在视频中进行跟踪,并进行不断的学习,以获取目标最新的外观特征,从而完成实时跟踪,以达到最佳的状态。也就是说,开始时可以只提供一帧静止的目标图像,但随着目标的不断运动,系统能持续不断地进行探测,获知目标在角度、距离、景深等方面的改变,并实时识别,经过一段时间的学习之后,目标就再也无法躲过。
其中,TLD可以采用重叠块跟踪策略,单块跟踪可以使用Lucas-Kanade光流法。TLD在跟踪前需要指定被跟踪目标,例如可以由一个矩形框标出。最终整体目标的运动取所有局部块移动的中值,这种局部跟踪策略可以解决局部遮挡的问题。
具体而言,如图2所示,TLD算法通常由三部分组成:跟踪模块21、检测模块22、学习模块23。
如图3所示,TLD算法的详细运行机制为:
检测模块22和跟踪模块21互补干涉的并行进行处理。首先,跟踪模块21假设相邻的视频帧图像之间物体的运动是有限的,且被跟踪目标是可见的,以此来估计目标的运动。如果被跟踪目标在无人机的相机的拍摄视野中消失,将造成本次目标跟踪失败。检测模块22假设每一个视频帧图像都是彼此独立的,并且根据以往检测和学习到的目标模型,如果跟踪失败,则对每一帧图像进行全图搜索以定位目标可能出现的区域。其中,TLD中的检测模块也有可能出现错误,主要包括对目标图像区域的负样本的错误和正样本的错误。而学习模块则根据跟踪模块的结果对检测模块的这两种错误进行评估,并根据评估结果生成训练样本对检测模块的目标模型进行更新,同时对跟踪模块的“关键特征点”进行更新,以此来避免以后出现类似的错误。此外,根据评估结果还可以判断被跟踪目标是否处于无人驾驶飞行器的拍摄视野内。例如,统计正样本或负样本的错误量,如果超出设定阈值,则说明帧图像中被跟踪目标的特征变化与上一帧相比非常多,可以判定被跟踪目标不在拍摄视野内。
其中,学习模块采用PN学习算法对跟踪模块21得到第一图像区域与检测模块22得到的第二图像区域进行评估的过程,采用以下示例进行具体说明。
P-N学习(P-N Learning)。P-N学习是一种半监督的机器学习算法,它针对检测模块对样本分类时产生的两种错误提供了两种“专家”进行纠正:P专家(P-expert)用于检出漏检(false negative,正样本误分为负样本)的正样本;N专家(N-expert)用于改正误检(false positive,负样本误分为正样本)的正样本。
其中,样本的产生方法为:用不同尺寸的扫描窗(scanning grid)对图像进行逐行扫描,每在一个位置就形成一个包围框(bounding box),包围框所确定的图像区域称为一个图像元(patch),图像元进入机器学习的样本集就成为一个样本。扫描产生的样本是未标签样本,需要用分类器来分类,确定它的标签。
如果跟踪模块(或称为跟踪器)已经确定物体在t+1帧的位置(实际上是确定了相应包围框的位置,即目标位置所在的包围框),从检测模块(或称为检测器)产生的多个包围框中筛选出10个与目标位置所在的包围框距离最近(特征差异较小)的包围框(两个包围框的交的面积除以并的面积大于0.7),对每个包围框做微小的仿射变换(平移10%、缩放10%、旋转10°以内),产生20个图像元,这样就产生200个正样本。再选出若干与目标位置所在的包围框距离较远(特征差异较大)的包围框(交的面积除以并的面积小于0.2),产生负样本。这样产生的样本是已标签的样本,把这些样本放入训练集,学习模块用最新的训练集来更新分类器的参数(也即更新目标模型)。
P专家的作用是寻找数据在时间上的结构性,它利用跟踪模块(或称为追踪器、或跟踪器)的结果预测物体在t+1帧的位置。如果这个位置(包围框)被检测模块分类为负,P专家就把这个位置改为正。也就是说P专家要保证物体在连续帧上出现的位置可以构成连续的轨迹;
N专家的作用是寻找数据在空间上的结构性,它把检测模块产生的和P专家产生的所有正样本进行比较,选择出一个最可信的位置,保证物体最多只出现在一个位置上,把这个位置作为TLD算法的追踪结果。同时这个位置也用来重新初始化跟踪模块。
如图4所示,目标车辆是下面的深色车,每一帧中黑色框是检测模块检测到的正样本,白色框是追踪模块产生的正样本,星号标记的是每一帧最后的追踪结果。在第t帧,检测模块没有发现深色车,但P专家根据跟踪模块的结果认为深色车也是正样本,N专家经过比较,认为深色车的样本更可信,所以把浅色车输出为负样本。第t+1帧的过程与第t帧类似。第t+2帧时,P专家产生了错误的结果,但经过N专家的比较,又把这个结果排除了,算法仍然可以追踪到正确的车辆。
进一步地,当目标被遮挡或是消失在当前帧图像内(也即从拍摄视野消失),则TLD的检测模块会根据之前确定的样本,以及经过学习所生成的特征继续对目标进行检测。在此过程中,可以向无人机的云台发送旋转控制命令,控制云台旋转一定角度,并继续拍摄,从而可能在目标消失位置的不远处,再次拍摄到该目标。其中,云台旋转角度,可以根据跟踪模块所确定的目标运动状态或运动轨迹来确定。当然,也可以向飞控模块发送飞行控制命令,来调整无人机的飞行动作,并继续拍摄,以有利于再次拍摄到该目标。具体发送与什么飞行动作对应的飞行控制命令,也可以根据跟踪模块所确定的目标运动状态或运动轨迹来确定。
当目标重新出现在无人机的拍摄视野里面时,TLD的跟踪模块会继续跟踪目标,并利用当前拍摄的视频流对目标当前的姿态重新进行训练学习,继而提高后续跟踪的准确率。
本实施例采用TLD算法进行视频跟踪,可以把跟踪、检测、识别结合到一起,在可以搭载到无人机的控制平台例如TEGRA平台上,实现目标的实时跟踪。其中,由于TEGRA GPU的出色并行运算能力,能够使算法的训练和跟踪更加的迅速快捷。例如,在TEGRA X1平台上面,能够充分利用CUDA(Compute Unified Device Architecture,统一计算设备架构)的多线程优势,将每一帧画面分解成多个块。分别对每个块进行检测与学习,充分利用平台优势,将这一算法发挥到极致。
本实施例根据用户选定的无人机所要跟踪的目标,采用TLD算法在视频中跟踪目标,能够在目标被遮挡时,继续追踪目标。此外,利用机器学习原理,并利用移动GPU并行计算的优势,能够提高运算效率和准确率。
图5示出根据本发明一实施例的目标跟踪装置的示意图。如图5所示,该目标跟踪装置主要可以包括:
跟踪学习检测单元41,用于采用跟踪学习检测算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内;
调整控制单元42,与所述跟踪学习检测单元41连接,用于在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。
在一种可能的实现方式中,跟踪学习检测单元41还用于在所述被跟踪目标再次出现在所述拍摄视野内的情况下,采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。
在一种可能的实现方式中,所述调整控制单元42还用于在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下,判定本次跟踪失败。
在一种可能的实现方式中,所述调整控制单元42包括:
旋转控制模块,用于向所述无人驾驶飞行器的云台控制模块发送旋转控制命令,以调整所述无人驾驶飞行器的云台的旋转角度;和/或
飞行控制模块,用于向所述无人驾驶飞行器的飞控模块发送飞行控制命令,调整所述无人驾驶飞行器的飞行动作。
在一种可能的实现方式中,所述跟踪学习检测算法通过移动图形处理单元来执行。
在一种可能的实现方式中,参见上一实施例中的图3,所述跟踪学习检测单元41包括:
检测模块22,用于根据已经训练得到的目标模型,在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域;
跟踪模块21,与所述检测模块22连接,用于在所拍摄的所述被跟踪目标的视频流中,跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态,并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置,以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内;
学习模块23,与所述检测模块22和所述跟踪模块21分别连接,用于采用PN学习算法根据所述检测模块22与所述跟踪模块21的结果确定最新的训练样本,并采用最新的训练样本更新所述目标模型。
此外,学习模块23可以根据所述检测模块22与所述跟踪模块21的结果,更新训练样本,从而更新检测模块所使用的目标模型。如果判定被跟踪目标不处于拍摄视野内,则可以向无人机发送控制命令,以使得无人机对目标消失位置的附近继续拍摄,从而在目标再次出现时,以及继续跟踪到该目标。
其中,TLD算法的原理和具体示例,可以参见上一实施例中的相关描述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种目标跟踪方法,其特征在于,包括:
采用跟踪学习检测算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内;
在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述被跟踪目标再次出现在所述拍摄视野内的情况下,采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。
3.根据权利要求1所述的方法,其特征在于,还包括:
在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下,判定本次跟踪失败。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态,包括:
向所述无人驾驶飞行器的云台控制模块发送旋转控制命令,以调整所述无人驾驶飞行器的云台的旋转角度;或
向所述无人驾驶飞行器的飞控模块发送飞行控制命令,调整所述无人驾驶飞行器的飞行动作。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述跟踪学习检测算法通过移动图形处理单元来处理。
6.根据权利要求1至3中任一项所述的方法,其特征在于,采用跟踪学习检测算法对所拍摄的被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内,包括:
检测模块根据已经训练得到的目标模型,在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域;
跟踪模块在所拍摄的所述被跟踪目标的视频流中,跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态,并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置,以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内;
学习模块采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本,并采用最新的训练样本更新所述目标模型。
7.一种目标跟踪装置,其特征在于,包括:
跟踪学习检测单元,用于采用跟踪学习检测算法对被跟踪目标进行跟踪,以判断所述被跟踪目标是否处于无人驾驶飞行器的拍摄视野内;
调整控制单元,用于在所述被跟踪目标从所述拍摄视野内消失的情况下,向所述无人驾驶飞行器发送状态调整控制命令,以调整所述无人驾驶飞行器的跟踪拍摄状态。
8.根据权利要求7所述的装置,其特征在于,
所述跟踪学习检测单元还用于在所述被跟踪目标再次出现在所述拍摄视野内的情况下,采用所述跟踪学习检测算法继续对所述被跟踪目标进行跟踪。
9.根据权利要求7所述的装置,其特征在于,还包括:
所述调整控制单元还用于在所述被跟踪目标从所述拍摄视野内消失的时间间隔超出设定时间间隔的情况下,判定本次跟踪失败。
10.根据权利要求7至9中任一项所述的装置,其特征在于,所述调整控制单元包括:
旋转控制模块,用于向所述无人驾驶飞行器的云台控制模块发送旋转控制命令,以调整所述无人驾驶飞行器的云台的旋转角度;和/或
飞行控制模块,用于向所述无人驾驶飞行器的飞控模块发送飞行控制命令,调整所述无人驾驶飞行器的飞行动作。
11.根据权利要求7至9中任一项所述的装置,其特征在于,所述跟踪学习检测算法通过移动图形处理单元来执行。
12.根据权利要求7至9中任一项所述的装置,其特征在于,所述跟踪学习检测单元包括:
检测模块,用于根据已经训练得到的目标模型,在当前帧图像检测得到与所述被跟踪目标特征相符合的多个图像区域;
跟踪模块,与所述检测模块连接,用于在所拍摄的所述被跟踪目标的视频流中,跟踪得到所述被跟踪目标在连续的帧图像之间的运动状态,并根据所述运动状态在所述检测模块所确定的多个图像区域中确定所述被跟踪目标在所述当前帧图像的位置,以判断所述被跟踪目标是否处于所述无人驾驶飞行器的拍摄视野内;
学习模块,与所述检测模块和所述跟踪模块分别连接,用于采用PN学习算法根据所述检测模块与所述跟踪模块的结果确定最新的训练样本,并采用最新的训练样本更新所述目标模型。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610282383.5A CN105957109A (zh) | 2016-04-29 | 2016-04-29 | 目标跟踪方法和装置 |
PCT/CN2016/086303 WO2017185503A1 (zh) | 2016-04-29 | 2016-06-17 | 目标跟踪方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610282383.5A CN105957109A (zh) | 2016-04-29 | 2016-04-29 | 目标跟踪方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105957109A true CN105957109A (zh) | 2016-09-21 |
Family
ID=56913162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610282383.5A Pending CN105957109A (zh) | 2016-04-29 | 2016-04-29 | 目标跟踪方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105957109A (zh) |
WO (1) | WO2017185503A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454108A (zh) * | 2016-11-04 | 2017-02-22 | 北京百度网讯科技有限公司 | 基于人工智能的跟踪拍摄方法、装置和电子设备 |
CN106774398A (zh) * | 2016-12-20 | 2017-05-31 | 北京小米移动软件有限公司 | 航拍方法及装置、无人机 |
CN108537726A (zh) * | 2017-03-03 | 2018-09-14 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法、设备和无人机 |
CN108577980A (zh) * | 2018-02-08 | 2018-09-28 | 南方医科大学南方医院 | 一种对超声刀头进行自动跟踪的方法、系统及装置 |
CN109190676A (zh) * | 2018-08-06 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 模型训练方法、装置、设备及存储介质 |
CN109785661A (zh) * | 2019-02-01 | 2019-05-21 | 广东工业大学 | 一种基于机器学习的停车引导方法 |
WO2019140609A1 (zh) * | 2018-01-18 | 2019-07-25 | 深圳市道通智能航空技术有限公司 | 目标检测方法及无人机 |
CN110310300A (zh) * | 2018-03-20 | 2019-10-08 | 腾讯科技(深圳)有限公司 | 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备 |
US10720672B2 (en) | 2017-04-24 | 2020-07-21 | Autel Robotics Co., Ltd | Series-multiple battery pack management system |
WO2023236733A1 (zh) * | 2022-06-08 | 2023-12-14 | 珠海一微半导体股份有限公司 | 一种机器人视觉跟踪方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909024B (zh) * | 2017-11-13 | 2021-11-05 | 哈尔滨理工大学 | 基于图像识别和红外避障的车辆跟踪系统、方法及车辆 |
CN107967692A (zh) * | 2017-11-28 | 2018-04-27 | 西安电子科技大学 | 一种基于跟踪学习检测的目标跟踪优化方法 |
CN108447079A (zh) * | 2018-03-12 | 2018-08-24 | 中国计量大学 | 一种基于tld算法框架的目标跟踪方法 |
CN111127509B (zh) * | 2018-10-31 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111986230B (zh) * | 2019-05-23 | 2024-07-30 | 北京地平线机器人技术研发有限公司 | 一种视频中目标物的姿态跟踪方法及装置 |
CN110362095B (zh) * | 2019-08-09 | 2022-04-01 | 大连海事大学 | 一种有限时间收敛无人船协同控制器的设计方法 |
CN113449566B (zh) * | 2020-03-27 | 2024-05-07 | 北京机械设备研究所 | 人在回路的“低慢小”目标智能图像跟踪方法及系统 |
CN111784737B (zh) * | 2020-06-10 | 2023-04-07 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于无人机平台的目标自动跟踪方法及系统 |
CN111932588B (zh) * | 2020-08-07 | 2024-01-30 | 浙江大学 | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 |
CN112102365B (zh) * | 2020-09-23 | 2024-05-31 | 烟台艾睿光电科技有限公司 | 一种基于无人机吊舱的目标跟踪方法及相关装置 |
CN112233141B (zh) * | 2020-09-28 | 2022-10-14 | 国网浙江省电力有限公司杭州供电公司 | 电力场景下基于无人机视觉的运动目标追踪方法及系统 |
CN112365527A (zh) * | 2020-10-15 | 2021-02-12 | 中标慧安信息技术股份有限公司 | 园区内车辆跨镜追踪方法及系统 |
CN114556904A (zh) * | 2020-12-30 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 云台系统的控制方法、控制设备、云台系统和存储介质 |
CN113096156B (zh) * | 2021-04-23 | 2024-05-24 | 中国科学技术大学 | 面向自动驾驶的端到端实时三维多目标追踪方法及装置 |
CN115865939B (zh) * | 2022-11-08 | 2024-05-10 | 燕山大学 | 一种基于边云协同决策的目标检测与追踪系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN103838244A (zh) * | 2014-03-20 | 2014-06-04 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
CN104408725A (zh) * | 2014-11-28 | 2015-03-11 | 中国航天时代电子公司 | 一种基于tld优化算法的目标重捕获系统及方法 |
CN105424006A (zh) * | 2015-11-02 | 2016-03-23 | 国网山东省电力公司电力科学研究院 | 基于双目视觉的无人机悬停精度测量方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8102423B2 (en) * | 2004-08-10 | 2012-01-24 | Sri International | Method and system for performing adaptive image acquisition |
CN1953547A (zh) * | 2006-09-21 | 2007-04-25 | 上海大学 | 无人飞行器对地面移动目标的低空跟踪系统及方法 |
CN102355574B (zh) * | 2011-10-17 | 2013-12-25 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
CN105279773A (zh) * | 2015-10-27 | 2016-01-27 | 杭州电子科技大学 | 一种基于tld框架的改进型视频跟踪优化方法 |
CN105487552B (zh) * | 2016-01-07 | 2019-02-19 | 深圳一电航空技术有限公司 | 无人机跟踪拍摄的方法及装置 |
-
2016
- 2016-04-29 CN CN201610282383.5A patent/CN105957109A/zh active Pending
- 2016-06-17 WO PCT/CN2016/086303 patent/WO2017185503A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN103838244A (zh) * | 2014-03-20 | 2014-06-04 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
CN104408725A (zh) * | 2014-11-28 | 2015-03-11 | 中国航天时代电子公司 | 一种基于tld优化算法的目标重捕获系统及方法 |
CN105424006A (zh) * | 2015-11-02 | 2016-03-23 | 国网山东省电力公司电力科学研究院 | 基于双目视觉的无人机悬停精度测量方法 |
Non-Patent Citations (3)
Title |
---|
权伟 等: "基于霍夫蕨的实时对象跟踪方法", 《西南交通大学学报》 * |
翁永红 等: "《水利水电工程三维可视化设计》", 31 December 2014, 长江出版社 * |
龚小彪: "基于TLD框架的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454108A (zh) * | 2016-11-04 | 2017-02-22 | 北京百度网讯科技有限公司 | 基于人工智能的跟踪拍摄方法、装置和电子设备 |
CN106454108B (zh) * | 2016-11-04 | 2019-05-03 | 北京百度网讯科技有限公司 | 基于人工智能的跟踪拍摄方法、装置和电子设备 |
CN106774398A (zh) * | 2016-12-20 | 2017-05-31 | 北京小米移动软件有限公司 | 航拍方法及装置、无人机 |
CN108537726A (zh) * | 2017-03-03 | 2018-09-14 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法、设备和无人机 |
CN108537726B (zh) * | 2017-03-03 | 2022-01-04 | 杭州海康威视数字技术股份有限公司 | 一种跟踪拍摄的方法、设备和无人机 |
US10720672B2 (en) | 2017-04-24 | 2020-07-21 | Autel Robotics Co., Ltd | Series-multiple battery pack management system |
US10839555B2 (en) | 2018-01-18 | 2020-11-17 | Autel Robotics Co., Ltd. | Target detection method and unmanned aerial vehicle |
WO2019140609A1 (zh) * | 2018-01-18 | 2019-07-25 | 深圳市道通智能航空技术有限公司 | 目标检测方法及无人机 |
CN108577980A (zh) * | 2018-02-08 | 2018-09-28 | 南方医科大学南方医院 | 一种对超声刀头进行自动跟踪的方法、系统及装置 |
CN110310300A (zh) * | 2018-03-20 | 2019-10-08 | 腾讯科技(深圳)有限公司 | 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备 |
CN110310300B (zh) * | 2018-03-20 | 2023-09-08 | 腾讯科技(深圳)有限公司 | 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备 |
CN109190676A (zh) * | 2018-08-06 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 模型训练方法、装置、设备及存储介质 |
CN109190676B (zh) * | 2018-08-06 | 2022-11-08 | 百度在线网络技术(北京)有限公司 | 一种用于图像识别的模型训练方法、装置、设备及存储介质 |
CN109785661A (zh) * | 2019-02-01 | 2019-05-21 | 广东工业大学 | 一种基于机器学习的停车引导方法 |
WO2023236733A1 (zh) * | 2022-06-08 | 2023-12-14 | 珠海一微半导体股份有限公司 | 一种机器人视觉跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017185503A1 (zh) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105957109A (zh) | 目标跟踪方法和装置 | |
CN103733234B (zh) | 用于检测飞机场中的外物、碎片或损坏的监视系统和方法 | |
CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
EP2917874B1 (en) | Cloud feature detection | |
CN206691107U (zh) | 无人驾驶汽车系统及汽车 | |
Levinson et al. | Traffic light mapping, localization, and state detection for autonomous vehicles | |
Merino et al. | Cooperative fire detection using unmanned aerial vehicles | |
CN110262534A (zh) | 一种针对低慢小目标的无人机跟踪与拦截系统及方法 | |
CN111679695B (zh) | 一种基于深度学习技术的无人机巡航及追踪系统和方法 | |
CN109212545A (zh) | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 | |
CN103778645B (zh) | 一种基于图像的圆形目标实时跟踪方法 | |
CN109407697A (zh) | 一种基于双目视觉测距的无人机跟踪运动目标系统及方法 | |
CN105225251B (zh) | 基于机器视觉的超视距海上运动目标快速识别与定位装置及方法 | |
CN110146099A (zh) | 一种基于深度学习的同步定位与地图构建方法 | |
CN110597264A (zh) | 无人机反制系统 | |
KR20180133745A (ko) | 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법 | |
CN112947550A (zh) | 一种基于视觉伺服的非法飞行器打击方法及机器人 | |
CN109765931A (zh) | 一种适用于防波堤巡检无人机的近红外视频自动导航方法 | |
CN115932834A (zh) | 一种基于多源异构数据融合的反无人机系统目标检测方法 | |
Kawamura et al. | Ground-Based Vision Tracker for Advanced Air Mobility and Urban Air Mobility | |
CN117572885B (zh) | 基于无人机热红外相机的夜间追踪方法、系统及相关装置 | |
EP2731050A1 (en) | Cloud feature detection | |
JP2017173966A (ja) | 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 | |
Silva et al. | Saliency-based cooperative landing of a multirotor aerial vehicle on an autonomous surface vehicle | |
CN109669180B (zh) | 一种连续波雷达无人机检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: The seat number 10 Ubp B36-B 100015 in Beijing City, Chaoyang District Jiuxianqiao road 3 hall 1 floor Applicant after: Beijing Borui Yunfei Technology Development Co. Ltd. Address before: The seat number 10 Ubp B36-B 100015 in Beijing City, Chaoyang District Jiuxianqiao road 3 hall 1 floor Applicant before: BEIJING ALROBOT TECHNOLOGY DEVELOPMENT CO., LTD. |
|
COR | Change of bibliographic data | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160921 |
|
RJ01 | Rejection of invention patent application after publication |