CN108537726A - 一种跟踪拍摄的方法、设备和无人机 - Google Patents
一种跟踪拍摄的方法、设备和无人机 Download PDFInfo
- Publication number
- CN108537726A CN108537726A CN201710126669.9A CN201710126669A CN108537726A CN 108537726 A CN108537726 A CN 108537726A CN 201710126669 A CN201710126669 A CN 201710126669A CN 108537726 A CN108537726 A CN 108537726A
- Authority
- CN
- China
- Prior art keywords
- target object
- tracked
- track
- tracking mode
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000002045 lasting effect Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种跟踪拍摄的方法、设备和无人机,所述方法包括:在预置位状态确定待跟踪目标对象之后,将无人机从预置位状态转换为缩放跟踪状态,其中,预置位状态表示无人机的初始状态;在缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对待跟踪目标对象进行跟踪拍摄,其中,摄像机位于无人机中;当摄像机缩放完成之后,将无人机从缩放跟踪状态转换为持续跟踪状态;在持续跟踪状态,采用第二跟踪算法对待跟踪目标对象进行跟踪拍摄,其中,第二跟踪算法和第一跟踪算法不相同。通过在缩放跟踪状态和持续跟踪状态采用不同的跟踪算法对待跟踪目标对象进行跟踪拍摄,能够确保跟踪拍摄的准确性,有效提高跟踪拍摄的鲁棒性。
Description
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种跟踪拍摄的方法、设备和无人机。
背景技术
无人机的智能跟踪拍摄,指的是将摄像机安装在无人机的机载云台上,无人机按照预定程序或地面控制台的指令,调整无人机的飞行路线、机载云台的姿态以及摄像机的焦距,使得摄像机能够对目标对象进行智能跟踪拍摄。
现有技术中,无人机的智能跟踪拍摄主要包括两种方法:
第一种:使用定位装置实现对目标对象的智能跟踪拍摄。
通过定位装置(例如:手机、运动手环、便携GPS发射器等)确定目标对象的绝对位置,以及目标对象与无人机之间的相对位置,从而能够控制无人机的飞行路线、机载云台的姿态以及摄像机的焦距,使得摄像机能够对目标对象进行智能跟踪拍摄。
但是,由于定位装置容易受外界环境干扰,影响跟踪拍摄结果,使用跟踪拍摄的鲁棒性较低。
第二种:基于机器视觉算法实现对目标对象的智能跟踪拍摄。
采用单一跟踪算法(例如:光流跟踪法、矫正图像帧的运动区与分析法等)对无人机拍摄得到的视频帧进行跟踪检测,实现对目标对象的智能跟踪拍摄。
但是,由于在对目标对象进行智能跟踪拍摄时采用单一跟踪算法,当目标对象出现遮挡、颜色和/或外观变化时,跟踪拍摄结果受到干扰,使得跟踪拍摄的鲁棒性较低。
因此,本申请要解决的技术问题是如何提高无人机跟踪拍摄的鲁棒性。
发明内容
有鉴于此,本申请实施例提供一种跟踪拍摄的方法、设备和无人机,用于解决现有技术中的无人机跟踪拍摄的鲁棒性较低的问题。
本申请实施例提供一种跟踪拍摄的方法,包括:
在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;
在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;
当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;
在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同。
本申请实施例还提供一种无人机,所述无人机采用如上所述的跟踪拍摄的方法对待跟踪目标对象进行跟踪拍摄。
本申请实施例还提供一种跟踪拍摄的设备,包括:转换模块、第一跟踪模块和第二跟踪模块,其中:
转换模块,用于在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;
第一跟踪模块,用于在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;
所述转换模块,还用于当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;
第二跟踪模块,用于在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
无人机在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,在所述缩放跟踪状态,对所述无人机中的摄像机进行缩放处理,并在所述缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态,并采用与所述第一跟踪算法不相同的第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,使得能够在所述缩放跟踪状态和所述持续跟踪状态采用不同的跟踪算法对所述待跟踪目标对象进行跟踪拍摄,确保跟踪拍摄的准确性,有效提高跟踪拍摄的鲁棒性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种跟踪拍摄的方法的流程示意图;
图2为本申请实施例提供的标示出可跟踪目标对象的视频帧;
图3为本申请实施例提供的无人机处于预置位状态的工作流程示意图;
图4为本申请实施例提供的无人机处于跟踪拍摄状态的工作流程示意图;
图5为本申请实施例提供的在持续跟踪状态重新寻找待跟踪目标对象的工作流程示意图;
图6为本申请实施例提供的一种跟踪拍摄的设备的结构示意图。
具体实施方式
为了实现本申请的目的,本申请实施例提供了一种跟踪拍摄的方法、设备和无人机,所述方法应用在无人机中,所述方法包括:在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同。
无人机在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,在所述缩放跟踪状态,对所述无人机中的摄像机进行缩放处理,并在所述缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态,并采用与所述第一跟踪算法不相同的第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,使得能够在所述缩放跟踪状态和所述持续跟踪状态采用不同的跟踪算法对所述待跟踪目标对象进行跟踪拍摄,确保跟踪拍摄的准确性,有效提高跟踪拍摄的鲁棒性。
下面结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
实施例1
图1为本申请实施例提供的一种跟踪拍摄的方法的流程示意图。所述方法应用在无人机中,所述方法可以如下所示。
步骤11:在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态。
其中,所述预置位状态表示所述无人机的初始状态。
在步骤11中,当所述无人机在所述预置位状态确定了所述待跟踪目标对象之后,将所述无人机的状态从所述预置位状态转换为所述缩放跟踪状态。
在本申请的可选实施例中,所述方法还包括:
在所述预置位状态,确定所述待跟踪目标对象。
具体地,第一步:采用预设检测算法检测并标示出在所述预置位状态拍摄得到的视频帧序列中的可跟踪目标对象集合。
其中,所述可跟踪目标对象集合中包含所述待跟踪目标对象。
对于所述无人机在所述预置位状态拍摄得到的视频帧序列,采用预设检测算法,检测出在所述预置位状态拍摄得到的视频帧序列中的多个运动目标,将所述多个运动目标确定为多个可跟踪目标对象,得到所述可跟踪目标对象集合,并在所述预置位状态拍摄得到的视频帧序列的任一视频帧中标示出包含所述多个可跟踪目标对象的目标框。
需要说明的是,所述预设检测算法可以是背景建模算法,可以是运动分析算法,可以是检测器检测算法,还可以是其他能够实现运动目标检测的算法,这里不做具体限定。
在检测出所述可跟踪目标对象集合之后,所述方法还包括:
为所述可跟踪目标对象集合中的各个可跟踪目标对象设置对应的识别码;
在所述预置位状态,采用第三跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄;
为所述可跟踪目标对象集合中的所述各个可跟踪目标对象设置对应的识别码,使得所述各个可跟踪目标对象彼此区分。
在所述预置位状态,采用所述第三跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄,也就是采用第三跟踪算法检测出在所述预置位状态所述摄像机拍摄得到的视频帧中的所述各个可跟踪目标对象,得到标示有包含所述各个可跟踪目标对象的目标框的视频帧序列,使得根据标示有包含所述各个可跟踪目标对象的目标框的视频帧序列,能够得到所述各个可跟踪目标对象的运动轨迹信息。
需要说明的是,所述第三跟踪算法是多目标跟踪算法。
第二步:将所述标示有所述可跟踪目标对象集合的视频帧序列发送给终端设备。
其中,所述终端设备用于显示所述摄像机拍摄得到的视频帧序列。
所述无人机将所述标示有所述可跟踪目标对象集合的视频帧序列发送给地面上与所述无人机建立通信连接的所述终端设备,使得用户能够通过所述终端设备,查看到所述标示的所述可跟踪目标对象集合的视频帧序列中的所述各个可跟踪目标对象以及所述各个可跟踪目标对象的运动状态。
需要说明的是,所述终端设备可以是智能手机,可以是平板电脑,可以是个人计算机,还可以是其他的终端设备,这里不做具体限定。
图2为本申请实施例提供的标示有可跟踪目标对象的视频帧。
如图2所示,所述视频帧中标示的可跟踪目标对象有四个:第一可跟踪目标对象的识别码是001,第二可跟踪目标对象的识别码是002,第三可跟踪目标对象的识别码是003,第四可跟踪目标对象的识别码是004。
第三步:确定所述终端设备中返回的跟踪点坐标。
其中,所述跟踪点坐标表示所述待跟踪目标对象在所述视频帧序列中的某一视频帧中的坐标。
用户通过所述终端设备查看所述标示有所述可跟踪目标对象集合的视频帧序列中的所述各个可跟踪目标对象,并在所述终端设备当前显示的某一视频帧中点击选择所述待跟踪目标对象,所述无人机将用户点击的位置确定为跟踪点,并确定所述跟踪点在用户点击选择所述待跟踪目标对象的该视频帧中的坐标。
第四步:根据所述跟踪点坐标,在所述预置位状态确定所述待跟踪目标对象。
由于所述无人机拍摄得到的所述标示有所述可跟踪目标对象集合的视频帧序列传输到地面上的所述终端设备存在一定的延时,使得用户点击选择所述待跟踪目标对象的视频帧与所述无人机拍摄的当前视频帧不同,此时,根据所述跟踪点坐标,能够在所述预置位状态,准确确定所述待跟踪目标对象。
具体地,首先,根据所述跟踪点坐标以及在所述预置位状态采用所述第三跟踪法对所述各个可跟踪目标对象进行跟踪拍摄得到的视频帧序列,确定所述待跟踪目标对象的识别码。
将所述跟踪点坐标与在所述预置位状态采集得到的所述标示有所述可跟踪目标对象集合的视频帧序列中的所述各个可跟踪目标对象的运动轨迹信息进行匹配,通过相关匹配算法从所述运动轨迹信息中找到与所述跟踪点坐标匹配的可跟踪目标对象,并将该可跟踪目标对象确定为所述待跟踪目标对象,进而确定所述待跟踪目标对象的识别码。
然后,根据所述待跟踪对象的识别码,在所述预置位状态确定所述待跟踪目标对象。
在所述预置位状态,确定所述识别码对应的可跟踪目标对象,进而将该可跟踪对象确定为所述可跟踪目标对象。
将所述跟踪点坐标与所述各个可跟踪目标对象的运动轨迹信息进行匹配,确定所述待跟踪目标对象的识别码,进而在所述预置位状态确定所述待跟踪目标对象,能够避免因视频帧传输延时导致的待跟踪目标对象匹配不精确的问题。
当在所述预置位状态确定了所述待跟踪目标对象之后,对于所述摄像机之后跟踪拍摄的视频帧序列的任一视频帧中,都能够采用相关的跟踪算法跟踪检测出包含所述待跟踪目标对象的目标框,使得能够根据所述视频帧序列,查看到所述待跟踪目标对象的运动轨迹信息。
步骤12:在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄。
其中,所述摄像机位于所述无人机中。
在步骤12中,将所述无人机从所述预置位状态转换为所述缩放跟踪状态之后,对所述摄像机进行缩放处理,,调整所述待跟踪目标对象在所述摄像机中的图像状态,使得能够更好地跟踪拍摄所述待跟踪目标对象,并在所述缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,即采用第一跟踪算法跟踪检测出所述摄像机拍摄得到的视频帧中的所述待跟踪目标对象,得到标示有包含所述待跟踪目标对象的目标框的视频帧序列。
在所述缩放跟踪状态,需要对所述摄像机进行焦距缩放、位置平移等操作,使得所述待跟踪目标对象在所述摄像机中保持合适的图像大小和图像位置,以便更好地对所述待跟踪目标对象进行跟踪拍摄。
具体地,首先,平移所述摄像机,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置。
通过调整安放所述摄像机的机载云台,平移所述摄像机,调整所述待跟踪目标对象在所述摄像机中的图像位置,使得所述待跟踪目标对象在所述摄像机中的位置达到预设位置。
需要说明的是,所述预设位置可以根据实际情况确定,这里不做具体限定。
然后,将所述摄像机的焦距调整到预设焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
通过调整所述摄像机的焦距,对所述待跟踪目标对象在所述摄像机中的大小进行放大或缩小,当所述摄像机的焦距调整到所述预设焦距时,所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
需要说明的是,所述预设大小可以根据实际情况确定,这里不做具体限定。
在对所述摄像机进行缩放处理的过程中,所述待跟踪目标对象会随着所述摄像机的平移、焦距调整等操作在所述摄像机中出现较大幅度的图像位置、图像大小的变化,使得所述待跟踪目标对象在所述摄像机拍摄得到的视频帧中出现图像模糊的问题。
为了在图像模糊的状态下能够准确地跟踪检测到所述待跟踪目标对象,在所述缩放处理过程中,采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,也就是采用第一跟踪算法跟踪检测出所述摄像机进行缩放处理的过程中拍摄得到的视频帧中的所述待跟踪目标对象,得到标示有所述待跟踪目标对象的目标框的视频帧序列。
优选地,所述第一跟踪算法为单点光流跟踪算法。
需要说明的是,所述第一跟踪算法除了可以是单点光流跟踪算法之外,还可以是其他跟踪算法,这里不做具体限定。
步骤13:在所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态。
在步骤13中,当所述摄像机缩放完成,使得所述待跟踪目标对象在所述摄像机中的图像位置处于预设位置、图像大小处于预设大小之后,将所述无人机从所述缩放跟踪状态转换为所述持续跟踪状态,使得能够对所述待跟踪目标对象进行持续跟踪拍摄。
步骤14:在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄。
其中,所述第二跟踪算法和所述第一跟踪算法不相同。
在步骤14中,将所述无人机从所述缩放跟踪状态转换为所述持续跟踪状态之后,采用第二跟踪算法对所述待跟踪目标对象进行持续跟踪拍摄,即采用第二跟踪算法跟踪检测出所述摄像机拍摄得到的视频帧中的所述待跟踪目标对象,得到标示有包含所述待跟踪目标对象的目标框的视频帧序列。
对于所述持续跟踪状态得到的标示有包含所述待跟踪目标对象的目标框的视频帧序列,保存在所述无人机中,并且将所述标示有包含所述待跟踪目标对象的目标框的视频帧序列传输到地面上的所述终端设备中,使得用户能够根据所述终端设备播放所述视频帧序列,查看所述待跟踪目标对象的运动轨迹信息。
优选地,所述第二跟踪算法为粒子滤波跟踪算法。
需要说明的是,所述第二跟踪算法除了可以是粒子滤波跟踪算法之外,还可以是其他能够对所述待跟踪目标对象进行持续跟踪拍摄的跟踪算法,这里不做具体限定。
在所述持续跟踪状态,采用与所述缩放跟踪状态不同的跟踪算法对所述待跟踪目标对象进行跟踪拍摄,能够保证跟踪拍摄过程的准确性,确保了跟踪拍摄的鲁棒性。
在本申请的可选实施例中,所述方法还包括:
判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象;
当确定已经跟丢所述待跟踪目标对象时,在所述持续跟踪状态重新寻找所述待跟踪目标对象。
在判断所述持续跟踪状态是否跟丢所述待跟踪目标对象时,具体地:
首先,获取在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列。
然后,当所述视频帧序列中连续且超过预设帧数的视频帧中不包含所述待跟踪目标对象时,确定在所述持续跟踪状态已经跟丢所述待跟踪目标对象。
通过获取在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列,当所述视频帧序列中连续且超过预设帧数的视频帧中不包含所述待跟踪目标对象时,也就是在连续且超过预设帧数的视频帧中无法通过所述第二跟踪算法检测出所述待跟踪目标对象时,能够确定所述无人机在所述持续跟踪状态已经跟丢所述待跟踪目标对象。
例如:通过获取在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列,当在所述视频帧序列的连续50帧视频帧中都无法通过所述第二跟踪算法检测出所述待跟踪目标对象时,确定所述无人机在所述持续跟踪状态已经跟丢所述待跟踪目标对象。
当确定已经跟丢所述待跟踪目标对象时,在所述持续跟踪状态重新寻找所述待跟踪目标对象,具体地:
首先,在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列中,提取所述待跟踪目标对象的第一特征信息。
其次,在确定所述持续跟踪状态已经跟丢所述待跟踪目标对象之后拍摄得到的视频帧序列中,提取运动区域的第二特征信息。
在确定所述持续跟踪状态已经跟丢所述待跟踪目标对象之后拍摄得到的视频帧序列中,寻找所述视频帧序列中的运动区域,并提取所述运动区域的第二特征信息。
然后,比较所述第一特征信息和所述第二特征信息的相似度。
最后,根据比较结果,判断在所述持续跟踪状态是否寻找到所述待跟踪目标对象。
当所述第一特征信息和所述第二特征信息的相似度大于预设值时,确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象;
当所述第一特征信息和所述第二特征信息的相似度不大于所述预设值时,在所述持续跟踪状态重新寻找所述待跟踪目标对象;
当在所述持续跟踪状态重新寻找所述待跟踪目标对象的时长大于预设时长时,确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象。
需要说明的是,所述预设值可以根据实际情况确定,这里不做具体限定。
需要说明的是,所述预设时长可以根据实际情况确定,这里不做具体限定。
在本申请的可选实施例中,当在所述持续跟踪状态重新寻找所述待跟踪目标对象的寻找次数大于预设次数时,确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象。
需要说明的是,所述预设次数可以根据实际情况确定,这里不做具体限定。
在本申请的可选实施例中,当确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象之后,采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄。
在本申请的可选实施例中,当确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象之后,将所述无人机从所述持续跟踪状态转换为所述预置位状态。
当所述无人机确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象之后,能够通过重启所述无人机,使得所述无人机从所述持续跟踪状态转换为所述预置位状态,使得所述摄像机重新回到预定义的拍摄角度和预定义的焦距,进而重新执行对所述待跟踪目标对象的跟踪拍摄。
需要说明的是,通过重启所述无人机,将所述无人机从所述持续跟踪状态转换为所述预置位状态之后,还可以根据实际需要重新设定所述摄像机的拍摄角度和焦距,这里不做具体限定。
在本申请的可选实施例中,当所述无人机确定在所述持续跟踪状态已经跟丢所述待跟踪目标对象之后,所述无人机可以进入悬停状态,等待用户通过地面的所述终端设备重新发送指令,进而根据所述指令进行相应的操作。
在本申请的可选实施例中,还可以通过检测器避免在所述持续跟踪状态出现跟丢所述待跟踪目标对象的情况,具体地,首先,对于所述持续跟踪状态拍摄得到的视频帧序列中的任一视频帧,通过检测器检测所述待跟踪目标对象,将所述检测器检测得到的所述待跟踪目标对象与通过所述第二跟踪算法对该视频帧跟踪检测得到的所述待跟踪目标对象进行对比。
其次,当检测结果与跟踪结果匹配时,即所述检测器检测得到的所述待跟踪目标对象与通过所述第二跟踪算法检测得到的所述待跟踪目标对象相匹配时,确定所述无人机在该视频帧中未跟丢所述待跟踪目标对象。
当检测结果与跟踪结果不匹配时,即所述检测器检测得到的所述待跟踪目标对象与通过所述第二跟踪算法检测得到的所述待跟踪目标对象不匹配,存在差异时,通过调整所述摄像机的状态,对所述待跟踪目标对象在所述摄像机中的图像进行调整,避免在所述持续跟踪状态出现跟丢所述待跟踪目标对象的情况。
通过检测器对所述持续跟踪状态拍摄得到的视频帧序列进行检测,能够避免在所述持续跟踪状态出现跟丢所述待跟踪目标对象的情况,确保了跟踪拍摄的鲁棒性。
与此同时,本申请实施例还提供一种无人机,所述无人机采用如上所述的跟踪拍摄的方法对待跟踪目标对象进行跟踪拍摄。
实施例2
基于同一个发明构思,图3为本申请实施例提供的无人机处于预置位状态的工作流程示意图。
如图3所述,所述无人机处于预置位状态,所述无人机采用预设检测算法对所述无人机在所述预置位状态拍摄得到视频帧序列进行目标检测,检测出所述视频帧序列中的可跟踪目标对象集合,并将标示有所述可跟踪目标对象集合中的各个可跟踪目标对象的视频帧序列发送给终端设备。
所述无人机确定所述可跟踪目标对象集合之后,采用多目标跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄。
用户通过所述终端设备查看标示有所述可跟踪目标对象集合中的各个可跟踪目标对象的视频帧序列中的所述各个可跟踪目标对象,并在所述终端设备当前显示的某一视频帧中点击选择所述待跟踪目标对象,所述无人机将用户点击的位置确定为跟踪点,并确定所述跟踪点在用户点击选择所述待跟踪目标对象的该视频帧中的坐标。
将所述跟踪点坐标与采用多目标跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄得到的视频帧序列中的所述各个可跟踪目标对象的运动轨迹信息进行匹配,进而在所述预置位状态确定所述待跟踪目标对象。
实施例3
基于同一个发明构思,图4为本申请实施例提供的无人机处于跟踪拍摄状态的工作流程示意图。
如图4所示,当所述无人机处于缩放跟踪状态时,对所述无人机中的摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对待跟踪目标对象进行跟踪拍摄。
如图4所示,当所述无人机处于持续跟踪状态时,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄。
对所述持续跟踪状态拍摄得到的视频帧序列,采用检测器检测所述待跟踪目标对象,并将所述检测器检测得到的检测结果与通过所述第二跟踪算法得到的跟踪结果进行对比,判断在所述持续跟踪状态所述待跟踪目标对象是否跟丢,并在确定已经跟丢所述待跟踪目标对象时,在所述持续跟踪状态重新寻找所述待跟踪目标对象。
实施例4
基于同一个发明构思,图5为本申请实施例提供的在持续跟踪状态重新寻找待跟踪目标对象的工作流程示意图。
如图5所示,确定在持续跟踪状态已经跟丢待跟踪目标对象时,在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列中,提取所述待跟踪目标对象的第一特征信息。
对于确定所述持续跟踪状态已经跟丢所述待跟踪目标对象之后拍摄得到的视频帧序列进行图像矫正,并寻找所述视频帧序列中的运动区域,提取所述运动区域的第二特征信息。
比较所述第一特征信息和所述第二特征信息的相似度。
当所述第一特征信息和所述第二特征信息的相似度大于预设值时,确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象;
当所述第一特征信息和所述第二特征信息的相似度不大于所述预设值时,跳转执行在所述持续跟踪状态重新寻找所述待跟踪目标对象的操作;
当在所述持续跟踪状态重新寻找所述待跟踪目标对象的时长大于预设时长时,确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象。
实施例5
图6为本申请实施例提供的一种跟踪拍摄的设备的结构示意图。设备60包括:转换模块601、第一跟踪模块602和第二跟踪模块603,其中:
转换模块601,用于在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;
第一跟踪模块602,用于在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;
所述转换模块601,还用于当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;
第二跟踪模块603,用于在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同。
需要说明的是,所述第一跟踪算法除了可以是单点光流跟踪算法之外,还可以是其他跟踪算法,这里不做具体限定。
需要说明的是,所述第二跟踪算法除了可以是粒子滤波跟踪算法之外,还可以是其他能够对所述待跟踪目标对象进行持续跟踪拍摄的跟踪算法,这里不做具体限定。
优选地,所述设备60还包括:缩放模块,其中:
所述缩放模块,用于平移所述摄像机,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置;
所述缩放模块,还用于将所述摄像机的焦距调整到预设焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
需要说明的是,所述预设位置可以根据实际情况确定,这里不做具体限定。
需要说明的是,所述预设大小可以根据实际情况确定,这里不做具体限定。
优选地,所述设备60还包括:判断模块和重新寻找模块608,其中:
所述判断模块,用于判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象;
所述重新寻找模块,用于当确定已经跟丢所述待跟踪目标对象时,在所述持续跟踪状态重新寻找所述待跟踪目标对象。
优选地,所述判断模块判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象,包括:
获取在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中不包含所述待跟踪目标对象时,确定在所述持续跟踪状态已经跟丢所述待跟踪目标对象。
优选地,所述重新寻找模块在所述持续跟踪状态重新寻找所述待跟踪目标对象,包括:
在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列中,提取所述待跟踪目标对象的第一特征信息;
在确定所述持续跟踪状态已经跟丢所述待跟踪目标对象之后拍摄得到的视频帧序列中,提取运动区域的第二特征信息;
比较所述第一特征信息和所述第二特征信息的相似度;
根据比较结果,判断在所述持续跟踪状态是否寻找到所述待跟踪目标对象。
优选地,所述重新寻找模块根据比较结果,判断在所述持续跟踪状态是否重新寻找到所述待跟踪目标对象,包括:
当所述第一特征信息和所述第二特征信息的相似度大于预设值时,确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象;
当所述第一特征信息和所述第二特征信息的相似度不大于所述预设值时,在所述持续跟踪状态重新寻找所述待跟踪目标对象;
当在所述持续跟踪状态重新寻找所述待跟踪目标对象的时长大于预设时长时,确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象。
需要说明的是,所述预设值可以根据实际情况确定,这里不做具体限定。
需要说明的是,所述预设时长可以根据实际情况确定,这里不做具体限定。
优选地,所述第二跟踪模块603,还用于当确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象之后,采用所述第二跟踪算法对所述待跟踪对象进行跟踪拍摄。
优选地,所述转换模块601,还用于当确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象之后,将所述无人机从所述持续跟踪状态转换为所述预置位状态。
优选地,所述设备60还包括:确定模块,其中:
所述确定模块,用于在所述预置位状态,确定所述待跟踪目标对象。
优选地,所述设备60还包括:检测模块和发送模块,其中:
所述检测模块,用于采用预设检测算法检测并标示出在所述预置位状态拍摄得到的视频帧序列中的可跟踪目标对象集合,其中,所述可跟踪目标对象集合中包含所述待跟踪目标对象;
所述发送模块,用于将在所述预置位状态得到的标示有所述可跟踪目标对象集合的视频帧序列发送给终端设备,其中,所述终端设备用于显示所述摄像机拍摄得到的视频帧序列;
所述确定模块,还用于确定所述终端设备返回的跟踪点坐标,其中,所述跟踪点坐标表示所述待跟踪目标对象在所述视频帧序列中的某一视频帧中的坐标;
所述确定模块,还用于根据所述跟踪点坐标,在所述预置位状态确定所述待跟踪目标对象。
需要说明的是,所述预设检测算法可以是背景建模算法,可以是运动分析算法,可以是检测器检测算法,还可以是其他能够实现运动目标检测的算法,这里不做具体限定。
需要说明的是,所述终端设备可以是智能手机,可以是平板电脑,可以是个人计算机,还可以是其他的终端设备,这里不做具体限定。
优选地,所述设备60还包括:设置模块和第三跟踪模块,其中:
所述设置模块,用于为所述可跟踪目标对象集合中的各个可跟踪目标对象设置对应的识别码;
所述第三跟踪模块,用于在所述预置位状态,采用第三跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄;
所述确定模块,还用于根据所述跟踪点坐标以及在所述预置位状态采用所述第三跟踪法对所述各个可跟踪目标对象进行跟踪拍摄得到的视频帧序列,确定所述待跟踪目标对象的识别码;
所述确定模块,还用于根据所述待跟踪对象的识别码,在所述预置位状态确定所述待跟踪目标对象。
需要说明的是,所述第三跟踪算法是多目标跟踪算法。
通过所述跟踪拍摄的设备,转换模块用于在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;第一跟踪模块用于在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;所述转换模块,还用于当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;第二跟踪模块用于在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同,使得能够在所述缩放跟踪状态和所述持续跟踪状态采用不同的跟踪算法对所述待跟踪目标对象进行跟踪拍摄,确保跟踪拍摄的准确性,有效提高跟踪拍摄的鲁棒性。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (21)
1.一种跟踪拍摄的方法,其特征在于,所述方法应用在无人机中,所述方法包括:
在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;
在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;
当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;
在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同。
2.如权利要求1所述的方法,其特征在于,对所述摄像机进行缩放处理,包括:
平移所述摄像机,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置;
将所述摄像机的焦距调整到预设焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象;
当确定已经跟丢所述待跟踪目标对象时,在所述持续跟踪状态重新寻找所述待跟踪目标对象。
4.如权利要求3所述的方法,其特征在于,判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象,包括:
获取在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中不包含所述待跟踪目标对象时,确定在所述持续跟踪状态已经跟丢所述待跟踪目标对象。
5.如权利要求4所述的方法,其特征在于,在所述持续跟踪状态重新寻找所述待跟踪目标对象,包括:
在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列中,提取所述待跟踪目标对象的第一特征信息;
在确定所述持续跟踪状态已经跟丢所述待跟踪目标对象之后拍摄得到的视频帧序列中,提取运动区域的第二特征信息;
比较所述第一特征信息和所述第二特征信息的相似度;
根据比较结果,判断在所述持续跟踪状态是否寻找到所述待跟踪目标对象。
6.如权利要求5所述的方法,其特征在于,根据比较结果,判断在所述持续跟踪状态是否寻找到所述待跟踪目标对象,包括:
当所述第一特征信息和所述第二特征信息的相似度大于预设值时,确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象;
当所述第一特征信息和所述第二特征信息的相似度不大于所述预设值时,在所述持续跟踪状态重新寻找所述待跟踪目标对象;
当在所述持续跟踪状态重新寻找所述待跟踪目标对象的时长大于预设时长时,确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
当确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象之后,采用所述第二跟踪算法对所述待跟踪对象进行跟踪拍摄;
当确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象之后,将所述无人机从所述持续跟踪状态转换为所述预置位状态。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述预置位状态,确定所述待跟踪目标对象。
9.如权利要求8所述的方法,其特征在于,在所述预置位状态,确定所述待跟踪目标对象,包括:
采用预设检测算法检测并标示出在所述预置位状态拍摄得到的视频帧序列中的可跟踪目标对象集合,其中,所述可跟踪目标对象集合中包含所述待跟踪目标对象;
将所述标示有所述可跟踪目标对象集合的所述视频帧序列发送给终端设备,其中,所述终端设备用于显示所述摄像机拍摄得到的视频帧序列;
确定所述终端设备返回的跟踪点坐标,其中,所述跟踪点坐标表示所述待跟踪目标对象在所述视频帧序列中的某一视频帧中的坐标;
根据所述跟踪点坐标,在所述预置位状态确定所述待跟踪目标对象。
10.如权利要求9所述的方法,其特征在于,根据所述跟踪点坐标,在所述预置位状态确定所述待跟踪目标对象,包括:
为所述可跟踪目标对象集合中的各个可跟踪目标对象设置对应的识别码;
在所述预置位状态,采用第三跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄;
根据所述跟踪点坐标以及在所述预置位状态采用所述第三跟踪法对所述各个可跟踪目标对象进行跟踪拍摄得到的视频帧序列,确定所述待跟踪目标对象的识别码;
根据所述待跟踪对象的识别码,在所述预置位状态确定所述待跟踪目标对象。
11.一种无人机,其特征在于,所述无人机采用如权利要求1-10任一项所述的跟踪拍摄的方法对待跟踪目标对象进行跟踪拍摄。
12.一种跟踪拍摄的设备,其特征在于,所述设备应用在无人机中,所述设备包括:转换模块、第一跟踪模块和第二跟踪模块,其中:
转换模块,用于在预置位状态确定待跟踪目标对象之后,将所述无人机从预置位状态转换为缩放跟踪状态,其中,所述预置位状态表示所述无人机的初始状态;
第一跟踪模块,用于在所述缩放跟踪状态,对摄像机进行缩放处理,并在缩放处理过程中采用第一跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述摄像机位于所述无人机中;
所述转换模块,还用于当所述摄像机缩放完成之后,将所述无人机从所述缩放跟踪状态转换为持续跟踪状态;
第二跟踪模块,用于在所述持续跟踪状态,采用第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄,其中,所述第二跟踪算法和所述第一跟踪算法不相同。
13.如权利要求12所述的设备,其特征在于,所述设备还包括:缩放模块,其中:
所述缩放模块,用于平移所述摄像机,使得所述待跟踪目标对象在所述摄像机中的图像位置达到预设位置;
所述缩放模块,还用于将所述摄像机的焦距调整到预设焦距,使得所述待跟踪目标对象在所述摄像机中的图像大小达到预设大小。
14.如权利要求12所述的设备,其特征在于,所述设备还包括:判断模块和重新寻找模块,其中:
所述判断模块,用于判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象;
所述重新寻找模块,用于当确定已经跟丢所述待跟踪目标对象时,在所述持续跟踪状态重新寻找所述待跟踪目标对象。
15.如权利要求14所述的设备,其特征在于,所述判断模块判断在所述持续跟踪状态是否跟丢所述待跟踪目标对象,包括:
获取在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列;
当所述视频帧序列中连续且超过预设帧数的视频帧中不包含所述待跟踪目标对象时,确定在所述持续跟踪状态已经跟丢所述待跟踪目标对象。
16.如权利要求15所述的设备,其特征在于,所述重新寻找模块在所述持续跟踪状态重新寻找所述待跟踪目标对象,包括:
在所述持续跟踪状态采用所述第二跟踪算法对所述待跟踪目标对象进行跟踪拍摄得到的视频帧序列中,提取所述待跟踪目标对象的第一特征信息;
在确定所述持续跟踪状态已经跟丢所述待跟踪目标对象之后拍摄得到的视频帧序列中,提取运动区域的第二特征信息;
比较所述第一特征信息和所述第二特征信息的相似度;
根据比较结果,判断在所述持续跟踪状态是否寻找到所述待跟踪目标对象。
17.如权利要求16所述的设备,其特征在于,所述重新寻找模块根据比较结果,判断在所述持续跟踪状态是否重新寻找到所述待跟踪目标对象,包括:
当所述第一特征信息和所述第二特征信息的相似度大于预设值时,确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象;
当所述第一特征信息和所述第二特征信息的相似度不大于所述预设值时,在所述持续跟踪状态重新寻找所述待跟踪目标对象;
当在所述持续跟踪状态重新寻找所述待跟踪目标对象的时长大于预设时长时,确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象。
18.如权利要求17所述的设备,其特征在于,
所述跟踪模块,还用于当确定在所述持续跟踪状态重新寻找到所述待跟踪目标对象之后,采用所述第二跟踪算法对所述待跟踪对象进行跟踪拍摄;
所述转换模块,还用于当确定在所述持续跟踪状态未重新寻找到所述待跟踪目标对象之后,将所述无人机从所述持续跟踪状态转换为所述预置位状态。
19.如权利要求12所述的设备,其特征在于,所述设备还包括:确定模块,其中:
所述确定模块,用于在所述预置位状态,确定所述待跟踪目标对象。
20.如权利要求19所述的设备,其特征在于,所述设备还包括:检测模块和发送模块,其中:
所述检测模块,用于采用预设检测算法检测并标示出在所述预置位状态拍摄得到的视频帧序列中的可跟踪目标对象集合,其中,所述可跟踪目标对象集合中包含所述待跟踪目标对象;
所述发送模块,用于将在所述预置位状态得到的标示有所述可跟踪目标对象集合的所述视频帧序列发送给终端设备,其中,所述终端设备用于显示所述摄像机拍摄得到的视频帧序列;
所述确定模块,还用于确定所述终端设备返回的跟踪点坐标,其中,所述跟踪点坐标表示所述待跟踪目标对象在所述视频帧序列中的某一视频帧中的坐标;
所述确定模块,还用于根据所述跟踪点坐标,在所述预置位状态确定所述待跟踪目标对象。
21.如权利要求20所述的设备,其特征在于,所述设备还包括:设置模块和第三跟踪模块,其中:
所述设置模块,用于为所述可跟踪目标对象集合中的各个可跟踪目标对象设置对应的识别码;
所述第三跟踪模块,用于在所述预置位状态,采用第三跟踪算法对所述各个可跟踪目标对象进行跟踪拍摄;
所述确定模块,还用于根据所述跟踪点坐标以及在所述预置位状态采用所述第三跟踪法对所述各个可跟踪目标对象进行跟踪拍摄得到的视频帧序列,确定所述待跟踪目标对象的识别码;
所述确定模块,还用于根据所述待跟踪对象的识别码,在所述预置位状态确定所述待跟踪目标对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710126669.9A CN108537726B (zh) | 2017-03-03 | 2017-03-03 | 一种跟踪拍摄的方法、设备和无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710126669.9A CN108537726B (zh) | 2017-03-03 | 2017-03-03 | 一种跟踪拍摄的方法、设备和无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108537726A true CN108537726A (zh) | 2018-09-14 |
CN108537726B CN108537726B (zh) | 2022-01-04 |
Family
ID=63489239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710126669.9A Active CN108537726B (zh) | 2017-03-03 | 2017-03-03 | 一种跟踪拍摄的方法、设备和无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108537726B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147122A (zh) * | 2019-06-14 | 2019-08-20 | 深圳市道通智能航空技术有限公司 | 一种移动目标的追踪方法、装置及无人机 |
CN111127509A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111291585A (zh) * | 2018-12-06 | 2020-06-16 | 杭州海康威视数字技术股份有限公司 | 一种基于gps的目标跟踪系统、方法、装置及球机 |
CN111488772A (zh) * | 2019-01-29 | 2020-08-04 | 杭州海康威视数字技术股份有限公司 | 烟雾检测的方法和装置 |
CN111563913A (zh) * | 2020-04-15 | 2020-08-21 | 上海摩象网络科技有限公司 | 基于跟踪目标的搜索方法、设备及其手持相机 |
CN112581497A (zh) * | 2019-09-30 | 2021-03-30 | 阿里巴巴集团控股有限公司 | 多目标跟踪方法、系统、计算设备及存储介质 |
CN112639815A (zh) * | 2020-03-27 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 |
CN113877173A (zh) * | 2021-10-09 | 2022-01-04 | 中国人民解放军国防科技大学 | 一种用于跑步训练的有轨机器人 |
WO2022257597A1 (en) * | 2021-06-09 | 2022-12-15 | Huawei Technologies Co., Ltd. | Method and apparatus for flexible local tracking |
CN115601308A (zh) * | 2022-09-22 | 2023-01-13 | 中国人民解放军军事科学院国防科技创新研究院(Cn) | 基于光电吊舱的目标追踪方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100256909A1 (en) * | 2004-06-18 | 2010-10-07 | Geneva Aerospace, Inc. | Collision avoidance for vehicle control systems |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
CN105654512A (zh) * | 2015-12-29 | 2016-06-08 | 深圳羚羊微服机器人科技有限公司 | 一种目标跟踪方法和装置 |
CN105957109A (zh) * | 2016-04-29 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法和装置 |
CN106056624A (zh) * | 2016-05-24 | 2016-10-26 | 西北工业大学 | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 |
-
2017
- 2017-03-03 CN CN201710126669.9A patent/CN108537726B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100256909A1 (en) * | 2004-06-18 | 2010-10-07 | Geneva Aerospace, Inc. | Collision avoidance for vehicle control systems |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN104811667A (zh) * | 2015-04-29 | 2015-07-29 | 深圳市保千里电子有限公司 | 一种无人机跟踪目标的方法及系统 |
CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及系统 |
CN105654512A (zh) * | 2015-12-29 | 2016-06-08 | 深圳羚羊微服机器人科技有限公司 | 一种目标跟踪方法和装置 |
CN105957109A (zh) * | 2016-04-29 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 目标跟踪方法和装置 |
CN106056624A (zh) * | 2016-05-24 | 2016-10-26 | 西北工业大学 | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127509B (zh) * | 2018-10-31 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111127509A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 目标跟踪方法、装置和计算机可读存储介质 |
CN111291585A (zh) * | 2018-12-06 | 2020-06-16 | 杭州海康威视数字技术股份有限公司 | 一种基于gps的目标跟踪系统、方法、装置及球机 |
CN111291585B (zh) * | 2018-12-06 | 2023-12-08 | 杭州海康威视数字技术股份有限公司 | 一种基于gps的目标跟踪系统、方法、装置及球机 |
CN111488772A (zh) * | 2019-01-29 | 2020-08-04 | 杭州海康威视数字技术股份有限公司 | 烟雾检测的方法和装置 |
CN111488772B (zh) * | 2019-01-29 | 2023-09-22 | 杭州海康威视数字技术股份有限公司 | 烟雾检测的方法和装置 |
CN110147122A (zh) * | 2019-06-14 | 2019-08-20 | 深圳市道通智能航空技术有限公司 | 一种移动目标的追踪方法、装置及无人机 |
CN112581497A (zh) * | 2019-09-30 | 2021-03-30 | 阿里巴巴集团控股有限公司 | 多目标跟踪方法、系统、计算设备及存储介质 |
CN112639815A (zh) * | 2020-03-27 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、目标跟踪装置、可移动平台和存储介质 |
CN111563913B (zh) * | 2020-04-15 | 2021-12-10 | 上海摩象网络科技有限公司 | 基于跟踪目标的搜索方法、设备及其手持相机 |
CN111563913A (zh) * | 2020-04-15 | 2020-08-21 | 上海摩象网络科技有限公司 | 基于跟踪目标的搜索方法、设备及其手持相机 |
WO2022257597A1 (en) * | 2021-06-09 | 2022-12-15 | Huawei Technologies Co., Ltd. | Method and apparatus for flexible local tracking |
US12102873B2 (en) | 2021-06-09 | 2024-10-01 | Huawei Technologies Co., Ltd. | Method and apparatus for flexible local tracking |
CN113877173A (zh) * | 2021-10-09 | 2022-01-04 | 中国人民解放军国防科技大学 | 一种用于跑步训练的有轨机器人 |
CN115601308A (zh) * | 2022-09-22 | 2023-01-13 | 中国人民解放军军事科学院国防科技创新研究院(Cn) | 基于光电吊舱的目标追踪方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108537726B (zh) | 2022-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537726A (zh) | 一种跟踪拍摄的方法、设备和无人机 | |
CN111311684B (zh) | 一种进行slam初始化的方法与设备 | |
CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
CN110278382B (zh) | 一种聚焦方法、装置、电子设备及存储介质 | |
CN110986969B (zh) | 地图融合方法及装置、设备、存储介质 | |
CN104613930B (zh) | 一种测距的方法、装置及移动终端 | |
WO2014128498A2 (en) | Generation of 3d models of an environment | |
EP3028252A1 (en) | Rolling sequential bundle adjustment | |
CN111161347A (zh) | 一种进行slam初始化的方法与设备 | |
CN110245641A (zh) | 一种目标追踪拍摄方法、装置、电子设备 | |
CN108109176A (zh) | 物品检测定位方法、装置及机器人 | |
CN112965592A (zh) | 设备交互方法、装置及系统 | |
Jacobs et al. | Webcam geo-localization using aggregate light levels | |
CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN104104911B (zh) | 全景图像生成过程中的时间戳消除和重置方法及系统 | |
CN111178266B (zh) | 一种生成人脸关键点的方法及装置 | |
CN105608423A (zh) | 一种视频匹配方法及装置 | |
Di Castro et al. | Object detection and 6D pose estimation for precise robotic manipulation in unstructured environments | |
CN105451009B (zh) | 一种信息处理方法及电子设备 | |
KR101741501B1 (ko) | 카메라와 객체 간 거리 추정 장치 및 그 방법 | |
Spevakov et al. | Detecting objects moving in space from a mobile vision system | |
US9824455B1 (en) | Detecting foreground regions in video frames | |
CN104506768A (zh) | 图像选择方法、装置及终端 | |
US9842402B1 (en) | Detecting foreground regions in panoramic video frames | |
CN108734721B (zh) | 追踪系统以及追踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |