CN113228103A - 目标跟踪方法、装置、无人机、系统及可读存储介质 - Google Patents

目标跟踪方法、装置、无人机、系统及可读存储介质 Download PDF

Info

Publication number
CN113228103A
CN113228103A CN202080007155.1A CN202080007155A CN113228103A CN 113228103 A CN113228103 A CN 113228103A CN 202080007155 A CN202080007155 A CN 202080007155A CN 113228103 A CN113228103 A CN 113228103A
Authority
CN
China
Prior art keywords
target
tracked
information
detection information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080007155.1A
Other languages
English (en)
Inventor
丁旭
郭亚娜
张李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113228103A publication Critical patent/CN113228103A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

一种目标跟踪方法、装置、无人机、系统及可读存储介质，其中该方法包括：获取当前拍摄图像；对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息；根据第一目标检测信息和第二目标检测信息对待跟踪目标进行跟踪拍摄。该方法提高了跟踪目标的准确性。

Description

目标跟踪方法、装置、无人机、系统及可读存储介质
技术领域
本申请涉及目标跟踪技术领域，尤其涉及一种目标跟踪方法、装置、无人机、系统及可读存储介质。
背景技术
目前，无人机可以实现对目标进行跟踪拍摄，例如，跟踪拍摄人、车、动物等，现有的目标跟踪算法通常是在图像的二维平面内进行，主要利用目标的二维图像信息对目标进行跟踪拍摄。在一些情况下，由于遮挡和交错等情况的出现，仅通过目标的二维图像信息对目标进行跟踪是无法准确地跟踪目标的，容易导致跟踪的目标丢失。因此，如何准确地跟踪目标，防止跟踪的目标丢失是目前亟待解决的问题。
发明内容
基于此，本申请实施例提供了一种目标跟踪方法、装置、无人机、系统及可读存储介质，旨在准确地跟踪目标，防止跟踪的目标。
第一方面，本申请实施例提供了一种目标跟踪方法，包括：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，其中，所述第一目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息，所述第二目标检测信息包括所述待跟踪目标在所述当前拍摄图像内的位置信息和第二尺寸信息；
根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
第二方面，本申请实施例还提供了一种目标跟踪装置，应用于无人机，所述无人机包括拍摄装置，所述目标跟踪装置包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述的目标跟踪方法的步骤。
第三方面，本申请实施例还提供了一种无人机，所述无人机包括拍摄装置、存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上所述的目标跟踪方法的步骤。
第四方面，本申请实施例还提供了一种控制系统，所述控制系统包括控制终端和如本申请实施例提供的任一项所述的无人机，所述控制终端用于控制所述无人机运行。
第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的目标跟踪方法的步骤。
本申请实施例提供了一种目标跟踪方法、装置、无人机、系统及可读存储介质，通过获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像，并对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息，然后基于待跟踪目标的第一目标检测信息和第二目标检测信息对待跟踪目标进行跟踪拍摄，进而可以避免其他目标对象的干扰，能够准确地跟踪目标，防止跟踪的目标丢失，极大地提高了目标跟踪的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的一种控制系统的结构示意图；
图2是本申请实施例提供的一种目标跟踪方法的步骤示意流程图；
图3是图2中的目标跟踪方法的子步骤示意流程图；
图4是本申请实施例提供的另一种目标跟踪方法的步骤示意流程图；
图5是本申请的实施例提供的目标跟踪的场景示意图；
图6是本申请的实施例提供的拍摄图像中包括多个目标对象的场景示意图；
图7是本申请实施例提供的一种目标跟踪装置的结构示意性框图；
图8是本申请实施例提供的一种无人机的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
目前，无人机可以实现对目标进行跟踪拍摄，例如，跟踪拍摄人、车、动物等，现有的目标跟踪算法通常是在图像的二维平面内进行，主要利用目标的二维图像信息对目标进行跟踪拍摄。在一些情况下，由于遮挡和交错等情况的出现，仅通过目标的二维图像信息对目标进行跟踪是无法准确地跟踪目标的，容易导致跟踪的目标丢失。因此，如何准确地跟踪目标，防止跟踪的目标丢失是目前亟待解决的问题。
基于上述问题，本申请实施例提供一种目标跟踪方法、装置、无人机、系统及可读存储介质，该目标跟踪方法可以应用于无人机、也可以应用于目标跟踪装置，还可以应用于控制系统。请参阅图1，图1是实施本申请实施例提供的一种控制系统的结构示意图。如图1所示，该控制系统100包括控制终端110和无人机120，控制终端110与无人机120通信连接，用于控制无人机120的飞行，无人机120用于对待跟踪目标进行跟踪，将跟踪拍摄的图像，利用无线图传技术发送至控制终端110进行显示。
具体地，控制终端110包括显示装置111，显示装置111用于显示无人机拍摄的图像。需要说明的是，显示装置111包括设置在控制终端110上的显示屏或者独立于控制终端110的显示器，独立于控制终端110的显示器可以包括手机、平板电脑或者个人电脑等，或者也可以是带有显示屏的其他电子设备。其中，该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
无人机120包括拍摄装置121，拍摄装置121用于对待跟踪目标进行拍摄，得到当前拍摄图像，并将当前拍摄图像发给无人机，由无人机根据当前拍摄图像对待跟踪目标进行检测。拍摄装置121具体可以包括一个摄像头，即单目拍摄方案；也可以包括两个摄像头，即双目拍摄方案。
无人机120可以是旋翼飞机。在某些情形下，无人机120可以是可包括多个旋翼的多旋翼飞行器。多个旋翼可旋转而为无人机120产生提升力。旋翼可以是推进单元，可使得无人机120在空中自由移动。旋翼可按相同速率旋转和/或可产生相同量的提升力或推力。旋翼可按不同的速率随意地旋转，产生不同量的提升力或推力和/或允许无人机120旋转。在某些情形下，在无人机120上可提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。这些旋翼可布置成其旋转轴彼此平行。在某些情形下，旋翼的旋转轴可相对于彼此呈任意角度，从而可影响无人机120的运动。
无人机120可包括多个旋翼。旋翼可连接至无人机120的本体，无人机120的本体可包含控制单元、惯性测量单元(inertial measuring unit，IMU)、处理器、电池、电源和/或其他传感器。旋翼可通过从本体中心部分分支出来的一个或多个臂或延伸而连接至本体。例如，一个或多个臂可从无人机120的中心本体放射状延伸出来，而且在臂末端或靠近末端处可具有旋翼。示例性的，无人机120可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
以下，将结合图1中的控制系统对本申请的实施例提供的目标跟踪方法进行详细介绍。需知，图1中的控制系统仅用于解释本申请实施例提供的目标跟踪方法，但并不构成对本申请实施例提供的目标跟踪方法应用场景的限定。
请参阅图2，图2是本申请实施例提供的一种目标跟踪方法的步骤示意流程图。该目标跟踪方法可以应用在无人机中，用于准确地跟踪目标，防止跟踪的目标丢失。无人机包括旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
具体地，如图2所示，该目标跟踪方法包括步骤S101至步骤S103。
S101、获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
S102、对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息；
S103、根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
在对待跟踪目标进行跟踪时，需要获取包含待跟踪目标的当前拍摄图像，具体可以通过拍摄装置拍摄待跟踪目标所在空间区域的图像，得到包含待跟踪目标得到的当前拍摄图像，并对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息，以便根据第一目标检测信息和第二目标检测信息对待跟踪目标进行跟踪拍摄。其中，第一目标检测信息为待跟踪目标在三维空间内的信息，包括待跟踪目标在世界坐标系下的第一尺寸信息和待跟踪目标相对于无人机的角度信息，第二目标检测信息为待跟踪目标在二维图像空间内的信息，包括待跟踪目标在当前拍摄图像内的位置信息和第二尺寸信息。通过综合考虑待跟踪目标在三维空间内的信息和待跟踪目标在二维图像空间内的信息，可以准确地对待跟踪目标进行跟踪，防止待跟踪目标丢失。
在一实施例中，待跟踪目标相对于无人机的角度信息包括待跟踪目标相对于无人机的yaw角、pitch角和roll角，第一尺寸信息包括待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，第二尺寸信息包括待跟踪目标在当前拍摄图像内的长度信息、宽度信息和/或高度信息，第一目标检测信息还包括待跟踪目标在相机坐标系下的位置信息，通过相机坐标系与世界坐标系之间的转换关系可以将待跟踪目标在相机坐标系下的位置信息转换为待跟踪目标在世界坐标系下的位置信息。
在一实施例中，对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息的方式可以为：将当前拍摄图像输入预设的3D目标检测模型进行处理，得到待跟踪目标的第一目标检测信息；将当前拍摄图像输入预设的2D目标检测模型进行处理，得到待跟踪目标的第二目标检测信息。其中，3D目标检测模型为预先训练好的第一神经网络模型，2D目标检测模型为预先训练好的第二神经网络模型，第一神经网络模型与第二神经网络模型不同，第一神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN中的任一项，第二神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN中的任一项。
在一实施例中，对第一神经网络模型进行训练得到3D目标检测模型的方式可以为：获取第一训练样本数据，其中，第一训练样本数据包括多个第一图像以及每个第一图像中的待跟踪目标的第一目标检测信息；根据第一训练样本数据对第一神经网络模型进行迭代训练，直到迭代训练后的第一神经网络模型收敛，得到3D目标检测模型。通过包括待跟踪目标相对于无人机的yaw角、pitch角和roll角、待跟踪目标在相机坐标系下的位置信息和待跟踪目标在世界坐标系下的第一尺寸信息等的第一目标检测信息和对应的图像对第一神经网络模型进行训练，能够解决现有的3D目标检测算法无法在无人机上复用的问题，使得无人机能够基于3D目标检测模型对待跟踪目标进行目标检测，便于后续无人机对待跟踪目标进行跟踪拍摄，极大地提高了用户体验。
在一实施例中，对第二神经网络模型进行训练得到2D目标检测模型的方式可以为：获取第二训练样本数据，其中，所述第二训练样本数据包括多个第二图像以及每个第二图像中的待跟踪目标的第二目标检测信息；根据第二训练样本数据对第二神经网络模型进行迭代训练，直到迭代训练后的第二神经网络模型收敛，得到2D目标检测模型。通过包括待跟踪目标在所述当前拍摄图像内的位置信息和第二尺寸信息的第二目标检测信息和对应的图像对第二神经网络模型进行训练，能够得到2D目标检测模型，使得无人机能够基于2D目标检测模型对待跟踪目标进行目标检测，便于后续无人机对待跟踪目标进行跟踪拍摄，极大地提高了用户体验。
在一实施例中，如图3所示，步骤S103具体包括：子步骤S1031至S1032。
S1031、根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标。
在获取到待跟踪目标的第一目标检测信息和第二目标检测信息后，通过预设目标跟踪算法对第一目标检测信息和第二目标检测信息进行处理，能够预测得到待跟踪目标在世界坐标系下的下一时刻的目标位置坐标。其中，预设目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。在其他一些实施例中，还可以使用其他目标跟踪算法，在此不做限定。通过融合待跟踪目标的第一目标检测信息和第二目标检测信息，能够准确地预测待跟踪目标在世界坐标系下的目标位置坐标，便于对待跟踪目标进行跟踪，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，极大地提高了跟踪的准确性。
在一实施例中，根据第一目标检测信息和第二目标检测信息，预测待跟踪目标在世界坐标系下的目标位置坐标的方式可以为：根据第一目标检测信息和预设目标跟踪算法，预测待跟踪目标在世界坐标系下的第一候选位置坐标；根据第二目标检测信息和预设目标跟踪算法，预测待跟踪目标在世界坐标系下的第二候选位置坐标；根据第一候选位置坐标和第二候选位置坐标，确定待跟踪目标在世界坐标系下的目标位置坐标。其中，第一目标检测信息为待跟踪目标在三维空间内的信息，第二目标检测信息为待跟踪目标在二维图像空间内的信息。通过融合待跟踪目标在世界坐标系下的信息和待跟踪目标当前拍摄图像内的信息，能够准确地预测待跟踪目标在世界坐标系下的目标位置坐标，便于对待跟踪目标进行跟踪，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，极大地提高了跟踪的准确性。
在一实施例中，根据第一候选位置坐标和第二候选位置坐标，确定待跟踪目标在世界坐标系下的目标位置坐标的方式可以为：获取第一预设系数和第二预设系数；计算第一预设系数与第一候选位置坐标的乘积，得到第一权重位置坐标，并计算第二预设系数与第二候选位置坐标的乘积，得到第二权重位置坐标；将第一权重位置坐标与第二权重位置坐标相加，得到待跟踪目标在世界坐标系下的目标位置坐标。其中，第一预设系数与第二预设系数之和为1，第一预设系数和第二预设系数可基于实际情况进行设置，本申请实施例对此不做具体限定，例如，第一预设系数为0.65，第二预设系数为0.35。
S1032、根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
在预测到待跟踪目标在世界坐标系下的目标位置坐标后，基于该目标位置坐标控制无人机对待跟踪目标进行跟踪拍摄，使得待跟踪目标始终位于拍摄装置的拍摄画面的中央位置、无人机相对待跟踪目标静止和/或无人机与待跟踪目标之间的距离始终为固定距离。
在一实施例中，待跟踪目标的第一目标检测信息包括待跟踪目标在相机坐标系下的位置信息，根据目标位置坐标控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：将待跟踪目标在相机坐标系下的位置信息转换为待跟踪目标在世界坐标系下的第一位置信息；获取无人机的第二位置信息，并根据第一位置信息和第二位置信息，确定待跟踪目标与无人机之间的目标距离；根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄，使得无人机与待跟踪目标之间的距离始终为目标距离。其中，无人机的第二位置信息可以根据无人机的定位装置在当前时刻采集到的位置信息，定位装置包括全球定位系统(Global Positioning System，GPS)定位装置和实时动态(Real-time kinematic，RTK)定位装置中的任一项。通过目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄能够保证无人机与待跟踪目标之间的距离始终为目标距离，提高用户体验。
在一实施例中，根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据待跟踪目标在世界坐标系下的目标位置坐标和无人机的第二位置信息，确定待跟踪目标的位置处于目标位置坐标对应的位置时无人机与待跟踪目标之间的距离预测值；确定该目标距离与该距离预测值的差值，并基于目标距离与该距离预测值的差值和无人机的第二位置信息，确定无人机的目标位置；控制无人机由当前位置飞行至目标位置，并在该目标位置对待跟踪目标进行跟踪拍摄，使得无人机达到目标位置时无人机与待跟踪目标之间的距离为该目标距离。
在一实施例中，根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据待跟踪目标的第一目标检测信息，确定待跟踪目标的运动速度；根据待跟踪目标的运动速度，控制无人机对待跟踪目标进行跟踪拍摄，使得无人机相对待跟踪目标静止，即控制无人机按照与该运动速度相同的飞行速度飞行，使得无人机相对待跟踪目标静止。通过在无人机跟踪拍摄待跟踪目标的过程中，保证无人机相对待跟踪目标静止，便于无人机通过拍摄装置拍摄待跟踪目标，提高用户体验。
在一实施例中，根据目标位置坐标和目标距离，控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据待跟踪目标的第一目标检测信息，确定待跟踪目标的运动速度；根据待跟踪目标的目标位置坐标、运动速度和目标距离，控制无人机对待跟踪目标进行跟踪拍摄，使得无人机相对待跟踪目标静止，且无人机与待跟踪目标之间的距离始终为目标距离。通过在无人机跟踪拍摄待跟踪目标的过程中，保证无人机相对待跟踪目标静止，且无人机与待跟踪目标之间的距离始终为目标距离，便于无人机通过拍摄装置拍摄待跟踪目标，提高用户体验。
在一实施例中，根据待跟踪目标的第一目标检测信息，确定待跟踪目标的运动速度的方式可以为：获取待跟踪目标的第一目标检测信息中的待跟踪目标在相机坐标系下的位置坐标，并将待跟踪目标在相机坐标系下的位置坐标转换为待跟踪目标在世界坐标系下的当前位置坐标；获取待跟踪目标在世界坐标系下的历史位置坐标，并基于待跟踪目标在世界坐标系下的当前位置坐标和历史位置坐标，确定待跟踪目标的运动距离；根据待跟踪目标在世界坐标系下的当前位置坐标的第一采集时刻和历史位置坐标的第二采集时刻，确定待跟踪目标的运动时长；根据待跟踪目标的运动距离和运动时长，确定待跟踪目标的运动速度。其中，待跟踪目标在世界坐标系下的历史位置坐标为在上一个时刻确定的待跟踪目标在世界坐标系下的位置坐标。
在一实施例中，也可以根据待跟踪目标的第二目标检测信息，确定待跟踪目标的运动速度，或者，根据待跟踪目标的第一目标检测信息和第二目标检测信息，综合确定待跟踪目标的运动速度，即基于待跟踪目标的第一目标检测信息，确定待跟踪目标的第一运动速度，并基于待跟踪目标的第二目标检测信息，确定待跟踪目标的第二运动速度，然后基于待跟踪目标的第一运动速度和第二运动速度，确定待跟踪目标的最终运动速度。通过第一目标检测信息和第二目标检测信息，综合确定待跟踪目标的运动速度，可以提高待跟踪目标的运动速度的准确性。
在一实施例中，基于待跟踪目标的第一运动速度和第二运动速度，确定待跟踪目标的最终运动速度的方式可以为：计算第一运动速度对应的第一预设系数与第一运动速度的乘积，并计算第二运动速度对应的第二预设系数与第二运动速度的乘积，在得到两个乘积之后，将两个乘积的和作为待跟踪目标的最终运动速度。其中，第一预设系数和第二预设系数可基于实际情况进行设置，本申请实施例对此不做具体限定。利用第一预设系数和第二预设系数可以调整第一目标检测信息和第二目标检测信息对待跟踪目标的运动速度的影响程度，因此能够更为准确地确定待跟踪目标的运动速度。
在一实施例中，根据目标位置坐标控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：根据该目标位置坐标，确定无人机上的拍摄装置的目标姿态；根据目标姿态控制无人机对待跟踪目标进行跟踪拍摄，使得待跟踪目标始终位于拍摄装置的拍摄画面的中央位置。通过在无人机跟踪拍摄待跟踪目标的过程中，保证待跟踪目标始终位于拍摄装置的拍摄画面的中央位置，便于用户观看和控制无人机的拍摄装置对待跟踪目标进行拍摄，极大地提高了用户体验。
在一实施例中，根据该目标位置坐标，确定无人机上的拍摄装置的目标姿态的方式可以为：将该目标位置坐标转换为图像坐标系下的第一像素坐标，并获取拍摄画面的中央位置的第二像素坐标；根据第一像素坐标和第二像素坐标，确定待跟踪目标相对于拍摄画面的中央位置的方位信息，并根据待跟踪目标相对于拍摄画面的中央位置的方位信息，确定无人机上的拍摄装置的目标姿态，使得当无人机的拍摄装置的姿态为该目标姿态时待跟踪目标位于拍摄画面的中央位置。
在一实施例中，根据目标姿态控制无人机对待跟踪目标进行跟踪拍摄的方式可以为：将无人机上的拍摄装置的姿态调整为该目标姿态，使得待跟踪目标始终位于拍摄装置的拍摄画面的中央位置。其中，可以通过调整搭载拍摄装置的云台来改变拍摄装置的姿态，也可以通过调整无人机的飞行姿态来改变拍摄装置的姿态，还可以通过同时调整搭载拍摄装置的云台和无人机的飞行姿态来改变拍摄装置的姿态。
上述实施例提供的目标跟踪方法，通过获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像，并对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息，然后基于待跟踪目标的第一目标检测信息和第二目标检测信息对待跟踪目标进行跟踪拍摄，进而可以避免其他目标对象的干扰，能够准确地跟踪目标，防止跟踪的目标丢失，极大地提高了目标跟踪的准确率。
请参阅图4，图4是本申请实施例提供的另一种目标跟踪方法的步骤示意流程图。
如图4所示，该目标跟踪方法包括步骤S201至S204。
S201、获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
S202、对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息；
S203、当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标；
S204、根据所述待跟踪目标的第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
一般情况下，在获取包含待跟踪目标的当前拍摄图像之后，即可以基于目标跟踪算法，根据当前拍摄图像中待跟踪目标的图像特征对待跟踪目标进行跟踪。然而由于在实际跟踪过程中，常常会出现与该跟踪目标类似的目标对象的影响，并且还可能会有遮挡和交错等情况的出现，因此会导致待跟踪目标的跟踪丢失。其中，目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。在其他一些实施例中，还可以使用其他目标跟踪算法，在此不做限定。
示例性的，如图5所示，无人机200通过拍摄装置201对待跟踪目标(车辆A)进行拍摄，得到包括该车辆A的当前拍摄图像。无人机200获取该包含该车辆A的当前拍摄图像，并根据当前拍摄图像对车辆A进行跟踪拍摄，并将跟踪拍摄的当前拍摄图像发送给控制终端100进行显示，以及在定位的待跟踪目标上显示跟踪标识，如图5中控制终端100的显示装置101显示的车辆的定位框。
示例性的，如图6所示，如果在对车辆A进行跟踪的过程中，若当前拍摄图像中出现多个车辆，比如为车辆1、车辆2、车辆3和车辆4，其中，车辆3和车辆4又是相同类型的车辆。假设车辆3和车辆4中有一辆车是待跟踪目标(车辆A)，由于车辆A所在的当前拍摄图像中出现多辆车辆，还包括与车辆A完全相同的车辆，由此若此时出现遮挡或交错等原因，可能会导致待跟踪目标跟踪丢失的情况出现。其中，待跟踪目标跟踪丢失的情况包括：无法区别哪一个车辆为待跟踪目标或者跟踪到错误的目标对象。
为此，在对待跟踪目标进行跟踪时，获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像；对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息；当确定当前拍摄图像包括多个目标对象时，根据多个目标对象的第一目标检测信息从多个目标对象中确定待跟踪目标；根据待跟踪目标的第一目标检测信息和第二目标检测信息对待跟踪目标进行跟踪拍摄。由于第一目标检测信息包括待跟踪目标相对于无人机的角度信息，也即不同的目标对象相对于无人机的角度信息大概率存在不同，因此在跟踪待跟踪目标的过程中，当出现多个目标对象时，使用第一目标检测信息中的目标对象相对于无人机的角度信息可以确定待跟踪目标，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，例如，避免出现图像特征相同或相似的两个目标难以区分而导致的错跟问题，由此可以提高目标跟踪的准确率。
在一实施例中，根据多个目标对象的第一目标检测信息从多个目标对象中确定待跟踪目标的方式可以为：根据多个目标对象的第一目标检测信息，确定多个目标对象的运动信息；根据待跟踪目标的第一目标检测信息确定待跟踪目标的运动信息；根据待跟踪目标的运动信息和多个目标对象的运动信息，计算待跟踪目标与多个所述目标对象的相似度；根据相似度从多个目标对象中确定待跟踪目标。由于不同的目标对象有可能类型比较类似或者完全相同，比如差不多身高和胖瘦的行人，或者类似车型的车辆，或者完全相同的车辆，导致这些目标对象的图像特征比较相近，因此根据图像特征进行跟踪的话，可能无法区分。但是不同的目标对象对应的运动信息大概率存在不同，因此在目标跟踪过程，当出现多个目标对象时，使用运动信息确定待跟踪目标，由此可以提高目标跟踪的准确率。
在一实施例中，由于运动信息包括位置信息和/或速度信息。相应地，待跟踪目标与目标对象的相似度包括位置相似度和/或速度相似度。由此，根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定待跟踪目标的方式可以为：根据待跟踪目标与多个目标对象的位置相似度，从多个目标对象中确定待跟踪目标；或者，根据待跟踪目标与多个目标对象的速度相似度，从多个目标对象中确定待跟踪目标；再或者，根据待跟踪目标与多个目标对象的位置相似度和速度相似度，从多个目标对象中确定待跟踪目标。需要说明的是，根据位置相似度和速度相似度，从多个目标对象中确定待跟踪目标，可以根据位置相似度和速度相似度之和，确定最大的和值对应的目标对象为待跟踪目标。
在一实施例中，为了提高待跟踪目标确定的准确率。根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定待跟踪目标的方式可以为：获取位置相似度对应的第一预设权重，以及速度相似度对应的第二预设权重；根据位置相似度、速度相似度、第一预设权重和第二预设权重，从多个目标对象中确定所述待跟踪目标。其中，第一预设权重和第二预设权重可基于实际情况进行设置，本申请实施例对此不做具体限定。
在一实施例中，根据位置相似度、速度相似度、第一预设权重和第二预设权重，从多个目标对象中确定所述待跟踪目标的方式可以为：计算位置相似度与第一预设权重的乘积，以及计算速度相似度与第二预设权重的乘积；再计算两个乘积之和，将两个乘积之和作为待跟踪目标与目标对象的最终相似度，将最大的最终相似度对应的目标对象确定为待跟踪目标。利用预设权重可以调整位置信息和速度信息之间的影响大小，因此能够更为准确地确定待跟踪目标，进而提高目标跟踪的准确率。
在一实施例中，位置相似度对应的第一预设权重小于速度相似度对应的第二预设权重。由于位置信息在前后帧拍摄图像中有较小的变化，而速度信息在前后帧拍摄图像中则基本不变，因此通过设置不同权重比例，提高速度相似度的占比，可以提高跟踪目标确定的准确率，进而提高目标跟踪的准确率。
在一实施例中，根据当前拍摄图像确定待跟踪目标的图像特征；根据待跟踪目标与多个目标对象的相似度和待跟踪目标的图像特征，从多个目标对象中确定待跟踪目标，即从多个目标对象中，找出与该待跟踪目标相似度最高以及图像特征最近的目标对象作为待跟踪目标。通过结合待跟踪目标的图像特征和待跟踪目标与多个目标对象的相似度，能够进一步地准确地确定待跟踪目标，进而提高目标跟踪的准确率。
在一实施例中，根据待跟踪目标的图像特征从多个目标对象中，确定与待跟踪目标相似的目标对象；根据待跟踪目标与多个目标对象的相似度从与待跟踪目标相似的目标对象中，确定待跟踪目标。先通过待跟踪目标的图像特征从多个目标对象中，确定与待跟踪目标相似的目标对象，再根据待跟踪目标与多个目标对象的相似度从与待跟踪目标相似的目标对象中，确定待跟踪目标，能够了快速以及准确地确定待跟踪目标。其中，该图像特征包括目标在拍摄图像中对应的颜色特征、分布位置特征、纹理特征、轮廓特征中一种或多种。
在一实施例中，根据待跟踪目标与多个目标对象的相似度从多个目标对象中确定所述待跟踪目标的方式可以为：根据待跟踪目标与多个目标对象的相似度和待跟踪目标的Reid特征，从多个目标对象中确定待跟踪目标；其中，该Reid特征为采用行人重识别技术从当前拍摄图像识别出的待跟踪目标的特征。通过待跟踪目标与多个目标对象的相似度和待跟踪目标的Reid特征，从多个目标对象中确定待跟踪目标，可以弥补无人机的拍摄装置的视觉局限，以及提高待跟踪目标确定的准确率，进而提高目标跟踪的准确率。
在一实施例中，根据多个目标对象的第一目标检测信息从多个目标对象中确定所述待跟踪目标之前，当确定当前拍摄图像包括多个目标对象时，根据当前拍摄图像，获取待跟踪目标的图像特征和多个目标对象的图像特征；根据待跟踪目标的图像特征和多个目标对象的图像特征，确定多个目标对象中是否存在与待跟踪目标相似的目标对象；当确定多个目标对象中存在至少两个与待跟踪目标相似的目标对象时，根据多个目标对象的第一目标检测信息从多个目标对象中确定待跟踪目标。若多个目标对象中只存在一个与待跟踪目标相似的目标对象，即使出现目标跟踪丢失的情况，也可以从图像特征识别的角度重新对该待跟踪目标进行跟踪。若多个目标对象中存在至少两个与待跟踪目标相似的目标对象，才有可能因为遮挡或交叉等原因造成目标跟踪丢失，因此需要使用第一目标检测信息进行进一步地确定，由此可以提高待跟踪目标的跟踪的准确率。
上述实施例提供的目标跟踪方法，在对待跟踪目标进行跟踪时，获取拍摄装置拍摄待跟踪目标得到的当前拍摄图像；对当前拍摄图像中的待跟踪目标进行目标检测，得到待跟踪目标的第一目标检测信息和第二目标检测信息；当确定当前拍摄图像包括多个目标对象时，根据多个目标对象的第一目标检测信息从多个目标对象中确定待跟踪目标；根据待跟踪目标的第一目标检测信息和第二目标检测信息对待跟踪目标进行跟踪拍摄，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，提高跟踪目标的准确性。
请参阅图7，图7是本申请实施例提供的一种目标跟踪装置的结构示意性框图。
该目标跟踪装置应用无人机，该无人机包括拍摄装置，如图7所示，目标跟踪装置300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线303比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器301用于运行存储在存储器302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，其中，所述第一目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息，所述第二目标检测信息包括所述待跟踪目标在二维图像平面的位置信息和第二尺寸信息；
根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，包括：
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的第一目标检测信息；
将所述当前拍摄图像输入预设的2D目标检测模型进行处理，得到所述待跟踪目标的第二目标检测信息。
在一实施例中，所述处理器还用于实现以下步骤：
获取第一训练样本数据，其中，所述第一训练样本数据包括多个第一图像以及每个所述第一图像中的待跟踪目标的第一目标检测信息；
根据所述第一训练样本数据对第一神经网络模型进行迭代训练，直到迭代训练后的第一神经网络模型收敛，得到所述3D目标检测模型。
在一实施例中，所述处理器还用于实现以下步骤：
获取第二训练样本数据，其中，所述第二训练样本数据包括多个第二图像以及每个所述第二图像中的待跟踪目标的第二目标检测信息；
根据所述第二训练样本数据对第二神经网络模型进行迭代训练，直到迭代训练后的第二神经网络模型收敛，得到所述2D目标检测模型。
在一实施例中，所述第一神经网络模型包括卷积神经网络模型CNN、RCNN、FastRCNN和Faster RCNN。
在一实施例中，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
在一实施例中，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
在一实施例中，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述第一目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第一候选位置坐标；
根据所述第二目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第二候选位置坐标；
根据所述第一候选位置坐标和第二候选位置坐标，确定所述待跟踪目标在世界坐标系下的目标位置坐标。
在一实施例中，所述第二目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离，包括：
根据所述第一目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
在一实施例中，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的第一目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的第一目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
在一实施例中，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的目标跟踪装置的具体工作过程，可以参考前述目标跟踪方法实施例中的对应过程，在此不再赘述。
请参阅图8，图8是本申请实施例提供的一种无人机的结构示意性框图。
如图8所示，该无人机400包括处理器401、存储器402和拍摄装置403，处理器401、存储器402和拍摄装置403通过总线404连接，该总线404比如为I2C(Inter-integratedCircuit)总线。其中，无人机可以为旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
具体地，处理器401可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器402可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器401用于运行存储在存储器402中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，其中，所述第一目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息，所述第二目标检测信息包括所述待跟踪目标在二维图像平面的位置信息和第二尺寸信息；
根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，包括：
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的第一目标检测信息；
将所述当前拍摄图像输入预设的2D目标检测模型进行处理，得到所述待跟踪目标的第二目标检测信息。
在一实施例中，所述处理器还用于实现以下步骤：
获取第一训练样本数据，其中，所述第一训练样本数据包括多个第一图像以及每个所述第一图像中的待跟踪目标的第一目标检测信息；
根据所述第一训练样本数据对第一神经网络模型进行迭代训练，直到迭代训练后的第一神经网络模型收敛，得到所述3D目标检测模型。
在一实施例中，所述处理器还用于实现以下步骤：
获取第二训练样本数据，其中，所述第二训练样本数据包括多个第二图像以及每个所述第二图像中的待跟踪目标的第二目标检测信息；
根据所述第二训练样本数据对第二神经网络模型进行迭代训练，直到迭代训练后的第二神经网络模型收敛，得到所述2D目标检测模型。
在一实施例中，所述第一神经网络模型包括卷积神经网络模型CNN、RCNN、FastRCNN和Faster RCNN。
在一实施例中，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
在一实施例中，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
在一实施例中，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述第一目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第一候选位置坐标；
根据所述第二目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第二候选位置坐标；
根据所述第一候选位置坐标和第二候选位置坐标，确定所述待跟踪目标在世界坐标系下的目标位置坐标。
在一实施例中，所述第二目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离，包括：
根据所述第一目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
在一实施例中，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
在一实施例中，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
在一实施例中，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的第一目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的第一目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
在一实施例中，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
在一实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
在一实施例中，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的无人机的具体工作过程，可以参考前述目标跟踪方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种控制系统，所述控制系统包括如上述实施例提供的任一项所述的无人机和控制终端，所述控制终端用于控制无人机飞行。比如，如图1所示，控制系统100包括无人机120和控制终端110，控制终端110用于控制无人机120飞行，用于对目标进行跟踪。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的目标跟踪方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的无人机的内部存储单元，例如所述无人机的硬盘或内存。所述计算机可读存储介质也可以是所述无人机的外部存储设备，例如所述无人机上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (65)

1.一种目标跟踪方法，其特征在于，应用于无人机，所述无人机包括拍摄装置，所述方法包括：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，其中，所述第一目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息，所述第二目标检测信息包括所述待跟踪目标在所述当前拍摄图像内的位置信息和第二尺寸信息；
根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，包括：
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的第一目标检测信息；
将所述当前拍摄图像输入预设的2D目标检测模型进行处理，得到所述待跟踪目标的第二目标检测信息。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述方法还包括：
获取第一训练样本数据，其中，所述第一训练样本数据包括多个第一图像以及每个所述第一图像中的待跟踪目标的第一目标检测信息；
根据所述第一训练样本数据对第一神经网络模型进行迭代训练，直到迭代训练后的第一神经网络模型收敛，得到所述3D目标检测模型。
4.根据权利要求2所述的目标跟踪方法，其特征在于，所述方法还包括：
获取第二训练样本数据，其中，所述第二训练样本数据包括多个第二图像以及每个所述第二图像中的待跟踪目标的第二目标检测信息；
根据所述第二训练样本数据对第二神经网络模型进行迭代训练，直到迭代训练后的第二神经网络模型收敛，得到所述2D目标检测模型。
5.根据权利要求3所述的目标跟踪方法，其特征在于，所述第一神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
6.根据权利要求1所述的目标跟踪方法，其特征在于，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
7.根据权利要求1所述的目标跟踪方法，其特征在于，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
8.根据权利要求1至7中任一项所述的目标跟踪方法，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
9.根据权利要求8所述的目标跟踪方法，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述第一目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第一候选位置坐标；
根据所述第二目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第二候选位置坐标；
根据所述第一候选位置坐标和第二候选位置坐标，确定所述待跟踪目标在世界坐标系下的目标位置坐标。
10.根据权利要求8所述的目标跟踪方法，其特征在于，所述第二目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
11.根据权利要求10所述的目标跟踪方法，其特征在于，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离，包括：
根据所述第一目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
12.根据权利要求8所述的目标跟踪方法，其特征在于，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
13.根据权利要求1至7中任一项所述的目标跟踪方法，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
14.根据权利要求13所述的目标跟踪方法，其特征在于，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的第一目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的第一目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
15.根据权利要求14所述的目标跟踪方法，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
16.根据权利要求15所述的目标跟踪方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
17.根据权利要求15所述的目标跟踪方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
18.根据权利要求14所述的目标跟踪方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
19.根据权利要求18所述的目标跟踪方法，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
20.根据权利要求14所述的目标跟踪方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
21.根据权利要求13所述的目标跟踪方法，其特征在于，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标。
22.一种目标跟踪装置，其特征在于，应用于无人机，所述无人机包括拍摄装置，所述目标跟踪装置包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，其中，所述第一目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息，所述第二目标检测信息包括所述待跟踪目标在二维图像平面的位置信息和第二尺寸信息；
根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
23.根据权利要求22所述的目标跟踪装置，其特征在于，所述对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，包括：
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的第一目标检测信息；
将所述当前拍摄图像输入预设的2D目标检测模型进行处理，得到所述待跟踪目标的第二目标检测信息。
24.根据权利要求23所述的目标跟踪装置，其特征在于，所述处理器还用于实现以下步骤：
获取第一训练样本数据，其中，所述第一训练样本数据包括多个第一图像以及每个所述第一图像中的待跟踪目标的第一目标检测信息；
根据所述第一训练样本数据对第一神经网络模型进行迭代训练，直到迭代训练后的第一神经网络模型收敛，得到所述3D目标检测模型。
25.根据权利要求23所述的目标跟踪装置，其特征在于，所述处理器还用于实现以下步骤：
获取第二训练样本数据，其中，所述第二训练样本数据包括多个第二图像以及每个所述第二图像中的待跟踪目标的第二目标检测信息；
根据所述第二训练样本数据对第二神经网络模型进行迭代训练，直到迭代训练后的第二神经网络模型收敛，得到所述2D目标检测模型。
26.根据权利要求24所述的目标跟踪装置，其特征在于，所述第一神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
27.根据权利要求22所述的目标跟踪装置，其特征在于，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
28.根据权利要求22所述的目标跟踪装置，其特征在于，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
29.根据权利要求22至28中任一项所述的目标跟踪装置，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
30.根据权利要求29所述的目标跟踪装置，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述第一目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第一候选位置坐标；
根据所述第二目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第二候选位置坐标；
根据所述第一候选位置坐标和第二候选位置坐标，确定所述待跟踪目标在世界坐标系下的目标位置坐标。
31.根据权利要求29所述的目标跟踪装置，其特征在于，所述第二目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
32.根据权利要求31所述的目标跟踪装置，其特征在于，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离，包括：
根据所述第一目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
33.根据权利要求29所述的目标跟踪装置，其特征在于，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
34.根据权利要求22至28中任一项所述的目标跟踪装置，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
35.根据权利要求34所述的目标跟踪装置，其特征在于，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的第一目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的第一目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
36.根据权利要求35所述的目标跟踪装置，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
37.根据权利要求36所述的目标跟踪装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
38.根据权利要求36所述的目标跟踪装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
39.根据权利要求35所述的目标跟踪装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
40.根据权利要求39所述的目标跟踪装置，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
41.根据权利要求35所述的目标跟踪装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
42.根据权利要求34所述的目标跟踪装置，其特征在于，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标。
43.一种无人机，其特征在于，所述无人机包括拍摄装置、存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述拍摄装置拍摄待跟踪目标得到的当前拍摄图像；
对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，其中，所述第一目标检测信息包括所述待跟踪目标在世界坐标系下的第一尺寸信息和所述待跟踪目标相对于所述无人机的角度信息，所述第二目标检测信息包括所述待跟踪目标在二维图像平面的位置信息和第二尺寸信息；
根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
44.根据权利要求43所述的无人机，其特征在于，所述对所述当前拍摄图像中的所述待跟踪目标进行目标检测，得到所述待跟踪目标的第一目标检测信息和第二目标检测信息，包括：
将所述当前拍摄图像输入预设的3D目标检测模型进行处理，得到所述待跟踪目标的第一目标检测信息；
将所述当前拍摄图像输入预设的2D目标检测模型进行处理，得到所述待跟踪目标的第二目标检测信息。
45.根据权利要求44所述的无人机，其特征在于，所述处理器还用于实现以下步骤：
获取第一训练样本数据，其中，所述第一训练样本数据包括多个第一图像以及每个所述第一图像中的待跟踪目标的第一目标检测信息；
根据所述第一训练样本数据对第一神经网络模型进行迭代训练，直到迭代训练后的第一神经网络模型收敛，得到所述3D目标检测模型。
46.根据权利要求44所述的无人机，其特征在于，所述处理器还用于实现以下步骤：
获取第二训练样本数据，其中，所述第二训练样本数据包括多个第二图像以及每个所述第二图像中的待跟踪目标的第二目标检测信息；
根据所述第二训练样本数据对第二神经网络模型进行迭代训练，直到迭代训练后的第二神经网络模型收敛，得到所述2D目标检测模型。
47.根据权利要求45所述的无人机，其特征在于，所述第一神经网络模型包括卷积神经网络模型CNN、RCNN、Fast RCNN和Faster RCNN。
48.根据权利要求43所述的无人机，其特征在于，所述待跟踪目标相对于所述无人机的角度信息包括所述待跟踪目标相对于所述无人机的yaw角、pitch角和roll角。
49.根据权利要求43所述的无人机，其特征在于，所述第一尺寸信息包括所述待跟踪目标在世界坐标系下的长度信息、宽度信息和/或高度信息，所述第二尺寸信息包括所述待跟踪目标在所述当前拍摄图像内的长度信息、宽度信息和/或高度信息。
50.根据权利要求43至49中任一项所述的无人机，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标；
根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄。
51.根据权利要求50所述的无人机，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息，预测所述待跟踪目标在世界坐标系下的目标位置坐标，包括：
根据所述第一目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第一候选位置坐标；
根据所述第二目标检测信息和预设目标跟踪算法，预测所述待跟踪目标在世界坐标系下的第二候选位置坐标；
根据所述第一候选位置坐标和第二候选位置坐标，确定所述待跟踪目标在世界坐标系下的目标位置坐标。
52.根据权利要求50所述的无人机，其特征在于，所述第二目标检测信息包括所述待跟踪目标在相机坐标系下的位置信息，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
将所述待跟踪目标在相机坐标系下的位置信息转换为所述待跟踪目标在世界坐标系下的第一位置信息；
获取所述无人机的第二位置信息，并根据所述第一位置信息和第二位置信息，确定所述待跟踪目标与所述无人机之间的目标距离；
根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离。
53.根据权利要求52所述的无人机，其特征在于，所述根据所述目标位置坐标和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机与待跟踪目标之间的距离始终为所述目标距离，包括：
根据所述第一目标检测信息，确定所述待跟踪目标的运动速度；
根据所述待跟踪目标的目标位置坐标、运动速度和目标距离，控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述无人机相对所述待跟踪目标静止，且所述无人机与待跟踪目标之间的距离始终为所述目标距离。
54.根据权利要求50所述的无人机，其特征在于，所述根据所述目标位置坐标控制所述无人机对所述待跟踪目标进行跟踪拍摄，包括：
根据所述目标位置坐标，确定所述无人机上的拍摄装置的目标姿态；
根据所述目标姿态控制所述无人机对所述待跟踪目标进行跟踪拍摄，使得所述待跟踪目标始终位于所述拍摄装置的拍摄画面的中央位置。
55.根据权利要求43至49中任一项所述的无人机，其特征在于，所述根据所述第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄，包括：
当确定所述当前拍摄图像包括多个目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标；
根据所述待跟踪目标的第一目标检测信息和第二目标检测信息对所述待跟踪目标进行跟踪拍摄。
56.根据权利要求55所述的无人机，其特征在于，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据多个所述目标对象的第一目标检测信息，确定多个所述目标对象的运动信息；
根据所述待跟踪目标的第一目标检测信息确定所述待跟踪目标的运动信息；
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
57.根据权利要求56所述的无人机，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
58.根据权利要求57所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
59.根据权利要求57所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的第一预设权重，以及所述速度相似度对应的第二预设权重；
根据所述位置相似度、速度相似度、第一预设权重和第二预设权重，从多个所述目标对象中确定所述待跟踪目标。
60.根据权利要求56所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述当前拍摄图像确定所述待跟踪目标的图像特征；
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
61.根据权利要求60所述的无人机，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
62.根据权利要求56所述的无人机，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述当前拍摄图像识别出的所述待跟踪目标的特征。
63.根据权利要求55所述的无人机，其特征在于，所述根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
当确定所述当前拍摄图像包括多个目标对象时，根据所述当前拍摄图像，获取所述待跟踪目标的图像特征和多个所述目标对象的图像特征；
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
当确定多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象时，根据多个所述目标对象的第一目标检测信息从多个所述目标对象中确定所述待跟踪目标。
64.一种控制系统，其特征在于，所述控制系统包括控制终端和如权利要求43至63中任一项所述的无人机，所述控制终端用于控制所述无人机运行。
65.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-21中任一项所述的目标跟踪方法的步骤。
CN202080007155.1A 2020-07-27 2020-07-27 目标跟踪方法、装置、无人机、系统及可读存储介质 Pending CN113228103A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/104971 WO2022021027A1 (zh) 2020-07-27 2020-07-27 目标跟踪方法、装置、无人机、系统及可读存储介质

Publications (1)

Publication Number Publication Date
CN113228103A true CN113228103A (zh) 2021-08-06

Family

ID=77086022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007155.1A Pending CN113228103A (zh) 2020-07-27 2020-07-27 目标跟踪方法、装置、无人机、系统及可读存储介质

Country Status (2)

Country Link
CN (1) CN113228103A (zh)
WO (1) WO2022021027A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281096A (zh) * 2021-11-09 2022-04-05 中时讯通信建设有限公司 基于目标检测算法的无人机追踪控制方法、设备及介质
CN116486290A (zh) * 2023-06-21 2023-07-25 成都庆龙航空科技有限公司 一种无人机监测追踪方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114492677B (zh) * 2022-04-06 2022-07-12 中国科学院自动化研究所 一种无人机对抗方法及装置
CN115222814B (zh) * 2022-06-02 2023-09-01 珠海云洲智能科技股份有限公司 救援设备导引方法、装置、终端设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160119956A (ko) * 2015-04-07 2016-10-17 (주)코아텍 드론을 이용한 추적 시스템
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN107748860A (zh) * 2017-09-01 2018-03-02 中国科学院深圳先进技术研究院 无人机的目标跟踪方法、装置、无人机及存储介质
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN110347035A (zh) * 2018-04-08 2019-10-18 北京京东尚科信息技术有限公司 自主跟踪方法及装置、电子设备、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018027339A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Copyright notice
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
WO2019183789A1 (zh) * 2018-03-27 2019-10-03 深圳市大疆创新科技有限公司 无人机的控制方法、装置和无人机
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN110675431B (zh) * 2019-10-08 2020-09-11 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160119956A (ko) * 2015-04-07 2016-10-17 (주)코아텍 드론을 이용한 추적 시스템
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN107748860A (zh) * 2017-09-01 2018-03-02 中国科学院深圳先进技术研究院 无人机的目标跟踪方法、装置、无人机及存储介质
CN108399642A (zh) * 2018-01-26 2018-08-14 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN110347035A (zh) * 2018-04-08 2019-10-18 北京京东尚科信息技术有限公司 自主跟踪方法及装置、电子设备、存储介质
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、系统、终端和存储介质
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281096A (zh) * 2021-11-09 2022-04-05 中时讯通信建设有限公司 基于目标检测算法的无人机追踪控制方法、设备及介质
CN116486290A (zh) * 2023-06-21 2023-07-25 成都庆龙航空科技有限公司 一种无人机监测追踪方法、装置、电子设备及存储介质
CN116486290B (zh) * 2023-06-21 2023-09-05 成都庆龙航空科技有限公司 一种无人机监测追踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022021027A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
CN108230361B (zh) 用无人机探测器和追踪器融合来增强目标追踪方法及系统
CN107278262B (zh) 飞行轨迹的生成方法、控制装置及无人飞行器
US11460844B2 (en) Unmanned aerial image capture platform
CN112567201B (zh) 距离测量方法以及设备
US20210279444A1 (en) Systems and methods for depth map sampling
CN108476288B (zh) 拍摄控制方法及装置
CN111527463B (zh) 用于多目标跟踪的方法和系统
US11755041B2 (en) Objective-based control of an autonomous unmanned aerial vehicle
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN108885469B (zh) 用于在跟踪系统中初始化目标物体的系统和方法
CN110494360A (zh) 用于提供自主摄影及摄像的系统和方法
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
CN205453893U (zh) 无人机
CN105912980A (zh) 无人机以及无人机系统
CN108163203B (zh) 一种拍摄控制方法、装置及飞行器
CN110187720A (zh) 无人机导引方法、装置、系统、介质及电子设备
WO2021217450A1 (zh) 目标跟踪方法、设备及存储介质
CN105930766A (zh) 无人机
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
RU2735196C1 (ru) Способ управления посадкой малого беспилотного летательного аппарата
WO2022213385A1 (zh) 目标跟踪方法、装置、可移动平台及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination