CN112955712A - 目标跟踪方法、设备及存储介质 - Google Patents

目标跟踪方法、设备及存储介质 Download PDF

Info

Publication number
CN112955712A
CN112955712A CN202080005654.7A CN202080005654A CN112955712A CN 112955712 A CN112955712 A CN 112955712A CN 202080005654 A CN202080005654 A CN 202080005654A CN 112955712 A CN112955712 A CN 112955712A
Authority
CN
China
Prior art keywords
target
tracked
determining
similarity
target objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005654.7A
Other languages
English (en)
Inventor
胡晓翔
封旭阳
张李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112955712A publication Critical patent/CN112955712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

一种目标跟踪方法、设备及存储介质，其中，所述方法包括：获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征(S101)；根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息(S102)；若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪(S103)。

Description

目标跟踪方法、设备及存储介质
技术领域
本申请涉及目标跟踪技术领域，尤其涉及一种目标跟踪方法、目标跟踪装置、可移动平台、无人机、控制系统及存储介质。
背景技术
无人机跟踪拍摄目标对象，如跟踪拍摄人、车、动物等，主要是通过摄像头拍摄包括目标对象的图像，通过识别该图像中目标对象的图像特征实现目标跟踪。但是由于遮挡和交错等情况的出现，会导致发生目标切换现象，由于同类目标间从图像特征区分，很多时候还需要在泛化性能和判别性能间进行折中，很难达到较好的效果，例如跟踪车辆时，由于可能存在两辆完全相同的车，所以从图像特征很难进行区分，由此可能导致跟踪目标丢失。
发明内容
基于此，本申请提供了一种目标跟踪方法、目标跟踪装置、可移动平台、无人机、控制系统及存储介质，以避免目标跟踪丢失的情况，进而提高目标跟踪的准确率。
第一方面，本申请提供了一种目标跟踪方法，应用于无人机，所述方法包括：
获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；
根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；
若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
第二方面，本申请还提供了一种目标跟踪装置，应用于可移动平台，所述飞行指示装置包括处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现本申请实施例提供的任一项所述目标跟踪方法的步骤。
第三方面，本申请还提供了一种可移动平台，所述可移动平台包括：拍摄装置、存储器和处理器；
所述拍摄装置用于拍摄；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现本申请的实施例提供的任一项所述目标跟踪方法的步骤。
第四方面，本申请还提供了一种控制系统，所述控制系统包括控制终端和本申请实施例提供任一项所述的可移动平台，所述控制终端用于控制所述可移动平台运行。
第五方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现本申请提供的任一项所述的目标跟踪方法。
本申请实施例提供的一种目标跟踪方法、目标跟踪装置、可移动平台、无人机、控制系统及存储介质，通过获取包含待跟踪目标的拍摄图像，根据所述拍摄图像确定所述待跟踪目标的图像特征；再根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪，进而可以避免其他类目标对象的干扰，由此可以提高目标跟踪的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种控制系统的结构示意图；
图2是本申请实施例提供的确定目标的位置信息的示意图；
图3是本申请的实施例提供的一种目标跟踪方法的步骤示意流程图；
图4是本申请的实施例提供的目标跟踪的场景示意图；
图5是本申请的实施例提供的拍摄图像中包括多个目标对象的场景示意图；
图6是本申请的实施例提供的多目标跟踪的场景示意图；
图7是本申请的实施例提供的从多个目标对象确定待跟踪目标的场景示意图；
图8是本申请的实施例提供的控制终端显示目标跟踪的场景示意图；
图9是本申请的实施例提供的一种目标跟踪装置的示意框图；
图10是本申请的实施例提供的一种可移动平台的示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
目前，随着无人机技术的快速发展，其应用范围也越来越广，比如用于目标跟踪。具体地，无人机在跟踪拍摄目标对象，如跟踪拍摄人、车、动物等，主要是通过摄像头拍摄包括目标对象的图像，通过识别该图像中目标对象的图像特征实现目标跟踪。
但是发明人发现，在实际应用会存在与跟踪目标类似的目标对象，比如相同或类似车辆、类似的身形等等，并且常常会有遮挡和交错等情况的出现，由此均会导致发生目标切换现象，由于同类目标间从图像特征区分，很多时候还需要在泛化性能和判别性能间进行折中，因此很难达到较好的效果，例如跟踪车时，由于同一跟踪画面中可能存在两辆或者多辆完全相同的车，所以从图像特征很难进行区分，由此可能会导致跟踪目标丢失，进而降低了跟踪的准确性。
为此，本申请实施例提供一种目标跟踪方法、目标跟踪装置、可移动平台、无人机、控制系统和存储介质，以解决上述问题。
请参照图1，图1是实施本申请实施例提供的一种控制系统的结构示意图。如图1所示，该控制系统100包括控制终端10和无人机20，控制终端10与无人机20通信连接，用于控制无人机10的飞行，无人机10用于对目标进行跟踪拍摄，并将跟踪拍摄的图像，利用无线图传技术发送给控制终端20进行显示，以便用户查看。
具体地，控制终端10包括显示装置11，显示装置11用于显示无人机拍摄的图像。需要说明的是，显示装置11包括设置在控制终端10上的显示屏或者独立于控制终端10的显示器，独立于控制终端10的显示器可以包括手机、平板电脑或者个人电脑等，或者也可以是带有显示屏的其他电子设备。其中，该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
无人机20包括拍摄装置21，拍摄装置21用于拍摄目标对象的拍摄图像，并将拍摄图像发给无人机，由无人机根据拍摄图像进行目标跟踪。具体可以包括一个摄像头，即单目拍摄方案；也可以包括两个摄像头，即双目拍摄方案。
需要说明的是，通过拍摄装置21拍摄目标对象的图像，还可以根据多帧图像确定该目标对象的速度信息，比如采用光流法等确定目标对象的速度大小。还可以根据拍摄图像确定目标对象相对无人机的方位和距离，再获取无人机的位置信息；根据所述方位、距离以及无人机的位置信息，确定目标对象的位置信息。
其中，无人机的位置信息包括无人机在大地坐标系的坐标。具体地，如图2所示，可以根据无人机20的坐标以及行人a相对无人机20的距离d和方位角β1可以确定行人a的坐标，即行人a的位置信息。
在一些实施例中，无人机20上还安装有测量装置，该测量装置包括激光测量装置或者惯性测量装置。该测量装置可以用于测量目标对象相对无人机20的距离和位置。根据目标对象相对无人机20的距离和位置，再结合无人机的坐标，可以确定目标对象的位置信息。还可以根据不同时刻目标对象相对无人机20的距离的变化，以及无人机的飞行速度，估算该目标对象的速度。
无人机20可以是旋翼飞机。在某些情形下，无人机20可以是可包括多个旋翼的多旋翼飞行器。多个旋翼可旋转而为无人机20产生提升力。旋翼可以是推进单元，可使得无人机20在空中自由移动。旋翼可按相同速率旋转和/或可产生相同量的提升力或推力。旋翼可按不同的速率随意地旋转，产生不同量的提升力或推力和/或允许无人机20旋转。在某些情形下，在无人机20上可提供一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多个旋翼。这些旋翼可布置成其旋转轴彼此平行。在某些情形下，旋翼的旋转轴可相对于彼此呈任意角度，从而可影响无人机20的运动。
无人机20可包括多个旋翼。旋翼可连接至无人机20的本体，无人机20的本体可包含控制单元、惯性测量单元(inertial measuring unit，IMU)、处理器、电池、电源和/或其他传感器。旋翼可通过从本体中心部分分支出来的一个或多个臂或延伸而连接至本体。例如，一个或多个臂可从无人机20的中心本体放射状延伸出来，而且在臂末端或靠近末端处可具有旋翼。
示例性的，无人机可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
以下，将结合图1中的控制系统对本申请的实施例提供的目标跟踪方法进行详细介绍。需知，图1中的控制系统仅用于解释本申请实施例提供的目标跟踪方法，但并不构成对本申请实施例提供的飞行控制方法应用场景的限定。
请参阅图3，图3是本申请实施例提供的一种目标跟踪方法的步骤示意流程图。该目标跟踪方法应用于无人机中，即便在跟踪的过程中拍摄图像中出现多个类似目标，也可以确保无人机不会出现跟踪丢失的情况，由此提高了目标跟踪的准确率。
如图3所示，该目标跟踪方法包括步骤S101至步骤S103。
S101、获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；
S102、根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；
S103、若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
在对待跟踪目标进行跟踪时，需要获取包含待跟踪目标的拍摄图像，具体可以通过拍摄装置拍摄待跟踪目标所在区域的图像，得到包含待跟踪目标的拍摄图像，并从所述拍摄图像中确定所述待跟踪目标的图像特征，以便根据所述图像特征对待跟踪目标进行跟踪。需要说明的是，所述拍摄图像包括包含该待跟踪目标的多帧图像，具体地，该拍摄图像在实际应用为在目标跟踪时拍摄的视频。
一般情况下，在获取包含待跟踪目标的拍摄图像之后，即可以基于目标跟踪算法，根据所述拍摄图像中待跟踪目标的图像特征对所述待跟踪目标进行跟踪。然而由于在实际跟踪过程中，常常会出现与该跟踪目标类似的目标对象的影响，并且还可能会有遮挡和交错等情况的出现，因此会导致待跟踪目标的跟踪丢失。
其中，所述目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。在其他一些实施例中，还可以使用其他目标跟踪算法，在此不做限定。
示例性的，如图4所示，无人机20通过拍摄装置21对待跟踪目标(车辆a)进行拍摄，得到包括该车辆a的拍摄图像。无人机20获取该包含该车辆a的拍摄图像，并根据该拍摄图像对车辆a进行跟踪拍摄，并将跟踪拍摄的拍摄图像发送给控制终端10进行显示，以及在定位的待跟踪目标上显示跟踪标识，如图4中控制终端10的显示装置11显示的车辆的定位框。
示例性的，如图5所示，如果在对车辆a进行跟踪的过程中，若拍摄图像中出现多个车辆，比如为车辆1、车辆2、车辆3和车辆4，其中，车辆3和车辆4又是相同类型的车辆。假设车辆3和车辆4中有一辆车是待跟踪目标(车辆a)，由于车辆a所在的拍摄图像中出现多辆车辆，还包括与车辆a完全相同的车辆，由此若此时出现遮挡或交错等原因，可能会导致待跟踪目标跟踪丢失的情况出现。
其中，待跟踪目标跟踪丢失的情况包括：无法区别哪一个车辆为待跟踪目标或者跟踪到错误的目标对象。
为此，在本申请的实施例中的目标跟踪方法，在获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征后，可以根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息。在所述拍摄图像包括多个目标对象时，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪，能够克服仅根据图像信息进行跟踪导致的错跟和跟丢的问题，例如，避免出现图像特征相同或相似的两个目标难以区分而导致的错跟问题，由此可以提高目标跟踪的准确率。
其中，所述运动信息包括速度信息和/或位置信息，该速度信息为待跟踪目标的速度大小和/或方向，该位置信息为待跟踪目标的坐标，具体可以为在大地坐标系下的坐标。
比如，在所述拍摄图像中出现四个车辆(车辆1、车辆2、车辆3、车辆4)时，可以根据待跟踪目标(车辆a)的运动信息从四个车辆中，确定最终的跟踪目标。
由于不同的目标对象有可能类型比较类似或者完全相同，比如差不多身高和胖瘦的行人，或者类似车型的车辆，或者完全相同的车辆，导致这些目标对象的图像特征比较相近，因此根据图像特征进行跟踪的话，可能无法区分。但是不同的目标对象对应的运动信息大概率存在不同，因此在目标跟踪过程，当出现多个目标对象时，使用运动信息确定待跟踪目标，由此可以提高目标跟踪的准确率。
其中，根据所述图像特征获取所述待跟踪目标的运动信息，具体可以采用图像处理的方式得到待跟踪目标的速度或者位置，当然也可以测量装置进行测量，或者也可以采用其他方式，在此不做限定。
在一些实施例中，由于拍摄图像出现多个目标对象，当出现遮挡或者交错等情况，才可能导致待跟踪目标跟踪丢失。因此在待跟踪目标未丢失之前，可以先确定多个所述目标对象的图像特征和运动信息，再根据多个所述目标对象的图像特征和运动信息确定所述待跟踪目标的运动信息，以便在待跟踪目标未丢失时，根据所述待跟踪目标的运动信息进行从多个目标对象确定所述待跟踪目标。由此提高了待跟踪目标确定准确率，进而提高了目标跟踪的准确率。
需要说明的是，在待跟踪目标未丢失之前的拍摄图像为待跟踪目标丢失时的前几帧拍摄图像，因此同一个目标对象对应的运动信息变化不大，因此使用该方式确定待跟踪目标的运动信息，可以提高待跟踪目标确定的准确率。
在一些实施例中，所述确定多个所述目标对象的图像特征和运动信息，具体可以为：识别所述拍摄图像中多个目标对象分别对应的图像特征，根据多个所述目标对象对应的图像特征确定每个所述目标对象在所述拍摄图像中的位置；根据每个所述目标对象在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪；以及在进行多目标跟踪的过程中，确定多个所述目标对象的运动信息。采用多目标跟踪方式确定多个所述目标对象的运动信息，可以提高多个所述目标对象的运动信息的准确率。
具体地，识别所述拍摄图像中每个车辆对应的图像特征，根据每个车辆对应的图像特征确定其在拍摄图像中位置，根据每个车辆在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪，具体如图6所示，同时对四个车辆进行多目标跟踪，以及在多目标跟踪的过程中确定每个车辆的运动信息，该运动信息也可以通过多帧图像采用光流法确定，当然也可以采用其他方式，在此不做限定。
在确定多个所述目标对象的图像特征和运动信息之后，由于此时待跟踪目标还在跟踪中，因此可以根据所述待跟踪目标的图像特征和所述目标对象的图像特征，从多个所述目标对象中确定与所述待跟踪目标匹配的目标对象；将与所述待跟踪目标匹配的目标对象的运动信息，作为所述待跟踪目标的运动信息。
其中，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，具体是使用所述待跟踪目标的运动信息作为区分，以从多个所述目标对象中确定所述待跟踪目标。
譬如，如图6所示，在四个车辆中确定车辆4的运动信息和所述待跟踪目标(车辆a)的运动信息接近，比如相等或两者的差异较小，则可以确定车辆4为待跟踪目标；再或者，通过图像特征和运动信息比对，从四个车辆中确定待跟踪目标，具体为根据图像特征和运动信息从四个车辆中确定与待跟踪目标(车辆a)相似的车辆，即从四个车辆中确定车辆对应的图像特征和运动信息都比较接近待跟踪目标(车辆a)的车辆，比如为车辆4，则确定该车辆4为待跟踪目标，进而对该车辆4进行跟踪，对其他车辆(车辆1、车辆2和车辆3)不再跟踪。
在一些实施例中，为了快速准确地确定待跟踪目标。所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，具体为：根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
需要说明的是，所述根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度具体是，当发生目标跟踪丢失时，将目标跟踪丢失前所述待跟踪目标的运动信息与当前多个所述目标对象的运动信息进行相似度计算，并确定多个所述目标对象中相似度最高的目标对象为所述待跟踪目标，并根据所述相似度最高的目标对象的运动信息更新所述待跟踪目标的运动信息；或将上一帧确定的所述待跟踪目标的运动信息与当前帧获得的多个所述目标对象的运动信息进行相似度计算，确定多个所述目标对象中相似度最高的目标对象为所述待跟踪目标，并根据所述相似度最高的目标对象的运动信息更新所述待跟踪目标的运动信息。当跟新所述待跟踪目标的运动信息后，将所述待跟踪目标的运动信息和所述待跟踪目标的图像特征进行融合或关联，以实现对所述待跟踪目标的跟踪。
具体地，计算所述待跟踪目标与每个所述目标对象的相似度，得到多个相似度，每个相似度对应一个目标对象，从多个相似度中确定最高相似度，将该最高相似度对应的目标对象作为所述待跟踪目标。
在一些实施例中，由于所述运动信息包括位置信息和/或速度信息。相应地，所述相似度包括位置相似度和/或速度相似度。由此，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，具体包括：根据所述位置相似度，从多个所述目标对象中确定所述待跟踪目标；或者，根据所述速度相似度，从多个所述目标对象中确定所述待跟踪目标；再或者，根据所述位置相似度和速度相似度，从多个所述目标对象中确定所述待跟踪目标。
需要说明的是，根据所述位置相似度和速度相似度，从多个所述目标对象中确定所述待跟踪目标，可以根据位置相似度和速度相似度之和，确定最大的和值对应的目标对象为所述待跟踪目标。
在一些实施例中，为了提高待跟踪目标确定的准确率。所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，具体为：获取所述位置相似度对应的预设权重，以及获取所述速度相似度对应的预设权重；根据所述位置相似度、速度相似度以及对应的预设权重，从多个所述目标对象中确定所述待跟踪目标。
具体地，计算所述位置相似度与所述位置相似度对应的预设权重的乘积，以及计算所述速度相似度与所述速度相似度对应的预设权重的乘积；再计算两个乘积之和，将两个乘积之和作为待跟踪目标与目标对象的最终相似度，将最大的最终相似度对应的目标对象确定为所述待跟踪目标。利用预设权重可以调整位置信息和速度信息之间的影响大小，因此能够更为准确地确定所述待跟踪目标。
在一些实施例中，所述位置相似度对应的预设权重小于所述速度相似度对应的预设权重。由于位置信息在前后帧拍摄图像中有较小的变化，而速度信息在前后帧拍摄图像中则基本不变，因此通过设置不同权重比例，提高速度相似度的占比，可以提高跟踪目标确定的准确率。
在一些实施例中，在确定所述待跟踪目标的类型与所述目标对象的类型相同时，再根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。比如同为车辆，或者同为行人等。因为在同类型的目标中才容易出现跟踪丢失的情况。
在一些实施例中，为了进一步地提高待跟踪目标确定的准确率，还可以结合待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。即所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，具体为：根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。其中，所述相似度为运动信息对应的相似度，即从多个所述目标对象中，找出与该待跟踪目标相似度最高以及图像特征最近的目标对象作为待跟踪目标。
在一些实施例中，为了快速以及准确地确定待跟踪目标。所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，具体为：根据所述图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
譬如，如图5所示，在图5中车辆3和车辆4有一个为待跟踪目标，且两个车型相同。由此，先根据待跟踪目标的图像特征和多个目标对象的图像特征，确定与所述待跟踪目标相似的目标对象为车辆3和车辆4。然后在从车辆3和车辆4中，根据待跟踪目标与车辆3、车辆4的运动信息对应的相似度较高车辆，比如车辆4的相似度较高，则最终确定车辆4为待跟踪目标。先根据图像特征排除车辆1和车辆2后，再根据运动信息确定最终的待跟踪目标，由此可以快速并准确地确定待跟踪目标。
需要说明的是，上述实施例涉及的图像特征，为利用图像识别技术从拍摄图像中提取的待跟踪目标或目标对象的特征，该图像特征包括目标在拍摄图像中对应的颜色特征、分布位置特征、纹理特征、轮廓特征中一种或多种。
在一些实施例中，为了弥补无人机的拍摄装置的视觉局限，以及提高待跟踪目标确定的准确率，进而提高目标跟踪的准确率。所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，具体为：根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；其中，所述Reid特征为采用行人重识别技术从所述拍摄图像识别出所述待跟踪目标的特征。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标之前，所述目标追踪方法还包括：根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，则根据所述运动信息从多个所述目标对象中确定所述待跟踪目标。若多个所述目标对象中只存在一个与所述待跟踪目标相似的目标对象，即使出现目标跟踪丢失的情况，也可以从图像特征识别的角度重新对该待跟踪目标进行跟踪。若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，才有可能因为遮挡或交叉等原因造成目标跟踪丢失，因此需要使用运动信息进行进一步地确定，由此可以提高待跟踪目标的跟踪的准确率。
在一些实施例中，在对所述拍摄图像进行目标检测，确定所述拍摄图像中存在多个目标对象时，还可以从所述拍摄图像中提取Reid特征，以便在对多个所述目标对象进行多目标跟踪时，根据所述Reid特征对多个所述目标对象进行多目标跟踪。其中，利用行人重识别技术从所述拍摄图像中提取多个所述目标对象的Reid特征，利用Reid特征可以弥补拍摄装置的视觉局限，进而提高多目标跟踪的准确率。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，当然也可以根据所述运动信息和所述Reid特征，从多个所述目标对象中确定所述待跟踪目标。利用Reid特征可以进一步地提高目标跟踪的准确率。
可以理解的是，当然还可以根据所述运动信息所述图像特征、所述Reid特征和所述图像特征，从多个所述目标对象中确定所述待跟踪目标。具体地，可以根据所述待跟踪目标的图像特征、所述待跟踪目标的Reid特征与多个目标对象的图像特征和Reid特征进行比对分析，以及所述待跟踪目标的运动信息确定相似度，从多个目标对象中确定最终的目标对象作为待跟踪目标进行跟踪。由此可以提高目标跟踪的准确率。
示例性的，还可以先根据所述待跟踪目标的图像特征、所述待跟踪目标的Reid特征与多个目标对象的图像特征、Reid特征，从多个目标对象中确定与所述待跟踪目标相似的目标对象，再从相似的目标对象中根据运动信息确定相似度，根据相似度确定最终的目标对象作为待跟踪目标进行跟踪。由此可以提高目标跟踪的准确率。
在一些实施例中，为了提高用户的体验度，还可以将所述包含待跟踪目标的拍摄图像，发送至控制终端，以使所述控制终端显示所述拍摄图像，以及在定位的待跟踪目标上显示跟踪标识。
示例性的，如图8所示，所述控制终端显示所述拍摄图像可以包括多个目标对象，其中有一个目标对象为根据所述目标跟踪方法确定的待跟踪目标，在显示的拍摄图像中出现多个目标对象，其中位于定位框内的目标对象为待跟踪目标，该待跟踪目标为根据本申请实施例提供的目标跟踪方法确定的，通过使用该目标跟踪方法对待跟踪目标进行跟踪定位，即使出现多个目标对象，也可以准确地对待跟踪目标进行跟踪，由此提高了用户的体验度。
请参阅图9，图9是本申请实施例提供的一种目标跟踪装置的示意性框图。该目标跟踪装置可以应用于可移动平台中，用于对目标进行跟踪。
如图9所示，该目标跟踪装置300包括处理器301和存储器302，处理器301和存储器302通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线。
其中，可移动平台包括无人机、机器人或者无人驾驶车辆等。
具体地，处理器301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本申请实施例提供的任意一种所述的目标跟踪方法。
示例性的，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
在一些实施例中，所述待跟踪目标的类型与所述目标对象的类型相同。
在一些实施例中，所述根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息，包括：
确定多个所述目标对象的图像特征和运动信息；根据所述待跟踪目标的图像特征和所述目标对象的图像特征，从多个所述目标对象中确定与所述待跟踪目标匹配的目标对象；将与所述待跟踪目标匹配的目标对象的运动信息，作为所述待跟踪目标的运动信息。
在一些实施例中，所述确定多个所述目标对象的图像特征和运动信息，包括：
识别所述拍摄图像中多个目标对象分别对应的图像特征，根据多个所述目标对象对应的图像特征确定每个所述目标对象在所述拍摄图像中的位置；根据每个所述目标对象在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪；以及在进行多目标跟踪的过程中，确定多个所述目标对象的运动信息。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述运动信息包括位置信息和/或速度信息；相应地，所述相似度包括位置相似度和/或速度相似度。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的预设权重，以及所述速度相似度对应的预设权重；根据所述位置相似度、速度相似度以及对应的预设权重，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述位置相似度对应的预设权重小于所述速度相似度对应的预设权重。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；其中，所述Reid特征为采用行人重识别技术从所述拍摄图像识别出所述待跟踪目标的特征。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标之前，所述处理器还实现：
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，则根据所述运动信息从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述处理器还用于：从所述拍摄图像中提取Reid特征；
其中，所述对多个所述目标对象进行多目标跟踪，还包括：根据所述Reid特征对多个所述目标对象进行多目标跟踪。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述运动信息和所述Reid特征，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所确定所述待跟踪目标的图像特征之后，所述处理器还实现：
基于目标跟踪算法，根据所述拍摄图像对所述待跟踪目标进行跟踪。
在一些实施例中，所述目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。
在一些实施例中，所述可移动平台包括至少一个拍摄装置，和/或，所述可移动平台包括测量装置；
其中，所述拍摄装置用于拍摄图像，所述测量装置用于测量跟踪目标相对所述可移动平台的位置和距离。
在一些实施例中，所述拍摄装置包括一个摄像头，或者两个摄像头；所述测量装置包括激光测量装置，或者惯性测量装置。
在一些实施例中，所述处理器还用于：
将所述包含待跟踪目标的拍摄图像，发送至控制终端，以使所述控制终端显示所述拍摄图像，以及在定位的待跟踪目标上显示跟踪标识。
请参阅图10，图10是本申请实施例提供的一种可移动平台的示意性框图。该可移动平台400用于对目标进行跟踪。
如图10所示，该可移动平台400包括处理器401、存储器402和拍摄装置403，存储器302和拍摄装置403通过总线处理器401连接，该总线比如为I2C(Inter-integratedCircuit)总线。
拍摄装置403，用于拍摄待跟踪目标所在区域的图像，以得到包含待跟踪目标的拍摄图像。
其中，可移动平台包括无人机、机器人或者无人驾驶车辆等。
具体地，处理器401可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器402可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本申请实施例提供的任意一种所述的目标跟踪方法。
示例性的，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
在一些实施例中，所述待跟踪目标的类型与所述目标对象的类型相同。
在一些实施例中，所述根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息，包括：
确定多个所述目标对象的图像特征和运动信息；根据所述待跟踪目标的图像特征和所述目标对象的图像特征，从多个所述目标对象中确定与所述待跟踪目标匹配的目标对象；将与所述待跟踪目标匹配的目标对象的运动信息，作为所述待跟踪目标的运动信息。
在一些实施例中，所述确定多个所述目标对象的图像特征和运动信息，包括：
识别所述拍摄图像中多个目标对象分别对应的图像特征，根据多个所述目标对象对应的图像特征确定每个所述目标对象在所述拍摄图像中的位置；根据每个所述目标对象在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪；以及在进行多目标跟踪的过程中，确定多个所述目标对象的运动信息。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述运动信息包括位置信息和/或速度信息；相应地，所述相似度包括位置相似度和/或速度相似度。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的预设权重，以及所述速度相似度对应的预设权重；根据所述位置相似度、速度相似度以及对应的预设权重，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述位置相似度对应的预设权重小于所述速度相似度对应的预设权重。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
在一些实施例中，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；其中，所述Reid特征为采用行人重识别技术从所述拍摄图像识别出所述待跟踪目标的特征。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标之前，所述处理器还实现：
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，则根据所述运动信息从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所述处理器还用于：从所述拍摄图像中提取Reid特征；
其中，所述对多个所述目标对象进行多目标跟踪，还包括：根据所述Reid特征对多个所述目标对象进行多目标跟踪。
在一些实施例中，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述运动信息和所述Reid特征，从多个所述目标对象中确定所述待跟踪目标。
在一些实施例中，所确定所述待跟踪目标的图像特征之后，所述处理器还实现：
基于目标跟踪算法，根据所述拍摄图像对所述待跟踪目标进行跟踪。
在一些实施例中，所述目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。
在一些实施例中，所述可移动平台包括至少一个拍摄装置，和/或，所述可移动平台包括测量装置；
其中，所述拍摄装置用于拍摄图像，所述测量装置用于测量跟踪目标相对所述可移动平台的位置和距离。
在一些实施例中，所述拍摄装置包括一个摄像头，或者两个摄像头；所述测量装置包括激光测量装置，或者惯性测量装置。
在一些实施例中，所述处理器还用于：
将所述包含待跟踪目标的拍摄图像，发送至控制终端，以使所述控制终端显示所述拍摄图像，以及在定位的待跟踪目标上显示跟踪标识。
本申请的实施例还提供了一种控制系统，所述控制系统包括如权利要求上述实施例提供的任一项所述的可移动平台和控制终端，所述控制终端用于控制可移动平台运行。比如，如图1所示，控制系统100包括无人机20和控制终端10，控制终端10用于控制无人机20飞行，用于对目标进行跟踪。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的任一种所述的目标跟踪方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的可移动平台的内部存储单元，例如所述可移动平台的存储器或内存。所述计算机可读存储介质也可以是所述可移动平台的外部存储设备，例如所述可移动平台上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (63)

1.一种目标跟踪方法，应用于无人机，其特征在于，所述方法包括：
获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；
根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；
若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述待跟踪目标的类型与所述目标对象的类型相同。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息，包括：
确定多个所述目标对象的图像特征和运动信息；
根据所述待跟踪目标的图像特征和所述目标对象的图像特征，从多个所述目标对象中确定与所述待跟踪目标匹配的目标对象；
将与所述待跟踪目标匹配的目标对象的运动信息，作为所述待跟踪目标的运动信息。
4.根据权利要求3所述的方法，其特征在于，所述确定多个所述目标对象的图像特征和运动信息，包括：
识别所述拍摄图像中多个目标对象分别对应的图像特征，根据多个所述目标对象对应的图像特征确定每个所述目标对象在所述拍摄图像中的位置；
根据每个所述目标对象在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪；以及
在进行多目标跟踪的过程中，确定多个所述目标对象的运动信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
6.根据权利要求5所述的方法，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
7.根据权利要求6所述的方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
8.根据权利要求6所述的方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的预设权重，以及所述速度相似度对应的预设权重；
根据所述位置相似度、速度相似度以及对应的预设权重，从多个所述目标对象中确定所述待跟踪目标。
9.根据权利要求8所述的方法，其特征在于，所述位置相似度对应的预设权重小于所述速度相似度对应的预设权重。
10.根据权利要求5所述的方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
11.根据权利要求10所述的方法，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
12.根据权利要求5所述的方法，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述拍摄图像识别出所述待跟踪目标的特征。
13.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标之前，还包括：
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，则根据所述运动信息从多个所述目标对象中确定所述待跟踪目标。
14.根据权利要求4所述的方法，其特征在于，所述方法还包括：
从所述拍摄图像中提取Reid特征；
所述对多个所述目标对象进行多目标跟踪，还包括：根据所述Reid特征对多个所述目标对象进行多目标跟踪。
15.根据权利要求14所述的方法，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述运动信息和所述Reid特征，从多个所述目标对象中确定所述待跟踪目标。
16.根据权利要求1所述的方法，其特征在于，所确定所述待跟踪目标的图像特征之后，还包括：
基于目标跟踪算法，根据所述拍摄图像对所述待跟踪目标进行跟踪。
17.根据权利要求16所述的方法，其特征在于，所述目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。
18.根据权利要求1所述的方法，其特征在于，所述无人机包括至少一个拍摄装置，和/或，所述无人机包括测量装置；
其中，所述拍摄装置用于拍摄图像，所述测量装置用于测量跟踪目标相对所述无人机的位置和距离。
19.根据权利要求18所述的方法，其特征在于，所述拍摄装置包括一个摄像头，或者两个摄像头；所述测量装置包括激光测量装置，或者惯性测量装置。
20.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述包含待跟踪目标的拍摄图像，发送至控制终端，以使所述控制终端显示所述拍摄图像，以及在定位的待跟踪目标上显示跟踪标识。
21.一种目标跟踪装置，其特征在于，应用于可移动平台，所述飞行指示装置包括处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；
根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；
若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
22.根据权利要求21所述的装置，其特征在于，所述待跟踪目标的类型与所述目标对象的类型相同。
23.根据权利要求21所述的装置，其特征在于，所述根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息，包括：
确定多个所述目标对象的图像特征和运动信息；
根据所述待跟踪目标的图像特征和所述目标对象的图像特征，从多个所述目标对象中确定与所述待跟踪目标匹配的目标对象；
将与所述待跟踪目标匹配的目标对象的运动信息，作为所述待跟踪目标的运动信息。
24.根据权利要求23所述的装置，其特征在于，所述确定多个所述目标对象的图像特征和运动信息，包括：
识别所述拍摄图像中多个目标对象分别对应的图像特征，根据多个所述目标对象对应的图像特征确定每个所述目标对象在所述拍摄图像中的位置；
根据每个所述目标对象在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪；以及
在进行多目标跟踪的过程中，确定多个所述目标对象的运动信息。
25.根据权利要求21所述的装置，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
26.根据权利要求25所述的装置，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
27.根据权利要求26所述的装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
28.根据权利要求26所述的装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的预设权重，以及所述速度相似度对应的预设权重；
根据所述位置相似度、速度相似度以及对应的预设权重，从多个所述目标对象中确定所述待跟踪目标。
29.根据权利要求28所述的装置，其特征在于，所述位置相似度对应的预设权重小于所述速度相似度对应的预设权重。
30.根据权利要求25所述的装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
31.根据权利要求30所述的装置，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
32.根据权利要求25所述的装置，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述拍摄图像识别出所述待跟踪目标的特征。
33.根据权利要求21所述的装置，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标之前，所述处理器还实现：
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，则根据所述运动信息从多个所述目标对象中确定所述待跟踪目标。
34.根据权利要求24所述的装置，其特征在于，所述处理器还实现：
从所述拍摄图像中提取Reid特征；
所述对多个所述目标对象进行多目标跟踪，还包括：根据所述Reid特征对多个所述目标对象进行多目标跟踪。
35.根据权利要求34所述的装置，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述运动信息和所述Reid特征，从多个所述目标对象中确定所述待跟踪目标。
36.根据权利要求21所述的装置，其特征在于，所确定所述待跟踪目标的图像特征之后，所述处理器还实现：
基于目标跟踪算法，根据所述拍摄图像对所述待跟踪目标进行跟踪。
37.根据权利要求36所述的装置，其特征在于，所述目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。
38.根据权利要求21所述的装置，其特征在于，所述可移动平台包括至少一个拍摄装置，和/或，所述可移动平台包括测量装置；
其中，所述拍摄装置用于拍摄图像，所述测量装置用于测量跟踪目标相对所述可移动平台的位置和距离。
39.根据权利要求38所述的装置，其特征在于，所述拍摄装置包括一个摄像头，或者两个摄像头；所述测量装置包括激光测量装置，或者惯性测量装置。
40.根据权利要求21所述的装置，其特征在于，所述处理器还用于：
将所述包含待跟踪目标的拍摄图像，发送至控制终端，以使所述控制终端显示所述拍摄图像，以及在定位的待跟踪目标上显示跟踪标识。
41.一种可移动平台，其特征在于，所述可移动平台包括拍摄装置、存储器和处理器；
所述拍摄装置用于拍摄图像；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取包含待跟踪目标的拍摄图像，确定所述待跟踪目标的图像特征；
根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息；
若所述拍摄图像包括多个目标对象，根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，以对所述待跟踪目标进行跟踪。
42.根据权利要求41所述的可移动平台，其特征在于，所述待跟踪目标的类型与所述目标对象的类型相同。
43.根据权利要求41所述的可移动平台，其特征在于，所述根据所述待跟踪目标的图像特征，获取所述待跟踪目标的运动信息，包括：
确定多个所述目标对象的图像特征和运动信息；
根据所述待跟踪目标的图像特征和所述目标对象的图像特征，从多个所述目标对象中确定与所述待跟踪目标匹配的目标对象；
将与所述待跟踪目标匹配的目标对象的运动信息，作为所述待跟踪目标的运动信息。
44.根据权利要求43所述的可移动平台，其特征在于，所述确定多个所述目标对象的图像特征和运动信息，包括：
识别所述拍摄图像中多个目标对象分别对应的图像特征，根据多个所述目标对象对应的图像特征确定每个所述目标对象在所述拍摄图像中的位置；
根据每个所述目标对象在所述拍摄图像中的位置，对多个所述目标对象进行多目标跟踪；以及
在进行多目标跟踪的过程中，确定多个所述目标对象的运动信息。
45.根据权利要求41所述的可移动平台，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述待跟踪目标的运动信息和多个所述目标对象的运动信息，计算所述待跟踪目标与多个所述目标对象的相似度；
根据所述相似度从多个所述目标对象中确定所述待跟踪目标。
46.根据权利要求45所述的可移动平台，其特征在于，所述运动信息包括位置信息和/或速度信息；所述相似度包括位置相似度和/或速度相似度。
47.根据权利要求46所述的可移动平台，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述位置相似度和/或速度相似度，从多个所述目标对象中确定所述待跟踪目标。
48.根据权利要求46所述的可移动平台，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
获取所述位置相似度对应的预设权重，以及所述速度相似度对应的预设权重；
根据所述位置相似度、速度相似度以及对应的预设权重，从多个所述目标对象中确定所述待跟踪目标。
49.根据权利要求48所述的可移动平台，其特征在于，所述位置相似度对应的预设权重小于所述速度相似度对应的预设权重。
50.根据权利要求45所述的可移动平台，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标。
51.根据权利要求50所述的可移动平台，其特征在于，所述根据所述相似度和所述待跟踪目标的图像特征，从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述图像特征从多个所述目标对象中，确定与所述待跟踪目标相似的目标对象；
根据所述相似度从与所述待跟踪目标相似的目标对象中，确定所述待跟踪目标。
52.根据权利要求45所述的可移动平台，其特征在于，所述根据所述相似度从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述相似度和所述待跟踪目标的Reid特征，从多个所述目标对象中确定所述待跟踪目标；
其中，所述Reid特征为采用行人重识别技术从所述拍摄图像识别出所述待跟踪目标的特征。
53.根据权利要求41所述的可移动平台，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标之前，所述处理器还实现：
根据所述待跟踪目标的图像特征和多个所述目标对象的图像特征，确定多个所述目标对象中是否存在与所述待跟踪目标相似的目标对象；
若多个所述目标对象中存在至少两个与所述待跟踪目标相似的目标对象，则根据所述运动信息从多个所述目标对象中确定所述待跟踪目标。
54.根据权利要求44所述的可移动平台，其特征在于，所述处理器还实现：
从所述拍摄图像中提取Reid特征；
所述对多个所述目标对象进行多目标跟踪，还包括：根据所述Reid特征对多个所述目标对象进行多目标跟踪。
55.根据权利要求54所述的可移动平台，其特征在于，所述根据所述运动信息从多个所述目标对象中确定所述待跟踪目标，包括：
根据所述运动信息和所述Reid特征，从多个所述目标对象中确定所述待跟踪目标。
56.根据权利要求41所述的可移动平台，其特征在于，所确定所述待跟踪目标的图像特征之后，所述处理器实现：
基于目标跟踪算法，根据所述拍摄图像对所述待跟踪目标进行跟踪。
57.根据权利要求56所述的可移动平台，其特征在于，所述目标跟踪算法包括均值漂移算法、Kalman滤波算法、粒子滤波算法、对运动目标建模算法中任意一种。
58.根据权利要求41所述的可移动平台，其特征在于，所述可移动平台包括至少一个拍摄装置，和/或，所述可移动平台包括测量装置；
其中，所述拍摄装置用于拍摄图像，所述测量装置用于测量跟踪目标相对所述可移动平台的位置和距离。
59.根据权利要求58所述的可移动平台，其特征在于，所述拍摄装置包括一个摄像头，或者两个摄像头；所述测量装置包括激光测量装置，或者惯性测量装置。
60.根据权利要求41所述的可移动平台，其特征在于，所述处理器还用于：
将所述包含待跟踪目标的拍摄图像，发送至控制终端，以使所述控制终端显示所述拍摄图像，以及在定位的待跟踪目标上显示跟踪标识。
61.一种无人机，其特征在于，所述无人机包括拍摄装置、存储器和处理器；
所述拍摄装置用于拍摄图像；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1至20任一项所述的目标跟踪方法。
62.一种控制系统，其特征在于，所述控制系统包括如权利要求41至60任一项所述的可移动平台和控制终端，所述控制终端用于控制可移动平台运行。
63.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至20任一项所述的目标跟踪方法。
CN202080005654.7A 2020-04-28 2020-04-28 目标跟踪方法、设备及存储介质 Pending CN112955712A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/087591 WO2021217450A1 (zh) 2020-04-28 2020-04-28 目标跟踪方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112955712A true CN112955712A (zh) 2021-06-11

Family

ID=76236219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005654.7A Pending CN112955712A (zh) 2020-04-28 2020-04-28 目标跟踪方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112955712A (zh)
WO (1) WO2021217450A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766130A (zh) * 2021-09-13 2021-12-07 维沃移动通信有限公司 视频拍摄方法、电子设备及装置
CN115861860A (zh) * 2023-02-24 2023-03-28 杭州靖安科技有限公司 一种无人机的目标跟踪定位方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089227A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 自動追尾機能を有する撮像装置
JP2005309746A (ja) * 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
WO2017020856A1 (zh) * 2015-08-05 2017-02-09 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN109325961A (zh) * 2018-08-27 2019-02-12 北京悦图遥感科技发展有限公司 无人机视频多目标跟踪方法及装置
WO2019041534A1 (zh) * 2017-08-29 2019-03-07 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
CN109472258A (zh) * 2018-09-27 2019-03-15 易瓦特科技股份公司 跟踪方法及装置
US20190122370A1 (en) * 2017-09-29 2019-04-25 Qoncept, Inc. Moving Body Tracking Device, Moving Body Tracking Method, and Moving Body Tracking Program
JP2019164521A (ja) * 2018-03-19 2019-09-26 三菱電機株式会社 追尾装置
CN110414443A (zh) * 2019-07-31 2019-11-05 苏州市科远软件技术开发有限公司 一种目标跟踪方法、装置及枪球联动跟踪方法
US20200043184A1 (en) * 2017-05-25 2020-02-06 SZ DJI Technology Co., Ltd. Tracking method and device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971575B2 (en) * 2012-11-23 2015-03-03 Cyberlink Corp. Systems and methods for tracking objects
CN106651908B (zh) * 2016-10-13 2020-03-31 北京科技大学 一种多运动目标跟踪方法
CN108446622A (zh) * 2018-03-14 2018-08-24 海信集团有限公司 目标物体的检测跟踪方法及装置、终端
CN109446942B (zh) * 2018-10-12 2020-10-16 北京旷视科技有限公司 目标跟踪方法、装置和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089227A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 自動追尾機能を有する撮像装置
JP2005309746A (ja) * 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
WO2017020856A1 (zh) * 2015-08-05 2017-02-09 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
US20180284777A1 (en) * 2015-12-10 2018-10-04 Autel Robotics Co., Ltd. Method, control apparatus, and system for tracking and shooting target
US20200043184A1 (en) * 2017-05-25 2020-02-06 SZ DJI Technology Co., Ltd. Tracking method and device
WO2019041534A1 (zh) * 2017-08-29 2019-03-07 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
US20190122370A1 (en) * 2017-09-29 2019-04-25 Qoncept, Inc. Moving Body Tracking Device, Moving Body Tracking Method, and Moving Body Tracking Program
JP2019164521A (ja) * 2018-03-19 2019-09-26 三菱電機株式会社 追尾装置
CN109325961A (zh) * 2018-08-27 2019-02-12 北京悦图遥感科技发展有限公司 无人机视频多目标跟踪方法及装置
CN109472258A (zh) * 2018-09-27 2019-03-15 易瓦特科技股份公司 跟踪方法及装置
CN110414443A (zh) * 2019-07-31 2019-11-05 苏州市科远软件技术开发有限公司 一种目标跟踪方法、装置及枪球联动跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766130A (zh) * 2021-09-13 2021-12-07 维沃移动通信有限公司 视频拍摄方法、电子设备及装置
CN115861860A (zh) * 2023-02-24 2023-03-28 杭州靖安科技有限公司 一种无人机的目标跟踪定位方法和系统
CN115861860B (zh) * 2023-02-24 2023-06-02 杭州靖安科技有限公司 一种无人机的目标跟踪定位方法和系统

Also Published As

Publication number Publication date
WO2021217450A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
CN112567201A (zh) 距离测量方法以及设备
Grabe et al. Robust optical-flow based self-motion estimation for a quadrotor UAV
CN106529495A (zh) 一种飞行器的障碍物检测方法和装置
CN106529538A (zh) 一种飞行器的定位方法和装置
CN111247557A (zh) 用于移动目标物体检测的方法、系统以及可移动平台
WO2019104571A1 (zh) 图像处理方法和设备
WO2022021027A1 (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN108759826B (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
CN103608841A (zh) 使用rgbd相机的头部姿势估计
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN112233221B (zh) 基于即时定位与地图构建的三维地图重建系统及方法
CN108163203B (zh) 一种拍摄控制方法、装置及飞行器
CN112955712A (zh) 目标跟踪方法、设备及存储介质
CN107808402A (zh) 多相机系统的标定方法、多相机系统及终端设备
CN111553339A (zh) 图像单元确定方法、小目标检测方法及计算机设备
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2020113417A1 (zh) 目标场景三维重建方法、系统及无人机
WO2022021028A1 (zh) 目标检测方法、装置、无人机及计算机可读存储介质
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
JP6950273B2 (ja) 飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラム
CN113994382A (zh) 深度图生成方法、电子设备、计算处理设备及存储介质
WO2022213385A1 (zh) 目标跟踪方法、装置、可移动平台及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210611