CN111345029B - 一种目标追踪方法、装置、可移动平台及存储介质 - Google Patents

一种目标追踪方法、装置、可移动平台及存储介质 Download PDF

Info

Publication number
CN111345029B
CN111345029B CN201980005359.9A CN201980005359A CN111345029B CN 111345029 B CN111345029 B CN 111345029B CN 201980005359 A CN201980005359 A CN 201980005359A CN 111345029 B CN111345029 B CN 111345029B
Authority
CN
China
Prior art keywords
shooting
image
target object
component
position area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980005359.9A
Other languages
English (en)
Other versions
CN111345029A (zh
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111345029A publication Critical patent/CN111345029A/zh
Application granted granted Critical
Publication of CN111345029B publication Critical patent/CN111345029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Abstract

本申请公开了一种目标追踪方法、装置、可移动平台及存储介质。其中，方法应用于可移动平台，可移动平台包括拍摄装置，拍摄装置包括第一拍摄组件和第二拍摄组件，方法包括：调用第二拍摄组件分别对环境进行拍摄，得到第二图像；对第二图像进行目标物体识别，得到待跟踪的目标物体在第二图像中的跟踪位置区域；根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态，以使目标物体位于第一拍摄组件的拍摄画面中。

Description

一种目标追踪方法、装置、可移动平台及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种目标追踪方法、装置、可移动平台及存储介质。
背景技术
目前的目标追踪一般是对拍摄装置拍摄得到的图像进行目标识别，从而确定出图像中的目标物体，调节拍摄装置的拍摄姿态以使目标物体始终在拍摄装置的拍摄画面中，实现对监控环境中目标物体的追踪。
现有技术中使用的追踪方式是对可见光拍摄装置拍摄的图像进行图像识别以确定图像中的目标物体，调节可见光拍摄装置的拍摄姿态以使目标物体始终处于可见光拍摄装置拍摄的拍摄画面中，进而实现可见光拍摄装置对目标对象的追踪。由于可见光拍摄装置拍摄的图像具有丰富的特征信息便于进行目标物体的识别，使得可见光拍摄装置能够准确地实现对目标物体的追踪。然而，目前，某些类型的拍摄装置输出的图像不能或者不能准确地进行目标物体识别，使得这些类型的拍摄装置不能或者不能准确地实现对目标物体的追踪。
发明内容
本发明实施例提供一种目标追踪方法、装置、可移动平台，使得输出的图像不能或者不能准确地进行目标物体识别的拍摄装置能够实现对目标物体的追踪。
第一方面，本发明实施例提供了一种目标追踪方法，应用于可移动平台，所述可移动平台包括拍摄装置，所述拍摄装置包括第一拍摄组件和第二拍摄组件，该方法包括：
调用所述第二拍摄组件对环境进行拍摄，得到第二图像，所述第一拍摄组件和第二拍摄组件的成像方式不同；
对所述第二图像进行目标物体识别，得到待跟踪的目标物体在所述第二图像中的跟踪位置区域；
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中第一拍摄组件的拍摄画面中的跟踪位置区域。
第二方面，本申请另一实施例提供了一种目标追踪装置，所述目标追踪装置应用于可移动平台，所述可移动平台包括拍摄装置，所述拍摄装置包括第一拍摄组件和第二拍摄组件，该目标追踪装置包括：
调用单元，用于调用所述第二拍摄组件对环境进行拍摄，得到第二图像，所述第一拍摄组件和第二拍摄组件的成像方式不同；
识别单元，用于对所述第二图像进行目标物体的识别，得到待跟踪的目标物体在所述第二图像中的跟踪位置区域；
第一拍摄组件的拍摄画面中的跟踪位置区域追踪单元，用于根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中。
第三方面，本申请另一实施例提供了一种可移动平台，该可移动平台包括处理器、存储器和拍摄装置，所述拍摄装置包括第一拍摄组件和第二拍摄组件，其中，所述拍摄装置用于对环境进行拍摄，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行上述第一方面的方法。
第五方面，本申请另一实施例提供了一种控制设备，该控制设备与拍摄装置通信连接，所述拍摄装置包括第一拍摄组件和第二拍摄组件，所述控制设备和拍摄装置通信连接，所述控制设备包括存储器和处理器，其中，
所述存储器用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器被配置用于调用所述程序指令，用于：
调用所述第二拍摄组件对环境进行拍摄，得到第二图像，所述第一拍摄组件和第二拍摄组件的成像方式不同；
对所述第二图像进行目标物体识别，得到待跟踪的目标物体在所述第二图像中的跟踪位置区域；
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中。本发明实施例通过拍摄装置中的第二拍摄组件输出的第二图像实现对目标物体的识别以获取目标物体在所述第二图像中的跟踪位置区域，根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于拍摄装置中的第一拍摄组件的拍摄画面中，这样即便第一拍摄组件输出的图像不能或者不能准确地进行目标物体的识别，依然可以实现第一拍摄组件对目标物体的追踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种目标追踪方法的应用场景图；
图2是本发明实施例提供的一种拍摄装置成像过程的示意图；
图3是本发明实施例提供的一种目标追踪方法的示意流程图；
图4是本申请另一实施例提供的一种目标追踪方法的示意流程图；
图5是本发明实施例提供的一种目标追踪装置的示意性框图；
图6是本发明实施例提供的一种可移动平台的结构性框图。
具体实施方式
本发明实施例提供了一种应用于可移动平台上的目标追踪方法。其中，可移动平台可以为任何依靠外力移动或者通过自身配置的动力系统移动的装置，例如，所述可移动平台可以包括飞行器。如图1所示，可移动平台上包含有用于对环境进行拍摄的拍摄装置，所述拍摄装置可以直接地或者通过活动部件(例如云台装置)承载在可移动平台的机身上。拍摄装置包括成像方式不同的第一拍摄组件和第二拍摄组件，并且可移动平台还可以通过调整可移动平台机身的姿态，或者调整可移动平台上与拍摄装置连接的活动部件(例如如前所述的云台装置)的姿态，来调整拍摄装置进行上下左右转动和/或上下左右前后平移或者转动，从而来改变拍摄装置的拍摄姿态。第一拍摄组件和第二拍摄组件可以是固定连接。在可移动平台对目标物体进行目标追踪时，首先调用拍摄装置的第二拍摄组件对包含有目标物体(例如人和动物等)的环境进行拍摄以获取第二图像，其中，第二图像可以是便于进行目标物体识别的任何类型的图像，然后根据目标物体在第二图像中的位置区域来控制拍摄装置的拍摄姿态，以使目标对象始终在第一拍摄组件的拍摄画面中，即使得目标物体始终在第一拍摄组件的拍摄范围之内，从而实现第一拍摄组件对目标物体的追踪。具体的，可移动平台先调用第二拍摄组件对环境进行拍摄，得到第二图像，然后对第二图像进行目标物体识别，得到待跟踪的目标物体在第二图像中的跟踪位置区域，并根据目标物体在第二图像中的跟踪位置区域来对拍摄装置的拍摄姿态进行调整，使得目标物体位于第一拍摄组件的拍摄画面中。可见，本申请利用第二图像来识别目标物体以及目标物体在第二图像中的跟踪位置区域，然后再根据目标物体在第二图像中的跟踪位置区域来调整拍摄装置的拍摄姿态，使得目标物体位于第一拍摄组件中的拍摄画面中，从而实现了第一拍摄组件对目标物体的间接的目标追踪。总的来说，本申请提供了一种使得第一拍摄组件能够使用对目标物体实现追踪的目标追踪方法，即便第一拍摄组件输出的图像不能或者不能准确地进行目标物体的识别，依然可以实现第一拍摄组件对目标物体的追踪。
具体的，上述在拍摄装置的拍摄姿态时，有两种调整方法，第一种调整方法是直接基于目标物体在第二图像中的跟踪位置区域对拍摄装置的拍摄姿态进行调整，在所述拍摄装置的拍摄姿态调整之后，所述目标物体处于所述第二拍摄组件的拍摄画面的预设位置区域中。当目标物体处于所述第二拍摄组件的拍摄画面的预设位置区域中，目标物体处于第一拍摄组件中的拍摄画面中与所述预设位置区域对应的目标位置区域，所述目标位置区域可以为中央位置区域。第二种调整方法是根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域，根据所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域调整所述拍摄装置的拍摄姿态，使得目标物体在第一拍摄组件的拍摄画面中，进一步地，使得目标物体处于第一拍摄组件的拍摄画面中的所述目标位置区域中。具体地，根据目标物体在第二图像中的跟踪位置区域，以及第一拍摄组件与第二拍摄组件的相对位置关系，确定目标物体在第一拍摄组件的拍摄画面第一拍摄组件的拍摄画面中的跟踪位置区域，然后基于目标物体在第一拍摄组件的拍摄画面第一拍摄组件的拍摄画面中的跟踪位置区域对拍摄装置的拍摄姿态进行调整，使得目标物体位于第一拍摄组件的拍摄画面中，例如使得目标物体处于第一拍摄组件的拍摄画面中如前所述的目标位置区域。
在实施上述第一种调整方法之前，首先需要确定第一拍摄组件和第二拍摄组件所拍摄的图像之间的区域对应关系，即当目标物体保持在第一拍摄组件拍摄的图像中时，目标物体在第二拍摄组件拍摄的图像中的位置范围，并将该位置范围作为预设位置区域。在某些实施例中，当目标物体保持在第一拍摄组件拍摄的图像中的目标位置区域时，目标物体在第二拍摄组件拍摄的图像中的位置范围，并将该位置范围作为预设位置区域。因此在实施上述第一种调整方法时，先确定目标物体在第二图像中的跟踪位置区域，然后基于该目标物体在第二图像中位置直接调整拍摄装置的拍摄姿态，使得目标物体处于所述第二拍摄组件拍摄的图像的预设位置区域中，也即是保证目标物体也位于第一拍摄组件的拍摄画面中，进一步地保证目标物体位于第一拍摄组件的拍摄画面中与所述预设位置区域对应的目标位置区域。
在实施上述第二种调整方法时，先根据目标物体在第二图像中的跟踪位置区域，以及第一拍摄组件与第二拍摄组件的相对位置关系，确定目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域，然后基于目标物体在第一拍摄组件的拍摄画面第一拍摄组件的拍摄画面中的跟踪位置区域对拍摄装置进行调整。具体的，由于第一拍摄组件和第二拍摄组件之间的相对位置固定，或者，相对位置不固定但可以被可移动平台中的传感器测量得到，因此第一拍摄组件和第二拍摄组件之前的相对位置是已知或者可知的，然后根据第一拍摄组件与第二拍摄组件之间的相对位置确定第一拍摄组件和第二拍摄组件之间的相对位置关系，即第一拍摄组件和第二拍摄组件分别拍摄的第一图像和第二图像的相对应的像素点之间的位置换算关系。因此，本申请可以根据目标物体在第二图像中的跟踪位置区域，来快速换算得到目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域。
如图2所示，本申请将以第一拍摄组件与第二拍摄组件之间的相对位置固定，且第一拍摄组件为热红外拍摄装置，第一拍摄组件拍摄得到的第一图像为热红外图像，第一图像即为第一拍摄组件的拍摄画面对应的图像，第二拍摄组件为可见光拍摄装置，第二拍摄组件拍摄得到的第二图像为光学图像为例，对本发明实施例进行在一个实施例中详细说明。
在一个实施例中，如图2所示，上述可移动平台上的拍摄装置为双光相机，该双光相机中包含的第一拍摄组件与第二拍摄组件之间的相对位置固定，第一拍摄组件为热红外拍摄装置，第一图像为热红外图像，第二拍摄组件为可见光拍摄装置，所述第二图像为光学图像。在可移动平台调用011拍摄装置对包含有目标物体(两个人)的环境进行拍摄时，0111第一拍摄组件A以热红外成像的方式对环境进行拍摄，拍摄得到为热红外图像的第一图像A1A2A3A4，0112第二拍摄组件B以可见光成像的方式对环境进行拍摄，拍摄得到为光学图像的第二图像B1B2B3B4。假设第一图像A1A2A3A4上的第一像素点与第二图像B1B2B3B4 上的第二像素点是相对应的，即第一像素点和第二像素点是针对于目标物体上的同一个目标点成像得到的，由于双光相机中的第一拍摄组件以及第二拍摄组件之间的相对位置固定，即该双光相机上的两个拍摄组件的外参是已知的，外参用于指示两个拍摄组件的相对位置，具体根据安装的相对位置与相对角度来确定，且该两个拍摄组件的内参(根据拍摄组件的焦距，光心位置确定)也是已知的，因此可以很容易将第二图像中的第二像素点投射到第一图像中的第一像素点。具体的，假设目标物体上的目标点在第一拍摄组件的相机坐标系下的坐标为(X1,Y1,Z1)，其中，X1、Y1以及Z1分别为横向坐标值，纵向坐标值以及深度坐标值，第二拍摄组件与第一拍摄组件之间的相对位置偏移为(ΔX,ΔY,ΔZ)，因此目标物体在第二拍摄组件的相机坐标系下的坐标为(X1+ΔX,Y1+ΔY,Z1ΔZ)，目标物体的目标点在第一拍摄组件拍摄得到的第一图像中的第一像素点的坐标为 (u1,v1)，目标点在第二拍摄组件拍摄得到的第二图像中的第二像素点的坐标为 (u2,v2)，第一像素点的坐标(u1,v1)与第二像素点的坐标(u2,v2)之间存在以下相对位置关系：
Figure BDA0002466142120000061
在上述公式中，f1和f2分别为第一拍摄组件和第二拍摄组件的焦距，一般来说，目标物体观测的深度一般都在5m以上，即Z1＞5m，而两个拍摄组件之间的相对位置偏移(ΔX,ΔY,ΔZ)是非常小的，
Figure BDA0002466142120000062
因此 Z1＞＞ΔX,ΔY,ΔZ，可以忽略相对位置偏移，得到第一图像与第二图像中相对应的第一像素点和第二像素点之间的相对位置关系为u1/u2＝f1/f2，v1/v2＝f1/f2。可见，根据第二像素点在第二图像中的位置，以及第一拍摄装置与第二拍摄装置之间的相对位置关系，可以容易换算得到第一像素点在第一图像中的位置。
需要说明的是，热红外成像方式指的是热红外拍摄装置探测物体自身发出的红外辐射，并通过光电转换、信号处理等手段，将物体的温度分布转换成热红外图像，因此通过热红外方式得到的第一图像A1A2A3A4可以反映出具有热辐射的物体的温度分布信息，具有热辐射的物体有人、动物和电磁设备等，热成像方式具有不受光线和遮蔽便能进行拍摄的优点，在夜间等特殊环境下可以很好的对物体进行拍摄，而可见光成像方式例如有红绿蓝(RGB，red-green-blue) 成像方式等，其成像原理是利用可见光在物体表面上的反射进行成像，其成像得到的光学图像B1B2B3B4包含了物体的颜色和形状等细节信息，但是其成像结果是受光线和遮挡的影响很大。
还需要说明的是，虽然第一拍摄组件和第二拍摄组件的相对位置可以固定也可以不固定，但第一拍摄组件与第二拍摄组件都是针对于环境中的同一目标物体进行拍摄，只是由于第一拍摄组件与第二拍摄组件的成像方式不同，导致第一拍摄组件与第二拍摄组件拍摄环境得到的图像的尺寸可能不同(例如由于技术限制，红外成像的范围比可见光成像的范围小，一般来说，红外成像得到的图像比可见光成像得到的图像小)，且目标物体在第一图像和第二图像中的位置不同。但是由于第一拍摄组件与第二拍摄组件之间的相对位置关系可以确定，因此一旦确定了目标物体在一个图像中的位置，便可以很容易的换算出目标物体在另一个图像中的位置。
可以看出，热红外图像相对于光学图像来说，纹理信息不足，如果直接在热红外图像上做目标识别与跟踪效果很差，但是热红外图像又具有其不受光线和遮挡的阻碍便可以对环境中具有热辐射的物体进行成像的优点，基于热红外图像的目标追踪方法具有十分重要的现实意义。本申请利用可见光拍摄装置输出的光学图像实现对目标物体的识别以获取目标物体在所述光学图像中的跟踪位置区域，根据所述目标物体在所述光学图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于拍摄装置中的热红外拍摄装置的拍摄画面中，这样即便热红外拍摄装置输出的热红外图像不能或者不能准确地进行目标物体的识别，依然可以实现热红外拍摄装置对目标物体的追踪。
在一个实施例中，用户可以基于第一拍摄组件输出的第一图像指定需要进行追踪的目标物体，从而实现对目标物体的追踪。具体的，如图1所示，在第一拍摄组件和第二拍摄组件分别对环境进行拍摄得到第一图像和第二图像之后，可移动平台向控制终端发送第一图像以使控制终端显示第一图像，然后用户针对控制终端上显示的第一图像中进行选择操作，例如在第一图像上框出包含有待追踪的目标物体的区域，然后控制终端根据该包含待追踪的目标物体的区域生成得到第一指示区域信息，并将该第一指示区域信息发送给可移动平台，可移动平台在接收到控制终端发送的第一区域指示信息之后，根据该第一区域指示信息，以及第一拍摄组件与所述第二拍摄组件的相对位置关系，确定得到第二图像的第二区域指示信息，并对第二图像中由该第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到目标物体在第二图像中的跟踪位置区域。例如，对第二图像中由该第二区域指示信息所指示的区域进行目标识别，识别区域内的目标物体，其中，所述识别可以是通过神经网络来识别。在确定了所述目标物体之后，即可以从第二拍摄组件输出的第二图像中识别所述确定的目标物体以获取所述目标物体在所述第二图像中的跟踪位置区域。进一步地，从第二拍摄组件输出的第二图像中识别所述确定的目标物体可以通过神经网络来识别，也可以通过图像跟踪来识别。
在一个实施例中，用户可以在控制终端查看基于第一图像的目标追踪结果。在确定得到目标物体在第二图像中的跟踪位置区域之后，根据目标物体在第二图像中的跟踪位置区域，以及第一拍摄组件和第二拍摄组件之间的相对位置关系，确定目标物体在第一图像中的跟踪位置区域，然后根据目标物体在第一图像中的跟踪位置区域，在第一图像中标记出目标物体，并将第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富标记之后的第一图像的轮廓特征，最后向控制终端发送标记之后的第一图像以使控制终端显示标记之后的第一图像。
可以理解的是，本发明实施例描述的系统架构以及业务场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
基于上述的描述，本发明实施例在图3中提出了一种更加详细的目标追踪方法，该目标追踪方法可以由前述的可移动平台来执行。
在S301中，可移动平台调用第二拍摄组件对环境进行拍摄，得到第二图像，与此同时，还可以调用第一拍摄装置对环境进行拍摄，得到第一图像。第一拍摄组件为热红外拍摄装置，第二拍摄组件为可见光拍摄装置，第一拍摄组件和第二拍摄组件的成像方式不同，第一拍摄组件以热红外成像方式成像得到为热红外图像的第一图像，第二拍摄组件以可见光成像方式成像得到为光学图像的第二图像，第二图像为光学图像。
需要说明的是，由于第一拍摄组件和第二拍摄组件的成像方式的不同，可能导致目标物体在第一图像和第二图像中的位置不同，但是由于第一拍摄组件与第二拍摄组件之间的相对位置关系可以确定，因此一旦确定了目标物体在一个图像中的位置，便可以很容易的换算出目标物体在另一个图像中的位置。
在S302中，对上述第二图像进行目标物体识别，以识别得到第二图像中的目标物体，并分割得到待跟踪的目标物体在第二图像中的跟踪位置区域。其中，目标物体识别是通过目标检测和目标分割的图像处理方法来分别来确定第二图像中的目标物体以及目标物体的跟踪位置区域，目标检测和目标分割可以是传统的目标检测方法和目标分割方法，也可以是基于深度学习(例如神经网络) 的目标检测方法和目标分割方法，本发明实施例对此不做限定。
在S303中，根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态，以使目标物体位于第一拍摄组件的拍摄画面中。其中，可移动平台可以通过改变可移动平台自身整体(例如机身)的姿态来调整拍摄装置的拍摄姿态，还可以通过与拍摄装置连接的云台装置来控制拍摄装置调整拍摄姿态，即通过调整云台装置的姿态以调整拍摄装置的拍摄姿态。
具体的，由于第一拍摄组件和第二拍摄组件之间的相对位置可知，因此第一图像和第二图像之间的对应关系也可知，从而当目标物体在第二图像中的预设位置区域中时，目标物体也应该在第一拍摄组件的拍摄画面中，进一步地，可以在所述拍摄画面的目标位置区域。上述根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态可以指的是，根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态，使得在拍摄装置的拍摄姿态调整之后，保证目标物体处于第二拍摄组件拍摄的图像的预设位置区域中，从而使得目标物体位于第一拍摄组件的拍摄画面中，进一步地，可以在所述拍摄画面的目标位置区域。
可选的，可以从更直观的方式来保证拍摄装置的拍摄姿态调整之后，目标物体在第一拍摄组件的拍摄画面中，进一步地，可以在所述拍摄画面的目标位置区域。具体的，上述根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态还可以指的是，先根据目标物体在第二图像中的跟踪位置区域，确定目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域，然后根据目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域调整拍摄装置的拍摄姿态。
可以看出，热红外图像相对于光学图像来说，纹理信息不足，如果直接在热红外图像上做目标识别与跟踪效果很差，但是热红外图像又具有其不受光线和遮挡的阻碍便可以对环境中具有热辐射的物体进行成像的优点，因此基于热红外图像的目标追踪方法是十分重要的。通过本申请则可以很好解决该问题，因为本申请利用可见光拍摄装置输出的光学图像实现对目标物体的识别以获取目标物体在所述光学图像中的跟踪位置区域，根据所述目标物体在所述光学图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于拍摄装置中的热红外拍摄装置的拍摄画面中，这样即便热红外拍摄装置输出的热红外图像不能或者不能准确地进行目标物体的识别，依然可以实现热红外拍摄装置对目标物体的追踪。
在一个实施例中，在拍摄装置的两个拍摄组件拍摄环境得到第一图像和第二图像之后，先将第一图像发送给可移动平台的控制终端，以使控制终端显示该第一图像，从而使得用户可以在该控制终端上对第一图像进行选择操作(例如框出目标物体所在的区域)，然后终端设备根据该选择操作得到用于指示用户在第一图像中所选择区域的第一区域指示信息，并将该第一区域指示信息发送给可移动平台，可移动平台接收到该第一区域指示信息之后，参照以上所描述的根据目标物体在第二图像中的跟踪位置区域确定目标物体在第一图像中的位置的过程，根据该第一区域指示信息，以及第一拍摄组件与第二拍摄组件的相对位置关系，来确定得到第二区域指示信息，该第二区域指示信息用于指示用户在第二图像中所选择区域映射在第一图像中的区域，最后对第二图像中由该第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到目标物体在第二图像中的跟踪位置区域。
可见，在本发明实施例中，在环境中包含有多个物体时，用户可以对目标物体进行指定，在一个实施例中提高了本申请的目标追踪效率。
在一个实施例中，在S301确定了目标物体在第二图像中的跟踪位置区域之后，根据目标物体在第二图像中的跟踪位置区域，确定目标物体在所述第一图像中的跟踪位置区域，然后根据目标物体在第一图像中的跟踪位置区域，在第一图像中标记出该目标物体(例如图2中的第一图像所示的，目标物体所在位置被框出)，最后向可移动平台的控制终端发送标记之后的第一图像以使控制终端显示标记之后的第一图像。其中，根据目标物体在第二图像中的跟踪位置区域确定目标物体在第一图像中的跟踪位置区域在上文中已有详细说明，在此不再赘述。
可见，本发明实施例通过对第二图像进行目标物体识别，从而确定目标物体在第二图像的跟踪位置区域，然后根据目标物体在第二图像中的跟踪位置区域确定目标物体在第一图像中的跟踪位置区域，并在第一图像中标记出目标物体，最后通过控制终端展示给用户，从而实现了基于第一图像的间接的目标追踪，尤其是当第一图像是热红外图像时，本发明实施例可以实现基于热红外图像的目标追踪，具有十分重要的实用价值。
在一个实施例中，在上一实施中，当在第一图像中标记出所述目标物体之后，先提取第二图像信息中的全部或者部分图像信息，并将第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富标记之后的第一图像的轮廓特征，然后再将标记之后的第一图像发送给控制终端，使得最终在控制终端呈现给用户的第一图像不仅被标记出了目标物体，而且图像的细节也被大大的丰富，一定程度上改善了例如热成像图像等图像的图像细节不丰富的缺点。
可见，本发明实施例不仅可以基于热成像图像来实现目标追踪，还可以通过热成像图像来与用户进行交互，并且利用光学图像的细节来丰富了原本细节不丰富的热成像图像的轮廓细节，使得热成像图像的实用性大大提高。
再一种实施方式中，本发明实施例在图3还提出了一种可更好的目标追踪方法，该目标追踪方法可以由前述的可移动平台来执行。
在S401中，调用可移动平台的拍摄装置的第一拍摄组件和第二拍摄组件对环境进行拍摄，得到第一图像和第二图像。第一拍摄组件为热红外拍摄装置，第二拍摄组件为可见光拍摄装置，第一拍摄组件和第二拍摄组件的成像方式不同，第一拍摄组件以热红外成像方式成像得到为热红外图像的第一图像，第二拍摄组件以可见光成像方式成像得到为光学图像的第二图像，第二图像为光学图像。
在S402中，向可移动平台的控制终端发送上述第一图像以使控制终端显示上述第一图像。
在S403中，获取控制终端发送的第一区域指示信息。
在S404中，根据上述第一区域指示信息，确定第二图像中的待追踪的目标物体，并得到目标物体在第二图像中的跟踪位置区域。具体的，根据第一区域指示信息，以及第一拍摄组件与第二拍摄组件的相对位置关系，确定得到第二区域指示信息，然后对第二图像中由第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到目标物体在第二图像中的跟踪位置区域。
在S405中，根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态，以使目标物体位于第一拍摄组件的拍摄画面中。其中，可移动平台可以通过改变可移动平台自身整体的姿态来调整拍摄装置的拍摄姿态，还可以通过与拍摄装置连接的云台装置来控制拍摄装置调整拍摄姿态，即通过调整云台装置的姿态以调整拍摄装置的拍摄姿态。
具体的，上述根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态可以是，将目标物体调整至第二拍摄组件拍摄的图像的预设位置区域中，使得该目标物体在第一拍摄组件的拍摄画面中，进一步地，可以在所述拍摄画面的目标位置区域。
可选的，上述根据目标物体在第二图像中的跟踪位置区域调整拍摄装置的拍摄姿态还可以是，根据目标物体在第二图像中的跟踪位置区域，以及第一拍摄组件与第二拍摄组件之间的相对位置关系，确定目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域，然后根据目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域调整拍摄装置的拍摄姿态，使得该目标物体在第一拍摄组件的拍摄画面中，进一步地，可以在所述拍摄画面的目标位置区域。
在S406中，根据目标物体在第二图像中的跟踪位置区域，确定目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域。具体的，根据目标物体在第二图像中的跟踪位置区域，以及第一拍摄组件与第二拍摄组件之间的相对位置关系，确定目标物体在第一图像中的跟踪位置区域。
在S407中，根据目标物体在第一图像中的跟踪位置区域，在第一图像中标记出目标物体。
在一个实施例中，在第一图像中标记出目标物体之后，提取第二图像中的细节信息来丰富第一图像中的轮廓特征。具体的，提取第二图像信息中的全部或者部分图像信息，然后将第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富标记之后的第一图像的轮廓特征。
在S408中，向可移动平台的控制终端发送标记之后的第一图像以使控制终端显示该标记之后的第一图像。
需要说明的是，上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
基于上述方法实施例的描述，在一种实施方式中，本发明实施例还提供了一种如图5所示的目标追踪装置的结构示意图，该目标追踪装置应用于可移动平台，可移动平台包括拍摄装置，拍摄装置包括第一拍摄组件和第二拍摄组件，该目标追踪装置包括：
调用单元510，用于调用上述第二拍摄组件对环境进行拍摄，得到第二图像，上述第一拍摄组件和第二拍摄组件的成像方式不同；识别单元520，用于对上述第二图像进行目标物体识别，得到待跟踪的目标物体在上述第二图像中的跟踪位置区域；追踪单元530，用于根据上述目标物体在上述第二图像中的跟踪位置区域调整上述拍摄装置的拍摄姿态，以使上述目标物体位于上述第一拍摄组件的拍摄画面中。
具体的，上述可移动平台包括承载上述拍摄装置的云台装置，上述追踪单元530具体用于根据上述目标物体在上述第二图像中的跟踪位置区域调整上述可移动平台的姿态和/或上述云台装置的姿态以调整上述拍摄装置的拍摄姿态。
需要说明是，上述第一拍摄组件为热红外拍摄装置；上述第二拍摄组件为可见光拍摄装置，上述第二图像为光学图像。
具体的，上述追踪 单元530具体用于根据上述目标物体在上述第二图像中的跟踪位置区域调整上述拍摄装置的拍摄姿态，在上述拍摄装置的拍摄姿态调整之后，上述目标物体处于上述第二拍摄组件的拍摄画面的预设位置区域中。
可选的，上述目标追踪装置还包括确定单元540，用于根据上述目标物体在上述第二图像中的跟踪位置区域，确定上述目标物体在上述第一拍摄组件的拍摄画面中的跟踪位置区域；上述追踪单元530，具体用于根据上述目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域调整上述拍摄装置的拍摄姿态。
在一个实施例中，所述调用单元510，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；上述目标追踪装置还包括发送单元550，用于向上述可移动平台的控制终端发送上述第一图像以使上述控制终端显示上述第一图像；上述目标追踪装置还包括获取单元560，用于获取上述控制终端发送的第一区域指示信息，其中，上述第一区域指示信息是上述控制终端通过检测用户在上述控制终端显示的第一图像上的目标物体选择操作来确定的；上述识别单元 520，具体用于根据上述第一区域指示信息，确定上述第二图像中的待追踪的目标物体，并得到上述目标物体在上述第二图像中的跟踪位置区域。
在一个实施例中，上述识别单元520，具体用于根据上述第一区域指示信息，以及上述第一拍摄组件与上述第二拍摄组件的相对位置关系，确定得到第二区域指示信息；对上述第二图像中由上述第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到上述目标物体在上述第二图像中的跟踪位置区域。
在一个实施例中，所述调用单元510，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；上述目标追踪装置还包括确定单元540，用于根据上述目标物体在上述第二图像中的跟踪位置区域，确定上述目标物体在上述第一拍摄组件的拍摄画面中的跟踪位置区域；上述目标追踪装置还包括标记单元 570，用于根据上述目标物体在上述第一拍摄组件的拍摄画面中的跟踪位置区域，在上述第一图像中标记出上述目标物体；上述目标追踪装置还包括发送单元550，用于向上述可移动平台的控制终端发送标记之后的第一图像以使上述控制终端显示上述标记之后的第一图像。
在一个实施例中，上述目标追踪装置还包括提取单元580，用于提取上述第二图像信息中的全部或者部分图像信息；上述目标追踪装置还包括添加单元 590，用于将上述第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富上述标记之后的第一图像的轮廓特征。
在一个实施例中，上述确定单元540，具体用于根据上述目标物体在上述第二图像中的跟踪位置区域，以及上述第一拍摄组件与上述第二拍摄组件的相对位置关系，确定上述目标物体在上述第一图像中的跟踪位置区域。
基于上述方法实施例的描述，本发明实施例还提供了一种如图6所示的可移动平台的结构示意图，该可移动平台的内部结构可以至少包括处理器610、存储器620和拍摄装置630，上述拍摄装置包括第一拍摄组件631和第二拍摄组件 632，上述处理器610、存储器620和拍摄装置630可通过总线640或其他方式连接，在本发明实施例所示图6中以通过总线连接为例。此处的存储器620可以用于存储计算机程序，上述计算机程序包括程序指令，此处的处理器610可以用于执行存储器620中所存储的程序指令。
在一种实施方式中，该处理器610可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器，即微处理器或者任何常规的处理器，例如：数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，等等。
该存储器620可以包括只读存储器和随机存取存储器，并向处理器610提供指令和数据。因此，在此对于处理器610和存储器620不作限定。
在本发明实施例中，由处理器610加载并执行计算机存储介质中存放的一条或一条以上指令，以实现上述相应实施例中的方法的相应步骤；具体实现中，计算机存储介质中的至少一条指令由处理器610加载并执行。具体的：
上述拍摄装置630用于对环境进行拍摄；
上述存储器620用于存储计算机程序，上述计算机程序包括程序指令；
上述处理器610被配置用于调用上述程序指令，用于调用上述第二拍摄组件对环境进行拍摄，得到第二图像，上述第一拍摄组件和第二拍摄组件的成像方式不同；还用于对上述第二图像进行目标物体识别，得到待跟踪的目标物体在上述第二图像中的跟踪位置区域；还用于根据上述目标物体在上述第二图像中的跟踪位置区域调整上述拍摄装置的拍摄姿态，以使上述目标物体位于上述第一拍摄组件的拍摄画面中。
具体的，上述处理器610具体用于根据上述目标物体在上述第二图像中的跟踪位置区域调整上述可移动平台的姿态和/或上述云台装置的姿态以调整上述拍摄装置的拍摄姿态。
需要说明的是，上述第一拍摄组件631为热红外拍摄装置；上述第二拍摄组件632为可见光拍摄装置，上述第二图像为光学图像。
具体的，上述处理器610具体用于根据上述目标物体在上述第二图像中的跟踪位置区域调整上述拍摄装置的拍摄姿态，在上述拍摄装置的拍摄姿态调整之后，上述目标物体处于上述第二拍摄组件的拍摄画面的预设位置区域中。
可选的，上述处理器具体用于根据上述目标物体在上述第二图像中的跟踪位置区域，确定上述目标物体在上述第一拍摄组件的拍摄画面中的跟踪位置区域；根据上述目标物体在第一拍摄组件的拍摄画面中的跟踪位置区域调整上述拍摄装置的拍摄姿态。
在一个实施例中，所述处理器610，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；上述可移动平台还包括通信接口650，上述通信接口用于上述可移动平台与其他终端设备进行数据交互，具体用于向上述可移动平台的控制终端发送上述第一图像以使上述控制终端显示上述第一图像；上述处理器610，具体用于获取上述控制终端发送的第一区域指示信息，其中，上述第一区域指示信息是上述控制终端通过检测用户在上述控制终端显示的第一图像上的目标物体选择操作来确定的；根据上述第一区域指示信息，确定上述第二图像中的待追踪的目标物体，并得到上述目标物体在上述第二图像中的跟踪位置区域。
具体的，上述处理器610具体用于根据上述第一区域指示信息，以及上述第一拍摄组件与上述第二拍摄组件的相对位置关系，确定得到第二区域指示信息；对上述第二图像中由上述第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到上述目标物体在上述第二图像中的跟踪位置区域。
在一个实施例中，所述处理器610，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；上述处理器610，具体用于根据上述目标物体在上述第二图像中的跟踪位置区域，确定上述目标物体在上述第一图像中的跟踪位置区域；上述处理器610，还用于根据上述目标物体在上述第一图像中的跟踪位置区域，在上述第一图像中标记出上述目标物体；
在一个实施例中，上述可移动平台还包括通信接口650，上述通信接口用于向上述可移动平台的控制终端发送标记之后的第一图像以使上述控制终端显示上述标记之后的第一图像。
在一个实施例中，上述处理器610还用于提取上述第二图像信息中的全部或者部分图像信息；将上述第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富上述标记之后的第一图像的轮廓特征。
具体的，上述处理器610具体用于根据上述目标物体在上述第二图像中的跟踪位置区域，以及上述第一拍摄组件与上述第二拍摄组件的相对位置关系，确定上述目标物体在上述第一图像中的跟踪位置区域。
本发明实施例还提供一种控制设备，控制设备与拍摄装置通信连接，所述拍摄装置包括第一拍摄组件和第二拍摄组件，其特征在于，所述控制设备包括存储器和处理器，其中，
所述存储器用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器被配置用于调用所述程序指令，用于：
调用所述第二拍摄组件对环境进行拍摄，得到第二图像，所述第一拍摄组件和第二拍摄组件的成像方式不同；
对所述第二图像进行目标物体识别，得到待跟踪的目标物体在所述第二图像中的跟踪位置区域；
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中。
其中，所述控制设备设置在可移动平台中，可移动平台包括所述控制设备和所述拍摄装置，所述控制设备可以与所述拍摄装置通信连接。控制设备的处理器执行如前所述的方法步骤，请具体参见前述部分，此处不再赘述。
需要说明的是，上述描述的可移动平台的具体工作过程，可以参考前述各个实施例中的相关描述，在此不再赘述。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，图像处理设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (23)

1.一种目标追踪方法，其特征在于，所述方法应用于可移动平台，所述可移动平台包括拍摄装置，所述拍摄装置直接或者通过活动部件承载在所述可移动平台的机身上，所述拍摄装置包括第一拍摄组件和第二拍摄组件，所述第一拍摄组件和第二拍摄组件的成像方式不同，所述第一拍摄组件和第二拍摄组件固定连接，所述方法包括：
调用所述第二拍摄组件对环境进行拍摄，得到第二图像；调用所述第一拍摄组件对环境进行拍摄，得到第一图像；所述第一拍摄组件为热红外拍摄装置；所述第二拍摄组件为可见光拍摄装置，所述第二图像为光学图像；
向所述可移动平台的控制终端发送所述第一图像，以使所述控制终端显示所述第一图像；
获取所述控制终端发送的第一区域指示信息，其中，所述第一区域指示信息是所述控制终端通过检测用户在所述控制终端显示的第一图像上的目标物体选择操作来确定的；
根据所述第一区域指示信息，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定得到第二区域指示信息；
对所述第二图像中由所述第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到所述目标物体在所述第二图像中的跟踪位置区域；
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中的目标位置区域中。
2.根据权利要求1所述的方法，其特征在于，所述可移动平台包括承载所述拍摄装置的云台装置，所述根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，包括：
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述可移动平台的姿态和/或所述云台装置的姿态以调整所述拍摄装置的拍摄姿态。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，包括：
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，在所述拍摄装置的拍摄姿态调整之后，所述目标物体处于所述第二拍摄组件的拍摄画面的预设位置区域中。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，包括：
根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域；
根据所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域调整所述拍摄装置的拍摄姿态。
5.根据权利要求1至4任意一项所述的方法，其特征在于，所述方法还包括：
调用所述第一拍摄组件对环境进行拍摄，得到第一图像；
根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一图像中的跟踪位置区域；
根据所述目标物体在所述第一图像中的跟踪位置区域，在所述第一图像中标记出所述目标物体；
向所述可移动平台的控制终端发送标记之后的第一图像以使所述控制终端显示所述标记之后的第一图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标物体在所述第一图像中的跟踪位置区域，在所述第一图像中标记出所述目标物体之后，所述向所述可移动平台的控制终端发送标记之后的第一图像以使所述控制终端显示所述标记之后的第一图像之前，还包括：
提取所述第二图像信息中的全部或者部分图像信息；
将所述第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富所述标记之后的第一图像的轮廓特征。
7.根据权利要求5所述的方法，其特征在于，所述根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一图像中的跟踪位置区域，包括：
根据所述目标物体在所述第二图像中的跟踪位置区域，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定所述目标物体在所述第一图像中的跟踪位置区域。
8.一种目标追踪装置，其特征在于，所述目标追踪装置应用于可移动平台，所述可移动平台包括拍摄装置，所述拍摄装置直接或者通过活动部件承载在所述可移动平台的机身上，所述拍摄装置包括第一拍摄组件和第二拍摄组件，所述第一拍摄组件和第二拍摄组件的成像方式不同，所述第一拍摄组件和第二拍摄组件固定连接，所述目标追踪装置包括：
调用单元，用于调用所述第二拍摄组件对环境进行拍摄，得到第二图像；
所述调用单元，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；所述第一拍摄组件为热红外拍摄装置；所述第二拍摄组件为可见光拍摄装置，所述第二图像为光学图像；
发送单元，用于向所述可移动平台的控制终端发送所述第一图像，以使所述控制终端显示所述第一图像；
获取单元，用于获取所述控制终端发送的第一区域指示信息，其中，所述第一区域指示信息是所述控制终端通过检测用户在所述控制终端显示的第一图像上的目标物体选择操作来确定的；
识别单元，具体用于：根据所述第一区域指示信息，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定得到第二区域指示信息；对所述第二图像中由所述第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到所述目标物体在所述第二图像中的跟踪位置区域；
追踪单元，用于根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中的目标位置区域中。
9.根据权利要求8所述的装置，其特征在于，所述可移动平台包括承载所述拍摄装置的云台装置，所述追踪单元具体用于根据所述目标物体在所述第二图像中的跟踪位置区域调整所述可移动平台的姿态和/或所述云台装置的姿态以调整所述拍摄装置的拍摄姿态。
10.根据权利要求8所述的装置，所述追 踪单元具体用于根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，在所述拍摄装置的拍摄姿态调整之后，所述目标物体处于所述第二拍摄组件的拍摄画面的预设位置区域中。
11.根据权利要求8所述的装置，其特征在于，包括：
所述目标追踪装置还包括确定单元，用于根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域；
所述追踪单元，具体用于根据所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域调整所述拍摄装置的拍摄姿态。
12.根据权利要求8至11任意一项所述的装置，其特征在于，
所述调用单元，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；
所述目标追踪装置还包括确定单元，用于根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一图像中的跟踪位置区域；
所述目标追踪装置还包括标记单元，用于根据所述目标物体在所述第一图像中的跟踪位置区域，在所述第一图像中标记出所述目标物体；
所述目标追踪装置还包括发送单元，用于向所述可移动平台的控制终端发送标记之后的第一图像以使所述控制终端显示所述标记之后的第一图像。
13.根据权利要求12所述的装置，其特征在于，包括：
所述目标追踪装置还包括提取单元，用于提取所述第二图像信息中的全部或者部分图像信息；
所述目标追踪装置还包括添加单元，用于将所述第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富所述标记之后的第一图像的轮廓特征。
14.根据权利要求12所述的装置，其特征在于，所述确定单元，具体用于根据所述目标物体在所述第二图像中的跟踪位置区域，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定所述目标物体在所述第一图像中的跟踪位置区域。
15.一种可移动平台，其特征在于，包括处理器、存储器、通信接口和拍摄装置，所述拍摄装置直接或者通过活动部件承载在所述可移动平台的机身上，所述拍摄装置包括第一拍摄组件和第二拍摄组件，所述第一拍摄组件和第二拍摄组件的成像方式不同，所述第一拍摄组件和第二拍摄组件固定连接，其中：
所述拍摄装置用于对环境进行拍摄；
所述存储器用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器被配置用于调用所述程序指令，用于：
调用所述第二拍摄组件对环境进行拍摄，得到第二图像；调用所述第一拍摄组件对环境进行拍摄，得到第一图像；所述第一拍摄组件为热红外拍摄装置；所述第二拍摄组件为可见光拍摄装置，所述第二图像为光学图像；
通过所述通信接口向所述可移动平台的控制终端发送所述第一图像，以使所述控制终端显示所述第一图像；
获取所述控制终端发送的第一区域指示信息，其中，所述第一区域指示信息是所述控制终端通过检测用户在所述控制终端显示的第一图像上的目标物体选择操作来确定的；
根据所述第一区域指示信息，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定得到第二区域指示信息；
对所述第二图像中由所述第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到所述目标物体在所述第二图像中的跟踪位置区域；
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中的目标位置区域中。
16.根据权利要求15所述的可移动平台，其特征在于，所述可移动平台包括承载所述拍摄装置的云台装置，所述处理器具体用于：
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述可移动平台的姿态和/或所述云台装置的姿态以调整所述拍摄装置的拍摄姿态。
17.根据权利要求15所述的可移动平台，其特征在于，所述处理器具体用于：
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，在所述拍摄装置的拍摄姿态调整之后，所述目标物体处于所述第二拍摄组件的拍摄画面的预设位置区域中。
18.根据权利要求15所述的可移动平台，其特征在于，所述处理器具体用于：
根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域；
根据所述目标物体在所述第一拍摄组件的拍摄画面中的跟踪位置区域调整所述拍摄装置的拍摄姿态。
19.根据权利要求15至18任意一项所述的可移动平台，其特征在于，
所述处理器，还用于调用所述第一拍摄组件对环境进行拍摄，得到第一图像；
所述处理器，具体用于根据所述目标物体在所述第二图像中的跟踪位置区域，确定所述目标物体在所述第一图像中的跟踪位置区域；
所述处理器，还用于根据所述目标物体在所述第一图像中的跟踪位置区域，在所述第一图像中标记出所述目标物体；
所述可移动平台还包括通信接口，所述通信接口用于向所述可移动平台的控制终端发送标记之后的第一图像以使所述控制终端显示所述标记之后的第一图像。
20.根据权利要求19所述的可移动平台，其特征在于，所述处理器还用于：
提取所述第二图像信息中的全部或者部分图像信息；
将所述第二图像信息中的全部或者部分图像信息添加到标记之后的第一图像中，以丰富所述标记之后的第一图像的轮廓特征。
21.根据权利要求19所述的可移动平台，其特征在于，所述处理器具体用于：
根据所述目标物体在所述第二图像中的跟踪位置区域，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定所述目标物体在所述第一图像中的跟踪位置区域。
22.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如权利要求1-7任一项所述的方法。
23.一种控制设备，控制设备与拍摄装置通信连接，所述拍摄装置直接或者通过活动部件承载在可移动平台的机身上，所述拍摄装置包括第一拍摄组件和第二拍摄组件，所述第一拍摄组件和第二拍摄组件的成像方式不同，所述第一拍摄组件和第二拍摄组件固定连接，其特征在于，所述控制设备包括存储器和处理器，其中，
所述存储器用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器被配置用于调用所述程序指令，用于：
调用所述第二拍摄组件对环境进行拍摄，得到第二图像；调用所述第一拍摄组件对环境进行拍摄，得到第一图像；所述第一拍摄组件为热红外拍摄装置；所述第二拍摄组件为可见光拍摄装置，所述第二图像为光学图像；
向所述可移动平台的控制终端发送所述第一图像，以使所述控制终端显示所述第一图像；
获取所述控制终端发送的第一区域指示信息，其中，所述第一区域指示信息是所述控制终端通过检测用户在所述控制终端显示的第一图像上的目标物体选择操作来确定的；
根据所述第一区域指示信息，以及所述第一拍摄组件与所述第二拍摄组件的相对位置关系，确定得到第二区域指示信息；
对所述第二图像中由所述第二区域指示信息所指示的区域进行目标识别，以确定目标物体，并得到所述目标物体在所述第二图像中的跟踪位置区域；
根据所述目标物体在所述第二图像中的跟踪位置区域调整所述拍摄装置的拍摄姿态，以使所述目标物体位于所述第一拍摄组件的拍摄画面中的目标位置区域中。
CN201980005359.9A 2019-05-30 2019-05-30 一种目标追踪方法、装置、可移动平台及存储介质 Active CN111345029B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089248 WO2020237565A1 (zh) 2019-05-30 2019-05-30 一种目标追踪方法、装置、可移动平台及存储介质

Publications (2)

Publication Number Publication Date
CN111345029A CN111345029A (zh) 2020-06-26
CN111345029B true CN111345029B (zh) 2022-07-08

Family

ID=71187716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005359.9A Active CN111345029B (zh) 2019-05-30 2019-05-30 一种目标追踪方法、装置、可移动平台及存储介质

Country Status (4)

Country Link
US (2) US10999519B2 (zh)
EP (1) EP3771198B1 (zh)
CN (1) CN111345029B (zh)
WO (1) WO2020237565A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840374A (zh) * 2020-06-30 2021-05-25 深圳市大疆创新科技有限公司 图像处理方法、图像获取装置、无人机、无人机系统和存储介质
CN113973171B (zh) * 2020-07-23 2023-10-10 宁波舜宇光电信息有限公司 多摄摄像模组、摄像系统、电子设备和成像方法
CN114401371B (zh) * 2020-08-05 2024-03-26 深圳市浩瀚卓越科技有限公司 追踪控制方法、装置、对象追踪部件和存储介质
WO2022094772A1 (zh) * 2020-11-03 2022-05-12 深圳市大疆创新科技有限公司 位置估计方法、跟随控制方法、设备及存储介质
CN112601022B (zh) * 2020-12-14 2021-08-31 中标慧安信息技术股份有限公司 一种基于网络摄像机的现场监控系统和方法
CN113327271B (zh) * 2021-05-28 2022-03-22 北京理工大学重庆创新中心 基于双光孪生网络决策级目标跟踪方法、系统及存储介质
CN113409358A (zh) * 2021-06-24 2021-09-17 浙江大华技术股份有限公司 图像跟踪方法、装置、存储介质及电子设备
CN115190237B (zh) * 2022-06-20 2023-12-15 亮风台（上海）信息科技有限公司 一种确定承载设备的转动角度信息的方法与设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048338A (ja) * 2004-08-04 2006-02-16 Nissan Motor Co Ltd 移動体検出装置
CN103168467A (zh) * 2010-08-16 2013-06-19 韩国标准科学研究院 使用热图像坐标的安防摄像机追踪和监控系统及方法
CN105915784A (zh) * 2016-04-01 2016-08-31 纳恩博（北京）科技有限公司 信息处理方法和装置
CN107015572A (zh) * 2014-07-30 2017-08-04 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN108496138A (zh) * 2017-05-25 2018-09-04 深圳市大疆创新科技有限公司 一种跟踪方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
IL199763B (en) * 2009-07-08 2018-07-31 Elbit Systems Ltd Automatic contractual system and method for observation
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
US20140253737A1 (en) * 2011-09-07 2014-09-11 Yitzchak Kempinski System and method of tracking an object in an image captured by a moving device
US9769387B1 (en) * 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US9774797B2 (en) * 2014-04-18 2017-09-26 Flir Systems, Inc. Multi-sensor monitoring systems and methods
US9442485B1 (en) * 2014-08-13 2016-09-13 Trace Live Network Inc. Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
KR101634966B1 (ko) * 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
WO2018018514A1 (en) * 2016-07-28 2018-02-01 SZ DJI Technology Co., Ltd. Target-based image exposure adjustment
CN106506941A (zh) * 2016-10-20 2017-03-15 深圳市道通智能航空技术有限公司 图像处理的方法及装置、飞行器
EP3428884B1 (en) * 2017-05-12 2020-01-08 HTC Corporation Tracking system and tracking method thereof
JP6849272B2 (ja) * 2018-03-14 2021-03-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
US11399137B2 (en) * 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048338A (ja) * 2004-08-04 2006-02-16 Nissan Motor Co Ltd 移動体検出装置
CN103168467A (zh) * 2010-08-16 2013-06-19 韩国标准科学研究院 使用热图像坐标的安防摄像机追踪和监控系统及方法
CN107015572A (zh) * 2014-07-30 2017-08-04 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN105915784A (zh) * 2016-04-01 2016-08-31 纳恩博（北京）科技有限公司 信息处理方法和装置
CN108496138A (zh) * 2017-05-25 2018-09-04 深圳市大疆创新科技有限公司 一种跟踪方法及装置

Also Published As

Publication number Publication date
EP3771198B1 (en) 2022-08-24
US20210227144A1 (en) 2021-07-22
CN111345029A (zh) 2020-06-26
WO2020237565A1 (zh) 2020-12-03
EP3771198A4 (en) 2021-06-16
US20200288065A1 (en) 2020-09-10
US10999519B2 (en) 2021-05-04
EP3771198A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
CN111345029B (zh) 一种目标追踪方法、装置、可移动平台及存储介质
EP3553465B1 (en) Information processing device and information processing method
US10306165B2 (en) Image generating method and dual-lens device
CN107113415A (zh) 用于多技术深度图获取和融合的方法和设备
CN111970454B (zh) 一种拍摄画面的展示方法、装置、设备及储存介质
CN108648225B (zh) 目标图像获取系统与方法
WO2013146269A1 (ja) 画像撮像装置、画像処理方法およびプログラム
JP2016218905A (ja) 情報処理装置、情報処理方法、及びプログラム
CN108683902B (zh) 目标图像获取系统与方法
CN109247068A (zh) 用于滚动快门补偿的方法和设备
CN109743505B (zh) 基于激光测距的视频拍摄方法、装置及电子设备
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
CN113447128B (zh) 一种多人体温检测方法、装置、电子设备及存储介质
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
CN110136203B (zh) Tof设备的标定方法及其标定系统
CN112446251A (zh) 图像处理方法及相关装置
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN113159161A (zh) 目标匹配方法和装置、设备及存储介质
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP7021036B2 (ja) 電子機器及び通知方法
CN113108919B (zh) 人体温度检测方法、装置和存储介质
JP2007315777A (ja) 三次元形状計測システム
CN108564070B (zh) 用于提取手势的方法及其装置
WO2018161322A1 (zh) 基于深度的图像处理方法、处理装置和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant