CN110147122A - 一种移动目标的追踪方法、装置及无人机 - Google Patents

一种移动目标的追踪方法、装置及无人机 Download PDF

Info

Publication number
CN110147122A
CN110147122A CN201910516768.7A CN201910516768A CN110147122A CN 110147122 A CN110147122 A CN 110147122A CN 201910516768 A CN201910516768 A CN 201910516768A CN 110147122 A CN110147122 A CN 110147122A
Authority
CN
China
Prior art keywords
mobile target
unmanned plane
mobile
motion
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910516768.7A
Other languages
English (en)
Inventor
黄欣
杜元源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201910516768.7A priority Critical patent/CN110147122A/zh
Publication of CN110147122A publication Critical patent/CN110147122A/zh
Priority to PCT/CN2020/095841 priority patent/WO2020249088A1/zh
Priority to US17/643,696 priority patent/US12007794B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/686—Maintaining a relative position with respect to moving targets, e.g. following animals or humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及无人机追踪技术领域，尤其涉及一种移动目标的追踪方法、装置及无人机。该方法包括：识别并锁定移动目标；根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中。本发明提供的移动目标追踪方法、装置及无人机能够根据移动目标的运动状态实时调整无人机的运动状态和/或拍摄设备的参数，能确保移动目标以预设尺寸大小始终位于控制终端的显示画面中，因此，该实施方式提高了移动目标追踪过程中的稳定性和可靠性，并且适用范围更广。

Description

一种移动目标的追踪方法、装置及无人机
【技术领域】
本发明涉及无人机追踪技术领域，尤其涉及一种移动目标的追踪方法、装置及无人机。
【背景技术】
目前无人机被广泛的应用于移动目标的追踪，其通常是在移动目标的表面不同位置安装无线测距传感器，各个无线测距传感器组成一个固定在移动目标表面的局部定位网络，在无人机上安装无线测距传感器，无人机上的无线测距传感器与移动目标上的无线测距传感器进行通信和测距，无人机在局部定位网络中活动，并且通过测距值计算出无人机在局部定位系统中的位置，从而实现位置锁定并跟踪移动目标。
然而，上述这种移动目标的追踪方式需要依靠外界传感器，并且还要凭借移动目标上的通信模块用于数据的通信传输，从而造成无人机在追踪移动目标时存在稳定性差、适用范围窄的问题。
【发明内容】
本发明要解决的技术问题是提供一种移动目标的追踪方法、装置及无人机，解决相关技术在追踪移动目标时存在稳定性差、适用范围窄的技术问题。
本发明实施例的一个方面，提供一种移动目标的追踪方法，应用于无人机，
所述无人机包括拍摄设备，所述拍摄设备包括云台和搭载于所述云台的相机，所述方法包括：
识别并锁定移动目标；
根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
可选地，所述识别并锁定所述移动目标包括：
采用机器视觉识别并锁定所述移动目标。
可选地，所述识别并锁定所述移动目标包括：
通过所述拍摄设备采集多个所述移动目标的图像；
基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；
建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；
基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
可选地，所述方法还包括：
对所述多个所述移动目标的图像进行预处理。
可选地，所述对所述多个所述移动目标的图像进行预处理，包括：
对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：
图像的颜色、图像的明暗和图像的尺寸。
可选地，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：
所述根据所述移动目标的所述运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于所述控制终端的显示画面中，包括：
判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，当所述移动目标的运动方向与所述无人机的运动方向不一致时，所述根据所述目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置，包括：
当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，当所述移动目标的运动方向与所述无人机的运动方向不一致时，所述根据所述目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中，包括：
当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，该方法还包括：
判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
可选地，当所述移动目标在所述控制终端的显示画面中的图像尺寸小于所述预设尺寸时，所述调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置，包括：
判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；
若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
可选地，当所述移动目标在所述控制终端的画面中的图像尺寸小于所述预设尺寸时，所述调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置，包括：
判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；
若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
可选地，所述预设位置为所述控制终端的显示画面的中央位置。
可选地，该方法还包括：
判断所述移动目标是否丢失；
若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
本发明实施例的另一个方面，提供一种移动目标的追踪装置，应用于无人机，所述无人机包括拍摄设备，所述拍摄设备包括云台和搭载于所述云台的相机，所述装置包括：
识别模块，用于识别并锁定移动目标；
调整模块，用于根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
可选地，所述识别模块采用机器视觉识别并锁定所述移动目标。
可选地，所述识别模块具体用于：
通过所述拍摄设备多角度采集所述移动目标的图像，以获得多个所述移动目标的图像；
基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；
建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；
基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
可选地，所述装置还包括预处理模块，所述预处理模块用于对多个所述移动目标的图像进行预处理。
可选地，所述预处理模块具体用于：
对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：
图像的颜色、图像的明暗和图像的尺寸。
可选地，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：
所述调整模块具体用于：
判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，所述调整模块具体用于：
当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，所述调整模块具体用于：
当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，所述调整模块还用于：
判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
可选地，所述调整模块具体用于：
判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；
若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
可选地，所述调整模块具体用于：
判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；
若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
可选地，所述预设位置为所述控制终端的显示画面的中央位置。
可选地，所述识别模块还用于：
判断所述移动目标是否丢失；
若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
本发明实施例的又一个方面，提供一种无人机，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂，用于给所述无人机提供飞行的动力；
拍摄设备，设于所述机身，所述拍摄设备包括云台和搭载于所述云台的相机；
视觉芯片，所述视觉芯片设于所述机身，所述视觉芯片用于识别并锁定移动目标；以及
飞行控制器，所述飞行控制器设于所述机身，并与所述视觉芯片通信连接，所述飞行控制器用于：
根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
可选地，所述视觉芯片通过机器视觉识别并锁定所述移动目标。
可选地，所述视觉芯片具体用于：
通过所述拍摄设备采集多个所述移动目标的图像；
基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；
建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；
基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
可选地，所述视觉芯片还用于：
对所述多个所述移动目标的图像进行预处理。
可选地，所述视觉芯片还用于：
对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：
图像的颜色、图像的明暗和图像的尺寸。
可选地，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：
所述飞行控制器用于：
判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，所述飞行控制器具体用于：
当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，所述飞行控制器具体用于：
当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
可选地，所述飞行控制器还用于：
判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
可选地，所述飞行控制器还用于：
判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；
若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
可选地，所述飞行控制器还用于：
判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；
若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
可选地，所述预设位置为所述控制终端的显示画面的中央位置。
可选地，所述视觉芯片还用于：
判断所述移动目标是否丢失；
若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
在本发明实施例中，首先对待追踪的移动目标进行识别和锁定，然后根据移动目标的运动状态调整无人机的运动状态和/或拍摄设备的参数，从而在追踪移动目标的过程中控制移动目标位于控制终端的显示画面中。本发明提供的移动目标追踪方法、装置及无人机能够根据移动目标的运动状态实时调整无人机的运动状态和/或拍摄设备的参数，能确保移动目标以预设尺寸大小始终位于控制终端的显示画面中，因此，该实施方式提高了移动目标追踪过程中的稳定性和可靠性，并且适用范围更广。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种移动目标的追踪方法运行环境示意图；
图2是本发明实施例提供的一种无人机的结构示意图；
图3是本发明实施例提供的一种移动目标的追踪方法的流程图；
图4是本发明实施例提供的移动目标的追踪方法中步骤S10其中一实施例的的流程图；
图5是本发明实施例提供的移动目标的追踪方法中步骤S20其中一实施例的流程图；
图6是本发明提供的一种移动目标的追踪方法另一实施例的流程图；
图7是本发明实施例提供的一种移动目标的追踪装置的结构框图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1是本发明实施例提供的移动目标的追踪方法和装置的运行环境示意图。该运行环境包括控制终端10、无人机20以及地面站30。控制终端10通过地面站30与无人机20通讯。用户可以通过控制终端10操控无人机20来实现所述移动目标的追踪方法。在本实施例中，所述移动目标的追踪方法和装置应用于无人机20。其中，用户可以通过操作控制终端10由地面站30向无人机20发送移动目标的信息或者发送追踪指令，无人机20根据所述移动目标的信息或者所述追踪指令执行所述移动目标的追踪方法。例如，无人机20接收到控制终端10发送的移动目标的追踪指令后，所述无人机20用于识别并锁定所述移动目标，根据所述移动目标的运动状态，调整所述无人机20的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于所述控制终端10的显示画面中。
下面结合具体的实施例来说明所述无人机20所执行的移动目标的追踪方法。
请参阅图2，无人机20包括：机身201、四个自机身201延伸的机臂202、分别装设在每个机臂202上的动力装置203、设于机身201的拍摄设备(图未示)、设于机身201的视觉芯片(图未示)以及设于机身201的飞行控制器(图未示)。其中，所述拍摄设备分别连接所述视觉芯片和所述飞行控制器，所述视觉芯片连接所述飞行控制器。
其中，机身201与机臂202固定连接，优选地，机身201与机臂202一体成型。在其他可能的实施例中，机臂202还可以相对于机身201展开或者折叠的方式与机身201相连。例如，机臂202可以通过一转轴机构与机身201相连，以实现机臂202可相对于机身201展开或折叠。
其中，所述动力装置203用于给所述无人机20提供飞行的动力，图2示出的无人机20为四旋翼无人飞行器，动力装置203的数量为四个，在其他可能的实施例中，无人机20可以是其他任何合适类型的无人飞行器，例如固定翼无人机飞行器等。在动力装置203应用于其他类型无人飞行器的场合，动力装置203的数量可以根据实际需要改变，本发明对此不作限定。
在其他可能的实施例中，动力装置203包括驱动装置2031和由驱动装置2031驱动的螺旋桨组件2032，螺旋桨组件2032装设于驱动装置2031的输出轴上，螺旋桨组件2032在驱动装置2031的驱动下旋转以产生使无人机20飞行的升力或推力。驱动装置2031可以是任何合适类型的电机，例如有刷电机、无刷电机、直流电机、步进电机、交流感应电机等。
其中，所述拍摄设备包括：云台(图未示)和搭载于所述云台的相机(图未示)。该云台安装于机身201的底部，云台用于搭载高清数码相机或者其他摄像装置以消除高清数码相机或其他摄像装置受到的扰动，保证相机或其他摄像装置拍摄的视频的清晰稳定。
所述拍摄设备用于拍摄待追踪的移动目标。所述移动目标包括但不限于人、动物、飞行器等其他可以移动的物体。拍摄设备所拍摄的移动目标可以是包含所述移动目标的视频或者图片，所述视频或者图片的数量不作限制。
其中，所述视觉芯片连接所述拍摄设备和飞行控制器。所述视觉芯片用于识别并锁定移动目标。所述视觉芯片可以通过机器视觉的方式识别并锁定所述移动目标。机器视觉方式识别移动目标属于主动识别，不依靠外界其他传感器，因此稳定性高，适用范围广且不受移动目标类型的影响，能够提高目标识别的准确度和可靠性。在本发明的一实施例中，所述视觉芯片从所述拍摄设备获取包含所述移动目标的多个图像，其中，所述多个图像可以是所述拍摄设备从不同拍摄角度拍摄的包含所述移动目标的图像。其次，基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种，所述纹理特征是所述移动目标表面的一种特征，其刻画了移动目标的图像中重复出现的局部模式与他们的排列规则；所述形状特征指的是所述移动目标在图像中所反应出的形状，比如圆形、星形等。然后，建立特征分类模型，其中，所述特征分类模型用于表征所述移动目标的类别。在本发明的一实施例中，可以采用机器学习中的分类算法来建立所述特征分类模型，该分类算法包括支持向量机、神经网络、贝叶斯分类算法等。建立所述特征分类模型的主要过程包括，采集大量的样本数据，提取样本数据的特征，将提取的特征输入分类训练器中进行训练，以确定分类器，该分类器即所述特征分类模型。其中，所述样本数据是与要识别的移动目标相关的模型库。最后，基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。在本实施例中，可以向建立的特征分类模型中输入所述移动目标的图像以及所述移动目标对应的模型库，对所述移动目标进行特征匹配，从而识别并且锁定所述移动目标。特征匹配后可以输出所述移动目标的信息，其中，所述移动目标的信息包括所述移动目标的名称、姿态、位置、形状、类别、颜色等等。
在其他可能的实施例中，所述视觉芯片还用于对所述多个所述移动目标的图像进行预处理。具体的，所述视觉芯片用于对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：图像的颜色、图像的明暗和图像的尺寸。所述视觉芯片对移动目标的图像进行预处理的过程具体可以在所述视觉芯片从所述拍摄设备获取到包含所述移动目标的多个图像之后来进行，即是对包含所述移动目标的多个图像进行预处理。在这里，通过对移动目标的图像进行预处理，从而能提高所述移动目标的识别准确率。
上述在所述视觉芯片识别并锁定移动目标后，所述飞行控制器根据所述视觉芯片锁定的移动目标以及所述移动目标的识别结果对所述移动目标进行追踪。在本发明的一实施例中，所述飞行控制器根据所述移动目标的运动状态，调整所述无人机20的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端10的显示画面中。
在本发明的一实施例中，所述移动目标的运动状态包括移动目标的运动方向，所述无人机20的运动状态包括无人机20的运动方向，所述拍摄设备的参数包括云台的角度。所述飞行控制器判断所述移动目标的运动方向与所述无人机20的运动方向是否一致；若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
在本发明的一实施例中，所述飞行控制器判断所述移动目标的运动方向与所述无人机20的运动方向是否一致可以将获取到的所述移动目标的运动方向与无人机20的运行方向进行比较，当这两个运动方向对应的参数完全相同或者参数的误差在预设范围内时，则确定移动目标的运动方向与无人机20的运动方向一致，否则，两者的运动方向不一致。
在本发明的一实施例中，当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角。当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角。由此，使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
在本发明的实施例中，所述控制终端10包括显示模块，通过所述显示模块显示所述移动目标对应的图像。所述控制终端10具体可以是智能手机、笔记本电脑、平板电脑、智能手环等，
在本发明的一实施例中，所述预设位置为所述控制终端10的显示画面的中央位置。在其他可能的实施例中，所述预设位置也可以是除了所述中央位置之外的其他位置。
在其他可能的实施例中，当移动目标在控制终端10的显示画面中的图像尺寸较小，例如，小于预设尺寸时，为了保证跟踪效果，更稳定的追踪所述移动目标，所述飞行控制器会及时调整所述无人机20的运动状态和/所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端10的显示画面中的预设位置。
其中，所述预设尺寸可以由所述飞行控制器根据控制终端显示画面的大小进行设置，也可以由用户根据个人喜好进行自定义。所述预设尺寸包括移动目标的高度、宽度、体积等。
在本发明的一实施例中，无人机20的运动状态包括无人机20的速度。当移动目标在控制终端10的显示画面中的图像尺寸小于预设尺寸时，飞行控制器判断所述移动目标在所述无人机20运动方向上的速度变化率是否大于第一阈值；若是，则调整所述无人机20的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。所述第一阈值可以是飞行控制器系统设置的速度变化率参数，也可以是用户自定义的速度变化率参数。在这里，通过调节无人机的速度，从而能够保证移动目标能始终维持为原始画面大小，保证了追踪的稳定性和可靠性。
在本发明的一实施例中，所述拍摄设备的参数包括所述相机的焦距。当移动目标在控制终端10的显示画面中的图像尺寸小于预设尺寸时，飞行控制器判断判断所述移动目标的速度与所述无人机20的速度的差值是否大于第二阈值；若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。所述第二阈值可以是飞行控制器系统设置的速度参数，也可以是用户自定义的速度参数。在这里，对无人机20的相机焦距进行调整，根据相机成像原理可以知道，1/U+1/V＝1/F，其中，U表示物镜，V表示像距，F表示焦距。当移动目标距离镜头的距离变大，并且在焦距不变的情况下，控制终端10显示画面上所看到的移动目标的大小将变小；当移动目标距离镜头的距离变大，并且在焦距变小的情况下，控制终端10显示画面上所看到的移动目标的大小将变得更小；当移动目标距离镜头的距离变大，并且在焦距变大的情况下，控制终端10显示画面上所看到的移动目标的大小将变大。因此，在移动目标与镜头的距离发生改变时，可以根据控制终端10显示画面上移动目标的大小变化情况来调节无人机20的相机的焦距，从而可以实现通过调节相机焦距大小来保障控制终端显示画面上移动目标的大小的唯一性。
上述分别通过调节云台角度、无人机20的速度以及相机焦距来确保追踪的移动目标始终能维持在预设的追踪范围内，并且保证了移动目标在控制终端显示画面中的图像大小的唯一性，值得说明的是，这三种调节方式可以是独立的，也可以是层层递进的。比如，首先通过调节云台角度来进行一级调节，使得移动目标始终保持在控制终端的显示画面中。在调整云台角度的过程中，如果发现移动目标距离无人机的距离过近或过远，则可以通过调节无人机20的速度来进行二级调节，以保证移动目标在控制终端显示画面中的图像大小基本保持一致。如果此时，仍然没有办法保证移动目标在控制终端的显示画面中的图像大小保持稳定，则通过调节相机焦距来进行三级调节，从而最大程度上保证了追踪的稳定性和可靠性。
可以理解的是，通过上述方式对移动目标进行追踪的过程中还是可能存在移动目标被追踪丢失的情况，因此，在其他可能的实施例中，所述视觉芯片还用于判断所述移动目标是否丢失；若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。在本发明的一实施例中，视觉芯片判断所述移动目标是否丢失可以通过以下方式进行判断：当预设时间内从所述拍摄设备采集的图像中都不能识别到所述移动目标时，则认为所述移动目标丢失。或者，从控制终端显示画面中获取的移动目标的尺寸小于预设阈值，比如移动终端在控制终端的显示画面中变得很小，甚至只能用一个点来表示，则认为所述移动目标丢失。或者，通过其他方式判断所述移动目标是否丢失。
其中，在移动目标丢失后，所述飞行控制器可以根据所述移动目标的历史移动轨迹来搜索所述移动目标，或者采用其他方法搜索所述移动目标。
在移动目标丢失后，所述飞行控制器还可以向控制终端10发送告警信息，以提示用户注意。并且，所述飞行控制器重新识别和搜索所述移动目标的过程可以显示于控制终端10的显示画面。
本发明实施例提供的无人机通过拍摄设备采集移动目标的图像信息，通过视觉芯片对移动目标的图像信息进行分析，从而识别并且锁定所述移动目标，然后再由飞行控制器多所述识别并且锁定的所述移动目标进行追踪，飞行控制器在追踪移动目标的过程中，可以通过调节无人机的运动状态和/或拍摄设备的参数，使移动目标能始终以预设尺寸显示于控制终端的显示界面，并且始终保持在显示界面的预设位置。所述无人机能够更精准的对移动目标进行追踪，最大程度的保证了追踪的稳定性和可靠性。
下面提供一种应用于上述无人机20的移动目标的追踪方法和装置。请参阅图3，该移动目标的追踪方法包括：
S10、识别并锁定移动目标；
所述识别并锁定所述移动目标包括：采用机器视觉识别并锁定所述移动目标。具体地，请参阅图4，在本发明的一实施例中，步骤S10可以包括：
S101、通过所述拍摄设备采集多个所述移动目标的图像。其中，可以通过无人机上的相机对移动目标进行多角度拍照，以获取不同角度位置的所述移动目标的图像。
S102、对所述多个所述移动目标的图像进行预处理。
其中，所述对所述多个所述移动目标的图像进行预处理，包括：
对所述多个所述移动目标的图像中的每一张图像的表现特征进行预处理，以使得所述每一张图像的表现特征保持一致，其中，所述表现特征包括图像的颜色、图像的明暗和图像的尺寸中的至少一种。
S103、基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种。
为了能有效的实现分类识别，需要对采集的原始图像数据进行变换，得到最能够反映分类本质的特征，这些特征包括但不限于颜色特征、纹理特征、形状特征、空间特征等。其中，进行特征提取的具体过程可以参考现有的图像识别方法。此外，当提取的特征种类很多或者待识别的移动目标的类别很多时，还可以在进行特征提取后进行特征选择，找到最匹配当前应用场景的特征。
S104、建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别。
S105、基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
关于移动目标的识别和锁定的具体内容可参见本发明提供的无人机实施例。
该移动目标的追踪方法还包括：
S20、根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
在本发明的一实施例中，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则，请参阅图5，上述步骤S20包括：
S201、判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则执行下述步骤S202；
S202、根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
在本发明的一实施例中，当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
在本发明的一实施例中，当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
在其他可能的实施例中，同样请参阅图5，所述方法还包括：
S203、判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则执行下述步骤S204；
S204、调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
在本发明的一实施例中，所述无人机的运动状态包括无人机的速度。所述拍摄设备的参数还包括相机的焦距。所述预设位置为所述控制终端的显示画面的中央位置。
当所述移动目标在所述控制终端的显示画面中的图像尺寸小于所述预设尺寸时，说明跟踪效果不理想，此时需要判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
在本发明的一实施例中，还可以判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
在其他可能的实施例中，请参阅图6，所述方法还包括：
S30、判断所述移动目标是否丢失；
若丢失，则执行下述步骤S40；
S40、搜索所述移动目标，并重新识别并锁定所述移动目标。
关于本发明的移动目标追踪方法的详细内容可以参见本发明提供的无人机实施例，在此不再详述。
本发明实施例提供的移动目标的追踪方法，该方法首先对待追踪的移动目标进行识别和锁定，然后根据移动目标的运动状态调整无人机的运动状态和/或拍摄设备的参数，从而在追踪移动目标的过程中控制移动目标位于控制终端的显示画面中。本发明提供的移动目标追踪方法、装置及无人机能够根据移动目标的运动状态实时调整无人机的运动状态和/或拍摄设备的参数，能确保移动目标以预设尺寸大小始终位于控制终端的显示画面中，因此，该实施方式提高了移动目标追踪过程中的稳定性和可靠性，并且适用范围更广。
请参阅图7，图7是本发明实施例提供的一种移动目标的追踪装置的结构示意图。该移动目标的追踪装置应用于无人机，所述无人机包括拍摄设备，所述拍摄设备包括云台和搭载于所述云台的相机，该装置40包括：识别模块41、预处理模块42以及调整模块43。
其中，所述识别模块41用于识别并锁定移动目标。所述识别模块41采用机器视觉识别并锁定所述移动目标。具体的，所述识别模块41用于：通过所述拍摄设备多角度采集所述移动目标的图像，以获得多个所述移动目标的图像；基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
其中，所述预处理模块42用于对多个所述移动目标的图像进行预处理。所述预处理模块42连接所述识别模块41，所述预处理模块42从所述识别模块41获取所述多个所述移动目标的图像。所述预处理模块42具体用于：对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：图像的颜色、图像的明暗和图像的尺寸。
其中，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：所述调整模块43具体用于：判断所述移动目标的运动方向与所述无人机的运动方向是否一致；若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
其中，所述调整模块43具体用于：当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
其中，所述调整模块43具体用于：当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
其中，所述调整模块43还用于：判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
其中，所述调整模块43具体用于：判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
其中，所述调整模块43具体用于：判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
其中，所述预设位置为所述控制终端的显示画面的中央位置。
在其他可能的实施例中，所述识别模块41还用于：判断所述移动目标是否丢失；若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
值得说明的是，上述装置内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的方法实施例基于同一构思，具体内容可以参考本发明方法实施例中的叙述，此处不再赘述。
在本发明的一实施例中，识别模块41和预处理模块42为无人机的视觉芯片，调整模块43为无人机的飞行控制器。
本发明实施例提供了一种移动目标的追踪装置，该装置首先对待追踪的移动目标进行识别和锁定，然后根据移动目标的运动状态调整无人机的运动状态和/或拍摄设备的参数，从而在追踪移动目标的过程中控制移动目标位于控制终端的显示画面中。本发明提供的移动目标追踪方法、装置及无人机能够根据移动目标的运动状态实时调整无人机的运动状态和/或拍摄设备的参数，能确保移动目标以预设尺寸大小始终位于控制终端的显示画面中，因此，该实施方式提高了移动目标追踪过程中的稳定性和可靠性，并且适用范围更广。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (39)

1.一种移动目标的追踪方法，应用于无人机，所述无人机包括拍摄设备，所述拍摄设备包括云台和搭载于所述云台的相机，其特征在于，所述方法包括：
识别并锁定移动目标；
根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
2.根据权利要求1所述的方法，其特征在于，所述识别并锁定所述移动目标包括：
采用机器视觉识别并锁定所述移动目标。
3.根据权利要求1或2所述的方法，其特征在于，所述识别并锁定所述移动目标，包括：
通过所述拍摄设备采集多个所述移动目标的图像；
基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；
建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；
基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
4.根据权利要求3所述的方法，其特征在于，该方法还包括：
对所述多个所述移动目标的图像进行预处理。
5.根据权利要求4所述的方法，其特征在于，所述对所述多个所述移动目标的图像进行预处理，包括：
对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：
图像的颜色、图像的明暗和图像的尺寸。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：
所述根据所述移动目标的所述运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于所述控制终端的显示画面中，包括：
判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
7.根据权利要求6所述的方法，其特征在于，当所述移动目标的运动方向与所述无人机的运动方向不一致时，所述根据所述目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置，包括：
当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
8.根据权利要求6所述的方法，其特征在于，当所述移动目标的运动方向与所述无人机的运动方向不一致时，所述根据所述目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中，包括：
当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
9.根据权利要求6-8中任一项所述的方法，其特征在于，该方法还包括：
判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
10.根据权利要求9所述的方法，其特征在于，当所述移动目标在所述控制终端的显示画面中的图像尺寸小于所述预设尺寸时，所述调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置，包括：
判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；
若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
11.根据权利要求9或10所述的方法，其特征在于，当所述移动目标在所述控制终端的画面中的图像尺寸小于所述预设尺寸时，所述调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置，包括：
判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；
若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
12.根据权利要求6-11中任一项所述的方法，其特征在于，所述预设位置为所述控制终端的显示画面的中央位置。
13.根据权利要求1-12中任一项所述的方法，其特征在于，该方法还包括：
判断所述移动目标是否丢失；
若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
14.一种移动目标的追踪装置，应用于无人机，所述无人机包括拍摄设备，所述拍摄设备包括云台和搭载于所述云台的相机，其特征在于，所述装置包括：
识别模块，用于识别并锁定移动目标；
调整模块，用于根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
15.根据权利要求14所述的装置，其特征在于，所述识别模块采用机器视觉识别并锁定所述移动目标。
16.根据权利要求14或15所述的装置，其特征在于，所述识别模块具体用于：
通过所述拍摄设备多角度采集所述移动目标的图像，以获得多个所述移动目标的图像；
基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；
建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；
基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
17.根据权利要求16所述的装置，其特征在于，所述装置还包括预处理模块，所述预处理模块用于对多个所述移动目标的图像进行预处理。
18.根据权利要求17所述的装置，其特征在于，所述预处理模块具体用于：
对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：
图像的颜色、图像的明暗和图像的尺寸。
19.根据权利要求14-18中任一项所述的装置，其特征在于，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：
所述调整模块具体用于：
判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
20.根据权利要求19所述的装置，其特征在于，所述调整模块具体用于：
当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
21.根据权利要求19所述的装置，其特征在于，所述调整模块具体用于：
当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
22.根据权利要求19-21中任一项所述的装置，其特征在于，所述调整模块还用于：
判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
23.根据权利要求22所述的装置，其特征在于，所述调整模块具体用于：
判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；
若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
24.根据权利要求22或23所述的装置，其特征在于，所述调整模块具体用于：
判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；
若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
25.根据权利要求19-24中任一项所述的装置，其特征在于，所述预设位置为所述控制终端的显示画面的中央位置。
26.根据权利要求14-25中任一项所述的装置，其特征在于，所述识别模块还用于：
判断所述移动目标是否丢失；
若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
27.一种无人机，其特征在于，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂，用于给所述无人机提供飞行的动力；
拍摄设备，设于所述机身，所述拍摄设备包括云台和搭载于所述云台的相机；
视觉芯片，所述视觉芯片设于所述机身，所述视觉芯片用于识别并锁定移动目标；以及
飞行控制器，所述飞行控制器设于所述机身，并与所述视觉芯片通信连接，所述飞行控制器用于：
根据所述移动目标的运动状态，调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标始终位于控制终端的显示画面中，其中，所述控制终端与所述无人机通信连接。
28.根据权利要求27所述的无人机，其特征在于，所述视觉芯片通过机器视觉识别并锁定所述移动目标。
29.根据权利要求27或28所述的无人机，其特征在于，所述视觉芯片具体用于：
通过所述拍摄设备采集多个所述移动目标的图像；
基于所述多个所述移动目标的图像，提取所述移动目标的特征，其中，所述移动目标的特征包括纹理特征、形状特征和空间特征中的至少一种；
建立特征分类模型，其中，所述特征分类模型用于表征移动目标的类别；
基于所述特征分类模型，对所述移动目标进行特征匹配，以识别并锁定所述移动目标。
30.根据权利要求29所述的无人机，其特征在于，所述视觉芯片还用于：
对所述多个所述移动目标的图像进行预处理。
31.根据权利要求30所述的无人机，其特征在于，所述视觉芯片还用于：
对所述多个所述移动目标的图像中的每一个图像的表现特征进行预处理，以使得所述每一个图像的表现特征保持一致，其中，所述表现特征包括以下中的至少一种：
图像的颜色、图像的明暗和图像的尺寸。
32.根据权利要求27-31中任一项所述的无人机，其特征在于，所述移动目标的运动状态包括所述移动目标的运动方向，所述拍摄设备的参数包括所述云台的角度，则：
所述飞行控制器用于：
判断所述移动目标的运动方向与所述无人机的运动方向是否一致；
若不一致，则根据所述移动目标的运动方向，调整所述云台的角度，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
33.根据权利要求32所述的无人机，其特征在于，所述飞行控制器具体用于：
当所述移动目标的运动方向为相对于所述相机左右运动时，调整所述云台的偏航角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
34.根据权利要求32所述的无人机，其特征在于，所述飞行控制器具体用于：
当所述移动目标的运动方向为相对于所述相机前后运动时，调整所述云台的俯仰角，以使得所述移动目标始终位于所述控制终端的显示画面中的预设位置。
35.根据权利要求32-34中任一项所述的无人机，其特征在于，所述飞行控制器还用于：
判断所述移动目标在所述控制终端的显示画面中的图像尺寸是否小于预设尺寸；
若是，则调整所述无人机的运动状态和/或所述拍摄设备的参数，以使得所述移动目标以所述预设尺寸始终位于所述控制终端的显示画面中的预设位置。
36.根据权利要求35所述的无人机，其特征在于，所述飞行控制器还用于：
判断所述移动目标在所述无人机运动方向上的速度变化率是否大于第一阈值；
若是，则调整所述无人机的速度，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
37.根据权利要求35或36所述的无人机，其特征在于，所述飞行控制器还用于：
判断所述移动目标的速度与所述无人机的速度的差值是否大于第二阈值；
若是，则调整所述相机的焦距，以使得所述移动目标以所述预设尺寸始终位于所述显示画面中的预设位置。
38.根据权利要求32-37中任一项所述的无人机，其特征在于，所述预设位置为所述控制终端的显示画面的中央位置。
39.根据权利要求27-38中任一项所述的无人机，其特征在于，所述视觉芯片还用于：
判断所述移动目标是否丢失；
若丢失，则搜索所述移动目标，并重新识别并锁定所述移动目标。
CN201910516768.7A 2019-06-14 2019-06-14 一种移动目标的追踪方法、装置及无人机 Pending CN110147122A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910516768.7A CN110147122A (zh) 2019-06-14 2019-06-14 一种移动目标的追踪方法、装置及无人机
PCT/CN2020/095841 WO2020249088A1 (zh) 2019-06-14 2020-06-12 一种移动目标的追踪方法、装置及无人机
US17/643,696 US12007794B2 (en) 2019-06-14 2021-12-10 Method and apparatus for tracking moving target and unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910516768.7A CN110147122A (zh) 2019-06-14 2019-06-14 一种移动目标的追踪方法、装置及无人机

Publications (1)

Publication Number Publication Date
CN110147122A true CN110147122A (zh) 2019-08-20

Family

ID=67591391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910516768.7A Pending CN110147122A (zh) 2019-06-14 2019-06-14 一种移动目标的追踪方法、装置及无人机

Country Status (3)

Country Link
US (1) US12007794B2 (zh)
CN (1) CN110147122A (zh)
WO (1) WO2020249088A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249088A1 (zh) * 2019-06-14 2020-12-17 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
CN112233141A (zh) * 2020-09-28 2021-01-15 国网浙江省电力有限公司杭州供电公司 电力场景下基于无人机视觉的运动目标追踪方法及系统
CN112640422A (zh) * 2020-04-24 2021-04-09 深圳市大疆创新科技有限公司 拍摄方法、可移动平台、控制设备和存储介质
CN113867417A (zh) * 2021-12-06 2021-12-31 北京航空航天大学 一种无人机移动目标久航追踪方法
CN114489093A (zh) * 2020-10-27 2022-05-13 北京远度互联科技有限公司 姿态调整方法、装置、存储介质、图像采集设备及无人机
CN114638490A (zh) * 2022-03-09 2022-06-17 中国电子科技集团公司第五十四研究所 一种针对小目标识别的无人机资源调度方法
CN117268418A (zh) * 2023-09-20 2023-12-22 中国地质大学（北京） 一种无人机野外路径规划方法、终端设备及储存介质
CN114638490B (zh) * 2022-03-09 2024-11-12 中国电子科技集团公司第五十四研究所 一种针对小目标识别的无人机资源调度方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7247904B2 (ja) * 2020-01-15 2023-03-29 トヨタ自動車株式会社 ドローンシステム及びドローンによる車両撮影方法
CN114821375B (zh) * 2022-06-27 2022-09-06 江西省地矿测绘有限公司 基于多源遥感数据的成图方法、装置、存储介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108476288A (zh) * 2017-05-24 2018-08-31 深圳市大疆创新科技有限公司 拍摄控制方法及装置
CN108537726A (zh) * 2017-03-03 2018-09-14 杭州海康威视数字技术股份有限公司 一种跟踪拍摄的方法、设备和无人机
US20180365839A1 (en) * 2016-09-27 2018-12-20 SZ DJI Technology Co., Ltd. Systems and methods for initialization of target object in a tracking system
US20190004543A1 (en) * 2017-07-03 2019-01-03 Skydio, Inc. Detecting optical discrepancies in captured images
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930298B2 (en) * 2011-04-19 2018-03-27 JoeBen Bevirt Tracking of dynamic object of interest and active stabilization of an autonomous airborne platform mounted camera
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
WO2017045116A1 (en) * 2015-09-15 2017-03-23 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180365839A1 (en) * 2016-09-27 2018-12-20 SZ DJI Technology Co., Ltd. Systems and methods for initialization of target object in a tracking system
CN108537726A (zh) * 2017-03-03 2018-09-14 杭州海康威视数字技术股份有限公司 一种跟踪拍摄的方法、设备和无人机
CN108476288A (zh) * 2017-05-24 2018-08-31 深圳市大疆创新科技有限公司 拍摄控制方法及装置
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
US20190004543A1 (en) * 2017-07-03 2019-01-03 Skydio, Inc. Detecting optical discrepancies in captured images
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨露菁 等: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社 *
田景熙: "《物联网概论 第2版》", 31 July 2017, 东南大学出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249088A1 (zh) * 2019-06-14 2020-12-17 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
US12007794B2 (en) 2019-06-14 2024-06-11 Autel Robotics Co., Ltd. Method and apparatus for tracking moving target and unmanned aerial vehicle
CN112640422A (zh) * 2020-04-24 2021-04-09 深圳市大疆创新科技有限公司 拍摄方法、可移动平台、控制设备和存储介质
CN112233141A (zh) * 2020-09-28 2021-01-15 国网浙江省电力有限公司杭州供电公司 电力场景下基于无人机视觉的运动目标追踪方法及系统
CN112233141B (zh) * 2020-09-28 2022-10-14 国网浙江省电力有限公司杭州供电公司 电力场景下基于无人机视觉的运动目标追踪方法及系统
CN114489093A (zh) * 2020-10-27 2022-05-13 北京远度互联科技有限公司 姿态调整方法、装置、存储介质、图像采集设备及无人机
CN114489093B (zh) * 2020-10-27 2022-11-29 北京远度互联科技有限公司 姿态调整方法、装置、存储介质、图像采集设备及无人机
CN113867417A (zh) * 2021-12-06 2021-12-31 北京航空航天大学 一种无人机移动目标久航追踪方法
CN114638490A (zh) * 2022-03-09 2022-06-17 中国电子科技集团公司第五十四研究所 一种针对小目标识别的无人机资源调度方法
CN114638490B (zh) * 2022-03-09 2024-11-12 中国电子科技集团公司第五十四研究所 一种针对小目标识别的无人机资源调度方法
CN117268418A (zh) * 2023-09-20 2023-12-22 中国地质大学（北京） 一种无人机野外路径规划方法、终端设备及储存介质

Also Published As

Publication number Publication date
US12007794B2 (en) 2024-06-11
US20220137648A1 (en) 2022-05-05
WO2020249088A1 (zh) 2020-12-17

Similar Documents

Publication Publication Date Title
CN110147122A (zh) 一种移动目标的追踪方法、装置及无人机
Cho et al. Picie: Unsupervised semantic segmentation using invariance and equivariance in clustering
Lee et al. Real-time, cloud-based object detection for unmanned aerial vehicles
US10740593B1 (en) Method for recognizing face using multiple patch combination based on deep neural network with fault tolerance and fluctuation robustness in extreme situation
Inoue et al. Transfer learning from synthetic to real images using variational autoencoders for precise position detection
CN113129341B (zh) 基于轻量型孪生网络的降落跟踪控制方法和系统及无人机
US10438062B1 (en) Cascade recognition for personal tracking via unmanned aerial vehicle (UAV)
US20150138310A1 (en) Automatic scene parsing
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
Xu et al. A cascade adaboost and CNN algorithm for drogue detection in UAV autonomous aerial refueling
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN107577245A (zh) 一种飞行器参数设定方法和装置及计算机可读存储介质
GB2598261A (en) Vision system and method for unmanned aerial vehicles
RU198460U1 (ru) Устройство технического зрения малого беспилотного летательного аппарата
Hassan et al. A deep learning framework for automatic airplane detection in remote sensing satellite images
Lee et al. Small Object Detection in Infrared Images Using Attention Mechanism and Sigmoid Function
Kanellakis et al. Open space attraction based navigation in dark tunnels for MAVs
Chaturvedi et al. Small object detection using retinanet with hybrid anchor box hyper tuning using interface of Bayesian mathematics
Rozantsev Vision-based detection of aircrafts and uavs
Espsoito et al. A hybrid approach to detection and tracking of unmanned aerial vehicles
Nguyen et al. Application of graph segmentation method in thermal camera object detection
KR20230044085A (ko) 드론을 이용하여 매장을 관리하기 위한 장치 및 방법
Zhou et al. A vision-based autonomous detection scheme for obstacles on the runway
Yesilevskyi et al. Development of a video processing module for the task of air object recognition based on their contours
CN116935245B (zh) 一种长距离通信的电网无人机巡检系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.