CN106683123B - 一种目标跟踪方法及目标跟踪装置 - Google Patents

一种目标跟踪方法及目标跟踪装置 Download PDF

Info

Publication number
CN106683123B
CN106683123B CN201611033196.XA CN201611033196A CN106683123B CN 106683123 B CN106683123 B CN 106683123B CN 201611033196 A CN201611033196 A CN 201611033196A CN 106683123 B CN106683123 B CN 106683123B
Authority
CN
China
Prior art keywords
relative position
position information
electronic equipment
tracking target
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611033196.XA
Other languages
English (en)
Other versions
CN106683123A (zh
Inventor
唐矗
孙晓路
陈子冲
卿明
吴庆
任冠佼
蒲立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Publication of CN106683123A publication Critical patent/CN106683123A/zh
Application granted granted Critical
Publication of CN106683123B publication Critical patent/CN106683123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/82—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein continuous-type signals are transmitted
    • G01S13/825—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein continuous-type signals are transmitted with exchange of information between interrogator and responder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/0226—Transmitters
    • G01S5/0231—Emergency, distress or locator beacons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0258—Hybrid positioning by combining or switching between measurements derived from different systems
    • G01S5/02585—Hybrid positioning by combining or switching between measurements derived from different systems at least one of the measurements being a non-radio measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/28—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory

Abstract

本发明公开了一种目标跟踪方法，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，所述方法包括：通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息；通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息；基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息；基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进。本发明实现了提高目标跟踪方法的稳定性和鲁棒性的技术效果。同时，本发明还公开了一种目标跟踪装置。

Description

一种目标跟踪方法及目标跟踪装置
技术领域
本发明涉及电子技术领域，尤其涉及一种目标跟踪方法及目标跟踪装置。
背景技术
目前，机器人已经广泛普及，且应用于各个领域。例如，地面机器人(例如：平衡车)可用于代步出行，治安巡逻，等等；空中机器人(例如：无人机)可用于物资运输，灾难救援，地形勘探，电力巡检，影视拍摄，等等。
机器人可以对跟踪目标进行跟踪，机器人在跟踪目标行进过程中，大多利用摄像头采集跟踪目标的图像数据，并利用视觉跟踪算法确定跟踪目标与机器人的相对位置，再基于该相对位置跟踪该跟踪目标行进。但是这种方法稳定性差，容易受到光照变化的干扰，鲁棒性较低。
发明内容
本发明实施例通过提供一种目标跟踪方法及目标跟踪装置，解决了现有技术中的目标跟踪方法存在稳定性差，鲁棒性较低的技术问题。
一种目标跟踪方法，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，所述方法包括：
通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息；
通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息；
基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息；
基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进。
优选地，所述第一相对位置信息包括：所述电子设备与所述跟踪目标之间的第一距离和/或所述电子设备的行进方向与所述跟踪目标的第一夹角；
所述第二相对位置信息包括：所述电子设备与所述跟踪目标之间的第二距离和/或所述电子设备的行进方向与所述跟踪目标的第二夹角；
所述第三相对位置信息包括：所述电子设备与所述跟踪目标之间的第三距离和/或所述电子设备的行进方向与所述跟踪目标的第三夹角。
优选地，所述通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息，包括：
通过所述无载波通信模块感应信标的位置，从而确定所述第一相对位置信息；其中，所述信标设置在所述跟踪目标上。
优选地，所述通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息，包括：
获取所述摄像头采集的图像数据；
在所述图像数据中确定所述跟踪目标对应的目标模板；
基于视觉跟踪算法，利用所述目标模板确定所述第二相对位置信息。
优选地，所述在所述图像数据中确定所述跟踪目标对应的目标模板，包括：
基于等式确定后续帧图像中的所述目标模板的大小；
其中，Pt为所述后续帧图像中的所述目标模板的大小，P0为初始帧图像中的所述目标模板的大小，d0为在所述初始帧图像对应的初始时刻确定的所述第一距离，dt为在所述后续帧图像对应的后续时刻确定的所述第一距离，所述后续帧图像和所述初始帧图像属于所述图像数据，且所述后续帧图像位于所述初始帧图像之后。
优选地，所述基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息，包括：
基于等式d＝duwb·cosθv，确定所述电子设备与所述跟踪目标的第三距离：
其中，d为所述第三距离，duwb为所述第一距离，θv为所述摄像头的俯仰角；
基于等式θ＝σ·θvision+(1-σ)·θuwb，确定所述电子设备的行进方向与所述跟踪目标的第三夹角：
其中，θ为所述第三夹角；θuwb为所述第一夹角；θvision为所述第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。
优选地，所述基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进，包括以下至少一项：
基于所述第三夹角，调节所述电子设备的行进方向，使得所述电子设备朝向所述跟踪目标行进；
基于所述第三夹角，调节所述摄像头的仰俯角，使得所述摄像头对准所述跟踪目标；
基于所述第三距离，调节所述电子设备的行进速度。
另一方面，本发明通过本发明的一实施例，提供如下技术方案：
一种目标跟踪装置，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，所述目标跟踪装置，包括：
第一确定单元，用于通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息；
第二确定单元，用于通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息；
第三确定单元，用于基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息；
控制单元，用于基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进。
优选地，所述第一相对位置信息包括：所述电子设备与所述跟踪目标之间的第一距离和/或所述电子设备的行进方向与所述跟踪目标的第一夹角；
所述第二相对位置信息包括：所述电子设备与所述跟踪目标之间的第二距离和/或所述电子设备的行进方向与所述跟踪目标的第二夹角；
所述第三相对位置信息包括：所述电子设备与所述跟踪目标之间的第三距离和/或所述电子设备的行进方向与所述跟踪目标的第三夹角。
优选地，所述第一确定单元，包括：
第一确定子单元，用于通过所述无载波通信模块感应信标的位置，从而确定所述第一相对位置信息；其中，所述信标设置在所述跟踪目标上。
优选地，所述第二确定单元，包括：
获取子单元，用于获取所述摄像头采集的图像数据；
第二确定子单元，用于在所述图像数据中确定所述跟踪目标对应的目标模板；
第三确定子单元，用于基于视觉跟踪算法，利用所述目标模板确定所述第二相对位置信息。
优选地，所述第二确定子单元，具体用于：
基于等式确定后续帧图像中的所述目标模板的大小；
其中，Pt为所述后续帧图像中的所述目标模板的大小，P0为初始帧图像中的所述目标模板的大小，d0为在所述初始帧图像对应的初始时刻确定的所述第一距离，dt为在所述后续帧图像对应的后续时刻确定的所述第一距离，所述后续帧图像和所述初始帧图像属于所述图像数据，且所述后续帧图像位于所述初始帧图像之后。
优选地，所述第三确定单元，包括：
第四确定子单元，用于基于等式d＝duwb·cosθv，确定所述电子设备与所述跟踪目标的第三距离：其中，d为所述第三距离，duwb为所述第一距离，θv为所述摄像头的俯仰角；
第五确定子单元，用于基于等式θ＝σ·θvision+(1-σ)·θuwb，确定所述电子设备的行进方向与所述跟踪目标的第三夹角：其中，θ为所述第三夹角；θuwb为所述第一夹角；θvision为所述第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。
优选地，所述控制单元，包括以下至少一项：
第一调节子单元，用于基于所述第三夹角，调节所述电子设备的行进方向，使得所述电子设备朝向所述跟踪目标行进；
第二调节子单元，用于基于所述第三夹角，调节所述摄像头的仰俯角，使得所述摄像头对准所述跟踪目标；
第三调节子单元，用于基于所述第三距离，调节所述电子设备的行进速度。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本发明实施例中，公开了一种目标跟踪方法，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，所述方法包括：通过无载波通信模块确定跟踪目标与电子设备的第一相对位置信息；通过摄像头确定跟踪目标与电子设备的第二相对位置信息；基于第一相对位置信息和第二相对位置信息，确定跟踪目标与电子设备的第三相对位置信息；基于第三相对位置信息，控制电子设备跟踪所述跟踪目标行进。由于电子设备同时搭载无载波通信模块和摄像头，将无载波通信模块确定的第一相对位置信息和摄像头确定的第二相对位置信息进行融合，获得了准确性更高的第三相对位置信息，再利用第三相对位置信息控制电子设备跟踪所述跟踪目标行进，所以有效地解决了现有技术中的目标跟踪方法存在稳定性差，鲁棒性较低的技术问题，实现了提高目标跟踪方法的稳定性和鲁棒性的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种目标跟踪方法的流程图；
图2-图3为本发明实施例中目标跟踪方法应用于平衡车的示意图，其中，图2为侧视图，图3为俯视图；
图4为本发明实施例中目标跟踪方法应用于无人机的示意图；
图5为本发明实施例中一种目标跟踪装置的结构图。
具体实施方式
本发明实施例通过提供一种目标跟踪方法及目标跟踪装置，解决了现有技术中的目标跟踪方法存在稳定性差，鲁棒性较低的技术问题。
本发明实施例的技术方案为解决上述技术问题，总体思路如下：
一种目标跟踪方法，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，所述方法包括：通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息；通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息；基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息；基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
实施例一
本实施例提供了一种目标跟踪方法，应用于电子设备中，所述电子设备可以是：地面机器人(例如：平衡车)、或无人机(例如：多旋翼无人机、或固定翼无人机)、或电动汽车等设备，此处，对于所述电子设备具体是何种设备，本实施例不做具体限定。
在具体实施过程中，在电子设备上设置有摄像头和无载波通信模块，所述无载波通信模块具体可以是UWB(Ultra Wideband，超宽带)通信模块，UWB是一种与传统通信技术有极大差异的通信技术，不需要使用载波来传输信号，而是通过发送和接收具有纳秒或亚秒级以下的极窄脉冲来传递数据，其具有抗干扰性能强、无载波、设备发射功率低等特点，可以用于精确定位，其距离精度能够达到10厘米左右。当然，本发明实施例的无线载波通信模块也不仅限于UWB通信模块，实际应用中任何能用于目标跟踪的无线载波通信模块应当都属于本发明实施例的保护范围。
如图2所示，以所述电子设备是平衡车为例，可以在平衡车的操控杆上安装摄像头和UWB通信模块。
如图4所示，以所述电子设备是无人机为例，可以在无人机下方安装摄像头和UWB通信模块，其中，该UWB通信模块为大功率UWB通信模块，具有较远的检测距离，适用于高空飞行的无人机。
进一步，如图1所示，本实施例提供的目标跟踪方法，包括：
步骤S101：通过无载波通信模块确定跟踪目标与电子设备的第一相对位置信息。
作为一种可选的实施例，步骤S101，包括：
通过无载波通信模块感应信标的位置，从而确定第一相对位置信息；其中，所述信标设置在所述跟踪目标上。
在具体实施过程中，第一相对位置信息包括：电子设备与跟踪目标之间的第一距离和/或电子设备的行进方向与跟踪目标的第一夹角。
在具体实施过程中，跟踪目标携带有UWB信标，UWB信标内设置有接收天线，UWB通信模块内设置有发射天线，通过UWB通信模块可以感应到UWB信标的位置，从而确定电子设备与跟踪目标之间的第一距离和/或电子设备的行进方向与跟踪目标的第一夹角。但是，在UWB信标的接收天线与UWB通信模块内的发射天线极化方向不一致时(例如：在UWB信标姿态变化)，获取的第一夹角的精度将大幅下降，容易出现跟踪方向的摆动。
步骤S102：通过摄像头确定跟踪目标与电子设备的第二相对位置信息。
作为一种可选的实施例，步骤S102，包括：
获取摄像头采集的图像数据；在图像数据中确定跟踪目标对应的目标模板；基于视觉跟踪算法，利用目标模板确定第二相对位置信息。
在具体实施过程中，第二相对位置信息包括：电子设备与跟踪目标之间的第二距离和/或电子设备的行进方向与跟踪目标的第二夹角。
在具体实施过程中，可以在电子设备上设置一个摄像头或多个摄像头(例如：两个或两个以上的摄像头)，通过摄像头采集包含跟踪目标的图像数据，然后在其中的某一帧图像(即：初始帧图像)中确定跟踪目标对应的目标模板，再利用视觉跟踪算法计算出电子设备与跟踪目标之间的第二距离和/或电子设备的行进方向与跟踪目标的第二夹角。其中，所述视觉跟踪算法可以是任何短期跟踪(short-term tracking)算法，此处不做具体限定。另外，在确定跟踪目标对应的目标模板时，可以将摄像头采集到的初始帧图像通过显示屏显示出来，并获取用户的选择操作，再基于该选择操作从初始帧图像中确定所述目标模板；或者，还可以利用显著性分析(saliency detection)或目标检测(object detection)等方法确定所述目标模板。
在具体实施过程中，基于视觉跟踪算法，可以根据初始帧图像中定义的跟踪目标对应的目标模板，训练一模型对后续帧图像中该跟踪目标进行跟踪，并在跟踪过程不断更新模型，以达到适应目标物体姿态变化，以及克服复杂背景干扰的目的。由于无需离线训练，该方法具有很高的通用性，可以对用户指定的任何物体进行跟踪；此外，基于视觉跟踪算计算出的第二夹角准确性很高。但是，由于实际应用场景往往十分复杂(例如：光照的变化，相似目标的干扰)，因此视觉跟踪算法的鲁棒性不好，计算出的第二距离容易受到影响，无法达到产品应用级别，此外，也无法准确地判断跟踪目标是否跟丢。
作为一种可选的实施例，所述在图像数据中确定跟踪目标对应的目标模板，包括：
基于等式(1)确定后续帧图像中的目标模板的大小：
其中，Pt为后续帧图像中的目标模板的大小，P0为初始帧图像中的目标模板的大小，d0为在初始帧图像对应的初始时刻确定的第一距离，dt为在后续帧图像对应的后续时刻确定的第一距离，后续帧图像和初始帧图像属于图像数据，且后续帧图像位于初始帧图像之后。
举例来讲，在t0时刻(即：初始时刻)，在从初始帧图像中确定跟踪目标对应的目标模板后，记录该目标模板的大小P0，以及记录在t0时刻通过UWB通信模块确定的电子设备与跟踪目标之间的第一距离d0；在t0时刻之后的t1时刻(即：后续时刻)，在利用视觉跟踪算法从后续帧图像(即：初始帧之后的任一帧)中确定电子设备与跟踪目标的第二相对位置信息时，获取通过UWB通信模块确定的电子设备与跟踪目标之间的第一距离dt；并基于等式(1)确定后续帧图像中的跟踪目标对应的目标模板的大小Pt：
由于，在利用视觉跟踪算法确定第二相对位置信息时，需要考虑目标模板的大小和目标模板在图像中的位置，目标模板的大小能够反映跟踪目标距离电子设备的远近(一般，目标模板越大，距离越近；目标模板越小，距离越远)，若目标模板大小不准确，则会影响第二相对位置信息的准确性。由于UWB通信模块测量到的第一距离准确性很高，此处利用UWB通信模块测量到的第一距离来修正目标模板的大小，再基于修正后的目标模板的大小(即：Pt)利用视觉跟踪算法来确定第二相对位置信息，可以大大提升第二相对位置信息的准确性，提升视觉跟踪算法的精度。
步骤S103：基于第一相对位置信息和第二相对位置信息，确定跟踪目标与电子设备的第三相对位置信息。
在具体实施过程中，由于通过UWB通信获得测得的第一相对位置信息和通过视觉跟踪算法获得的第二相对位置信息都存在优点和不足(一般来讲，UWB通信模块获得的第一距离要比视觉跟踪算法获得的第二距离更准确，而视觉跟踪算法获得的第二夹角又要比UWB通信模块获得的第一夹角更加准确)，所以，此处将第一相对位置信息和第二相对位置信息相融合(对于具体融合方式，此处不做限定)，目的在于获取更准确的第三相对位置信息。
在具体实施过程中，第三相对位置信息包括：电子设备与跟踪目标之间的第三距离和/或电子设备的行进方向与跟踪目标的第三夹角。
另外，在利用UWB通信模块对跟踪目标进行跟踪时，是不会出现跟丢的情况的，所以UWB通信模块确定的第一相对位置信息还可以用于辅助视觉跟踪算法来判定目标是否丢失，从而解决了视觉跟踪算法无法准确地判断跟踪目标是否跟丢的问题。
在具体实施过程中，在某些不利情况下，第一相对位置信息或第二相对位置信息的准确性可能会急剧下降，严重影响最终的第三相对位置信息的准确性。为了避免这种情况，可以对第一相对位置信息和第二相对位置信息分别设置置信度，用于分别表示第一相对位置信息和第二相对位置信息的可信程度。若第一相对位置信息和第二相对位置信息一致性较高，则不考虑置信度，直接将第一相对位置信息和第二相对位置信息进行融合，获得第三相对位置信息；若第一相对位置信息和第二相对位置信息差异较大，则置信度较高的信息的起决定性作用；或者，在某一信息的置信度太低时，直接不予考虑。
其中，在通过UWB通信模块感应UWB信标的位置来确定第一相对位置信息时，可能会受到环境中其它无线信号的干扰，导致确定的第一相对位置信息不够准确，可信程度不高。所以，此处针对每一时刻获得的第一相对位置信息都设置一置信度，来表示每一时刻获得的第一相对位置信息的可信程度。具体来讲，可以在t0时刻确定第一相对位置信息时，保存UWB通信模块感应UWB信标时的波形信号(简称：原始波形信号)以作备用，在t0时刻之后的ti时刻，在通过UWB通信模块感应UWB信标的位置时，将ti时刻UWB通信模块感应到的波形信号(简称：第i波形信号)与原始波形信号做比对，计算出第i波形信号与原始波形信号的相似度，将该相似度作为在ti时刻获取的第一相对位置信息的置信度。其中，相似度越大，则说明在ti时刻获取的第一相对位置可信程度越高，即置信度越高；相似度越小，则说明在ti时刻获取的第一相对位置可信程度越低，即置信度越低。
其中，在基于视觉跟踪算法确定第二相对位置信息时，可能会出现跟丢的情况，此时目标模板内的目标并不是原始的跟踪目标，导致确定的第二相对位置信息不准确，可信程度不高。所以，此处针对每一帧图像获得的第二相对位置信息都设置一置信度，来表示每一帧图像获得的第二相对位置信息的可信程度。具体来讲，可以保存初始帧图像中目标模板内的图像(简称：原始图像)以作备用，在对后续帧图像确定第二位置信息时，获取后续帧图像中目标模板内的图像(简称：后续图像)，并将后续图像与原始图像做比对，计算出后续图像与原始图像的相似度，将该相似度作为基于后续帧图像确定的第二位置信息的置信度。其中，相似度越大，则说明基于后续帧图像确定的第二位置信息的可信程度越高，即置信度越高；相似度越小，则说明基于后续帧图像确定的第二位置信息的可信程度越低，即置信度越低。
下面，以所述电子设备为平衡车为例，对步骤S103进行举例说明。
如图2所示，在对第一距离和第二距离进行比较时，发现第二距离与第一距离差异较大，而第一距离的置信度更高，则在确定平衡车与跟踪目标的第三距离时，可以只考虑了第一距离。例如，可以基于等式(2)确定第三距离：
d＝duwb·cosθv (2)
其中，d为第三距离，duwb为第一距离，摄像头可以上下转动，θv为摄像头的俯仰角，此处，使用摄像头仰角来近似第一夹角θuwb。
如图3所示，在确定平衡车的行进方向与跟踪目标的第三夹角时，还可以考虑UWB通信模块的性能，基于UWB通信模块的性能越调节第一夹角和第二夹角的权重。例如，可以基于等式(3)确定平衡车的行进方向与跟踪目标的第三夹角：
θ＝σ·θvision+(1-σ)·θuwb (3)
其中，θ为第三夹角；θuwb为第一夹角；θvision为第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。σ与UWB通信模块的性能有关，若UWB通信模块的性能越好，其测得的θuwb准确性越高，则θuwb的权重越大；若UWB通信模块的性能越差，其测得的θuwb准确性越低，则θuwb的权重越小。
下面，以所述电子设备为无人机为例，对步骤S103进行举例说明。
如图4所示，在确定跟踪目标到无人机的水平方向的距离(即：第三距离)时，视觉跟踪算法所确定的第二夹角误差较大，其置信度太低，所以不予考虑。例如，可以基于等式(4)计算跟踪目标到无人机的水平方向的距离(即：第三距离)：
d＝duwb·cosθuwb (4)
其中，d为第三距离，duwb为第一距离，θuwb为第一夹角，由于UWB通信模块固定在无人机上，此处可以将无人机姿态倾角近似作为是第一夹角θuwb。
在确定无人机的行进方向与跟踪目标的仰俯角(即：第三夹角)时，也可以考虑UWB通信模块的性能，基于UWB通信模块的性能越调节第一夹角和第二夹角的权重。例如，可以基于等式(3)确定无人机的行进方向与跟踪目标的仰俯角(即：第三夹角)：
θ＝σ·θvision+(1-σ)·θuwb (3)
其中，θ为第三夹角；θuwb为第一夹角(可以用无人机姿态倾角近似代替)；θvision为第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。σ与UWB通信模块的性能有关，若UWB通信模块的性能越好，则θuwb的权重越大；若UWB通信模块的性能越差，则θuwb的权重越小。
步骤S104：基于第三相对位置信息，控制电子设备跟踪所述跟踪目标行进。
作为一种可选的实施例，步骤S103，包括：基于第三夹角，调节电子设备的行进方向，使得电子设备朝向跟踪目标行进；和/或，基于第三夹角，调节摄像头的仰俯角，使得摄像头对准跟踪目标。
举例来讲，在所述电子设备是平衡车时，可以基于第三夹角调节平衡车的行进方向，使得平衡车朝向跟踪目标行进，同时，基于第三夹角调节平衡车上摄像头的仰俯角，使得摄像头对准跟踪目标，保证跟踪目标始终位于摄像头拍摄的图像的中心。
举例来讲，在所述电子设备是无人机时，可以基于第三夹角调节无人机的飞行方向(可以通过调节无人机的仰俯角、偏航角、滚转角，来对无人机的飞行方向进行调节)，使得无人机朝向跟踪目标飞行，同时，还可以基于第三夹角调节无人机上摄像头的仰俯角，使得摄像头对准跟踪目标，保证跟踪目标始终位于摄像头拍摄的图像的中心。
作为一种可选的实施例，步骤S103，还包括：基于第三距离调节电子设备的行进速度。
举例来讲，在所述电子设备是平衡车时，可以基于第三距离调节平衡车的行驶速度，其中，平衡车的行驶速度与第三距离为正比例关系，在第三距离越大时，平衡车的行驶速度越大，从而可以缩短平衡车与跟踪目标之间的距离，防止跟丢；在第三距离越小时，则平衡车的行驶速度越小，以避免平衡车与跟踪目标发生碰撞。
举例来讲，在所述电子设备是无人机时，可以基于第三距离调节无人机的飞行速度，其中，无人机的飞行速度与第三距离为正比例关系，在第三距离越大时，无人机的飞行速度越大，从而可以缩短无人机与跟踪目标之间的距离，防止跟丢；在第三距离越小时，则无人机的飞行速度越小，以避免无人机与跟踪目标发生碰撞。
另外，还可以基于跟踪目标对应的目标模板的大小，调节电子设备的行驶速度。具体来讲，在初始帧图像中确定的目标模板，在后续帧图像中该目标模板的大小会发生变化。一般，电子设备与跟踪目标的距离越近，则目标模板的尺寸越大，此处可以定义电子设备的行进速度(或飞行速度)反比于目标模板的尺寸，可以采用sigmoid函数制定速度衰减模型，使电子设备在接近目标物体的时候快速减速，以避免发生碰撞。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
在本发明实施例中，公开了一种目标跟踪方法，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，所述方法包括：通过无载波通信模块确定跟踪目标与电子设备的第一相对位置信息；通过摄像头确定跟踪目标与电子设备的第二相对位置信息；基于第一相对位置信息和第二相对位置信息，确定跟踪目标与电子设备的第三相对位置信息；基于第三相对位置信息，控制电子设备跟踪所述跟踪目标行进。由于电子设备同时搭载无载波通信模块和摄像头，将无载波通信模块确定的第一相对位置信息和摄像头确定的第二相对位置信息进行融合，获得了准确性更高的第三相对位置信息，再利用第三相对位置信息控制电子设备跟踪所述跟踪目标行进，所以有效地解决了现有技术中的目标跟踪方法存在稳定性差，鲁棒性较低的技术问题，实现了提高目标跟踪方法的稳定性和鲁棒性的技术效果。
实施例二
本实施例提供了一种目标跟踪装置，应用于电子设备中，所述电子设备上设置有摄像头和无载波通信模块，如图5所示，所述目标跟踪装置，包括：
第一确定单元201，用于通过无载波通信模块确定跟踪目标与电子设备的第一相对位置信息；
第二确定单元202，用于通过摄像头确定跟踪目标与电子设备的第二相对位置信息；
第三确定单元203，用于基于第一相对位置信息和第二相对位置信息，确定跟踪目标与电子设备的第三相对位置信息；
控制单元204，用于基于第三相对位置信息，控制电子设备跟踪所述跟踪目标行进。
作为一种可选的实施例，第一相对位置信息包括：电子设备与跟踪目标之间的第一距离和/或电子设备的行进方向与跟踪目标的第一夹角；
第二相对位置信息包括：电子设备与跟踪目标之间的第二距离和/或电子设备的行进方向与跟踪目标的第二夹角；
第三相对位置信息包括：电子设备与跟踪目标之间的第三距离和/或电子设备的行进方向与跟踪目标的第三夹角。
作为一种可选的实施例，第一确定单元201，包括：
第一确定子单元，用于通过无载波通信模块感应信标的位置，从而确定第一相对位置信息；其中，信标设置在跟踪目标上。
作为一种可选的实施例，第二确定单元202，包括：
获取子单元，用于获取摄像头采集的图像数据；
第二确定子单元，用于在图像数据中确定跟踪目标对应的目标模板；
第三确定子单元，用于基于视觉跟踪算法，利用目标模板确定第二相对位置信息。
作为一种可选的实施例，所述第二确定子单元，具体用于：
基于等式确定后续帧图像中的所述目标模板的大小；
其中，Pt为所述后续帧图像中的所述目标模板的大小，P0为初始帧图像中的所述目标模板的大小，d0为在所述初始帧图像对应的初始时刻确定的所述第一距离，dt为在所述后续帧图像对应的后续时刻确定的所述第一距离，所述后续帧图像和所述初始帧图像属于所述图像数据，且所述后续帧图像位于所述初始帧图像之后。
作为一种可选的实施例，第三确定单元203，包括：
第四确定子单元，用于基于等式d＝duwb·cosθv，确定电子设备与跟踪目标的第三距离：其中，d为第三距离，duwb为第一距离，θv为摄像头的俯仰角；
第五确定子单元，用于基于等式θ＝σ·θvision+(1-σ)·θuwb，确定电子设备的行进方向与跟踪目标的第三夹角：其中，θ为第三夹角；θuwb为第一夹角；θvision为第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。
作为一种可选的实施例，控制单元204，包括以下至少一项：
第一调节子单元，用于基于第三夹角，调节电子设备的行进方向，使得电子设备朝向跟踪目标行进；
第二调节子单元，用于基于第三夹角，调节摄像头的仰俯角，使得摄像头对准跟踪目标；
第三调节子单元，用于基于第三距离，调节电子设备的行进速度。
由于本实施例所介绍的电子设备为实施本发明实施例中信息处理的方法所采用的电子设备，故而基于本发明实施例中所介绍的信息处理的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中信息处理的方法所采用的电子设备，都属于本发明所欲保护的范围。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
在本发明实施例中，公开了一种目标跟踪装置，应用于电子设备中，电子设备上设置有摄像头和无载波通信模块，所述目标跟踪装置，包括：第一确定单元，用于通过无载波通信模块确定跟踪目标与电子设备的第一相对位置信息；第二确定单元，用于通过摄像头确定跟踪目标与电子设备的第二相对位置信息；第三确定单元，用于基于第一相对位置信息和第二相对位置信息，确定跟踪目标与电子设备的第三相对位置信息；控制单元，用于基于第三相对位置信息，控制电子设备跟踪所述跟踪目标行进。由于电子设备同时搭载无载波通信模块和摄像头，将无载波通信模块确定的第一相对位置信息和摄像头确定的第二相对位置信息进行融合，获得了准确性更高的第三相对位置信息，再利用第三相对位置信息控制电子设备跟踪所述跟踪目标行进，所以有效地解决了现有技术中的目标跟踪方法存在稳定性差，鲁棒性较低的技术问题，实现了提高目标跟踪方法的稳定性和鲁棒性的技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种目标跟踪方法，应用于电子设备中，其特征在于，所述电子设备上设置有摄像头和无载波通信模块，所述方法包括：
通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息；
通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息；
基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息，包括：对第一相对位置信息和第二相对位置信息分别设置置信度，用于分别表示第一相对位置信息和第二相对位置信息的可信程度； 若第一相对位置信息和第二相对位置信息一致性较高，则不考虑置信度，直接将第一相对位置信息和第二相对位置信息进行融合，获得第三相对位置信息；若第一相对位置信息和第二相对位置信息差异较大，则置信度较高的信息起决定性作用；或者，在某一信息的置信度太低时，直接不予考虑；
基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进；
其中，所述第一相对位置信息包括：所述电子设备与所述跟踪目标之间的第一距离和/或所述电子设备的行进方向与所述跟踪目标的第一夹角；
所述第二相对位置信息包括：所述电子设备与所述跟踪目标之间的第二距离和/或所述电子设备的行进方向与所述跟踪目标的第二夹角；
所述第三相对位置信息包括：所述电子设备与所述跟踪目标之间的第三距离和/或所述电子设备的行进方向与所述跟踪目标的第三夹角
其中，所述基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息，包括：
基于等式d＝duwb·cosθv，确定所述电子设备与所述跟踪目标的第三距离：
其中，d为所述第三距离，duwb为所述第一距离，θv为所述摄像头的俯仰角；
基于等式θ＝σ·θvision+(1-σ)·θuwb，确定所述电子设备的行进方向与所述跟踪目标的第三夹角：
其中，θ为所述第三夹角；θuwb为所述第一夹角；θvision为所述第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。
2.如权利要求1所述的目标跟踪方法，其特征在于，所述通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息，包括：
通过所述无载波通信模块感应信标的位置，从而确定所述第一相对位置信息；其中，所述信标设置在所述跟踪目标上。
3.如权利要求1所述的目标跟踪方法，其特征在于，所述通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息，包括：
获取所述摄像头采集的图像数据；
在所述图像数据中确定所述跟踪目标对应的目标模板；
基于视觉跟踪算法，利用所述目标模板确定所述第二相对位置信息。
4.如权利要求3所述的目标跟踪方法，其特征在于，在所述图像数据中确定所述跟踪目标对应的目标模板，包括：
基于等式确定后续帧图像中的所述目标模板的大小；
其中，Pt为所述后续帧图像中的所述目标模板的大小，P0为初始帧图像中的所述目标模板的大小，d0为在所述初始帧图像对应的初始时刻确定的所述第一距离，dt为在所述后续帧图像对应的后续时刻确定的所述第一距离，所述后续帧图像和所述初始帧图像属于所述图像数据，且所述后续帧图像位于所述初始帧图像之后。
5.如权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进，包括以下至少一项：
基于所述第三夹角，调节所述电子设备的行进方向，使得所述电子设备朝向所述跟踪目标行进；
基于所述第三夹角，调节所述摄像头的仰俯角，使得所述摄像头对准所述跟踪目标；
基于所述第三距离，调节所述电子设备的行进速度。
6.一种目标跟踪装置，应用于电子设备中，其特征在于，所述电子设备上设置有摄像头和无载波通信模块，所述目标跟踪装置，包括：
第一确定单元，用于通过所述无载波通信模块确定跟踪目标与所述电子设备的第一相对位置信息；
第二确定单元，用于通过所述摄像头确定所述跟踪目标与所述电子设备的第二相对位置信息；
第三确定单元，用于基于所述第一相对位置信息和所述第二相对位置信息，确定所述跟踪目标与所述电子设备的第三相对位置信息，包括：对第一相对位置信息和第二相对位置信息分别设置置信度，用于分别表示第一相对位置信息和第二相对位置信息的可信程度； 若第一相对位置信息和第二相对位置信息一致性较高，则不考虑置信度，直接将第一相对位置信息和第二相对位置信息进行融合，获得第三相对位置信息；若第一相对位置信息和第二相对位置信息差异较大，则置信度较高的信息起决定性作用；或者，在某一信息的置信度太低时，直接不予考虑；
控制单元，用于基于所述第三相对位置信息，控制所述电子设备跟踪所述跟踪目标行进；
其中，所述第一相对位置信息包括：所述电子设备与所述跟踪目标之间的第一距离和/或所述电子设备的行进方向与所述跟踪目标的第一夹角；
所述第二相对位置信息包括：所述电子设备与所述跟踪目标之间的第二距离和/或所述电子设备的行进方向与所述跟踪目标的第二夹角；
所述第三相对位置信息包括：所述电子设备与所述跟踪目标之间的第三距离和/或所述电子设备的行进方向与所述跟踪目标的第三夹角；
其中，所述第三确定单元，包括：
第四确定子单元，用于基于等式d＝duwb·cosθv，确定所述电子设备与所述跟踪目标的第三距离：其中，d为所述第三距离，duwb为所述第一距离，θv为所述摄像头的俯仰角；
第五确定子单元，用于基于等式θ＝σ·θvision+(1-σ)·θuwb，确定所述电子设备的行进方向与所述跟踪目标的第三夹角：其中，θ为所述第三夹角；θuwb为所述第一夹角；θvision为所述第二夹角；σ为0至1的常数，用于调整θvision和θuwb的权重。
7.如权利要求6所述的目标跟踪装置，其特征在于，所述第一确定单元，包括：
第一确定子单元，用于通过所述无载波通信模块感应信标的位置，从而确定所述第一相对位置信息；其中，所述信标设置在所述跟踪目标上。
8.如权利要求6所述的目标跟踪装置，其特征在于，所述第二确定单元，包括：
获取子单元，用于获取所述摄像头采集的图像数据；
第二确定子单元，用于在所述图像数据中确定所述跟踪目标对应的目标模板；
第三确定子单元，用于基于视觉跟踪算法，利用所述目标模板确定所述第二相对位置信息。
9.如权利要求8所述的目标跟踪装置，其特征在于，所述第二确定子单元，具体用于：
基于等式确定后续帧图像中的所述目标模板的大小；
其中，Pt为所述后续帧图像中的所述目标模板的大小，P0为初始帧图像中的所述目标模板的大小，d0为在所述初始帧图像对应的初始时刻确定的所述第一距离，dt为在所述后续帧图像对应的后续时刻确定的所述第一距离，所述后续帧图像和所述初始帧图像属于所述图像数据，且所述后续帧图像位于所述初始帧图像之后。
10.如权利要求6所述的目标跟踪装置，其特征在于，所述控制单元，包括以下至少一项：
第一调节子单元，用于基于所述第三夹角，调节所述电子设备的行进方向，使得所述电子设备朝向所述跟踪目标行进；
第二调节子单元，用于基于所述第三夹角，调节所述摄像头的仰俯角，使得所述摄像头对准所述跟踪目标；
第三调节子单元，用于基于所述第三距离，调节所述电子设备的行进速度。
CN201611033196.XA 2016-10-31 2016-11-14 一种目标跟踪方法及目标跟踪装置 Active CN106683123B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016109718806 2016-10-31
CN201610971880 2016-10-31

Publications (2)

Publication Number Publication Date
CN106683123A CN106683123A (zh) 2017-05-17
CN106683123B true CN106683123B (zh) 2019-04-02

Family

ID=58866350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611033196.XA Active CN106683123B (zh) 2016-10-31 2016-11-14 一种目标跟踪方法及目标跟踪装置

Country Status (4)

Country Link
US (1) US20190049549A1 (zh)
EP (1) EP3410062A4 (zh)
CN (1) CN106683123B (zh)
WO (1) WO2018076572A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636152B2 (en) * 2016-11-15 2020-04-28 Gvbb Holdings S.A.R.L. System and method of hybrid tracking for match moving
CN107255468B (zh) * 2017-05-24 2019-11-19 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN108062763B (zh) * 2017-12-29 2020-10-16 纳恩博（北京）科技有限公司 目标跟踪方法及装置、存储介质
CN110096071A (zh) * 2018-01-31 2019-08-06 深圳市诚壹科技有限公司 一种跟踪控制方法、装置及移动终端
CN108646750B (zh) * 2018-06-08 2021-05-07 杭州电子科技大学 基于uwb非基站便捷式工厂agv跟随方法
CN108931979B (zh) * 2018-06-22 2020-12-15 中国矿业大学 基于超声波辅助定位的视觉跟踪移动机器人及控制方法
US11159798B2 (en) * 2018-08-21 2021-10-26 International Business Machines Corporation Video compression using cognitive semantics object analysis
KR20200087887A (ko) * 2018-12-28 2020-07-22 현대자동차주식회사 차량 및 차량 제어 방법
CN109828596A (zh) 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN110346788A (zh) * 2019-06-14 2019-10-18 北京雷久科技有限责任公司 基于雷达和光电融合的高机动和悬停目标全航迹跟踪方法
US11537137B2 (en) * 2019-06-18 2022-12-27 Lg Electronics Inc. Marker for space recognition, method of moving and lining up robot based on space recognition and robot of implementing thereof
CN110689556A (zh) * 2019-09-09 2020-01-14 苏州臻迪智能科技有限公司 跟踪方法、装置及智能设备
CN110977950B (zh) * 2019-11-12 2021-05-25 长沙长泰机器人有限公司 一种机器人抓取定位方法
CN111722625B (zh) * 2019-12-18 2021-09-21 北京交通大学 时变数量群体机器人接力目标跟踪系统的稳定性分析方法
KR102198904B1 (ko) 2020-01-09 2021-01-06 기술보증기금 분산 딥러닝 모델 기반 기술력평가용 인공지능 모듈을 생성하는 방법 및 인공지능모듈을 적용한 기술력예측방법과 이를 구현하는 시스템, 상기 방법이 구현된 프로그램을 기록한 컴퓨터가 읽을 수 있는 기록매체
US20210258540A1 (en) * 2020-02-13 2021-08-19 Nxp B.V. Motion monitoring and analysis system and method
CN111289944B (zh) * 2020-02-29 2021-10-08 杭州电子科技大学 一种基于uwb定位的无人艇位置航向测定方法
US11950567B2 (en) 2021-03-04 2024-04-09 Sky View Environmental Service Llc Condor monitoring systems and related methods
CN113191336B (zh) * 2021-06-04 2022-01-14 绍兴建元电力集团有限公司 基于图像识别的电力隐患识别方法及系统
CN113923592B (zh) * 2021-10-09 2022-07-08 广州宝名机电有限公司 目标跟随方法、装置、设备及系统
WO2023097577A1 (zh) * 2021-12-01 2023-06-08 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法
CN116681731B (zh) * 2023-08-02 2023-10-20 北京观微科技有限公司 目标物体追踪方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915784A (zh) * 2016-04-01 2016-08-31 纳恩博（北京）科技有限公司 信息处理方法和装置
CN105931263A (zh) * 2016-03-31 2016-09-07 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929017B2 (en) * 2004-07-28 2011-04-19 Sri International Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP4413957B2 (ja) * 2007-08-24 2010-02-10 株式会社東芝 移動物体検出装置および自律移動物体
TWI388205B (zh) * 2008-12-19 2013-03-01 Ind Tech Res Inst 目標追蹤之方法與裝置
US8190330B2 (en) * 2009-03-06 2012-05-29 GM Global Technology Operations LLC Model based predictive control for automated lane centering/changing control systems
CN102546680A (zh) * 2010-12-15 2012-07-04 北京航天长峰科技工业集团有限公司 一种室内人员定位跟踪系统
GB201110159D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
CN103139904A (zh) * 2011-11-30 2013-06-05 北京航天长峰科技工业集团有限公司 一种室内人员定位跟踪系统
GB201205303D0 (en) * 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
CN202838377U (zh) * 2012-10-26 2013-03-27 北京航天长峰科技工业集团有限公司 一种室内人员定位跟踪系统
CN103884332B (zh) * 2012-12-21 2017-03-01 联想(北京)有限公司 一种障碍物判定方法、装置及移动电子设备
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
US10099609B2 (en) * 2014-07-03 2018-10-16 InfoMobility S.r.L. Machine safety dome
CN104754515B (zh) * 2015-03-30 2019-03-26 北京云迹科技有限公司 混合定位辅助地图修正方法及系统
CN105157681B (zh) * 2015-08-23 2018-07-24 西北工业大学 室内定位方法、装置和摄像机以及服务器
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
WO2017116585A1 (en) * 2015-12-30 2017-07-06 Faro Technologies, Inc. Registration of three-dimensional coordinates measured on interior and exterior portions of an object
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US11061132B2 (en) * 2018-05-21 2021-07-13 Johnson Controls Technology Company Building radar-camera surveillance system
US11082667B2 (en) * 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931263A (zh) * 2016-03-31 2016-09-07 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN105915784A (zh) * 2016-04-01 2016-08-31 纳恩博（北京）科技有限公司 信息处理方法和装置

Also Published As

Publication number Publication date
EP3410062A1 (en) 2018-12-05
US20190049549A1 (en) 2019-02-14
WO2018076572A1 (zh) 2018-05-03
CN106683123A (zh) 2017-05-17
EP3410062A4 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
CN106683123B (zh) 一种目标跟踪方法及目标跟踪装置
CN105487552B (zh) 无人机跟踪拍摄的方法及装置
CN105929850B (zh) 一种具有持续锁定和跟踪目标能力的无人机系统与方法
CN105318888B (zh) 基于无人机感知的无人驾驶车辆路径规划方法
CN107148639B (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN109753076A (zh) 一种无人机视觉追踪实现方法
US10703479B2 (en) Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof
CN105676865A (zh) 目标跟踪方法、装置和系统
CN106970627A (zh) 一种智能跟随系统
CN110222581A (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN106527481A (zh) 无人机飞行控制方法、装置及无人机
CN109596118A (zh) 一种用于获取目标对象的空间位置信息的方法与设备
WO2022105395A1 (en) Data processing method, apparatus, and system, computer device, and non-transitory storage medium
CN106092054A (zh) 一种电力线路识别精准定位导航方法
CN103941233B (zh) 一种多平台主被动传感器协同跟踪的雷达间歇交替辐射控制方法
CN105847684A (zh) 无人机
CN104853104A (zh) 一种自动跟踪拍摄运动目标的方法以及系统
CN108520640B (zh) 基于超宽带的无人机导航方法、导航设备、无人机
CN105843246A (zh) 无人机跟踪方法、系统及无人机
CN104932535B (zh) 利用仿真系统对机载前视红外搜索设备闭环测试的方法
CN106842185A (zh) 低小慢目标监测系统及其工作方法
CN105068548B (zh) 无人机着陆引导系统
CN103529852B (zh) 一种基于双卫星接收机的无人机寻的回收导引控制方法
CN106843275B (zh) 一种无人机定点绕飞方法、装置以及系统
CN102190081A (zh) 基于视觉的飞艇定点鲁棒控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant