CN110276786B - 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 - Google Patents

确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 Download PDF

Info

Publication number
CN110276786B
CN110276786B CN201910552106.5A CN201910552106A CN110276786B CN 110276786 B CN110276786 B CN 110276786B CN 201910552106 A CN201910552106 A CN 201910552106A CN 110276786 B CN110276786 B CN 110276786B
Authority
CN
China
Prior art keywords
determining
tracking target
data
vertical height
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910552106.5A
Other languages
English (en)
Other versions
CN110276786A (zh
Inventor
周游
严嘉琪
张宏辉
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110276786A publication Critical patent/CN110276786A/zh
Application granted granted Critical
Publication of CN110276786B publication Critical patent/CN110276786B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Abstract

本发明公开了一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质。该方法包括:确定所述跟踪目标上至少两个测量点;通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。本发明通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。

Description

确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
技术领域
本发明涉及跟踪技术领域,特别是涉及一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质。
背景技术
目前基于视觉的跟拍方案,一般是基于图像信息来控制的。而在实际应用中,由于使用了减震平台,航拍相机的姿态与无人机的姿态并不一致。且无人机一般采用速度、位置经纬度或者姿态角度数据来进行控制,而基于图像信息得出的目标位置为相机画幅中的像素点,二者并无直接的对应关系。故使用图像进行跟拍,虽然保障了目标在拍摄画面中出现,但常常不能控制无人机跟上目标。
发明内容
本发明的目的是提供一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质,目的在于解决现有跟踪目标的方法误差较大,导致跟踪效果差的问题。
为解决上述技术问题,本发明提供一种确定跟踪目标的位置信息的方法,包括:
确定所述跟踪目标上至少两个测量点;
通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
可选地,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
可选地,所述测量点为等分所述跟踪目标的垂直高度的等分点。
可选地,所述测量点为所述跟踪目标上的图像特征点。
可选地,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
可选地,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
可选地,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
可选地,所述获取至少两个方向向量的向量数据包括:
获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
所述根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息包括:
通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
可选地,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
可选地,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
可选地,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
可选地,所述对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息包括:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
可选地,所述获取至少两个方向向量的向量数据包括:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
可选地,还包括:
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
可选地,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
可选地,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
可选地,在所述确定当前测量结果不准确之后还包括:
重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
可选地,在所述确定当前测量结果不准确之后还包括:
跳出当前检测图像,对下一幅图像进行检测。
可选地,在所述确定当前测量结果不准确之后还包括:
采用所述垂直高度预设数据对当前测量结果进行校正。
可选地,所述采用所述垂直高度预设数据对当前测量结果进行校正包括:
获取第一测量点的方向向量的第一向量数据;
根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
可选地,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
可选地,还包括:
通过所述距离信息对无人机的飞行参数进行控制。
本发明还提供了一种确定跟踪目标的位置信息的装置,包括:
测量点确定模块,用于确定所述跟踪目标上至少两个测量点;
方向向量获取模块,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
距离信息确定模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
可选地,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
可选地,所述测量点为等分所述跟踪目标的垂直高度的等分点。
可选地,所述测量点为所述跟踪目标上的图像特征点。
可选地,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
可选地,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
可选地,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
可选地,所述方向向量获取模块具体用于:
获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
所述距离信息确定模块包括:
计算单元,用于通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
第一确定单元,用于对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
可选地,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
可选地,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
可选地,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
可选地,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
可选地,所述方向向量获取模块具体用于:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
可选地,还包括:
比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
可选地,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
可选地,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
可选地,还包括:
第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
可选地,还包括:
第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
可选地,还包括:
校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
可选地,所述校正模块包括:
获取单元,用于获取第一测量点的方向向量的第一向量数据;
第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
可选地,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
本发明还提供了一种跟踪装置,包括照相机、载体、通信装置以及上述任一种确定跟踪目标的位置信息的装置。
可选地,具体用于航拍飞行器、机器人或可移动设备。
本发明还提供了一种无人机,包括上述任一种确定跟踪目标的位置信息的装置。
本发明还提供了一种跟踪系统,包括控制单元,用于执行上述任一种确定跟踪目标的位置信息的方法的步骤。
本发明还提供了一种存储介质,用于存储指令,所述指令用于执行上述任一种确定跟踪目标的位置信息的方法的步骤。
本发明所提供的确定跟踪目标的位置信息的方法及装置,确定跟踪目标上至少两个测量点;通过跟踪目标在成像系统的成像位置信息以及成像系统的参数数据,获取至少两个方向向量的向量数据;根据向量数据以及成像系统的当前垂直高度数据,确定跟踪目标的距离信息。本发明利用计算机视觉,通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形(Boundingbox)的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。此外,本发明还提供了一种跟踪装置、无人机、跟踪系统及存储介质。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的确定跟踪目标的位置信息的方法的一种具体实施方式的流程图;
图2为本发明所提供的确定跟踪目标的位置信息的方法的一种具体实施方式中计算过程示意图;
图3为本发明所提供的确定跟踪目标的位置信息的方法的另一种具体实施方式的示意图;
图4为本发明所提供的确定跟踪目标的位置信息的装置的一种具体实施方式的结构框图。
具体实施方式
为了能控制无人机实现对目标的自动跟踪,需要能够解算出目标的相对位置信息。本发明的核心是提供一种确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的确定跟踪目标的位置信息的方法的一种具体实施方式的流程图如图1所示,该方法包括:
步骤S101:确定所述跟踪目标上至少两个测量点;
作为一种具体实施方式,测量点具体可以为跟踪目标的边界框的顶部测量点以及底部测量点,例如顶部中心测量点以及底部中心测量点。需要指出的是,边界框具体表示包含跟踪目标的最小外切矩形(Boundingbox),该实施方式中测量点的数量为两个。
测量点还可以具体为n(n≥2)等分跟踪目标的垂直高度的等分点,该实施方式中测量点的数量为n+1个。
此外,测量点还可以为跟踪目标上的图像特征点,该实施方式中测量点的数量可以为两个或多于两个。
步骤S102:通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
上述步骤中参数数据可以包括:成像系统的焦距参数、标定参数以及姿态参数。成像位置信息具体可以为测量点投影到成像系统的像平面的位置信息。方向向量具体可以为由成像系统的光心到测量点的向量。
步骤S103:根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
距离信息具体可以为跟踪目标与成像系统的实时距离信息。
需要指出的是,本发明方法可具体用于无人机系统中。成像系统置于无人机内部,对跟踪目标进行实时拍摄。
在此实施方式中,成像系统的当前垂直高度即为无人机的当前垂直高度。其具体数值可以通过无人机上的惯性传感器或GPS获取得到。当然成像系统也可以位于其他载体上,用于对目标进行跟踪,其垂直高度数据也可以采用对应的测量装置得到,并不限于此种方式。
通过成像系统的当前垂直高度数据,成像系统的焦距参数、标定参数以及姿态参数,以及获取到的方向向量,通过坐标系变换以及三角关系,便可以计算出跟踪目标的距离信息。
通过得到的跟踪目标的距离信息,可用于成像系统进行跟踪控制。当成像系统位于无人机系统时,可对无人机的飞行进行控制,以使跟踪目标与当前无人机的位置保持在预设跟踪范围之内。
通过获取一段时间内的跟踪目标的距离信息值,可以计算得到跟踪目标的当期移动速度,从而对成像系统的速度进行调整。
此外,进一步地,还可以根据跟踪目标在x轴、y轴的变化量,来控制无人机的偏航角等飞行参数。
本发明所提供的确定跟踪目标的位置信息的方法,确定跟踪目标上至少两个测量点;通过跟踪目标在成像系统的成像位置信息以及成像系统的参数数据,获取至少两个方向向量的向量数据;根据向量数据以及成像系统的当前垂直高度数据,确定跟踪目标的距离信息。本发明利用计算机视觉,通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形(Boundingbox)的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。
下面对测量点为跟踪目标的边界框的顶部测量点以及底部测量点时,本发明所提供的确定跟踪目标的位置信息的方法的具体实施过程进行进一步详细阐述。请参照图2计算过程示意图所示,图中C表示成像系统的光心,CA表示成像系统的光轴,TB表示跟踪目标。以0点为原点,建立XYZ第一坐标系。B点坐标值表示为(xb,yb,zb),T点坐标值表示为(xt,yt,zt)。(xt,yt,zt)IP表示成像系统的像平面,在像平面建立UV第二坐标系。T’B’表示跟踪目标TB投影到像平面的成像信息,其中,B’点坐标值表示为(ub,vb),T’点坐标值表示为(ut,vt)。
根据上述描述,由成像系统的光心C至跟踪目标的顶部测量点T的方向向量
Figure BDA0002105158550000096
可以表示为:
Figure BDA0002105158550000091
由成像系统的光心C至跟踪目标的顶部测量点B的方向向量
Figure BDA0002105158550000097
可以表示为:
Figure BDA0002105158550000092
其中,K表示成像系统的固有矩阵,R表示旋转矩阵。
跟踪目标与成像系统的水平距离为:
Figure BDA0002105158550000093
跟踪目标的垂直高度实时测量数据为:
Figure BDA0002105158550000094
其中,
Figure BDA0002105158550000095
可见,通过成像系统的当前垂直高度数据,成像系统的焦距参数、标定参数以及姿态参数,以及获取到的方向向量
Figure BDA0002105158550000101
通过坐标系变换以及三角关系,便可以计算出跟踪目标与成像系统的水平距离以及跟踪目标的垂直高度实时测量数据。
本实施例根据跟踪算法产生的包含跟踪目标的最小外切矩形(Boundingbox)的大小尺寸,以及位置来判定目标与自身的相对位置关系,从而控制飞行器进行跟踪。但这种位置测量的方法过于依赖跟踪算法的检测精度。若跟踪过程中由于各种各样的原因导致包含跟踪目标的最小外切矩形(Boundingbox)出现偏差,例如反光、图像的曝光不足或过度、目标被遮挡等等原因,将会导致测量出的位置信息误差较大,从而导致飞行器对目标的跟踪效果变差。
鉴于此,在上述实施例的基础上,当测量点为等分跟踪目标的垂直高度的等分点或图像特征点时,通过上述计算方法同理可以计算出任意两个测量点之间的垂直距离。再通过测量点与跟踪目标的垂直高度之间的关系,即可计算得到跟踪目标的垂直高度实时测量数据。如测量点为将跟踪目标二等分的测量点,计算到测量点之间的垂直距离后,直接乘以2即可得到跟踪目标的垂直高度实时测量数据。
本实施例中可以通过跟踪目标上的等分点、图像特征点等测量点,而不仅仅必须通过跟踪目标边界框上的顶部点以及底部点,来确定跟踪目标的距离信息。这样,当跟踪目标的顶部或者底部出现遮挡时,仍然能够得到其距离信息,从而实现对目标的连续跟踪,进一步提升了跟踪的效果。
当测量点的数量多于两个时,对应的方向向量可以为两两组合的方向向量组。下面对其具体实施方式进行进一步详细描述。
在跟踪目标的单位高度向量上取多个测量点,与成像系统中的光心连接成为多个方向向量,任意两个方向向量所组成的向量集合作为方法向量组。
这样,通过每组方向向量可以分别计算对应的跟踪目标的距离信息,得到距离信息集合;
对距离信息集合进行加权平均,确定跟踪目标的距离信息。
如图3本发明所提供的确定跟踪目标的位置信息的方法的另一种具体实施方式的示意图所示,在本实施例中测量点可以为等分跟踪目标的垂直高度的等分点。当然也可以为跟踪目标的图像特征点,对应的方向向量可以两两组合为方向向量组。
进一步地,对距离信息集合进行加权的过程可以为:根据测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,第一夹角对应的第一权值小于第二夹角对应的第二权值。即,测量点与水平方向的夹角越大,对应的距离信息的权值越小。
具体地,上述确定权值的过程可以根据所述测量点与水平方向的夹角确定对应的距离信息的权值,权值的大小与夹角的余弦值的大小呈反比,或者权值的大小与夹角的余弦的平方值的大小呈反比。其他实施方式均可,并不限于提到的这两种,只要满足测量点与水平方向的夹角越大,对应的距离信息的权值越小的关系即可。
进一步地,在通过测量点与水平方向的夹角的余弦值的平方值确定权值的大小时,由于所有点的余弦平方值相加并不等于1,因此需进行归一化,即将结果除以所有夹角的余弦平方和的值。
通过权值的设置,能够得到更为稳定、可靠的目标位置信息,进一步减少了计算的误差。
在获取方向向量的向量数据之后还可以进一步包括:对向量数据进行归一化处理。
进一步地,本发明所提供的确定跟踪目标的位置信息的方法在得到垂直高度实时测量数据后还可以进一步包括:
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
将垂直高度实时测量数据与垂直高度预设数据进行比较,当垂直高度实时测量数据与垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
其中,垂直高度预设数据可以为在初始化时,通过本发明方法确定的较为准确的跟踪目标的垂直高度数据。由于初始化时测量结果较为准确,且跟踪目标处于地面及近地面,该垂直高度数据可以作为跟踪目标的垂直高度预设数据。或者预先获取跟踪目标的垂直高度预设数据,还可以通过其他实时测量方法得到跟踪目标的垂直高度预设数据。
在此,假定跟踪目标的垂直高度为一个固定值,不随着时间发生变化。因此,若当前测量得到的垂直高度实时测量数据与垂直高度预设数据的差值超过预设阈值时,确定该测量结果不准确。
当确定测量结果不准确之后,本发明实施例还可以进一步重新对跟踪目标进行测算。具体可以为在当前图像中重新确定跟踪目标上的至少两个测量点,执行上述任一种测量方法。还可以跳出当前检测图像,对下一幅图像进行检测,以确定跟踪目标的位置信息。
当确定测量结果不准确之后,本发明实施例还可以进一步包括采用垂直高度预设数据对当前测量结果进行校正的过程。
该过程的一种具体实施方式可以为:
获取第一测量点的方向向量的第一向量数据;
根据垂直高度预设数据以及第一向量数据,确定跟踪目标的顶部和/或底部位置坐标数据;
通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
作为一种具体实施方式,上述第一测量点可以为跟踪目标的边界框的顶部测量点或底部测量点。例如,可根据垂直高度预设数据以及当前时刻跟踪目标的顶部测量点,即可计算得到此时跟踪目标的顶部的方向量理论值。再与跟踪算法测算出的目标顶部方向量进行比对,即可对其测量结果进行校正。
通过将实时测到的数据与理论值进行比较,对实时测到的数据进行校正,能够有效监测跟踪的偏差,以得到较为准确的位置信息。
需要指出的是,本发明所提供的方法可适用于飞行器、机器人,其他带有摄像功能和智能系统的可移动设备也同样适用。
本发明提出的方法,可作为算法,在可以获取航拍飞行器控制权与图像的智能设备上运行,如智能遥控器、手机、平板、PC等设备,也可集成为模块装置置于航拍飞行器上。
下面对本发明实施例提供的确定跟踪目标的位置信息的装置进行介绍,下文描述的确定跟踪目标的位置信息的装置与上文描述的确定跟踪目标的位置信息的方法可相互对应参照。
图4为本发明实施例提供的确定跟踪目标的位置信息的装置的结构框图,参照图4确定跟踪目标的位置信息的装置可以包括:
测量点确定模块100,用于确定所述跟踪目标上至少两个测量点;
方向向量获取模块200,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
距离信息确定模块300,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为等分所述跟踪目标的垂直高度的等分点。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为所述跟踪目标上的图像特征点。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述方向向量获取模块200具体用于:
获取方向向量组,所述方向向量组包括多组任意两个方向向量所组成的向量集合;
所述距离信息确定模块300包括:
计算单元,用于通过每组所述方向向量分别计算对应的跟踪目标的距离信息,得到距离信息集合;
第一确定单元,用于对所述距离信息集合进行加权平均,确定所述跟踪目标的距离信息。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述测量点为等分所述跟踪目标的垂直高度的测量点,所述方向向量组包括多组由所述成像系统至所述测量点的向量。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,当第一夹角大于第二夹角时,所述第一夹角对应的第一权值小于所述第二夹角对应的第二权值。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦值的大小呈反比。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一确定单元具体用于:
根据所述测量点与水平方向的夹角确定对应的距离信息的权值,所述权值的大小与所述夹角的余弦的平方值的大小呈反比。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述方向向量获取模块200具体用于:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,还包括:
校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述校正模块包括:
获取单元,用于获取第一测量点的方向向量的第一向量数据;
第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
可选地,本发明所提供的确定跟踪目标的位置信息的装置中,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
本发明所提供的确定跟踪目标的位置信息的装置,确定跟踪目标上至少两个测量点;通过跟踪目标在成像系统的成像位置信息以及成像系统的参数数据,获取至少两个方向向量的向量数据;根据向量数据以及成像系统的当前垂直高度数据,确定跟踪目标的距离信息。本发明利用计算机视觉,通过成像系统拍摄的图像信息,实时计算目标的位置信息,进一步还可以检测跟踪过程中包含跟踪目标的最小外切矩形(Boundingbox)的误偏差,在跟踪算法有一定偏差的情况下给出较好的位置信息,增强了系统的鲁棒性、稳定性,提升了自动跟拍的效果。
此外,本发明还提供了一种跟踪装置,包括照相机、载体、通信装置以及上述任一种确定跟踪目标的位置信息的装置。
该跟踪装置可以具体用于航拍飞行器、机器人或可移动设备。
当用于航拍飞行器时,依靠飞行高度、相机姿态以及参数数据,就能够通过拍摄到的图像信息计算出较为稳定的目标位置信息,计算简单快速,适用于对实时性要求较高的无人机跟拍系统,为无人机对目标的跟踪控制提供了微小延迟的位置信息反馈。
本发明还提供了一种无人机,包括上述任一种确定跟踪目标的位置信息的装置。
本发明还提供了一种跟踪系统,包括控制单元,用于执行本发明所提供的确定跟踪目标的位置信息的方法的步骤。
本发明还提供了一种存储介质,用于存储指令,其指令用于执行本发明所提供的确定跟踪目标的位置信息的方法的步骤。
本申请包括以下技术方案:
技术方案1.一种确定跟踪目标的位置信息的方法,其特征在于,包括:
确定所述跟踪目标上至少两个测量点;
通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息;
通过所述距离信息对无人机的飞行参数进行控制。
技术方案2.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
技术方案3.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的等分点。
技术方案4.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为所述跟踪目标上的图像特征点。
技术方案5.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
技术方案6.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
技术方案7.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
技术方案8.如技术方案1所述的确定跟踪目标的位置信息的方法,其特征在于,所述获取至少两个方向向量的向量数据包括:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
技术方案9.如技术方案7所述的确定跟踪目标的位置信息的方法,其特征在于,还包括:
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
技术方案10.如技术方案9所述的确定跟踪目标的位置信息的方法,其特征在于,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
技术方案11.如技术方案9所述的确定跟踪目标的位置信息的方法,其特征在于,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
技术方案12.如技术方案9所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
技术方案13.如技术方案9所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
跳出当前检测图像,对下一幅图像进行检测。
技术方案14.如技术方案9所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
采用所述垂直高度预设数据对当前测量结果进行校正。
技术方案15.如技术方案14所述的确定跟踪目标的位置信息的方法,其特征在于,所述采用所述垂直高度预设数据对当前测量结果进行校正包括:
获取第一测量点的方向向量的第一向量数据;
根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
技术方案16.如技术方案15所述的确定跟踪目标的位置信息的方法,其特征在于,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
技术方案17.一种确定跟踪目标的位置信息的装置,其特征在于,包括:
测量点确定模块,用于确定所述跟踪目标上至少两个测量点;
方向向量获取模块,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
距离信息确定模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息,通过所述距离信息对无人机的飞行参数进行控制。
技术方案18.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
技术方案19.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的等分点。
技术方案20.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为所述跟踪目标上的图像特征点。
技术方案21.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
技术方案22.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
技术方案23.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
技术方案24.如技术方案17所述的确定跟踪目标的位置信息的装置,其特征在于,所述方向向量获取模块具体用于:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
技术方案25.如技术方案23所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
技术方案26.如技术方案25所述的确定跟踪目标的位置信息的装置,其特征在于,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
技术方案27.如技术方案25所述的确定跟踪目标的位置信息的装置,其特征在于,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
技术方案28.如技术方案25所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
技术方案29.如技术方案25所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
技术方案30.如技术方案25所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
技术方案31.如技术方案30所述的确定跟踪目标的位置信息的装置,其特征在于,所述校正模块包括:
获取单元,用于获取第一测量点的方向向量的第一向量数据;
第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
技术方案32.如技术方案31所述的确定跟踪目标的位置信息的装置,其特征在于,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
技术方案33.一种跟踪装置,其特征在于,包括照相机、载体、通信装置以及如技术方案17至32任一项所述的确定跟踪目标的位置信息的装置。
技术方案34.如技术方案33所述的跟踪装置,其特征在于,具体用于航拍飞行器、机器人或可移动设备。
技术方案35.一种无人机,其特征在于,包括如技术方案17至32任一项所述的确定跟踪目标的位置信息的装置。
技术方案36.一种跟踪系统,其特征在于,包括控制单元,用于执行如技术方案1至16任一项所述的确定跟踪目标的位置信息的方法的步骤。
技术方案37.一种存储介质,其特征在于,用于存储指令,所述指令用于执行如技术方案1至16任一项所述的确定跟踪目标的位置信息的方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的确定跟踪目标的位置信息的方法及装置、跟踪装置、无人机、跟踪系统及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (37)

1.一种确定跟踪目标的位置信息的方法,其特征在于,包括:
确定所述跟踪目标上至少两个测量点;
通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息,所述距离信息包括所述跟踪目标与所述成像系统的水平距离;
通过所述距离信息对无人机的飞行参数进行控制。
2.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
3.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的等分点。
4.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述测量点为所述跟踪目标上的图像特征点。
5.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
6.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
7.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
8.如权利要求1所述的确定跟踪目标的位置信息的方法,其特征在于,所述获取至少两个方向向量的向量数据包括:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
9.如权利要求7所述的确定跟踪目标的位置信息的方法,其特征在于,还包括:
根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;
将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
10.如权利要求9所述的确定跟踪目标的位置信息的方法,其特征在于,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
11.如权利要求9所述的确定跟踪目标的位置信息的方法,其特征在于,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
12.如权利要求9所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
13.如权利要求9所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
跳出当前检测图像,对下一幅图像进行检测。
14.如权利要求9所述的确定跟踪目标的位置信息的方法,其特征在于,在所述确定当前测量结果不准确之后还包括:
采用所述垂直高度预设数据对当前测量结果进行校正。
15.如权利要求14所述的确定跟踪目标的位置信息的方法,其特征在于,所述采用所述垂直高度预设数据对当前测量结果进行校正包括:
获取第一测量点的方向向量的第一向量数据;
根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
16.如权利要求15所述的确定跟踪目标的位置信息的方法,其特征在于,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
17.一种确定跟踪目标的位置信息的装置,其特征在于,包括:
测量点确定模块,用于确定所述跟踪目标上至少两个测量点;
方向向量获取模块,用于通过所述跟踪目标在成像系统的成像位置信息以及所述成像系统的参数数据,获取至少两个方向向量的向量数据,所述方向向量为由所述成像系统至所述测量点的向量;
距离信息确定模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的距离信息,所述距离信息包括所述跟踪目标与所述成像系统的水平距离,通过所述距离信息对无人机的飞行参数进行控制。
18.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为所述跟踪目标的边界框的顶部测量点以及底部测量点。
19.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为等分所述跟踪目标的垂直高度的等分点。
20.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述测量点为所述跟踪目标上的图像特征点。
21.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述参数数据包括所述成像系统的焦距参数、标定参数以及姿态参数。
22.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述成像位置信息包括所述测量点投影到所述成像系统的像平面的位置信息。
23.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述距离信息包括所述跟踪目标与所述成像系统的实时距离信息。
24.如权利要求17所述的确定跟踪目标的位置信息的装置,其特征在于,所述方向向量获取模块具体用于:
获取所述方向向量的向量数据,对所述向量数据进行归一化处理。
25.如权利要求23所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
比较模块,用于根据所述向量数据以及所述成像系统的当前垂直高度数据,确定所述跟踪目标的垂直高度实时测量数据;将所述垂直高度实时测量数据与垂直高度预设数据进行比较,当所述垂直高度实时测量数据与所述垂直高度预设数据的差值超过预设阈值时,确定当前测量结果不准确。
26.如权利要求25所述的确定跟踪目标的位置信息的装置,其特征在于,所述垂直高度预设数据为预先测量获取得到的所述跟踪目标的垂直高度。
27.如权利要求25所述的确定跟踪目标的位置信息的装置,其特征在于,所述垂直高度预设数据为初始化时,通过所述测量点、对应的向量数据以及所述成像系统的当前垂直高度数据,确定得到的所述跟踪目标的垂直高度。
28.如权利要求25所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
第一重测模块,用于在确定当前测量结果不准确之后,重新确定所述跟踪目标上至少两个测量点,执行测量的步骤。
29.如权利要求25所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
第二重测模块,用于在确定当前测量结果不准确之后,跳出当前检测图像,对下一幅图像进行检测。
30.如权利要求25所述的确定跟踪目标的位置信息的装置,其特征在于,还包括:
校正模块,用于在确定当前测量结果不准确之后,采用所述垂直高度预设数据对当前测量结果进行校正。
31.如权利要求30所述的确定跟踪目标的位置信息的装置,其特征在于,所述校正模块包括:
获取单元,用于获取第一测量点的方向向量的第一向量数据;
第二确定单元,用于根据所述垂直高度预设数据以及所述第一向量数据,确定所述跟踪目标的顶部和/或底部位置坐标数据;
校正单元,用于通过所述顶部和/或底部位置坐标数据,对所述跟踪目标的边界框进行校正。
32.如权利要求31所述的确定跟踪目标的位置信息的装置,其特征在于,所述第一测量点为所述跟踪目标的边界框的顶部测量点或底部测量点。
33.一种跟踪装置,其特征在于,包括照相机、载体、通信装置以及如权利要求17至32任一项所述的确定跟踪目标的位置信息的装置。
34.如权利要求33所述的跟踪装置,其特征在于,具体用于航拍飞行器、机器人或可移动设备。
35.一种无人机,其特征在于,包括如权利要求17至32任一项所述的确定跟踪目标的位置信息的装置。
36.一种跟踪系统,其特征在于,包括控制单元,用于执行如权利要求1至16任一项所述的确定跟踪目标的位置信息的方法的步骤。
37.一种存储介质,其特征在于,用于存储指令,所述指令用于执行如权利要求1至16任一项所述的确定跟踪目标的位置信息的方法的步骤。
CN201910552106.5A 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 Expired - Fee Related CN110276786B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2015/089594 2015-09-15
PCT/CN2015/089594 WO2017045116A1 (en) 2015-09-15 2015-09-15 System and method for supporting smooth target following
CN201580060689.XA CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580060689.XA Division CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统

Publications (2)

Publication Number Publication Date
CN110276786A CN110276786A (zh) 2019-09-24
CN110276786B true CN110276786B (zh) 2021-08-20

Family

ID=58288098

Family Applications (7)

Application Number Title Priority Date Filing Date
CN201580074398.6A Pending CN107209854A (zh) 2015-09-15 2015-09-15 用于支持顺畅的目标跟随的系统和方法
CN201580084348.6A Active CN108351649B (zh) 2015-09-15 2015-10-30 用于控制可移动物体的方法和设备
CN202210224021.6A Pending CN114594792A (zh) 2015-09-15 2015-10-30 用于控制可移动物体的设备和方法
CN201910552106.5A Expired - Fee Related CN110276786B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN201580060689.XA Expired - Fee Related CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN201680060804.8A Active CN108139759B (zh) 2015-09-15 2016-02-29 用于无人飞行器路径规划和控制的系统和方法
CN202210304319.8A Pending CN114815906A (zh) 2015-09-15 2016-02-29 用于确定无人飞行器的目标方向的方法和装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201580074398.6A Pending CN107209854A (zh) 2015-09-15 2015-09-15 用于支持顺畅的目标跟随的系统和方法
CN201580084348.6A Active CN108351649B (zh) 2015-09-15 2015-10-30 用于控制可移动物体的方法和设备
CN202210224021.6A Pending CN114594792A (zh) 2015-09-15 2015-10-30 用于控制可移动物体的设备和方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201580060689.XA Expired - Fee Related CN107148639B (zh) 2015-09-15 2015-12-31 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
CN201680060804.8A Active CN108139759B (zh) 2015-09-15 2016-02-29 用于无人飞行器路径规划和控制的系统和方法
CN202210304319.8A Pending CN114815906A (zh) 2015-09-15 2016-02-29 用于确定无人飞行器的目标方向的方法和装置

Country Status (5)

Country Link
US (6) US20190011921A1 (zh)
EP (2) EP3353706A4 (zh)
JP (1) JP6735821B2 (zh)
CN (7) CN107209854A (zh)
WO (3) WO2017045116A1 (zh)

Families Citing this family (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10219163B2 (en) 2013-03-15 2019-02-26 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10257727B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems methods, and devices having databases and automated reports for electronic spectrum management
US10271233B2 (en) 2013-03-15 2019-04-23 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
US10257729B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices having databases for electronic spectrum management
US8750156B1 (en) 2013-03-15 2014-06-10 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10231206B2 (en) 2013-03-15 2019-03-12 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices
US10299149B2 (en) 2013-03-15 2019-05-21 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US10257728B2 (en) 2013-03-15 2019-04-09 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US11646918B2 (en) 2013-03-15 2023-05-09 Digital Global Systems, Inc. Systems, methods, and devices for electronic spectrum management for identifying open space
US10237770B2 (en) 2013-03-15 2019-03-19 DGS Global Systems, Inc. Systems, methods, and devices having databases and automated reports for electronic spectrum management
US10244504B2 (en) 2013-03-15 2019-03-26 DGS Global Systems, Inc. Systems, methods, and devices for geolocation with deployable large scale arrays
US9288683B2 (en) 2013-03-15 2016-03-15 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
KR101740312B1 (ko) * 2015-01-09 2017-06-09 주식회사 대한항공 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
EP4342792A3 (en) * 2015-12-09 2024-04-17 SZ DJI Technology Co., Ltd. Systems and methods for uav flight control
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10845188B2 (en) * 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
US9758246B1 (en) 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
US11009894B2 (en) * 2016-03-28 2021-05-18 Nec Corporation Unmanned flying device control system, unmanned flying device control method, and inspection device
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
KR20170123907A (ko) * 2016-04-29 2017-11-09 엘지전자 주식회사 이동단말기 및 그 제어방법
TWI598143B (zh) * 2016-06-03 2017-09-11 博泰科技有限公司 飛行器的跟隨遙控方法
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
CN113938663B (zh) * 2016-07-08 2024-02-20 深圳市大疆创新科技有限公司 用于组合和编辑uav操作数据和视频数据的方法和系统
WO2018023736A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US20190004524A1 (en) * 2016-08-31 2019-01-03 Faraday&Future Inc. System and method for planning a vehicle path
CN106504270B (zh) 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
GB2557175A (en) * 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
CN106444848B (zh) * 2016-11-28 2018-11-30 广州极飞科技有限公司 控制无人机飞行的方法及装置
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
KR20180064253A (ko) * 2016-12-05 2018-06-14 삼성전자주식회사 비행 제어 방법 및 이를 지원하는 전자 장치
US10529241B2 (en) * 2017-01-23 2020-01-07 Digital Global Systems, Inc. Unmanned vehicle recognition and threat management
US10498951B2 (en) 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
US10700794B2 (en) 2017-01-23 2020-06-30 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum
US10459020B2 (en) 2017-01-23 2019-10-29 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN106909170B (zh) * 2017-04-26 2020-04-07 北京小米移动软件有限公司 控制飞行器的方法和装置
WO2018195979A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
EP3631367A4 (en) 2017-05-31 2021-05-26 Geomni, Inc. SYSTEM AND PROCEDURE FOR MISSION PLANNING AND FLIGHT AUTOMATION FOR UNMANNED AIRPLANE
WO2018218640A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
CN107273937A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种视频及图像中目标任意角度标记方法
WO2019029551A1 (en) * 2017-08-10 2019-02-14 Hangzhou Zero Zero Technology Co., Ltd. SYSTEM AND METHOD FOR AVOIDING OBSTACLES IN AIR SYSTEMS
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
JP7057637B2 (ja) * 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
US10719087B2 (en) 2017-08-29 2020-07-21 Autel Robotics Co., Ltd. Target tracking method, unmanned aerial vehicle, and computer readable storage medium
CN107505951B (zh) * 2017-08-29 2020-08-21 深圳市道通智能航空技术有限公司 一种目标跟踪方法、无人机和计算机可读存储介质
CN107590450A (zh) * 2017-09-01 2018-01-16 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10491824B2 (en) 2017-09-26 2019-11-26 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
US11753142B1 (en) 2017-09-29 2023-09-12 Snap Inc. Noise modulation for unmanned aerial vehicles
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Qoncept 動体追跡装置、動体追跡方法、動体追跡プログラム
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
JP6825715B2 (ja) * 2017-10-06 2021-02-03 株式会社豊田自動織機 移動車両
FR3074950B1 (fr) * 2017-10-19 2019-12-27 Valeo Comfort And Driving Assistance Procede de traitement de donnees et systeme embarque associe
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
CN109753076B (zh) * 2017-11-03 2022-01-11 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
US10921825B2 (en) * 2017-11-04 2021-02-16 Automodality, Inc. System and method for perceptive navigation of automated vehicles
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
AU2018364811A1 (en) * 2017-11-13 2020-05-28 Geomni, Inc. System and method for mission planning, flight automation, and capturing of high-resolution images by unmanned aircraft
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
EP3487175A1 (en) * 2017-11-21 2019-05-22 Reliance Core Consulting LLC Methods and systems for detecting motion corresponding to a field of interest
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
EP3671681A4 (en) * 2017-11-30 2020-08-26 SZ DJI Technology Co., Ltd. MAXIMUM TEMPERATURE POINT MONITORING PROCESS, DEVICE AND DRONE
US11496684B2 (en) 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
CN108052901B (zh) * 2017-12-13 2021-05-25 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
EP3531375B1 (en) * 2017-12-25 2021-08-18 Autel Robotics Co., Ltd. Method and apparatus for measuring distance, and unmanned aerial vehicle
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
CN110197097B (zh) * 2018-02-24 2024-04-19 北京图森智途科技有限公司 一种港区监控方法及系统、中控系统
US10685244B2 (en) * 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US11822346B1 (en) 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
JP7028309B2 (ja) * 2018-03-13 2022-03-02 日本電気株式会社 移動体誘導装置、移動体誘導方法、及びプログラム
CN110309933A (zh) * 2018-03-23 2019-10-08 广州极飞科技有限公司 植株种植数据测量方法、作业路线规划方法及装置、系统
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
WO2019195270A1 (en) * 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和系统
CN108537837B (zh) * 2018-04-04 2023-05-05 腾讯科技(深圳)有限公司 一种深度信息确定的方法及相关装置
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
CN111801703A (zh) * 2018-04-17 2020-10-20 赫尔实验室有限公司 用于图像处理管线的边界框生成的硬件和系统
CN110291363A (zh) * 2018-04-26 2019-09-27 深圳市大疆创新科技有限公司 可移动平台的导航传感器检测的方法及相关设备
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US20190346842A1 (en) * 2018-05-11 2019-11-14 Honeywell International Inc. Transferring annotations to images captured by remote vehicles between displays
WO2019220877A1 (ja) * 2018-05-14 2019-11-21 富士フイルム株式会社 移動型機器及び撮影システム
US10839492B2 (en) * 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
WO2019227309A1 (zh) * 2018-05-29 2019-12-05 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
CN108803655A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人机飞行控制平台及目标跟踪方法
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11801937B2 (en) * 2018-07-26 2023-10-31 California Institute Of Technology Systems and methods for avian flock flight path modification using UAVs
CN109285179B (zh) * 2018-07-26 2021-05-14 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN108958297A (zh) * 2018-08-03 2018-12-07 南京航空航天大学 一种多无人机协同目标跟踪地面站
CN109292099B (zh) * 2018-08-10 2020-09-25 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
EP3837492A1 (en) * 2018-08-21 2021-06-23 SZ DJI Technology Co., Ltd. Distance measuring method and device
US10943461B2 (en) 2018-08-24 2021-03-09 Digital Global Systems, Inc. Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time
CN109376587A (zh) * 2018-09-05 2019-02-22 福州日兆信息科技有限公司 基于物联网的检测查勘通信铁塔智能巡检系统和方法
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
US11292480B2 (en) 2018-09-13 2022-04-05 Tusimple, Inc. Remote safe driving methods and systems
CN109358497B (zh) * 2018-09-14 2020-04-21 北京航空航天大学 一种基于b样条函数的卫星路径规划和预测控制的跟踪方法
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
US11036216B2 (en) * 2018-09-26 2021-06-15 International Business Machines Corporation Voice-controllable unmanned aerial vehicle for object retrieval and delivery
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109240320A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 无人机控制方法及装置
CN109447326B (zh) * 2018-09-30 2021-11-30 深圳眸瞳科技有限公司 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN110892353A (zh) * 2018-09-30 2020-03-17 深圳市大疆创新科技有限公司 控制方法、控制装置、无人飞行器的控制终端
CN109101041A (zh) * 2018-10-22 2018-12-28 深圳市智璟科技有限公司 一种无人飞机的动态跟随及动态返航方法
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN109656319B (zh) * 2018-11-22 2021-06-15 亮风台(上海)信息科技有限公司 一种用于呈现地面行动辅助信息方法与设备
CN109561282B (zh) * 2018-11-22 2021-08-06 亮风台(上海)信息科技有限公司 一种用于呈现地面行动辅助信息的方法与设备
WO2020104584A1 (en) * 2018-11-22 2020-05-28 Lorenz Technology Aps A method for inducing an autonomous behavior into an unmanned vehicle, and a communication unit for use in such a method
CN109618131B (zh) * 2018-11-22 2021-08-24 亮风台(上海)信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
WO2020107475A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 喷洒无人机的避障控制方法、装置、设备及存储介质
US10902634B2 (en) * 2018-12-04 2021-01-26 Here Global B.V. Method and apparatus for providing feature triangulation
EP3667696A1 (en) * 2018-12-14 2020-06-17 ASML Netherlands B.V. Stage apparatus suitable for electron beam inspection apparatus
TR201819906A2 (zh) * 2018-12-20 2019-03-21 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi
KR102166326B1 (ko) * 2018-12-21 2020-10-15 충북대학교 산학협력단 드론의 3차원 경로 설정 시스템
CN109754420B (zh) * 2018-12-24 2021-11-12 深圳市道通智能航空技术股份有限公司 一种目标距离估计方法、装置及无人机
JP7219609B2 (ja) * 2018-12-27 2023-02-08 株式会社Subaru 最適経路生成システム
CN109828488A (zh) * 2018-12-27 2019-05-31 北京航天福道高技术股份有限公司 采集传输一体化双光探测跟踪系统
CN111376239B (zh) * 2018-12-29 2023-06-27 希姆通信息技术(上海)有限公司 机器人的抓取方法及系统
US11001991B2 (en) * 2019-01-11 2021-05-11 Caterpillar Inc. Optimizing loading of a payload carrier of a machine
CN111435259A (zh) * 2019-01-14 2020-07-21 北京京东尚科信息技术有限公司 一种智能跟随车移动控制装置和智能跟随车
US10950104B2 (en) * 2019-01-16 2021-03-16 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Monitoring camera and detection method
CN111476827B (zh) * 2019-01-24 2024-02-02 曜科智能科技(上海)有限公司 目标跟踪方法、系统、电子装置及存储介质
CN109934870B (zh) * 2019-01-30 2021-11-30 西安天伟电子系统工程有限公司 目标检测方法、装置、设备、计算机设备和存储介质
US20220129017A1 (en) * 2019-02-18 2022-04-28 Sony Group Corporation Flight body, information processing method, and program
CN109947123B (zh) * 2019-02-27 2021-06-22 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法
CN113613852A (zh) * 2019-03-20 2021-11-05 柯惠Lp公司 机器人手术碰撞检测系统
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
US11455742B2 (en) * 2019-04-19 2022-09-27 Thermoteknix Systems Ltd. Imaging systems including real-time target-acquisition and triangulation features and human-machine interfaces therefor
CN110876275A (zh) * 2019-04-30 2020-03-10 深圳市大疆创新科技有限公司 一种瞄准控制方法、移动机器人及计算机可读存储介质
CN110162102A (zh) * 2019-05-17 2019-08-23 广东技术师范大学 基于云平台和机器视觉的无人机自动识别跟踪方法及系统
CN111656294A (zh) * 2019-05-31 2020-09-11 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
US11565807B1 (en) 2019-06-05 2023-01-31 Gal Zuckerman Systems and methods facilitating street-level interactions between flying drones and on-road vehicles
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
WO2020258066A1 (zh) * 2019-06-26 2020-12-30 深圳市大疆创新科技有限公司 无人机的控制方法、设备、无人机及存储介质
EP3989118A4 (en) 2019-06-28 2022-06-29 SZ DJI Technology Co., Ltd. Target tracking method and system, readable storage medium and moving platform
WO2021002511A1 (ko) * 2019-07-03 2021-01-07 엘지전자 주식회사 마커, 마커 추종 모드로 이동하는 방법 및 이를 구현하는 카트로봇
WO2021007792A1 (zh) * 2019-07-16 2021-01-21 深圳市大疆创新科技有限公司 拍摄方法、设备、系统及计算机可读存储介质
CN110262568B (zh) * 2019-07-19 2021-10-22 深圳市道通智能航空技术股份有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN111328387B (zh) * 2019-07-19 2024-02-20 深圳市大疆创新科技有限公司 云台控制方法、设备和计算机可读存储介质
CN110618700A (zh) * 2019-08-23 2019-12-27 西南交通大学 用于社区配送的三维地理信息系统及无人机航迹路径规划应用方法
CN111752295B (zh) * 2019-08-27 2021-09-10 广州极飞科技股份有限公司 无人机飞行轨迹规划方法及相关装置
DE102019214139B4 (de) * 2019-09-17 2021-07-29 Atlas Elektronik Gmbh Optische Minendetektion in geringer Wassertiefe
CN110758381B (zh) * 2019-09-18 2021-05-04 北京汽车集团有限公司 生成转向轨迹的方法、装置、存储介质及电子设备
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110928432B (zh) * 2019-10-24 2023-06-23 中国人民解放军军事科学院国防科技创新研究院 指环鼠标、鼠标控制装置及鼠标控制系统
DE102019129182A1 (de) * 2019-10-29 2021-04-29 Krones Aktiengesellschaft Verfahren zur Überwachung eines Behälterstroms in einer Abfüllanlage, Überwachungssystem und Platzhalter für einen Behälter oder eine Umverpackung
CN110865650B (zh) * 2019-11-19 2022-12-20 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法
JP7192748B2 (ja) * 2019-11-25 2022-12-20 トヨタ自動車株式会社 搬送システム、学習済みモデル生成方法、学習済みモデル、制御方法およびプログラム
CN113031511B (zh) * 2019-12-24 2022-03-22 沈阳智能机器人创新中心有限公司 一种基于高阶b样条的多轴系统实时引导轨迹规划方法
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
US20210206491A1 (en) * 2020-01-03 2021-07-08 Tencent America LLC Unmanned aerial system communication
CN111212456B (zh) * 2020-01-16 2022-07-08 中国电建集团成都勘测设计研究院有限公司 基于地理位置面向低功耗远距离物联网的多径路由方法
CN111260689B (zh) * 2020-01-16 2022-10-11 东华大学 一种基于置信度增强的相关滤波视觉跟踪方法
US20210247196A1 (en) * 2020-02-10 2021-08-12 Uber Technologies, Inc. Object Detection for Light Electric Vehicles
JP2023514833A (ja) 2020-02-18 2023-04-11 コグネックス・コーポレイション 視野よりも長い移動物体の3次元スキャンのためのシステムおよび方法
CN112650235A (zh) * 2020-03-11 2021-04-13 南京奥拓电子科技有限公司 一种机器人避障控制方法、系统及机器人
CN111240342A (zh) * 2020-03-12 2020-06-05 南京奥拓电子科技有限公司 一种机器人避障控制方法与装置、机器人及机器人系统
CN112639874A (zh) * 2020-03-20 2021-04-09 深圳市大疆创新科技有限公司 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN113515111B (zh) * 2020-03-25 2023-08-25 宇通客车股份有限公司 一种车辆避障路径规划方法及装置
CN111474953B (zh) * 2020-03-30 2021-09-17 清华大学 多动态视角协同的空中目标识别方法及系统
CN111455900B (zh) * 2020-04-01 2021-11-12 无锡格物智能科技有限公司 路障布设方法、终端、计算机设备和存储介质
CN111600644A (zh) * 2020-04-09 2020-08-28 西安理工大学 一种紫外光协助无人机编队最优刚性拓扑生成方法
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN113552868A (zh) * 2020-04-22 2021-10-26 西门子股份公司 消防机器人的导航方法及其导航装置
WO2021212518A1 (zh) * 2020-04-24 2021-10-28 深圳市大疆创新科技有限公司 飞行指引方法、装置、系统、控制终端及可读存储介质
US11415990B2 (en) 2020-05-04 2022-08-16 Honeywell International Inc. Optical object tracking on focal plane with dynamic focal length
CN112639652A (zh) * 2020-05-07 2021-04-09 深圳市大疆创新科技有限公司 目标跟踪方法和装置、可移动平台以及成像平台
CN113688463B (zh) * 2020-05-18 2024-01-23 中国航发商用航空发动机有限责任公司 导线碰撞角度范围筛选方法和装置、计算机可读存储介质
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111596692B (zh) * 2020-06-09 2021-06-01 北京航空航天大学 一种平流层飞艇的环绕跟踪移动目标控制方法及系统
EP3926432A1 (en) * 2020-06-16 2021-12-22 Hexagon Geosystems Services AG Touch control of unmanned aerial vehicles
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111862154B (zh) * 2020-07-13 2024-03-01 中移(杭州)信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
JP2023117420A (ja) * 2020-07-16 2023-08-24 ソニーグループ株式会社 情報処理方法、プログラム、及びシステム
CN112050813B (zh) * 2020-08-08 2022-08-02 浙江科聪控制技术有限公司 一种用于防暴一区移动机器人的激光导航系统
DE102020210618B4 (de) * 2020-08-20 2022-03-17 Top Seven Gmbh & Co. Kg Verfahren und system zur objekterfassung
RU200639U1 (ru) * 2020-09-02 2020-11-03 Илья Игоревич Бычков Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом
CN114245000A (zh) * 2020-09-09 2022-03-25 北京小米移动软件有限公司 拍摄方法和装置、电子设备、存储介质
CN114735388B (zh) * 2020-09-24 2023-09-05 深圳市海柔创新科技有限公司 任务处理方法、控制终端、机器人、仓储系统及存储介质
CN112162570B (zh) * 2020-10-10 2022-12-06 中国人民解放军海军航空大学 一种四旋翼直升飞机小范围动态跟踪的方法
WO2022104489A1 (es) * 2020-11-20 2022-05-27 Drovid Technologies Método para transmitir y rastrear parámetros detectados por drones mediante (paas) con (ia).
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质
WO2022126529A1 (zh) * 2020-12-17 2022-06-23 深圳市大疆创新科技有限公司 定位的方法、设备、无人机和存储介质
FR3118222B1 (fr) * 2020-12-22 2023-05-05 Naval Group Systeme de planification d'une trajectoire optimisee d'un vehicule maritime
GB2598010B (en) * 2021-01-18 2022-08-17 Hybrid Drones Ltd Vision system and method for unmanned aerial vehicles
CN112896551B (zh) * 2021-05-08 2021-09-07 成都飞机工业(集团)有限责任公司 一种飞机航电设备安装的校准辅助方法
CN113418522B (zh) * 2021-08-25 2021-12-14 季华实验室 Agv路径规划方法、跟随方法、装置、设备及存储介质
TWI769924B (zh) * 2021-09-15 2022-07-01 東元電機股份有限公司 人體跟隨系統
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN113848869B (zh) * 2021-10-20 2023-03-07 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN113961016B (zh) * 2021-10-25 2023-11-10 华东计算技术研究所(中国电子科技集团公司第三十二研究所) 基于a*算法的无人机动态目标航迹规划方法及系统
US11791049B2 (en) * 2021-11-03 2023-10-17 A Little Cold Gel, Llc Methods and systems for detecting intravascular device failure
CN114167900B (zh) * 2021-11-19 2023-06-30 北京环境特性研究所 一种基于无人机和差分gps的光电跟踪系统标校方法及装置
CN114119651B (zh) * 2021-11-30 2022-10-25 重庆紫光华山智安科技有限公司 目标跟踪方法、系统、设备及存储介质
US11417106B1 (en) 2022-02-04 2022-08-16 King Abdulaziz University Crowd evacuation system based on real time perception, simulation, and warning
CN114625170B (zh) * 2022-03-24 2023-05-12 中国民用航空飞行学院 一种山区火灾直升机救援飞行路径动态规划方法
CN114584928B (zh) * 2022-05-05 2022-08-05 深圳源中瑞科技有限公司 基于电子围栏的路径推测方法、装置、计算机设备和介质
US20230367463A1 (en) * 2022-05-11 2023-11-16 Supercell Oy Randomized movement control
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質
CN115451919B (zh) * 2022-09-28 2023-06-30 安徽理工大学 一种智能型无人测绘装置及方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117649426B (zh) * 2024-01-29 2024-04-09 中国科学院长春光学精密机械与物理研究所 抗无人机起落架遮挡的运动目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
WO2013139509A1 (en) * 2012-03-22 2013-09-26 Prox Dynamics As Method and device for controlling and monitoring the surrounding areas of an unmanned aerial vehicle
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN104537898A (zh) * 2015-01-08 2015-04-22 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155683A (en) 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
JP3600383B2 (ja) * 1996-09-30 2004-12-15 三菱重工業株式会社 移動体追跡装置
JPH10141891A (ja) * 1996-11-07 1998-05-29 Mitsubishi Heavy Ind Ltd 飛しょう経路の設定方法
SE515655C2 (sv) 1999-12-22 2001-09-17 Saab Ab "System och metod för kollisionsundvikning mellan farkoster
JP2001306144A (ja) * 2000-04-21 2001-11-02 Yamaha Motor Co Ltd 無人ヘリコプタの飛行制御システム
US7173650B2 (en) 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
JP2003177120A (ja) 2001-08-30 2003-06-27 Toppan Printing Co Ltd アウトイオンの分析方法、パーティクルまたは溶出物の測定方法、ならびにクリーンフィルムとその積層体
JP4301861B2 (ja) * 2002-05-20 2009-07-22 川崎重工業株式会社 移動体の操縦方法及び装置
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP4213518B2 (ja) * 2003-05-27 2009-01-21 川崎重工業株式会社 移動体の制御方法及び制御装置
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
US8448858B1 (en) * 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
US7884849B2 (en) * 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US7602480B2 (en) 2005-10-26 2009-10-13 Alcatel-Lucent Usa Inc. Method and system for tracking a moving station or target in free space communications
US7835542B2 (en) 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
US8902233B1 (en) 2006-06-09 2014-12-02 Pixar Driving systems extension
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
US7411167B2 (en) * 2006-09-05 2008-08-12 Honeywell International Inc. Tracking a moving object from a camera on a moving platform
IL183006A0 (en) * 2007-05-06 2007-12-03 Wave Group Ltd A bilateral robotic omni-directional situational awarness system having a smart throw able transportaion case
ATE523864T1 (de) * 2007-09-20 2011-09-15 Delphi Tech Inc Verfahren zur objektverfolgung
US8244469B2 (en) 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
CN101252687B (zh) * 2008-03-20 2010-06-02 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
JP4497236B2 (ja) 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
ES2378787T3 (es) 2008-11-04 2012-04-17 Saab Ab Generador de maniobras de evitación para una aeronave
CN101489147B (zh) * 2009-01-16 2010-12-01 西安电子科技大学 基于感兴趣区域的幅型比变换方法
US20100228406A1 (en) * 2009-03-03 2010-09-09 Honeywell International Inc. UAV Flight Control Method And System
CN101614816B (zh) * 2009-07-24 2011-08-31 东北大学 一种室内移动机器人位姿检测装置及控制方法
JP5382122B2 (ja) * 2009-07-31 2014-01-08 富士通株式会社 移動体位置検出装置および移動体位置検出方法
US8515596B2 (en) 2009-08-18 2013-08-20 Honeywell International Inc. Incremental position-based guidance for a UAV
US20110279682A1 (en) * 2009-11-12 2011-11-17 Le Li Methods for Target Tracking, Classification and Identification by Using Foveal Sensors
CN101769754B (zh) * 2010-01-19 2012-04-25 湖南大学 一种基于类三维地图的移动机器人全局路径规划方法
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
US9681065B2 (en) * 2010-06-15 2017-06-13 Flir Systems, Inc. Gimbal positioning with target velocity compensation
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品
IL208910A0 (en) 2010-10-24 2011-02-28 Rafael Advanced Defense Sys Tracking and identification of a moving object from a moving sensor using a 3d model
CN102087530B (zh) * 2010-12-07 2012-06-13 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
US8494766B2 (en) * 2011-01-07 2013-07-23 Ge Aviation Systems, Llc Flight management system with integrated tactical commands for use with an aircraft and method of operating same
TW201235808A (en) * 2011-02-23 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling UAV to flight in predefined area
JP5848507B2 (ja) 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
EP2511659A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Geodätisches Markierungssystem zur Markierung von Zielpunkten
JP5719230B2 (ja) * 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム
US20120316680A1 (en) 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US9157750B2 (en) * 2011-10-03 2015-10-13 Furuno Electric Co., Ltd. Device having touch panel, radar apparatus, plotter apparatus, ship network system, information display method and information display program
US9025827B2 (en) * 2011-10-19 2015-05-05 Crown Equipment Corporation Controlling truck forks based on identifying and tracking multiple objects in an image scene
KR101887055B1 (ko) * 2011-11-14 2018-09-11 삼성전자주식회사 로봇 청소기 및 그 제어 방법
US20130226373A1 (en) * 2012-02-27 2013-08-29 Ge Aviation Systems Llc Methods for in-flight adjusting of a flight plan
CN102629385B (zh) * 2012-02-28 2014-09-24 中山大学 一种基于多摄像机信息融合的目标匹配与跟踪系统及方法
US9841761B2 (en) 2012-05-04 2017-12-12 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
CN202758243U (zh) * 2012-09-06 2013-02-27 北京工业大学 一种无人机飞行操控系统
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
CN102902282B (zh) * 2012-09-25 2015-08-12 中国兵器工业第二0五研究所 基于光轴与惯性轴重合的地理跟踪方法
CN102955478B (zh) * 2012-10-24 2016-01-20 深圳一电科技有限公司 无人机飞行控制方法及系统
CN102967305B (zh) * 2012-10-26 2015-07-01 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
CN103914068A (zh) * 2013-01-07 2014-07-09 中国人民解放军第二炮兵工程大学 一种基于栅格地图的服务机器人自主导航方法
GB201301748D0 (en) * 2013-01-31 2013-03-20 Reiter Johannes Aircraft for Vertical Take-off and Landing with a Wing Arrangement comprising an extendible lift increasing system
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
JP2014212479A (ja) * 2013-04-19 2014-11-13 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9253410B2 (en) 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP6250952B2 (ja) * 2013-04-26 2017-12-20 古野電気株式会社 情報表示装置及び針路設定方法
CN104217417B (zh) * 2013-05-31 2017-07-07 张伟伟 一种视频多目标跟踪的方法及装置
US9715761B2 (en) 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
JP6296801B2 (ja) 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
US9237318B2 (en) 2013-07-26 2016-01-12 SkyBell Technologies, Inc. Doorbell communication systems and methods
CN103455797B (zh) * 2013-09-07 2017-01-11 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN103530894B (zh) * 2013-10-25 2016-04-20 合肥工业大学 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
US10248886B2 (en) * 2013-10-30 2019-04-02 Pgs Geophysical As System and method for underwater distance measurement
CN103576692A (zh) * 2013-11-07 2014-02-12 哈尔滨工程大学 一种多无人机协同飞行方法
CN103611324B (zh) * 2013-11-14 2016-08-17 南京航空航天大学 一种无人直升机飞行控制系统及其控制方法
WO2015105597A2 (en) * 2013-11-27 2015-07-16 The Trustees Of The University Of Pennsylvania Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
JP6429454B2 (ja) 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
CN103871075B (zh) * 2013-12-30 2015-11-18 华中科技大学 一种大椭圆遥感卫星地球背景相对运动估计方法
CN103822615B (zh) * 2014-02-25 2016-01-20 北京航空航天大学 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
EP3111647B1 (en) 2014-02-26 2019-03-20 Searidge Technologies Inc. Image stitching and automatic-color correction
EP3114677B1 (en) 2014-03-03 2020-08-05 University of Washington Haptic virtual fixture tools
US9165361B1 (en) 2014-03-13 2015-10-20 Raytheon Company Video tracking with jitter, slewing, or zoom
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
CN104035446B (zh) * 2014-05-30 2017-08-25 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
US9798324B2 (en) * 2014-07-18 2017-10-24 Helico Aerospace Industries Sia Autonomous vehicle operation
CN107577247B (zh) * 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪系统及方法
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
KR102025038B1 (ko) * 2014-09-11 2019-09-24 사이버옵틱스 코포레이션 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
US9355320B2 (en) * 2014-10-30 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Blur object tracker using group lasso method and apparatus
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
JP6222879B2 (ja) 2014-11-14 2017-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動体の制御方法、装置及び移動デバイス
CN104361770B (zh) * 2014-11-18 2017-01-04 武汉理工大学 用于交通信息采集无人机的精确降落自动控制方法
US9896202B2 (en) * 2014-12-03 2018-02-20 X Development Llc Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
CN204360218U (zh) 2014-12-31 2015-05-27 深圳市大疆创新科技有限公司 移动物体
ES2850149T3 (es) 2014-12-31 2021-08-25 Sz Dji Technology Co Ltd Restricciones y control de altitud del vehículo
US9373036B1 (en) 2015-01-16 2016-06-21 Toyota Motor Engineering & Manufacturing North America, Inc. Collaborative distance metric learning for method and apparatus visual tracking
CN104656665B (zh) * 2015-03-06 2017-07-28 云南电网有限责任公司电力科学研究院 一种新型无人机通用避障模块及步骤
CN104714556B (zh) * 2015-03-26 2017-08-11 清华大学 无人机智能航向控制方法
CN104796611A (zh) 2015-04-20 2015-07-22 零度智控(北京)智能科技有限公司 移动终端遥控无人机实现智能飞行拍摄的方法及系统
CN104820428B (zh) * 2015-04-20 2017-11-07 余江 一种无人机的记忆型航迹再现方法及其装置
CN106292720A (zh) * 2015-04-21 2017-01-04 高域(北京)智能科技研究院有限公司 一种智能多模式飞行拍摄设备及其飞行控制方法
CN104834307A (zh) * 2015-04-23 2015-08-12 杨珊珊 无人飞行器的控制方法及控制装置
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN112026727A (zh) 2015-05-12 2020-12-04 深圳市大疆创新科技有限公司 识别或检测障碍物的设备和方法
CN104853104B (zh) * 2015-06-01 2018-08-28 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统
CN104850134B (zh) * 2015-06-12 2019-01-11 北京中飞艾维航空科技有限公司 一种无人机高精度自主避障飞行方法
EP3312057B1 (en) 2015-06-19 2020-08-05 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
CN105371818A (zh) * 2015-11-30 2016-03-02 湖北易瓦特科技股份有限公司 测距避障仪和无人机测距避障的方法
US10012982B2 (en) 2015-12-11 2018-07-03 Fuji Xerox Co., Ltd. System and method for focus and context views for telepresence and robotic teleoperation
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
KR20180051996A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
CN107636550A (zh) * 2016-11-10 2018-01-26 深圳市大疆创新科技有限公司 飞行控制方法、装置及飞行器
WO2018094741A1 (zh) * 2016-11-28 2018-05-31 深圳市大疆创新科技有限公司 一种航线编辑方法、装置及控制设备
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法
AU2018368776B2 (en) * 2017-11-17 2021-02-04 Divine Logic, Inc. Systems and methods for tracking items
US10429487B1 (en) * 2018-05-18 2019-10-01 Here Global B.V. Drone localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013139509A1 (en) * 2012-03-22 2013-09-26 Prox Dynamics As Method and device for controlling and monitoring the surrounding areas of an unmanned aerial vehicle
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN104537898A (zh) * 2015-01-08 2015-04-22 西北工业大学 一种空地协同的无人机感知规避系统及其规避方法
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人机地面目标实时自主视觉定位;王向军 等;《红外与激光工程》;20140228;第43卷(第2期);第615-619页 *

Also Published As

Publication number Publication date
CN108139759A (zh) 2018-06-08
CN108139759B (zh) 2022-04-15
US10129478B2 (en) 2018-11-13
EP3353706A1 (en) 2018-08-01
WO2017045251A1 (en) 2017-03-23
CN107209854A (zh) 2017-09-26
US20210116943A1 (en) 2021-04-22
JP2018535487A (ja) 2018-11-29
CN107148639B (zh) 2019-07-16
CN108351649A (zh) 2018-07-31
WO2017045315A1 (zh) 2017-03-23
EP3374836A1 (en) 2018-09-19
US10976753B2 (en) 2021-04-13
US11635775B2 (en) 2023-04-25
US20190011921A1 (en) 2019-01-10
JP6735821B2 (ja) 2020-08-05
CN114594792A (zh) 2022-06-07
US20170134631A1 (en) 2017-05-11
CN110276786A (zh) 2019-09-24
US20180203467A1 (en) 2018-07-19
EP3374836A4 (en) 2018-12-05
US10928838B2 (en) 2021-02-23
US20210223795A1 (en) 2021-07-22
CN114815906A (zh) 2022-07-29
CN107148639A (zh) 2017-09-08
CN108351649B (zh) 2022-03-18
WO2017045116A1 (en) 2017-03-23
US20190082088A1 (en) 2019-03-14
EP3353706A4 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
CN110276786B (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
US10884110B2 (en) Calibration of laser and vision sensors
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
CN112567201B (zh) 距离测量方法以及设备
CN110573830B (zh) 激光传感器的校准方法
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN110197510B (zh) 双目相机的标定方法、装置、无人机和存储介质
US20200264011A1 (en) Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle
KR20180044279A (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US20190172215A1 (en) System and method for obstacle avoidance
WO2020052207A1 (zh) 测量天线工程参数的方法和装置
EP3550263B1 (en) Locating method and apparatus
CN111750896B (zh) 云台标定方法、装置、电子设备及存储介质
KR20160112080A (ko) 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
CN114820793A (zh) 基于无人机的目标检测及目标点定位方法及系统
US20170082429A1 (en) Passive altimeter
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CN110989691A (zh) 一种云台控制方法、装置、存储介质、电子设备及无人机
US11361463B2 (en) Position estimation system and method, and non-transitory storage medium
KR101821992B1 (ko) 무인비행체를 이용한 목표물의 3차원 위치 산출 방법 및 장치
CN109309709B (zh) 一种可远端控制无人装置的控制方法
CN115164905B (zh) 航测精度确定方法和系统
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
CN116933471A (zh) 无人机外参的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210820