CN109716256A - 用于跟踪目标的系统和方法 - Google Patents

用于跟踪目标的系统和方法 Download PDF

Info

Publication number
CN109716256A
CN109716256A CN201680088031.4A CN201680088031A CN109716256A CN 109716256 A CN109716256 A CN 109716256A CN 201680088031 A CN201680088031 A CN 201680088031A CN 109716256 A CN109716256 A CN 109716256A
Authority
CN
China
Prior art keywords
target
dimensional
data
tracking system
tracker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680088031.4A
Other languages
English (en)
Inventor
栗培梁
赵丛
封旭阳
钱杰
邬奇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109716256A publication Critical patent/CN109716256A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/683—Intercepting moving targets
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

所公开的实施例包括被配置为跟踪目标的方法、系统、制造的物品以及UAV。所公开的实施例中所述的技术可以用于基于目标的图像数据和目标的位置的组合来跟踪目标的定位。所公开的实施例基于来自于目标的图像数据的二维像素数据位置和距离来确定跟踪器和目标之间的距离以及与目标相关联的物理尺寸。所公开的实施例然后基于物理尺寸以及二维像素坐标数据和距离中的至少一个来确定目标的三维位置坐标数据。结果是，所公开的实施例提供在各种操作条件下、在跟踪目标的移动的能力方面的增强准确性、可用性以及鲁棒性。

Description

用于跟踪目标的系统和方法
版权声明
本专利文件的部分公开内容包含受版权保护的材料。版权所有人不反对任何人按照其在专利和商标局的专利文件或记录中的形式对本专利文件或专利公开内容进行复制，但在其他方面保留所有版权。
技术领域
本公开总体上涉及目标的视觉跟踪，更具体地，涉及基于目标的图像数据和目标的位置的组合，在三维空间中跟踪目标的移动的系统和方法。
背景技术
有时被称为“无人驾驶飞机”的无人机(“UAV”)包括可由用户远程操作或编程以便自动飞行的各种尺寸和配置的无人驾驶飞行器。UAV可以被用于许多目的，并且经常被用于各种个人、商业和战术应用。例如，UAV可以装备有成像设备，诸如相机、摄像机等。装备有成像设备的UAV除了受到业余爱好者和娱乐用途的欢迎之外，还特别用于监视、国防和专业录像行业等。
装备有成像设备的UAV可以允许用户远程跟踪目标。这种跟踪目标的能力允许UAV在跟踪物体的移动的同时自主地操作以便于目标的成像。作为说明性的示例，UAV可以被配置为自主地跟踪物体的移动并相应地调整其移动的速度和方向，以维持距物体的预定的相对位置。通过这种布置，UAV可以维持物体的预定的视场，使得当物体运动时，可以以基本相同的范围和精度来捕捉物体的图像。
在当前技术下，一种跟踪目标的运动的方法是通过对目标的三维位置进行跟踪。三维位置信息可以由卫星导航系统提供，诸如全球定位系统(GPS)、北斗(BeiDou)、伽利略(Galieo)等。例如，独立的GPS接收机可以基于从四个或更多个卫星接收的信息来获得它的三维位置。
这种方法对跟踪过程提出了挑战。例如，如果目标装备了独立的GPS接收机，则目标本身可能能够提供用于跟踪的更精确的三维位置信息。然而，这种接收机通常体积庞大并且非常耗能。此外，独立的GPS接收机通常以相对低的刷新速率(例如，10Hz或更低)来生成位置信息，这对跟踪快速移动的目标提出了挑战性。在UAV基于跟踪的结果自主地控制其自身的移动的情况下，当UAV跟踪目标失败时，其可能失去控制并对他人构成安全隐患。
因此，现在需要改进跟踪目标(例如通过UAV)的响应和精度，使其变得更加健壮。
发明内容
所公开的实施例包括被配置为跟踪目标的移动的方法、系统、制造的物品和UAV。所公开的实施例中所述的技术可以用于基于目标的图像数据和目标的位置的组合来跟踪目标的定位。所公开的实施例基于来自于目标的图像数据的二维像素数据位置和距离来确定目标和跟踪器之间的距离以及与目标相关联的物理尺寸。所公开的实施例然后基于物理尺寸以及二维像素坐标数据和距离中的至少一个来确定目标的三维位置坐标数据。所公开的实施例提供在各种操作条件下、在跟踪目标的移动的能力方面的增强准确性、可用性以及鲁棒性。
在所公开的实施例中，系统可以接收目标的绝对二维位置坐标数据。系统还可以接收跟踪器的绝对三维位置坐标日期。目标的二维位置坐标数据和跟踪器的三维位置坐标日期可以由例如全球定位系统(GPS)或任何卫星导航系统来生成。系统然后可以基于这些位置坐标数据来确定目标相对于跟踪器的二维位置坐标数据。
在一方面，所公开的实施例可以从图像数据中提取目标的多个特征，确定多个特征的像素位置，并基于像素位置确定该二维像素坐标。
在另一方面，所公开的实施例可以接收更新的图像数据，并基于更新的图像数据来确定目标相对于跟踪器的第二三维位置坐标数据。所公开的实施例可以确定目标相对于跟踪器的更新的二维位置坐标数据；基于该更新的二维位置坐标数据确定目标相对于跟踪器的第三三维位置坐标数据；以及基于使用卡尔曼滤波器的第二和第三三维位置坐标数据的组合来确定目标的位置。
在又一方面，所公开的实施例还可以确定与多个特征相关联的像素是否包括在更新的图像数据中。如果与多个特征相关联的像素未包括在更新的图像数据中，则所公开的实施例可以基于物理尺寸以及先前确定的三维位置坐标数据来确定目标相对于跟踪器的更新的三维位置坐标数据。
所公开的实施例中所述的技术可以由任何装置、系统或制造的物品来执行，包括诸如UAV的可移动物体、或控制器、或被配置为接收图像数据(包括视频数据)以及跟踪所接收图像中所示的目标的任何其他系统。与现有跟踪系统不同，本文中所述技术可以更加准确地跟踪可以高速移动的目标。
应理解的是，前面的一般描述和后面的详细描述两者均仅是示例性的和解释性的，并且不限于权利要求中所限定的公开的实施例。
附图说明
附图并入并构成本说明书的一部分，其示出了若干个实施例，并且连同说明书一起用于说明所公开的原理。附图中：
图1示出了可以使用本公开的示例性实施例的环境。
图2和图3示出了根据本公开的实施例的基于目标的图像数据和位置数据确定目标的三维坐标的方法。
图4和图5是根据本公开的实施例的用于基于目标图像和位置数据来确定目标的三维坐标的示例性系统的原理图。
图6是示出根据本公开的实施例的可以被执行的用于基于目标的图像和位置数据来确定目标的三维位置坐标的示例性步骤序列的流程图。
图7是根据本公开的实施例的用于基于目标图像和位置数据来确定目标的三维坐标的示例性系统的原理图。
具体实施方式
所公开的实施例提供了用于改进的对目标的跟踪的系统和方法，更具体地，提供了改进的基于目标的图像数据和位置数据的组合来在三维空间中跟踪目标的移动的系统和方法。由此产生的系统和方法提供了在各种操作条件下、在跟踪目标的移动的能力方面的增强准确度、可用性和鲁棒性。
现将详细参考示例性公开的实施例，其示例在附图中示出并在本文中公开。方便的是，贯穿附图，相同的附图标记将用于表示相同或类似的部件。
图1是可以使用本公开的示例性实施例的环境的示意图。如图1所示，目标100(例如，载运工具或任何可移动物体)正在地形上沿第一轴线102(例如，沿平行于地平线的z轴)移动。因为地形不平坦，因此目标100也可以沿第二轴线104(例如，沿与z轴正交的y轴)移动。跟踪器150也跟随第一目标100。跟踪器150包括相机152。目标100处于安装在跟踪器150上的相机152的视场156内，跟踪器150可以捕捉目标100的一个或多个图像154。在一些实施例中，相机152可以被配置为相对于第一轴线102移动并形成可变的俯仰角153。在一些实施例中，俯仰角153相对于跟踪器150是不可变的，但跟踪器150本身可以相对于第一轴线102改变其俯仰角(从而改变相机152的俯仰角)。在一些实施例中，俯仰角可以通过相机152和跟踪器150的移动的组合来改变。
根据一些实施例，跟踪器150可以是被配置为在合适的介质上或介质中(例如，表面、空气、水、轨、空间、地下等)行进的任何合适的物体、设备、机构、系统或机器。例如，跟踪器150可以是可使用一个或多个螺旋桨移动的无人机(UAV)。尽管为了描述的示例性目的，跟踪器150在本文中被示出并描述为UAV，但将理解的是，其他类型的可移动物体(例如，轮式物体、航海物体、机车物体、其他空中物体等)也可以或可选地被用于与本公开一致的实施例中。如本文中使用的，术语UAV可以指代被配置为自主地(即经由电子控制系统)和/或由机外人员手动操作和控制的空中设备。
在一些实施例中，跟踪器150被配置为跟踪目标100的移动，使得跟踪器150可以相对于目标100维持恒定的三维相对定位。可以执行跟踪以维持目标100的成像的范围。例如，如果目标100向上行进，并沿垂直方向向上移动，则跟踪器150也可以相应地向上移动(和/或改变俯仰角153)，使得目标100保持在视场156内。此外，可以执行跟踪以维持目标100的成像的精度。例如，如果目标100沿水平方向改变速度，则跟踪器150也可以相应地改变其速度以维持分开两个物体的距离，使得相机152接收与从目标100反射的光的强度相同强度的光，并可以用相同的分辨率来捕捉目标100的图像154。
为了跟踪器150跟踪目标100的移动，跟踪器150可能需要获得其自身的三维位置信息(例如，如图1中的位置坐标(x0,y0,z0)所示)。跟踪器150还需要确定目标100的三维位置(例如，如图1中的位置坐标(x1,y1,z1)所示)。基于这两部分三维位置信息，跟踪器150然后可以确定在三维空间中目标100相对于相机152的相对位置。跟踪器150然后可以改变(或维持)它自己的运动(以及更新或维持俯仰角153)，以维持该相对位置。
现在参考图2和图3，图2和图3示出了根据本公开的实施例的基于目标的图像数据和目标的位置来确定目标的三维位置坐标的方法。如上所述，跟踪器150可以获得它自己的三维位置信息，以确定目标100的三维位置，来维持相对于目标100的恒定的三维相对位置。例如，跟踪器150可以包括用于从卫星200接收信号以生成它自己的三维坐标(x0,y0,z0)的GPS接收机(或其他卫星导航系统)。
跟踪器150还可以通过确定目标100和跟踪器150之间的距离来确定目标100的三维位置。例如，跟踪器150可以接收沿x-z平面的目标100的二维位置信息，以确定目标100的x1和z1坐标，其可以确定跟踪器和目标之间的水平距离。跟踪器150还可以确定沿y-z平面(和/或x-y平面)的目标100的二维位置，以从例如目标100的图像154来确定目标100的y1坐标。例如，图像154的像素数据还可以提供图像帧(例如，图2的(u,v1)和(u,v2))中的目标的二维像素坐标信息，当目标100移动时其也可以被跟踪。如以下将要讨论的，跟踪器150可以组合这些信息以生成目标100的三维位置。
目标100可以从各种来源接收沿x-z平面的二维位置信息。例如，目标100可以包括可以生成二维位置坐标(x1,z1)信息并将该信息直接发送到跟踪器150的设备。作为说明性的示例，在目标100是载运工具的情况下，如图2所示，载运工具中的乘客可以携带有包括GPS接收机(或与其他卫星导航系统相关联的接收机)的移动电话，该GPS接收机从卫星200接收信号以生成移动电话的(以及目标100的)二维位置坐标。移动电话可以被配置为(例如，经由app)建立与跟踪器150的对等连接，并将移动电话的二维位置坐标发送到跟踪器150。移动电话还可以被配置为将二维位置坐标信息发送到服务器(例如，经由蜂窝通信网络)，服务器然后可以将目标100的二维位置坐标信息中继到跟踪器150。
作为另一说明性的示例，第三方也可以生成移动电话的二维位置坐标信息。例如，电话服务提供商可以通过与移动电话通信的多个蜂窝塔之间的三角测量，来提供移动电话的位置的估计，并且可以将位置信息提供给跟踪器150。
在一些实施例中，可以基于GPS数据和关于目标100的运动的信息的组合来生成目标100的二维位置坐标信息。例如，发送二维位置坐标信息的目标100中的移动电话可以包括惯性测量单元(IMU)，该惯性测量单元被配置为确定移动电话的(和目标100的)运动的速度和方向。移动电话可以使用优化算法(例如，卡尔曼滤波器)来组合GPS数据和运动数据，以生成调整了的二维位置坐标，从而提供更精确的移动电话的位置的测量结果。移动电话然后可以将调整了的二维位置坐标提供给跟踪器150(或提供给将信息提供给跟踪器150的第三方服务器)。
因此，本公开的实施例提供了一种基于从目标的图像数据导出的目标的二维像素坐标与目标的二维位置坐标的组合，以及从卫星导航系统(例如，GPS)获得的跟踪器的三维位置坐标，在三维空间中跟踪目标的移动的方法和系统。如以下将要在图3中所讨论的，跟踪系统可以基于跟踪器的三维位置坐标和目标的二维位置坐标来确定跟踪器和目标之间的距离。此外，系统还可以基于距离以及图像中目标的二维像素坐标来确定与目标相关联的物理尺寸(例如，高度、宽度、目标的表面上的两个特征之间的距离等)。基于目标的物理尺寸以及目标和跟踪器之间的距离，系统可以确定目标的三维位置坐标。系统还可以基于与目标相关联的物理尺寸不改变的假设，通过检测在随后的目标图像中反映的目标的二维像素坐标中的改变(如果有的话)，来跟踪目标在移动时目标的三维位置坐标。
图3示出了根据本公开实施例的基于目标的二维像素坐标、目标的二维位置坐标和跟踪器的三维位置坐标的组合来确定目标的三维位置坐标的方法的示例。如图3所示，具有特征(例如，载运工具顶部和轮子)301和302的目标300处于相机152(附接到图2的跟踪器150)的视场中，相机152包括图像传感器304和镜头305。相机152形成了相对于地平线的俯仰角θ。特征301和302由物理尺寸h分开。从特征301和302反射的光线可以分别经由路径303a和303b行进，通过镜头305进入相机152中，并可以被图像传感器304捕捉以形成图像306。如图3所示，在图像306中，表示特征301和302的像素分别与(u,v1)和(u,v2)的二维像素坐标相关联。穿过镜头305的光线可以在点307处汇聚，点307位于图像传感器304后面的焦距f处。距离f可以与镜头305的物理属性(例如，焦距)有关。
如图3所示，点307可以是三维坐标系统308的原点，三维坐标系统308包括彼此正交的x轴、y轴和z轴，其中x轴指向页面外，而x-z平面形成相对于地平线的俯仰角θ。目标300的中心与坐标系统308内的三维位置坐标(x,y,z)相关联，使得目标300与点307沿系统308的x轴分开x的距离，沿坐标系统308的y轴分开y的距离，沿坐标系统308的z轴分开z的距离。在三维位置坐标(x,y,z)与目标300的中心相搭配，并且中心与镜头305的焦点轴303c对齐的情况下，y坐标的值可以是零。在目标的中心未与焦点轴303c对齐的情况下，系统还可以基于例如图像中反映的目标的中心的像素位置、俯仰角θ和相机152的三维位置坐标来确定y坐标的值。
此外，如图3所示，特征302与点307沿系统308的z轴分开(z-z0)的距离，沿系统308的y轴分开(y+y0)的距离。此外，特征301与点307沿系统308的z轴分开(z+z0)的距离，沿系统308的y轴分开(y-y0)的距离。x、y、z、y0和z0的值可以与目标300相对于相机152(跟踪器150)的相对位置有关。
以下表达式示出了图像306中的目标300的二维像素坐标(u,v1)和(u,v2)和与目标300相关联的物理尺寸h之间的关系。这些表达式还示出了物理尺寸h和目标300的三维位置坐标(x,y,z)之间的关系。
可以基于这些关系来确定u、v1、v2、f、x、y、z、y0、z0和θ中的一个或多个值。例如，跟踪系统可以提取与特征301和302相对应的像素数据，并确定与提取的像素数据相关联的二维像素位置坐标(u,v1)和(u,v2)。该系统还可以基于例如目标300的二维位置坐标和相机152的三维位置坐标(这两者均可以从GPS以及俯仰角θ和距离f获得)来获得位置坐标x和z的值。作为说明性的示例，该系统可以基于位置坐标，确定目标300相对于二维水平平面上的相机152的相对三维位置。作为说明性的示例，假设相对于相机152的图像传感器304，目标300的相对二维位置坐标是(x’,z’)，则可以基于以下表达式来确定坐标x和z：
系统还可以基于图像数据来确定坐标y。例如，系统可以基于图像306中的目标300的图像的位置，来确定目标300的中心是否与焦点轴303c对齐。系统然后可以如上所述相应地确定y坐标的值。
此外，系统还可以包括用来确定相机152的俯仰角θ的陀螺仪(或其他合适的硬件/软件组件)。在已知焦距f(例如，作为镜头305的特性)，并且还确定了x和z的值的情况下，系统可以基于表达式1至3来确定y0和z0的值，以及基于表达式4和5来确定物理尺寸h的值。
在一些实施例中，物理尺寸h的值还可以基于目标300的特性来确定，并且可以独立于表达式1至7的余下的参数来确定。作为说明性的示例，返回参考图2，如果物理尺寸h的值指代目标100(例如，载运工具)的高度，则可以基于已知的载运工具的高度(例如，与载运工具的特别型号相关联的高度)来确定物理尺寸。系统还可以从与系统获取目标的三维坐标的信息源相同的信息源获取物理尺寸(例如，从载运工具中乘客的移动电话，从对目标的三维坐标信息进行中继的第三方服务器等)。
假设物理尺寸不随目标移动而改变，则系统可以基于物理尺寸和从随后的目标的图像数据中确定的二维像素位置坐标(u,v1)和(u,v2)，来确定第二组三维坐标(x,y,z)和y0和z0的值。例如，如果目标300相对于相机152的相对位置改变了，则x、y、z、y0和z0的值可能改变，而物理尺寸(h)的值可以保持恒定。系统可以通过从随后的图像中提取特征301和302的像素数据以及确定更新的二维像素位置坐标来确定目标300的第二组三维位置坐标，系统然后可以根据表达式1至7，基于更新的像素位置坐标以及先前确定的物理尺寸(h)的值来确定第二三维位置坐标。
在一些实施例中，系统还可以从GPS(或从其他卫星导航系统)接收目标300的更新的二维位置坐标，并基于更新的二维位置坐标来生成目标300的第三组三维位置坐标。系统然后可以将第二组三维位置坐标与第三组三维位置坐标进行组合以确定目标300的位置。在一些实施例中，系统可以采用诸如卡尔曼滤波器之类的优化算法来确定跟踪目标300的位置的参数化模型。系统可以首先基于第二组三维位置坐标来确定与参数化模型相关联的参数。当第三组三维位置坐标变得可用时，系统然后可以基于第三组三维位置坐标以及当目标移动时系统运动的速度和方向、噪声和定时不确定性的影响、滤波的影响等来更新参数化模型。
在一些实施例中，基于各种操作条件，系统还可以使用用于表达式1至7的一些参数的历史值来确定目标的位置。例如，在系统基于图像306中的二维像素坐标来确定物理尺寸的情况下，系统可以维持物理尺寸的值的滑动平均值(running average)，以降低噪声的影响，直到跟踪器150改变移动的过程，并在偏航角上表现出一定程度的改变。在这种情况下，由于相机152的视场已经改变，因此系统可以确定用物理尺寸的新的值来重置滑动平均值。
此外，在相机152停止捕捉目标300的图像的情况下(例如，当视场被阻挡时)，系统可以使用先前确定的物理尺寸的值以及先前确定的三维位置坐标的一部分来确定目标300的位置。作为说明性的示例，基于目标300正在平坦的地形上移动的确定，系统可以假设目标300的y坐标(其可以确定跟踪器150和目标之间的垂直距离)保持恒定。在这种情况下，系统可以基于例如先前确定的物理尺寸值h、先前确定的y和y0的值以及从GPS(或其他导航系统)获得的目标300和相机152的三维坐标来确定目标的x坐标和y坐标。
在一些实施例中，基于目标300的位置的确定，跟踪器150还可以调整其移动的方向和速度中的至少一项，以维持相对于目标300的相对定位。例如，基于目标300正在改变其移动的速度和/或方向的确定，跟踪器150还可以相应地调整其移动的速度和/或方向。
现在参考图4，图4是依据所公开的实施例的用于执行一个或多个操作的示例性系统400的示意图。如图4所示，系统400可以包括壳体402、用来捕捉目标的图像的成像设备406(例如，相机)以及一个或多个螺旋桨410。在一些实施例中，成像设备406可以经由铰链或万向节与壳体402耦接，并且可以相对于壳体402形成可变的角度。壳体402可以包括机械组件，诸如用来控制成像设备406和螺旋桨410的运动的电机和执行器。壳体402还可以包括惯性测量单元(IMU)412，其被配置为检测系统400的运动。IMU 412可以包括传感器组件，诸如加速计、陀螺仪、磁力计等。
壳体402还可以容纳一个或多个通信系统414和416。通信系统414可以使系统400能够从卫星导航系统(例如，GPS)接收其三维坐标。通信系统416可以使系统能够接收由成像设备406捕捉的图像的目标的三维坐标。例如，通信系统416可以从附接于目标的移动电话418接收目标的三维位置坐标。作为另一示例，通信系统416可以从第三方服务器(未示出)接收目标的三维位置坐标，该第三方服务器从移动电话418接收三维坐标信息。
壳体402还可以容纳包括一个或多个处理器、一个或多个输入/输出(I/O)设备以及一个或多个存储器的跟踪系统。现在参考图5，图5是可以依据所公开的实施例使用的示例性系统500的原理框图。系统500可以包括一个或多个处理器520、一个或多个I/O设备522以及一个或多个存储器524，在一些实施例中，其可以在一个或多个控制器510中实现。在一些实施例中，系统500可以采用移动计算设备、通用计算机等的形式，用于执行与所公开的实施例一致的一个或多个操作。
处理器520可以包括一个或多个已知的处理设备。例如，处理器可以来自于由英特尔制造的处理器系列、来自于由Advanced Micro Devices制造的处理器系列等。可选地，处理器可以基于ARM架构。在一些实施例中，处理器可以是移动处理器。所公开的实施例不限于配置在控制器510中的任何类型的处理器。
I/O设备522可以是被配置为允许控制器510接收和/或发送数据的一个或多个设备。I/O设备522可以包括一个或多个通信设备和接口，以及任何必要的模数和数模转换器，以与其他机械组件和设备(诸如成像设备406、螺旋桨410、IMU412和通信系统414和416)进行通信和/或控制其他机械组件和设备。
存储器524可以包括一个或多个存储设备，该一个或多个存储设备被配置为存储由处理器520使用以执行与所公开的实施例有关的功能的软件指令。例如，存储器524可以被配置为存储诸如程序526之类的软件指令，当其由处理器520执行时，执行一个或多个操作。例如，存储器524可以包括执行所公开的实施例的功能的单个程序526，诸如用户级应用、跟踪系统等，或可以包括多个软件程序。另外，处理器520可以执行位于远离控制器510处的一个或多个程序(或其部分)。此外，存储器524还可以被配置为存储例如由软件程序526使用的数据。
在一些实施例中，系统400和500可以被配置为图1至图3的跟踪器150，并且软件程序526可以包括一个或多个软件模块，当其由控制器510执行时，执行与本公开的实施例一致的基于目标的图像数据和目标的位置来确定目标的三维坐标的方法。
例如，返回参考图3，软件程序526可以包括一个或多个软件模块，该一个或多个软件模块被配置为处理由成像设备406捕捉的图像数据，以提取一个或多个特征，并确定所提取的特征的二维像素坐标(u,v1)和(u,v2)。软件程序526还可以包括被配置为经由例如通信系统414和416来获得系统400和目标300的三维坐标的软件模块。软件程序526还可以包括被配置为根据如上所述的表达式1至7中描述的关系，使用基于参数之间的关系所创建的软件程序来确定参数h、x、y、z、y0、z0和θ的值的软件模块。软件程序526还可以包括被配置为在存储器524中存储这些参数中的至少一些参数的值(诸如物理尺寸h和沿y轴的坐标(例如，y、y0等))用于将来的位置确定(例如，当图像数据不可用时)的软件模块。
此外，软件程序526还可以包括被配置为根据表达式1至7、组合基于不同输入源(例如，来自GPS数据、来自图像数据等)确定的目标的三维坐标来确定目标的位置，并且可以包括诸如卡尔曼滤波器之类的优化算法的软件模块。
此外，软件程序526还可以包括被配置为与IMU 412通信以接收关于系统400的运动的信息(例如，运动的速度和方向、偏航角等)以及基于该信息确定目标的三维坐标的软件模块。软件程序526还可以包括被配置为基于所确定的目标的位置来控制系统400的运动(例如，通过经由I/O设备522来配置螺旋桨410的动作)的软件模块。
现在参考图6，图6示出了根据本公开的实施例的执行用于基于目标的图像和位置数据来确定目标的三维坐标的示例性过程600的步骤序列。图6的过程可以由跟踪系统来实现，其可以被实现为软件、硬件或其任何组合。出于解释而不是限制的目的，将在系统400和500的环境中描述过程600，使得所公开的过程可以由在控制器510和/或跟踪器150中执行的软件来执行。
在步骤602中，系统接收目标的二维位置坐标数据。系统可以经由图4的通信系统416接收目标的二维位置坐标数据。二维位置坐标数据可以从GPS接收机(或任何其他卫星导航系统)和/或从GPS数据和IMU数据的组合生成。
在步骤604中，在接收了目标的二维位置数据后，系统可以确定目标和系统之间的距离。例如，系统接收其自身的三维位置数据，然后确定目标相对于系统的相对位置。相对位置可以被表示为三维坐标(x,y,z)，如图3所示。
在步骤606中，系统还从成像设备接收图像数据。在步骤608中，系统可以提取与包括在图像数据中的目标相关联的像素数据，并基于该像素数据确定视觉跟踪是否丢失。当例如目标从成像设备406的视场中移开时，视觉跟踪可能丢失。可以基于各种标准确定视觉跟踪是否丢失。作为说明性的示例，系统可以被配置为跟踪目标上的多个特征，并基于特征的像素坐标来确定物理尺寸(例如，图3的物理尺寸h)。如果系统检测到特征中的至少一个的像素数据缺失，并且无法确定物理尺寸，则系统可以确定视觉跟踪丢失。
在步骤608中，如果系统确定视觉跟踪尚未丢失，则系统可以进行到步骤610以确定物理尺寸(例如，图3的物理尺寸h)。系统可以从图像数据提取与多个特征(例如，图3的特征301和302)相关联的像素数据，并确定与特征相关联的像素坐标(例如，图3的(u,v1)和(u,v2))。基于像素坐标、在步骤604中所确定的目标和系统之间的距离以及诸如焦距f、俯仰角θ等的其他信息，系统可以基于在如以上所讨论的表达式1至7中描述的关系来确定目标的物理尺寸。
在步骤610中确定了物理尺寸之后，系统可以进行到步骤612以确定系统是否经历了偏航角改变，以及角度改变是否超出了阈值。在一些实施例中，阈值可以是10度。在步骤612中，如果系统确定偏航角改变未超出阈值，则系统可以进行到步骤614，并基于在步骤610中所确定的值和物理尺寸的历史值之间的平均值来确定物理尺寸。另一方面，在步骤610中，如果系统确定偏航角改变未超出阈值，则系统可以进行到步骤616，并确定不对值进行平均，并使用在步骤610中所确定的物理尺寸的值用于下一步骤。如上所述，系统可以维持物理尺寸h的值的滑动平均值，以降低噪声的影响，直到系统改变移动的过程，并且在偏航角上表现出一定程度的改变。在这种情况下，由于相机的视场已经改变，因此系统可以确定用物理尺寸的新的值来重置滑动平均值。
在确定了物理尺寸之后，系统然后可以进行到步骤618，以根据表达式1至7，基于物理尺寸和图像数据来确定目标的第一三维位置坐标。
在步骤620中，系统还可以基于更新的信息来确定目标的第二三维位置坐标和第三三维位置坐标。例如，系统可以接收第二图像数据，该第二图像数据可以包括目标随后的图像。系统可以确定多个特征(例如，图3的特征301和302)的更新的二维像素位置坐标(u,v1)和(u,v2)。系统然后可以根据表达式1至7，基于更新的像素位置坐标(u,v1)和(u,v2)以及在步骤614或步骤616中确定的物理尺寸，来确定第二三维位置坐标(x,y,z)。此外，系统还可以基于从GPS(或从任何其他卫星导航系统)接收的目标的更新的二维位置坐标来确定目标的第三三维位置坐标。
在步骤620中确定了第二三维位置坐标和第三三维位置坐标之后，系统可以进行到步骤622，以基于第二三维位置坐标(在步骤618中确定的)和第三三维位置坐标(在步骤620中确定的)的组合来确定目标的位置。组合可以包括例如采用诸如卡尔曼滤波器的优化算法来确定跟踪目标的位置的参数化模型。系统可以首先基于第二三维坐标确定与参数化模型相关联的参数，然后基于例如第三三维位置坐标、系统的运动的速度和方向、噪声和定时不确定性的影响、滤波的影响等来更新参数化模型。系统然后可以随着目标移动，基于新的GPS位置坐标和基于随后的图像确定的新的位置坐标信息来维持参数化模型以及更新相关联的参数。
返回参考步骤608，如果系统确定视觉跟踪丢失，则系统可以进行到步骤624，以基于历史物理尺寸和距离(在步骤602中确定的)来确定目标的三维位置坐标。作为说明性的示例，基于目标正在平坦的地形上移动的确定，系统可以假设目标的y坐标(其可以确定系统和目标之间的垂直距离)保持恒定。在这种情况下，系统可以基于例如先前确定的物理尺寸值h、先前确定的y和y0的值以及距离(基于例如目标的二维位置坐标和系统的三维位置坐标)来确定目标的x坐标和z坐标。系统然后可以进行到步骤626，并且提供在步骤624中确定的三维位置坐标，用于目标的位置确定。
现在参考图7，图7是根据本公开的实施例的基于目标图像和位置数据来确定目标的三维坐标的示例性系统700的是示意性框图。如图7所示，系统700包括距离确定模块702、物理尺寸确定模块704、目标位置确定模块706和运动控制模块708。
为了本公开的目的，“模块”可以被实现为软件、硬件、固件、这些中的任何的混合等。例如，如果所公开的“模块”被实现为软件，则它们可以作为程序526的组件存储在系统500的存储器524中，并且包括可由一个或多个处理器执行的代码指令，独立地或与本实施例或其他实施例中公开的其他模块进行各种组合。另一方面，所公开的“模块”还可以被实现为诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等的硬件。系统700可以被容纳在例如跟踪器150中。
距离确定模块702可以确定目标和跟踪器150之间的距离。例如，距离确定模块702可以接收目标的二维位置坐标，以及跟踪器的三维位置坐标，并确定目标和跟踪器之间的距离。在一些实施例中，距离确定模块702被配置为执行例如图6的步骤602和步骤604。
物理尺寸确定模块704可以从目标的图像数据确定与目标的多个特征相关联的二维像素坐标数据。物理尺寸确定模块704还可以基于图像数据，确定视觉跟踪是否丢失，并相应地确定与多个特征相关联的物理尺寸。例如，如果视觉跟踪丢失，则物理尺寸确定模块704可以确定提供先前确定的物理尺寸。另一方面，如果视觉跟踪未丢失，则物理尺寸确定模块704可以基于由距离确定模块702确定的距离和二维像素坐标数据来确定物理尺寸。物理尺寸确定模块704还可以接收关于跟踪器的偏航角的信息，并基于偏航角的改变来确定是维持物理尺寸的滑动平均值还是重置平均值。在一些实施例中，物理尺寸确定模块704被配置为执行例如图6的步骤606至步骤616。
目标位置确定模块706可以被配置为基于由物理尺寸确定模块704提供的物理尺寸以及二维像素坐标数据和距离中的至少一个，来确定目标相对于所述装置的三维位置坐标数据。例如，系统可以接收更新的图像数据，并确定更新的二维像素坐标，以及确定目标的第一三维位置坐标数据。系统还可以接收目标的更新的二维位置坐标数据，并确定目标的第二三维位置坐标数据。系统然后可以基于两组三维位置坐标的组合来确定目标的位置。所述组合可以包括例如采用诸如卡尔曼滤波器的优化算法。在一些实施例中，目标位置确定模块706被配置为执行例如图6的步骤618至步骤624。
运动控制模块708可以被配置为向跟踪器提供一个或多个控制信号以基于目标位置来控制跟踪器的运动。例如，为了维持跟踪器与目标之间的距离，运动控制模块708可以控制跟踪器的螺旋桨以改变其方向和速度。
考虑到所公开的实施例的说明和实践，其他实施例对于本领域技术人员将是显而易见的。说明书和示例应仅被认为是示例性的，所公开的实施例的真实范围和精神由所附权利要求指示。应理解的是，为便于描述，已在本文中对本公开中的示例和描述进行任意地限定。所公开的系统和方法不限于这些简化的示例，并且可以考虑其他的特征和特性，只要适当地执行了指定的功能即可。
虽然为了讨论的目的，已经针对UAV讨论了某些公开的实施例，但本领域技术人员将认识到所公开的用于识别目标的方法和系统的有用的应用。此外，尽管所公开的实施例的各方面被描述为与存储在存储器和其他有形的计算机可读存储介质中的数据相关联，但本领域技术人员将认识到，这些方面可以被存储在许多类型的有形的计算机可读介质上并且可以从其执行。此外，所公开的实施例的某些过程和步骤以特定的顺序描述，本领域技术人员将认识到所公开的实施例的实践不限于此，并且可以以许多方式来实现。因此，所公开的实施例不限于上述示例，而是由所附权利要求根据其全部等同物的范围来限定。

Claims (39)

1.一种通过跟踪器跟踪目标的移动的方法，所述方法包括：
确定所述目标和所述跟踪器之间的距离；
通过所述跟踪器的相机获取所述目标的图像数据；
从所述图像数据确定与所述目标的多个特征相关联的二维像素坐标数据；
基于所述二维像素坐标数据和所述距离确定物理尺寸；以及
基于所述二维像素坐标数据和所述距离中的至少一个以及所述物理尺寸，确定所述目标相对于所述跟踪器的第一三维位置坐标数据。
2.根据权利要求1所述的方法，还包括：
接收所述跟踪器的绝对三维位置坐标数据；
接收所述目标的绝对二维位置坐标数据；
其中，所述目标和所述跟踪器之间的距离是基于所述跟踪器的绝对三维位置坐标数据和所述目标的绝对二维位置坐标数据确定的水平距离。
3.根据权利要求1所述的方法，还包括：基于所述第一三维位置坐标数据跟踪所述目标的移动。
4.根据权利要求1所述的方法，还包括：
从所述图像数据提取所述目标的所述多个特征；以及
确定所述多个特征的像素位置；
其中，所述二维像素坐标数据基于所述像素位置确定。
5.根据权利要求1所述的方法，其中，所述物理尺寸基于所述相机的焦距确定。
6.根据权利要求1所述的方法，其中，所述物理尺寸基于所述跟踪器和所述相机中的至少一个的俯仰角确定。
7.根据权利要求1所述的方法，还包括：维持先前确定的所述物理尺寸的值的滑动平均值。
8.根据权利要求7所述的方法，还包括：
确定所述跟踪器的偏航角的改变；
如果所述偏航角的改变没有超出阈值，则基于所述滑动平均值确定所述物理尺寸；
如果所述偏航角的改变超出所述阈值，则用所述物理尺寸的值重置所述滑动平均值。
9.根据权利要求1所述的方法，还包括：
接收更新的图像数据；
基于所述更新的图像数据确定所述目标相对于所述跟踪器的第二三维位置坐标数据；
确定所述目标相对于所述跟踪器的更新的距离；
基于所述更新的距离确定所述目标相对于所述跟踪器的第三三维位置坐标数据；以及
使用卡尔曼滤波器，基于所述第二三维位置坐标数据和所述第三三维位置坐标数据的组合确定所述目标相对于所述跟踪器的第四三维位置坐标数据。
10.根据权利要求1所述的方法，还包括：
接收所述目标的更新的图像数据；
确定与所述多个特征相关联的像素是否包括在所述更新的图像数据中；
如果与所述多个特征相关联的像素未包括在所述更新的图像数据中：则基于所述物理尺寸和所述第一三维位置坐标数据确定所述目标相对于所述跟踪器的第五三维位置坐标数据。
11.根据权利要求1所述的方法，还包括：基于所述目标的位置调整所述跟踪器的移动的速度和方向。
12.根据权利要求2所述的方法，其中，从包括在所述跟踪器中的全球定位系统GPS接收机获取所述跟踪器的所述绝对三维位置坐标数据。
13.根据权利要求2所述的方法，其中，从与所述目标搭配的全球定位系统GPS接收机获取所述目标的所述绝对二维位置坐标数据。
14.根据权利要求13所述的方法，其中，所述目标的绝对二维位置坐标数据还从由惯性测量单元IMU提供的信息生成。
15.根据权利要求14所述的方法，其中，所述全球定位系统GPS接收机和所述惯性测量单元IMU附接到所述目标。
16.根据权利要求14所述的方法，其中，所述全球定位系统GPS接收机和所述惯性测量单元IMU包括在与所述目标搭配的移动电话中。
17.根据权利要求1所述的方法，其中，所述跟踪器是无人机UAV。
18.一种跟踪系统，被配置为跟踪目标的移动，所述跟踪系统包括：
存储器，存储可执行的指令；
相机，被配置为获取所述目标的图像数据；以及
至少一个处理器，被配置为执行所存储的指令以执行以下操作：
确定所述目标和所述跟踪系统之间的距离；
从所述图像数据确定与所述目标的多个特征相关联的二维像素坐标数据；
基于所述二维像素坐标数据和所述距离确定物理尺寸；以及
基于所述二维像素坐标数据和所述距离中的至少一个以及所述物理尺寸，确定所述目标相对于所述跟踪系统的第一三维位置坐标数据。
19.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：
接收所述跟踪系统的绝对三维位置坐标数据；
接收所述目标的绝对二维位置坐标数据；
其中，所述目标和所述跟踪系统之间的距离是基于所述跟踪系统的绝对三维位置坐标数据和所述目标的绝对二维位置坐标数据确定的水平距离。
20.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：基于所述第一三维位置坐标数据跟踪所述目标的移动。
21.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：
从所述图像数据提取所述目标的所述多个特征；以及
确定所述多个特征的像素位置；
其中，基于所述像素位置确定所述二维像素坐标数据。
22.根据权利要求18所述的跟踪系统，其中，基于所述相机的焦距确定所述物理尺寸。
23.根据权利要求18所述的跟踪系统，其中，所述物理尺寸基于包括所述跟踪系统的可移动物体和所述相机中的至少一个的俯仰角确定。
24.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：维持先前确定的所述物理尺寸的值的滑动平均值。
25.根据权利要求24所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：
确定包括所述跟踪系统的可移动物体的偏航角的改变：
如果所述偏航角的改变没有超出阈值，则基于所述滑动平均值确定所述物理尺寸；
如果所述偏航角的改变超出所述阈值，则用所述物理尺寸的值重置所述滑动平均值。
26.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：
接收更新的图像数据；
基于所述更新的图像数据确定所述目标相对于所述跟踪系统的第二三维位置坐标数据；
确定所述目标相对于所述跟踪系统的更新的距离；
基于所述更新的距离确定所述目标相对于所述跟踪系统的第三三维位置坐标数据；以及
使用卡尔曼滤波器，基于所述第二三维位置坐标数据和所述第三三维位置坐标数据的组合，确定所述目标相对于所述跟踪系统的第四三维位置坐标数据。
27.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：
接收所述目标的更新的图像数据；
确定与所述多个特征相关联的像素是否包括在所述更新的图像数据中；
如果与所述多个特征相关联的像素未包括在所述更新的图像数据中：则基于所述物理尺寸和所述第一三维位置坐标确定所述目标相对于所述跟踪系统的第五三维位置坐标数据。
28.根据权利要求18所述的跟踪系统，其中，所述至少一个处理器被配置为执行所存储的指令以执行以下操作：使包括所述跟踪系统的可移动物体基于所述目标的位置调整移动的速度和方向。
29.根据权利要求19所述的跟踪系统，其中，所述跟踪系统的所述绝对三维位置坐标数据从包括在所述跟踪系统中的全球定位系统GPS接收机获取。
30.根据权利要求19所述的跟踪系统，其中，所述目标的所述绝对三维位置坐标数据从与所述目标搭配的全球定位系统GPS接收机获取。
31.根据权利要求30所述的跟踪系统，其中，所述目标的所述绝对三维位置坐标数据还从由惯性测量单元IMU提供的信息生成。
32.根据权利要求31所述的跟踪系统，其中，所述全球定位系统GPS接收机和所述惯性测量单元IMU附接到所述目标。
33.根据权利要求31所述的跟踪系统，其中，所述全球定位系统GPS接收机和所述惯性测量单元IMU包括在与所述目标搭配的移动电话中。
34.根据权利要求18所述的跟踪系统，其中，所述跟踪系统包括在无人机UAV中。
35.一种可移动物体，包括：
一个或多个螺旋桨；
一个或多个传感器，被配置为获得所述可移动物体的速度和方向信息；
相机，被配置为获取目标的图像数据；以及
无线电通信系统，被配置为从卫星导航系统接收信号；以及
控制器，所述控制器包括：
存储器，存储可执行指令；
相机，被配置为获取所述目标的图像数据；以及
至少一个处理器，被配置为执行所存储的指令以执行以下操作：
基于从所述无线电通信系统接收的信号确定所述目标和所述可移动物体之间的距离，
从所述图像数据确定与所述目标的多个特征相关联的二维像素坐标数据，
基于所述二维像素坐标数据和所述距离确定物理尺寸，
基于所述二维像素坐标数据和所述距离中的至少一个以及所述物理尺寸，确定所述目标相对于所述跟踪系统的第一三维位置坐标数据，以及
基于所述第一三维位置坐标数据和所述可移动物体的速度和方向信息控制所述一个或多个螺旋桨。
36.一种用于跟踪目标的装置，所述装置包括：
相机，被配置为获取所述目标的图像数据；以及
距离确定模块，被配置为确定所述目标和所述装置之间的距离；
物理尺寸确定模块，被配置为：
从所述图像数据确定与所述目标的多个特征相关联的二维像素坐标数据，以及
基于所述二维像素坐标数据和所述距离确定物理尺寸；
目标位置确定模块，被配置为基于所述二维像素坐标数据和所述距离中的至少一个以及所述物理尺寸，确定所述目标相对于所述装置的三维位置坐标数据；以及
运动控制模块，被配置为基于所述三维位置坐标数据控制所述装置的运动的速度和方向中的至少一个。
37.根据权利要求36所述的装置，其中，所述装置包括在可移动物体中。
38.根据权利要求36所述的装置，其中，所述装置包括在无人机中。
39.一种存储指令的非暂时性计算机可读介质，当所述指令被跟踪器的至少一个处理器执行时，使得所述跟踪器执行以下操作：
确定目标和所述跟踪器之间的距离；
通过所述跟踪器的相机获取所述目标的图像数据；
从所述图像数据确定与所述目标的多个特征相关联的二维像素坐标数据；
基于所述二维像素坐标数据和所述距离确定物理尺寸；以及
基于所述二维像素坐标数据和所述距离中的至少一个以及所述物理尺寸，确定所述目标相对于所述跟踪器的三维位置坐标数据。
CN201680088031.4A 2016-08-06 2016-08-06 用于跟踪目标的系统和方法 Pending CN109716256A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/093768 WO2018027339A1 (en) 2016-08-06 2016-08-06 Copyright notice

Publications (1)

Publication Number Publication Date
CN109716256A true CN109716256A (zh) 2019-05-03

Family

ID=61160973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088031.4A Pending CN109716256A (zh) 2016-08-06 2016-08-06 用于跟踪目标的系统和方法

Country Status (3)

Country Link
US (2) US11148804B2 (zh)
CN (1) CN109716256A (zh)
WO (1) WO2018027339A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665490A (zh) * 2020-06-02 2020-09-15 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
US11521500B1 (en) * 2018-10-17 2022-12-06 Amazon Technologies, Inc. Unmanned aerial systems with range finding
CN111291585B (zh) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 一种基于gps的目标跟踪系统、方法、装置及球机
CN110807804B (zh) * 2019-11-04 2023-08-29 腾讯科技（深圳）有限公司 用于目标跟踪的方法、设备、装置和可读存储介质
CN111457895B (zh) * 2020-03-31 2022-04-22 彩虹无人机科技有限公司 一种无人机光电载荷的目标尺寸计算与显示方法
WO2022021027A1 (zh) * 2020-07-27 2022-02-03 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN114255405B (zh) * 2020-09-25 2024-07-26 山东信通电子股份有限公司 一种隐患目标识别方法与装置
RU2766443C1 (ru) * 2021-06-07 2022-03-15 Задорожный Артем Анатольевич Способ блокирования связи в непосредственной близости от движущегося материального объекта
CN113780246B (zh) * 2021-11-09 2022-02-25 中国电力科学研究院有限公司 无人机三维航迹监测方法、系统以及三维监测装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187299A1 (en) * 2008-01-23 2009-07-23 Fregene Kingsley Oc Method and System for Autonomous Tracking of a Mobile Target by an Unmanned Aerial Vehicle
CN101667032A (zh) * 2008-09-03 2010-03-10 中国科学院自动化研究所 基于视觉的无人直升机目标跟踪系统
CN101702233A (zh) * 2009-10-16 2010-05-05 电子科技大学 视频帧中基于三点共线标记点的三维定位方法
CN102156481A (zh) * 2011-01-24 2011-08-17 广州嘉崎智能科技有限公司 无人飞行器的智能追踪控制方法及系统
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103838244A (zh) * 2014-03-20 2014-06-04 湖南大学 基于四轴飞行器的便携式目标跟踪方法及系统
CN104298248A (zh) * 2014-10-08 2015-01-21 南京航空航天大学 旋翼无人机精确视觉定位定向方法
CN104599287A (zh) * 2013-11-01 2015-05-06 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040041999A1 (en) * 2002-08-28 2004-03-04 Hogan John M. Method and apparatus for determining the geographic location of a target
US8060338B2 (en) * 2005-03-31 2011-11-15 The United States Of America As Represented By The Secretary Of The Army Estimation of global position of a sensor node
US20070288132A1 (en) * 2006-06-07 2007-12-13 Raytheon Company Cooperative swarm of unmanned vehicles
US7642953B2 (en) * 2007-07-19 2010-01-05 The Boeing Company Method and apparatus for three dimensional tomographic image reconstruction of objects
US9350923B2 (en) * 2010-08-31 2016-05-24 Cast Group Of Companies Inc. System and method for tracking
US8903163B2 (en) * 2012-08-09 2014-12-02 Trimble Navigation Limited Using gravity measurements within a photogrammetric adjustment
GB2506411B (en) * 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
US9947128B2 (en) * 2013-01-29 2018-04-17 Andrew Robert Korb Methods for improving accuracy, analyzing change detection, and performing data compression for multiple images
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
WO2015077514A1 (en) * 2013-11-20 2015-05-28 Certusview Technologies, Llc Systems, methods, and apparatus for tracking an object
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
EP3180872B1 (en) * 2014-08-12 2019-07-31 ABL IP Holding LLC System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
CN105518702B (zh) * 2014-11-12 2018-06-26 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10157452B1 (en) * 2015-09-28 2018-12-18 Amazon Technologies, Inc. Image processing system for image rectification
US10339387B2 (en) * 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
US9977434B2 (en) * 2016-06-23 2018-05-22 Qualcomm Incorporated Automatic tracking mode for controlling an unmanned aerial vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187299A1 (en) * 2008-01-23 2009-07-23 Fregene Kingsley Oc Method and System for Autonomous Tracking of a Mobile Target by an Unmanned Aerial Vehicle
CN101667032A (zh) * 2008-09-03 2010-03-10 中国科学院自动化研究所 基于视觉的无人直升机目标跟踪系统
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
CN101702233A (zh) * 2009-10-16 2010-05-05 电子科技大学 视频帧中基于三点共线标记点的三维定位方法
CN102156481A (zh) * 2011-01-24 2011-08-17 广州嘉崎智能科技有限公司 无人飞行器的智能追踪控制方法及系统
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN104599287A (zh) * 2013-11-01 2015-05-06 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
CN103838244A (zh) * 2014-03-20 2014-06-04 湖南大学 基于四轴飞行器的便携式目标跟踪方法及系统
CN104298248A (zh) * 2014-10-08 2015-01-21 南京航空航天大学 旋翼无人机精确视觉定位定向方法
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665490A (zh) * 2020-06-02 2020-09-15 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN111665490B (zh) * 2020-06-02 2023-07-14 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
US11906983B2 (en) 2024-02-20
US20220033076A1 (en) 2022-02-03
WO2018027339A1 (en) 2018-02-15
US11148804B2 (en) 2021-10-19
US20190168870A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
CN109716256A (zh) 用于跟踪目标的系统和方法
US20210012520A1 (en) Distance measuring method and device
US11120560B2 (en) System and method for real-time location tracking of a drone
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
US10636168B2 (en) Image processing apparatus, method, and program
Nikolic et al. A UAV system for inspection of industrial facilities
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN110081881B (zh) 一种基于无人机多传感器信息融合技术的着舰引导方法
CN111279354B (zh) 图像处理方法、设备及计算机可读存储介质
US9529803B2 (en) Image modification
CN101802738A (zh) 用来检测环境的系统
CN113474819A (zh) 信息处理装置、信息处理方法和程序
Chen et al. Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles
Huttunen et al. A monocular camera gyroscope
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
US20160012290A1 (en) Photo-Optic Comparative Geolocation System
RU131151U1 (ru) Система коррекции дрейфа микромеханического гироскопа, используемого в системе дополненной реальности на движущемся объекте
CN107683496B (zh) 用于3d地图的假设线地图绘制和验证
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
CN113301248A (zh) 拍摄方法、装置、电子设备及计算机存储介质
Alix et al. Error characterization of flight trajectories reconstructed using Structure from Motion
CN113011212A (zh) 图像识别方法、装置及车辆
Kundra et al. Improving orientation estimation in mobiles with built-in camera
Aguilar et al. Visual and Inertial Data-Based Virtual Localization for Urban Combat

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221223