CN108288281A - 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备 - Google Patents

视觉跟踪方法、视觉跟踪装置、无人机以及终端设备 Download PDF

Info

Publication number
CN108288281A
CN108288281A CN201710014199.7A CN201710014199A CN108288281A CN 108288281 A CN108288281 A CN 108288281A CN 201710014199 A CN201710014199 A CN 201710014199A CN 108288281 A CN108288281 A CN 108288281A
Authority
CN
China
Prior art keywords
tracked object
tracked
image data
specified region
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710014199.7A
Other languages
English (en)
Inventor
田瑜
江文彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuneec Shanghai Electronic Technology Co Ltd
Original Assignee
Yuneec Shanghai Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuneec Shanghai Electronic Technology Co Ltd filed Critical Yuneec Shanghai Electronic Technology Co Ltd
Priority to CN201710014199.7A priority Critical patent/CN108288281A/zh
Priority to US15/857,617 priority patent/US20180143637A1/en
Publication of CN108288281A publication Critical patent/CN108288281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种视觉跟踪方法、视觉跟踪装置、无人机以及终端设备。该方法可以包括：获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数的步骤；基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定的步骤；当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型的步骤；基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制的步骤。

Description

视觉跟踪方法、视觉跟踪装置、无人机以及终端设备
技术领域
本发明属于视觉跟踪技术领域，尤其涉及一种视觉跟踪方法、视觉跟踪装置、无人机以及终端设备。
背景技术
现有的机器自主跟踪，通常包含基于GPS传感器的自主跟踪和基于视觉的自主跟踪。基于GPS传感器的自主跟踪通常需要被跟踪对象本体携带具有GPS定位功能的传感器或类似定位的传感器，跟踪机器内部处理芯片实时监测被跟踪对象的位置，并跟踪机器当前位置与目标被跟踪对象位置偏差，从而指导跟踪机器跟随被跟踪对象，此种跟踪方法局限性较高，无法跟踪没有携带具有GPS定位功能的传感器或类似定位的传感器的被跟踪对象。一些基于视觉的自主跟踪方法，例如通过无人机的视觉跟踪方法，需要主动框选目标对象，并进行检测，只有当被跟踪对象满足检测条件时，才驱动无人机执行跟踪，该方法可能会导致用户多次在图像中框选跟踪对象，由于人为误差，依然无法达到被跟踪对象满足检测条件，导致无人机无法执行跟踪。
发明内容
本发明实施例提供了一种视觉跟踪方法、视觉跟踪装置、无人机以及终端设备。
第一方面，提供了一种视觉跟踪方法，包括：获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数的步骤；基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定的步骤；当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型的步骤；基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制的步骤。
第二方面，提供了一种视觉跟踪装置，包括：获取单元、选定单元、处理单元和预测单元。该获取单元被配置为获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；该选定单元被配置为基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；该处理单元被配置为当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型；该预测单元被配置为基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制。
第三方面，提供了一种无人机，包括图像采集装置、云台、飞控装置、通信装置和上述视觉跟踪装置，其中：图像采集装置设置在云台上；视觉跟踪装置与图像采集装置以接收包含被跟踪对象的指定区域的图像数据；视觉跟踪装置与所述飞控装置相连接用于接收无人机的运行参数以及向飞控装置发送控制指令，控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征；通信装置，用于与终端设备进行通信。
第四方面，提供了一种终端设备，包括通信装置和上述的视觉跟踪装置，视觉跟踪装置与通信装置相连接，视觉跟踪装置通过通信装置获得跟踪对象发来的包含被跟踪对象的指定区域的图像数据以及向跟踪对象发送控制指令，控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征。
根据本发明实施例提供的视觉跟踪方法、视觉跟踪装置、无人机以及终端设备，通过获得的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定，能够减少人为操纵对被跟踪对象的选定带来的影响，使被跟踪对象的选定更加快速与准确。同时通过对被跟踪对象的图像特征建立被跟踪对象的运动估计模型，进而预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征，实现对跟踪对象的精确控制以达到跟踪目的。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例的视觉跟踪方法的示意性流程图；
图2是本发明一实施例的视觉跟踪装置的示意性框图；
图3是本发明另一实施例的无人机的示意性框图；
图4是本发明再一实施例的终端设备的示意性框图；
图5是本发明一实施例的视觉跟踪装置的计算设备实现的示意性框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本发明造成不必要的模糊。
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中，为了清晰，可能夸大了区域和层的厚度。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本发明的主要技术创意。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1是本发明一实施例的视觉跟踪方法的示意性流程图。该方法包括：S110，获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；S120，基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；S130，当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型；S140，基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制。该方法可以通过获得的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定，能够减少人为操纵对被跟踪对象的选定带来的影响，使被跟踪对象的选定更加快速与准确。同时通过对被跟踪对象的图像特征建立被跟踪对象的运动估计模型，进而预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征，实现对跟踪对象的精确控制以达到跟踪目的。
在S110中，当前的包含被跟踪对象的指定区域的图像数据可以通过设置在跟踪对象上的图像采集装置进行获取。以跟踪对象为无人机为例，图像采集装置可以是设置在无人机云台上的摄像设备。
在S120中，可以包括以下一项或多项：根据被跟踪对象的类型对被跟踪对象进行选定；在图像数据中选择选定位置，根据可能的被跟踪对象与选定位置的距离对被跟踪对象进行选定；显示已选定的被跟踪对象和\或已选定的被跟踪对象的特征以通过人工对已选定的被跟踪对象进行确认。在一些示例中，可以通过根据被跟踪对象的类型对被跟踪对象进行初步选定，比如按照被跟踪对象是人、车、动物等对被跟踪对象进行初步选定。在图像数据中选择选定位置，根据可能的被跟踪对象与选定位置的距离对被跟踪对象进行选定可以作为对被跟踪对象的进一步选定的步骤。显示已选定的被跟踪对象和\或已选定的被跟踪对象的特征以通过人工对已选定的被跟踪对象进行确认，可以作为选择被跟踪对象最后确认的步骤。例如，在通过与选定位置的距离对被跟踪对象进行选定后，在显示设备中弹出已经被识别的被跟踪对象，让用户去判断是否是自已所选的被跟踪对象。
在一些示例中，该方法还可以包括通过核滤波跟踪算法对预测得到的被跟踪对象下一时刻在指定区域的图像数据中的位置进行预测，以查找获取被跟踪对象的精确位置。在一些示例中，上述被跟踪对象的图像特征可以包括被跟踪对象的颜色和被跟踪对象的边缘梯度。在一些示例中，该方法还可以包括基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征获得被跟踪对象下一时刻在指定区域的图像数据中的坐标。例如，还可以基于图像数据中的坐标及跟踪对象的运行参数获得跟踪对象与被跟踪对象的三维相对运行参数，例如建立图像二维坐标与实际空间三维坐标转换模型，将被跟踪目标图像中相邻帧运动数据转换为实际位移及方向控制指令，控制跟踪对象做出相应运动动作。在一个实施例中，也可以将获得的图像数据中的坐标直接输入给跟踪对象的控制装置，该控制装置再根据自身存有的跟踪对象的运行参数获得跟踪对象与被跟踪对象的三维相对运行参数以对跟踪对象进行控制。
根据一些实施例，该方法还可以包括：根据运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征对运动估计模型进行更新。
上文中结合图1，详细描述了根据本发明实施例的视觉跟踪方法，下面将结合图2、图3、图4和图5，详细描述根据本发明实施例的视觉跟踪装置、无人机以及终端设备。
图2是本发明一实施例的视觉跟踪装置的示意性框图。如图2所示，该视觉跟踪装置200，包括：获取单元210、选定单元220、处理单元230和预测单元240。该获取单元210被配置为获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；该选定单元220被配置为基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；该处理单元230被配置为当判定跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型；该预测单元240被配置为基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制。根据本发明实施例的视觉跟踪装置200可对应于根据本发明实施例的视觉跟踪方法中的执行主体，并且视觉跟踪装置200中的各个单元的上述和其它操作和/或功能分别为了实现图1中的各个方法的相应流程，为了简洁，在此不再赘述。
该实施例的视觉跟踪装置通过获得的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定，能够减少人为操纵对被跟踪对象的选定带来的影响，使被跟踪对象的选定更加快速与准确。同时通过对被跟踪对象的图像特征建立被跟踪对象的运动估计模型，进而预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征，实现对跟踪对象的精确控制以达到跟踪目的。
根据一些实施例，该装置还可以包括滤波单元，被配置为通过核滤波跟踪算法对预测得到的所述被跟踪对象下一时刻在指定区域的图像数据中的位置进行预测。
在一些示例中，该被跟踪对象的图像特征包括被跟踪对象的颜色和被跟踪对象的边缘梯度。
在一些示例中，该预测单元还可以被配置为基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征获得被跟踪对象下一时刻在指定区域的图像数据中的坐标。
在一些示例中，该选定单元还可以被配置为执行以下一项或多项：根据被跟踪对象的类型对被跟踪对象进行选定；在图像数据中选择选定位置，根据可能的被跟踪对象与选定位置的距离对被跟踪对象进行选定；显示已选定的被跟踪对象和\或已选定的被跟踪对象的特征以通过人工对已选定的被跟踪对象进行确认。
在一些示例中，该视觉跟踪装置还可以包括更新单元，被配置为根据运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征对运动估计模型进行更新。
在一些示例中，该视觉跟踪装置还可以包括坐标转换单元被配置为基于图像数据中的坐标及跟踪对象的运行参数获得跟踪对象与被跟踪对象的三维相对运行参数。
上述视觉跟踪装置，可以应用于多种跟踪对象，例如无人机中，图3是本发明另一实施例的无人机的示意性框图。如图3所示，该无人机300，可以包括图像采集装置310、云台320、飞控装置330、通信装置340和上述视觉跟踪装置350，其中：图像采集装置310设置在云台320上；视觉跟踪装置350与图像采集装置310以接收包含被跟踪对象的指定区域的图像数据；视觉跟踪装置350与飞控装置330相连接用于接收无人机的运行参数以及向飞控装置330发送控制指令，控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征；通信装置340，用于与终端设备进行通信。在一个示例中，云台可以包括云台控制模块，用于根据无人机飞行位姿自动调整云台，保证云台上架设的摄像头捕捉的图像稳定。
上述视觉跟踪装置，还可以应用于多种终端设备中，如手机中，图4是本发明再一实施例的终端设备的示意性框图。如图4所示，该终端设备400可以包括通信装置410和上述的视觉跟踪装置420，视觉跟踪装置420与通信装置410相连接，视觉跟踪装置420通过通信装置410获得跟踪对象发来的包含被跟踪对象的指定区域的图像数据以及向跟踪对象发送控制指令，控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征。
上述设置有该视觉跟踪装置的无人机或终端设备通过获得的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定，能够减少人为操纵对被跟踪对象的选定带来的影响，使被跟踪对象的选定更加快速与准确。同时通过对被跟踪对象的图像特征建立被跟踪对象的运动估计模型，进而预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征，实现对跟踪对象的精确控制以达到跟踪目的。
图5是本发明一实施例的视觉跟踪装置的计算设备实现的示意性框。如图5所示，结合图2描述的视觉跟踪装置至少一部分可以由计算设备500实现，可以包括存储器504、处理器503和总线510；该存储器504和处理器503通过总线510连接并完成相互间的通信；该存储器504用于存储程序代码；该处理器530通过读取存储器504中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行如图1所示的视觉跟踪方法。在一些示例中，该计算设备500还可以包括输入设备501、输入端口502、输出端口505、以及输出设备506。其中，输入端口502、处理器503、存储器504、以及输出端口505通过总线510相互连接，输入设备501和输出设备506分别通过输入端口502和输出端口505与总线510连接，进而与计算设备500的其他组件连接。需要说明的是，这里的输出端口505和输入端口502也可以用I/O接口表示。具体地，输入设备501接收来自外部的输入信息，并通过输入端口502将输入信息传送到处理器503；处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出端口505将输出信息传送到输出设备506；输出设备506将输出信息输出到计算设备500的外部。
上述的计算设备500可以采用是终端设备中的ARM处理器或GPU图形处理器作为控制处理器530。还可以包括算法加速模块，用于设置在终端设备中硬件例如上述的ARM处理器或GPU图形处理器对处理单元230和预测单元240执行并行运算，降低算法时间复杂度，提高系统的实时性和准确性。
上述存储器504包括用于数据或指令的大容量存储器。举例来说而非限制，存储器504可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器504可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器504可在计算设备500的内部或外部。在特定实施例中，存储器504是非易失性固态存储器。在特定实施例中，存储器504包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
总线510包括硬件、软件或两者，将计算设备500的部件彼此耦接在一起。举例来说而非限制，总线510可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线510。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
当通过图5所示的计算设备500实现结合图2描述的视觉跟踪装置时，输入设备501接收当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数，在特定实施例中，与输出设备相连的I/O接口可以包括硬件、软件或两者，提供用于在计算设备500与一个或多个I/O设备之间的通信的一个或多个接口。在合适的情况下，计算设备500可包括一个或多个这些I/O设备。一个或多个这些I/O设备可允许人和计算设备500之间的通信。举例来说而非限制，I/O设备可包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态照相机、触针、手写板、触摸屏、轨迹球、视频摄像机、另一合适的I/O设备或者两个或更多个以上这些的组合。I/O设备可包括一个或多个传感器。本发明实施例考虑用于它们的任何合适的I/O设备和任何合适的I/O接口。在合适的情况下，I/O接口可包括一个或多个装置或能够允许处理器503驱动一个或多个这些I/O设备的软件驱动器。在合适的情况下，I/O接口可包括一个或多个I/O接口。尽管本发明实施例描述和示出了特定的I/O接口，但本发明实施例考虑任何合适的I/O接口。该处理器503基于存储器504中存储的可执行程序代码，基于获取的当前的包含被跟踪对象的指定区域的图像数据获得指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；当判定所述跟踪对象与选定的被跟踪对象存在相对运行时，基于图像数据中被跟踪对象的图像特征建立被跟踪对象的运动估计模型；基于运动估计模型预测被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对跟踪对象进行控制。随后在需要经由输出端口505和输出设备506将包含上述对跟踪对象的控制指令输出至跟踪对象。
在合适的情况下，可执行程序代码可包括一个或多个基于半导体的或其他集成电路(IC)(例如，诸如现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(FDD)、磁带、全息存储介质、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动或其他合适的计算机可读非临时性存储介质或者两个或更多个以上这些的组合。
需要明确，本发明并不局限于上文所描述并在图中示出的特定配置和处理。并且，为了简明起见，这里省略对已知方法技术的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后作出各种改变、修改和添加，或者改变步骤之间的顺序。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种视觉跟踪方法，其特征在于，包括：
获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；
基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；
当判定所述跟踪对象与选定的被跟踪对象存在相对运行时，基于所述图像数据中被跟踪对象的图像特征建立所述被跟踪对象的运动估计模型；
基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对所述跟踪对象进行控制。
2.根据权利要求1所述的视觉跟踪方法，其特征在于，还包括通过核滤波跟踪算法对所述预测得到的所述被跟踪对象下一时刻在指定区域的图像数据中的位置进行预测。
3.根据权利要求1所述的视觉跟踪方法，其特征在于，所述被跟踪对象的图像特征包括被跟踪对象的颜色和被跟踪对象的边缘梯度。
4.根据权利要求1所述的视觉跟踪方法，其特征在于，所述基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置以对所述跟踪对象进行控制的步骤包括：基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征获得所述被跟踪对象下一时刻在指定区域的图像数据中的坐标。
5.根据权利要求1所述的视觉跟踪方法，其特征在于，所述基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定的步骤包括以下一项或多项：
根据被跟踪对象的类型对被跟踪对象进行选定；
在所述图像数据中选择选定位置，根据可能的被跟踪对象与所述选定位置的距离对被跟踪对象进行选定；
显示已选定的被跟踪对象和\或已选定的被跟踪对象的特征以通过人工对已选定的被跟踪对象进行确认。
6.根据权利要求1所述的视觉跟踪方法，其特征在于，还包括：根据所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征对所述运动估计模型进行更新。
7.根据权利要求4所述的视觉跟踪方法，其特征在于，还包括：基于所述图像数据中的坐标及跟踪对象的运行参数获得跟踪对象与被跟踪对象的三维相对运行参数。
8.一种视觉跟踪装置，其特征在于，包括：
获取单元，被配置为获取当前的包含被跟踪对象的指定区域的图像数据及跟踪对象的运行参数；
选定单元，被配置为基于获取的当前的包含被跟踪对象的指定区域的图像数据获得所述指定区域中可能的被跟踪对象生成被跟踪对象库以对被跟踪对象进行选定；
处理单元，被配置为当判定所述跟踪对象与选定的被跟踪对象存在相对运行时，基于所述图像数据中被跟踪对象的图像特征建立所述被跟踪对象的运动估计模型；
预测单元，被配置为基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征以对所述跟踪对象进行控制。
9.根据权利要求8所述的视觉跟踪装置，其特征在于，还包括滤波单元，被配置为通过核滤波跟踪算法对所述预测得到的所述被跟踪对象下一时刻在指定区域的图像数据中的位置进行预测。
10.根据权利要求8所述的视觉跟踪装置，其特征在于，所述被跟踪对象的图像特征包括被跟踪对象的颜色和被跟踪对象的边缘梯度。
11.根据权利要求8所述的视觉跟踪装置，其特征在于，所述预测单元还被配置为基于所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征获得所述被跟踪对象下一时刻在指定区域的图像数据中的坐标。
12.根据权利要求8所述的视觉跟踪装置，其特征在于，所述选定单元还被配置为执行以下一项或多项：
根据被跟踪对象的类型对被跟踪对象进行选定；
在所述图像数据中选择选定位置，根据可能的被跟踪对象与所述选定位置的距离对被跟踪对象进行选定；
显示已选定的被跟踪对象和\或已选定的被跟踪对象的特征以通过人工对已选定的被跟踪对象进行确认。
13.根据权利要求8所述的视觉跟踪装置，其特征在于，还包括更新单元，被配置为根据所述运动估计模型预测所述被跟踪对象下一时刻在指定区域的图像数据中的位置及图像特征对所述运动估计模型进行更新。
14.根据权利要求11所述的视觉跟踪装置，其特征在于，还包括坐标转换单元被配置为基于所述图像数据中的坐标及跟踪对象的运行参数获得跟踪对象与被跟踪对象的三维相对运行参数。
15.一种无人机，其特征在于，包括图像采集装置、云台、飞控装置、通信装置和如权利要求8至14中任一项所述的视觉跟踪装置，其中：
所述图像采集装置设置在云台上；
所述视觉跟踪装置与所述图像采集装置以接收包含被跟踪对象的指定区域的图像数据；
所述视觉跟踪装置与所述飞控装置相连接用于接收所述无人机的运行参数以及向所述飞控装置发送控制指令，所述控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征；
所述通信装置，用于与终端设备进行通信。
16.一种终端设备，其特征在于，包括通信装置和如权利要求8至14中任一项所述的视觉跟踪装置，所述视觉跟踪装置与所述通信装置相连接，所述视觉跟踪装置通过所述通信装置获得跟踪对象发来的包含被跟踪对象的指定区域的图像数据以及向跟踪对象发送控制指令，所述控制指令包括预测得到的被跟踪对象在指定区域的图像数据中的位置及图像特征。
CN201710014199.7A 2017-01-09 2017-01-09 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备 Pending CN108288281A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710014199.7A CN108288281A (zh) 2017-01-09 2017-01-09 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备
US15/857,617 US20180143637A1 (en) 2017-01-09 2017-12-29 Visual tracking method and device, unmanned aerial vehicle and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710014199.7A CN108288281A (zh) 2017-01-09 2017-01-09 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备

Publications (1)

Publication Number Publication Date
CN108288281A true CN108288281A (zh) 2018-07-17

Family

ID=62146927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710014199.7A Pending CN108288281A (zh) 2017-01-09 2017-01-09 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备

Country Status (2)

Country Link
US (1) US20180143637A1 (zh)
CN (1) CN108288281A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189333A (zh) * 2019-08-13 2021-01-05 深圳市大疆创新科技有限公司 跟随拍摄、云台控制方法、拍摄装置、手持云台和拍摄系统
CN114022601A (zh) * 2021-11-04 2022-02-08 北京字节跳动网络技术有限公司 一种体积元素渲染方法、装置及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328565B2 (en) * 2019-11-26 2022-05-10 Ncr Corporation Asset tracking and notification processing
CN112987571B (zh) * 2021-02-25 2022-08-09 中国人民解放军国防科技大学 高动态视觉控制系统及其视觉量测性能衰减容错控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103500337A (zh) * 2013-09-30 2014-01-08 上海合合信息科技发展有限公司 用于智能无线通信终端的识别四边形边框的方法及装置
CN104200485A (zh) * 2014-07-10 2014-12-10 浙江工业大学 一种面向视频监控的人体跟踪方法
US20160063727A1 (en) * 2014-08-26 2016-03-03 Qualcomm Incorporated Systems and methods for image scanning
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US9727786B2 (en) * 2014-11-14 2017-08-08 Intel Corporation Visual object tracking system with model validation and management
EP3347789B1 (en) * 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
US10339387B2 (en) * 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
US9977434B2 (en) * 2016-06-23 2018-05-22 Qualcomm Incorporated Automatic tracking mode for controlling an unmanned aerial vehicle
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
CN108885469B (zh) * 2016-09-27 2022-04-26 深圳市大疆创新科技有限公司 用于在跟踪系统中初始化目标物体的系统和方法
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103500337A (zh) * 2013-09-30 2014-01-08 上海合合信息科技发展有限公司 用于智能无线通信终端的识别四边形边框的方法及装置
CN104200485A (zh) * 2014-07-10 2014-12-10 浙江工业大学 一种面向视频监控的人体跟踪方法
US20160063727A1 (en) * 2014-08-26 2016-03-03 Qualcomm Incorporated Systems and methods for image scanning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FENG LIN 等: "A Robust Real-Time Embedded Vision System on an Unmanned Rotorcraft for Ground Target Following", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 *
刘树光 等: "基于视觉的无人机目标跟踪技术研究与应用现状", 《2014中国无人机大会》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189333A (zh) * 2019-08-13 2021-01-05 深圳市大疆创新科技有限公司 跟随拍摄、云台控制方法、拍摄装置、手持云台和拍摄系统
CN112189333B (zh) * 2019-08-13 2022-04-15 深圳市大疆创新科技有限公司 跟随拍摄、云台控制方法、拍摄装置、手持云台和拍摄系统
CN114022601A (zh) * 2021-11-04 2022-02-08 北京字节跳动网络技术有限公司 一种体积元素渲染方法、装置及设备

Also Published As

Publication number Publication date
US20180143637A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US10410046B2 (en) Face location tracking method, apparatus, and electronic device
US11307584B2 (en) Applications and skills for an autonomous unmanned aerial vehicle
US11048277B1 (en) Objective-based control of an autonomous unmanned aerial vehicle
US20190378423A1 (en) User interaction with an autonomous unmanned aerial vehicle
US8874266B1 (en) Enhancing sensor data by coordinating and/or correlating data attributes
CN108288281A (zh) 视觉跟踪方法、视觉跟踪装置、无人机以及终端设备
EP3188128A1 (en) Information-processing device, information processing method, and program
CN110494360A (zh) 用于提供自主摄影及摄像的系统和方法
EP3628380B1 (en) Method for controlling virtual objects, computer readable storage medium and electronic device
US11850747B2 (en) Action imitation method and robot and computer readable medium using the same
CN111291650A (zh) 自动泊车辅助的方法及装置
CN112925348A (zh) 无人机控制方法、无人机控制装置、电子设备及介质
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN114972958B (zh) 关键点检测方法、神经网络的训练方法、装置和设备
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN107852458A (zh) 视频帧处理
US20220412048A1 (en) Work assist server, work assist method, and work assist system
EP4239596A1 (en) Method and apparatus for detecting drivable area, mobile device and storage medium
CN110489182A (zh) 一种带有自主导航模块的机器人云平台设计方法
CN113887400A (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN113378605A (zh) 多源信息融合方法及装置、电子设备和存储介质
CN114037087A (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN113703704B (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180717

RJ01 Rejection of invention patent application after publication