CN107408303A - 用于对象跟踪的系统和方法 - Google Patents

用于对象跟踪的系统和方法 Download PDF

Info

Publication number
CN107408303A
CN107408303A CN201680012224.1A CN201680012224A CN107408303A CN 107408303 A CN107408303 A CN 107408303A CN 201680012224 A CN201680012224 A CN 201680012224A CN 107408303 A CN107408303 A CN 107408303A
Authority
CN
China
Prior art keywords
electronic installation
global motion
motion vector
local
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680012224.1A
Other languages
English (en)
Inventor
塞拉姆·孙达雷桑
高大山
钟辛
齐颖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107408303A publication Critical patent/CN107408303A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明描述一种通过电子装置执行的方法。所述方法包含通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式。所述方法还包含通过确定前一帧与当前帧之间的一组全局运动向量来确定全局运动模式。所述方法进一步包含基于所述局部运动模式和所述全局运动模式来计算分离量度。所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差。所述方法另外包含基于所述分离量度来跟踪对象。

Description

用于对象跟踪的系统和方法
相关申请案的交叉参考
本申请案涉及并主张2015年3月12日申请的标题为“用于对象跟踪的系统和方法(SYSTEMS AND METHODS FOR OBJECT TRACKING)”的第62/132,332号美国临时专利申请案的优先权，所述临时专利申请案的整个内容以引入的方式并入本文中。
技术领域
本发明大体上涉及电子装置。更具体地说，本发明涉及用于对象跟踪的系统和方法。
背景技术
一些电子装置(例如相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机、电视、汽车、个人相机、动作相机、监控相机、安裝的相机、连接的相机、机器人、遥控飞机、智能应用程序、医疗保健设备、机顶盒等)捕获和/或使用图像。举例来说，智能电话可以捕获和/或处理静态图像和/或视频图像。处理图像可能需要相对较大量的时间、存储器和能量资源。所需要的资源可能根据处理的复杂性而发生改变。
可能难以在图像中检测和/或跟踪对象。举例来说，在一些情况下，跟踪可能丢失。如从此论述可观察到，改进图像处理的系统和方法可为有益的。
发明内容
本发明描述一种通过电子装置执行的方法。所述方法包含通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式。所述方法还包含通过确定前一帧与当前帧之间的一组全局运动向量来确定全局运动模式。所述方法进一步包含基于所述局部运动模式和所述全局运动模式来计算分离量度。所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差。所述方法另外包含基于所述分离量度来跟踪对象。
所述方法可包括测量局部运动向量中的每一者的距离误差。所述方法还可包含拒绝具有一定量的距离误差的局部运动向量中的一或多者。所述方法可包括计算全局运动一致性度量。
计算分离量度可包含使所述全局运动模式拟合全局运动模型。计算所述分离量度还可包含计算全局运动模型与局部运动模式之间的拟合误差。所述全局运动模型可包含全局运动模式的至少一个统计度量。
所述方法可包括基于分离量度来计算前景权重图。所述方法可包括随时间而使前景权重图平滑。所述方法可包括随空间而细化前景权重图。随空间而细化前景权重图可包含使前景权重图与中心经加权核心相乘。所述方法可包括随时间使历史权重图平滑。
还描述一种电子装置。所述电子装置包含处理器，其经配置以通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式，且通过确定所述前一帧与所述当前帧之间的一组全局运动向量来确定全局运动模式。所述处理器还经配置以基于所述局部运动模式和所述全局运动模式来计算分离量度。所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差。所述处理器还经配置以基于分离量度来跟踪目标。
还描述一种设备。所述设备包含用于确定局部运动模式的装置。所述用于确定局部运动模式的装置包含用于确定前一帧与当前帧之间的关注区内的一组局部运动向量的装置。所述设备还包含用于确定全局运动模式的装置。所述用于确定全局运动模式的装置包含用于确定前一帧与当前帧之间的一组全局运动向量的装置。所述设备进一步包含用于基于所述局部运动模式和所述全局运动模式来计算分离量度的装置。所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差。所述设备另外包含用于基于分离量度来跟踪对象的装置。
还描述了一种计算机程序产品。所述计算机程序产品包括具有指令的非暂时性计算机可读媒体。所述指令包含用于致使电子装置通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式的代码。所述指令还包含用于致使所述电子装置通过确定所述前一帧与所述当前帧之间的一组全局运动向量来确定全局运动模式的代码。所述指令进一步包含用于致使所述电子装置基于所述局部运动模式和所述全局运动模式来计算分离量度的代码。所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差。所述指令另外包含用于致使所述电子装置基于所述分离量度来跟踪目标的代码。
附图说明
图1是说明用于跟踪和检测目标对象的电子装置的框图；
图2是说明对象跟踪和检测模块的框图；
图3是说明用于执行基于运动的跟踪以及对象检测的方法的流程图；
图4是说明用于执行基于运动的跟踪的方法的流程图；
图5是说明用于基于前向-后向误差来估计基于运动的跟踪中的跟踪误差的方法的流程图；
图6是说明用于执行对象检测和跟踪的方法的流程图；
图7A是说明可与本发明系统和方法一起使用的具有不同窗大小的图像窗的框图；
图7B是说明可与本发明的系统和方法一起使用的若干实例图像和窗的图；
图8是说明对象跟踪和检测模块的另一可能配置的框图；
图9是说明平滑模块的框图；
图10是说明用于平滑运动跟踪结果中的抖动的方法的流程图；
图11是说明图像中的目标运动的一个实例的图；
图12是说明图像、一组全局运动向量、关注区、后续关注区以及一组局部运动向量的实例的图；
图13是说明其中可实施用于对象跟踪的系统和方法的电子装置的一个实例的框图；
图14是说明用于对象跟踪的方法的一个配置的流程图；
图15是说明用于跟踪对象的方法的更具体配置的流程图；
图16是说明图像、一组全局运动向量、关注区、后续关注区以及一组局部运动向量的实例的图；
图17说明图像和对应前景权重图的实例；
图18说明图像、带标记前景图和权重图历史的实例；以及
图19说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置内的特定组件。
具体实施方式
对象跟踪可包含定位一系列图像(例如，从帧到帧)中的目标。使用相机来跟踪一系列图像(例如图像数据、图像帧、视频等)和/或那些图像中的用户定义的关注区中的对象可能较困难。可能需要实时性能(～30帧每秒(fps))。一些配置可组合基于光流的跟踪器与基于图像内容的检测器的输出以获得稳健跟踪。然而，现有算法的计算使得难以实现实时性能。
本发明的系统和方法可实施以下技术中的一或多者来改进跟踪和检测算法的速度：(1)在每一帧使用可能检测(例如扫描)窗的一部分(例如随机地选择窗位置或利用扫描模式)；(2)为在标度上接近对应于先前检测到的目标大小的标度的对象检测，仅选择受限范围的空间标度(例如仅可用空间标度的子集按比例调整)；(3)基于先前跟踪的置信度值，确定对局部图像或整个图像中的目标的搜索；(4)基于先前跟踪结果，动态地调整检测窗的数目；(5)循序地执行跟踪和检测(例如首先应用跟踪器，因为其在计算上较便宜)；(6)仅在跟踪器的置信度低于阈值时，运行对象检测器；以及(7)与图像位置的总数成比例地设定扫描步骤的数目。本发明的方法和系统的优点之一是减少用以跟踪和/或检测目标对象的计算。
如本文中所使用，术语“跟踪”及其变化形式是指基于运动的过程，而不识别特定对象。举例来说，对象跟踪和检测模块可逐帧跟踪运动，并基于电子装置的移动(例如，如果相机摇摄)或对象的逐帧移动来确定目标对象的位置、大小或帧。术语“检测”及其变化形式是指例如通过将帧的一部分与参考图像进行比较来尝试识别目标对象或目标对象的类型的过程。举例来说，对象跟踪和检测模块可将所捕获帧的若干部分与(目标对象的)参考图像进行比较来尝试识别目标对象。在一个实例中，当可不再跟踪目标时(例如，如果对象落于视野外部)，可使用检测。下文更详细地阐释执行基于运动的跟踪和对象检测的系统和方法。
图1是说明用于跟踪和检测目标对象的电子装置102的框图。电子装置102的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板裝置、游戏系统、机器人、飞机、无人机(UAV)、汽车、可穿戴裝置、个人相机、运动型相机、安裝相机等。这些装置中的一些可根据一或多种行业标准操作。
举例来说，例如智能电话或平板计算机等电子装置102可包含相机。相机可包含图像传感器114和将位于光学系统118的视野内的对象的图像聚焦到图像传感器114上的光学系统118(例如，镜头)。电子装置102还可包含相机软件应用程序和显示屏。当相机应用程序正在运行时，位于光学系统118的视野内的对象的图像可由图像传感器114记录，且可在显示屏上显示。可以可互换地以术语一或多个图像和/或视频帧来描述本发明的系统和方法。
照相机应用程序的用户接口120可准许跟踪正显示于显示屏上的一或多个对象。可准许电子装置102的用户选择将跟踪和/或检测的对象。另外或替代地，待跟踪的对象(例如，面部、眼睛、人、形状、框等)可为预定的和/或可符合模型。
在一个配置中，显示器为从物理触摸(例如，通过手指、触笔或其它工具)接收输入的触摸屏116。在一些配置中，触摸屏116可接收触摸输入(例如触摸点、所绘制的围封体，例如圆或框)，其定义将跟踪和/或检测的目标对象。在一些配置中，电子装置102可自动确定用于跟踪和/或检测的目标对象。在一些配置中，可跟踪多个对象。
电子装置102可包含用于跟踪选定对象和/或在视频帧中检测对象的对象跟踪和检测模块104。对象跟踪和检测模块104可包含：用于跟踪一或多个对象的运动跟踪器106，和/或用于检测视频帧上的对象的对象检测器108。
运动跟踪器106可基于运动以用于逐帧跟踪图像(例如，视频帧)上的点的运动，以估计目标对象在先前视频帧与当前视频帧之间的位置和/或位置改变。对象检测器108可使用对象模型而非基于运动模型，以通过将当前视频帧的全部或一部分与选定对象或(例如，视频帧序列中)所捕获先前视频帧112的部分进行比较来检测对象。对象检测器108可用于检测视频帧内的多个对象。在一些配置中，对象检测器108可扫描一或多个帧和/或图像以便检测特定对象。对象检测器108可扫描一或多个帧，如本文所述。
对象跟踪和检测模块104还可包含存储缓冲器110。存储缓冲器110可存储一或多个所捕获帧以及与所捕获的视频帧相关联的数据。在一个实例中，存储缓冲器110可存储先前所捕获的视频帧112。对象跟踪和检测模块104可使用从存储缓冲器110提供的关于所捕获的先前视频帧112的数据来执行基于运动跟踪和/或对象检测。在一些配置中，存储缓冲器110可将位置和窗大小数据提供到运动跟踪器106，且对象检测器108可向运动跟踪器106和对象检测器108提供可用于更准确跟踪和/或检测对象的一或多个参数。
电子装置102可执行基于运动的跟踪。一种方法是中值流方法，其中运动跟踪器106接受一对图像It、It+1(例如视频帧)以及限界框βt，且输出限界框βt+1。可在限界框βt内的矩形网格上初始化点集合，并追踪所述点以在It与It+1之间产生稀疏运动流。可估计点预测的质量，并为每个点指派误差。可滤除最差预测的一部分(例如，50％)，同时将剩余预测用于估计整个限界框的移位。运动跟踪器106可对由电子装置102捕获的每一视频帧执行基于运动的跟踪。在另一方法中，可通过计算一或多个梯度(例如x和y梯度)且使用一对帧之间的差来计算时间梯度，且使用多个梯度值来准确地跟踪当前视频帧内的目标对象，来执行基于运动的跟踪。下文提供关于基于运动跟踪的进一步细节。
当执行基于运动的跟踪时，运动跟踪器106可基于运动跟踪方法的所计算或所估计的准确性来确定跟踪置信度值(例如，介于0与1之间)。所述跟踪置信度值可指示目标对象落在当前视频帧或所述视频帧的限定窗内的可能性或概率。如果跟踪置信度值大于跟踪阈值，那么发现目标对象在当前视频帧内的可能性可为高。否则，可能性可为低或不确定是否在当前视频帧内发现目标对象。可使用用于确定跟踪置信度值的各种方法(例如计算当前视频帧中的所跟踪窗(例如跟踪补丁窗)与来自先前所捕获的视频帧的先前所存储的图像补丁之间的归一化的交叉相关(NCC))。
电子装置102还可执行对象检测。可使用多种方法(例如扫描窗、扫描步骤等)来执行对象检测。举例来说，可在视频帧中检索所有可能窗位置和大小的全部或子集。
在一些配置中，运动跟踪器106和对象检测器108可循序地而非并行操作。举例来说，电子装置102可执行选定对象(例如目标对象)的基于运动的跟踪，且基于一或多个所跟踪参数(例如目标对象的区、窗位置、窗大小、标度等级、目标大小、跟踪和/或检测置信度值或其它参数)，循序地执行所述选定对象的对象检测。举例来说，如果跟踪置信度值低于跟踪阈值，那么电子装置102可执行对象检测。或者，如果跟踪置信度值高于跟踪阈值，那么电子装置102可跳过当前视频帧的对象检测，并基于当前视频帧的运动跟踪结果，继续对下一视频帧执行基于运动跟踪。因为相比对象检测，基于运动跟踪可能计算密集性较小，所以电子装置102可跳过执行对象检测，其中基于运动跟踪可用于准确地跟踪当前视频帧内的目标对象。
图2是说明对象跟踪和检测模块204的框图。对象跟踪和检测模块204可在电子或无线装置(例如电子装置102)内实施。对象跟踪和检测模块204可包含具有光流模块226和跟踪置信度值228的运动跟踪器206。对象跟踪和检测模块204还可包含具有检测置信度值240的对象检测器208。存储缓冲器210可存储可提供到运动跟踪器206和对象检测器208的与所捕获的先前视频帧212相关联的数据。对象跟踪和检测模块204、运动跟踪器206、对象检测器208和存储缓冲器210可为上文结合图1所述的对应元件的配置。
运动跟踪器206可用于对当前视频帧(N)224执行基于运动的跟踪。举例来说，可(例如通过电子装置)接收先前视频帧(N-1)222和当前视频帧(N)224。先前视频帧(N-1)222可在视频帧序列中紧接着先于当前视频帧(N)224。可由对象跟踪和检测模块204获得并处理额外视频帧。可将先前视频帧(N-1)222提供到运动跟踪器206。另外，存储缓冲器210可存储与先前视频帧(N-1)222(在本文中被称作所捕获先前视频帧212)相关联的数据。在一些配置中，存储缓冲器210可直接从电子装置(例如从相机)获得关于先前视频帧(N-1)222的信息。存储缓冲器210也可从融合模块260获得可指定在先前视频帧(N-1)222中何处跟踪和/或检测对象的关于先前视频帧(N-1)222的跟踪结果。关于先前视频帧(N-1)222或其它先前所捕获的视频帧的此信息可存储于存储缓冲器210中。
运动跟踪器206可随后接收视频帧序列中的当前视频帧(N)224。运动跟踪器206可将当前视频帧(N)224与先前视频帧(N-1)222进行比较(例如使用从存储缓冲器210提供的信息)。运动跟踪器206可使用光流模块226来跟踪对象在当前视频帧(N)224上的运动。光流模块226可包含用于对当前视频帧(N)224上的对象执行基于运动的跟踪的硬件和/或软件。通过将先前视频帧(N-1)222与当前视频帧(N)224进行比较，运动跟踪器206可确定与目标对象处于当前视频帧(N)224中的可能性相关联的跟踪置信度值228。在一个实例中，跟踪置信度值228是基于目标对象在当前视频帧(N)224内或当前视频帧(N)224内的窗内的确定性的百分比的实数(例如介于0与1之间)。
对象检测器208可用于检测当前视频帧(N)224上的对象。举例来说，对象检测器208可接收一序列视频帧中的当前视频帧(N)224。对象检测器208可基于所跟踪的参数(例如与跟踪阈值250和/或从存储缓冲器210提供的信息(例如区、窗位置、窗大小或其它信息)相比的跟踪置信度值228)来对当前视频帧(N)224执行对象检测。
对象检测器208可在视频帧内选择多个窗。选定扫描窗可遵循特定扫描模式(例如滑动窗、扫描步骤等)。结合图11到16给出更多细节。对象检测器208可确定是否在特定窗中找到目标对象的一些或全部。对象检测器208可确定检测置信度值240，其指示目标对象在当前视频帧(N)224内存在的可能性。对象检测器208可根据多种所跟踪参数(包含区域、目标大小、窗大小、标度等级、窗位置和/或一或多个置信度值)来执行对象检测。
对象检测器208可搜索窗位置和/或大小的全部或子集。如果检测不成功(例如检测置信度值240小于检测阈值252(例如0.6、0.65、0.7、0.75、0.8、0.85等))，那么可在后续所捕获的帧中搜索较高百分比的窗位置，例如2％。
对象跟踪和检测模块204可包含用以合并多个窗以形成单个窗的融合模块260。最初存在两个置信度值：来自对象检测器208的检测置信度值240和来自运动跟踪器206的跟踪置信度值228。融合模块260可比较两个可信度值(例如挑选较大的一个)和/或将其组合成检测和跟踪置信度值256。检测和跟踪置信度值256可充当找到目标对象的可能性的总指示。另外，检测和跟踪置信度值256可为用于确定图像比例、窗位置、窗大小或窗的百分比的参数以在下一视频帧中进行搜索。融合模块260可用于将关于当前视频帧(N)224和/或检测和跟踪置信度值256的信息(例如窗位置、窗大小等)提供到存储缓冲器210。融合模块260可使用来自运动跟踪器206和对象检测器208的跟踪结果(例如，限界框)来形成经组合跟踪结果(例如，限界框)，并计算检测和跟踪置信度值256。
存储缓冲器210可存储与先前视频帧(N-1)222、当前视频帧(N)224或其它所捕获视频帧相关联的一或多个值。在一个配置中，存储缓冲器210存储可包含对应于先前视频帧(N-1)222的信息的所捕获先前视频帧212。针对每一窗242，所捕获的先前视频帧212可包含关于一或多个窗242的信息(例如位置244、窗大小246、二进制决策248等)。另外或替代地，所捕获的先前视频帧212可包含关于其中最后一次检测到和/或跟踪对象的图像标度(例如标度等级)的信息。
所捕获的先前视频帧212还可包含跟踪阈值250、检测阈值252以及检测和跟踪阈值254。可将跟踪阈值250提供到对象跟踪和检测模块204上的运动跟踪器206或电路(例如，置信级比较器258)，以确定跟踪置信级是否大于跟踪阈值250。可将检测阈值252提供到对象跟踪和检测模块204上的对象检测器208或其它电路，以确定检测置信度值240是否大于检测阈值252。检测和跟踪阈值254可为基于跟踪阈值250和检测阈值252的经组合值。可将检测和跟踪阈值254与检测和跟踪置信度值256进行比较，以确定基于运动的跟踪和对象检测的经组合置信度值。阈值中的每一者可基于目标对象位于视频帧内的可能性。对象跟踪和检测模块204可对当前视频帧(N)224执行基于运动的跟踪和/或检测，直到获得特定检测和跟踪置信度值256为止。另外，可对多个视频帧的序列中的每一视频帧执行基于运动的跟踪和对象检测。
在两步跟踪和检测方法的一个配置中，运动跟踪器206可首先对当前视频帧(N)224执行基于运动的跟踪。运动跟踪器206可基于基于运动的跟踪过程来确定跟踪置信度值228。使用存储缓冲器210所提供的跟踪置信度值228和跟踪阈值250，置信级比较器258可确定跟踪置信度值228是否超过跟踪阈值250。如果跟踪置信度值228大于跟踪阈值250，那么对象跟踪和检测模块204可跳过执行对象检测并将跟踪结果提供到融合模块260以产生输出262。输出262可包含目标对象在当前视频帧(N)224内的指示。另外，输出262可包含关于目标对象的额外信息。
如果跟踪置信度值228并不超过跟踪阈值250，那么对象检测器208可随后对当前视频帧(N)224执行对象检测。可对当前视频帧(N)224内的窗的全部或子集执行对象检测。对象检测器208可确定检测置信度值240，并将检测置信度值240与检测阈值252进行比较。如果检测置信度值240高于检测阈值252，那么对象检测器208可将检测结果提供到融合模块260以产生输出262。输出262可包含目标对象在当前视频帧(N)224内的指示和/或包括关于所检测对象的额外信息。如果检测置信度值240小于或等于检测阈值252，那么对象检测器208可使用较稳健的方法(例如在当前视频帧(N)224内搜索较大数目的窗)来再次执行对象检测，且可重复所述对象检测过程，直到获得令人满意的检测置信度值240为止。可使用对象跟踪和检测模块204来对下一视频帧执行跟踪和检测。
图2中所说明的组件中的一或多者可任选地由处理器264实施。所说明的组件中的一或多者可一起或在一或多个处理器单独实施。
图3是说明用于执行基于运动的跟踪和对象检测的方法300的流程图。可通过电子装置102(例如，对象跟踪和检测模块104)来实施方法300。电子装置102可执行(302)如上文所描述的基于运动的跟踪。
电子装置102可确定(304)跟踪置信度值228。可如上文所描述来实现此操作。电子装置102可确定(306)跟踪置信度值228是否大于跟踪阈值250。如果跟踪置信度值228大于跟踪阈值250，那么电子装置102可对下一视频帧执行(308)基于运动的跟踪(且任选地跳过基于运动的跟踪的结果对当前视频帧执行对象检测)。否则，电子装置102可对当前视频帧(N)224(或例如下一视频帧)执行(310)对象检测。
图4是说明用于执行基于运动的跟踪的方法400的流程图。可由电子装置102(例如，对象跟踪和检测模块104)实施方法400。电子装置102可使用如上文所描述的限界框来识别(402)一或多个目标对象。
电子装置102可初始化(404)限界框内的网格上的点。网格上的点可遍及限界框均匀地间隔开。另外，可在两个图像(例如先前视频帧(N-1)222和当前视频帧(N)224)之间的网格上(例如，使用卢卡斯-坎纳德(Lucas-Kanade)跟踪器)跟踪(406)所述点。电子装置102可估计(408)所述两个图像之间的跟踪误差(例如为所跟踪的点中的每一点指派误差值，估计前向-后向误差、NCC和/或平方差总和等)。所估计的跟踪误差可用于获得跟踪置信度值228。另外，电子装置102可滤除(410)外围点预测(例如最差预测的50％)。剩余预测可用于估计限界框的移位。
电子装置102可更新(412)限界框。可执行更新(412)限界框，使得经更新的限界框变成用于下一视频帧的新限界框。
图5是说明用于基于前向-后向误差来估计基于运动的跟踪中的跟踪误差的方法500的流程图。方法500可由电子装置102(例如对象跟踪和检测模块104)实施。在一些配置中，电子装置102可计算所跟踪的窗之间的NCC，其可用于确定跟踪置信度值228。电子装置102也可使用与NCC互补的各种跟踪误差估计技术(例如前向-后向误差、平方差总和)。在使用前向-后向误差估计的实例中，电子装置102可在先前视频帧(N-1)222与当前视频帧(N)224之间执行(502)前向跟踪以确定前向轨迹。前向跟踪可包含跟踪向前k个步长的图像。所得前向轨迹可等于(xt,xt+1,...,xt+k)，其中xt为时间点位置，且k指示图像序列的长度。电子装置102可在当前视频帧(N)224与先前视频帧(N-1)222之间执行(504)后向跟踪以确定后向轨迹。所得后向轨迹可等于其中
电子装置102可确定(506)前向轨迹与后向轨迹之间的前向-后向误差。前向-后向误差可定义为前向轨迹与后向轨迹之间的距离。另外，可定义各种距离以用于轨迹比较。在一个配置中，当确定前向-后向误差时，可使用验证轨迹的初始点与结束点之间的欧几里得距离。在一个配置中，前向-后向误差可用作跟踪误差，其可用于确定跟踪置信度值228。
图6是说明用于执行对象检测和跟踪的方法600的流程图。方法600可由电子装置102(例如对象跟踪和检测模块104)实施。电子装置102可通过在当前视频帧(N)224中搜索窗位置和大小的子集来对当前视频帧(N)224执行(602)对象检测和基于运动的跟踪。
电子装置102可确定(604)检测和跟踪置信度值256。电子装置102还可确定(606)检测和跟踪置信度值256是否大于检测和跟踪阈值254。如果检测和置信度值大于检测和跟踪阈值254，那么电子装置102可使用下一视频帧中的窗和大小的子集(例如，同一子集)来对下一视频帧执行(608)对象检测。如果检测和置信度值256小于检测和跟踪阈值254，那么电子装置102可使用下一视频帧中的窗位置和大小的较大子集来对下一视频帧执行(610)对象检测。
图7A是说明可与本发明系统和方法一起使用的具有不同窗大小766a到766j的图像窗700的框图。所搜索的窗可为任何形状(例如正方形、矩形、圆形、椭圆形、用户定义的等)。此外，任何数目的窗大小可为可用，例如5、15、20、30等。搜索范围可包含用于特定位置的窗大小的全部或子集(例如那些类似于与最近帧中的目标对象相关联的窗位置和窗大小)。
图7B是说明可与本发明的系统和方法一起使用的若干实例图像770a到770j以及窗口768a到768j的图。明确地说，图7B说明可搜索不同图像大小或标度，同时窗大小可保持相同。举例来说，结合图7B所描述的方法可另外地或替代地通过结合图7A所描述的方法实施。
图8是说明对象跟踪和检测模块804的另一可能配置的框图。图8说明的对象跟踪和检测模块804可包含一或多个类似组件，且执行与图2中说明的对象跟踪和检测模块204中的对应组件类似的功能性。具体地说，对象跟踪和检测模块804可包含对象检测器808、运动跟踪器806和/或存储缓冲器810。
对象跟踪和检测模块804可任选地包含平滑模块861，其用以减少归因于目标运动和跟踪误差的抖动影响(例如，致使搜索窗在位置(x，y)和大小(宽度，高度)两者方面具有较光滑的轨迹)。平滑模块861可为简单移动平均(MA)滤波器或自动回归(AR)滤波器。针对位置和大小的平滑程度可不同。例如卡尔曼滤波器的预测性滤波器也可适于位置平滑。结合图9给出更多细节。
对象跟踪和检测模块804可任选地包含位置和大小确定模块899，其可输出运动跟踪和对象检测的组合结果，其可由限界框表示。此限界框可包含由平滑模块861平滑的位置和/或大小信息。举例来说，平滑模块861可基于未经平滑的位置863和未经平滑的大小865，产生经平滑的位置867和/或经平滑的大小869。
图9是说明平滑模块961的框图。在一种配置中，使用自动回归(AR)模型，位置平滑化滤波器971和大小平滑化滤波器973可基于未经平滑的位置963和/或未经平滑的大小965，产生经平滑的位置967和/或经平滑的大小969。举例来说，假定X是将平滑的变量(位置或大小)，且令X'为对象跟踪器对X的输出。在此配置中，X在时间t的经平滑滤波Xt可根据Xt＝W*X't+(1-W)*Xt-1描述，其中X't是X在时间t的跟踪器输出，Xt-1是X在时间t-1的经平滑结果，且W(0<＝W<＝1)是控制平滑效应的平滑权重。举例来说，X't可为针对当前视频帧所选择的窗位置或窗大小，且Xt-1可为用于先前视频帧的窗位置或窗大小。不同平滑权重W可用于位置平滑滤波器971和大小平滑滤波器973。还可基于检测和跟踪置信度值和/或基于跟踪置信度值或检测置信度值来适应平滑权重的选择。
图10是说明用于平滑运动跟踪结果中的抖动的方法1000的流程图。可由电子装置102(例如，电子装置102中的对象跟踪和检测模块804)执行方法1000。电子装置102可确定(1002)与当前视频帧相关联的一或多个窗位置和一或多个窗大小(例如，未经平滑的位置863和未经平滑的大小865)。电子装置102也可对一或多个窗位置和一或多个窗大小进行滤波(1004)，以产生一或多个经平滑的窗位置867和一或多个经平滑的窗大小869。举例来说，这可包含使用移动平均滤波器、自动回归滤波器或卡尔曼滤波器。在一种配置中，响应于低跟踪置信度(例如，检测和跟踪置信度值低于检测和跟踪阈值)，可减少用于位置和大小的平滑权重。替代地，可基于检测置信度值或跟踪置信度值来减少平滑权重。电子装置102也可使用由一或多个经平滑的窗位置867和一或多个经平滑的大小869所定义的一或多个窗来检测(1006)当前视频帧224内的目标对象。
本文中揭示的系统和方法的一些配置可基于局部运动模式和/或全局运动模式来提供稳健的对象跟踪。举例来说，本文中揭示的系统和方法的一些配置可通过使用局部和全局运动中的差异来改进跟踪质量。运动可为对象跟踪提供提示。然而，来自杂乱背景的运动可对对象跟踪器呈现挑战，因为其可使运动估计变形。由于所关注对象可以不同于背景的方式移动，因此可有利地利用对象与其背景之间的运动差异。运动模式可不仅本身用于跟踪，而且也可扩增跟踪方法并改进其性能。
在一些配置中，本文中揭示的系统和方法可使用局部和全局运动之间的差异来估计对象位于跟踪关注区(ROI)内的可能性。局部运动可为内容(例如前景)在帧之间的关注区内的运动。举例来说，局部运动可指示内容在关注区中从第一帧到第二帧的移动。全局运动可为内容(例如所有内容或一般来说的内容)在帧之间的运动。可将局部和全局运动之间的差异测量作为所关注区与整个图像之间的相对运动的程度。通过分离前景和背景运动，本文中揭示的系统和方法可减少跟踪器因为背景混杂而分心的机会。使用局部运动信息可有助于维持对象周围的较紧密的关注区(例如限界区，限界框等)，且可防止所关注区不必要地扩大和/或失去对象的跟踪。举例来说，如果所关注区扩大太多，那么对象跟踪可失去。通过基于局部运动与全局运动之间的差计算权重，可并行地(例如同时)估计对象在帧之间的标度和平移两者。可将时间和/或空间平滑应用于所述权重，以减少和/或去除任何离群值或噪声。本文中揭示的系统和方法的一些配置可在计算上较轻，且因此可实时执行。另外或替代地本文中揭示的系统和方法可与其它跟踪方法一起执行，以促进稳健跟踪。
图11是说明图像中的对象运动的一个实例的图。明确地说，图像A 1175a说明初始跟踪关注区(ROI)1177a。在此实例中，ROI 1177a是儿童周围的限界框。一些追踪器可具有某些限制。举例来说，跟踪可附加到某些背景区，从而丢失跟踪。限界框可在此类情境期间变大。图像B 1175b(例如跟踪器的结果)中说明此情境的实例。如可观察到，儿童的位置已改变，且ROI 1177b已附加到背景，从而丢失儿童的跟踪，且扩大ROI 1177b的大小。一些追踪器可另外或替代地在跟踪朝向或远离相机移动的对象时具有困难。图像C 1175c中说明合意的跟踪器行为，其中跟踪器维持跟踪(且例如并不附加到背景)。明确地说，图像C1175c说明ROI 1177c，与已失去跟踪的经扩大的ROI 1177d相比，其已继续跟踪所述儿童。
图12是说明图像1275、一组全局运动向量1279、关注区1278、后续关注区1277和一组局部运动向量1281的实例的图。所关注对象可展现不同于环境的运动模式(例如局部运动)。此提示可用于将对象从其环境可靠地区分开。因此，具有比较局部和全局运动并使其分离来进行稳健跟踪的可靠方式可为有益的。
具体地说，图12说明所关注区1278(例如限界框)内部的一组局部运动向量1281。在此实例中，所述组局部运动向量包含144个局部运动向量1281(例如所关注区1278内的12x12局部运动向量1281的网格)。
还将一组全局运动向量1279说明为在所述帧上扩散。在此实例中，所述组全局运动向量包含25个全局运动向量1279(例如5x5全局运动向量1279的网格)。可跟踪所关注对象(例如儿童)到后续帧。举例来说，可基于局部运动向量1281来预测后续关注区1277(例如对应于后续帧的关注区)。
图13是说明其中可实施用于对象跟踪的系统和方法的电子装置1302的一个实例的框图。电子装置1302的实例包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如桌上型计算机、膝上型计算机等)、平板裝置、媒体播放器、电视机、汽车、个人相机、动作相机、监控相机、安裝的相机、已连接的相机、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能应用程序、保健设备、游戏控制台、个人数字助理(PDA)、机顶盒等。电子装置1302可包含一或多个组件或元件。所述组件或元件中的一或多者可在硬件(例如电路)或硬件与软件的组合(例如具有指令的处理器)中实施。
在一些配置中，电子装置1302可包含处理器1309、存储器1315、显示器1317、图像传感器1301、光学系统1303和/或通信接口1305。处理器1309可耦合到存储器1315、显示器1317、图像传感器1301、光学系统1303和/或通信接口1305(例如与之电子通信)。
在一些配置中，电子装置1302可执行结合图1到12中的一或多者描述的功能、程序、方法、步骤等中的一或多者。另外或替代地，电子装置1302可包含结合图1到12中的一或多者描述的结构中的一或多者。在一些配置中，结合图13描述的对象跟踪可结合结合图1到12中的一或多者描述的图像扫描、对象检测和/或对象跟踪方法中的一或多者实施。应注意，除结合图1到12中的一或多者描述的图像扫描和/或对象跟踪方法中的一或多者之外或替代地，可实施结合图13描述的对象跟踪。举例来说，除结合对象跟踪和检测模块104、204、804中的一或多者描述的跟踪之外或代替于所述跟踪，可在上文所述的电子装置中的一或多者中实施结合图13描述的对象跟踪器1311。
通信接口1305可使电子装置1302能够与一或多个其它电子装置通信。举例来说，通信接口1305可为有线和/或无线通信提供接口。在一些配置中，通信接口1305可耦合到一或多个天线1307以用于发射和/或接收射频(RF)信号。另外或替代地，通信接口1305可实现一或多个种类的有线(例如通用串行总线(USB)、以太网等)通信。
在一些配置中，可实施和/或利用多个通信接口1305。举例来说，一个通信接口1305可为蜂窝式(例如3G、长期演进(LTE)、CDMA等)通信接口1305，另一通信接口1305可为以太网接口，另一通信接口1305可为通用串行总线(USB)接口，且又一通信接口1305可为无线局域网(WLAN)接口(例如802.11接口)。
电子装置1302可获得一或多个图像(例如数字图像、图像帧、视频等)。举例来说，电子装置1302可包含图像传感器1301和光学系统1303(例如镜头)，其使位于光学系统1303的视野内的对象的图像聚焦到图像传感器1301上。在一些配置中，图像传感器1301可捕获一或多个图像。光学系统1303可耦合到处理器1309和/或由处理器1309控制。另外或替代地，电子装置1302可请求和/或接收来自另一装置(例如耦合到电子装置1302的外部图像传感器、网络服务器、交通相机、水下相机、汽车相机、网络相机等)的一或多个图像。在一些配置中，电子装置1302可经由通信接口1305请求和/或接收一或多个图像。举例来说，电子装置1302可包含或可不包含相机(例如图像传感器1301和/或光学系统1303)，且可接收来自远程装置的图像。所述图像(例如图像帧)中的一或多者可包含对象(例如检测和/或跟踪的目标对象)。
在一些配置中，电子装置1302可包含图像数据缓冲器(未示出)。图像数据缓冲器可缓冲(例如存储)来自图像传感器1301的图像数据。可将经缓冲的图像数据提供到处理器1309。
在一些配置中，电子装置1302可包含相机软件应用程序和/或显示器1317。当相机应用程序正在运行时，图像传感器1301可捕获位于光学系统1303的视野内的对象的图像。图像传感器1301正捕获的图像可呈现于显示器1317上。在一些配置中，这些图像可以相对较高的帧率快速连续显示，因此在任何给定时刻处，位于光学系统1303的视野内的对象都呈现在显示器1317上。电子装置1302所获得的一或多个图像可为一或多个视频帧和/或一或多个静态图像。在一些配置中，显示器1317可呈现额外或替代信息。举例来说，显示器1317可呈现对应于一或多个被跟踪对象的一或多个关注区(例如限界框)。
处理器1309可包含和/或实施对象跟踪器1311。在一些配置中，处理器1309可为结合图2描述的处理器264的实例。另外或替代地，对象跟踪器1311可为本文所述的运动追踪器106、206、806中的一或多者的实例。可将图像帧中的一或多者提供到对象跟踪器1311。对象跟踪器1311可在一或多个图像帧中跟踪对象。举例来说，对象跟踪器1311可基于分离量度来跟踪对象。在一些配置中，对象跟踪器1311可根据结合图14到19中的一或多者描述的方法、功能、程序、步骤和/或结构中的一或多者来操作。对象跟踪器1311可产生跟踪结果。所述跟踪结果可指示对象在图像中的所估计和/或预测位置。举例来说，跟踪结果可指示对象位置(例如对象的一或多个像素)、对象边界(例如边缘)、包含对象的部分或全部的关注区(例如限界框)等。
对象跟踪器1311可确定局部运动模式。局部运动模式可为一组(两个或更多个)局部运动向量。局部运动向量可为对应于关注区(例如限界框)内的点的运动向量。举例来说，确定局部运动模式可包含确定前一帧与当前帧之间的关注区内的一组局部运动向量。在一些配置中，局部运动向量可仅对应于帧之间的关注区内的点(例如像素)。因此，在一些配置中，局部运动模式可仅包含关注区内的运动向量。因此，局部运动模式可表征所关注区内的一或多个点的运动。在一些配置中，可使用光流来计算局部运动向量。应注意，在一些配置中，局部运动模式可能不是基于特征点。
对象跟踪器1311可确定全局运动模式。全局运动模式可为一组(两个或更多个)全局运动向量。全局运动向量可为对应于图像中的点的运动向量。全局运动向量可能不限于所关注区内的点。举例来说，全局运动向量可或可不对应于所关注区内的点。确定全局运动模式可包含确定前一帧与当前帧之间的一组全局运动向量。在一些配置中，全局运动模式可包含在所关注区之外的至少一个全局运动向量。全局运动模式可表征图像中的一或多个点的一般运动。在一些配置中，可使用光流来计算全局运动向量。
在一些配置中，全局运动模式可横跨比局部运动模式大的区域。另外或替代地，全局运动模式可包含比局部运动模式少的运动向量。举例来说，与局部运动模式相比(举例来说，其可在较小区域(例如所关注区)内包含较多运动向量)，全局运动模式可较不密集(例如在较宽区域内包含较少运动向量)。另外或替代地，可独立地确定局部运动模式和全局运动模式。举例来说，可从局部运动模式独立地计算全局运动模式。
运动向量可为指示点或区域在图像之间的运动(例如移动、移位、偏移等)的向量。举例来说，对象跟踪器1311可将前一帧与当前帧进行比较，以确定图像的一或多个点(例如区域)的运动。所述一或多个点的运动可由于图像传感器1301相对于其环境的运动和/或由于对象相对于图像传感器1301的运动而出现。应注意，可以向前序列和/或以向后序列来计算运动向量。举例来说，对象跟踪器1311可产生在第一(例如先前)帧开始且进行到第二(例如当前)帧的点的运动向量。另外或替代地，对象跟踪器1311可产生在第二(例如当前)帧开始且进行到第一(例如先前)帧的点的运动向量。
在一些配置中，对象跟踪器1311可包含分离量度计算器1313。或者，分离量度计算器1313可与对象跟踪器1311分开。分离量度计算器1313可基于局部运动模式和全局运动模式来计算分离量度。分离量度可为所关注区(例如被跟踪对象)与整个图像之间的相对运动的程度的度量。举例来说，所述分离量度可指示局部运动模式与全局运动模式之间的运动差。结合图15和17给出计算分离量度的更具体实例。
在一些配置中，计算分离量度可包含使全局运动模式与全局运动模型拟合，且计算全局运动模型与局部运动模式之间的拟合误差。所述全局运动模型可包含全局运动模式的至少一个统计度量。举例来说，全局运动模型可基于全局运动模式的一或多个统计分布度量(例如均值、中值(λG)、标准偏差(σG)等)。举例来说，分离量度可基于全局运动模式(例如全局运动向量)的一或多个统计分布度量(例如均值、中值、标准偏差等)。
在一些配置中，处理器1309可基于分离量度来计算前景权重图。举例来说，前景权重图可有助于将对应于所关注对象(例如前景)的局部运动向量从对应于背景的局部运动向量分离。在一些方法中，处理器1309可随时间而使前景权重图平滑。结合图18给出使前景权重图平滑的实例。前景权重图可指示对应于(例如，所关注区中的)每一局部运动向量的权重。结合图17给出前景权重图的实例。另外或替代地，处理器1309可随着空间而细化前景权重图。举例来说，随空间而细化前景权重图可包含使前景权重图与中心经加权核心相乘。结合图18给出使前景权重图与中心经加权核心相乘的实例。在一些配置中，处理器1309可随时间而使历史权重图平滑。结合图18给出随时间使历史权重图平滑的实例。
在一些配置中，处理器1309可预处理局部运动向量和/或全局运动向量。举例来说，处理器1309可拒绝一或多个不可靠运动向量(例如不可靠局部运动向量、不可靠全局运动向量，或这两者)。在一些方法中，处理器1309可运行前向光流和后向光流，以获得运动向量。处理器1309可测量(前向和后向产生的)运动向量之间的距离误差。可拒绝(例如丢弃、从运动向量集合去除，不在后续计算中利用，等)并不满足一或多个准则的那些运动向量(例如在百分位范围内、大于距离误差阈值等)。结合图15给出预处理局部运动向量和/或全局运动向量的实例。
在一些配置中，处理器1309可检查全局运动一致性。举例来说，处理器1309可确定指示所述图像一致地移动的程度的全局运动一致性度量。举例来说，全局运动一致性度量可指示图像在类似方向上(例如在某一方向范围内)移动了多少(例如全局运动向量是多少或是什么比例)。结合图15给出计算全局一致性度量的实例。在一些配置中，处理器1309可确定全局运动一致性度量是否满足一或多个一致性准则(例如运动一致性条件、运动一致性量、运动一致性范围、运动一致性阈值等)。举例来说，处理器1309可基于全局运动一致性度量是否满足所述一或多个准则来不同地执行运动估计。
在一些方法中，可利用全局运动一致性度量来确定哪些运动向量用于运动估计。举例来说，在全局运动一致性度量满足所述一或多个准则的情况下，仅选定运动向量可用于运动估计。在其中全局运动一致性度量并不满足所述一或多个准则的情况下，可利用所有运动向量来进行运动估计(例如，所有原始运动向量或在去除不可靠运动向量之后剩余的运动向量)。
对象跟踪器1311可基于分离量度来跟踪对象。举例来说，对象跟踪器1311可基于选定的运动向量集合来跟踪对象。举例来说，可利用分离量度来选择对应于所关注对象的运动向量。举例来说，分离量度可指示哪些运动向量对应于前景中的所关注对象(而不是对应于背景的运动向量)。
在一些配置中，跟踪所述对象可包含基于一或多个运动向量来执行运动估计。举例来说，对象跟踪器1311可基于选定的运动向量集合或所有运动向量来执行运动估计。在一些配置中，对象跟踪器1311可估计关注区(例如对象)按比例缩放、偏移(例如平移)和/或旋转。举例来说，对象跟踪器1311可利用经加权最小平方方法来估计关注区(例如对象)按比例缩放、偏移和/或旋转。在一些配置中，对象跟踪器1311可基于运动估计来预测关注区(例如限界框)。举例来说，对象跟踪器1311可在后续帧中产生对应于运动估计的关注区。在一些配置中，对象跟踪器1311可根据结合图1到6以及8中的一或多者描述的方法中的一或多者来跟踪对象。
应注意，在一些配置中，电子装置1302可经配置以基于对象跟踪来执行一或多个操作。举例来说，处理器1309可任选地包含和/或实施对象辨识器、对象去除器、图像增强器、裁剪器、压缩器和/或聚焦器。
在一些配置中，对象辨识器可基于对象跟踪来辨识对象。在一些配置中，对象辨识可包含将来自关注区的信息(例如标志、特征等)与对象数据库进行比较。如果所述对象与数据库中的对象匹配(例如，达某一概率程度)，那么辨识到所述对象。举例来说，可将关注区中的面部与已知面部的数据库进行比较。如果所关注区中的面部与数据库中的面部匹配，那么辨识到所述面部。举例来说，所述数据库可包含对应于所述面部的人的名称。因此，可辨识面部来识别人。可对其它对象(例如眼睛、建筑物、街道记号、人、道路、文本等)执行对象辨识。
在一些配置中，对象去除器可基于对象跟踪来将对象从图像去除。举例来说，对象去除器可通过用来自所关注区之外的区域的图像补丁填充在对象区域中来去除包含于关注区中的对象。
在一些配置中，图像增强器可基于对象跟踪来增强图像的质量和/或特性。举例来说，图像增强器可执行色彩校正、色彩调整、白平衡、对比度增强、去浊、红眼去除、锐度调整、降噪、镜头校正、滤波、图像合并、对象突出显示和/或图像失真(例如变形)。增强所述图像可包含修改所述多个关注区的子集内部和/或外部的像素。
在一些配置中，裁剪器可基于对象跟踪来裁剪所述图像。举例来说，裁剪器可裁剪所关注区之外的像素或具有裕度的所关注区之外的像素。
在一些配置中，压缩器可基于对象跟踪来压缩所述图像。举例来说，压缩器可压缩所关注区之外的像素或具有裕度的所关注区之外的像素。这可允许维持包含所关注的对象的一或多个区域(例如关注区)中的图像保真度，同时允许压缩图像的其余部分，以减小所述图像的数据大小。
在一些配置中，聚焦器可基于对象跟踪来使光学系统1303聚焦。举例来说，聚焦器可利用一或多个关注区内的图像作为使光学系统1303聚焦的参考。这可允许一或多个关注区内的一或多个对象对焦。
在一些配置中，处理器1309可任选地耦合到高级驱动辅助系统(ADAS)、成为ADAS的一部分(例如集成到其中)，包含ADAS和/或实施ADAS。举例来说，对象跟踪器1311可跟踪一或多个对象(例如行人、车辆等)。处理器1309(和/或ADAS)可利用跟踪来执行一或多个操作。举例来说，可利用跟踪来检测潜在冲突和/或执行动作(例如在显示器(例如显示面板、投影仪等)上呈现一或多个被跟踪对象，输出告警光和/或声音，激活和/或控制制动系统、控制转向、激活和/或控制交通工具喇叭、激活和/或控制紧急闪灯、激活和/或控制一或多个车灯(例如头灯、尾灯、雾灯等)，等等。
存储器1315可存储指令和/或数据。处理器1309可存取存储器1315(例如从所述存储器读取和/或写入到所述存储器)。可由存储器1315存储的指令和/或数据的实例可包含图像数据、运动向量、权重、权重图、分离量度、对象跟踪器指令，和/或分离量度计算器指令等。
在一些配置中，电子装置1302可在显示器1317上呈现用户接口1319。举例来说，用户接口1319可使用户能够与电子装置1302交互。在一些配置中，用户接口1319可使用户能够指示需要跟踪的对象。
在一些配置中，显示器1317可为接收来自物理触摸(例如通过手指、触笔或其它工具)的输入的触摸屏。举例来说，触摸屏可为接收指示用于跟踪的对象的触摸输入的输入接口。另外或替代地，电子装置1302可包含另一输入接口或耦合到另一输入接口。举例来说，电子装置1302可包含面向用户的相机，且可检测用于指示用于跟踪的对象的用户示意动作(例如手部示意动作、臂部示意动作、眼睛跟踪、眼睑眨眼等)。在另一实例中，电子装置1302可耦合到鼠标，且可检测指示用于跟踪的对象的鼠标点击。
应注意，在一些配置中，可能不需要用户输入。举例来说，电子装置1302可在一或多个图像中自动检测和/或跟踪一或多个对象。
图14是说明用于对象跟踪的方法1400的一个配置的流程图。举例来说，方法1400可由本文所述的电子装置102、1302中的一或多者执行。
电子装置1302可确定(1402)局部运动模式。举例来说，这可如结合图13以及15到16中的一或多者所描述来实现。
电子装置1302可确定(1404)全局运动模式。举例来说，这可如结合图13以及15到16中的一或多者所描述来实现。
电子装置1302可基于局部运动模式和全局运动模式来计算(1406)分离量度。举例来说，这可如结合图13以及15到16中的一或多者所描述来实现。
电子装置1302可基于分离量度来跟踪(1408)对象。举例来说，这可如上文结合图1到6、8、13和15中的一或多者所描述来实现。在一些配置中，电子装置1302可利用分离量度来获得前景权重图。电子装置1302可基于前景权重图(例如基于经加权的运动向量，基于W、Wt、Ws和/或W′等)来估计运动。电子装置1302可基于运动估计来预测关注区，以跟踪(1408)对象。
图15是说明用于跟踪对象的方法1500的更具体配置的流程图。举例来说，结合图13描述的电子装置1302可根据结合图15描述的功能、步骤、程序和/或结构中的一或多者来操作。具体地说，在一些配置中，电子装置1302可执行结合图15描述的方法1500。另外或替代地，结合图15描述的方法可为结合图14描述的方法1400的更具体实例。
电子装置1302可计算(1502)位置运动向量。这可如上结合图13所描述来实现。举例来说，电子装置1302可计算前一帧与当前帧之间的关注区内的一或多个局部运动向量。在一些配置中，计算(1502)局部运动向量可使用光流来实现。图16说明局部运动向量的实例。
一组局部运动向量可为局部运动模式的实例。如上文所描述，局部运动向量可为在关注区内的运动向量。举例来说，确定局部运动模式可包含确定前一帧与当前帧之间的关注区内的一组局部运动向量。在一些配置中，电子装置1302可用前向轨迹和/或后向轨迹来计算局部运动向量。举例来说，这可根据结合图5描述的方法500来实现。
电子装置1302可计算(1504)全局运动向量。这可如上结合图13所描述来实现。举例来说，电子装置1302可计算(1504)前一帧与当前帧之间的一或多个全局运动向量。在一些配置中，计算(1504)全局运动向量可使用光流来实现。图16说明全局运动向量的实例。
一组全局运动向量可为全局运动模式的实例。如上文所描述，全局运动向量可为分布在帧上的运动向量。举例来说，确定全局运动模式可包含确定前一帧与当前帧之间的一组全局运动向量。所述组全局运动向量可横跨比局部运动向量大的区域。另外或替代地，所述全局运动向量中的一或多者可能不包含于所关注区中。应注意，所述一或多个全局运动向量可包含在所关注区内。
电子装置1302可预处理(1506)运动向量。举例来说，电子装置1302可预处理(1506)一或多个局部运动向量和/或一或多个全局运动向量。预处理(1506)运动向量可包含确定和/或拒绝(例如丢弃、去除等)不可靠运动向量。在一些配置中，拒绝(例如丢弃、去除、不利用等)一或多个不可靠运动向量可包含将一或多个不可靠运动向量设定为0，和/或将其从一组运动向量(例如从所述组局部运动向量)去除。
如上文所描述，可为一或多个运动向量(例如一或多个局部运动向量和/或一或多个全局运动向量)确定前向轨迹和后向轨迹。预处理(1506)运动向量可包含测量前向轨迹与后向轨迹之间的距离误差(例如前向-后向误差)。距离误差(例如前向-后向误差)可为前向轨迹与后向轨迹之间的距离。在一些配置中，电子装置1302可将距离误差确定为前向轨迹的起点与后向轨迹的终点之间的欧几里得距离。在一些配置中，可基于距离误差来拒绝所述运动向量中的一或多者。举例来说，客拒绝某一比例的运动向量(例如具有在某一百分位中的距离误差的局部运动向量)，和/或可拒绝具有一定量的距离误差(例如具有高于阈值的距离误差)的一或多个运动向量。举例来说，可拒绝具有在顶部第20百分位中的距离误差的局部运动向量。应注意，可利用其它比例(例如第25百分位、第50百分位等)。另外或替代地，可保持具有低于某一百分位(例如低于第80百分位)的距离误差的运动向量(例如局部运动向量)。在一些配置中，可如结合图16所描述来执行预处理。
电子装置1302可计算(1508)全局运动一致性度量。这可如上结合图13所描述来实现。全局运动一致性可为运动在全局运动向量上的一致程度的度量。
在一些配置中，计算(1508)全局运动一致性可根据以下等式来执行。此处为方便起见，提供记法。全局运动向量可表示为MG＝(mxi G，myi G)，其中mxi G是水平运动分量，myi G是垂直运动分量，且i∈[0,NG)。NG表示全局运动向量的总数。
在一些配置中，电子装置1302可确定全局运动模式(例如全局运动向量)的一或多个统计度量。举例来说，电子装置1302可确定(例如计算)全局运动模式(例如全局运动向量)的一或多个统计分布度量(例如平均值、均值、中值、标准偏差等)。全局运动的中值可表示为其中是全局运动向量的水平分量的中值，且是全局运动向量的垂直分量的中值。或者，可类似地定义均值。全局运动的标准偏差可表示为其中是全局运动向量的水平分量的标准偏差，且是全局运动向量的垂直分量的标准偏差。
可如下给出计算(1508)全局运动一致性度量到一种方法。在此方法中，电子装置1302可确定在全局中值(或均值)的两个标准偏差内的若干全局运动向量。对于每一运动向量对MG，举例来说电子装置1302可将全局运动一致性度量计算(1508)为其中
电子装置1302可确定(1510)全局运动一致性度量是否满足一或多个一致性准则。举例来说，电子装置1302可确定全局运动一致性度量是否为一致性量，处于一致性范围内，和/或满足一致性阈值。举例来说，可根据以下等式来检查全局运动一致性：其中T为一致性阈值。在一些配置中，T可为0.7(以实验方式确定，举例来说)。
如果全局运动一致性度量满足一或多个一致性准则，那么电子装置1302可执行(1512)前景分离。举例来说，如果全局运动一致性度量(例如Vi)大于或等于一致性阈值(例如T)，那么电子装置1302可执行(1512)前景分离。
在一些配置中，执行(1512)前景分离可包含基于局部运动模式和全局运动模式来计算分离量度。举例来说，局部运动向量可表示为ML＝(mxi L，myi L)，其中mxi L是水平运动分量，myi L是垂直运动分量，且i∈[0,NL)。NL表示局部运动向量的总数。举例来说，NL可表示最初产生的局部运动向量的总数，或在预处理之后剩余的局部运动向量的总数。在一些配置中，对于每一运动向量对ML，电子装置1302可将分离量度计算为举例来说，DL可指示局部运动模式与全局运动模式(例如全局运动模型)之间的运动差。举例来说，DL越大，越可能局部运动向量对应于前景(例如正不同于背景而移动的所关注对象)。在此实例中，全局运动模型可包含全局运动向量中值λG和全局运动向量标准偏差σG。因此，电子装置1302可计算全局运动模型与局部运动模式(例如ML)之间的拟合误差(例如分离量度DL)。
在一些配置中，电子装置1302可基于分离量度来产生前景权重图。在一些实例中，可通过在水平(x)方向或垂直方向(y)上取分离量度(例如DL)的最大分量来产生前景权重图。举例来说，前景权重图(例如WL或W)可任选地随时间平滑，以产生在时间上经平滑的权重图(例如Wt)。可任选地随空间细化前景权重图，以产生空间上经细化的权重图(例如Ws)。举例来说，电子装置1302可将前景权重图与中心经加权核心相乘。在一些配置中，电子装置1302可在时间上平滑且在空间上细化权重图，以产生经平滑的经细化权重图(例如W′)。电子装置1302可任选地随时间而使历史权重图(例如H)平滑。结合图17到18中的一或多者给出加权的实例。
在一些配置中，对运动向量(例如局部运动向量)进行加权可包含拒绝(例如去除、消除、去选择等)一或多个运动向量(例如预处理之后的一或多个局部运动向量)。举例来说，可将一或多个运动向量加权到0。举例来说，与全局运动向量中值(或均值)匹配的一或多个局部运动向量可导致零权重(例如分离量度0，其可导致权重0)。另外或替代地，可为在距全局运动向量中值(或均值)某一分离距离量(例如小于分离距离阈值)内的一或多个局部运动向量指派权重0。因此，具有非零(例如>0)权重的一或多个运动向量(例如局部运动向量)可为选定运动向量。具有零权重的一或多个运动向量(例如局部运动向量)可为非选定运动向量。
电子装置1302可使用一或多个经加权(例如选定)运动向量来执行(1514)运动估计。举例来说，电子装置1302可基于对应于对象(例如所关注对象或目标对象)的一或多个局部运动向量来执行(1514)运动估计。
在一些配置中，电子装置1302可如下执行运动估计。举例来说，可根据经加权最小平方方法来执行运动估计。电子装置1302可使用经加权的最小平方来并行地(例如同时)估计标度和偏移。举例来说，电子装置1302可估计关注区(例如限界框)的标度(例如大小)和偏移(例如平移)。可基于局部运动模式和全局运动模式，如上文所述(和/或如结合图17到18中的一或多者所描述)来计算权重(例如权重图W、Wt、Ws和/或W′)。
经加权最小平方方法可根据L＝||Y-AX||2来实现，其中L是代价函数，Y是当前帧中的点，X是前一帧中的点，且A是变换矩阵(举例来说，表示X点与Y点之间的变换)。举例来说，Amin＝(YwXT)(XwXT)-1，其中w是在对角线上具有权重的对角矩阵。所述权重可为来自权重图的权重(例如W、Wt、Ws和/或W′)。在一些配置中，Y＝[x′0 y′0 x1′ y1′ …]，其中Y是一组点(例如具有尺寸1x2N的向量，其中N是运动向量或点对的数目)。其中X是前一帧中的点的堆叠矩阵(对应于来自当前帧的Y中的点)。Amin＝[S tx ty]，其中S是标度，tx是水平方向上的平移或偏移，且ty是垂直方向上的平移或偏移。w＝diag(w0 w0 w1 w1…)。应注意，在此方法中，标度S可针对水平和垂直方向两者为恒定(例如相同)。在其它配置中，然而，不同标度(例如水平标度和垂直标度)可用于水平方向且用于垂直方向。
电子装置1302可基于运动估计来预测(1516)关注区(例如限界框)。举例来说，电子装置1302可产生具有由运动估计确定的偏移和标度的关注区(举例来说，针对后续帧)。
在全局运动一致性度量并不满足一或多个一致性准则(例如一致性阈值)的情况下，电子装置1302可使用所有运动向量(例如所有原始运动向量，所有经预处理的局部运动向量和/或所有经预处理的全局运动向量)来执行(1518)运动估计。电子装置1302可基于运动估计来预测(1516)限界框。
图16是说明图像1675、一组全局运动向量1679、关注区1678、后续关注区1677和一组局部运动向量1681的实例的图。具体地说，图16说明所关注区1678(例如限界框)内部的一组局部运动向量1681。在此实例中，所述组局部运动向量包含64个局部运动向量1681(例如所关注区1678内的8×8局部运动向量的网格)。还将一组全局运动向量1679说明为在所述帧上扩散。在此实例中，所述组全局运动向量包含25个全局运动向量1679(例如5x5全局运动向量1679的网格)。
如上文所描述，电子装置可确定局部运动模式。在一些配置中，确定局部运动模式可包含计算关注区内的一或多个运动向量(举例来说，使用光流)。在一些配置中，计算局部运动向量可包含确定前向和后向运动向量(例如运行前向和后向光流)。举例来说，电子装置1302可确定前向和后向轨道(举例来说，如上文所描述)。在一些配置中，预处理可包含测量距离误差，和/或基于距离误差来拒绝不可靠向量(例如在第20百分位中的运动向量)。举例来说，图16说明一些被拒绝的局部运动向量1681b，其不能被利用(留下被利用的局部运动向量1681a)。
如上文所描述，电子装置1302可确定全局运动模式。在一些配置中，确定全局运动模式可包含计算一或多个运动向量(举例来说，使用光流)。举例来说，全局运动向量1679可横跨比局部运动向量1681大的区域。在一些配置中，全局运动向量可覆盖图像的特定比例。举例来说，全局运动向量可横跨和/或考虑所述图像的90％(且可忽略边界，举例来说)。图16说明粗略5×5网格上的全局运动向量1679。图16进一步说明全局运动向量中值1682(与每一全局运动向量1679叠加)。如图16中所说明，可基于局部运动向量1681，跟踪所关注对象(例如面部)一后续帧。举例来说，可基于局部运动向量1681来预测后续关注区1677(例如对应于后续帧的关注区)。
图17说明图像1775和对应前景权重图1721的实例。说明一组全局运动向量1779、一组局部运动向量1781、关注区1778和后续关注区1777。
在一些配置中，电子装置1302可根据以下等式中的一或多者来计算权重。如上文所描述，局部运动向量可表示为ML＝(mxi L，myi L)，其中i∈[0,NL)。电子装置1302也可确定分离量度。举例来说，对于每一运动向量对ML，电子装置1302可计算在一些配置中，可将前景权重图的权重计算为举例来说，图17说明前景权重图1721(例如对应于所关注区1778的局部权重WL)的一个实例。可观察到，(局部与全局运动之间的)较大分离的区域可展现较高权重1723。在一些配置中，为简单起见，局部权重或前景权重图WL可被称为W。
图18说明图像1875、带标记前景图1825和权重图历史1827的实例。说明一组全局运动向量1879、一组局部运动向量1881、关注区1878和后续关注区1877。明确地说，图18说明可对权重图执行的任选处理的实例。取决于配置，本文中揭示的系统和方法可确定(例如计算)和/或利用权重图W(例如WL)、时间上经平滑的权重图(例如Wt)、空间上经细化的权重图(例如Ws)，和/或经平滑的经细化权重图(例如W′)。举例来说，每帧加权可不考虑时间信息。举例来说，每帧加权可易受离群值影响。改善这些问题的一种方法是使用权重历史来纳入时间一致性。举例来说，权重更新模型可在两个步骤中进行。第一步骤可包含更新当前权重图。这可根据以下等式来实现：Wt＝αH+(1-α)W。α可为平滑因子(且可将较多权重给予W，举例来说)。第二步骤可包含更新(例如平滑)历史H(例如历史权重图或权重图历史1827)。这可根据以下等式来实现：H′＝βW+(1-β)H。β可将较多权重给予H。
带标记前景图1825说明对应于图像1875中的所关注区1878(例如限界框)的当前权重图的一个实例。权重A 1823a说明带标记前景图1825中的权重值范围。权重图历史1827说明对应于图像1875中的所关注区1878(例如限界框)的权重图历史的一个实例。权重B1823b说明权重图历史1827中的权重值范围。
在一些配置中，电子装置1302可另外或替代地应用中心加权约束条件。中心加权约束条件可假定所关注对象在所关注区(例如限界框)的中心或附近(例如总是在中心)。举例来说，与边界相比，可将较多权重应用于所关注区(例如限界框)的中心。在一些配置中，权重更新或应用中心经加权核心(例如最终权重更新)可根据以下等式来实现。Ws＝W·C，其中C是中心经加权核心。在一些配置中，电子装置1302可执行时间平滑和空间细化两者，以产生经平滑的经细化权重图。举例来说，W′＝WtC＝(αH+(1-α)W)·C。
因此，在一些配置中，可不利用时间平滑或空间细化。举例来说，在一些配置中，可基于权重图来跟踪对象(例如W，无时间平滑或空间细化)。在另一实例中，可基于时间上经平滑的权重图(例如Wt)来跟踪对象。在另一实例中，可基于空间上经细化的权重图(例如Ws)来跟踪对象。在又另一实例中，可基于经平滑的经细化权重图(例如W′)来跟踪对象。
图19说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置1902内的特定组件。电子装置1902可为接入终端、移动台、用户设备(UE)、智能电话、数码相机、摄像机、平板装置、膝上型计算机等。电子装置1902可根据本文所述的电子装置102、1302中的一或多者来实施。电子装置1902包含处理器1949。处理器1949可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1949可被称作中央处理单元(CPU)。尽管电子装置1902中仅示出单个处理器1949，但在替代配置中，可实施处理器(例如ARM和DSP)的组合。
电子装置1902还包含存储器1929。存储器1929可为能够存储电子信息的任何电子组件。存储器1929可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据1933a和指令1931a可存储于存储器1929中。指令1931a可为可由处理器1949执行以实施本文所描述的方法中的一或多者。执行指令1931a可涉及使用存储于存储器1929中的数据1933a。当处理器1949执行指令1931时，可将指令1931b的各部分加载到处理器1949上，且可将各段数据1933b加载到处理器1949上。
电子装置1902还可包含发射器1939和接收器1941，以允许将信号发射到电子装置1902和从电子装置1902接收信号。发射器1939和接收器1941可统称为收发器1943。一或多个天线1937a到1937b可电耦合到收发器1943。电子装置1902还可包含(未图示)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置1902可包含数字信号处理器(DSP)1945。电子装置1902还可包含通信接口1947。通信接口1947可允许和/或启用一或多个种类的输入和/或输出。举例来说，通信接口1947可包含用于将其它装置链接到电子装置1902的一或多个端口和/或通信装置。在一些配置中，通信接口1947可包含发射器1939、接收器1941，或这两者(例如收发器1943)。另外或替代地，通信接口1947可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机等)。举例来说，通信接口1947可使用户能够与电子装置1902交互。
电子装置1902的各种组件可通过一或多个总线耦合在一起，所述总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图19中说明为总线系统1935。
术语“确定”涵盖各种各样的动作，且因此“确定”可包含计算、估算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实及类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)及类似者。并且，“确定”可包括解析、选择、挑选、建立等等。
除非以其它方式明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如DSP和微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此配置。
术语“存储器”应广义上解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机接入存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可抹除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息和/或将信息写入到存储器，那么存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应该广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指代一或多个程序(program)、例程、子例程、函数、过程(procedure)等。“指令”和“代码”可包括单个计算机可读语句或许多计算机可读语句。
本文中所描述的功能可在通过硬件执行的软件或固件中实施。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可通过计算机或处理器接入的任何有形存储媒体。作为实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于运载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软磁盘以及光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合的计算装置或处理器。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可通过传输媒体来传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程来源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含在传输媒体的定义中。
本文中所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作在不脱离所附权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或使用。
另外，应了解，用于执行本文中描述的方法和技术的模块和/或其它适当装置可下载和/或另外通过装置获得。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传送。替代地，可经由存储装置(例如随机存取存储器(RAM)、只读存储器(ROM)、物理存储媒体，例如压缩光盘(CD)或软性磁盘等)提供本文中所描述的各种方法，使得在将存储装置耦合或提供到装置后，所述装置可即刻获得各种方法。
将理解，所附权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的系统、方法和设备的配置、操作和细节方面进行各种修改、改变和变更。

Claims (30)

1.一种由电子装置执行的方法，其包括：
通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式；
通过确定所述前一帧与所述当前帧之间的一组全局运动向量来确定全局运动模式；
基于所述局部运动模式和所述全局运动模式来计算分离量度，其中所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差；以及
基于所述分离量度来跟踪对象。
2.根据权利要求1所述的方法，其进一步包括：
测量所述局部运动向量中的每一者的距离误差；以及
拒绝所述局部运动向量中具有一定量的距离误差的一或多者。
3.根据权利要求1所述的方法，其进一步包括计算全局运动一致性度量。
4.根据权利要求1所述的方法，其中计算所述分离量度包括：
使所述全局运动模式拟合到全局运动模型；以及
计算所述全局运动模型与所述局部运动模式之间的拟合误差。
5.根据权利要求4所述的方法，其中所述全局运动模型包括所述全局运动模式的至少一个统计度量。
6.根据权利要求1所述的方法，其进一步包括：基于所述分离量度来计算前景权重图。
7.根据权利要求6所述的方法，其进一步包括随时间使所述前景权重图平滑。
8.根据权利要求6所述的方法，其进一步包括随空间细化所述前景权重图。
9.根据权利要求8所述的方法，其中随空间细化所述前景权重图包括使所述前景权重图与中心经加权核心相乘。
10.根据权利要求1所述的方法，其进一步包括随时间使历史权重图平滑。
11.一种电子装置，其包括：
处理器，其经配置以通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式，通过确定所述前一帧与所述当前帧之间的一组全局运动向量来确定全局运动模式，基于所述局部运动模式和所述全局运动模式来计算分离量度，其中所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差，且基于所述分离量度来跟踪对象。
12.根据权利要求11所述的电子装置，其中所述处理器经配置以测量所述局部运动向量中的每一者的距离误差，且拒绝所述局部运动向量中具有一定量的距离误差的一或多者。
13.根据权利要求11所述的电子装置，其中所述处理器经配置以计算全局运动一致性度量。
14.根据权利要求11所述的电子装置，其中所述处理器经配置以：
使所述全局运动模式拟合到全局运动模型；以及
计算所述全局运动模型与所述局部运动模式之间的拟合误差。
15.根据权利要求14所述的电子装置，其中所述全局运动模型包括所述全局运动模式的至少一个统计度量。
16.根据权利要求11所述的电子装置，其中所述处理器经配置以基于所述分离量度来计算前景权重图。
17.根据权利要求16所述的电子装置，其中所述处理器经配置以随时间使所述前景权重图平滑。
18.根据权利要求16所述的电子装置，其中所述处理器经配置以随空间细化所述前景权重图。
19.根据权利要求18所述的电子装置，其中所述处理器经配置以使所述前景权重图与中心经加权核心相乘。
20.根据权利要求11所述的电子装置，其中所述处理器经配置以随时间使历史权重图平滑。
21.一种设备，其包括：
用于确定局部运动模式的装置，其中所述用于确定所述局部运动模式的装置包括用于确定前一帧与当前帧之间的关注区内的一组局部运动向量的装置；
用于确定全局运动模式的装置，其中所述用于确定所述全局运动模式的装置包括用于确定所述前一帧与所述当前帧之间的一组全局运动向量的装置；
用于基于所述局部运动模式和所述全局运动模式来计算分离量度的装置，其中所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差；以及
用于基于所述分离量度来跟踪对象的装置。
22.根据权利要求21所述的设备，其进一步包括：
用于测量所述局部运动向量中的每一者的距离误差的装置；以及
用于拒绝所述局部运动向量中具有一定量的距离误差的一或多者的装置。
23.根据权利要求21所述的设备，其进一步包括用于计算全局运动一致性度量的装置。
24.根据权利要求21所述的设备，其中所述用于计算所述分离量度的装置包括：
用于使所述全局运动模式拟合到全局运动模型的装置；以及
用于计算所述全局运动模型与所述局部运动模式之间的拟合误差的装置。
25.根据权利要求21所述的设备，其进一步包括用于基于所述分离量度来计算前景权重图的装置。
26.一种计算机程序产品，其包括上面具有指令的非暂时性计算机可读媒体，所述指令包括：
用于致使电子装置通过确定前一帧与当前帧之间的关注区内的一组局部运动向量来确定局部运动模式的代码；
用于致使所述电子装置通过确定所述前一帧与所述当前帧之间的一组全局运动向量来确定全局运动模式的代码；
用于致使所述电子装置基于所述局部运动模式和所述全局运动模式来计算分离量度的代码，其中所述分离量度指示所述局部运动模式与所述全局运动模式之间的运动差的代码；以及
用于致使所述电子装置基于所述分离量度来跟踪对象的代码。
27.根据权利要求26所述的计算机程序产品，其进一步包括：
用于致使所述电子装置测量所述局部运动向量中的每一者的距离误差的代码；以及
用于致使所述电子装置拒绝所述局部运动向量中具有一定量的距离误差的一或多者的代码。
28.根据权利要求26所述的计算机程序产品，其进一步包括用于致使所述电子装置计算全局运动一致性度量的代码。
29.根据权利要求26所述的计算机程序产品，其中所述用于致使所述电子装置计算所述分离量度的代码包括：
用于致使所述电子装置将所述全局运动模式拟合到全局运动模型的代码；以及
用于致使所述电子装置计算所述全局运动模型与所述局部运动模式之间的拟合误差的代码。
30.根据权利要求26所述的计算机程序产品，其进一步包括用于致使所述电子装置基于所述分离量度来计算前景权重图的代码。
CN201680012224.1A 2015-03-12 2016-01-25 用于对象跟踪的系统和方法 Pending CN107408303A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562132332P 2015-03-12 2015-03-12
US62/132,332 2015-03-12
US14/792,436 2015-07-06
US14/792,436 US9811732B2 (en) 2015-03-12 2015-07-06 Systems and methods for object tracking
PCT/US2016/014745 WO2016144431A1 (en) 2015-03-12 2016-01-25 Systems and methods for object tracking

Publications (1)

Publication Number Publication Date
CN107408303A true CN107408303A (zh) 2017-11-28

Family

ID=55588525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012224.1A Pending CN107408303A (zh) 2015-03-12 2016-01-25 用于对象跟踪的系统和方法

Country Status (5)

Country Link
US (1) US9811732B2 (zh)
EP (1) EP3268933A1 (zh)
JP (1) JP2018508078A (zh)
CN (1) CN107408303A (zh)
WO (1) WO2016144431A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873095A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 运动补偿方法和模块、芯片、电子设备及存储介质
US20220270262A1 (en) * 2019-06-21 2022-08-25 Micron Technology, Inc. Adapted scanning window in image frame of sensor for object detection

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015000157T5 (de) * 2014-06-17 2016-05-25 Mazda Motor Corporation Fahrzeug-Notfallalarmgerät
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
JP6027070B2 (ja) * 2014-09-24 2016-11-16 富士フイルム株式会社 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6655878B2 (ja) * 2015-03-02 2020-03-04 キヤノン株式会社 画像認識方法及び装置、プログラム
US10909394B2 (en) * 2015-09-11 2021-02-02 Intel Corporation Real-time multiple vehicle detection and tracking
US10055895B2 (en) * 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10043084B2 (en) * 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US20180082428A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Use of motion information in video data to track fast moving objects
JP6564355B2 (ja) * 2016-11-17 2019-08-21 株式会社デンソー 衝突判定装置、及び衝突判定方法
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
KR102434397B1 (ko) * 2017-07-10 2022-08-22 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN108229294B (zh) * 2017-09-08 2021-02-09 北京市商汤科技开发有限公司 一种运动数据获取方法、装置、电子设备及存储介质
DE102017216854B4 (de) 2017-09-22 2023-05-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Korrespondenzen von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
EP3692470A4 (en) 2017-10-02 2021-08-11 Sensen Networks Group Pty Ltd SYSTEM AND METHOD OF OBJECT DETECTION GUIDED BY AUTOMATIC LEARNING
TWI631516B (zh) * 2017-10-16 2018-08-01 緯創資通股份有限公司 可適用多重追蹤的目標追蹤方法與系統
CN108702512B (zh) * 2017-10-31 2020-11-24 深圳市大疆创新科技有限公司 运动估计方法和装置
CN107977987B (zh) * 2017-11-20 2021-08-31 北京理工大学 一种无人机载多目标探测跟踪、指示系统及方法
TWI701609B (zh) * 2018-01-04 2020-08-11 緯創資通股份有限公司 影像物件追蹤方法及其系統與電腦可讀取儲存媒體
WO2019177906A1 (en) * 2018-03-11 2019-09-19 Google Llc Static video recognition
US10867393B2 (en) 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
JP6943333B2 (ja) * 2018-03-23 2021-09-29 日本電気株式会社 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质
US10593049B2 (en) * 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
US10846515B2 (en) * 2018-09-07 2020-11-24 Apple Inc. Efficient face detection and tracking
US11010905B2 (en) * 2018-09-07 2021-05-18 Apple Inc. Efficient object detection and tracking
US11488374B1 (en) * 2018-09-28 2022-11-01 Apple Inc. Motion trajectory tracking for action detection
CN109785358B (zh) * 2018-11-23 2023-06-16 山东航天电子技术研究所 一种基于循环确认机制的抗遮挡红外小目标跟踪方法
DE102018221920A1 (de) * 2018-12-17 2020-06-18 Robert Bosch Gmbh Inhaltsadaptive verlustbehaftete Kompression von Messdaten
WO2020128587A1 (en) * 2018-12-20 2020-06-25 Pratik Sharma Intelligent image sensor
JP7200694B2 (ja) * 2019-01-23 2023-01-10 日本電信電話株式会社 センサノード、サーバ装置、識別システム、方法及びプログラム
EP3959887A4 (en) 2019-04-25 2022-08-10 OP Solutions, LLC CANDIDATES IN FRAMEWORK WITH GLOBAL MOVEMENT
CN110110787A (zh) * 2019-05-06 2019-08-09 腾讯科技（深圳）有限公司 目标的位置获取方法、装置、计算机设备及存储介质
EP3739503B1 (en) * 2019-05-14 2023-10-25 Nokia Technologies Oy Video processing
CN110516620B (zh) * 2019-08-29 2023-07-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
US11288835B2 (en) * 2019-09-20 2022-03-29 Beijing Jingdong Shangke Information Technology Co., Ltd. Lighttrack: system and method for online top-down human pose tracking
US11315274B2 (en) 2019-09-20 2022-04-26 Google Llc Depth determination for images captured with a moving camera and representing moving features
FR3102630A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3102628A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3102631A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3102627A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
FR3102629A1 (fr) * 2019-10-25 2021-04-30 Valeo Vision Procédé de gestion des données d'images et dispositif d'éclairage automobile
EP4066087A1 (fr) 2019-11-03 2022-10-05 ST37 Sport et Technologie Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement
US11580833B2 (en) * 2020-03-24 2023-02-14 Object Video Labs, LLC Camera detection of human activity with co-occurrence
US20220351392A1 (en) * 2021-04-30 2022-11-03 Nvidia Corporation Object tracking using optical flow
WO2023279275A1 (en) * 2021-07-07 2023-01-12 Qualcomm Incorporated Local motion detection for improving image capture and/or processing operations
US11954914B2 (en) * 2021-08-02 2024-04-09 Nvidia Corporation Belief propagation for range image mapping in autonomous machine applications
WO2023063944A1 (en) * 2021-10-13 2023-04-20 Innopeak Technology, Inc. Two-stage hand gesture recognition
JP7346535B2 (ja) * 2021-12-20 2023-09-19 財團法人工業技術研究院 映像に対するオブジェクト検出方法及びオブジェクト検出システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332166A (zh) * 2011-09-26 2012-01-25 北京航空航天大学 一种基于概率模型的运动摄像机自动目标跟踪方法
CN102396000A (zh) * 2009-04-17 2012-03-28 香港科技大学 有利于运动估计与特征-运动去相关补偿的方法、装置和系统
CN103279961A (zh) * 2013-05-22 2013-09-04 浙江大学 基于深度恢复和运动估计的视频分割方法
US20140267833A1 (en) * 2013-03-12 2014-09-18 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421101B2 (en) 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
CN102369729B (zh) * 2009-03-31 2014-11-05 日本电气株式会社 跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序
KR101183781B1 (ko) 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
TWI424377B (zh) * 2011-04-01 2014-01-21 Altek Corp 多畫面中物體的移動分析方法
US8805007B2 (en) * 2011-10-13 2014-08-12 Disney Enterprises, Inc. Integrated background and foreground tracking
WO2013132836A1 (ja) * 2012-03-05 2013-09-12 パナソニック株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
TWI563471B (en) * 2012-04-24 2016-12-21 Altek Corp Image processing device and processing method thereof
US9852511B2 (en) 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
US9070202B2 (en) 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
US9213901B2 (en) 2013-09-04 2015-12-15 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396000A (zh) * 2009-04-17 2012-03-28 香港科技大学 有利于运动估计与特征-运动去相关补偿的方法、装置和系统
CN102332166A (zh) * 2011-09-26 2012-01-25 北京航空航天大学 一种基于概率模型的运动摄像机自动目标跟踪方法
US20140267833A1 (en) * 2013-03-12 2014-09-18 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
CN103279961A (zh) * 2013-05-22 2013-09-04 浙江大学 基于深度恢复和运动估计的视频分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J M ODOBEZ,ET AL.: "Separation of moving regions from background in an image sequence acquired with a mobile camera", 《VIDEO DATA COMPRESSION FOR MULTIMEDIA COMPUTING》 *
ZDENEK KALAL,ET AL.: "Forward-Backward Error: Automatic Detection of Tracking Failures", 《2010 INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220270262A1 (en) * 2019-06-21 2022-08-25 Micron Technology, Inc. Adapted scanning window in image frame of sensor for object detection
CN113873095A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 运动补偿方法和模块、芯片、电子设备及存储介质

Also Published As

Publication number Publication date
WO2016144431A1 (en) 2016-09-15
EP3268933A1 (en) 2018-01-17
JP2018508078A (ja) 2018-03-22
US9811732B2 (en) 2017-11-07
US20160267325A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN107408303A (zh) 用于对象跟踪的系统和方法
US11423695B2 (en) Face location tracking method, apparatus, and electronic device
US11538232B2 (en) Tracker assisted image capture
CN107851318A (zh) 用于对象跟踪的系统和方法
US9646389B2 (en) Systems and methods for image scanning
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
CN112651291B (zh) 基于视频的姿势估计方法、装置、介质及电子设备
JP6194995B2 (ja) 運動予測の最適化方法、装置及びシステム
KR102584708B1 (ko) 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법
CN106384359A (zh) 运动目标跟踪方法和电视
Wang et al. An improved YOLOX approach for low-light and small object detection: PPE on tunnel construction sites
CN112037255B (zh) 目标跟踪方法和装置
CN114245023B (zh) 一种聚焦处理方法及装置、摄像装置和存储介质
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质
JP2021056885A (ja) 検出装置、検出方法、及びプログラム
CN117455948B (zh) 基于深度学习算法的多视角行人轨迹提取和数据分析方法
KR101374137B1 (ko) 실시간 객체 추적방법
CN117522925A (zh) 注意力机制下移动相机中判断物体运动状态方法及系统
CN115018742A (zh) 一种目标检测方法、装置、存储介质、电子设备及系统
Isaza et al. Toward the Detection of Urban Infrastructure’s Edge Shadows

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128

WD01 Invention patent application deemed withdrawn after publication