CN110298863B - 用于跟踪视频序列中的对象的装置和方法以及存储介质 - Google Patents

Abstract

本公开涉及用于跟踪视频序列中的对象的装置和方法以及存储介质。对象跟踪装置可以包括：第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。

Description

用于跟踪视频序列中的对象的装置和方法以及存储介质

技术领域

本公开涉及用于跟踪视频序列中的对象的装置和方法以及存储介质。

背景技术

用于跟踪视频序列中的对象的对象跟踪技术确定对象在视频序列中的每个视频帧中的位置，并且生成对象的长时跟踪轨迹。对象跟踪技术在监控领域变得越来越重要。

对象跟踪技术通常在“基于检测的跟踪”("tracking-by-detection")的工作流程下开发，该工作流程包括两个主要处理：使用检测器检测每个视频帧中的对象(或对象的一部分)的检测处理；以及使用跟踪模板跟踪视频帧中的对象(或对象的一部分)以建立长时跟踪轨迹的跟踪处理。更具体而言，对象跟踪技术在首次检测到对象(或对象的一部分)时初始化跟踪模板。之后，对象跟踪技术在后续视频帧中使用跟踪模板来跟踪对象(或对象的一部分)。此外，对象跟踪技术使用跟踪结果更新跟踪模板以避免跟踪的漂移。

发明内容

本公开的目的是提供具有改进的跟踪精度的对象跟踪装置和方法。

本公开提出了一种用于跟踪视频序列中的对象的装置。该装置可以包括：第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。

从参考附图的以下描述中，本公开的其他特点特征和优点将变得清楚。

附图说明

并入说明书中并构成说明书的一部分的附图图示了本公开的实施例，并且与说明书一起用于解释本公开的原理而没有限制。在各图中，类似的标号用于表示类似的项目。不一定按比例绘制的各图描述了所选择的说明性实施例，并且不旨在限制本公开的范围。

图1是根据本公开的一些实施例的示例性对象跟踪装置的框图。

图2是图示出根据本公开的一些实施例的示例性对象跟踪方法的流程图。

图3是根据本公开的一个示例性实施例的示例性对象跟踪装置的框图。

图4是图示出根据本公开的所述一个示例性实施例的示例性对象跟踪方法的流程图。

图5是图示出根据本公开的所述一个示例性实施例的由第一预测单元执行的示例性预测方法的流程图。

图6是图示出根据本公开的所述一个示例性实施例的由第一预测单元执行的另一个示例性预测方法的流程图。

图7A-图7C图示出从人脸跟踪切换到头肩(head-shoulder)跟踪的示例。

图8图示出根据本公开的另一个示例性实施例的示例性对象跟踪装置的框图。

图9是图示根据本公开的所述另一个示例性实施例的示例性对象跟踪方法的流程图。

图10是图示出根据本公开的所述另一个示例性实施例的由第二预测单元执行的示例性预测方法的流程图。

图11A-图11B图示出从头肩跟踪切换到人脸跟踪的示例。

图12图示出根据本公开的又一个示例性实施例的示例性对象跟踪装置的框图。

图13是图示出根据本公开的所述又一个示例性实施例的示例性对象跟踪方法的流程图。

图14A-图14C图示出从头肩跟踪切换到人脸跟踪的另一个示例。

图15图示出根据本公开的一些实施例的其中可应用本公开的一般硬件环境。

具体实施方式

在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。但是，对于本领域技术人员清楚的是，所描述的实施例可以在没有这些具体细节中的一些或全部的情况下进行实践。在所描述的示例性实施例中，为了避免不必要地模糊本公开的概念，没有详细描述众所周知的结构或处理步骤。

下文所示的每个框图内的方框可以通过硬件、软件、固件或其任意组合来实现以实现本公开的原理。本领域技术人员应该理解的是，每个框图中描述的方框可以被组合或分成子框来实现本公开的原理。

本公开中呈现的方法的步骤旨在是说明性的。在一些实施例中，该方法可以用未描述的一个或多个附加步骤来完成和/或在没有所讨论的一个或多个步骤的情况下完成。此外，方法的步骤被图示和描述的顺序并不旨在是限制性的。

图1是根据本公开的一些实施例的用于跟踪视频序列中的对象的示例性装置100的框图。

如图1所示，装置100可以包括：第一预测单元110，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；第一更新单元120，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及切换单元130，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。

在本公开中，对第二跟踪模板进行更新包括：在第二跟踪模板第一次被创建的情况下初始化第二跟踪模板，或者在第二跟踪模板已经被创建的情况下更新第二跟踪模板。

在本公开中，所述后续视频帧可以是紧接在当前视频帧之后的视频帧或者是在当前视频帧之后并且与当前视频帧间隔开一个或多个视频帧的视频帧。

图2是图示出根据本公开的一些实施例的用于跟踪视频序列中的对象的示例性方法200的流程图。方法200可以包括：步骤S210，对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；步骤S220，在预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及步骤S230，对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位。

从人脸跟踪切换到头肩跟踪

接下来，将参考图3至图7A-图7C描述本公开的一示例性实施例。

在本实施例中，要跟踪的对象是视频序列中的人(下文中称为目标人)。使用人脸跟踪模板(对应于第一跟踪模板)和头肩跟踪模板(对应于第二跟踪模板)来跟踪目标人。并且，在本实施例中，要跟踪视频序列中的多个人。

图3图示出根据本实施例的示例性对象跟踪装置300的框图。

如图3所示，装置300可以包括：人脸跟踪单元310、头肩跟踪单元320、第一预测单元330、第一更新单元340、切换单元350和输出单元360。人脸跟踪单元310可以被配置成使用人脸跟踪模板来跟踪目标人的人脸。头肩跟踪单元320可以被配置成使用头肩跟踪模板来跟踪目标人的头肩。第一预测单元330可以被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用人脸跟踪模板跟踪人脸的结果来预测人脸在后续视频帧中是否可见。第一更新单元340可以被配置成在第一预测单元330预测人脸在后续视频帧中不可见的情况下，基于当前视频帧中的目标人的头肩图像来更新头肩跟踪模板。切换单元350可以被配置成对于后续视频帧，将跟踪方式从使用人脸跟踪模板跟踪人脸切换到使用更新后的头肩跟踪模板来跟踪头肩。输出单元360可以被配置成输出对于目标人的人脸和头肩的跟踪结果。

人脸跟踪模板可以包括人脸的颜色直方图、人脸的一组特征图或者人脸的相关滤波器(correlation-filter)。也可以使用其它已知的人脸跟踪模板。

类似地，头肩跟踪模板可以包括头肩的颜色直方图、头肩的一组特征图或者头肩的相关滤波器。也可以使用其它已知的头肩跟踪模板。

在本实施例中，采用人脸(或人脸图像)的颜色直方图作为人脸跟踪模板。并且，采用头肩(或头肩图像)的颜色直方图作为头肩跟踪模板。

下文将进一步详细描述如图3所示的各单元的操作。

图4是图示出根据本实施例的示例性对象跟踪方法400的流程图。

方法400从步骤S410开始，在步骤S410处，人脸跟踪单元310接收视频序列中的第一视频帧f11、检测目标人(例如，新来的人)的人脸、并且使用检测到的人脸的图像初始化人脸跟踪模板。这里可以使用任何已知的人脸检测器来检测目标人的人脸。作为人脸检测器的输出，可以生成目标人的人脸的边界框(bounding box)。在本实施例中，采用矩形的人脸边界框。并且，可以生成矩形边界框内的人脸图像的颜色直方图作为人脸跟踪模板。

在步骤S420处，对于第一视频帧f11之后的第二视频帧f12，人脸跟踪单元310使用在步骤S410中初始化的人脸跟踪模板来跟踪目标人的人脸。第二视频帧f12可以是紧接在第一视频帧f11之后的视频帧或者是在第一视频帧f11之后并且与第一视频帧f11间隔开一个或多个视频帧的视频帧。

在步骤S430处，对于第二视频帧f12，第一预测单元330基于第二视频帧f12和在它之前的一个或多个视频帧的人脸跟踪结果，预测目标人的人脸在第二视频帧f12之后的第三视频帧f13中是否可见。第一预测单元330的操作将在后面参考图5和图6进行详细描述。第三视频帧f13可以是紧接在第二视频帧f12之后的视频帧或者是在第二视频帧f12之后并且与第二视频帧f12间隔开一个或多个视频帧的视频帧。

如果第一预测单元330预测目标人的人脸在第三视频帧f13中可见，则在步骤440处，第一更新单元340使用在第二视频帧f12中跟踪到的目标人的人脸图像来更新人脸跟踪模板。具体而言，可以生成在第二视频帧f12中跟踪到的目标人的人脸图像的颜色直方图来更新在步骤S410中初始化的人脸跟踪模板。

并且，如果第一预测单元330预测目标人的人脸在第三视频帧f13中不可见，则在步骤450处，第一更新单元340检测第二视频帧f12中的目标人的人脸附近的头肩，并且基于对应的头肩与目标人的人脸之间的几何关系将它们进行关联。这里可以使用任何已知的头肩检测器来检测头肩。作为头肩检测器的输出，可以生成头肩的边界框。在本实施例中，采用矩形的头肩边界框。这里，附近的头肩意味着存在于相对于目标人的人脸而定义的预定区域内的头肩。例如，附近的头肩可以是存在于以目标人的人脸的矩形边界框的中心为中心并具有预定义的半径的圆形区域内的头肩。可以根据实际需要采用其他预定区域。

在步骤S450处，如果第一更新单元340检测到一个或多个附近的头肩，则第一更新单元340基于对应的头肩与目标人的人脸之间的几何关系将它们进行关联。几何关系可以包括位置关系和/或大小关系。具体而言，如果附近的头肩的矩形边界框的中心与目标人的人脸的矩形边界框的中心之间的距离小于或等于预定距离，则可以将该附近的头肩与目标人的人脸进行关联。此预定距离可以是根据实验数据确定的值，并且可以随着人脸的大小的变化而变化。可替代地，如果附近的头肩的矩形边界框的宽度(或高度)是目标人的人脸的矩形边界框的宽度(或高度)的大约两倍(例如，在±10％的容差范围内)，那么可以将该附近的头肩与目标人的人脸进行关联。换句话说，所关联的头肩被确定为是目标人的头肩。

在步骤S460处，第一更新单元340判断是否已经将对应的头肩与目标人的人脸进行关联。如果是，则该方法前进到步骤S480。如果否，则该方法前进到步骤S470。

如可以理解的，如果第一更新单元340未能检测到附近的头肩，或者如果在检测到的(一个或多个)头肩当中不存在满足预先设定的几何关系(例如，如以上提到的距离关系和/或大小关系)的头肩，则确定还没有将对应的头肩与目标人的人脸进行关联。例如，如果目标人的头肩被比如其他人部分地遮挡，则目标人的头肩可能不被检测到。

在步骤S470处，第一更新单元340使用目标人的人脸的位置来估计目标人的头肩的位置。此估计可以基于预先设定的几何关系。例如，如下的矩形边界框可以被估计为目标人的头肩的位置：其中心与目标人的人脸的矩形边界框的中心相距小的距离(例如，小于或等于预设值的距离)，并且其长度和宽度分别为目标人的人脸的矩形边界框的长度和宽度的大约两倍。

在步骤S480处，第一更新单元340使用在步骤S450中所关联的头肩的图像或者在步骤S470中所估计的位置处的头肩的图像来初始化或更新头肩跟踪模板。头肩的图像可以是在步骤S450中所关联的或者在步骤S470中所估计的头肩的矩形边界框内的图像。在本实施例中，可以生成头肩的图像的颜色直方图来初始化或更新头肩跟踪模板。

在步骤S490处，对于第三视频帧f13，切换单元350将跟踪方式从使用人脸跟踪模板跟踪目标人的人脸切换到使用初始化或更新后的头肩跟踪模板来跟踪目标人的头肩。即，在步骤S490处，头肩跟踪单元320开始使用初始化或更新后的头肩跟踪模板来跟踪目标人的头肩。

虽然在图4中未示出，但是可以在图4中包括输出步骤。在此输出步骤中，输出单元360输出从人脸跟踪单元310获取的目标人的人脸跟踪结果以及从头肩跟踪单元320获取的目标人的头肩跟踪结果。具体而言，输出单元350可以输出目标人的跟踪轨迹。例如，通过将多个连续视频帧中的目标人的人脸和头肩的矩形边界框的中心连接起来，可以生成目标人的跟踪轨迹。此外，输出单元350可以连同目标人的跟踪轨迹一起输出检测到的目标人的人脸和头肩的矩形边界框。

接下来，将参考图5和图6详细描述第一预测单元330的操作。

图5是图示出根据本实施例的由第一预测单元330执行的示例性预测方法500的流程图。

方法500从步骤S531开始，在步骤S531处，第一预测单元330接收第二视频帧f12，并获得表示此视频帧中的目标人的人脸姿态的值。表示目标人的人脸姿态的值可以是人脸的偏转(yaw)角度和/或俯仰(pitch)角度。可以使用任何已知的姿态估计方法来获得表示目标人的人脸姿态的值。例如，已经在如下文献中公开了一种姿态估计方法：“Facedetection,pose estimation,and landmark localization in the wild”,authoured byXiangxin Zhu and Deva Ramanan,IEEE Conference on Computer Vision and PatternRecognition,IEEE Computer Society,2012:2879-2886。这篇非专利文献的全部内容通过引入被结合于此。

在步骤S532处，第一预测单元330判断表示目标人的人脸姿态的值是否大于或等于第一预定阈值Th1。例如，第一预测单元330判断人脸的偏转角度是否大于或等于45°。可替代地，第一预测单元330判断人脸的俯仰角度是否大于或等于30°。如果是，则该方法前进到步骤S533。否则，该方法前进到步骤S537。

在步骤S533处，第一预测单元330获得表示一个或多个先前视频帧中的目标人的人脸姿态的值。

在步骤S534处，第一预测单元330计算人脸姿态的值的变化率。具体而言，可以使用通过将两个视频帧的人脸姿态的值的差除以这两个视频帧之间的时间间隔而获得的值作为变化率。可替代地，可以使用以这种方式获得的多个值的平均值作为变化率。也可以使用用于计算变化率的其它方式。

在本实施例中，反映出逐渐增大的偏转角度或俯仰角度的变化率可以被分配正值。相反，反映出逐渐减小的偏转角度或俯仰角度的变化率可以被分配负值。

在步骤S535处，第一预测单元330判断在步骤S534中计算出的变化率是否大于或等于第二预定阈值Th2。例如，第一预测单元330判断人脸的偏转角度的变化率是否大于或等于每秒5°。可替代地，第一预测单元330判断人脸的俯仰角度的变化率是否大于或等于每秒5°。如果是，则该方法前进到步骤S536。否则，该方法前进到步骤S537。

在步骤S536处，第一预测单元330预测目标人的人脸在第三视频帧f13中不可见。

在步骤S537处，第一预测单元330预测目标人的人脸在第三视频帧f13中可见。

应注意，以上提到的第一和第二预定阈值Th1、Th2的值是示例性的而不是限制性的。可以根据实际需要适当地设定这些值。

图6是图示出根据本实施例的由第一预测单元330执行的另一个示例性预测方法600的流程图。

方法600从步骤S631开始，在步骤S631处，第一预测单元330接收第二视频帧f12并获得此视频帧中的目标人的人脸大小的值。目标人的人脸大小的值可以是人脸的矩形边界框的大小的值。例如，目标人的人脸大小的值可以是N×N个像素的形式。

在步骤S632处，第一预测单元330判断目标人的人脸大小的值是否小于或等于第一预定阈值Th1'。例如，第一预测单元330判断人脸大小的值是否小于或等于40×40个像素。如果是，则该方法前进到步骤S633。否则，该方法前进到步骤S637。

在步骤S633处，第一预测单元330获得一个或多个先前视频帧中的目标人的人脸大小的值。

在步骤S634处，第一预测单元330计算人脸大小的值的变化率。具体而言，可以使用通过将两个视频帧的人脸大小的值的差除以这两个视频帧之间的时间间隔而获得的值作为变化率。

在本实施例中，反映出逐渐减小的人脸大小的变化率可以被分配正值。相反，反映出逐渐增大的人脸大小的变化率可以被分配负值。

在步骤S635处，第一预测单元330判断在步骤S634中计算出的变化率是否大于或等于第二预定阈值Th2'。例如，第一预测单元330判断人脸大小的值的变化率是否大于或等于每秒3×3个像素。如果是，则该方法前进到步骤S636。否则，该方法前进到步骤S637。

在步骤S636中，第一预测单元330预测目标人的人脸在第三视频帧f13中不可见。

在步骤S637中，第一预测单元330预测目标人的人脸在第三视频帧f13中可见。

应注意，以上提到的第一和第二预定阈值Th1'、Th2'的值是示例性的而不是限制性的。可以根据实际需要适当地设定这些值。

应注意，虽然在图5和图6中，考虑表示人脸姿态的值或人脸大小的值来预测目标人的人脸是否可见，但是本公开不限于此。可以采用其它的人脸几何信息，只要可以预测目标人的人脸的可见状态即可。

还应注意，虽然在图5和图6中，通过确定变化率是否大于或等于某个阈值来进行预测，但是本公开不限于此。可以采用其它可能的预先设定的标准。例如，能够确定变化率是否小于或等于某个阈值，确定变化率是否在某个范围内，等等。

图7A-图7C图示出从人脸跟踪切换到头肩跟踪的示例。在图7A-图7C中，双线框分别表示目标人的人脸的矩形边界框和头肩的矩形边界框。

在图7A中，对于第一视频帧f11'，通过使用人脸跟踪模板来跟踪目标人的人脸。图7A中的双线框内的人脸图像可以用于初始化或更新人脸跟踪模板。在图7B中，对于第一视频帧f11'之后的第二视频帧f12'，预测到目标人的人脸将在第二视频帧f12'之后的第三视频帧f13'中不可见。然后，通过使用图7B中的双线框内的头肩的图像来初始化或更新目标人的头肩跟踪模板。在图7C中，对于第三视频帧f13'，通过使用初始化或更新后的头肩跟踪模板来跟踪目标人的头肩。即，跟踪方式被从人脸跟踪切换到头肩跟踪。切换动作可以在初始化或更新头肩跟踪模板之后且在对第三视频帧f13'进行处理之前发生。

考虑其中跟踪方式在人脸跟踪失败之后被切换的比较示例，如可以理解的，很可能使用属于另一个人的头肩的图像来更新目标人的头肩跟踪模板，尤其是在要跟踪多个人的情况下。然后发生错误跟踪。

根据本实施例，通过预测目标人的人脸将是不可见的，并且在切换跟踪方式之前更新用于跟踪目标人的头肩的头肩跟踪模板，能够有效地避免错误跟踪。因此，可以提高跟踪精度。

应注意，虽然如图3所示，对象跟踪装置300包括人脸跟踪单元310、头肩跟踪单元320和输出单元360。但是这些单元不是必需的。人脸跟踪单元310、头肩跟踪单元320和输出单元360可以存在于对象跟踪装置300的外部。

还应注意，虽然矩形边界框被用作人脸边界框和头肩边界框，但边界框的形状不限于此。可以采用具有其它形状的边界框。

基于遮挡确定来从头肩跟踪切换到人脸跟踪

接下来，将参考图8至图11A-图11B描述本公开的另一个示例性实施例。

图8图示出根据本实施例的示例性对象跟踪装置800的框图。对象跟踪装置800与对象跟踪装置300的不同之处在于，装置800还包括第二预测单元810和第二更新单元820。第二预测单元810可以被配置成对于使用头肩跟踪模板来跟踪目标人的头肩的第二当前视频帧，预测头肩在第二后续视频帧中是否可见。第二更新单元820可以被配置成在第二预测单元810预测头肩在第二后续视频帧中不可见的情况下，基于第二当前视频帧中的目标人的人脸的图像更新人脸跟踪模板。对象跟踪装置800与对象跟踪装置300的不同之处还在于，与切换单元350相比，切换单元850可以进一步被配置成对于第二后续视频帧，将跟踪方式从使用头肩跟踪模板跟踪头肩切换到使用更新后的人脸跟踪模板来跟踪人脸。

下文将进一步详细描述如图8所示的各单元的操作。

图9是图示出根据本实施例的示例性对象跟踪方法900的流程图。

方法900从步骤S910开始，在步骤S910处，头肩跟踪单元320接收视频序列中的第一视频帧f21、检测目标人的头肩、并且使用检测到的头肩的图像初始化头肩跟踪模板。

在步骤S920处，对于第一视频帧f21之后的第二视频帧f22，头肩跟踪单元320使用在步骤S910中初始化的头肩跟踪模板来跟踪目标人的头肩。

在步骤S930处，对于第二视频帧f22，第二预测单元810基于第二视频帧f22和在它之前的一个或多个视频帧的跟踪结果，预测目标人的头肩在第二视频帧f22之后的第三视频帧f23中是否可见。将在后面参考图10详细描述第二预测单元810的操作。

如果第二预测单元810预测目标人的头肩在第三视频帧f23中可见，则在步骤940处，第二更新单元820使用在第二视频帧f22中跟踪到的目标人的头肩图像来更新头肩跟踪模板。

并且，如果第二预测单元810预测目标人的头肩在第三视频帧f23中不可见，则在步骤950处，第二更新单元820检测在第二视频帧f22中的目标人的头肩附近的人脸，并且基于对应的人脸与目标人的头肩之间的几何关系将它们进行关联。这里，附近的人脸意味着存在于相对于目标人的头肩而定义的预定区域内的人脸。

在步骤S950处，如果第二更新单元820检测到一个或多个附近的人脸，则第二更新单元820基于对应的人脸与目标人的头肩之间的几何关系将它们进行关联。几何关系可以包括位置关系和/或大小关系。具体而言，如果附近的人脸的矩形边界框的中心和目标人的头肩的矩形边界框的中心之间的距离小于或等于预定距离，则可以将该附近的人脸与目标人的头肩进行关联。可替代地，如果附近的人脸的矩形边界框的宽度(或高度)是目标人的头肩的宽度(或高度)的大约一半(例如，在±10％的容差范围内)，则可以将附近的人脸与目标人的头肩进行关联。换句话说，所关联的人脸被确定为目标人的人脸。

在步骤S960处，第二更新单元820判断是否已经将对应的人脸与目标人的头肩进行关联。如果是，则该方法前进到步骤S980。如果否，则该方法前进到步骤S970。

如可以理解的，如果第二更新单元820未能检测到附近的人脸，或者如果在检测到的(一个或多个)人脸当中没有满足预先设定的几何关系(例如，如以上提到的距离关系和/或大小关系)的人脸，则判断还没有将对应的人脸与目标人的头肩进行关联。

在步骤S970处，第二更新单元820使用目标人的头肩的位置来估计目标人的人脸的位置。此估计可以基于预先设定的几何关系。例如，如下的矩形边界框可以被估计为目标人的人脸的位置：其中心与目标人的头肩的矩形边界框的中心相距小的距离(例如，小于或等于预设值的距离)，并且其长度和宽度分别为目标人的头肩的矩形边界框的长度和宽度的大约一半。

在步骤S980处，第二更新单元820使用在步骤S950中所关联的人脸的图像或在步骤S970中所估计出的位置处的人脸的图像来初始化或更新人脸跟踪模板。

在步骤S990处，对于第三视频帧f23，切换单元850将跟踪方式从使用头肩跟踪模板跟踪目标人的头肩切换到使用初始化或更新后的人脸跟踪模板来跟踪目标人的人脸。即，在步骤S990处，人脸跟踪单元310开始通过使用初始化或更新后的人脸跟踪模板来跟踪目标人的人脸。

接下来，将参考图10详细描述第二预测单元810的操作。

图10是图示出根据本实施例的由第二预测单元810执行的示例性预测方法1000的流程图。

方法1000从步骤S1031开始，在步骤S1031处，第二预测单元810接收第二视频帧f22并且估计目标人的头肩在第三视频帧f23中的位置。第二预测单元810可以使用第二视频帧f22和在它之前的一个或多个视频帧中的目标人的头肩或人脸的历史位置来估计此位置。

在步骤S1032处，第二预测单元810估计目标人附近的其他人在第三视频帧f23中的位置。具体而言，第二预测单元810可以通过使用第二视频帧f22和在它之前的一个或多个视频帧中的附近的人的头肩、人脸、身体等的历史位置来估计附近的人的头肩、人脸、身体等在第三视频帧f23中的位置。这里附近的人是指与目标人相距小的距离(例如，该距离可以小于或等于0.5米)的人。

可以使用任何已知的位置估计方法来估计第三视频帧f23中的目标人的头肩的位置和附近的人的位置。

在步骤S1033处，对于第三视频帧f23，第二预测单元810判断目标人的头肩是否将被附近的人遮挡，例如被附近的人的头肩、人脸、身体等遮挡。例如，对于第三视频帧f23，如果所估计的目标人的头肩的边界框与所估计的附近的人的头肩或人脸的边界框重叠，则判断目标人的头肩会被遮挡。否则，确定目标人的头肩不会被遮挡。

如果在步骤S1033中的确定结果为是，则该方法前进到步骤S1034，在步骤S1034处，第二预测单元810预测目标人的头肩在第三视频帧f23中不可见。否则，该方法前进到步骤S1035，在步骤S1035处，第二预测单元810预测目标人的头肩在第三视频帧f23中可见。

图11A-图11B图示出从头肩跟踪切换到人脸跟踪的示例。在图11A-图11B中，双线框分别表示目标人的头肩的矩形边界框和人脸的矩形边界框。并且，人A和B分别表示目标人和附近的人。

在图11A中，对于使用头肩跟踪模板跟踪人A的头肩的第一视频帧f21'，第二预测单元810预测人A的头肩在后续的第二视频帧f22'中是否不可见。图11A中的两个箭头分别表示人A和人B的移动方向。并且，图11A中的椭圆阴影区域表示在第二视频帧f22'中人A的头肩可能被人B遮挡的地方。在预测会发生遮挡的情况下，第二更新单元820基于第一视频帧f21'中的人A的人脸的图像来初始化或更新人脸跟踪模板。在图11B中，对于第二视频帧f22'，使用初始化或更新后的人脸跟踪模板来跟踪人A的人脸。即，跟踪方式被从头肩跟踪切换到人脸跟踪。切换动作可以在人脸跟踪模板的初始化或更新之后且在对第二视频帧f22'进行处理之前发生。

根据本实施例，通过预测目标人的头肩会被遮挡，并且在切换跟踪方式之前更新目标人的人脸跟踪模板，可以有效地避免错误跟踪。因此，可以提高跟踪精度。

基于人脸检测来从头肩跟踪切换到人脸跟踪

接下来，将参考图12至图14A-图14C描述本公开的又一个示例性实施例。

图12图示出根据本实施例的示例性对象跟踪装置1200的框图。对象跟踪装置1200与对象跟踪装置300的不同之处在于，装置1200还包括第三更新单元1210。第三更新单元1210可以被配置成：对于使用头肩跟踪模板跟踪目标人的头肩的第二当前视频帧，在检测到与目标人的头肩相关联的人脸的情况下，基于该人脸的图像来更新人脸跟踪模板。对象跟踪装置1200与对象跟踪装置300的不同之处还在于，与切换单元350相比，切换单元1250可以进一步被配置成对于第二后续视频帧，将跟踪方式从使用头肩跟踪模板跟踪头肩切换到使用更新后的人脸跟踪模板来跟踪人脸。

下文中将进一步详细描述如图12所示的各单元的操作。

图13是图示出根据本实施例的示例性对象跟踪方法1300的流程图。

方法1300从步骤S1310开始，在步骤S1310处，头肩跟踪单元320接收视频序列中的第一视频帧f31，并且使用头肩跟踪模板来跟踪目标人的头肩。

在步骤S1320处，第三更新单元1210检测第一视频帧f31中的目标人的头肩附近的人脸，并且基于对应的人脸与目标人的头肩之间的几何关系将它们进行关联。步骤S1320中的操作与步骤S950中的操作类似，并且因此这里不再重复。

在步骤S1330处，第三更新单元1210判断是否已经将对应的人脸与目标人的头肩进行关联。步骤S1330中的操作与步骤S960中的操作类似，并且因此这里不再重复。如果是，则该方法前进到步骤S1340。如果否，则该方法结束并且输出对于第一视频帧f31的跟踪结果。

在步骤S1340处，第三更新单元1210使用在步骤S1320中所关联的人脸的图像来初始化或更新人脸跟踪模板。

在步骤S1350处，切换单元1350将跟踪方式从使用头肩跟踪模板跟踪目标人的头肩切换到使用初始化或更新后的人脸跟踪模板来跟踪目标人的人脸。

图14A-图14C图示出从人脸跟踪切换到头肩跟踪的另一个示例。在图14A-图14C中，双线框分别表示目标人的人脸的矩形边界框和头肩的矩形边界框。

在图14A中，对于第一视频帧f31'，使用头肩跟踪模板来跟踪目标人的头肩。在图14B中，对于第一视频帧f31'之后的第二视频帧f32'，检测目标人的头肩附近的人脸并且将其与目标人的头肩进行关联。然后通过使用第二视频帧f32'中的人脸的图像来初始化或更新目标人的人脸跟踪模板。在图14C中，对于第三视频帧f33'，使用初始化或更新后的人脸跟踪模板来跟踪目标人的人脸。即，跟踪方式从头肩跟踪切换回人脸跟踪。切换动作可以在人脸跟踪模板的初始化或更新之后且在对第三视频帧f33'进行处理之前发生。

根据本实施例，通过在切换跟踪方式之前更新目标人的人脸跟踪模板，可以有效地避免错误跟踪。因此，可以提高跟踪精度。

在以上提到的实施例中，已经描述了对于目标人的人脸跟踪和头肩跟踪之间的切换。但是本公开不限于此。例如，也能够在对于目标人的人脸跟踪和头-上半身(head-upper-body)跟踪之间切换。这里的头-上半身可以包括头颈、头肩、头胸、头到腰、等等。

在以上提到的实施例中，已经将视频序列中的目标人描述为跟踪对象。但本公开不限于此。例如，也能够跟踪视频序列中的车辆。更具体而言，如果目标车辆的一个部分(例如，前端部分)被预测为在后续的视频帧中不可见，则用于跟踪目标车辆的另一个部分(例如，整个车身)的模板可以被更新并且用于在后续的视频帧中跟踪目标车辆的所述另一个部分。

硬件实现

图15图示出根据本公开的示例性实施例的其中可应用本公开的一般硬件环境1500。

参考图15，现在将描述作为可应用于本公开的各方面的硬件设备的示例的计算设备1500。计算设备1500可以是被配置成执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助理、智能电话、便携式相机或其任何组合。上述装置100、300、800和1200中的每一个可以整体或至少部分地由计算设备1500或类似的设备或系统来实现。

计算设备1500可以包括可能经由一个或多个接口与总线1502连接或者与总线1502通信的元件。例如，计算设备1500可以包括总线1502、一个或多个处理器1504、一个或多个输入设备1506和一个或多个输出设备1508。一个或多个处理器1504可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专用处理芯片)。输入设备1506可以是能够向计算设备输入信息的任何种类的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备1508可以是能够呈现信息的任何种类的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端和/或打印机。计算设备1500还可以包括非瞬态存储设备1510或与非瞬态存储设备1510连接，非瞬态存储设备1510可以是非瞬态的并且可以实现数据存储库的任何存储设备，并且可以包括但不限于盘驱动器、光学存储设备、固态存储装置、软盘、柔性盘、硬盘、磁带或任何其它磁性介质、紧凑型盘或任何其它光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其它存储器芯片或盒带、和/或计算机可以从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备1510可以是可从接口拆卸的。非瞬态存储设备1510可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备1500还可以包括通信设备1512。通信设备1512可以是能够与外部装置和/或与网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外通信设备、无线通信装备和/或诸如蓝牙^TM设备、1502.11设备、WiFi设备、WiMax设备、蜂窝通信设施等的芯片组。

总线1502可以包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。

计算设备1500还可以包括工作存储器1514，工作存储器1514可以是可以存储对处理器1504的工作有用的指令和/或数据的任何种类的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。

软件要素可以位于工作存储器1514中，包括但不限于操作系统1516、一个或多个应用程序1518、驱动程序和/或其它数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序1518中，并且前述装置100、300、800、1200中的每一个的单元可以由处理器1504读取并执行一个或多个应用程序1518的指令来实现。更具体而言，第一预测单元110可以例如由处理器1504在执行具有执行步骤S210的指令的应用程序1518时实现。第一更新单元120可以例如由处理器1504在执行具有执行步骤S220的指令的应用程序1518时实现。切换单元130可以例如由处理器1504在执行具有执行步骤S230的指令的应用程序1518时实现。软件要素的指令的可执行代码或源代码可以存储在非瞬态计算机可读存储介质(诸如上述(一个或多个)存储设备1510)中，并且可以在可能编译和/或安装的情况下被读入到工作存储器1514中。软件要素的指令的可执行代码或源代码也可以从远程位置下载。

本领域技术人员可以根据上述实施例清楚地知道本公开可以通过软件利用必要的硬件来实现、或者通过硬件、固件等来实现。基于这种理解，本公开的实施例可以部分地以软件形式实现。计算机软件可以存储在可读存储介质中，诸如计算机的软盘、硬盘、光盘或闪存存储器等。计算机软件包括使计算机(例如，个人计算机、服务站或网络终端)执行根据本公开的各个实施例的方法或其一部分的一系列指令。

由此描述了本公开，清楚的是，本公开可以以许多方式变化。这样的变化不应当被认为是脱离了本公开的精神和范围，并且如对本领域技术人员将清楚的所有这样的修改旨在被包括在以下权利要求的范围内。

Claims (18)

1.一种用于跟踪视频序列中的对象的装置，其特征在于，所述装置包括：

第一预测单元，被配置成对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；

第一更新单元，被配置成在第一预测单元预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及

切换单元，被配置成对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位，

其中，所述对象包括目标人，所述第一部位包括人脸，并且所述第二部位包括头-上半身。

2.如权利要求1所述的装置，其中，所述第一预测单元还被配置成：

基于当前视频帧和所述一个或多个先前视频帧的目标人的人脸几何信息，计算目标人的人脸几何信息的变化率；以及

在计算出的变化率满足预先设定的标准的情况下，预测目标人的人脸在后续视频帧中不可见。

3.如权利要求2所述的装置，其中，所述人脸几何信息包括表示人脸姿态的值和/或表示人脸大小的值。

4.如权利要求1所述的装置，其中，所述第一更新单元还被配置成：对于当前视频帧，

检测目标人的人脸附近的一个或多个头-上半身；以及

在检测到的头-上半身当中的对应的头-上半身与目标人的人脸基于它们之间的几何关系相关联的情况下，使用所述对应的头-上半身的图像来更新第二跟踪模板。

5.如权利要求4所述的装置，其中，所述第一更新单元还被配置成：对于当前视频帧，

在未能将对应的头-上半身与目标人的人脸进行关联的情况下，使用在利用目标人的人脸的位置而估计出的目标人的头-上半身的位置处的头-上半身的图像来更新第二跟踪模板。

6.如权利要求1所述的装置，还包括：

第二预测单元，被配置成对于使用第二跟踪模板来跟踪目标人的头-上半身的第二当前视频帧，预测头-上半身在第二后续视频帧中是否可见；以及

第二更新单元，被配置成在第二预测单元预测头-上半身在第二后续视频帧中不可见的情况下，基于第二当前视频帧中的目标人的人脸的图像来更新第一跟踪模板，

并且其中，所述切换单元还被配置成：对于第二后续视频帧，将跟踪方式从使用第二跟踪模板跟踪头-上半身切换到使用更新后的第一跟踪模板跟踪人脸。

7.如权利要求6所述的装置，其中，所述第二预测单元还被配置成：

基于第二后续视频帧中的目标人的头-上半身的估计位置和第二后续视频帧中的其他人的估计位置，预测目标人的头-上半身在第二后续视频帧中是否被其他人遮挡。

8.如权利要求6所述的装置，其中，所述第二更新单元还被配置成：对于第二当前视频帧，

检测目标人的头-上半身附近的一个或多个人脸；以及

在检测到的人脸当中的对应的人脸与目标人的头-上半身基于它们之间的几何关系相关联的情况下，使用所述对应的人脸的图像来更新第一跟踪模板。

9.如权利要求8所述的装置，其中，所述第二更新单元还被配置成：对于第二当前视频帧，

在未能将对应的人脸与目标人的头-上半身进行关联的情况下，使用在利用目标人的头-上半身的位置估计出的目标人的人脸的位置处的人脸的图像来更新第一跟踪模板。

10.如权利要求1所述的装置，还包括：

第三更新单元，被配置成对于使用第二跟踪模板来跟踪目标人的头-上半身的第二当前视频帧，在检测到与目标人的头-上半身相关联的人脸的情况下，基于该人脸的图像来更新第一跟踪模板，

并且其中，所述切换单元还被配置成对于第二后续视频帧，将跟踪方式从使用第二跟踪模板跟踪头-上半身切换到使用更新后的第一跟踪模板跟踪人脸。

11.如权利要求1所述的装置，其中，所述视频序列中包括除了目标人之外的一个或多个要跟踪的人。

12.一种用于跟踪视频序列中的对象的方法，其特征在于，所述方法包括：

对于当前视频帧，基于当前视频帧和一个或多个先前视频帧的使用第一跟踪模板跟踪对象的第一部位的结果来预测第一部位在后续视频帧中是否可见；

在预测第一部位在后续视频帧中不可见的情况下，基于当前视频帧中的对象的第二部位的图像来更新用于跟踪第二部位的第二跟踪模板；以及

对于后续视频帧，将跟踪方式从使用第一跟踪模板跟踪第一部位切换到使用更新后的第二跟踪模板跟踪第二部位，

其中，所述对象包括目标人，所述第一部位包括人脸，并且所述第二部位包括头-上半身。

13.如权利要求12所述的方法，其中，更新第二跟踪模板还包括：对于当前视频帧，

检测目标人的人脸附近的一个或多个头-上半身；以及

在检测到的头-上半身当中的对应的头-上半身与目标人的人脸基于它们之间的几何关系相关联的情况下，使用所述对应的头-上半身的图像来更新第二跟踪模板。

14.如权利要求13所述的方法，其中，更新第二跟踪模板还包括：对于当前视频帧，

在未能将对应的头-上半身与目标人的人脸进行关联的情况下，使用在利用目标人的人脸的位置而估计出的目标人的头-上半身的位置处的头-上半身的图像来更新第二跟踪模板。

15.如权利要求12所述的方法，还包括：

对于使用第二跟踪模板来跟踪目标人的头-上半身的第二当前视频帧，预测头-上半身在第二后续视频帧中是否可见；

在预测头-上半身在第二后续视频帧中不可见的情况下，基于第二当前视频帧中的目标人的人脸的图像来更新第一跟踪模板；以及

对于第二后续视频帧，将跟踪方式从使用第二跟踪模板跟踪头-上半身切换到使用更新后的第一跟踪模板跟踪人脸。

16.如权利要求12所述的方法，还包括：

对于使用第二跟踪模板来跟踪目标人的头-上半身的第二当前视频帧，在检测到与目标人的头-上半身相关联的人脸的情况下，基于该人脸的图像来更新第一跟踪模板；以及

对于第二后续视频帧，将跟踪方式从使用第二跟踪模板跟踪头-上半身切换到使用更新后的第一跟踪模板跟踪人脸。

17.一种用于跟踪视频序列中的对象的装置，其特征在于，所述装置包括：

至少一个处理器；以及

至少一个存储设备，所述至少一个存储设备存储有指令，所述指令在被所述至少一个处理器执行时使得所述至少一个处理器实现如权利要求12-16中任一项所述的方法。

18.一种非瞬态计算机可读存储介质，其特征在于，存储有指令，所述指令在被处理器执行时使得实现如权利要求12-16中任一项所述的方法。

Images