CN111797652A - 对象跟踪方法、设备及存储介质 - Google Patents

Abstract

本公开提供一种对象跟踪方法、设备及存储介质。本公开通过对人脸以及与人脸具有固定位置关系的身体部位进行联合检测，通过联合检测提高对人的跟踪的准确性。

Description

对象跟踪方法、设备及存储介质

技术领域

本公开涉及对象的检测与跟踪，尤其涉及对图像帧序列中的对人的检测与跟踪。

背景技术

近年来，随着目标检测技术的发展，基于目标检测的目标跟踪技术也越来越受到大家的关注，特别是对监控摄像头所拍摄的视频(图像帧序列)中的人的跟踪技术的运用范围越来越广。在视频跟踪中，要检测每个图像帧中的作为被跟踪对象的人，然后组合每一帧中人的检测结果以确定人的跟踪轨迹。

对人的跟踪技术可应用在以下场景中：

1)统计行人的数量。利用摄像头对某一地点进行视频拍摄，通过统计视频中行人轨迹的数量来估计该地点的人流量。

2)人的身份识别。对视频内的人进行跟踪，运用人脸识别技术确定所跟踪的人的身份。

3)人的行为分析。对视频内的人进行跟踪，通过对跟踪的人的运动轨迹的分析来确定人的各种行为。

除了上述场景外，对人的跟踪技术还可广泛应用在其他场景中，此处不再罗列。在以上对人的跟踪技术中，需要在每一帧中对人进行检测，常用的检测方法是人脸检测。但是，当视频帧中人脸的可见状态发生变化时，如扭头、转身、喝水时被水杯遮挡脸部、戴口罩遮挡脸部等，无法基于人脸检测来进行对人的检测，容易出现目标跟踪丢失或跟踪错误的问题。如果不以人脸检测作为对人的检测，而以身体检测作为对人的检测的话，当人处于比较拥挤或有遮挡的场合，也无法进行基于身体检测的人的检测，同样也容易出现目标跟踪丢失或跟踪错误的问题。

美国专利US8,929,598 B2公开了一种对人的跟踪技术，首先以人脸检测作为对人的检测，如果基于人脸检测的跟踪失败，再以身体(或身体的一部分)检测作为对人的检测，基于身体检测继续对人的跟踪。但是，在US8,929,598 B2公开的跟踪技术中，对身体的检测常常是不准确的。具体而言，在当前帧中基于人脸检测的跟踪失败的情况下，在进行身体检测时，如果以当前帧中人脸的检测区域来估计身体的检测区域，则由于人脸的检测区域不准确，导致估计的身体的检测区域也不准确，使得最终基于身体检测的跟踪也可能会失败；如果以之前的若干帧中身体的运动信息来估计当前帧中身体的检测区域，而在之前的若干帧中基于人脸检测成功地进行了跟踪的话，则由于之前的若干帧中的身体的运动信息未被实时更新，也就是说，之前的若干帧中的身体的运动信息并不能真实地反映当前帧中的身体的检测区域，同样导致身体的检测区域不准确，使得最终基于身体检测的跟踪失败。

发明内容

本公开是鉴于现有技术中的技术问题而提出的，旨在提供一种改进的对象跟踪技术。

本公开提出了一种改进的对象跟踪技术，通过对人脸和与人脸有特定位置关系的身体(或部分身体)联合检测的方式来实现对人的检测，进而实现对人的跟踪，从而避免跟踪失败。

根据本公开的一方面，提供一种用于图像帧序列的对象跟踪方法，其中所述图像帧序列包括多个图像帧，每个图像帧包括至少一个对象；所述对象跟踪方法包括：根据已创建的轨迹中存储的人脸跟踪结果和与人脸具有一定位置关系的身体部位的跟踪结果，确定当前帧中人脸-身体部位对的感兴趣区域；在确定的人脸-身体部位对的感兴趣区域内，对人脸和身体部位进行检测，得到检测的人脸-身体部位对；将检测出的人脸-身体部位对与所述轨迹进行关联，并在关联成功时，利用检测出的人脸-身体部位对更新所述轨迹。

根据本公开的另一方面，提供一种用于图像帧序列的对象跟踪设备，其中所述图像帧序列包括多个图像帧，每个图像帧包括至少一个对象；所述对象跟踪设备包括：感兴趣区域确定单元，其被构造为根据已创建的轨迹中存储的人脸跟踪结果和与人脸具有一定位置关系的身体部位的跟踪结果，确定当前帧中人脸-身体部位对的感兴趣区域；检测单元，其被构造为在确定的人脸-身体部位对的感兴趣区域内，对人脸和身体部位进行检测，得到检测的人脸-身体部位对；关联单元，其被构造为将检测出的人脸-身体部位对与所述轨迹进行关联；更新单元，其被构造为在关联成功时，利用检测出的人脸-身体部位对更新所述轨迹。

根据本公开的另一方面，提供一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行上述的用于图像帧序列的对象跟踪方法。

从以下参照附图对示例性实施例的描述，本公开的其它特征将变得清楚。

附图说明

并入说明书中并且构成说明书的一部分的附图示出了本公开的实施例，并且与实施例的描述一起用于解释本公开的原理。

图1示出了已知的对象跟踪技术的流程图。

图2是实现本公开的对象跟踪技术的硬件结构示意图。

图3是本公开第一示例性实施例的对象跟踪方法的步骤流程示意图。

图4是人脸检测框和头肩检测框的示例。

图5是实现步骤S102的流程示意图。

图6(a)至图6(e)是确定人脸-头肩对的感兴趣区域的示例。

图7(a)至图7(c)是人脸-头肩对检测的示例。

图8是实现步骤S104的流程示意图。

图9(a)至图9(d)是人转身时人脸-头肩对检测示例。

图10(a)至图10(b)是戴口罩时人脸-头肩对检测示例。

图11(a)至图11(c)是多人交叉运动时人脸-头肩对检测示例。

图12是本公开第二示例性实施例的对象跟踪设备的结构-示意图。

具体实施方式

这里描述了与对象跟踪有关的示例性可能实施例。在下面的描述中，为了说明的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践本公开。在其他情况下，不详细描述公知的结构和装置，以避免不必要地堵塞、遮盖或模糊本公开。

图1示出了已知的美国专利US8,929,598 B2所公开了的人体跟踪处理的流程图。首先进行创建轨迹的处理，从视频图像的第一帧中进行人脸检测，基于人脸检测实现对人的检测，为要被跟踪的人(人脸)创建轨迹。这里，轨迹中包括的信息包括但不限于：用于唯一表示轨迹的ID、用于进行人脸检测的人脸模板和用于对身体部位(这里以头肩为例)进行检测的头肩模板、被跟踪的人在当前帧中的位置信息(即，在当前帧中的跟踪结果)，创建的轨迹中除了上述信息外，还可以预留存储区域，用于在之后的逐帧跟踪时，存储已跟踪过的若干帧中的人脸跟踪结果和头肩跟踪结果。

为被跟踪的人创建轨迹后，可在实时拍摄的视频帧中执行人脸检测，基于人脸检测实现对人的检测，从而达到对人跟踪的目的。以当前帧为第i帧为例，在第i帧进行全图像的人脸检测，具体而言，首先根据第i-N帧至第i-1帧中的人脸运动信息，估计在第i帧中各人脸的感兴趣区域；然后，在估计的人脸的感兴趣区域中，利用人脸检测器进行人脸检测。在进行人脸检测后，利用目标关联算法，将检测到的人脸分别与各轨迹进行关联，确定是否存在与检测到的人脸关联的轨迹，即检测到的人脸是否与某轨迹中的人脸模板匹配。若检测到的人脸与某轨迹成功关联，则将检测到的人脸的位置信息作为与所关联的轨迹在第i帧的跟踪结果，并利用检测到的人脸更新所关联的轨迹中的人脸模板，以及存储当前帧的人脸跟踪结果。若检测到的人脸未与轨迹成功关联，则需进一步利用头肩检测进行跟踪。

在基于头肩检测的跟踪中，首先，根据之前的人脸检测所检测到的人脸区域估计头肩的感兴趣区域。然后，在头肩的感兴趣区域内，利用头肩检测器进行头肩检测。在进行头肩检测后，利用目标关联算法，将检测到的头肩分别与各轨迹进行关联，确定是否存在与检测到的头肩关联的轨迹，即检测到的头肩是否与某轨迹中的头肩模板匹配。若检测到的头肩与某轨迹成功关联，则将检测到的头肩的位置信息作为与所关联的轨迹在第i帧的跟踪结果，并利用检测到的头肩更新所关联的轨迹中的头肩模板，以及存储当前帧的人脸跟踪结果。若检测到的头肩未与轨迹成功关联，则人脸和头肩所表示的人不是被跟踪的人。

图1所示的跟踪技术是在基于人脸检测的跟踪失败后再执行基于头肩检测的跟踪，由于人脸的可见状态变化，如扭头、转身、戴口罩等因素，使得检测到的人脸的区域与实际的人脸区域有偏差或者面积偏小，在此情况下，利用不准确的人脸区域来估计头肩的感兴趣区域，该头肩的感兴趣区域也是不准确的，因此，基于头肩检测的跟踪结果的准确性不高，容易出现跟踪丢失或跟踪目标出现错误的问题。

有鉴于此，本公开提出了一种对象跟踪的改进技术，基于人脸和与人脸具有一定位置关系的身体部位的联合检测，利用该联合检测的检测结果与轨迹进行关联，以实现对人的跟踪，从而提高跟踪的成功率，减少了跟踪丢失或跟踪目标有误的可能性。这里，进行联合检测所需的人脸信息和身体部位信息包括但不限于：人脸和身体部位的位置关系、检测器对人脸和身体部位的检测、人脸和身体部位的表观特征(例如，人脸上的特征(眼睛、鼻子、嘴)以及身体部位上的衣服的纹理特征)以及人脸和身体部位的运动信息等。另外，与人脸一起进行联合检测的身体部位是与人脸的位置关系相对固定的身体部位，即使在人运动(扭头、转身、行走等)的情况下，与人脸的位置关系也不会发生大变化的部位，例如头肩、上半身躯干等。为方便描述，后续的实施例以人脸-头肩对的联合检测、跟踪为例进行说明，应当了解，本公开的方案并不限于人脸-头肩对的联合检测、跟踪。

以下将结合附图来详细描述本公开的各种示例性实施方式。应当理解，本公开并不局限于下文所述的各种示例性实施方式。另外，作为解决本公开的问题的方案，并不需要包括所有的示例性实施方式中描述的特征的组合。

图2示出了运行本公开中的对象跟踪方法的硬件环境，其中包括：处理器单元10、内部存储器单元11、网络接口单元12、输入单元13、外部存储器14以及总线单元15。

所述处理器单元10可以是CPU或GPU。所述内部存储器单元11包括随机存取存储器(RAM)、只读存储器(ROM)。所述RAM可用作处理器单元10的主存储器、工作区域等。ROM可用于存储处理器单元10的控制程序，此外，还可以用于存储在运行控制程序时要使用的文件或其他数据。网络接口单元12可连接到网络并实施网络通信。输入单元13控制来自键盘、鼠标等设备的输入。外部存储器14存储启动程序以及各种应用等。总线单元15用于使多层神经网络模型的优化装置中的各单元相连接。

下面，将参照附图对本公开的各实施例进行详细的描述。

<第一示例性实施例>

图3描述了本公开第一示例性实施例的用于图像帧序列的对象跟踪方法的步骤流程示意图。在本实施例一中，通过将RAM作为工作存储器，使CPU 10执行存储在ROM和/或外部存储器14中的程序来实施图3所示的对象跟踪流程。注意，在描述的上下文中，“图像”指的是可以是任何适当形式的图像，例如视频中的视频图像等，“图像”可与“图像帧”和“帧”互换地使用。

步骤S101：在图像帧中进行人脸-头肩对检测，根据检测结果为要被跟踪的人创建轨迹。

本步骤是跟踪过程的初始步骤，在整个第一视频帧的区域内进行人脸-头肩对检测，并为检测到的人脸-头肩对创建轨迹。这里的“第一视频帧”可以是在初始化对象跟踪程序后从外界接收到的第一帧，也可以是在出现新的要被跟踪的人的当前帧。在整个第一视频帧中可能有多人，则在本步骤S101中分别检测每个人的人脸-头肩对，并为每个人脸-头肩对创建轨迹，从而实现对多人的跟踪。当然，也可以根据用户的指定，检测特定人的人脸-头肩对，并为该人脸-头肩对创建轨迹，实现对特定人的跟踪。本公开的对象跟踪方法并不对跟踪对象的数量做限定。

每个轨迹表示一个要被跟踪的人的跟踪信息，轨迹中的内容包括但不限于：用于唯一标识轨迹的ID、要被跟踪的人的人脸模板和头肩模板、要被跟踪的人在已过去的M帧中的人脸跟踪结果和头肩跟踪结果。

其中，ID是轨迹的唯一身份编号。

其中，所述人脸模板和头肩模板表示被跟踪的人的人脸信息和头肩信息，人脸模板和头肩模板中的人脸信息和头肩信息是可信赖的信息，在后续的跟踪过程中，可基于人脸模板和头肩模板来判断实时检测到的人脸和头肩是否与本轨迹相关联。在后续的跟踪过程中，在每次成功跟踪的情况下，利用成功跟踪的当前帧中检测到的人脸信息和头肩信息更新人脸模板和头肩模板，使轨迹中包含的人脸模板和头肩模板始终是处于最新状态的信息。

其中，已过去的M帧中的人脸跟踪结果和头肩跟踪结果在初始创建轨迹时还未产生，从创建轨迹的第一帧起，此后，每针对一帧进行成功跟踪后，将当前帧的人脸跟踪结果和头肩跟踪结果存储为轨迹中的信息，并在经过多于M帧的跟踪后，将最新的当前帧的跟踪结果覆盖当前帧之前的M帧的跟踪结果，使得轨迹中始终存储有与当前最接近的M帧的跟踪结果。这里，M可根据经验值或实验值设定，例如，M＝100。

在本实施例一中，在进行人脸-头肩对检测时，可利用基于AdaBoost的人脸检测器检测人脸，基于AdaBoost的头肩检测器检测头肩，本实施例一并不对检测器的选择做限定，业界已知的各种检测器均可应用在本实施例一的方法中。

图4示出了利用人脸检测器检测的人脸检测框和利用头肩检测器检测的头肩检测框的示例，由于人脸与头肩之间的位置关系相对固定，因此，可预先设定人脸检测框和头肩检测框的位置、尺寸关系。

位置关系：IoM＝OverlapArea/MinArea 公式(1)

其中，IoM(Interaction of Minimum)表示人脸检测框和头肩检测框的最小交叠比例，IoM的取值不小于0.9；OverlapArea表示人脸检测框和头肩检测框交叠区域的面积；MinArea表示人脸检测框和头肩检测框两者中面积较小的检测框的面积。

尺寸关系：Size_ratio＝Face_size/Omega_size 公式(2)

其中，Face_size表示人脸检测框的边长；Omega_size表示头肩检测框的边长；Size_ratio的取值范围为0.3～0.6。

需要说明的是，以上所示的人脸检测框和头肩检测框的位置关系和尺寸关系是实现本实施例一的可选条件，但本实施例一并不限于以上关系，可根据经验值或实验者对两者的位置关系和尺寸关系进行限定。另外，本实施例一是以人脸和头肩的联合检测为例进行描述，如果采用人脸和其他身体部位的联合检测，如上半身躯体，则人脸检测框和上半身躯体检测框之间的位置关系和尺寸关系需适应性变化。

步骤S102：在逐帧跟踪中(假设当前为第i帧)，根据轨迹中存储的人脸跟踪结果和头肩跟踪结果来估计第i帧中的人脸估计区域和头肩估计区域，根据人脸估计区域和头肩估计区域确定出人脸-头肩对的感兴趣区域。

注意，本步骤S102在步骤S101之后执行，但并不一定紧接着步骤S101执行，在步骤S101中创建轨迹后，可根据实时到来的视频帧执行之后步骤的跟踪过程，直至第i帧的到来。

在本步骤S102中，可根据第i-1帧至第i-M帧的人脸跟踪结果和头肩跟踪结果，基于运动估计方法来估计当前第i帧的人脸估计区域和头肩估计区域。

图5示出了本步骤S102中估计第i帧中的人脸-头肩对的感兴趣区域的流程图，具体描述如下。

步骤S102-1：通过第i-1帧至第i-M帧的人脸跟踪结果，得到第i帧中的人脸估计区域。

步骤S102-2：根据得到的人脸估计区域，确定第i帧的人脸的感兴趣区域。

以图6(a)至图6(e)所示的情况为例，根据第i-1帧至第i-M帧的人脸跟踪结果，基于人脸运动估计，估计出人脸估计区域的位置和尺寸(图6(a))，进而确定出人脸的感兴趣区域(RoI,Region of Interesting)(图6(b))。一种可选的确定人脸的感兴趣区域的方法是：

Size_RoIface＝w1*face_Size公式(3)

其中，face_Size表示根据运动估计所估计出的人脸估计区域的尺寸，将该区域同心地扩大w1(例如，w1＝3.0)倍后的区域作为人脸的感兴趣区域。

步骤S102-3：通过第i-1帧至第i-M帧的头肩跟踪结果，得到第i帧中头肩估计区域。

步骤S102-4：根据得到的头肩估计区域，确定第i帧的头肩的感兴趣区域。

与步骤S102-1和步骤S102-2中估计人脸的感兴趣区域类似的，基于前M帧的头肩运动估计，得到头肩在第i帧中的估计区域的位置和尺寸(图6(c))，进而确定出头肩的感兴趣区域(图6(d))。一种可选的确定头肩的感兴趣区域的方法是：

Size_RoIOmega＝w2*Omega_Size 公式(4)

其中，Omega_Size表示根据运动估计所估计出的头肩估计区域的尺寸，将该区域同心地扩大w2(例如，w2＝1.8)倍后的区域作为头肩的感兴趣区域。

步骤S102-5：联合人脸的感兴趣区域和头肩的感兴趣区域，得到最终的人脸-头肩对的感兴趣区域。

在本步骤S102-5中，可将包括人脸的感兴趣区域和头肩的感兴趣区域的最小矩形区域作为最终的用于人脸-头肩对检测、跟踪的感兴趣区域。以图6(e)所示的包括坐标轴在内的人脸-头肩对的感兴趣区域为例，最终的人脸-头肩对的感兴趣区域为矩形，该矩形的四条边在坐标轴上的位置分别为：Left＝MIN(Left(RoIface),Left(RoIOmega))；Top＝MIN(Top(RoIface),Top(RoIOmega))；Right＝MAX(Right(RoIface),Right(RoIOmega))；Bottom＝MAX(Bottom(RoIface),Bottom(RoIOmega))。

注意，本实施例一中同时以人脸的感兴趣区域和头肩的感兴趣区域为依据来确定人脸-头肩对的感兴趣区域，即，联合感兴趣区域。但本公开并不限于其他确定联合感兴趣区域的方式，例如，仅以人脸的感兴趣区域为依据，直接将人脸的感兴趣区域作为联合感兴趣区域，或将人脸的感兴趣区域同心扩大一定范围后作为联合感兴趣区域；再例如，仅以头肩的感兴趣区域为依据，直接将头肩的感兴趣区域作为联合感兴趣区域，或将头肩的感兴趣区域同心扩大一定范围后作为联合感兴趣区域。本公开并不对具体的确定联合感兴趣区域的方式做限定，可根据经验值或实验值，在不同的业务场景中采取不同的算法。

步骤S103：在第i帧的人脸-头肩对感兴趣区域内，检测人脸-头肩对。

在本步骤S103中，在第i帧中剪裁出局部图像，在剪裁出的局部图像中，根据步骤S102中确定出的人脸-头肩对的感兴趣区域，利用AdaBoost检测器从中进行人脸检测和头肩检测，确定出人脸检测框和头肩检测框。除了利用检测器对人脸和头肩进行检测外，本实施例也不限于其他检测方法，例如，利用预先设定的人脸模板和头肩模板，通过模板匹配方法对人脸和头肩进行检测。

以图6(e)所确定的人脸-头肩对的感兴趣区域为例，在图7(a)至图7(c)所示的检测步骤中的示意图中，首先，从第i帧视频图像中剪裁出包括人体的局部图像，然后，在已确定的人脸-头肩对的感兴趣区域中，利用检测器确定出人脸检测框和头肩检测框，作为检测出的人脸-头肩对。

步骤S104：将检测出的人脸-头肩对与轨迹进行关联。

在本实施例一的方法中，如果第i帧中只有一条轨迹(即，只有一位被跟踪的人)要与检测出的人脸-头肩对进行关联，则本步骤S104中可将检测出的人脸-头肩对与该轨迹进行关联；如果第i帧中有多条轨迹(即，有多位被跟踪的人)要与检测出的人脸-头肩对进行关联，则在步骤S103中，针对每条轨迹检测出一个人脸-头肩对，然后将每个检测出的人脸-头肩对与各轨迹进行关联。

图8示出了本步骤S104的关联步骤流程图，具体描述如下。

步骤S104-1：确定检测出的人脸-头肩对中人脸与每个轨迹的关联度。

这里，一种可选的计算人脸与每个轨迹的关联度的方法为：

Sface＝w3*distanceRatio_face+w4*sizeRatio_face+w5*colorSimilarity_face公式(5)

其中，distanceRatio_face表示步骤S101中检测的人脸与待关联轨迹的人脸预测结果的差值与待关联轨迹中人脸模板的人脸框的边长的比值，所述差值是指检测的人脸框的中心点与根据轨迹中存储的人脸跟踪结果估计的人脸估计区域的中心点的距离，即，图7(c)中的人脸检测框的中心点与图6(b)中人脸估计区域的中心点的距离；sizeRatio_face＝MIN(detected face size,face size of trajectory)/MAX(detected face size,facesize of trajectory)，表示第i帧中人脸检测框的边长和根据待关联轨迹中存储的人脸跟踪结果估计的人脸估计框的边长的较小值与这两者的较大值的比值；colorSimilarity_face表示第i帧中人脸检测框的人脸与根据待关联轨迹中存储的人脸模板颜色的相似度。w3、w4和w5为常数，例如，w3＝0.5,w4＝0.5,w5＝0.8。

步骤S104-2：确定检测出的人脸-头肩对中头肩与每个轨迹的关联度。

与步骤S104-1类似的，本步骤S104-2还确定检测出的头肩与每个轨迹的关联度。这里，一种可选的计算检测出的头肩与每个轨迹的关联度的方法为：

SOmega＝w3*distanceRatio_Omega+w4*sizeRatio_Omega+w5*colorSimilarity_Omega 公式(6)

上述公式中的参数与步骤S104-1中计算检测出的人脸与每个轨迹的关联度的公式中参数的含义相似，此处不再赘述。

步骤S104-3：根据人脸与各轨迹的关联度和头肩与各轨迹的关联度，确定人脸-头肩对与各轨迹的关联度。

这里，一种可选的计算人脸-头肩对与轨迹的关联度的方法为：

Score_trajectory_pair＝WOmega*SOmega+Wface*Sface 公式(7)

其中，WOmega和Wface分别表示根据公式(6)和公式(5)计算出的头肩与轨迹的关联度和人脸与轨迹的关联度的权重值，例如，WOmega＝0.5，Wface＝0.5。当然，本实施例一的方法也不限于此，在可能出现人脸的可见范围变化的情况下，可将WOmega设置成大于Wface的权重值；或者，在肩部可能被遮挡的情况(例如，人流密集的情况)下，也可将WOmega设置成小于Wface的权重值。

下面通过举例来描述本步骤S104的关联过程。假设第i帧中有三个轨迹，分别是轨迹1、轨迹2和轨迹3。根据步骤S102和步骤S103中所述的方法，分别基于轨迹1、轨迹2和轨迹3中存储的人脸跟踪结果进行人脸、头肩估计，进而确定出人脸估计区域和头肩估计区域，根据人脸估计区域和头肩估计区域确定出人脸-头肩对的感兴趣区域，再从人脸-头肩对的感兴趣区域检测出三个人脸-头肩对。在步骤S104中，分别计算人脸-头肩对A中检测的人脸与轨迹1、轨迹2和轨迹3的关联度，以及计算人脸-头肩对A中检测的头肩与轨迹1、轨迹2和轨迹3的关联度，再通过加权求和的方法，计算出人脸-头肩对A与轨迹1、轨迹2和轨迹3的关联度。按照上述方法，可分别计算出人脸-头肩对B与轨迹1、轨迹2和轨迹3的关联度以及人脸-头肩对C与轨迹1、轨迹2和轨迹3的关联度。

在实际的对象跟踪过程中，轨迹的数量可能更多，可创建数据池来存储这计算出的多个关联度。表1是以上述3个检测的人脸-头肩对和3条轨迹为例所创建数据池。

表1

步骤S105：确定轨迹是否与检测到的人脸-头肩对成功关联，若是，则执行步骤S106；否则，对象的跟踪失败。

在本步骤S105中，分别确定每条轨迹是否与当前帧中检测到的一个人脸-头肩对成功关联。对于成功关联的轨迹与对应的人脸-头肩对，执行后续步骤S106；对于没有成功关联到人脸-头肩对的轨迹，表示对该轨迹的跟踪失败。

本步骤S105可根据表1所示的数据池来确定关联的人脸-头肩对和轨迹，具体描述为：

a)参照表1，将关联度最高的人脸-头肩对与相应的轨迹关联，即，将人脸-头肩对B和轨迹1关联。

b)移除轨迹1与其他人脸-头肩对的关联度，以及移除人脸-头肩对B与其他轨迹的关联度，避免出现重复关联。此时，表1中的数据更新为表2所示。

c)在更新后的表2中重复执行步骤a)和步骤b)，直至针对每条执行人脸-头肩对的关联。

	人脸-头肩对A	人脸-头肩对B	人脸-头肩对C
				轨迹1	-	0.9	-
轨迹2	0.8	-	0.4
				轨迹3	0.2	-	0.7

表2

步骤S106：利用成功关联的人脸-头肩对的检测结果更新关联的轨迹中的信息，并将成功关联的人脸-头肩对的检测结果作为跟踪结果。

在本步骤S106中，当成功关联了人脸-头肩对和轨迹时，例如，参照表1将人脸-头肩对A与轨迹1关联在一起，可利用人脸-头肩对A的信息更新轨迹1中的信息，具体而言，可将第i帧中的人脸-头肩对A的人脸检测框中的信息(人脸的特征信息)和头肩检测框中的信息(头肩的特征信息)更新为轨迹1中的人脸模板和头肩模板，以及将人脸-头肩对A的人脸跟踪结果(人脸的位置和尺寸)和头肩跟踪信息(头肩的位置和尺寸)替换第i-M帧的人脸跟踪结果和头肩跟踪结果。

以下将对比美国专利US8,929,598 B2所公开了的人体跟踪技术来描述本公开第一示例性实施例的效果。

美国专利US8,929,598 B2所公开了的人体跟踪技术是在人脸跟踪失败后再执行头肩跟踪，这样做会存在以下问题。

问题1、假设人脸跟踪失败的原因是人脸的可见状态发生了变化，假设，在第n帧中人脸正面全部可见，人脸检测器能够正常检测到人脸并基于检测到的人脸对人进行跟踪。在第n+10帧中，人向左侧转身，人脸检测器只能检测到右半边脸；在第n+20帧中，人转向背面，人脸检测器完全检测不到人脸；在第n+30帧中，人转向右侧，人脸检测器只能检测到左半边脸。如果在第n+10帧或第n+20帧时基于人脸检测的跟踪失败了，则一方面，如果仍根据第n+10帧或第n+20帧检测到的人脸来估计头肩的感兴趣区域，则由于被检测到的人脸不完整或没有检测到人脸，导致估计的头肩的感兴趣区域的尺寸偏小或有偏移，进而使得基于头肩检测的跟踪失败。另一方面，如果不根据第n+10帧或第n+20帧检测到的人脸来估计头肩的感兴趣区域而是利用前若干帧(例如，前5帧)的头肩运动信息来估计例如第n+10帧中的头肩的感兴趣区域，则在前5帧中成功地进行人脸检测及跟踪(即未利用头肩检测及跟踪)的情况下，前5帧中的头肩的跟踪结果未被更新，若利用前5帧中未被实时更新的头肩运动信息估计的第n+10帧中的头肩的感兴趣区域的话，头肩的感兴趣区域的估计结果不准确。

在本实施例一的方案中，人脸和头肩进行联合检测确定感兴趣的区域，并基于联合检测结果进行跟踪。以图9(a)至图9(d)所示的情况为例，若人向左侧转身(图9(b)所示)或转向背面(图9(c)所示)，人脸检测器无法准确地检测到人脸，此时，检测到的人脸与轨迹的关联度很低，甚至可能为0。但是，由于在每帧中都进行人脸-头肩对的联合检测，因此，即使人脸不能准确地检测，但由于能够准确地检测到头肩，还是可以根据人脸-头肩对的检测结果实现跟踪。图9(a)至图9(d)是以人转身为例进行描述的，若以图10(a)和图10(b)所示的戴口罩遮挡人脸的情况为例，则基于本实施例一的方案，当人脸被遮挡时，不会仅在被遮挡的人脸的感兴趣区域内进行人脸检测和头肩检测，而是将人脸的感兴趣区域和头肩的感兴趣区域合并后的人脸-头肩对感兴趣区域内进行人脸检测和头肩检测，从而可以避免跟踪失败的问题。

问题2、在美国专利US8,929,598 B2的技术中，当多人交叉运动时，如图11(a)至图11(c)所示的情况，当一人在走而另一人静止时，在这两人错身时，由于这两个人的人脸的表观特征(如，皮肤纹理、颜色)相似，在将检测到的人脸与轨迹关联时容易出错。

而在本实施例一的方案中，由于将人脸-头肩对联合与轨迹进行关联，头肩具有更高鉴别力的特征(如，衣服等)，所以能够更加准确地区分不同的头肩，减少人脸-头肩对与轨迹关联时出错的可能。

<第二示例性实施例>

本公开第二示例性实施例描述了与第一示例性实施例属于同一发明构思下的对象跟踪设备，如图12所示，所述对象跟踪设备包括感兴趣区域确定单元1001、检测单元1002、关联单元1003和更新单元1004。

所述感兴趣区域确定单元1001根据已创建的轨迹中存储的人脸跟踪结果和与人脸具有一定位置关系的身体部位的跟踪结果，确定当前帧中人脸-身体部位对的感兴趣区域。检测单元1002在确定的人脸-身体部位对的感兴趣区域内，对人脸和身体部位进行检测，得到检测的人脸-身体部位对。关联单元1003将检测出的人脸-身体部位对与所述轨迹进行关联。更新单元1004在关联成功时，利用检测出的人脸-身体部位对更新所述轨迹，从而实现对对象的跟踪过程。

优选地，所述对象跟踪设备还包括轨迹创建单元1000，其在初始时，根据对人脸和身体部位的检测结果创建轨迹，所述轨迹中包括：用于唯一标识该轨迹的标识号；包括对人脸的检测结果的人脸模板和包括对身体部位的检测结果的身体部位模板；在针对每个图像帧进行对象跟踪时，所述更新单元1004将跟踪成功时的人脸跟踪结果和身体部位跟踪结果更新到所述轨迹中。

优选地，所述感兴趣区域确定单元1001根据轨迹中存储的人脸跟踪结果和身体部位跟踪结果，基于运动估计来估计当前帧中的人脸估计区域和身体部位估计区域，根据人脸估计区域确定出人脸的感兴趣区域，并根据身体部位估计区域确定出身体部位的感兴趣区域，并且，联合人脸的感兴趣区域和身体部位的感兴趣区域，得到人脸-身体部位对的感兴趣区域。

优选地，所述关联单元1003针对每个检测出的人脸-身体部位对，计算该人脸-身体部位对中的人脸与每一条轨迹的关联度，并计算该人脸-身体部位对中的身体部位与每一条轨迹的关联度，根据计算出的人脸与每一条轨迹的关联度和身体部位与每一条轨迹的关联度，确定每个人脸-身体部位对与各条轨迹的关联度；以及重复以下过程，直至确定的所有关联度都被处理：将最大关联度对应的人脸-身体部位对与轨迹相关联，并移除已关联的人脸-身体部位对与其他轨迹的关联度以及移除已关联的轨迹与其他人脸-身体部位对的关联度。

优选地，所述关联单元1003根据以下信息计算人脸与轨迹的关联度：在当前帧中检测出的人脸-身体部位对中的人脸与根据轨迹中存储的人脸跟踪结果估计的当前帧中的人脸的距离、检测出的人脸-身体部位对中的人脸的检测框与估计的当前帧中的人脸的估计框的尺寸差、以及检测出的人脸-身体部位对中人脸的颜色与当前轨迹的人脸模板的颜色的相似度。所述关联单元1003根据以下信息计算身体部位与轨迹的关联度：在当前帧中检测出的人脸-身体部位对中的身体部位与根据轨迹中存储的身体部位跟踪结果估计的当前帧中的身体部位的距离、检测出的人脸-身体部位对中的身体部位的检测框与估计的当前帧中的身体部位的估计框的尺寸差、以及检测出的人脸-身体部位对中身体部位的颜色与当前轨迹的身体部位模板的颜色的相似度。

其他实施例

本公开的实施例还可以通过读出并执行记录在存储介质(也可以更完全地被称为“非暂时的计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行一个或多个上述实施例的功能并且/或者包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，并且通过由系统或装置的计算机执行的方法来实现，通过例如从存储介质读出并执行计算机可读指令以执行一个或多个上述实施例的功能并且/或者控制一个或多个电路以执行一个或多个上述实施例的功能。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络来读出并执行计算机可执行指令。该计算机可执行指令可以从例如网络或存储介质提供给计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)(注册商标))、闪存设备、存储卡等中的一个或多个。

本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等同结构和功能。

Claims (11)

1.一种用于图像帧序列的对象跟踪方法，其中所述图像帧序列包括多个图像帧，每个图像帧包括至少一个对象；

所述对象跟踪方法包括：

根据已创建的轨迹中存储的人脸跟踪结果和与人脸具有一定位置关系的身体部位的跟踪结果，确定当前帧中人脸-身体部位对的感兴趣区域；

在确定的人脸-身体部位对的感兴趣区域内，对人脸和身体部位进行检测，得到检测的人脸-身体部位对；

将检测出的人脸-身体部位对与所述轨迹进行关联，并在关联成功时，利用检测出的人脸-身体部位对更新所述轨迹。

2.根据权利要求1所述的对象跟踪方法，其中，所述方法还包括：

在初始时，根据对人脸和身体部位的检测结果创建轨迹，所述轨迹中包括：用于唯一标识该轨迹的标识号；包括对人脸的检测结果的人脸模板和包括对身体部位的检测结果的身体部位模板；

在针对每个图像帧进行对象跟踪时，将跟踪成功时的人脸跟踪结果和身体部位跟踪结果更新到所述轨迹中。

3.根据权利要求2所述的对象跟踪方法，其中，确定当前帧中人脸-身体部位对的感兴趣区域，具体包括：

根据轨迹中存储的人脸跟踪结果和身体部位跟踪结果，基于运动估计来估计当前帧中的人脸估计区域和身体部位估计区域；

根据人脸估计区域确定出人脸的感兴趣区域，以及根据身体部位估计区域确定出身体部位的感兴趣区域；

联合人脸的感兴趣区域和身体部位的感兴趣区域，得到人脸-身体部位对的感兴趣区域。

4.根据权利要求1所述的对象跟踪方法，其中，将检测出的人脸-身体部位对与所述轨迹进行关联，具体包括：

针对每个检测出的人脸-身体部位对，计算该人脸-身体部位对中的人脸与每一条轨迹的关联度，以及计算该人脸-身体部位对中的身体部位与每一条轨迹的关联度；

根据计算出的人脸与每一条轨迹的关联度和身体部位与每一条轨迹的关联度，确定每个人脸-身体部位对与各条轨迹的关联度；

重复以下过程，直至确定的所有关联度都被处理：

将最大关联度对应的人脸-身体部位对与轨迹相关联；

移除已关联的人脸-身体部位对与其他轨迹的关联度以及移除已关联的轨迹与其他人脸-身体部位对的关联度。

5.根据权利要求4所述的对象跟踪方法，其中，

根据以下信息计算人脸与轨迹的关联度：

在当前帧中检测出的人脸-身体部位对中的人脸与根据轨迹中存储的人脸跟踪结果估计的当前帧中的人脸的距离、检测出的人脸-身体部位对中的人脸的检测框与估计的当前帧中的人脸的估计框的尺寸差、以及检测出的人脸-身体部位对中人脸的颜色与当前轨迹的人脸模板的颜色的相似度；

根据以下信息计算身体部位与轨迹的关联度：

在当前帧中检测出的人脸-身体部位对中的身体部位与根据轨迹中存储的身体部位跟踪结果估计的当前帧中的身体部位的距离、检测出的人脸-身体部位对中的身体部位的检测框与估计的当前帧中的身体部位的估计框的尺寸差、以及检测出的人脸-身体部位对中身体部位的颜色与当前轨迹的身体部位模板的颜色的相似度。

6.一种用于图像帧序列的对象跟踪设备，其中所述图像帧序列包括多个图像帧，每个图像帧包括至少一个对象；

所述对象跟踪设备包括：

感兴趣区域确定单元，其被构造为根据已创建的轨迹中存储的人脸跟踪结果和与人脸具有一定位置关系的身体部位的跟踪结果，确定当前帧中人脸-身体部位对的感兴趣区域；

检测单元，其被构造为在确定的人脸-身体部位对的感兴趣区域内，对人脸和身体部位进行检测，得到检测的人脸-身体部位对；

关联单元，其被构造为将检测出的人脸-身体部位对与所述轨迹进行关联；

更新单元，其被构造为在关联成功时，利用检测出的人脸-身体部位对更新所述轨迹。

7.根据权利要求6所述的对象跟踪设备，其中，所述设备还包括：

轨迹创建单元，其被构造为在初始时，根据对人脸和身体部位的检测结果创建轨迹，所述轨迹中包括：用于唯一标识该轨迹的标识号；包括对人脸的检测结果的人脸模板和包括对身体部位的检测结果的身体部位模板；

在针对每个图像帧进行对象跟踪时，所述更新单元将跟踪成功时的人脸跟踪结果和身体部位跟踪结果更新到所述轨迹中。

8.根据权利要求7所述的对象跟踪设备，其中，

所述感兴趣区域确定单元根据轨迹中存储的人脸跟踪结果和身体部位跟踪结果，基于运动估计来估计当前帧中的人脸估计区域和身体部位估计区域，根据人脸估计区域确定出人脸的感兴趣区域，并根据身体部位估计区域确定出身体部位的感兴趣区域；以及，

联合人脸的感兴趣区域和身体部位的感兴趣区域，得到人脸-身体部位对的感兴趣区域。

9.根据权利要求6所述的对象跟踪设备，其中，

所述关联单元针对每个检测出的人脸-身体部位对，计算该人脸-身体部位对中的人脸与每一条轨迹的关联度，并计算该人脸-身体部位对中的身体部位与每一条轨迹的关联度；根据计算出的人脸与每一条轨迹的关联度和身体部位与每一条轨迹的关联度，确定每个人脸-身体部位对与各条轨迹的关联度；以及

重复以下过程，直至确定的所有关联度都被处理：

将最大关联度对应的人脸-身体部位对与轨迹相关联；

移除已关联的人脸-身体部位对与其他轨迹的关联度以及移除已关联的轨迹与其他人脸-身体部位对的关联度。

10.根据权利要求9所述的对象跟踪设备，其中，

所述关联单元根据以下信息计算人脸与轨迹的关联度：

在当前帧中检测出的人脸-身体部位对中的人脸与根据轨迹中存储的人脸跟踪结果估计的当前帧中的人脸的距离、检测出的人脸-身体部位对中的人脸的检测框与估计的当前帧中的人脸的估计框的尺寸差、以及检测出的人脸-身体部位对中人脸的颜色与当前轨迹的人脸模板的颜色的相似度；以及，

根据以下信息计算身体部位与轨迹的关联度：

在当前帧中检测出的人脸-身体部位对中的身体部位与根据轨迹中存储的身体部位跟踪结果估计的当前帧中的身体部位的距离、检测出的人脸-身体部位对中的身体部位的检测框与估计的当前帧中的身体部位的估计框的尺寸差、以及检测出的人脸-身体部位对中身体部位的颜色与当前轨迹的身体部位模板的颜色的相似度。

11.一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使所述计算机进行基于所述权利要求1的用于图像帧序列的对象跟踪方法。

Images