CN111178218A - 一种基于人脸识别的多特征联合视频追踪方法及系统 - Google Patents

Abstract

本发明提出了一种基于人脸识别的多特征联合视频追踪方法及系统。所述方法包括：A1.预处理步骤，其用于进行系统初始化，并建立处理流程；A2.目标识别步骤，其用于利用人脸检测和识别算法从输入的图像序列中找到目标；A3.目标追踪步骤，其使用超过一个跟踪器对所述目标进行联合跟踪。该方法通过应用人脸识别，简化了对特定人的人工搜索过程，同时通过多特征联合跟踪的方式增加了跟踪成功率，尤其是减少了常见的由于目标转身导致的跟踪失败。另外，通过对特征点权重的分配使跟踪器对于目标在一定范围内的姿态改变也有了较强的适应性。

Description

一种基于人脸识别的多特征联合视频追踪方法及系统

技术领域

本发明涉及一种计算机技术领域，尤其是涉及基于人脸识别的多特征联合视频追踪方法。

背景

在视频追踪领域，对人的追踪通常有比较重要的意义，尤其是在视频节目制作过程中，无论是使目标人物保持在画面中央的云台摄像机自动控制系统，或是在固定机位中记录目标人物的运动情况的分析系统，都需要追踪系统能对目标进行持续性识别并追踪。

在构造较为通用的针对人类目标的视频追踪器的过程中，通常会遇到目标转身的情况，由于一般的追踪器只能使用目标的某一个侧面作为跟踪模板，因此目标转身是一个比较难以处理的情形，然而目标转身这个行为在真实的场景中是非常普遍的，通常情况下的追踪器只能通过光流法判断目标是否移动，但是需要保证没有其他运动目标的干扰，并且如果目标以追踪模板外的其他侧面进行运动的话传统的跟踪器基本上都会跟踪失败。

虽然使用深度学习的方法可以将某一个特定人物作为目标进行模型训练，能够解决特定人的跟踪问题，但是一旦该特定人物发生了变化，比如换了衣服，或者要跟踪另外一个人物，这种方法就行不通了。

有些跟踪器以变化的模板作为参考，即通过循环矩阵等方法对跟踪模板进行更新，但是这种方法容易受到遮挡的干扰，一旦目标被遮挡，跟踪即告失败。

发明内容

为了解决上述问题，本发明提出了一种基于人脸识别的多特征联合视频追踪方法，其包括：

A1.预处理步骤，其用于进行系统初始化，并建立处理流程；

A2.目标识别步骤，其用于利用人脸检测和识别算法从输入的图像序列中找到目标；

A3.目标追踪步骤，其使用超过一个跟踪器对所述目标进行联合跟踪。

其中，所述目标识别步骤包括：

C1.目标特征计算步骤；

C2.人脸检测与比对步骤；

C3.目标特征提取步骤。

其中，所述步骤C1包括：

输入待跟踪目标人物正脸图片；

计算目标人脸特征。

其中，所述步骤C2包括：

对所述输入的图像序列进行人脸检测并提取人脸特征点；

将所有人脸与输入的目标人物正脸进行比对，直到匹配成功。

其中，所述步骤C3还包括：

将匹配成功的人脸区域进行外扩，所述外扩区域为以人脸检测框边长为半径的圆形，在此圆形范围内提取目标人脸特征点；

以特征点到圆心的距离的反比为权重建立特征映射表。

其中，所述目标追踪步骤包括：

D1.跟踪器初始化步骤；

D2.跟踪模板更新步骤；

D3.持续跟踪步骤。

其中，所述步骤D1包括：

将上述目标特征作为跟踪模板输入所述跟踪器；

对所述跟踪器分别进行初始化，模板编号分别为T1、T2、T3。

其中，所述步骤D2包括：

使用LK金字塔光流法对特征点进行跟踪；

计算模板发生的变化，将左侧的变化更新到跟踪器T2的模板，同理将右侧的变化更新到跟踪器T3的模板。

其中，所述步骤D3包括：

计算跟踪器模板T2和T3与T1的差异度；

若差异度超过50％时，认为模板更新完成，锁定各模板并持续更新。

本发明还提出了一种基于人脸识别的多特征联合视频追踪系统，其包括

预处理模块，其用于进行系统初始化，并建立处理流程；

目标识别模块，其用于利用人脸检测和识别算法从输入的图像序列中找到目标；

目标追踪模块，其使用超过一个跟踪器对所述目标进行联合跟踪。

与现有技术相比，本发明公开的一种基于人脸识别的多特征联合视频追踪方法，具有如下有益效果：该方法通过应用人脸识别，简化了对特定人的人工搜索过程，同时通过多特征联合跟踪的方式增加了跟踪成功率，尤其是减少了常见的由于目标转身导致的跟踪失败。另外，通过对特征点权重的分配使跟踪器对于目标在一定范围内的姿态改变也有了较强的适应性。

附图说明

附图1示出了根据本发明实施例的多特征联合视频追踪系统示例图；

附图2示出了根据本发明实施例的多特征联合视频追踪方法流程框图；

附图3示出了根据本发明实施例的多特征联合视频追踪方法中的目标识别步骤的流程框图；

附图4示出了根据本发明实施例的多特征联合视频追踪方法中的目标追踪步骤的流程框图；

附图5示出了根据本发明实施例的多特征联合视频追踪方法中的跟踪模板更新步骤的流程框图；

附图6示出了根据本发明实施例的多特征联合视频追踪方法的详细流程图。

具体实施例

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明公开内容的各个方面针对于用于基于人脸识别的多特征联合视频追踪方法及装置。本文所公开的方法和处理适用于使用适合性的所有无线接入技术(RAT)。适用的RAT的示例可以包括但不限于：GSM、UMTS和LTE。具体而言，本公开内容的各个方面使能够根据车辆的碳排放量来使用不同的收费标准。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明公开一种多特征联合视频追踪系统，包括：

预处理模块：负责建立处理流程，初始化人脸检测器和图像特征检测器；

目标识别模块：负责给定目标人物正脸照片，利用人脸检测和识别算法从输入的图像序列中找到目标；

目标追踪模块：负责使用3个跟踪器对目标进行联合跟踪。

如图1所示，如上所述的多特征联合视频追踪系统中，所述目标追踪模块包括：特征点比对模块：计算跟踪区域的特征点变化，统计相似度分布情况，判断相对原模板是左侧变化还是右侧变化；特征点增加与删除模块：如果是左侧发生变化则更新模板T2，对T2进行增加左侧新特征点同时删除右侧失效特征点的操作，反之更新模板T3，对T3进行增加右侧新特征点同时删除左侧失效特征点的操作；模板锁定模块：计算更新后的T2和T3与原模板T1的差异，差异度达到50％则锁定所有模板不再继续更新。

如图2所示，以上述系统实现的多特征联合视频追踪方法包括步骤：

A1.预处理步骤：用于建立处理流程，初始化人脸检测器和图像特征检测器；

A2.目标识别步骤：用于给定目标人物正脸照片，利用人脸检测和识别算法从输入的图像序列中找到目标；

A3.目标追踪步骤：用于使用3个跟踪器对目标进行联合跟踪；

优选的，如上所述的多特征联合视频追踪方法中，所述目标识别步骤如图3所示，包括：

C1.目标特征计算步骤：输入待跟踪目标人物正脸图片，提取目标人脸特征点；

C2.人脸检测与比对步骤：对输入的图像序列进行人脸检测并提取人脸特征点，将所有人脸与输入目标人脸进行比对，直到匹配成功；

C3.目标特征提取步骤：将匹配成功的人脸区域进行外扩，外扩区域为以人脸检测框边长为半径的圆形，在此圆形范围内提取目标的图像特征，同时以特征点到圆心的距离的反比为权重建立特征映射表；

优选的，如上所述的多特征联合视频追踪方法，所述目标追踪步骤如图4所示，包括：

D1.跟踪器初始化步骤：将上述目标特征作为跟踪模板输入跟踪器，对三个跟踪器分别进行初始化；

D2.跟踪模板更新步骤：使用LK金字塔光流法对特征点进行跟踪，重点计算模板发生的变化，T1作为基础模板不更新，左侧的变化更新到模板T2，同理将右侧的变化更新到模板T3；运行阶段可能的匹配结果有三个：

(1)T1、T2、T3均匹配成功，说明目标没有转身动作；

(2)T1和T2或者T3中的任何一个匹配成功，说明目标向某个方向转身；

(3)T2或者T3中任何一个匹配成功，说明目标可能背对摄像机；

其中第二种情况需要重点处理，主要是对图像进行新的特征采集，并与原特征进行匹配，如果新特征集完全包含了原特征集，则对特征集进行更新；

并且第三种情况是以第二种情况的正确运行为前提的，否则第三种情况就有可能无法穿，跟踪器会直接判断目标丢失；第二种情况的现实依据是如果初始化的过程中能够找到目标的正脸，后续图像中如果由于某种未知原因失去正脸图像，只要不是完全失去，就可以通过特征匹配重新发现目标，或者通过初始化步骤重置跟踪器；

D3.持续跟踪步骤：计算跟踪器模板T2、T3与T1的差异度，差异度超过50％时认为模板更新完成，锁定各模板并持续追踪；

优选的，如上所述的多特征联合视频追踪方法，所述跟踪模板更新步骤如图5所示，包括：

特征点比对，特征点增加与删除，停止更新

E1.特征点比对步骤：计算跟踪区域的特征点变化，统计相似度分布情况，判断相对原模板是左侧变化还是右侧变化；

E2.特征点增加与删除步骤：如果是左侧发生变化则更新模板T2，对T2进行增加左侧新特征点同时删除右侧失效特征点的操作，反之更新模板T3，对T3进行增加右侧新特征点同时删除左侧失效特征点的操作；

E3.模板锁定步骤：计算更新后的T2和T3与原模板T1的差异，差异度达到50％则锁定所有模板不再继续更新。

图6示出了根据本发明实施例的多特征联合视频追踪方法的详细流程图，包括：

B1.建立处理流程并初始化人脸检测器，计算目标人脸特征值；

B2.输入待处理的图像序列，预处理器(相当于系统中的预处理模块)对输入的图像序列进行预处理；

B3.取出下一帧图像；

B4.判断跟踪模板是否已经初始化，如果没有初始化，则进行初始化操作，否则进行B5；

B5.更新跟踪结果；

B6.判断跟踪是否成功，如果成功，进行B7，否则跳转到B8；

B7.判断跟踪区域内是否有新的特征点出现，如果有新的特征点，并且差异度在10％到50％的范围之内的话则更新T2或者T3模板，否则跳转B8；

B8.判断当前帧是否是最后一帧，如果不是最后一帧则跳转到B3；

B9.结束。

通过本发明的方法，得到了一个针对人的跟踪器，能够在较为复杂的情况下准确跟踪视频中的目标。具体地，通过多跟踪模板实现的多特征联合跟踪，有效避免了传统跟踪方法只跟踪一个模板导致的跟踪失败。这种通过多模板方式进行的有一定学习能力的视频跟踪方法，最终的有效模板是目标几乎360度的特征点集合，使得跟踪过程抗干扰能力更强。

在本公开内容中，所使用的“示例性的”一词意味着“用作示例、例证或说明”。本文中描述为“示例性”的任何实现或者方面不应被解释为比本公开内容的其它方面更优选或更具优势。同样，词语“方面”并不需要本公开内容的所有方面都包括所讨论的特征、优点或者操作模式。本文使用“耦合”一词来指代两个对象之间的直接耦合或者间接耦合。例如，如果对象A物理地接触对象B，并且对象B接触对象C，则对象A和C可以仍然被认为是彼此之间耦合的，即使它们彼此之间并没有直接地物理接触。例如，第一芯片可以耦合到第二芯片，即使第一芯片从未直接地与第二芯片物理地接触。广义地使用术语“电路”和“电子电路”，它们旨在包括电子设备和导体的硬件实现(其中当连接和配置这些电子设备和导体时，实现本公开内容中所描述的功能的执行，而不作为对电子电路的类型的限制)以及信息和指令的软件实现(其中当这些信息和指令由处理器执行时，实现本公开内容中所描述的功能的执行)。

应当理解的是，本申请所公开方法中的特定顺序或步骤层次只是示例性处理的一个示例。应当理解的是，根据设计优先选择，可以重新排列这些方法中的特定顺序或步骤层次。所附的方法权利要求以示例顺序给出了各种步骤的元素，但并不意味着其受到给出的特定顺序或层次的限制，除非本申请进行了明确地说明。

为使本领域任何普通技术人员能够实现本文描述的各个方面，上面围绕各个方面进行了描述。对于本领域普通技术人员来说，对这些方面的各种修改都是显而易见的，并且本文定义的总体原理也可以适用于其它方面。因此，本发明并不限于本文示出的方面，而是与本发明公开的全部范围相一致，其中，除非特别说明，否则用单数形式修饰某一部件并不意味着“一个和仅仅一个”，而可以是“一个或多个”。除非另外特别说明，否则术语“一些”指代一个或多个。指代一个列表项“中的至少一个”的短语是指这些项的任意组合，其包括单一成员。举例而言，“a、b或c中的至少一个”旨在覆盖：a；b；c；a和b；a和c；b和c；a、b和c。贯穿本公开内容描述的各个方面的部件的所有结构和功能等价物以引用方式明确地并入本申请中，并且旨在由权利要求所涵盖，这些结构和功能等价物对于本领域普通技术人员来说是公知的或将要是公知的。此外，本申请中没有任何公开内容是想要奉献给公众的，不管这样的公开内容是否明确记载在权利要求书中。此外，不应依据美国专利法第112条第6款来解释任何权利要求的构成要素，除非该构成要素明确采用了“功能性模块”的措辞进行记载，或者在方法权利要求中，该构成要素是用“功能性步骤”的措辞来记载的。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于人脸识别的多特征联合视频追踪方法，其包括：

A1.预处理步骤，其用于进行系统初始化，并建立处理流程；

A2.目标识别步骤，其用于利用人脸检测和识别算法从输入的图像序列中找到目标；

A3.目标追踪步骤，其使用超过一个跟踪器对所述目标进行联合跟踪。

2.如权利要求1所述的多特征联合视频追踪方法，其中所述目标识别步骤包括：

C1.目标特征计算步骤；

C2.人脸检测与比对步骤；

C3.目标特征提取步骤。

3.如权利要求2所述的多特征联合视频追踪方法，其中所述步骤C1包括：

输入待跟踪目标人物正脸图片；

计算目标人脸特征。

4.如权利要求2所述的多特征联合视频追踪方法，其中所述步骤C2包括：

对所述输入的图像序列进行人脸检测并提取人脸特征点；

将所有人脸与输入的目标人物正脸进行比对，直到匹配成功。

5.如权利要求2所述的多特征联合视频追踪方法，其中所述步骤C3还包括：

将匹配成功的人脸区域进行外扩，所述外扩区域为以人脸检测框边长为半径的圆形，在此圆形范围内提取目标人脸特征点；

以特征点到圆心的距离的反比为权重建立特征映射表。

6.如权利要求5所述的多特征联合视频追踪方法，其中所述目标追踪步骤包括：

D1.跟踪器初始化步骤；

D2.跟踪模板更新步骤；

D3.持续跟踪步骤。

7.如权利要求6所述的多特征联合视频追踪方法，其中所述步骤D1包括：

将上述目标特征作为跟踪模板输入所述跟踪器；

对所述跟踪器分别进行初始化，模板编号分别为T1、T2、T3。

8.如权利要求7所述的多特征联合视频追踪方法，其中所述步骤D2包括：

使用LK金字塔光流法对特征点进行跟踪；

计算模板发生的变化，将左侧的变化更新到跟踪器T2的模板，同理将右侧的变化更新到跟踪器T3的模板。

9.如权利要求7所述的多特征联合视频追踪方法，其中所述步骤D3包括：

计算跟踪器模板T2和T3与T1的差异度；

若差异度超过50％时，认为模板更新完成，锁定各模板并持续更新。

10.一种基于人脸识别的多特征联合视频追踪系统，其包括

预处理模块，其用于进行系统初始化，并建立处理流程；

目标识别模块，其用于利用人脸检测和识别算法从输入的图像序列中找到目标；

目标追踪模块，其使用超过一个跟踪器对所述目标进行联合跟踪。

Images