CN109543604A

CN109543604A - 视频的处理方法、装置、介质及电子设备

Info

Publication number: CN109543604A
Application number: CN201811393411.6A
Authority: CN
Inventors: 刘岩
Original assignee: Taikang Insurance Group Co Ltd
Current assignee: Taikang Insurance Group Co Ltd
Priority date: 2018-11-21
Filing date: 2018-11-21
Publication date: 2019-03-29

Abstract

本发明实施例涉及图像处理技术领域，提供了一种视频的处理方法、视频的处理装置、计算机可读介质及电子设备，该视频的处理方法包括：在待处理视频中获取第M帧图像中包含至少一张人脸的第一人脸位置信息和第M‑1帧图像中包含至少一张人脸的第二人脸位置信息；根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M‑1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述待处理视频的处理，M为大于1的正整数。本发明实施例的技术方案可以提高对待处理视频的处理效率，同时可以节省人脸识别资源。

Description

视频的处理方法、装置、介质及电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种视频的处理方法、装置、介质及电子设备。

背景技术

越来越多的视频场景中运用到人脸识别技术，例如，人脸识别技术广泛应用于对视频和同步录音的双录质检过程中、直播美颜过程中等需要对视频流中人脸进行处理的场景中。

现有技术中，根据存储视频文件的帧率进行识别。例如，视频文件是以每秒25帧或每秒30帧的帧率进行存储的，在对视频进行人脸识别时，并不对视频中的人脸进行跟踪过滤，那么人脸识别平台承受的并发就会达到每秒20帧～30帧。

然而，现有的视频处理方法的效率低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种视频的处理方法、装置、介质及电子设备，进而至少在一定程度上克服现有的视频处理方法的效率低的缺点。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种视频的处理方法，包括：

在待处理视频中获取第M帧图像中包含至少一张人脸的第一人脸位置信息和第M-1帧图像中包含至少一张人脸的第二人脸位置信息；根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；

基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述待处理视频的处理，M为大于1的正整数。

在本发明的一些实施例中，所述第一人脸位置信息包括：n个第一人脸对应的n个第一面积；所述第二人脸位置信息包括：h个第二人脸对应的h个第二面积；根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系，包括：

根据所述n个第一人脸对应的n个第一面积和所述h个第二人脸对应的h个第二面积确定大小为n*h的稀疏位置关系矩阵，

其中，F为稀疏位置关系矩阵，I_ij为F中任一元素，1≤i≤n，1≤j≤h。

在本发明的一些实施例中，，根据所述n个第一人脸对应的n个第一面积和所述h个第二人脸对应的h个第二面积确定大小为n*h的稀疏位置关系矩阵，包括：

根据第i个第一人脸对应的第一面积和第j个第二人脸对应的第二面积的交集面积；判断所述交集面积是否大于阈值面积；若所述交集面积大于所述阈值面积，则稀疏位置关系矩阵F中的元素I_ij取值为1；若所述交集面积小于或等于所述阈值面积，则稀疏位置关系矩阵F中的元素I_ij取值为0；其中，所述阈值面积根据所述第一面积和所述第二面积中最小值确定。

在本发明的一些实施例中，所述第M-1帧图像对应的人脸跟踪队列为原始人脸跟踪队列，所述原始人脸队列包括所述h个第二人脸。

在本发明的一些实施例中，基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第 M帧图像对应的人脸跟踪队列，包括：

判断所述稀疏位置关系矩阵F的第s行元素的值是否包括1；若所述稀疏位置关系矩阵F的第s行元素的值包括1，则使用第s个第一人脸更新原始图像跟踪队列中第s个第二人脸，得到所述第M帧图像对应的人脸跟踪队列，1≤s≤n。

在本发明的一些实施例中，判断所述稀疏位置关系矩阵F的第s行元素的值是否包括1，包括：

将所述稀疏位置关系矩阵F的第s行元素的值求和，若所述和大于 0，则确定所述稀疏位置关系矩阵F的第s行元素的值包括1；或将所述稀疏位置关系矩阵F的第s行元素的值作为一二进制数，若所述二进制数大于0，则确定所述稀疏位置关系矩阵F的第s行元素的值包括1。

在本发明的一些实施例中，所述第一人脸位置信息还包括：在第 M帧图像中n个第一人脸对应的n个第一坐标信息；所述第二人脸位置信息包括：在第M-1帧图像中h个第二人脸对应的h个第二坐标信息；使用第s个第一人脸更新原始图像跟踪队列中第s个第二人脸，包括：

使用第M帧图像中第s个第一人脸对应的第一面积更新第M-1帧图像中第s个第二人脸对应的第二面积，并使用第M帧图像中第s个第一人脸对应的第一坐标信息更新第M-1帧图像中第s个第二人脸对应的第二坐标信息。

在本发明的一些实施例中，在判断所述稀疏位置关系矩阵F的第s 行元素的值是否包括1之后，还包括：

若所述稀疏位置关系矩阵F的第s行元素的值全为0，则将第s个第一人脸添加至第M帧图像对应的人脸跟踪队列的队尾。

判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0；若所述稀疏位置关系矩阵F的第r列元素的值全为0，则将所述原始人脸跟踪队列中的第r个第二人脸删除，以得到所述第M帧图像对应的人脸跟踪队列，1≤r≤h。

在本发明的一些实施例中，判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0，包括：

将所述稀疏位置关系矩阵F的第r列元素的值求和，若所述和等于 0，则确定所述稀疏位置关系矩阵F的第r列元素的值全为0；或将所述稀疏位置关系矩阵F的第r列元素的值作为一二进制数，若所述二进制数是否等于0，则确定所述稀疏位置关系矩阵F的第r列元素的值全为0。

在本发明的一些实施例中，在判断所述稀疏位置关系矩阵F的第r 列元素的值是否全为0之后，还包括：

若所述稀疏位置关系矩阵F的第r列元素的值全为0，则延迟预设时长后，再次判断所述稀疏位置关系矩阵F的第r列元素的值是否全为 0。

确定所述第一人脸的第一人脸属性向量，所述第一人脸属性向量包括：所述第一人脸位置信息和对所述第一人脸图像的更新次数信息；确定所述第二人脸的第二人脸属性向量，所述第二人脸属性向量包括：所述第二人脸位置信息和对所述第二人脸图像的更新次数信息；基于所述人脸相对位置关系，对所述第一人脸属性向量和/或所述第二人脸属性向量进行处理，得到所述第M帧图像对应的人脸跟踪队列。

在本发明的一些实施例中，在得到所述第M帧图像对应的人脸跟踪队列之后，还包括：

根据所述人脸跟踪队列中每张人脸属性向量的更新次数信息，对所述第M帧图像对应的人脸跟踪队列进行处理。

根据本发明实施例的第二方面，提供了一种视频的处理装置，包括：获取模块，用于在待处理视频中获取第M帧图像中第一人脸位置信息和第M-1帧图像中第二人脸位置信息；确定模块，用于根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；处理模块，用于基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述视频的处理，M为大于1的正整数。

根据本发明实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的视频的处理方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的视频的处理方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明的一些实施例所提供的技术方案中，从待处理视频中获取包含有至少一张人脸的相连帧图像，并根据相连帧图像中的人脸位置信息确定人脸相对位置关系，进一步地，基于人脸相对位置关系确定相连帧中在后帧图像对应的人脸追踪队列，以完成对所述待处理视频的处理。通过相连帧图像中人脸相对位置关系确定相连帧中在后帧图像对应的人脸追踪队列，使得对于待处理视频中的同一张人脸只识别一次，之后根据位置关系进行追踪即可，达到了无需对待处理视频中出现的每一人脸 (包括同一张人脸)均进行识别的目的，从而，提高了对待处理视频的处理效率，同时节省了人脸识别资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本发明的实施例的视频的处理方法的流程示意图；

图2示出了根据本发明的实施例的人脸相对位置关系的确定方法的流程示意图；

图3示出了根据本发明的实施例的人脸跟踪队列的确定方法的流程示意图；

图4示出了根据本发明的一实施例的人脸跟踪队列的确定方法的流程示意图；

图5示出了根据本发明的另一实施例的人脸跟踪队列的确定方法的流程示意图；

图6示出了根据本发明的另一实施例的视频的处理方法的流程示意图；

图7示出了根据本发明的再一实施例的视频的处理方法的流程示意图；

图8示出了根据本发明的实施例的视频的处理装置的结构示意图；

图9示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本发明的实施例的视频的处理方法的流程示意图，参考图1，该视频处理方法包括：

步骤S101，在待处理视频中获取第M帧图像中包含至少一张人脸的第一人脸位置信息和第M-1帧图像中包含至少一张人脸的第二人脸位置信息；

步骤S102，根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；

步骤S103，基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述待处理视频的处理。

其中，M为大于1的正整数。

在图1所示实施例所提供的技术方案中，从待处理视频中获取包含有至少一张人脸的相连帧图像，并根据相连帧图像中的人脸位置信息确定人脸相对位置关系，进一步地，基于人脸相对位置关系确定相连帧中在后帧图像对应的人脸追踪队列，以完成对所述待处理视频的处理。通过相连帧图像中人脸相对位置关系确定相连帧中在后帧图像对应的人脸追踪队列，使得对于待处理视频中的同一张人脸只识别一次，之后根据位置关系进行追踪即可，达到了无需对待处理视频中出现的每一人脸 (包括同一张人脸)均进行识别的目的，从而，提高了对待处理视频的处理效率，同时节省了人脸识别资源。

以下对图1所示实施例的各个步骤的具体实现进行详细阐述：

在示例性的实施例中，首先，获取待处理视频中首次包含有人脸的帧，作为初始图像。然后，利用初始图像中检测到的人脸构建人脸初始跟踪队列Q并进行初始化，以根据后续帧对跟踪队列Q进行更新。

在示例性的实施例中，利用开源计算机视觉库(Open Computer Visual，简称：OpenCV)进行待处理视频中人脸的处理。

在示例性的实施例中，在步骤S101中，获取待处理视频中首次包含有人脸的帧之后，对于待处理视频中包含有人脸的帧，获取每帧图像中的人脸位置信息。并进一步地听过相连帧(例如：第M帧和第M-1 帧为相连帧，其中第M帧为当前帧，第M-1帧上一帧)中人脸位置信息确定人脸相对位置关系。

在示例性的实施例中，在步骤S102中，根据相连帧中人脸位置信息之间的关系确定人脸相对位置关系。

在示例性的实施例中：

关于第M帧：假设检测到第M帧图像中存在n张人脸，获取每张人脸的外切图形(例如是人脸的外切矩形或外切椭圆等)，并将每个外切图形用坐标向量进行表示，例如表示为R₁,R₂,…,R_n，则第M帧图像中存在n张人脸可以表示为矩阵N_M＝{R₁,R₂,…,R_n}。为了便于描述，将第M帧图像中的人脸记为第一人脸，第一人脸的外切图形记为第一外切图形。

其中，R₁＝{x₁,y₁,w₁,h₁}，(x₁,y₁)表示第一外切图形第M帧图像中的坐标，例如：第一外切矩形左上角位置坐标，或第一外切椭圆形的圆心坐标等；(w₁,h₁)表示第一外切图形的大小，例如：分别表示第一外切矩形的宽和高，或第一外切椭圆形的长轴和短轴等。

关于第M-1帧：假设检测到第M-1帧图像中存在h张人脸，获取每张人脸的外切图形(例如是人脸的外切矩形或外切椭圆等)，并将每个外切图形用坐标向量进行表示，例如表示为K₁,K₂,…,K_h，则第M 帧图像中存在n张人脸可以表示为矩阵H_M-1＝{K₁,K2,…,K_n}。为了便于描述，将第M-1帧图像中的人脸记为第二人脸，第二人脸的外切图形记为第二外切图形。

其中，K₁＝{x'₁,y'_1,w'₁,h'₁}，(x'₁,y'₁)表示第一外切图形第M-1 帧图像中的坐标，例如：第二外切矩形左上角位置坐标，或第二外切椭圆形的圆心坐标等；(w'₁,h'₁)表示第二外切图形的大小，例如：分别表示第二外切矩形的宽和高，或第二外切椭圆形的长轴和短轴等。

则，第M帧和第M-1帧图像中，n张第一人脸和h张第二人脸的位置关系可以使用二维关系矩阵F表示：

F＝N_M∩H_M-1

具体的，步骤S101中获取到的第一人脸位置信息包括：n个第一人脸对应的n个第一面积；所述第二人脸位置信息包括：h个第二人脸对应的h个第二面积，则步骤S102根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系，包括：

在示例性的实施例中，图2示出了根据本发明的实施例的稀疏位置关系矩阵的确定方法的流程示意图。参考图2，该稀疏位置关系矩阵的确定方法包括步骤S201-步骤S204。

在步骤S201中，根据第i个第一人脸对应的第一面积和第j个第二人脸对应的第二面积的交集面积；

在步骤S202中，判断所述交集面积是否大于阈值面积；

若所述交集面积大于所述阈值面积，则执行步骤S203：稀疏位置关系矩阵F中的元素I_ij取值为1；

若所述交集面积小于或等于所述阈值面积，则执行步骤S204：稀疏位置关系矩阵F中的元素I_ij取值为0。

其中，所述阈值面积根据所述第一面积和所述第二面积中最小值确定。

示例性的，根据公式

确定I_ij的取值。其中，R_i∩K_j表示矩形R_i与K_j取交集后面积的大小； min(R_i,K_j)表示矩形R_i与K_j面积取小。σ是参数因子，表示重叠比例，可以取0～1之间的数，经验值为0.3左右。

通过图2所示实施例的各个步骤可以得到一个关于具有时间序列上先后关系的两帧图像间人脸相对位置关系的矩阵F。由于人脸运动都是连续的，不可能在视频拍摄时同一人脸瞬间发生较大距离的移动(即发生不连续的运动)，则待处理视频中具有时间序列上先后关系的两帧图像间人脸大部分是不重叠的，因此矩阵大部分值为0，并且由于同一位置区域不可能同时出现两张人脸，因此矩阵的每行或每列只有一个元素为1。也就是或，该矩阵F是稀疏矩阵。同时，矩阵的每行或每列也可以被二值逻辑化以实现加速计算。

以下对步骤103中基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列的具体实现进行解释说明：

以第M-1帧图像为待处理视频中首个出现人脸的图像为例进行说明，则所述第M-1帧图像对应的人脸跟踪队列为原始人脸跟踪队列，其中，第M-1帧图像和原始人脸队列均包括所述h个第二人脸。

参考图3，待处理视频中的图像30包括按时间序列的4帧图像31- 34，人脸跟踪队列30’包括与4帧图像对应的4个状态31’-34’。本发明实施例中，人脸跟踪队列的更新可以包括以下三部分：

已有人脸的跟踪(例如图像32中的a2更新人脸跟踪队列31’中的 a1，以确定图像32对应的人脸跟踪队列32’)；

新人脸的添加(例如图像32中出现一张新人脸d1，则在人脸跟踪队列31’的基础上添加新人脸d1，以确定图像32对应的人脸跟踪队列 32’)；以及

旧人脸的删除(例如图像33/34中有一张旧人脸a2消失了，则在人脸跟踪队列32’的基础上删除旧人脸a2，以确定图像34对应的人脸跟踪队列34’)。

对于稀疏位置关系矩阵F，其行向量描述第M帧中人脸相对于第 M-1帧中人脸的位置关系，其列向量描述第M-1帧中人脸相对于第M 帧中人脸的位置关系。本发明实施例中，人脸跟踪队列的更新依据矩阵 F的行向量和列向量进行。具体的：

图4示出了根据本发明的一实施例的人脸跟踪队列的确定方法的流程示意图，图4提供了一种根据稀疏位置关系矩阵F的行向量更新人脸跟踪队列的方法。参考图4，该方法包括步骤S401-步骤S403。

在步骤S401中，判断所述稀疏位置关系矩阵F的第s行元素的值是否包括1。其中，1≤s≤n。

在示例性的实施例中，由于矩阵的每行或每列只有一个元素为1，则一种可行的实施方式为：将所述稀疏位置关系矩阵F的第s行元素的值求和，若所述和大于0，则确定所述稀疏位置关系矩阵F的第s行元素的值包括1。另一种可行的实施方式为：将所述稀疏位置关系矩阵F 的第s行元素的值作为一二进制数，若所述二进制数大于0，则确定所述稀疏位置关系矩阵F的第s行元素的值包括1。再一种可行的实施方式为：由于稀疏位置关系矩阵F是稀疏矩阵，使用二进制方式存储F，还可以使用与0进行逻辑或判断，此种方式的计算效率是普通求和运算的几十倍。

若所述稀疏位置关系矩阵F的第s行元素的值包括1，则执行步骤 S402：使用第s个第一人脸更新原始图像跟踪队列中第s个第二人脸。以得到所述第M帧图像对应的人脸跟踪队列。

在步骤S402中，由于稀疏位置关系矩阵F的行向量描述第M帧中人脸相对于第M-1帧中人脸的位置关系，则稀疏位置关系矩阵F的第s 行元素I_sj的值为1，那么说明第M帧中的第s张人脸与第M-1帧中的第 j张人脸属于同一个人。

示例性的，参考图3，假如图像32为图4所示实施例中的第M帧图像，图像31为图4所示实施例中的第M-1帧图像。可见，图像31包括 a1、b1、c1三张人脸，图像32相对于原始图像31出现了一张新人脸d1。根据图像31和图像32确定的大小为4*3的稀疏位置关系矩阵F1，表示为：

可见，F1中元素I₂₂的值为1，说明图像32中的第2张人脸和图像 31中的第2张人脸具有交集面积，且交集面积满足上述公式一，也就是说，图像32中的第2张人脸和图像31中的第2张人脸属于同一个人，即b2与b1属于同一个人，在对人脸跟踪队列进行更新的时候，使用b2 更新b1。

在示例性的实施例中，所述第一人脸位置信息还包括：在第M帧图像中n个第一人脸对应的n个第一坐标信息；所述第二人脸位置信息包括：在第M-1帧图像中h个第二人脸对应的h个第二坐标信息；则使用第s个第一人脸更新原始图像跟踪队列中第s个第二人脸的具体实施方式，包括：使用第M帧图像中第s个第一人脸对应的第一面积更新第M-1帧图像中第s个第二人脸对应的第二面积，并使用第M帧图像中第s个第一人脸对应的第一坐标信息更新第M-1帧图像中第s个第二人脸对应的第二坐标信息。参考图3，也就是说，更新人脸跟踪队列时，将队列中人脸信息(包括人脸在图像中的坐标和人脸的外切图形的面积)保持为最新状态，以便于对人脸的后期处理。例如，在直播美颜过程中，人脸A在位置a处时被第一次识别后，系统针对人脸A进行美颜；在后续图像中，人脸A的位置信息更改为位置b，则需提供无需再次针对人脸A进行美颜，而是根据“位置a-位置b”的位置变化信息，将之前的美颜操作也发生相应的变化“位置a-位置b”，则人脸A在位置b处也可以呈现出被美颜处理的效果。

若所述稀疏位置关系矩阵F的第s行元素的值全为0，则执行步骤 S403：将第s个第一人脸添加至第M帧图像对应的人脸跟踪队列的队尾。以得到所述第M帧图像对应的人脸跟踪队列。

在示例性的实施例中，再次参考稀疏位置关系矩阵F1，其第4行元素的值全部为0，说明图像32中的第4张人脸相对于图像31来说是一张新人脸(即在图像31中没有出现过的人脸)。此时，将图像32中的第4张人脸d1添加至图像32对应的人脸跟踪队列的队尾，已完成对人脸跟踪队列的更新。

图5示出了根据本发明的另一实施例的人脸跟踪队列的确定方法的流程示意图，图5提供了一种根据稀疏位置关系矩阵F的列向量更新人脸跟踪队列的方法。参考图5，该方法包括步骤S501-步骤S503。

在步骤S501中，判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0。其中，1≤r≤h。

在示例性的实施例中，由于矩阵的每行或每列只有一个元素为1，则一种可行的实施方式为：将所述稀疏位置关系矩阵F的第r列元素的值求和，若所述和等于0，则确定所述稀疏位置关系矩阵F的第r列元素的值全为0。另一种可行的实施方式为：将所述稀疏位置关系矩阵F 的第r列元素的值作为一二进制数，若所述二进制数是否等于0，则确定所述稀疏位置关系矩阵F的第r列元素的值全为0。再一种可行的实施方式为：由于稀疏位置关系矩阵F是稀疏矩阵，使用二进制方式存储 F，还可以使用与0进行逻辑或判断，此种方式的计算效率是普通求和运算的几十倍。

若所述稀疏位置关系矩阵F的第r列元素的值全为0，则执行步骤 S502：将所述原始人脸跟踪队列中的第r个第二人脸删除。以得到所述第M帧图像对应的人脸跟踪队列。

在步骤S502中，由于稀疏位置关系矩阵F的列向量描述第M-1帧中人脸相对于第M帧中人脸的位置关系，则稀疏位置关系矩阵F的第r 列元素I_ir的值全为0，那么说明第M-1帧中的第r张人脸在第M帧中的没有出现。进而，需将第r张人脸在人脸跟踪队列中删除。

在示例性的实施例中，为了避免人脸在当前帧中暂时性消失，例如：人脸被遮挡造成在当前帧中无法被发现，因而在本发明实施例中，采用延迟预设时长后，再次判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0的方式，避免对人脸的误删。

示例性的，参考图3，假如图像33为图4所示实施例中的第M帧图像，图像32为图4所示实施例中的第M-1帧图像。可见，图像32包括 a2、b2、c2、d1四张人脸，图像33包括b3、c3、d2三张人脸，图像33 相对于图像32消失了一张人脸a2。根据图像32和图像33确定的大小为 3*4的稀疏位置关系矩阵F2，表示为：

可见，F2中第1列的元素的值全为0，说明图像32中的第1张人脸与图像33中的任一张人脸都没有交集面积，也就是说，图像32中的第1张人脸在图像33中没有出现，在对人脸跟踪队列进行更新的时候，需要删除图像32中的第1张人脸a2。同时，为了避免发生误删的现象，在人脸跟踪队列33’中暂时不删除人脸a2。而是在处理图像34时，再次判断所述稀疏位置关系矩阵第1列元素的值是否全为0，若仍然全为0，则认为图像32中的第1张人脸a2的确消失，从而，在更新人脸跟踪队列时删除图像a2。

若所述稀疏位置关系矩阵F的第r列元素的值并非全为0，则执行步骤S503：对跟踪队列不进行删除所述第二人脸的处理。而是根据图4 所示实施例对稀疏位置关系矩阵中的行进行判断并进行对应处理。

综合图3至图5所示各个实施例，完成根据稀疏位置关系矩阵F对人脸跟踪队列的更新，通过将待处理视频的图像中人脸以向量化表示，并进一步通过向量确定稀疏位置关系矩阵的方式，可以有效提高对视频处理的效率。进一步地，根据稀疏位置关系矩阵对人脸跟踪队列进行更新，通过对数字化向量的处理进一步提高了对视频的处理效率。在实时地更新的人脸跟踪队列的同时，本发明实施例可以并行地对更新的人脸跟踪队列进行后续处理。例如上述实施例中的直播美颜过程。

图6示出了根据本发明的另一实施例的视频的处理方法的流程示意图。参考图6，该视频的处理方法包括步骤S601-步骤S605。

在步骤S601中，在待处理视频中获取第M帧图像中包含至少一张人脸的第一人脸位置信息和第M-1帧图像中包含至少一张人脸的第二人脸位置信息；以及在步骤S602中，根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；

在示例性的实施例中，步骤S601、步骤S602的具体实现与图1中的步骤S101、步骤S102的具体实现相同，在此不再赘述。

在步骤S603中，确定所述第一人脸的第一人脸属性向量，所述第一人脸属性向量包括：所述第一人脸位置信息和对所述第一人脸图像的更新次数信息；以及

确定所述第二人脸的第二人脸属性向量，所述第二人脸属性向量包括：所述第二人脸位置信息和对所述第二人脸图像的更新次数信息。

在示例性的实施例中，人脸跟踪队列Q可以是一个多维关系矩阵，表示为：Q＝{q₁,q₂,…,q_i,…,q_n}，q_i＝{R_i,e_i,d_i}。

其中，q_i表示跟踪队列中第i张人脸的属性向量，R_i的含义与上述实施例相同，e_i表示第i张人脸存在且被更新的次数，d_i表示第i张人脸消失且没被更新的次数。

在示例性的实施例中，对于人脸跟踪队列Q中跟新次数，对视频进行后续处理。例如：举行宴会时的采用的“人脸迎宾”，“人脸迎宾” 过程中，对于人脸跟踪队列中的人脸，确定人脸对应的人员信息，对于更新次数为0的任一人脸播报欢迎词，例如“欢迎xx先生的到来”等。而对于更新次数大于0的任一人脸，不再播放欢迎词，从而保证不会对来宾重复重复进行识别和播报欢迎词等操作。

在步骤S604中，基于所述人脸相对位置关系，对所述第一人脸属性向量和/或所述第二人脸属性向量进行处理，得到所述第M帧图像对应的人脸跟踪队列。

在示例性的实施例中，步骤S604的具体实现与图3至图5所示实施例相同，在此不再赘述。

在步骤S605中，根据所述人脸跟踪队列中每张人脸属性向量的更新次数信息，对所述第M帧图像对应的人脸跟踪队列进行处理。

图6所示实施例提供的技术方案中，基于向量化跟踪队列的人脸跟踪过程数据存储与更新，可以实现人脸检测与跟踪、直播中美颜等算法的全并行化处理。

图7示出了根据本发明的再一实施例的视频的处理方法的流程示意图。参考图7，该视频的处理方法包括步骤S701-步骤S707。

在步骤S701中，选定待处理的视频流或视频文件。在步骤S702中，开始人脸检测。在步骤S703中，从第一次检测到人脸开始，初始化人脸跟踪队列。在步骤S704中，利用前后帧中检测到的多张人脸矩形向量，分别计算相互间测交叠关系，并构建稀疏位置关系矩阵。在步骤 S705中，利用稀疏位置关系矩阵，计算当前帧中的多张人脸的操作：需要向跟踪队列中增加新人脸、从跟踪队列中删除旧人脸、利用当前人脸更新跟踪队列中的旧人脸。在步骤S706中，跟踪队列更新，并基于队列中每一个子向量中记录的更新次数和未被更新次数的数值，对跟踪队列中的每一张人脸进行更新；其中，更新过程也包括：需要向跟踪队列中增加新人脸、从跟踪队列中删除旧人脸、利用当前人脸更新跟踪队列中的旧人脸。在步骤S707中，输出跟踪队列，以供人脸识别、美颜、质检等应用使用。

根据图7所示实施例提供的技术方案可知，本技术方案提供的视频的处理方法为基于视频的人脸识别多类应用提供一种人脸跟踪与过滤方法，可以极大的提高视频处理性能，大大降低人脸识别后台处理的压力。

以下介绍本发明的装置实施例，可以用于执行本发明上述的视频的处理方法。

图8示出了根据本发明的实施例的视频的处理装置的结构示意图，参考图8，视频的处理装置800，包括：获取模块801、确定模块802 和处理模块803。

获取模块801用于在待处理视频中获取第M帧图像中第一人脸位置信息和第M-1帧图像中第二人脸位置信息；

确定模块802用于根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；

处理模块803用于基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述视频的处理，M为大于1的正整数。

由于本发明的示例实施例的视频的处理装置的各个功能模块与上述视频的处理方法的示例实施例的步骤对应，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的视频的处理方法的实施例。

下面参考图9，其示出了适于用来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备的计算机系统900 仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908 加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出 (I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的视频的处理方法。

例如，所述的电子设备可以实现如图1中所示的：步骤S101，在待处理视频中获取第M帧图像中包含至少一张人脸的第一人脸位置信息和第M-1帧图像中包含至少一张人脸的第二人脸位置信息；步骤 S102，根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；步骤S103，基于所述人脸相对位置关系，根据所述第M 帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述待处理视频的处理，M为大于1的正整数。

又如，所述的电子设备可以实现如图6所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种视频的处理方法，其特征在于，包括：

在待处理视频中获取第M帧图像中包含至少一张人脸的第一人脸位置信息和第M-1帧图像中包含至少一张人脸的第二人脸位置信息；

根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；

2.根据权利要求1所述的方法，其特征在于，

所述第一人脸位置信息包括：n个第一人脸对应的n个第一面积；

所述第二人脸位置信息包括：h个第二人脸对应的h个第二面积；

根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述n个第一人脸对应的n个第一面积和所述h个第二人脸对应的h个第二面积确定大小为n*h的稀疏位置关系矩阵，包括：

根据第i个第一人脸对应的第一面积和第j个第二人脸对应的第二面积的交集面积；

判断所述交集面积是否大于阈值面积；

若所述交集面积大于所述阈值面积，则稀疏位置关系矩阵F中的元素I_ij取值为1；

若所述交集面积小于或等于所述阈值面积，则稀疏位置关系矩阵F中的元素I_ij取值为0；

4.根据权利要求2所述的方法，其特征在于，所述第M-1帧图像对应的人脸跟踪队列为原始人脸跟踪队列，所述原始人脸队列包括所述h个第二人脸。

5.根据权利要求4所述的方法，其特征在于，基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，包括：

判断所述稀疏位置关系矩阵F的第s行元素的值是否包括1；

若所述稀疏位置关系矩阵F的第s行元素的值包括1，则使用第s个第一人脸更新原始图像跟踪队列中第s个第二人脸，得到所述第M帧图像对应的人脸跟踪队列，1≤s≤n。

6.根据权利要求5所述的方法，其特征在于，判断所述稀疏位置关系矩阵F的第s行元素的值是否包括1，包括：

将所述稀疏位置关系矩阵F的第s行元素的值求和，若所述和大于0，则确定所述稀疏位置关系矩阵F的第s行元素的值包括1；或

将所述稀疏位置关系矩阵F的第s行元素的值作为一二进制数，若所述二进制数大于0，则确定所述稀疏位置关系矩阵F的第s行元素的值包括1。

7.根据权利要求5或6所述的方法，其特征在于，

所述第一人脸位置信息还包括：在第M帧图像中n个第一人脸对应的n个第一坐标信息；

所述第二人脸位置信息包括：在第M-1帧图像中h个第二人脸对应的h个第二坐标信息；

使用第s个第一人脸更新原始图像跟踪队列中第s个第二人脸，包括：

8.根据权利要求5所述的方法，其特征在于，还包括：

9.根据权利要求4所述的方法，其特征在于，基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，包括：

判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0；

若所述稀疏位置关系矩阵F的第r列元素的值全为0，则将所述原始人脸跟踪队列中的第r个第二人脸删除，以得到所述第M帧图像对应的人脸跟踪队列，1≤r≤h。

10.根据权利要求9所述的方法，其特征在于，判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0，包括：

将所述稀疏位置关系矩阵F的第r列元素的值求和，若所述和等于0，则确定所述稀疏位置关系矩阵F的第r列元素的值全为0；或

将所述稀疏位置关系矩阵F的第r列元素的值作为一二进制数，若所述二进制数是否等于0，则确定所述稀疏位置关系矩阵F的第r列元素的值全为0。

11.根据权利要求9或10所述的方法，其特征在于，还包括：

若所述稀疏位置关系矩阵F的第r列元素的值全为0，则

延迟预设时长后，再次判断所述稀疏位置关系矩阵F的第r列元素的值是否全为0。

12.根据权利要求4所述的方法，其特征在于，基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，包括：

确定所述第一人脸的第一人脸属性向量，所述第一人脸属性向量包括：所述第一人脸位置信息和对所述第一人脸图像的更新次数信息；

确定所述第二人脸的第二人脸属性向量，所述第二人脸属性向量包括：所述第二人脸位置信息和对所述第二人脸图像的更新次数信息；

基于所述人脸相对位置关系，对所述第一人脸属性向量和/或所述第二人脸属性向量进行处理，得到所述第M帧图像对应的人脸跟踪队列。

13.根据权利要求12所述的方法，其特征在于，在得到所述第M帧图像对应的人脸跟踪队列之后，还包括：

14.一种视频的处理装置，其特征在于，包括：

获取模块，用于在待处理视频中获取第M帧图像中第一人脸位置信息和第M-1帧图像中第二人脸位置信息；

确定模块，用于根据所述第一人脸位置信息和所述第二人脸位置信息确定人脸相对位置关系；

处理模块，用于基于所述人脸相对位置关系，根据所述第M帧图像中第一人脸和所述第M-1帧图像中第二人脸，得到所述第M帧图像对应的人脸跟踪队列，以完成对所述视频的处理，M为大于1的正整数。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至13中任一项所述的视频的处理方法。

16.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至13中任一项所述的视频的处理方法。