CN113422910A - 视频处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于一种视频处理方法、装置、电子设备和存储介质。其中方法包括：获取待处理视频中的关键帧序列，该关键帧序列包括多帧关键图像，并检测出关键帧序列之中每帧关键图像中的至少一个人脸；提取每个人脸的特征数据；根据每个人脸的特征数据，确定每个人脸的人物类型；根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。本公开可以通过人脸特征数据确定视频中每个人脸所属的人物类型，这样，可根据不同的人物类型，对视频中的不同人脸进行不同的特效处理，从而实现对视频中不同人脸自动化添加不同脸部特效，丰富了脸部特效处理的多样性，简化了用户操作。

Description

视频处理方法、装置、电子设备和存储介质

技术领域

本公开涉及视频处理领域，尤其涉及一种视频处理方法、装置、电子设备和存储介质。

背景技术

在视频后期编辑过程中，用户常常有需求对视频画面中某个或多个特定的人物添加脸部特效，比如脸部添加马赛克特效、添加贴纸遮挡或者添加魔法表情等。然而，视频画面中的人物并不是静止不动的，如果要实现对某个人或某几个人添加脸部特效，其余人物不添加任何特效，对普通用户而言操作起来是比较繁琐且有困难的。

发明内容

本公开提供一种视频处理方法、装置、电子设备和存储介质，可以减少用户为视频中特定人物添加脸部特效的繁琐操作，可以在多个人物出现的视频中针对特定人物进行不同的添加特效，丰富了脸部特效处理的多样性。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，包括：

获取待处理视频中的关键帧序列；所述关键帧序列包括多帧关键图像；

检测出所述关键帧序列之中每帧关键图像中的至少一个人脸；

提取每个所述人脸的特征数据；

根据每个所述人脸的特征数据，确定每个所述人脸的人物类型；

根据所述每帧关键图像之中每个所述人脸的人物类型，对所述待处理视频中的人脸进行特效处理。

在本公开一些实施例中，所述根据每个所述人脸的特征数据，确定每个所述人脸的人物类型，包括：

将每个所述人脸的特征数据输入至经过训练的神经网络模型，获得每个所述人脸的人物类型；其中，所述神经网络模型已经学习得到人脸的特征数据与人物类型的映射关系。

在本公开一些实施例中，神经网络模型通过以下方式训练：

获取多个样本人脸的图像和/或视频；

提取所述图像和/或视频中的特征，获得所述多个样本人脸的特征数据；

将所述多个样本人脸的特征数据作为训练数据，根据所述训练数据对所述神经网络模型进行训练。

可选地，在本公开实施例中，在所述获得所述多个样本人脸的特征数据之后，所述方法还包括：

将所述多个样本人脸的特征数据进行存储。

在本公开一些实施例中，在所述将每个所述人脸的特征数据输入至经过训练的神经网络模型之前，所述方法还包括：

获取待添加特效的人物类型；

其中，所述将所述多个样本人脸的特征数据作为训练数据，包括：

根据所述待添加特效的人物类型，从存储的多个样本人脸的特征数据中获取所述待添加特效的人物的特征数据；

将所述待添加特效的人物的特征数据作为所述训练数据。

在本公开一些实施例中，所述根据所述每帧关键图像之中每个所述人脸的人物类型，对所述待处理视频中的人脸进行特效处理，包括：

确定待添加特效的人物类型；

根据所述每帧关键图像之中每个所述人脸的人物类型和所述待添加特效的人物类型，从所述每帧关键图像之中的所述至少一个人脸中确定出待添加特效的目标人脸；

根据所述目标人脸的人物类型获取与所述目标人脸对应的特效信息；

根据所述特效信息对所述待处理视频之中所述目标人脸进行对应的特效处理。

根据本公开实施例的第二方面，提供一种视频处理装置，包括：

第一获取单元，被配置为获取待处理视频中的关键帧序列；所述关键帧序列包括多帧关键图像；

检测单元，被配置为检测出所述关键帧序列之中每帧关键图像中的至少一个人脸；

提取单元，被配置为提取每个所述人脸的特征数据；

确定单元，被配置为根据每个所述人脸的特征数据，确定每个所述人脸的人物类型；

特效处理单元，被配置为根据所述每帧关键图像之中每个所述人脸的人物类型，对所述待处理视频中的人脸进行特效处理。

在本公开一些实施例中，所述确定单元具体被配置为：

将每个所述人脸的特征数据输入至经过训练的神经网络模型，获得每个所述人脸的人物类型；其中，所述神经网络模型已经学习得到人脸的特征数据与人物类型的映射关系。

在本公开一些实施例中，所述视频处理装置还包括：

模型训练单元，被配置为预先对神经网络模型进行训练；

其中，所述模型训练单元具体被配置为：

获取多个样本人脸的图像和/或视频；

提取所述图像和/或视频中的特征，获得所述多个样本人脸的特征数据；

将所述多个样本人脸的特征数据作为训练数据，根据所述训练数据对所述神经网络模型进行训练。

在本公开一些实施例中，所述模型训练单元还被配置为：

将所述多个样本人脸的特征数据进行存储。

在本公开一些实施例中，所述视频处理装置还包括：

第二获取单元，被配置为在所述将每个所述人脸的特征数据输入至经过训练的神经网络模型之前，获取待添加特效的人物类型；

其中，所述模型训练单元还被配置为：

根据所述待添加特效的人物类型，从存储的多个样本人脸的特征数据中获取所述待添加特效的人物的特征数据；

将所述待添加特效的人物的特征数据作为所述训练数据。

在本公开一些实施例中，所述特效处理单元具体被配置为：

确定待添加特效的人物类型；

根据所述每帧关键图像之中每个所述人脸的人物类型和所述待添加特效的人物类型，从所述每帧关键图像之中的所述至少一个人脸中确定出待添加特效的目标人脸；

根据所述目标人脸的人物类型获取与所述目标人脸对应的特效信息；

根据所述特效信息对所述待处理视频之中所述目标人脸进行对应的特效处理。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现本公开实施例第一方面所述的视频处理方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例第一方面所述的视频处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开实施例第一方面所述的视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

可通过获取待处理视频中的关键帧序列，并检测出关键帧序列之中每帧关键图像中的至少一个人脸，根据每个人脸的特征数据确定每个人脸的人物类型，并根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。由此，本公开通过人脸特征数据确定视频中每个人脸所属的人物类型，这样，可根据不同的人物类型，对视频中的不同人脸进行不同的特效处理，从而实现对视频中不同人脸自动化添加不同脸部特效，丰富了脸部特效处理的多样性，简化了用户操作。另外，本申请通过对关键帧序列中每帧的人脸持续添加特效，例如添加贴纸挡脸之后，人在运动的时候贴纸会跟随人脸运动，起到一直折叠的效果，不需要用户逐帧添加，实现了脸部特效的自动化添加，大大简化了用户操作。此外，在确定用户想对哪类人物添加特效时，可根据该待添加特效的人物类型从已存储的多个样本人脸的特征数据中获取待添加特效的人物的特征数据，以便基于该待添加特效的人物的特征数据对神经网络模型进行训练，使得该神经网络模型具有能够精准地从待处理视频中识别出用户想添加特效的人物类型。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开公开的实施例，并与说明书一起用于解释本公开公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频处理方法的流程图。

图2是根据另一示例性实施例示出的一种视频处理方法的流程图。

图3是根据又一示例性实施例示出的一种视频处理方法的流程图。

图4是根据另一示例性实施例示出的一种视频处理方法的流程图。

图5是根据一示例性实施例示出的一种视频处理装置框图。

图6是根据另一示例性实施例示出的一种视频处理装置框图。

图7是根据一示例性实施例示出的一种电子设备700的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在视频后期编辑过程中，用户常常有需求对视频画面中某个或多个特定的人物添加脸部特效，比如脸部添加马赛克特效、添加贴纸遮挡或者添加魔法表情等。然而，视频画面中的人物并不是静止不动的，如果要实现对某个人或某几个人添加脸部特效，其余人物不添加任何特效，对普通用户而言操作起来是比较繁琐且有困难的。例如，用户可以利用关键帧技术来手动添加特效，贴纸效果在多个关键帧之间随时间变化产生位移效果，使其能和视频画面中人脸对应上。然而，用户需要添加很多关键帧才能使贴纸效果尽量和视频画面中人物脸部移动对应上，并且操作比较复杂，如果需要对多个人物添加效果就更加繁琐。

目前，通过使用人脸识别检测到视频中每一帧画面里的所有人脸位置，对视频画面中所有人脸都自动添加特效。然而，这种方式是对画面中所有人物添加相同特效，而某些场景下对所有人物添加相同特效显然是不合适的，例如，男女同框出现时，给所有人物添加“烈焰红唇”的效果就不太合适。

为了解决现有技术中的技术问题，本公开提供了一种视频处理方法、装置、电子设备和存储介质。具体地，下面参考附图描述本公开实施例的视频处理方法、装置、电子设备和存储介质。

图1是根据一示例性实施例示出的一种视频处理方法的流程图，如图1所示，该视频处理方法用于本公开实施例的视频处理装置，该视频处理装置可被配置于电子设备中。该视频处理方法可以包括以下步骤。

在步骤S11中，获取待处理视频中的关键帧序列，并检测出关键帧序列之中每帧关键图像中的至少一个人脸。

需要说明的是，在本公开一些实施例中，该待处理视频可以是已录制完成的视频，或者，该待处理视频还可以是直播视频或拍摄视频等。也就是说，本公开实施例的视频处理方法可应用于已录制完成的视频处理场景，或者，还可用于实时视频处理，比如直播、拍摄等场景。

在本公开实施例中，在确定用户需要对某个视频中的人脸进行脸部特效处理时，可先提取出该待处理视频中的关键帧序列，该关键帧序列包括多帧关键图像。例如，可通过采用关键帧提取模型对该待处理视频进行关键帧的提取，从而可以获得该待处理视频中的关键帧序列。又如，可通过指定位置的方式获取该待处理视频中的关键帧序列，该方式不考虑视频的具体内容与视频的变化趋势，采用相对固定的位置作为关键帧，比如确定镜头起止点后，直接取第一帧、最后一帧、中间帧或最接近所有帧平均值的一帧作为关键帧。再如，可通过聚类分析将视频镜头的帧分成若干类，选取最靠近聚类中心的点表示聚类的点，最终形成视频序列的关键帧集合。再例如，可分析镜头内发生显著内容变化的方式。该方式顺序地处理视频序列，关注视频在时间轴上的变化显著程度。第一个关键帧通常取镜头的第一帧，按顺序遍历所有帧，当变化达到一定程度(即达到阈值)时，就将达到阈值的帧作为下一关键帧，从而可以获得待处理视频的关键帧序列。

在本公开实施例中，在获得关键帧序列之后，可利用基于深度学习的人脸识别算法检测该关键帧序列之中每帧关键图像中的人脸。例如，可基于深度学习的人脸识别算法训练出人脸识别模型，通过该人脸识别模型检测出关键帧序列之中每帧关键图像中的一个或多个人脸，或者，可检测出关键帧序列之中每帧关键图像中的所有人脸。

在步骤S12中，提取每个人脸的特征数据。

在本公开实施例中，可通过采用人脸特征提取模型提取人脸的特征数据。也就是说，可将从关键帧序列之中每帧关键图像中检测出的人脸输入到人脸特征模型中。通过该人脸特征提取模型对每个人脸的特征进行提取。需要说明的是，该人脸特征提取模型可以是预先利用深度学习技术对训练数据进行模型训练而得到的。本公开对人脸特征提取模型的训练方式不做具体限定。

需要说明的是，在本公开实施例中，上述特征数据可包括但不限于：头发颜色、头发长度、眼睛的类型、眼睛的大小、皮肤、眉形等中的一种或多种，对此本公开不做具体限定。

在步骤S13中，根据每个人脸的特征数据，确定每个人脸的人物类型。

可以理解，根据人脸的特征数据确定该人脸的人物类型的方式有很多种，例如，可以预先建立特征数据库，该特征数据库中包含有不同人物类型的参考特征数据，这样，可将待处理的人脸的特征数据与该特征数据库中的参考特征数据进行相似度计算，根据相似度计算结果确定该待处理人脸所属的人物类型。

又如，可通过预先建立神经网络模型来确定人脸的人物类型。其中，该神经网络模型通过学习可以得到人脸特征数据与人物类型之间的对应关系。这样，可通过将从视频关键帧序列之中每帧关键图像中检测出的人脸输入到该神经网络中，来确定出每个人脸的人物类型。

在步骤S14中，根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。

在本公开实施例中，在确定出每帧关键图像之中每个人脸的人物类型时，可根据不同的人物类型，对该待处理视频中的不同人脸进行不同的特效处理。例如，假设检测出视频关键帧序列中某帧关键图像中有A、B、C三个人脸，确定出A人脸和C人脸所属的人物类型为a，B人脸所属的人物类型为b，则可根据A、B、C三个人脸的人物类型，对视频中的A人脸和C人脸进行马赛克特效处理，对视频中的B人脸添加魔法表情特效处理，这样即使A、B、C三个人脸同时出现在视频画面中也能够对这三个人脸进行不同的特效处理，从而实现对视频中不同人脸自动化添加不同脸部特效。

根据本公开实施例的视频处理方法，可通过获取待处理视频中的关键帧序列，并检测出关键帧序列之中每帧关键图像中的人脸，根据每个人脸的特征数据确定每个人脸的人物类型，并根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。由此，本公开通过人脸特征数据确定视频中每个人脸所属的人物类型，这样，可根据不同的人物类型，对视频中的不同人脸进行不同的特效处理，从而实现对视频中不同人脸自动化添加不同脸部特效，丰富了脸部特效处理的多样性，简化了用户操作。

需要说明的是，在本公开实施例中，可通过训练数据预先建立神经网络模型，使得该神经网络模型学习人脸特征数据与人物类型之间的映射关系，这样，可通过神经网络模型来确定视频中每个人脸的人物类型。如图2所示，本公开实施例的视频处理方法可以包括如下步骤。

在步骤S21中，获取待处理视频中的关键帧序列，并检测出关键帧序列之中每帧关键图像中的至少一个人脸。

在本申请的实施例中，步骤S21可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S22中，提取每个人脸的特征数据。

在本申请的实施例中，步骤S22可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S23中，将每个人脸的特征数据输入至经过训练的神经网络模型，获得每个人脸的人物类型。

其中，在本公开实施例中，上述神经网络模型已经学习得到人脸的特征数据与人物类型的映射关系。需要说明的是，可通过特定人脸图像作为训练数据建立该神经网络模型，这样，可根据该神经网络模型对特定人脸进行分类，判断视频中每一帧画面中不同人脸属于哪一个人物，从而对于不同的人物类型对视频中的不同人脸进行区别添加特效。

作为一种示例，如图3所示，可通过如下步骤预先训练该神经网络模型：

在步骤S31中，获取多个样本人脸的图像和/或视频。

其中，在本公开实施例中，该多个样本人脸可理解为多个不同的特定人物的人脸。其中，该特定人物可理解为需要添加特效的人脸。作为一种示例，可获取多张需要添加特效的人脸图像或视频作为样本数据。

为了提高模型的精确度，可通过增加样本数据的方式来提高模型识别效果。例如，在获得样本人脸的图像时，可通过对该图像进行不同视角的处理，以获得不同角度的图像，这样，不同角度的图像数目越多，可以使得训练得到的模型的识别效果越准确。

在步骤S32中，提取图像和/或视频中的特征，获得多个样本人脸的特征数据。

在本公开实施例中，可通过采用人脸特征提取模型提取样本人脸的特征数据。例如，可将样本人脸的图像输入到人脸特征模型中。通过该人脸特征提取模型对样本人脸的特征进行提取。需要说明的是，该人脸特征提取模型可以是预先利用深度学习技术对训练数据进行模型训练而得到的。本公开对人脸特征提取模型的训练方式不做具体限定。

需要说明的是，在本公开实施例中，上述特征数据可包括但不限于：头发颜色、头发长度、眼睛的类型、眼睛的大小、皮肤、眉形等中的一种或多种，对此本公开不做具体限定。

在步骤S33中，将多个样本人脸的特征数据作为训练数据，根据训练数据对神经网络模型进行训练。

例如，可将样本人脸的特征数据作为训练数据，采用深度学习技术根据训练数据对神经网络进行训练，得到训练数据的人物类型预测结果，将该人物类型预测结果与该训练数据的人物类型真实值进行差异程度的计算，根据该差异程度调整模型参数，进而利用训练数据对经过参数调整后的神经网络模型进行进一步训练，直至模型迭代次数满足预设次数或者模型的识别效果满足目标条件为止。

由此，通过特定人脸照片作为训练数据建立神经网络模型，再根据神经网络模型对特定人脸进行分类，确定每一帧画面不同人脸属于哪一个人物进行区别添加特效。

在步骤S24中，根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。

在本公开一些实施例中，可确定待添加特效的人物类型，并根据每帧关键图像之中每个人脸的人物类型和待添加特效的人物类型，从每帧关键图像之中的所述至少一个人脸中确定出待添加特效的目标人脸；根据目标人脸的人物类型获取与目标人脸对应的特效信息；根据特效信息对待处理视频之中目标人脸进行对应的特效处理。

作为一种示例，上述待添加特效的人物类型可以是由用户需求来确定。例如，假设本公开实施例的视频处理方法可为用户提供待添加特效的人物类型的设置界面，用户可通过该在设置界面上设置需要对哪一个或哪几个人物添加不同的特效。比如，该设置界面上具有人物类型的设置入口以及对应特效的设置入口，这样，如果用户想对人物a和人物b添加魔法表情特效，想对人物c添加马赛克特效，则可通过在该设置界面上进行设置。这样，可获取该用户的设置信息，通过该设置信息确定用户需求，从而确定出待添加特效的人物类型，此时可将该待添加特效的人物类型与待处理视频中人脸的人物类型进行匹配，根据匹配结果从待处理视频之中的至少一个人脸中确定出需要添加特效的目标人脸，以便对待处理视频之中该目标人脸进行对应的特效处理。

根据本公开实施例的视频处理方法，可通过训练数据预先建立神经网络模型，使得该神经网络模型学习人脸特征数据与人物类型之间的映射关系，这样，可根据神经网络模型对特定人脸进行分类，确定每一帧画面不同人脸属于哪一个人物进行区别添加特效，可以减少用户为视频中特定人物添加脸部特效的繁琐操作，可以在多个人物出现的视频中针对特定人物进行不同的添加特效，丰富了脸部特效处理的多样性，简化了用户操作。

为了使得本领域技术人员更加清楚了解本公开，下面将结合图4进行详细描述。

如图4所示，本公开实施例的视频处理方法可包括如下步骤。

在步骤S41中，获取多个样本人脸的图像和/或视频。

在本申请的实施例中，步骤S41可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S42中，提取图像和/或视频中的特征，获得多个样本人脸的特征数据。

在本申请的实施例中，步骤S42可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S43中，将多个样本人脸的特征数据进行存储。

也就是说，在得到不同用户人脸的特征数据之后，可将不同用户人脸的特征数据分别进行存储，以便下次使用时提取出来组合使用。

在步骤S44中，获取待添加特效的人物类型。

作为一种示例，上述待添加特效的人物类型可以是由用户需求来确定。例如，假设本公开实施例的视频处理方法可为用户提供待添加特效的人物类型的设置界面，用户可通过该在设置界面上设置需要对哪一个或哪几个人物添加不同的特效。比如，该设置界面上具有人物类型的设置入口以及对应特效的设置入口，这样，如果用户想对人物a和人物b添加魔法表情特效，想对人物c添加马赛克特效，则可通过在该设置界面上进行设置。这样，可获取该用户的设置信息，通过该设置信息确定用户需求，从而确定出待添加特效的人物类型，此时可将该待添加特效的人物类型与待处理视频中人脸的人物类型进行匹配，根据匹配结果从待处理视频之中的至少一个人脸中确定出需要添加特效的目标人脸，以便对待处理视频之中该目标人脸进行对应的特效处理。

在步骤S45中，根据待添加特效的人物类型，从存储的多个样本人脸的特征数据中获取待添加特效的人物的特征数据。

例如，在确定用户想对哪类人物添加特效时，可根据该待添加特效的人物类型从已存储的多个样本人脸的特征数据中获取待添加特效的人物的特征数据，以便基于该待添加特效的人物的特征数据对神经网络模型进行训练，使得该神经网络模型具有能够精准地从待处理视频中识别出用户想添加特效的人物类型。

在步骤S46中，将待添加特效的人物的特征数据作为训练数据，根据训练数据对神经网络模型进行训练。

在本申请的实施例中，步骤S46可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S47中，获取待处理视频中的关键帧序列，并检测出关键帧序列之中每帧关键图像中的至少一个人脸。

在本申请的实施例中，步骤S47可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S48中，提取每个人脸的特征数据。

在本申请的实施例中，步骤S48可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

在步骤S49中，将每个人脸的特征数据输入至经过训练的神经网络模型，获得每个人脸的人物类型。

在本公开实施例中，可将每个人脸的特征数据输入至经过训练的神经网络模型，通过相似度是否在可接受阈值内判断每个人脸的特征数据是否属于用户想添加特效的人物的人脸。举例而言，假设用户想对人物a和人物b添加魔法表情特效，画面中出现A、B、C三个人脸，通过神经网络模型判断出A人脸与a人物相似度极高，B人脸与b人物相似度极高、C人脸相似度都不在两个人脸模型的阈值内，则A人脸属于人物a，B人脸属于人物b，C人脸则不是要添加特效的人脸。如果出现A、C人脸都在该人物a阈值内，则选择相似度最高的人脸判断为人物a的人脸。

在步骤S410中，根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。

在本申请的实施例中，步骤S410可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

根据本公开实施例的视频处理方法，在确定用户想对哪类人物添加特效时，可根据该待添加特效的人物类型从已存储的多个样本人脸的特征数据中获取待添加特效的人物的特征数据，以便基于该待添加特效的人物的特征数据对神经网络模型进行训练，使得该神经网络模型具有能够精准地从待处理视频中识别出用户想添加特效的人物类型。

为了实现上述实施例，本公开还提出了一种视频处理装置。

图5是根据一示例性实施例示出的一种视频处理装置框图。参照图5，该装置包括第一获取单元51、检测单元52、提取单元53、确定单元54和特效处理单元55。

其中，第一获取单元51被配置为获取待处理视频中的关键帧序列；关键帧序列包括多帧关键图像；。

检测单元52被配置为检测出关键帧序列之中每帧关键图像中的至少一个人脸。

提取单元53被配置为提取每个人脸的特征数据。

确定单元54被配置为根据每帧关键图像之中每个人脸的特征数据，确定每个人脸的人物类型。作为一种示例，确定单元54将每个人脸的特征数据输入至经过训练的神经网络模型，获得每个人脸的人物类型；其中，神经网络模型已经学习得到人脸的特征数据与人物类型的映射关系。

特效处理单元55被配置为根据每个人脸的人物类型，对待处理视频中的人脸进行特效处理。作为一种示例，特效处理单元55确定待添加特效的人物类型；根据每帧关键图像之中每个人脸的人物类型和待添加特效的人物类型，从每帧关键图像之中的至少一个人脸中确定出待添加特效的目标人脸；根据目标人脸的人物类型获取与目标人脸对应的特效信息；根据特效信息对待处理视频之中目标人脸进行对应的特效处理。

在本公开一些实施例中，如图6所示，该装置还可包括模型训练单元66。模型训练单元66被配置为预先对神经网络模型进行训练。其中，在本公开实施例中，模型训练单元66具体被配置为：获取多个样本人脸的图像和/或视频；提取图像和/或视频中的特征，获得多个样本人脸的特征数据；将多个样本人脸的特征数据作为训练数据，根据训练数据对神经网络模型进行训练。

在本公开一些实施例中，模型训练单元66还被配置为：将多个样本人脸的特征数据进行存储。其中，在本公开实施例中，如图6所示，该装置还可包括第二获取单元67。第二获取单元67被配置为在将每个人脸的特征数据输入至经过训练的神经网络模型之前，获取待添加特效的人物类型。其中，在本公开实施例中，模型训练单元66根据待添加特效的人物类型，从存储的多个样本人脸的特征数据中获取待添加特效的人物的特征数据，并将待添加特效的人物的特征数据作为训练数据。其中，图6中61～65和图5中51～55具有相同功能和结构。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开实施例的视频处理装置，可通过获取待处理视频中的关键帧序列，并检测出关键帧序列之中每帧关键图像中的至少一个人脸，根据每个人脸的特征数据确定每个人脸的人物类型，并根据每帧关键图像之中每个人脸的人物类型，对待处理视频中的人脸进行特效处理。由此，本公开通过人脸特征数据确定视频中每个人脸所属的人物类型，这样，可根据不同的人物类型，对视频中的不同人脸进行不同的特效处理，从而实现对视频中不同人脸自动化添加不同脸部特效，丰富了脸部特效处理的多样性，简化了用户操作。

为了实现上述实施例，本公开还提供了一种电子设备，图7是根据一示例性实施例示出的一种电子设备700的框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述视频处理方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备700的处理器执行时，使得电子设备700能够执行一种视频处理方法。

一种计算机程序产品，当计算机程序产品中的指令由电子设备700的处理器执行时，使得电子设备700能够执行一种视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

获取待处理视频中的关键帧序列；所述关键帧序列包括多帧关键图像；

检测关键帧序列之中每帧关键图像中的至少一个人脸；

提取每个所述人脸的特征数据；

根据每个所述人脸的特征数据，确定每个所述人脸的人物类型；

根据所述每帧关键图像之中每个所述人脸的人物类型，对所述待处理视频中的人脸进行特效处理。

2.根据权利要求1所述的视频处理方法，其特征在于，所述根据每个所述人脸的特征数据，确定每个所述人脸的人物类型，包括：

将每个所述人脸的特征数据输入至经过训练的神经网络模型，获得每个所述人脸的人物类型；其中，所述神经网络模型已经学习得到人脸的特征数据与人物类型的映射关系。

3.根据权利要求2所述的视频处理方法，其特征在于，神经网络模型通过以下方式训练：

获取多个样本人脸的图像和/或视频；

提取所述图像和/或视频中的特征，获得所述多个样本人脸的特征数据；

将所述多个样本人脸的特征数据作为训练数据，根据所述训练数据对所述神经网络模型进行训练。

4.根据权利要求3所述的视频处理方法，其特征在于，在所述获得所述多个样本人脸的特征数据之后，所述方法还包括：

将所述多个样本人脸的特征数据进行存储。

5.根据权利要求4所述的视频处理方法，其特征在于，在所述将每个所述人脸的特征数据输入至经过训练的神经网络模型之前，所述方法还包括：

获取待添加特效的人物类型；

其中，所述将所述多个样本人脸的特征数据作为训练数据，包括：

根据所述待添加特效的人物类型，从存储的多个样本人脸的特征数据中获取所述待添加特效的人物的特征数据；

将所述待添加特效的人物的特征数据作为所述训练数据。

6.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述每帧关键图像之中每个所述人脸的人物类型，对所述待处理视频中的人脸进行特效处理，包括：

确定待添加特效的人物类型；

根据所述每帧关键图像之中每个所述人脸的人物类型和所述待添加特效的人物类型，从所述每帧关键图像之中的所述至少一个人脸中确定出待添加特效的目标人脸；

根据所述目标人脸的人物类型获取与所述目标人脸对应的特效信息；

根据所述特效信息对所述待处理视频之中所述目标人脸进行对应的特效处理。

7.一种视频处理装置，其特征在于，包括：

第一获取单元，被配置为获取待处理视频中的关键帧序列；所述关键帧序列包括多帧关键图像；

检测单元，被配置为检测出关键帧序列之中每帧关键图像中的至少一个人脸；

提取单元，被配置为提取每个所述人脸的特征数据；

确定单元，被配置为根据每个所述人脸的特征数据，确定每个所述人脸的人物类型；

特效处理单元，被配置为根据所述每帧关键图像之中每个所述人脸的人物类型，对所述待处理视频中的人脸进行特效处理。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频处理方法。

9.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的视频处理方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的视频处理方法。

Images