CN110264544B - 图片处理方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种图片处理方法和装置、存储介质及电子装置。其中，该方法包括：获取包含人物面部图像的待处理图片；对待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，表情信息用于表示人脸表情；在滤镜集合中确定出与表情信息所表示的人脸表情匹配的目标滤镜；使用目标滤镜对待处理图片进行处理，得到目标图片。本发明解决了相关技术中为图片添加滤镜效率低的技术问题。

Description

图片处理方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种图片处理方法和装置、存储介质及电子装置。

背景技术

相关技术中，在用户拍摄图片或视频后，在展示之前，通常可以为图片或视频添加滤镜，从而提高图片或者视频的美观。然而，相关技术中，通常是需要由用户手动的为图片或者视频添加滤镜，如从多个滤镜中选择一个添加到图片或者视频中去，或者由系统自动地为图片或者视频添加滤镜。

然而，若是采用上述方法，由于滤镜是由用户手动添加到图片或视频中的，从而造成滤镜的添加效率低。而若是由系统自动为图片或视频添加滤镜，则造成添加的滤镜与图片或视频的内容关联性弱，同样造成为图片或视频添加滤镜的效率低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图片处理方法和装置、存储介质及电子装置，以至少解决相关技术中为图片添加滤镜效率低的技术问题。

根据本发明实施例的一个方面，提供了一种图片处理方法，包括：获取包含人物面部图像的待处理图片；对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；使用所述目标滤镜对所述待处理图片进行处理，得到目标图片。

根据本发明实施例的另一方面，还提供了一种图片处理装置，包括：获取单元，用于获取包含人物面部图像的待处理图片；识别单元，用于对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；确定单元，用于在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；处理单元，用于使用所述目标滤镜对所述待处理图片进行处理，得到目标图片。

作为一种可选的示例，所述处理单元包括：合成模块，用于将所述目标滤镜合成到所述待处理图片中，得到所述目标图片。

根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图片处理方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图片处理方法。

在本发明实施例中，通过获取包含人物面部图像的待处理图片，对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜，使用所述目标滤镜对所述待处理图片进行处理，得到目标图片的方法来对待处理图片进行处理，从而可以在为待处理图片添加滤镜时，根据待处理图片中的人脸表情为待处理图片添加滤镜，提高了为图片添加滤镜的效率，进而解决了相关技术中为图片添加滤镜效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图片处理方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的图片处理方法的流程示意图；

图3是根据本发明实施例的另一种可选的图片处理方法的流程示意图；

图4是根据本发明实施例的一种可选的图片处理方法的示意图；

图5是根据本发明实施例的另一种可选的图片处理方法的示意图；

图6是根据本发明实施例的又一种可选的图片处理方法的示意图；

图7是根据本发明实施例的又一种可选的图片处理方法的示意图；

图8是根据本发明实施例的又一种可选的图片处理方法的示意图；

图9是根据本发明实施例的一种可选的图片处理装置的结构示意图；

图10是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种图片处理方法，可选地，作为一种可选的实施方式，上述图片处理方法可以但不限于应用于如图1所示的环境中。

图1中用户102与用户设备104之间可以进行人机交互。用户设备104中包含有存储器106，用于存储交互数据、处理器108，用于处理交互数据。用户设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有数据库114，用于存储交互数据、处理引擎116，用于处理交互数据。图1中的用户设备104可以获取需要处理的待处理图片，并在获取到待处理图片之后，可以识别待处理图片中的人物的面部图像的人脸表情，并识别得到人脸表情，比如说开心，然后根据识别得到的人脸表情确定为待处理图片添加的滤镜，并使用确定出的滤镜对待处理图片进行处理，得到处理后的目标图片。

通过本实施例，通过上述方法，从而在为图片添加滤镜的过程中，可以由计算机自动的为图片添加与图片中人物表情关联的滤镜，提高了添加滤镜的效率。

可选地，上述图片处理方法可以但不限于应用于可以计算数据的终端上，例如手机、平板电脑、笔记本电脑、PC机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器可以包括但不限于任何可以进行计算的硬件设备。

可选地，作为一种可选的实施方式，如图2所示，上述图片处理方法包括：

S202，获取包含人物面部图像的待处理图片；

S204，对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；

S206，在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；

S208，使用所述目标滤镜对所述待处理图片进行处理，得到目标图片。

可选地，上述图片处理方法可以但不限于应用于对图片进行处理的过程中。上述图片可以但不限于为拍照获取的图片、下载的图片、分享的图片，直播获取到的视频中的一帧图片、录制的视频中的一帧图片、分享的视频中的一帧图片。

例如，将上述图片处理方法应用在对终端拍照获取到的图片进行处理的过程中。在获取到终端拍照获取到的图片之后，对图片中的人物面部图像进行识别，得到人物的表情，并根据人物表情从滤镜集合中确定出与人物表情匹配的目标滤镜，并使用目标滤镜对拍照获取的照片进行处理，得到处理后的目标照片。

或者，将上述图片处理方法应用到对直播过程中，获取到的直播内容的一帧图片进行处理的过程中。在直播过程中，终端接收直播视频，并对直播视频中的每一帧进行处理。终端识别每一帧图片中的人物面部图像，得到人物的表情，并根据人物表情从滤镜集合中确定出与人物表情匹配的目标滤镜，并使用目标滤镜对拍照获取的照片进行处理，得到处理后的一帧一帧图片。

通过本实施例，通过上述方法，从而在为图片添加滤镜的过程中，可以由计算机自动的为图片添加与图片中人物表情关联的滤镜，提高了添加滤镜的效率。

可选地，在本方案中，如果在识别待处理图片时，检测到待处理图片中不包括人物面部图像，如待处理图片为风景照片，或者待处理图片中人物背对镜头，则无法检测出人脸表情，此时，终端可以不为待处理图片添加目标滤镜，或者，终端发出提示，提示待处理图片中不包括人物的面部图像。

可选地，本方案中在识别人物的人物面部图像的过程中，可以使用经过训练的表情分类模型识别人物的人物面部图像，得到包涵人脸表情的表情信息。

例如，在进行识别之前，获取到多张用于对表情分类模型进行训练的训练样本图片，每一张训练样本图片中包括至少一个人物面部图像，与该人物面部图像所对应的人脸表情。将样本图片输入到表情分类模型中，对表情分类模型进行训练，直到表情分类模型成熟。如表情分类模型的识别误差率小于一个值。在表情分类模型成熟后，将成熟的表情分类模型投入使用，对待处理图片中的人物面部图像进行识别，得到包含人脸表情的表情信息。

可选地，在获取到表情分类模型所输出的表情信息之后，表情信息中可以包括一个表情参数，上述表情参数可以用于表示识别出的人物的表情的可能性。如表情参数为0.2，则可以表示为识别出的表情为开心的可能性最高，识别出的表情为伤心的可能性较低，或者表情参数为0.7，表示识别出的表情为伤心的可能性较高，识别出的表情为开心的可能性较低。不同的表情参数对应一个人物最可能的表情。在确定出表情参数后，从滤镜集合中获取与表情参数匹配的目标滤镜。不同的表情参数可以设置不同的目标滤镜。

可选地，在根据表情参数确定目标滤镜的过程中，可以先确定表情参数所在的参数区间。如确定出表情参数位于0.2-0.4之间，则确定出的目标滤镜为滤镜集合中的滤镜1，若是确定出表情参数位于0.8-1.0之间，则确定出目标滤镜为滤镜集合中的滤镜2。然后再通过目标滤镜对待处理图片进行处理。

可选地，上述情况为表情信息包含表情参数的情况，上述方法需要预先建立一个滤镜集合，滤镜集合中包括多个滤镜，不同的滤镜参数或者不同的滤镜参数区间对应不同的滤镜。而若是表情信息中包括了表情类型与表情参数，则需要预先建立起多个不同类型的滤镜集合。

如表情分类模型可能输出的表情类型有5个，则需要预先建立5个不同的滤镜集合，不同的滤镜集合中包括有不同类型的滤镜。如表情分类模型输出的表情类型为开心，则需要从与开心对应的滤镜集合中获取目标滤镜，若是表情分类模型输出的表情类型为伤心，则需要与伤心对应的滤镜集合中获取目标滤镜。在确定出表情类型后，根据表情类型确定选择滤镜的滤镜集合，然后根据表情信息中的表情参数确定目标滤镜。如不同的滤镜参数对应一个滤镜集合中不同的滤镜。此时，可以将表情参数对应的滤镜确定为目标滤镜。

可选地，在确定目标滤镜的过程中，在确定出表情类型所在的滤镜集合之后，还可以确定表情参数所在的参数区间，每一个表情参数所在的参数区间对应该滤镜集合中的一个滤镜。在确定出参数区间后，从该滤镜集合中确定出与参数区间对应的滤镜，将确定出的滤镜作为目标滤镜，并对待处理图片进行处理，得到目标图片。

需要说明的是，本方案中预先建立滤镜集合时，可以预先建立一个滤镜集合，该滤镜集合中包括了对应所有的人脸表情的滤镜。或者，预先建立多个滤镜集合，每一个滤镜集合与一种人脸表情匹配，在识别得到人脸表情后，到对应的滤镜集合中确定目标滤镜。

在确定出目标滤镜之后，将目标滤镜添加到待处理图片之上，得到目标图片。

可选地，结合图3与具体示例进行说明。如图3中的步骤S302到步骤S310所示，在获取到待处理图片之后，首先需要对人脸进行检测与对人脸的五官进行定位。在对人脸进行检测时，若是检测不到人脸，则可以提示图片不包含人物面部图像。若是检测到人脸，则需要对人脸中的各个器官部位进行定位。利用人脸识别技术进行用户的人脸各器官定位，形成人脸83点定位坐标。如图4所示，对于待处理图片中的人脸中的器官上的不同的定位点对应不同的坐标。图4中人物的嘴部对应十六个点，不同的点对应不同的坐标，图4中仅示出了四个点的坐标。

在确定出人物面部图像中的各个器官的定位点坐标后，可以提取特征，并由表情分类模型确定人脸表情。人脸表情的变化一般伴随着五官轮廓形状的大幅改变。基于这个认识，我们采用了人脸轮廓形状与纹理相结合的识别方案。首先对输入的人脸进行脸部配准提取了人脸83个特征点，中心归一化后形成形状向量，另外，在一些脸部关键点位置(眉毛、眼睛、鼻子、嘴巴等部位)提取局部Gabor特征组成纹理向量。最后组合这两种特征利用表情分类模型进行识别，得到表情信息。表情信息中包含识别得到的表情类型与表情参数。

在模型设计中，采用深度卷积神经网络模型将人脸表情特征提取与表情分类融合到一个end-to-end的网络中，分别采用VGG19和Resnet18来完成表情的识别与分类。

VGG19的每一个小块有一个卷积层，一个BatchNorm层，一个relu层和一个平均池化层来构成。而resnet是由两个卷积层，两个BatchNorm层组成，而且每个resnet磨灭快输入输出段还有快捷链接。

在全连接层前可以加入dropout策略，增加了模型鲁棒性。还可以去掉VGG19和Resnet18中的多个全连接层，直接在一个全连接层后分为多类识别人物面部表情。

在设计中，还需要使用损失函数。如交叉熵损失函数。交叉熵损失函数的数学表达式为：

L＝-[ylogy'+(1-y)lo9(1-y')] (1)

其中，y为标识的类型，y为0或者1，y′为网络预测的属于某一类的概率值。交叉熵损失函数使得网络预测一张图片属于正确类的概率值最大。该损失函数是深度学习分类问题最常用的损失函数。

在交叉熵损失函数所计算的到的结果小于一个预定阈值时，则需要对模型中的参数如权重进行调整，并重新使用损失函数计算结果，直到计算出的结果大于或等于预定阈值，此时模型的准确度大于了一个值。如大于了90％。使用该模型进行人脸识别，得到表情类型与表情参数。

在识别得到表情类型与表情参数后，首先确定滤镜集合。如，表情类型一共分为5种，开心、惊讶、悲伤、愤怒和无表情。每一种表情对应一个滤镜集合，滤镜集合中包括与表情对应的一个或多个滤镜，如每一个滤镜集合中包括5个滤镜。在识别得到表情类型为开心，表情参数为0.767393后，对应查找到与开心对应的滤镜集合，并从与开心对应的滤镜集合中的5个滤镜中选择一个滤镜作为目标滤镜。在确定目标滤镜时，先确定表情参数，表情参数为0.767393，所在区间为0.7-0.9，则对应匹配表情参数为平均0.8的滤镜。如匹配到滤镜4为目标滤镜，然后将目标滤镜添加到待处理图片上。此时，可以通过opencv将目标滤镜添加到待处理图片之上。得到美化完成的目标图片，并输出显示目标图片。

或者，本方案中在识别得到表情参数之后，还可以选择与表情参数最近的预设表情参数。例如，预先设置多个预设表情参数，分别为0.2、0.4、0.6、0.8、1.0，在获取到表情参数如0.76后，最近的预设表情参数为0.8，然后将预设表情参数0.8对应的滤镜作为表情参数0.76对应的滤镜，并使用确定出的滤镜对待处理图片进行处理。

如图5-6所示，在图5中检测到人脸表情为开心，然后确定出目标滤镜为带有星星效果的滤镜后，将滤镜添加到待处理图片之上，得到目标图片，如图6所示，目标图片中携带有添加的星星等装饰。

可选地，若是待处理图片中包含有多个人物面部图像，则需要对每一个人物面部图像进行识别，然后确定目标滤镜。在确定目标滤镜时，可以以距离镜头最近的人物面部图像确定目标滤镜，或者以识别出的表情类型最多的人物面部图像确定目标滤镜，或者分别以每一个人物面部图像确定出一个滤镜，并取该滤镜或该滤镜的一部分，显示在人物面部图像的周围预定范围内。例如，在确定出待处理图片中包含有两个人物面部图像的时候，如图7所示，图7中包含人物面部图像702与人物面部图像704。在分别识别得到人物面部图像702对应的滤镜如星星装饰和与人物面部图像704如对应的滤镜如月亮装饰后，可以将星星装饰显示在人物面部图像702的周围，将月亮装饰显示在人物面部图像704的周围。两个滤镜接触的部分可以使用淡化或者过度的方式进行处理，以避免接触的部分差别明显。结果可以如图8所示，星星装饰802显示在人物面部图像702的附近，月亮装饰804显示在人物面部图像704的附近。

通过本实施例，通过获取包含人物面部图像的待处理图片，对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜，使用所述目标滤镜对所述待处理图片进行处理，得到目标图片的方法来对待处理图片进行处理，从而可以在为待处理图片添加滤镜时，根据待处理图片中的人脸表情为待处理图片添加滤镜，提高了为图片添加滤镜的效率。

作为一种可选的实施方案，所述在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜包括：

S1，在所述表情信息包括表情参数的情况下，获取所述表情参数；

S2，根据所述表情参数，从滤镜集合中获取与所述表情参数匹配的所述目标滤镜。

可选地，在对图片识别模型进行训练时，可以设置图片识别模型输出一个表情参数，在图片识别模型识别待处理图片的人物面部图像之后，得到表情参数，并根据表情参数确定目标滤镜。

通过本实施例，通过根据表情参数从滤镜集合中确定出目标滤镜，从而在保证了为图片添加滤镜的效率的同时，还提高了确定目标滤镜的准确度。

作为一种可选的实施方案，所述根据所述表情参数，从滤镜集合中获取与所述表情参数匹配的所述目标滤镜包括：

S1，确定所述表情参数所在的参数区间；

S2，从所述滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，不同的所述参数区间对应不同的所述目标滤镜。

例如，人脸表情为开心时，识别出的表情参数的区间为0-0.2，对应的滤镜为滤镜1，人脸表情为伤心时，识别出的表情参数的区间为0.2-0.4，对应的滤镜为滤镜2，人脸表情为无表情时，识别出的表情参数的区间为04-0.6，对应的滤镜为滤镜3，人脸表情为愤怒时，识别出的表情参数的区间为0.6-0.8，对应的滤镜为滤镜4，人脸表情为难过时，识别出的表情参数的区间为08-1.0，对应的滤镜为滤镜5。在识别得到表情参数为0.76之后，选择滤镜4作为目标滤镜。

或者，预先设置不同的预设表情参数，如0.2、0.4、0.6、0.8、1.0，，不同的预设表情参数对应不同的滤镜。在识别得到表情参数如0.76之后，选择最近的预设表情参数0.8，并将预设表情参数0.8对应的滤镜确定为目标滤镜。

通过本实施例，通过上述方法确定目标滤镜，从而减少了需要预先准备的滤镜的数量，在提高为图片添加滤镜的效率的同时，还提高了准备滤镜的效率。

作为一种可选的实施方案，所述在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜包括：

S1，在所述表情信息包括表情参数与表情类型的情况下，获取所述表情参数与所述表情类型；

S2，根据所述表情参数，从与所述表情类型匹配的滤镜集合中获取与所述表情参数匹配的所述目标滤镜。

可选地，在对图片识别模型进行训练时，可以设置图片识别模型输出一个表情类型与一个表情参数，在图片识别模型识别待处理图片的人物面部图像之后，得到表情类型与表情参数，并根据表情参数从与表情类型匹配的滤镜集合中确定目标滤镜。

通过本实施例，通过上述方法确定目标滤镜，从而在提高为图片添加滤镜的效率的同时，还提高了确定目标滤镜的准确性。

作为一种可选的实施方案，所述根据所述表情参数，从与所述表情类型匹配的滤镜集合中获取与所述表情参数匹配的所述目标滤镜包括：

S1，确定所述表情参数所在的参数区间；

S2，从与所述表情类型匹配的滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，在一个所述滤镜集合中，不同的所述参数区间对应不同的所述目标滤镜。

例如，表情类型分为开心、惊讶、悲伤、愤怒和无表情五种，每一种分别对应一个滤镜集合。在识别得到人脸表情为开心，识别出的表情参数的区间为0.3时，根据表情类型，确定需要从开心对应的滤镜集合中确定目标滤镜。然后根据表情参数为0.36，位于区间0.2-0.4之间，然后确定出与区间0.2-0.4对应的目标滤镜。或者，在识别出表情参数为0.36后，0.36距离最近的预设表情参数0.4最近，则将预设表情参数0.4对应的滤镜确定为目标滤镜。

通过本实施例，通过上述方法确定目标滤镜，从而减少了需要预先准备的滤镜的数量，在提高为图片添加滤镜的效率的同时，还提高了准备滤镜的效率。

作为一种可选的实施方案，在获取包含人物面部图像的待处理图片之前，还包括：

S1，预先建立所述滤镜集合，其中，所述滤镜集合中包括多个所述目标滤镜。

本实施例中可以预先建立一个滤镜集合或者预先建立多个滤镜集合。若是建立一个滤镜集合，则所有的滤镜都在该滤镜集合内，若是建立多个滤镜集合，则每一种表情类型都对应一种滤镜集合。

通过本实施例，通过预先建立滤镜集合，从而在识别得到表情信息后，根据表情信息直接从滤镜集合中确定出目标滤镜，从而提高了图片添加滤镜的效率。

作为一种可选的实施方案，所述使用所述目标滤镜对所述待处理图片进行处理，得到目标图片包括：

S1，将所述目标滤镜合成到所述待处理图片中，得到所述目标图片。

可选地，本实施例中，可以直接将目标滤镜以图层的形式添加到待处理了图片之上，或者通过opencv，将目标滤镜合成到待处理图片上。

通过本实施例，通过上述方法得到目标图片，从而简化了合成目标滤镜与待处理图片的步骤，提高了图片添加滤镜的效率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述图片处理方法的图片处理装置。如图9所示，该装置包括：

(1)获取单元902，用于获取包含人物面部图像的待处理图片；

(2)识别单元904，用于对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；

(3)确定单元906，用于在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；

(4)处理单元908，用于使用所述目标滤镜对所述待处理图片进行处理，得到目标图片。

可选地，上述图片处理装置可以但不限于应用于对图片进行处理的过程中。上述图片可以但不限于为拍照获取的图片、下载的图片、分享的图片，直播获取到的视频中的一帧图片、录制的视频中的一帧图片、分享的视频中的一帧图片。

例如，将上述图片处理装置应用在对照片进行处理的过程中。在获取到拍照获取到的图片之后，对图片中的人物面部图像进行识别，得到人物的表情，并根据人物表情从滤镜集合中确定出与人物表情匹配的目标滤镜，并使用目标滤镜对拍照获取的照片进行处理，得到处理后的目标照片。

或者，将上述图片处理装置应用到对直播过程中，获取到的直播内容的一帧图片进行处理的过程中。在直播过程中，接收直播视频，并对直播视频中的每一帧进行处理。识别每一帧图片中的人物面部图像，得到人物的表情，并根据人物表情从滤镜集合中确定出与人物表情匹配的目标滤镜，并使用目标滤镜对拍照获取的照片进行处理，得到处理后的一帧一帧图片。

通过本实施例，通过上述方法，从而在为图片添加滤镜的过程中，可以由计算机自动的为图片添加与图片中人物表情关联的滤镜，提高了添加滤镜的效率。

可选地，在本方案中，如果在识别待处理图片时，检测到待处理图片中不包括人物面部图像，如待处理图片为风景照片，或者待处理图片中人物背对镜头，则无法检测出人脸表情，此时，终端可以不为待处理图片添加目标滤镜，或者，终端发出提示，提示待处理图片中不包括人物的面部图像。

可选地，本方案中在识别人物的人物面部图像的过程中，可以使用经过训练的表情分类模型识别人物的人物面部图像，得到包涵人脸表情的表情信息。

例如，在进行识别之前，获取到多张用于对表情分类模型进行训练的训练样本图片，每一张训练样本图片中包括至少一个人物面部图像，与该人物面部图像所对应的人脸表情。将样本图片输入到表情分类模型中，对表情分类模型进行训练，直到表情分类模型成熟。如表情分类模型的识别误差率小于一个值。在表情分类模型成熟后，将成熟的表情分类模型投入使用，对待处理图片中的人物面部图像进行识别，得到包含人脸表情的表情信息。

可选地，在获取到表情分类模型所输出的表情信息之后，表情信息中可以包括一个表情参数，上述表情参数可以用于表示识别出的人物的表情的可能性。如表情参数为0.2，则可以表示为识别出的表情为开心的可能性最高，识别出的表情为伤心的可能性较低，或者表情参数为0.7，表示识别出的表情为伤心的可能性较高，识别出的表情为开心的可能性较低。不同的表情参数对应一个人物最可能的表情。在确定出表情参数后，从滤镜集合中获取与表情参数匹配的目标滤镜。不同的表情参数可以设置不同的目标滤镜。

可选地，在根据表情参数确定目标滤镜的过程中，可以先确定表情参数所在的参数区间。如确定出表情参数位于0.2-0.4之间，则确定出的目标滤镜为滤镜集合中的滤镜1，若是确定出表情参数位于0.8-1.0之间，则确定出目标滤镜为滤镜集合中的滤镜2。然后再通过目标滤镜对待处理图片进行处理。

可选地，上述情况为表情信息包含表情参数的情况，上述方法需要预先建立一个滤镜集合，滤镜集合中包括多个滤镜，不同的滤镜参数或者不同的滤镜参数区间对应不同的滤镜。而若是表情信息中包括了表情类型与表情参数，则需要预先建立起多个不同类型的滤镜集合。

如表情分类模型可能输出的表情类型有5个，则需要预先建立5个不同的滤镜集合，不同的滤镜集合中包括有不同类型的滤镜。如表情分类模型输出的表情类型为开心，则需要从与开心对应的滤镜集合中获取目标滤镜，若是表情分类模型输出的表情类型为伤心，则需要与伤心对应的滤镜集合中获取目标滤镜。在确定出表情类型后，根据表情类型确定选择滤镜的滤镜集合，然后根据表情信息中的表情参数确定目标滤镜。如不同的滤镜参数对应一个滤镜集合中不同的滤镜。此时，可以将表情参数对应的滤镜确定为目标滤镜。

可选地，在确定目标滤镜的过程中，在确定出表情类型所在的滤镜集合之后，还可以确定表情参数所在的参数区间，每一个表情参数所在的参数区间对应该滤镜集合中的一个滤镜。在确定出参数区间后，从该滤镜集合中确定出与参数区间对应的滤镜，将确定出的滤镜作为目标滤镜，并对待处理图片进行处理，得到目标图片。

需要说明的是，本方案中预先建立滤镜集合时，可以预先建立一个滤镜集合，该滤镜集合中包括了对应所有的人脸表情的滤镜。或者，预先建立多个滤镜集合，每一个滤镜集合与一种人脸表情匹配，在识别得到人脸表情后，到对应的滤镜集合中确定目标滤镜。

在确定出目标滤镜之后，将目标滤镜添加到待处理图片之上，得到目标图片。

可选地，结合图3与具体示例进行说明。如图3中的步骤S302到步骤S310所示，在获取到待处理图片之后，首先需要对人脸进行检测与对人脸的五官进行定位。在对人脸进行检测时，若是检测不到人脸，则可以提示图片不包含人物面部图像。若是检测到人脸，则需要对人脸中的各个器官部位进行定位。利用人脸识别技术进行用户的人脸各器官定位，形成人脸83点定位坐标。如图4所示，对于待处理图片中的人脸中的器官上的不同的定位点对应不同的坐标。图4中人物的嘴部对应十六个点，不同的点对应不同的坐标，图4中仅示出了四个点的坐标。

在确定出人物面部图像中的各个器官的定位点坐标后，可以提取特征，并由表情分类模型确定人脸表情。人脸表情的变化一般伴随着五官轮廓形状的大幅改变。基于这个认识，我们采用了人脸轮廓形状与纹理相结合的识别方案。首先对输入的人脸进行脸部配准提取了人脸83个特征点，中心归一化后形成形状向量，另外，在一些脸部关键点位置(眉毛、眼睛、鼻子、嘴巴等部位)提取局部Gabor特征组成纹理向量。最后组合这两种特征利用表情分类模型进行识别，得到表情信息。表情信息中包含识别得到的表情类型与表情参数。

在识别得到表情类型与表情参数后，首先确定滤镜集合。如，表情类型一共分为5种，开心、惊讶、悲伤、愤怒和无表情。每一种表情对应一个滤镜集合，滤镜集合中包括与表情对应的一个或多个滤镜，如每一个滤镜集合中包括5个滤镜。在识别得到表情类型为开心，表情参数为0.767393后，对应查找到与开心对应的滤镜集合，并从与开心对应的滤镜集合中的5个滤镜中选择一个滤镜作为目标滤镜。在确定目标滤镜时，先确定表情参数，表情参数为0.767393，所在区间为0.7-0.9，则对应匹配表情参数为平均0.8的滤镜。如匹配到滤镜4为目标滤镜，然后将目标滤镜添加到待处理图片上。此时，可以通过opencv将目标滤镜添加到待处理图片之上。得到美化完成的目标图片，并输出显示目标图片。

或者，本方案中在识别得到表情参数之后，还可以选择与表情参数最近的预设表情参数。例如，预先设置多个预设表情参数，分别为0.2、0.4、0.6、0.8、1.0，在获取到表情参数如0.76后，最近的预设表情参数为0.8，然后将预设表情参数0.8对应的滤镜作为表情参数0.76对应的滤镜，并使用确定出的滤镜对待处理图片进行处理。

如图5-6所示，在图5中检测到人脸表情为开心，然后确定出目标滤镜为带有星星效果的滤镜后，将滤镜添加到待处理图片之上，得到目标图片，目标图片中携带有添加的星星等装饰。

可选地，若是待处理图片中包含有多个人物面部图像，则需要对每一个人物面部图像进行识别，然后确定目标滤镜。在确定目标滤镜时，可以以距离镜头最近的人物面部图像确定目标滤镜，或者以识别出的表情类型最多的人物面部图像确定目标滤镜，或者分别以每一个人物面部图像确定出一个滤镜，并取该滤镜的一部分，显示在人物面部图像的周围预定范围内。例如，在确定出待处理图片中包含有两个人物面部图像的时候，如图7所示，图7中包含人物面部图像702与人物面部图像704。在分别识别得到人物面部图像702对应的滤镜如星星装饰和与人物面部图像704如对应的滤镜如月亮装饰后，可以将星星装饰显示在人物面部图像702的周围，将月亮装饰显示在人物面部图像704的周围。两个滤镜接触的部分可以使用淡化或者过度的方式进行处理，以避免接触的部分差别明显。结果可以如图8所示，星星装饰802显示在人物面部图像702的附近，月亮装饰804显示在人物面部图像804的附近。

通过本实施例，通过获取包含人物面部图像的待处理图片，对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜，使用所述目标滤镜对所述待处理图片进行处理，得到目标图片的方法来对待处理图片进行处理，从而可以在为待处理图片添加滤镜时，根据待处理图片中的人脸表情为待处理图片添加滤镜，提高了为图片添加滤镜的效率。

作为一种可选的实施方案，上述确定单元906包括：

(1)第一获取模块，用于在所述表情信息包括表情参数的情况下，获取所述表情参数；

(2)第二获取模块，用于根据所述表情参数，从滤镜集合中获取与所述表情参数匹配的所述目标滤镜。

可选地，在对图片识别模型进行训练时，可以设置图片识别模型输出一个表情参数，在图片识别模型识别待处理图片的人物面部图像之后，得到表情参数，并根据表情参数确定目标滤镜。

通过本实施例，通过根据表情参数从滤镜集合中确定出目标滤镜，从而在保证了为图片添加滤镜的效率的同时，还提高了确定目标滤镜的准确度。

作为一种可选的实施方案，上述第二获取模块包括：

(1)第一确定子模块，用于确定所述表情参数所在的参数区间；

(2)第一获取子模块，用于从所述滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，不同的所述参数区间对应不同的所述目标滤镜。

例如，人脸表情为开心时，识别出的表情参数的区间为0-0.2，对应的滤镜为滤镜1，人脸表情为伤心时，识别出的表情参数的区间为0.2-0.4，对应的滤镜为滤镜2，人脸表情为无表情时，识别出的表情参数的区间为04-0.6，对应的滤镜为滤镜3，人脸表情为愤怒时，识别出的表情参数的区间为0.6-0.8，对应的滤镜为滤镜4，人脸表情为难过时，识别出的表情参数的区间为08-1.0，对应的滤镜为滤镜5。在识别得到表情参数为0.76之后，选择滤镜4作为目标滤镜。

或者，预先设置不同的预设表情参数，如0.2、0.4、0.6、0.8、1.0，，不同的预设表情参数对应不同的滤镜。在识别得到表情参数如0.76之后，选择最近的预设表情参数0.8，并将预设表情参数0.8对应的滤镜确定为目标滤镜。

通过本实施例，通过上述方法确定目标滤镜，从而减少了需要预先准备的滤镜的数量，在提高为图片添加滤镜的效率的同时，还提高了准备滤镜的效率。

作为一种可选的实施方案，上述确定单元包括：

(1)第三获取模块，用于在所述表情信息包括表情参数与表情类型的情况下，获取所述表情参数与所述表情类型；

(2)第四获取模块，用于根据所述表情参数，从与所述表情类型匹配的滤镜集合中获取与所述表情参数匹配的所述目标滤镜。

可选地，在对图片识别模型进行训练时，可以设置图片识别模型输出一个表情类型与一个表情参数，在图片识别模型识别待处理图片的人物面部图像之后，得到表情类型与表情参数，并根据表情参数从与表情类型匹配的滤镜集合中确定目标滤镜。

通过本实施例，通过上述方法确定目标滤镜，从而在提高为图片添加滤镜的效率的同时，还提高了确定目标滤镜的准确性。

作为一种可选的实施方案，上述第四获取模块包括：

(1)第二确定子模块，用于确定所述表情参数所在的参数区间；

(2)第二获取子模块，用于从与所述表情类型匹配的滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，在一个所述滤镜集合中，不同的所述参数区间对应不同的所述目标滤镜。

例如，表情类型分为开心、惊讶、悲伤、愤怒和无表情五种，每一种分别对应一个滤镜集合。在识别得到人脸表情为开心，识别出的表情参数的区间为0.3时，根据表情类型，确定需要从开心对应的滤镜集合中确定目标滤镜。然后根据表情参数为0.36，位于区间0.2-0.4之间，然后确定出与区间0.2-0.4对应的目标滤镜。或者，在识别出表情参数为0.36后，0.36距离最近的预设表情参数0.4最近，则将预设表情参数0.4对应的滤镜确定为目标滤镜。

通过本实施例，通过上述方法确定目标滤镜，从而减少了需要预先准备的滤镜的数量，在提高为图片添加滤镜的效率的同时，还提高了准备滤镜的效率。

作为一种可选的实施方案，上述装置还包括：

(1)建立单元，用于在获取包含人物面部图像的待处理图片之前，预先建立所述滤镜集合，其中，所述滤镜集合中包括多个所述目标滤镜。

本实施例中可以预先建立一个滤镜集合或者预先建立多个滤镜集合。若是建立一个滤镜集合，则所有的滤镜都在该滤镜集合内，若是建立多个滤镜集合，则每一种表情类型都对应一种滤镜集合。

通过本实施例，通过预先建立滤镜集合，从而在识别得到表情信息后，根据表情信息直接从滤镜集合中确定出目标滤镜，从而提高了图片添加滤镜的效率。

作为一种可选的实施方案，上述处理单元908包括：

(1)合成模块，用于将所述目标滤镜合成到所述待处理图片中，得到所述目标图片。

可选地，本实施例中，可以直接将目标滤镜以图层的形式添加到待处理了图片之上，或者通过opencv，将目标滤镜合成到待处理图片上。

通过本实施例，通过上述方法得到目标图片，从而简化了合成目标滤镜与待处理图片的步骤，提高了图片添加滤镜的效率。

根据本发明实施例的又一个方面，还提供了一种用于实施上述图片处理方法的电子装置，如图10所示，该电子装置包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取包含人物面部图像的待处理图片；

S2，对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；

S3，在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；

S4，使用所述目标滤镜对所述待处理图片进行处理，得到目标图片。

可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。

其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的图片处理方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图片处理方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储滤镜与待处理图片等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述图片处理装置中的获取单元902、识别单元904、确定单元906与处理单元908。此外，还可以包括但不限于上述图片处理装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1008，用于显示目标图片；和连接总线1010，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取包含人物面部图像的待处理图片；

S2，对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；

S3，在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；

S4，使用所述目标滤镜对所述待处理图片进行处理，得到目标图片。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图片处理方法，其特征在于，包括：

获取包含人物面部图像的待处理图片；

对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；

在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；

使用所述目标滤镜对所述待处理图片进行处理，得到目标图片；

所述在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜包括：

在所述表情信息包括表情参数的情况下，获取所述表情参数；

根据所述表情参数，从滤镜集合中获取与所述表情参数匹配的所述目标滤镜；

所述根据所述表情参数，从滤镜集合中获取与所述表情参数匹配的所述目标滤镜包括：

确定所述表情参数所在的参数区间；

从所述滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，不同的所述参数区间对应不同的所述目标滤镜。

2.根据权利要求1所述的方法，其特征在于，所述在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜包括：

在所述表情信息包括表情参数与表情类型的情况下，获取所述表情参数与所述表情类型；

根据所述表情参数，从与所述表情类型匹配的滤镜集合中获取与所述表情参数匹配的所述目标滤镜。

3.根据权利要求2所述的方法，其特征在于，所述根据所述表情参数，从与所述表情类型匹配的滤镜集合中获取与所述表情参数匹配的所述目标滤镜包括：

确定所述表情参数所在的参数区间；

从与所述表情类型匹配的滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，在一个所述滤镜集合中，不同的所述参数区间对应不同的所述目标滤镜。

4.根据权利要求1所述的方法，其特征在于，在获取包含人物面部图像的待处理图片之前，还包括：

预先建立所述滤镜集合，其中，所述滤镜集合中包括多个所述目标滤镜。

5.根据权利要求1所述的方法，其特征在于，所述使用所述目标滤镜对所述待处理图片进行处理，得到目标图片包括：

将所述目标滤镜合成到所述待处理图片中，得到所述目标图片。

6.一种图片处理装置，其特征在于，包括：

获取单元，用于获取包含人物面部图像的待处理图片；

识别单元，用于对所述待处理图片中的人物面部图像的人脸表情进行识别，得到表情信息，其中，所述表情信息用于表示所述人脸表情；

确定单元，用于在滤镜集合中确定出与所述表情信息所表示的所述人脸表情匹配的目标滤镜；

处理单元，用于使用所述目标滤镜对所述待处理图片进行处理，得到目标图片；

所述确定单元包括：

第一获取模块，用于在所述表情信息包括表情参数的情况下，获取所述表情参数；

第二获取模块，用于根据所述表情参数，从滤镜集合中获取与所述表情参数匹配的所述目标滤镜；

所述第二获取模块包括：

第一确定子模块，用于确定所述表情参数所在的参数区间；

第一获取子模块，用于从所述滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，不同的所述参数区间对应不同的所述目标滤镜。

7.根据权利要求6所述的装置，其特征在于，所述确定单元包括：

第三获取模块，用于在所述表情信息包括表情参数与表情类型的情况下，获取所述表情参数与所述表情类型；

第四获取模块，用于根据所述表情参数，从与所述表情类型匹配的滤镜集合中获取与所述表情参数匹配的所述目标滤镜。

8.根据权利要求7所述的装置，其特征在于，所述第四获取模块包括：

第二确定子模块，用于确定所述表情参数所在的参数区间；

第二获取子模块，用于从与所述表情类型匹配的滤镜集合中获取与所述参数区间匹配的目标滤镜，其中，在一个所述滤镜集合中，不同的所述参数区间对应不同的所述目标滤镜。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

建立单元，用于在获取包含人物面部图像的待处理图片之前，预先建立所述滤镜集合，其中，所述滤镜集合中包括多个所述目标滤镜。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序运行时执行所述权利要求1至5任一项中所述的方法。

11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。