CN112561822B - 美颜方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理技术，具体涉及美颜方法、装置、电子设备及存储介质，所述方法包括：获取原始图像以及所述原始图像对应的人脸特征图；对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图；将所述至少一个美颜特征图进行融合处理，得到全局美颜特征图；对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图；根据所述全局美颜特征图、所述边缘美颜特征图以及所述原始图像，进行融合处理确定所述原始图像对应的美颜图像。由于在融合处理中结合了全局美颜特征图、边缘美颜特征图以及原始图像，利用原始图像以及边缘模糊特征图中的全局信息，可以保证原始图像对应的美颜图像的背景清晰度。

Description

美颜方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及美颜方法、装置、电子设备及存储介质。

背景技术

在视频会议场景中，随着视频清晰度的提高，人们对于自己出现在视频端的形象更加关注。因此，与会人员希望能够在会议中使用美颜的效果，提高参会人员的精神面貌，增加与会人员的自信心。

目标视频会议中使用的大多是全局的美颜算法，所谓全局美颜算法就是对输入的全图中的每个像素进行处理。然而，这种全局的美颜算法不仅对与会人员进行美颜处理，也会对背景区域进行相应的处理，就会导致背景模糊且还会出现视觉伪影，无法保证视频会议的质量。

发明内容

有鉴于此，本发明实施例提供了一种美颜方法、装置、电子设备及存储介质，以解决现有全局美颜导致的背景模糊及视觉伪影问题。

根据第一方面，本发明实施例提供了一种美颜方法，包括：

获取原始图像以及所述原始图像对应的人脸特征图；

对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图；

对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图；

将所述至少一个美颜特征图进行融合处理，得到全局美颜特征图；

根据所述全局美颜特征图、所述边缘美颜特征图以及所述原始图像，进行融合处理确定所述原始图像对应的美颜图像。

本发明实施例提供的美颜方法，由于在融合处理中结合了全局美颜特征图、边缘美颜特征图以及原始图像，利用原始图像以及边缘模糊特征图中的全局信息(即，背景信息与人脸信息)可以保证原始图像对应的美颜图像的背景清晰度；且对人脸特征图进行边缘模糊化处理还可以减少后续融合的视觉伪影，提高了美颜图像的清晰度。

结合第一方面，在第一方面第一实施方式中，所述对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图，包括：

将所述原始图像输入可配置功能性网络中，输出第一美颜特征图，所述可配置功能性网络的类型与所述可配置功能性网络的设置参数相关，所述可配置功能性网络的类型包括美白网络、美黑网络、饱和度调节网络或对比度调节网络；

将所述第一美颜特征图输入磨皮网络中，输出第二美颜特征图，所述第二美颜特征图包括边缘特征信息特征图以及对应于每个像素点的权重信息特征图。

本发明实施例提供的美颜方法，通过可配置功能性网络的参数可配置功能，利用同一网络结构就可以实现不同的功能，提高了该美颜方法的适用范围；其中，第二美颜特征图中的边缘特征信息图用于避免对不需要进行磨皮的区域进行处理，权重信息特征图用于表征不同的磨皮等级，其与用户设置参数的磨皮等级相关。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述将所述原始图像输入可配置功能性网络中，输出第一美颜特征图，包括：

获取所述可配置功能性网络的设置参数；

利用所述可配置功能性网络的设置参数，确定所述功能性网络的类型，以得到目标功能性网络；

基于所述目标功能性网络，对所述原始图像进行处理，输出所述第一美颜特征图。

本发明实施例提供的美颜方法，在获取到可配置功能网络的设置参数之后，就可以确定当前可配置网络的类型，以对原始图像进行相应的处理，使得输出的第一美颜特征图能够满足用户需求。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述基于所述目标功能性网络，对所述原始图像进行处理，输出所述第一美颜特征图，包括：

利用所述目标功能性网络中的数据缩放模块对所述原始图像进行数据处理，得到第一特征图；

利用所述可配置功能性网络中的运算模块对所述第一特征图进行运算处理，得到所述第一美颜特征图。

本发明实施例提供的美颜方法，由于功能性网络的功能就是对原始图像中的各个像素点进行像素值的处理，因此，直接利用相应的数据缩放模块以及运算模块对其进行数据及运算处理，在达到美颜处理的前提下提高了处理效率。

结合第一方面第一实施方式，在第一方面第四实施方式中，所述将所述第一美颜特征图输入磨皮网络中，输出第二美颜特征图，包括：

对所述美颜特征图进行池化处理，得到第一特征图；

对所述第一特征图分别进行边缘信息处理以及权重信息处理，得到所述边缘特征信息特征图以及所述权重信息特征图。

本发明实施例提供的美颜方法，所提供的边缘信息处理用于在后续的融合过程中对梯度变化比较小的区域进行处理，而对变化较大的区域就不需要进行处理，提高了美颜效果。

结合第一方面第四实施方式，在第一方面第五实施方式中，所述对所述第一特征图分别进行边缘信息处理以及权重信息处理，得到所述边缘特征信息特征图以及所述权重信息特征图，包括：

复制所述第一特征图得到第一特征子图以及第二特征子图；

对所述第一特征子图进行运算以及卷积处理，得到第二特征图；

对所述第二特征子图进行卷积处理，得到第三特征图；

对所述第三特征图进行运算处理后与所述第二特征图再次进行运算处理，得到第四特征图；

基于所述第四特征图得到所述边缘特征信息特征图，并基于所述第四特征图以及所述第三特征图得到所述权重信息特征图。

本发明实施例提供的美颜方法，磨皮网络也是针对功能性网络输出的第一美颜特征图中的各个像素点进行数据运算处理，利用网络模型中的各个运算层以及数据处理层就可以达到相应的效果，可以提高数据处理的效率。

结合第一方面，在第一方面第一实施方式至第五实施方式，在第一方面第六实施方式中，所述根据所述全局美颜特征图、所述美颜特征图以及所述原始图像，进行融合处理确定所述原始图像对应的美颜图像，包括：

将所述边缘模糊特征图分别与所述全局美颜特征图以及所述原始图像进行运算处理后，分别得到第一中间特征图以及第二中间特征图；

对所述第一中间特征图以及所述第二中间特征图进行运算处理，确定所述原始图像对应的美颜图像。

本发明实施例提供的美颜方法，融合处理时在全局美颜特征图的基础上，再结合边缘模糊特征图以及原始图像，利用相应的全局信息可以保证美颜图像中背景的清晰度。

结合第一方面，在第一方面第七实施方式中，所述对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图，包括：

对所述人脸特征图进行平均池化的处理，以得到所述边缘模糊特征图。

本发明实施例提供的美颜方法，由于平均池化操作等神经网络的方式可以在芯片上使用，可以节约CPU的占用率，给其他需要CPU的任务提供资源。

根据第二方面，本发明实施例提供了一种美颜装置，包括：

获取模块，用于获取原始图像以及所述原始图像对应的人脸特征图；

模糊模块，用于对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图；

美颜模块，用于对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图；

第一融合模块，用于将所述至少一个美颜特征图进行融合处理，得到全局美颜特征图；

第二融合模块，用于根据所述全局美颜特征图、所述美颜特征图以及所述原始图像进行融合处理，确定所述原始图像对应的美颜图像。

本发明实施例提供的美颜装置，由于在融合处理中结合了全局美颜特征图、边缘美颜特征图以及原始图像，利用原始图像以及边缘模糊特征图中的全局信息(即，背景信息与人脸信息)可以保证原始图像对应的美颜图像的背景清晰度；且对人脸特征图进行边缘模糊化处理还可以减少后续融合的视觉伪影，提高了美颜图像的清晰度。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的美颜方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的美颜方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的美颜方法的流程图；

图2是根据本发明实施例的美颜方法的流程图；

图3是根据本发明实施例的边缘模糊网络的结构框图；

图4是根据本发明实施例的目标功能性网络的结构框图；

图5是根据本发明实施例的磨皮网络的结构框图；

图6是根据本发明实施例的美颜方法的流程图；

图7是根据本发明实施例的第一次融合的结构框图；

图8是根据本发明实施例的融合网络的结构框图；

图9是根据本发明实施例的美颜方法的处理架构图；

图10是根据本发明实施例的美颜装置的结构框图；

图11是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的美颜方法，通过对原始图像进行美颜处理，得到全局美颜特征图；对原始图像进行边缘模糊化处理，得到边缘模糊特征图；最后将全局美颜特征图、边缘模糊特征图以及原始图像进行融合，得到原始图像对应的美颜图像。该方法将美颜与全局信息融合，可以保证背景清晰度。

进一步地，美颜处理、边缘模糊处理以及融合处理均是基于神经网络结构进行处理的。其中，在本发明实施例中，上述美颜处理、边缘模糊处理以及融合处理对应的网络均不需要经过训练，只需要在进行美颜处理的时候，对各个网络的参数进行设置即可实现相应的功能。因此，本发明实施例中所述的美颜方法是在保证背景清晰度的情况下，利用端到端的深度学习网络及人为设计的网络实现美颜的功能，实现实际场景中美颜的需求。

需要说明的是，本发明实施例中的美颜方法可以应用在各类电子设备，例如，视频终端、手机、平板等等，在此对其具体应用场景并不做任何限制。

根据本发明实施例，提供了一种美颜方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种美颜方法，可用于电子设备，如视频终端等。图1是根据本发明实施例的美颜方法的流程图，如图1所示，该流程包括如下步骤：

S11，获取原始图像以及原始图像对应的人脸特征图。

所述的原始图像为包括人脸的图像，例如，在视频会议场景下，视频采集设备采集到的与会人员图像；也可以是电子设备从外界获取到的原始图像等等。在此对原始图像的来源并不做任何限制。

原始图像对应的人脸特征图，是对原始图像进行人脸区域的识别，所得到的人脸特征图。对人脸区域的识别可以采用人脸识别网络，或采用人脸关键点定位的方式等等，具体可以根据实际情况进行相应的设置。

需要说明的是，所述的人脸特征图的大小与原始图像的大小相同，在该特征图上仅仅表示人脸区域的特征，其余区域的特征均相同。

S12，对人脸特征图进行边缘模糊化处理，得到边缘模糊特征图。

电子设备在得到原始图像对应的人脸特征图之后，对其进行边缘模糊化处理。其中，所述的边缘模糊化处理是针对与原始图像大小相同的人脸特征图进行的。

所述的边缘模糊化处理可以采用掩码的方式处理，也可以采用神经网络的方式进行处理，或者采用其他方式进行处理。在此对其并不做任何限制，具体可以根据实际需求进行相应的设置。

具体将在下文中对该步骤进行详细描述。

S13，对原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图。

所述的美颜处理可以包括但不限于是美白处理、美黑处理、饱和度调整、对比度调整或者磨皮处理中的至少一种。例如，所述的美颜处理可以是上述的处理方式中的一种，或两种，或三种等等，具体采用何种组合方式进行处理，可以根据实际情况进行网络结构的设置。

例如，可以先对原始图像进行美白处理，再将美白处理的图像进行磨皮处理，得到两个美颜特征图。其中，一个为美白处理后的美颜特征图，另一个为磨皮处理后的美颜特征图。

或者，也可以先对原始图像进行饱和度处理，再将饱和度处理后的图像进行磨皮处理，同样也可以得到两个美颜特征图。

也可以对原始图像进行美白处理，再对美白处理后的图像进行饱和度调整，最后再对饱和度调整后的图像进行对比度的调整。相应地，此处在该实施方式中就可以得到三个美颜特征图，分别为美颜处理后的美颜特征图，饱和度调整后的美颜特征图以及对比度调整后的美颜特征图。

进一步可选地，若在美颜处理中包括3种美颜处理方式，分别为美白处理、饱和度调整以及磨皮处理。在实际使用过程中，若不想对图像进行美白或磨皮处理，可以通过设置参数为0实现。

其中，所述的美白处理、美黑处理、饱和度处理、对比度处理均是可以通过对原始图像中的各个像素点的像素值进行处理，可以将像素值相应的调大或调小；所述的磨皮处理，可以是对美白处理后的图像中各个像素点的像素值进行调整，以使得相邻像素点的像素值差异减小等等。至于采用何种方式进行美白、美黑、对比度调整、饱和度调整或磨皮等等，可以根据实际需求进行相应的设置，在此并不做任何限制。

具体将在下文中对该步骤进行详细描述。

S14，将至少一个美颜特征图进行融合处理，得到全局美颜特征图。

电子设备在上述S13中得到至少一个美颜特征图之后，将各个美颜特征图进行融合处理。所述的融合处理，可以是将各个美颜特征图进行加权，或者进行相应的加减乘除的处理等等，得到全局美颜特征图。其中，此处的融合为电子设备进行的第一阶段的融合。

S15，根据全局美颜特征图、边缘美颜特征图以及原始图像，进行融合处理确定原始图像对应的美颜图像。

电子设备在上述S14中得到全局美颜特征图之后，再将全局美颜特征图与边缘美颜特征图以及原始图像进行再次融合，例如，在原始图像中确定出人脸区域以及背景区域，将原始图像中背景区域的图像完全复制得到美颜图像中的背景区域，再与全局美颜特征图以及边缘美颜特征图进行融合，最终得到原始图像对应的美颜图像。其中，此处的融合为电子设备进行的第二阶段的融合。

本实施例提供的美颜方法，由于在融合处理中结合了全局美颜特征图、边缘美颜特征图以及原始图像，利用原始图像以及边缘模糊特征图中的全局信息(即，背景信息与人脸信息)可以保证原始图像对应的美颜图像的背景清晰度；且对人脸特征图进行边缘模糊化处理还可以减少后续融合的视觉伪影，提高了美颜图像的清晰度。

在本实施例中提供了一种美颜方法，可用于电子设备，如视频终端等，图2是根据本发明实施例的美颜方法的流程图，如图2所示，该流程包括如下步骤：

S21，获取原始图像以及原始图像对应的人脸特征图。

对于人脸特征图，可以是电子设备对原始图像进行人脸检测和关键点定位，并根据关键点生成对应的人脸特征图。例如，可以使用卷积层、BN层、ReLU层、Eltwise层以及Pooling层来得到对应的人脸区域位置和人脸轮廓关键点，通过拟合关键点，最后得到对应的人脸特征图。

其余详细请参见图1所示实施例的S11，在此不再赘述。

S22，对人脸特征图进行边缘模糊化处理，以得到边缘模糊特征图。

在本实施例中采用的边缘模糊网络对人脸特征图进行边缘模糊化处理，如图3所示，该边缘模糊网络根据人脸关键点生成的特征图中对应的边缘进行模糊化，用来减少最后融合的视觉伪影。边缘模糊网络包括平均池化层(图3中所述的Pooling层)，利用平均池化层的性质可以有效的模糊关键点生成特征图的边缘信息，在后续特征融合时，可以减少美颜出现的视觉伪影。需要说明的是，本发明实施例附图中标注的尺寸1*3*h*w，其中，1为每次输入边缘模糊网络的人脸特征图的数量，3为人脸特征图的通道数，h为输入图像的高度，w为输入图像的宽度，在此对其具体数值并不做任何限制，具体可以根据实际情况进行相应的设置。

所述的边缘模糊网络采用的是神经网络中的平均池化层，通过设计对应的核参数，来达到边缘模糊的效果。并且，使用平均池化操作等神经网络的方式可以在芯片上使用，来节省CPU的占用率，给其他需要CPU的任务提供资源。

需要说明的是，在本实施例中对输入平均池化层的图像大小等参数并不限于图3所示，也可以为其他大小，具体可以根据实际情况进行相应的设置。

其中，图3中与Pooling层连接的Power层用于进行参数限定，例如，边缘模糊特征图中人脸区域与背景区域的权重占比、指数修改等等。其中，图3中的ReLU为激活函数层，但是本发明实施例的激活函数层并不限于此，可以为其他激活函数，具体可以根据实际情况对该网络进行修改。

S23，对原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图。

具体地，上述S23可以包括如下步骤：

S231，将原始图像输入可配置功能性网络中，输出第一美颜特征图。

其中，所述可配置功能性网络的类型与所述可配置功能性网络的设置参数相关，所述可配置功能性网络的类型包括美白网络、美黑网络、饱和度调节网络或对比度调节网络。

所述的可配置功能性网络中的参数是可设置的，参数设置不同，该可配置功能性网络的作用不同。例如，可以通过参数的设置，将该网络配置为美白网络、美黑网络、调节饱和度或对比度等等。

本实施例中的可配置功能性网络，利用同一个网络结构，采用不同的参数设置就可以实现不同的功能。电子设备在参数配置之后，将原始图像输入至该可配置功能性网络中，就可以得到相应的第一美颜特征图。

作为本实施例的一种可选实施方式，上述S231可以包括如下步骤：

(1)获取可配置功能性网络的设置参数。

可配置功能性网络的设置参数可以是在进行美颜处理之前，用户通过人机交互的方式设置的，也可以是实现存储在电子设备中的，在此对电子设备获取可配置功能性网络的设置参数的方式并不做任何限制。

(2)利用可配置功能性网络的设置参数，确定功能性网络的类型，以得到目标功能性网络。

电子设备在获取到可配置功能性网络的设置参数之后，对可配置功能性网络的相应参数进行配置，就可以确定该功能性网络的类型，将其称之为目标功能性网络。

需要说明的是，在此处也可以设置两个或多个可配置功能性网络，例如，设置美白网络、饱和度调节网络以及对比度调节网络等等。那么相应地，就可以将原始图像输入至美白网络进行美白处理后，再输入至饱和度调节网络、对比度调节网络进行相应的调节；再将调节处理后的特征图输入至磨皮网络中进行后续的磨皮处理。

(3)基于目标功能性网络，对原始图像进行处理，输出第一美颜特征图。

电子设备在得到目标功能性网络之后，将原始图像输入至该目标功能性网络中，通过目标功能性网络的处理之后，就可以输出第一美颜特征图。

在获取到可配置功能网络的设置参数之后，就可以确定当前可配置网络的类型，以对原始图像进行相应的处理，使得输出的第一美颜特征图能够满足用户需求。

所述的可配置功能性网络的可以是通过至少一层Power层实现，也可以是通过Power层与Eltwise层组成的级联网络实现等等。在此对Power层以及Eltwise层的具体层数并不做任何限制，可以根据实际情况进行相应的设置。

可选地，图4示出了目标功能性网络的结构示意图。如图4所示，该目标功能性网络包括Power层以及Eltwise层。需要说明的是，图4仅仅是一种示意，Power层以及Eltwise层的具体层数、以及输入图像的大小可以根据实际情况进行设置。相应地，上述步骤(3)可以包括如下步骤：

3.1)利用目标功能性网络中的数据缩放模块对原始图像进行数据处理，得到第一特征图。

所述的数据缩放模块即图3中所述的Power层形成的模块，在该数据缩放模块中可以是一层Power层、两层Power层、或多层Power层等等。利用数据缩放模块对原始图像进行数据处理，得到相应的第一特征图。

3.2)利用可配置功能性网络中的运算模块对第一特征图进行运算处理，得到第一美颜特征图。

所述的运算模块即为图3中所述的Eltwise层形成的模块，在该运算模块中可以是一层Eltwise层、两层Eltwise层、或多层Eltwise层等等。利用运算模块对数据缩放模块输出的第一特征图的进行运算处理，就可以得到第一美颜特征图。

功能性网络的功能就是对原始图像中的各个像素点进行像素值的处理，因此，直接利用相应的数据缩放模块以及运算模块对其进行数据及运算处理，在达到美颜处理的前提下提高了处理效率。

S232，将第一美颜特征图输入磨皮网络中，输出第二美颜特征图。

其中，所述第二美颜特征图包括边缘特征信息特征图以及对应于每个像素点的权重信息特征图。

磨皮网络的输入为经过上述S231处理后的第一美颜特征图，输出为包括边缘特征信息图(也可以称之为图像梯度图)以及对应于每个像素点的权重信息特征图(也可以称之为含有像素权重值的特征图)。

该磨皮网络主要涉及的是卷积层、Eltwise层、ReLU层、Split层和Power层，具体网络结构的设置可以根据实际情况进行相应的处理。

作为本实施例的一种可选实施方式，上述S232可以包括如下步骤：

(1)对第一美颜特征图进行池化处理，得到第一特征图。

磨皮网络的输入层与池化层连接，将第一美颜特征图从输入层输入至磨皮网络，利用池化层对第一美颜特征图进行池化处理，得到第一特征图。

(2)对第一特征图分别进行边缘信息处理以及权重信息处理，得到边缘特征信息特征图以及权重信息特征图。

在池化处理之后，池化层输出第一特征图，然后再对第一特征图分别进行边缘信息处理以及权重信息处理，相应地，就可以得到边缘特征信息特征图以及权重信息特征图。

所提供的边缘信息处理用于在后续的融合过程中对梯度变化比较小的区域进行处理，而对变化较大的区域就不需要进行处理，提高了美颜效果。其中，梯度大说明是边缘的信息，例如，眼睛的轮廓是梯度比较大的位置，这个部分需要进行保留，不能将眼睛轮廓和脸部区域进行磨皮融合；若脸上有一点斑点，这个是梯度比较小的区域，后续需要对其进行着重处理。

可选地，图5示出了磨皮网络的网络结构，但是本发明实施例中所述的磨皮网络并不限于图5所示，还可以为其他结构。进一步地，本实施例中图5中各层的参数同样也不进行任何限制。以图5为例，上述步骤(2)可以包括如下步骤：

2.1)复制第一特征图得到第一特征子图以及第二特征子图。

从Pooling层输出的第一特征图经过Split层的复制处理后得到第一特征子图以及第二特征子图，所述的第一特征子图以及第二特征子图与第一特征图相同。

2.2)对第一特征子图进行运算以及卷积处理，得到第二特征图。

如图5所示，Split层后连接了两个分支，其中，第一特征子图输入左边分支中的Eltwise层，Eliwise层后连接有Convolution层(即，卷积层)。所述的第一特征子图经过该Convolution层的处理后得到第二特征图。

2.3)对第二特征子图进行卷积处理，得到第三特征图。

如图5所示，第二特征子图输入Split右边分支中的Convolution层，用以进行卷积处理，得到第三特征子图。

2.4)对第三特征图进行运算处理后与第二特征图再次进行运算处理，得到第四特征图。

Split右边分支中的Convolution层输出第三特征图，第三特征图经过Eltwise层的处理后与左边分支中的Convolution层的输出结果(即，第二特征图)进行再次进行运算处理，得到第四特征图。

2.5)基于第四特征图得到边缘特征信息特征图，并基于第四特征图以及第三特征图得到权重信息特征图。

如图5所示，左边最后一个Convolution层用于输出边缘特征信息特征图，右边最后一个Convolution层用于输出权重信息特征图。

磨皮网络也是针对功能性网络输出的第一美颜特征图中的各个像素点进行数据运算处理，利用网络模型中的各个运算层以及数据处理层就可以达到相应的效果，可以提高数据处理的效率。

S24，将至少一个美颜特征图进行融合处理，得到全局美颜特征图。

详细请参见图1所示实施例的S14，在此不再赘述。

S25，根据全局美颜特征图、边缘美颜特征图以及原始图像，进行融合处理确定原始图像对应的美颜图像。

详细请参见图1所示实施例的S15，在此不再赘述。

本实施例提供的美颜方法，通过可配置功能性网络的参数可配置功能，利用同一网络结构就可以实现不同的功能，提高了该美颜方法的适用范围；其中，第二美颜特征图中的边缘特征信息图用于避免对不需要进行磨皮的区域进行处理，权重信息特征图用于表征不同的磨皮等级，其与用户设置参数的磨皮等级相关。

在本实施例中提供了一种美颜方法，可用于电子设备，如视频终端等，图6是根据本发明实施例的美颜方法的流程图，如图6所示，该流程包括如下步骤：

S31，获取原始图像以及原始图像对应的人脸特征图。

详细请参见图2所示实施例的S21，在此不再赘述。

S32，对人脸特征图进行边缘模糊化处理，得到边缘模糊特征图。

详细请参见图2所示实施例的S22，在此不再赘述。

S33，对原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图。

详细请参见图2所示实施例的S23，在此不再赘述。

S34，将至少一个美颜特征图进行融合处理，得到全局美颜特征图。

经过上述S33的处理后，电子设备可以得到可配置功能性网络输出的第一美颜特征图，以及磨皮网络输出的边缘特征信息特征图以及权重信息特征图。因此，此处进行的第一阶段的融合处理的输入为三个美颜特征图，分别是第一美颜特征图、边缘特征信息特征图以及权重信息特征图。

图7示出了第一阶段的融合处理的网络示意图，该网络涉及到Eliwise层以及Power层。图7中的Input1-Input3分别为上述的三个美颜特征图，将三个美颜特征图进行运算等处理后，得到全局美颜特征图。

S35，根据全局美颜特征图、边缘美颜特征图以及原始图像，进行融合处理确定原始图像对应的美颜图像。

该步骤中涉及到的融合处理为第二阶段的融合处理，其输出对象为上述S34中得到的全局美颜特征图、上述S32中的边缘美颜特征图以及原始图像，将三者进行融合处理之后，就可以确定原始图像对应的美颜图像。

具体地，上述S35可以包括如下步骤：

S351，将边缘模糊特征图分别与全局美颜特征图以及原始图像进行运算处理后，分别得到第一中间特征图以及第二中间特征图。

电子设备将边缘模糊特征图与上述S34中得到的全局美颜特征图进行相应的运算处理后，得到第一中间特征图；将边缘模糊特征图与原始图像进行相应的运算处理后，得到第二中间特征图。

S352，对第一中间特征图以及第二中间特征图进行运算处理，确定原始图像对应的美颜图像。

进一步地，电子设备再将第一中间特征图与第二中间特征图再次进行相应的运算处理，确定原始图像对应的美颜图像。

如图8所示，虚线框框选出来的部分为第一阶段融合的网络架构，该网络架构中最后一个Eltwise层输出的特征图即为所述的全局美颜特征图。

图8中的Input4为边缘模糊特征图，Input5为原始图像。其中边缘模糊特征图与全局美颜特征图进行Eltwise层的运算处理后得到第一中间特征图；边缘模糊特征图先经过Power层的处理后与原始图像进行Eltwise层的处理，得到第二中间特征图；最后，第一中间特征图与第二中间特征图再次进行运算处理，输出美颜图像。

需要说明的是，图8仅仅是融合网络的一种示例，但是本发明的保护范围并不限于此，具体可以根据实际情况进行相应的调整。

本实施例提供的美颜方法，融合处理时在全局美颜特征图的基础上，再结合边缘模糊特征图以及原始图像，利用相应的全局信息可以保证美颜图像中背景的清晰度。

作为本实施例的一种具体实施方式，如图9示出了美颜方法的一个处理架构示意图。原始图像一方面输入至可配置功能性网络中，经过可配置功能性网络的处理后，输出第一美颜特征图；原始图像另一方面还进行人脸关键点的提取，形成人脸特征图。

进一步地，可配置功能性网络输出的第一美颜特征图输入至磨皮网络中，经过磨皮网络的处理后，输出边缘特征信息特征图以及权重信息特征图。其中，第一美颜特征图、边缘特征信息特征图以及权重信息特征图进行第一阶段的融合处理后，得到全局美颜特征图。

人脸特征图输入至边缘模糊化网络进行边缘模糊处理后，得到边缘模糊特征图。最后，将原始图像、边缘模糊特征图以及全局美颜特征图进行第二阶段的融合处理后，即可输出美颜图像。

本实施例提供的美颜方法，通过数据驱动的方式，采集大量的现实会议场景中的图片，其中包括不同的会议室，不同与会人员，不同光照等，通过数据对算法进行最终应用场景进行建模，使得算法有更优秀的泛化能力。同时为了更好的网络效果，对各个网络模型进行了反复的设计调优，使得算法建模出来的人脸比实际参会人的人脸更加白皙，更加光滑，最终得到了美颜网络。所述的美颜网络包括四个主要的网络，分别为可配置功能性网络、磨皮网络、边缘模糊化网络以及融合网络。

在实际使用过程中，可以对会议装置中摄像头直接采集到的原始图像进行美颜问题进行数学建模，设计了一个可以自动对人脸区域进行美颜的完全端到端的深度学习算法。用户只需要选择对应的美白和磨皮等级，给网络输入含有人脸的图片，最后得到的就是经过美白和磨皮处理后的图片，中间不再需要用户继续参与确定人脸位置等操作。

在本实施例中还提供了一种美颜装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种美颜装置，如图10所示，包括：

获取模块41，用于获取原始图像以及所述原始图像对应的人脸特征图；

模糊模块42，用于对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图；

美颜模块43，用于对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图；

第一融合模块44，用于将所述至少一个美颜特征图进行融合处理，得到全局美颜特征图；

第二融合模块45，用于根据所述全局美颜特征图、所述美颜特征图以及所述原始图像进行融合处理，确定所述原始图像对应的美颜图像。

本实施例提供的美颜装置，由于在融合处理中结合了全局美颜特征图、边缘美颜特征图以及原始图像，利用原始图像以及边缘模糊特征图中的全局信息(即，背景信息与人脸信息)可以保证原始图像对应的美颜图像的背景清晰度；且对人脸特征图进行边缘模糊化处理还可以减少后续融合的视觉伪影，提高了美颜图像的清晰度。

本实施例中的美颜装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图10所示的美颜装置。

请参阅图11，图11是本发明可选实施例提供的一种电子设备的结构示意图，如图11所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图10所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。

其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请图1、2以及6实施例中所示的美颜方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的美颜方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种美颜方法，其特征在于，包括：

获取原始图像以及所述原始图像对应的人脸特征图；

对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图；

对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图；

将所述至少一个美颜特征图进行融合处理，得到全局美颜特征图；

根据所述全局美颜特征图、所述边缘模糊特征图以及所述原始图像，进行融合处理确定所述原始图像对应的美颜图像；

其中，所述对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图，包括：

将所述原始图像输入可配置功能性网络中，输出第一美颜特征图，所述可配置功能性网络的类型与所述可配置功能性网络的设置参数相关，所述可配置功能性网络的类型包括美白网络、美黑网络、饱和度调节网络或对比度调节网络；

将所述第一美颜特征图输入磨皮网络中，输出第二美颜特征图，所述第二美颜特征图包括边缘特征信息特征图以及对应于每个像素点的权重信息特征图。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像输入可配置功能性网络中，输出第一美颜特征图，包括：

获取所述可配置功能性网络的设置参数；

利用所述可配置功能性网络的设置参数，确定所述功能性网络的类型，以得到目标功能性网络；

基于所述目标功能性网络，对所述原始图像进行处理，输出所述第一美颜特征图。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标功能性网络，对所述原始图像进行处理，输出所述第一美颜特征图，包括：

利用所述目标功能性网络中的数据缩放模块对所述原始图像进行数据处理，得到第一特征图；

利用所述可配置功能性网络中的运算模块对所述第一特征图进行运算处理，得到所述第一美颜特征图。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一美颜特征图输入磨皮网络中，输出第二美颜特征图，包括：

对所述第一美颜特征图进行池化处理，得到第一特征图；

对所述第一特征图分别进行边缘信息处理以及权重信息处理，得到所述边缘特征信息特征图以及所述权重信息特征图。

5.根据权利要求4所述的方法，其特征在于，所述对所述第一特征图分别进行边缘信息处理以及权重信息处理，得到所述边缘特征信息特征图以及所述权重信息特征图，包括：

复制所述第一特征图得到第一特征子图以及第二特征子图；

对所述第一特征子图进行运算以及卷积处理，得到第二特征图；

对所述第二特征子图进行卷积处理，得到第三特征图；

对所述第三特征图进行运算处理后与所述第二特征图再次进行运算处理，得到第四特征图；

基于所述第四特征图得到所述边缘特征信息特征图，并基于所述第四特征图以及所述第三特征图得到所述权重信息特征图。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述全局美颜特征图、所述边缘模糊特征图以及所述原始图像，进行融合处理确定所述原始图像对应的美颜图像，包括：

将所述边缘模糊特征图分别与所述全局美颜特征图以及所述原始图像进行运算处理后，分别得到第一中间特征图以及第二中间特征图；

对所述第一中间特征图以及所述第二中间特征图进行运算处理，确定所述原始图像对应的美颜图像。

7.根据权利要求1所述的方法，其特征在于，所述对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图，包括：

对所述人脸特征图进行平均池化的处理，以得到所述边缘模糊特征图。

8.一种美颜装置，其特征在于，包括：

获取模块，用于获取原始图像以及所述原始图像对应的人脸特征图；

模糊模块，用于对所述人脸特征图进行边缘模糊化处理，得到边缘模糊特征图；

美颜模块，用于对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图；

第一融合模块，用于将所述至少一个美颜特征图进行融合处理，得到全局美颜特征图；

第二融合模块，用于根据所述全局美颜特征图、所述边缘模糊特征图以及所述原始图像进行融合处理，确定所述原始图像对应的美颜图像；

其中，所述对所述原始图像依次进行至少一次美颜处理，得到相应的至少一个美颜特征图，包括：

将所述原始图像输入可配置功能性网络中，输出第一美颜特征图，所述可配置功能性网络的类型与所述可配置功能性网络的设置参数相关，所述可配置功能性网络的类型包括美白网络、美黑网络、饱和度调节网络或对比度调节网络；

将所述第一美颜特征图输入磨皮网络中，输出第二美颜特征图，所述第二美颜特征图包括边缘特征信息特征图以及对应于每个像素点的权重信息特征图。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的美颜方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的美颜方法。

Images