CN113343906A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，属于图像处理技术领域。该图像处理方法包括获取初始图像，初始图像中包括面部区域；对初始图像中的面部区域进行脸型对称化处理，得到对称图像；其中，对称图像中的面部区域沿面部中轴线对称；基于对称图像进行美型处理，得到目标图像。采用本公开提供的图像处理方法、装置、电子设备及存储介质，至少解决现有在人脸图像美型过程中容易出现部分人脸部位明显突出或内陷的畸形问题。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着图像处理技术的不断发展，越来越多的应用软件都配置了例如瘦脸、小脸等人脸图像美型功能。用户在进行拍照时，为了能够使最终拍摄得到的人脸图像呈现出较好的效果，用户通常会使用这些应用软件中的瘦脸、小脸等功能进行美型处理。

目前，在对人脸图像进行美型处理的过程中，大多数的图像处理方式都是直接基于原始人脸图像进行瘦脸、小脸等美型处理，也即，对原始人脸图像中的左右脸采用统一的变形方式完成瘦脸或小脸过程，而没有考虑每个人脸型的特殊性，使得在美型过程中容易出现部分人脸部位明显突出或内陷的畸形效果，从而导致图像处理效果不佳。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决现有在人脸图像美型过程中容易出现部分人脸部位明显突出或内陷的畸形效果的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法可以包括：

获取初始图像，初始图像中包括面部区域；

对初始图像中的面部区域进行脸型对称化处理，得到对称图像；其中，所述对称图像中的面部区域沿面部中轴线对称；

基于对称图像进行美型处理，得到目标图像。

基于此，在其中一个实施例中，上述涉及的对初始图像中的面部区域进行脸型对称化处理，得到对称图像，可以包括：

对面部区域进行面部特征点定位，得到第一特征点集合；其中，第一特征点集合包括N个第一特征点及其位置信息；

以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合；其中，第二特征点集合包括N个第二特征点及其位置信息，第二特征点沿对称轴对称分布；

基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像；

其中，N为正整数。

在其中一个实施例中，上述涉及的以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合，可以包括：

以面部中轴线为对称轴，确定与N个第一特征点对称的N个第三特征点及其位置信息，得到第三特征点集合；

根据第一特征点集合和第三特征点集合，生成第二特征点集合。

基于此，在其中一个实施例中，上述涉及的根据第一特征点集合和第三特征点集合，生成第二特征点集合，可以包括：

将第一特征点集合对应的第一图像区域和第三特征点集合对应的第三图像区域进行合并，得到第二图像区域；

获取第二图像区域对应的第二特征点，得到第二特征点集合。

另外，在其中一个实施例中，在基于第一特征点集合和第二特征点集合，按照预设图像映射算法从初始图像映射得到对称图像之前，上述涉及的图像处理方法，还可以包括：

对第一特征点集合和第二特征点集合进行特征点插值处理，得到处理后的第一特征点集合和处理后的第二特征点集合；

上述涉及的基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像，可以包括：

基于处理后的第一特征点集合和处理后的第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像。

此外，在其中一个实施例中，上述涉及的基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像，可以包括：

基于第一特征点集合，按照三角剖分算法对面部区域进行三角剖分，得到多个三角区域；其中，三角区域对应的顶点为第一特征点；

将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像；其中，第一目标图像区域为与三角区域的三个第一特征点对应的第二特征点围成的区域。

在其中一个实施例中，在获取初始图像之后，对初始图像中的面部区域进行脸型对称化处理，得到对称图像之前，上述涉及的图像处理方法，还可以包括：

获取初始图像中面部区域相对于正脸的面部偏转角度；

确定面部偏转角度小于或等于预设角度。

此外，在其中一个实施例中，在确定面部偏转角度小于或等于预设角度之后，上述涉及的图像处理方法，还可以包括：

根据面部偏转角度，确定特征点位置调整系数；其中，面部偏转角度与调整系数之间的关系为负相关；

上述涉及的将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像，包括：

根据特征点位置调整系数，对三角区域中与每个第一特征点分别对应的第二特征点的位置进行调整，得到与每个第一特征点分别对应的第四特征点；

根据第四特征点的位置信息，确定与三角区域对应的第二目标图像区域；

将初始图像中三角区域内的图像映射至对应的第二目标图像区域，得到对称图像。

根据本公开实施例的第二方面，提供一种图像处理装置，该装置可以包括：

图像获取模块，被配置为执行获取初始图像，初始图像中包括面部区域；

对称化处理模块，被配置为执行对初始图像中的面部区域进行脸型对称化处理，得到对称图像；其中，所述对称图像中的面部区域沿面部中轴线对称；

美型处理模块，被配置为执行基于对称图像进行美型处理，得到目标图像。

基于此，在其中一个实施例中，上述涉及的对称化处理模块，可以包括：

定位子模块，被配置为执行对面部区域进行面部特征点定位，得到第一特征点集合；其中，第一特征点集合包括N个第一特征点及其位置信息；

调整子模块，被配置为执行以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合；其中，第二特征点集合包括N个第二特征点及其位置信息，第二特征点沿对称轴对称分布；

映射子模块，被配置为执行基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像；

其中，N为正整数。

在其中一个实施例中，上述涉及的调整子模块，可以包括：

确定单元，被配置为执行以面部中轴线为对称轴，确定与N个第一特征点对称的N个第三特征点及其位置信息，得到第三特征点集合；

生成单元，被配置为执行根据第一特征点集合和第三特征点集合，生成第二特征点集合。

基于此，在其中一个实施例中，上述涉及的生成单元，可以包括：

合并子单元，被配置为执行将第一特征点集合对应的第一图像区域和第三特征点集合对应的第三图像区域进行合并，得到第二图像区域；

获取子单元，被配置为执行获取第二图像区域对应的第二特征点，得到第二特征点集合。

另外，在其中一个实施例中，上述涉及的图像处理装置，还可以包括：

插值处理子模块，被配置为执行对第一特征点集合和第二特征点集合进行特征点插值处理，得到处理后的第一特征点集合和处理后的第二特征点集合；

上述涉及的映射子模块，包括：

图像映射单元，被配置为执行基于处理后的第一特征点集合和处理后的第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像。

此外，在其中一个实施例中，上述涉及的映射子模块，可以包括：

三角剖分单元，被配置为执行基于第一特征点集合，按照三角剖分算法对面部区域进行三角剖分，得到多个三角区域；其中，三角区域对应的顶点为第一特征点；

三角图像映射单元，被配置为执行将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像；其中，第一目标图像区域为与三角区域的三个第一特征点对应的第二特征点围成的区域。

在其中一个实施例中，上述涉及的图像处理装置，还可以包括：

角度获取模块，被配置为执行获取初始图像中面部区域相对于正脸的面部偏转角度；

角度确定模块，被配置为执行确定面部偏转角度小于或等于预设角度。

此外，在其中一个实施例中，上述涉及的图像处理装置，还可以包括：

系数确定模块，被配置为执行根据面部偏转角度，确定特征点位置调整系数；其中，面部偏转角度与调整系数之间的关系为负相关；

上述涉及的三角图像映射单元，包括：

位置确定子单元，被配置为执行根据特征点位置调整系数，对三角区域中与每个第一特征点分别对应的第二特征点的位置进行调整，得到与每个第一特征点分别对应的第四特征点；

区域确定子单元，被配置为执行根据第四特征点的位置信息，确定与三角区域对应的第二目标图像区域；

映射子单元，被配置为执行将初始图像中三角区域内的图像映射至对应的第二目标图像区域，得到对称图像。

根据本公开实施例的第三方面，提供一种电子设备，该电子设备可以包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所示的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，以使电子设备实现以实现如第一方面的任一项实施例中所示的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行第一方面的任一项实施例中所示的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开实施例通过先对初始图像中的面部区域进行脸型对称化处理，得到对称图像之后，再基于该对称图像进行美型处理，这样，由于美型处理过程是在左右脸型对称的人脸图像基础上进行的，因此，图像中左右脸型对应的美型结果相同，不会出现由于某一侧脸型较胖或较瘦导致处理效果不同而引起的部分人脸部位明显突出或内陷的问题，如此，可以增加美型处理后图像的真实感，从而提升图像处理效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限值本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图；

图2是根据一示例性实施例示出的一种图像处理应用场景的示意图；

图3是根据一示例性实施例示出的另一种图像处理方法的流程图；

图4是根据一示例性实施例示出的一种图像处理装置的结构框图；

图5是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所提供的图像处理方法，可应用在进行直播、拍摄短视频、拍摄照片或修图时，对图像进行美型处理的场景中。另外，本公开实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本公开实施例中以图像处理装置执行图像处理方法为例，说明本公开实施例提供的图像处理方法。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

如图1所示，该图像处理方法具体可以包括如下步骤：

首先，步骤110，获取初始图像。

接着，步骤120，对初始图像中的面部区域进行脸型对称化处理，得到对称图像。

然后，步骤130，基于对称图像进行美型处理，得到目标图像。

由此，通过先对初始图像中的面部区域进行脸型对称化处理，得到对称图像之后，再基于该对称图像进行美型处理，这样，由于美型处理过程是在左右脸型对称的人脸图像基础上进行的，因此，图像中左右脸型对应的美型结果相同，不会出现由于某一侧脸型较胖或较瘦导致处理效果不同而引起的部分人脸部位明显突出或内陷的问题，如此，可以增加美型处理后图像的真实感，从而提升图像处理效果。

下面对上述步骤进行详细说明，具体如下所示：

首先，涉及步骤110，本公开实施例的初始图像中可以包括面部区域。该面部区域可以是人脸的整个区域，也可以是人脸的部分区域。该初始图像可以在用户进行直播、拍摄短视频或者拍摄照片时由用户设备的摄像头实时采集获取，也可以直接从设备相册中预先存储的图像中获取。

接着，涉及步骤120，由于大多数正常人的脸型是左右不对称的，且随着年龄的增长不对称性越来越严重，而一般看起来漂亮的人其脸型会较为对称，因此可以对脸型进行对称化处理，得到对称图像。对称图像可以为对初始图像中的面部区域进行脸型对称化处理得到的左右脸型对称的图像，该对称图像可作为美型处理的基础。其中，该对称图像中的面部区域沿面部中轴线对称，面部中轴线可以是经过额头点、鼻尖点和下颌点的连接线。

这里，对面部区域进行脸型对称化处理的方式包括但不限于以一侧脸型为标准调整另一侧的脸型，或者以预设标准脸型为基准进行两侧脸型对称化调整。

在一种可选的实施方式中，上述步骤120，具体可以包括：

对面部区域进行面部特征点定位，得到第一特征点集合；

以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合；

基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像。

这里，特征点可以是反映面部区域特征的点，该特征点可用于确定面部图像中的五官位置以及脸部轮廓等信息。第一特征点集合可以包括N个第一特征点及其位置信息，该第一特征点集合中的第一特征点可以是利用人脸关键点模型对初始图像中的面部区域进行特征点定位得到。第二特征点集合可以包括N个第二特征点及其位置信息，该第二特征点集合可用于和第一特征点集合一起作为映射得到对称图像的基础。第二特征点可以沿对称轴对称分布，N可以为正整数。预设图像映射算法可以是图像仿射变换(warp)，当然也可以是其他算法，在此不做限定。

具体的，在以面部区域对应的面部中轴线为对称轴的前提下，可以按照标准脸型对第一特征点的位置进行整体对称化调整，也可以直接按照一侧的第一特征点，对另一侧的第一特征点的位置进行调整，例如，按照左侧的第一特征点，对右侧的第一特征点的位置进行调整，或者按照右侧的第一特征点，对左侧的第一特征点的位置进行调整，以使调整后得到的第二特征点沿面部中轴线左右对称分布。由于通常人脸较大的一侧是相对美观的，因此，可以按照面部区域较大的一侧的第一特征点的位置，对面部区域较小的一侧的第一特征点的位置进行调整。

在一个具体例子中，如图2所示，可以对该初始图像中的人脸进行特征点定位，得到第一特征点集合landmark1，再对人脸特征点进行对称化调整得到第二特征点集合landmark2，然后基于landmark1和landmark2，按照warp映射由图2中的初始图像映射得到对称图像。

如此，通过对第一特征点的位置进行对称化调整，可以简单快速地得到对称图像，提高图像处理的实时性。

基于此，在一种可选的实施方式中，上述涉及的以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合，可以包括：

以面部中轴线为对称轴，确定与N个第一特征点对称的N个第三特征点及其位置信息，得到第三特征点集合；

根据第一特征点集合和第三特征点集合，生成第二特征点集合。

这里，在第一特征点集合中包括N个第一特征点的情况下，第三特征点集合可以包括N个第三特征点及其位置信息，该第三特征点集合可以与第一特征点集合一起作为生成第二特征点集合的基础，第一特征点和第三特征点可以互为镜像。

在一个具体例子中，将landmark1以面部中轴线为对称轴，得到第三特征点集合landmark1’，然后取landmark1和landmark1’包裹的图像区域的交集或并集，作为landmark2。

如此，通过确定与初始图像对应的第一特征点集合成镜像的第三特征点集合，并根据第一特征点集合和第三特征点集合，生成第二特征点集合，这样，可以使第二特征点集合中包括的第二特征点以面部中轴线为对称轴对称分布。

基于此，在一种可选的实施方式中，上述涉及的根据第一特征点集合和第三特征点集合，生成第二特征点集合，可以包括：

将第一特征点集合对应的第一图像区域和第三特征点集合对应的第三图像区域进行合并，得到第二图像区域；

获取第二图像区域对应的第二特征点，得到第二特征点集合。

这里，第一图像区域可以是第一特征点集合包裹的图像区域，第三图像区域可以是第三特征点集合包裹的图像区域，可将第一图像区域和第三图像区域进行合并，生成第二图像区域，也即第二特征点集合包裹的图像区域，该第二图像区域对应的第二特征点可组成第二特征点集合。

在一个具体例子中，可以取landmark1包裹的第一图像区域和landmark1’包裹的第三图像区域的并集，作为landmark2包裹的第二图像区域。

由于一般脸型较大的一侧相对更美观，脸小的一侧常有缺陷，因此，通过获取第一特征点集合对应的第一图像区域和第三特征点集合对应的第三图像区域的并集，得到第二特征点集合，可以使调整后得到的对称图像中的人脸更为美观。

另外，在一种可选的实施方式中，在基于第一特征点集合和第二特征点集合，按照预设图像映射算法从初始图像映射得到对称图像之前，上述涉及的图像处理方法还可以包括：

对第一特征点集合和第二特征点集合进行特征点插值处理，得到处理后的第一特征点集合和处理后的第二特征点集合；

上述涉及的基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像，可以包括：

基于处理后的第一特征点集合和处理后的第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像。

这里，处理后的第一特征点集合可以是对第一特征点集合进行特征点插值处理后得到的特征点集合，处理后的第二特征点集合可以是对第二特征点集合进行特征点插值处理后得到的特征点集合，该处理后的第一特征点集合和处理后的第二特征点集合可用于生成对称图像。对第一特征点集合和第二特征点集合进行特征点插值处理，可以增加特征点数量，特征点数量越多，映射效果越好。

在一个具体例子中，可以对landmark1和landmark2进行平滑插值，得到稠密人脸关键点landmark1-1和landmark2-2，然后基于landmark1-1和landmark2-2，通过warp映射由初始图像映射得到对称图像。

如此，通过对第一特征点集合和第二特征点集合进行特征点插值处理，可以增加特征点数量，从而在进行图像映射时，能够关注到更多的图像细节，使映射后得到的人脸图像的边缘更加平滑，提高图像映射效果。

此外，在一种可选的实施方式中，上述涉及的基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像，可以包括：

基于第一特征点集合，按照三角剖分算法对面部区域进行三角剖分，得到多个三角区域；

将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像。

这里，三角区域对应的顶点可以为第一特征点，第一目标图像区域可以为与三角区域的三个第一特征点对应的第二特征点围成的区域。其中，第一特征点与第二特征点的数量可以相同，且为一一对应的关系。

示例性的，除了可以按照三角剖分算法对初始图像中的面部区域进行三角剖分得到多个三角区域，进而根据三角区域进行图像映射之外，还可以通过液化进行人脸映射，得到与第二特征点集合相匹配的人脸图像。

在一个具体例子中，可以基于landmark1-1对初始图像进行人脸区域的三角剖分，得到多个三角区域，然后通过warp映射将初始图像中多个三角区域内的图像分别映射至landmark2-2对应的图像区域，得到对称图像，也可以基于landmark2-2进行人脸区域的三角剖分，得到多个三角区域，然后通过warp映射将多个初始图像中对应图像区域内的图像分别映射至landmark2-2对应的三角区域，得到对称图像，从而完成人脸的微整形，得到左右脸型对称的人脸图像。

如此，按照三角剖分算法对初始图像中的面部区域进行三角剖分，可以减小映射得到的对称图像的误差。

然后，涉及步骤130，美型处理可以是对对称图像进行的常规美型处理，如瘦脸、小脸等，目标图像可以为对初始图像进行对称和美型处理后得到的图像，在得到该目标图像后可以显示和/或保存该目标图像。

另外，除了上述步骤110-130之外，在一种可能的实施例中，如图3所示，在步骤110之后，步骤120之前，本公开实施例提供的图像处理方法还可以包括：步骤111至步骤112，具体如下所示：

步骤110，获取初始图像。

步骤111，获取初始图像中面部区域相对于正脸的面部偏转角度。

这里，面部偏转角度可以是初始图像中面部区域相比于正脸的偏转角度，该面部偏转角度可用于确定脸型对称化调整时的调整系数。

步骤112，确定面部偏转角度小于或等于预设角度。

这里，由于对人脸的图像处理更适用于正脸，对大角度的侧脸并不适用，因此面部偏转角度需要小于或等于预设角度，对于面部偏转角度大于预设角度的图像，可以不进行处理，直接输出。其中，预设角度例如可以是45°。

步骤120，对初始图像中的面部区域进行脸型对称化处理，得到对称图像。

步骤130，基于对称图像进行美型处理，得到目标图像。

如此，通过上述过程，可以在初始图像中面部偏转角度小于或等于预设角度时再进行脸型对称化调整，避免对不适合的图像进行调整，以免图像效果失真。

基于此，在一种可选的实施方式中，在步骤112之后，上述涉及的图像处理方法，还可以包括：

根据面部偏转角度，确定特征点位置调整系数；

上述涉及的将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像，可以包括：

根据特征点位置调整系数，对三角区域中与每个第一特征点分别对应的第二特征点的位置进行调整，得到与每个第一特征点分别对应的第四特征点；

根据第四特征点的位置信息，确定与三角区域对应的第二目标图像区域；

将初始图像中三角区域内的图像映射至对应的第二目标图像区域，得到对称图像。

这里，面部偏转角度与特征点位置调整系数之间的关系可以为负相关，也即，面部偏转角度越大，特征点位置调整系数越小。该特征点位置调整系数可用于调节脸型的调整力度，也即对第二特征点的位置进行调整，得到第四特征点，进而确定与每个第一特征点分别对应的第四特征点的位置信息，其中，第四特征点可以为根据特征点位置调整系数对第二特征点的位置进行调整后得到的特征点，该第四特征点可位于第一特征点和第二特征点之间。另外，第二目标图像区域可以为与三角区域的三个第一特征点对应的第四特征点围成的区域。第四特征点与第一特征点的数量可以相同，且第四特征点与第一特征点之间一一对应。

在一个具体例子中，可以根据人脸的角度确定调整系数，例如，当面部偏转角度为0，也即正脸时，相应确定调整系数为100，也即按照第二特征点对应的位置进行图像映射；当面部偏转角度为45°以上的侧脸时，相应确定调整系数为0，也即不调整；而当面部偏转角度大于0且小于45°时，可按照面部偏转角度与调整系数之间负相关的映射关系进行微调，也即按照第四特征点对应的位置进行图像映射。

如此，通过面部偏转角度确定的特征点位置调整系数，来按照不同力度进行对称化处理，这样可以减小因面部偏转角度导致的图像处理误差。

需要说明的是，上述本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。

基于相同的发明构思，本公开还提供了一种图像处理装置。具体结合图4进行详细说明。

图4是根据一示例性实施例示出的一种图像处理装置的结构示意图。

如图4所示，该图像处理装置4具体可以包括：

图像获取模块401，被配置为执行获取初始图像，初始图像中包括面部区域；

对称化处理模块402，被配置为执行对初始图像中的面部区域进行脸型对称化处理，得到对称图像；其中，对称图像中的面部区域沿面部中轴线对称；

美型处理模块403，被配置为执行基于对称图像进行美型处理，得到目标图像。

下面对上述图像处理装置5进行详细说明，具体如下所示：

在其中一个实施例中，上述涉及的对称化处理模块402,可以包括：定位子模块、调整子模块和映射子模块，其中，

定位子模块，被配置为执行对面部区域进行面部特征点定位，得到第一特征点集合；其中，第一特征点集合包括N个第一特征点及其位置信息；

调整子模块，被配置为执行以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合；其中，第二特征点集合包括N个第二特征点及其位置信息，第二特征点沿对称轴对称分布；

映射子模块，被配置为执行基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像；

其中，N为正整数。

基于此，在其中一个实施例中，上述涉及的调整子模块,可以包括：确定单元和生成单元，其中，

确定单元，被配置为执行以面部中轴线为对称轴，确定与N个第一特征点对称的N个第三特征点及其位置信息，得到第三特征点集合；

生成单元，被配置为执行根据第一特征点集合和第三特征点集合，生成第二特征点集合。

基于此，在其中一个实施例中，上述涉及的生成单元，可以包括：合并子单元和获取子单元，其中：

合并子单元，被配置为执行将第一特征点集合对应的第一图像区域和第三特征点集合对应的第三图像区域进行合并，得到第二图像区域；

获取子单元，被配置为执行获取第二图像区域对应的第二特征点，得到第二特征点集合。

另外，在其中一个实施例中，上述涉及的图像处理装置，还可以包括插值处理子模块，被配置为执行对第一特征点集合和第二特征点集合进行特征点插值处理，得到处理后的第一特征点集合和处理后的第二特征点集合；

上述涉及的映射子模块，可以包括：

图像映射单元，被配置为执行基于处理后的第一特征点集合和处理后的第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像。

此外，在其中一个实施例中，上述涉及的映射子模块，可以包括：三角剖分单元和三角图像映射单元，其中：

三角剖分单元，被配置为执行基于第一特征点集合，按照三角剖分算法对面部区域进行三角剖分，得到多个三角区域；其中，三角区域对应的顶点为第一特征点；

三角图像映射单元，被配置为执行将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像；其中，第一目标图像区域为与三角区域的三个第一特征点对应的第二特征点围成的区域。

在其中一个实施例中，上述涉及的图像处理装置，还可以包括：角度获取模块404和角度确定模块405，其中：

角度获取模块404，被配置为执行获取初始图像中面部区域相对于正脸的面部偏转角度；

角度确定模块405，被配置为执行确定面部偏转角度小于或等于预设角度。

此外，在其中一个实施例中，上述涉及的图像处理装置，还可以包括系数确定模块506，被配置为执行根据面部偏转角度，确定特征点位置调整系数；其中，面部偏转角度与调整系数之间的关系为负相关；

上述涉及的三角图像映射单元，可以包括：位置确定子单元、区域确定子单元和映射子单元，其中：

位置确定子单元，被配置为执行根据特征点位置调整系数，对三角区域中与每个第一特征点分别对应的第二特征点的位置进行调整，得到与每个第一特征点分别对应的第四特征点；

区域确定子单元，被配置为执行根据第四特征点的位置信息，确定与三角区域对应的第二目标图像区域；

映射子单元，被配置为执行将初始图像中三角区域内的图像映射至对应的第二目标图像区域，得到对称图像。

由此，通过先对初始图像中的面部区域进行脸型对称化处理，得到对称图像之后，再基于该对称图像进行美型处理，这样，由于美型处理过程是在左右脸型对称的人脸图像基础上进行的，因此，图像中左右脸型对应的美型结果相同，不会出现由于某一侧脸型较胖或较瘦导致处理效果不同而引起的部分人脸部位明显突出或内陷的问题，如此，可以增加美型处理后图像的真实感，从而提升图像处理效果。

基于同一发明构思，本公开实施例还提供了一种电子设备，具体结合图5进行详细说明。

图5是根据一示例性实施例示出的一种电子设备的结构框图。

如图5所示，该电子设备5能够实现根据本公开实施例中的图像处理方法以及图像处理装置的电子设备的示例性硬件架构的结构图。

该电子设备5可以包括处理器501以及存储有计算机程序指令的存储器502。

具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(application specific integrated circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器502可以包括用于信息或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(hard disk drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，USB)驱动器或者两个及其以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在综合网关设备的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。在特定实施例中，存储器502包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存，或者两个或及其以上这些的组合。

处理器501通过读取并执行存储器502中存储的计算机程序指令，以执行如下步骤：

处理器501，执行获取初始图像，初始图像中包括面部区域；对初始图像中的面部区域进行脸型对称化处理，得到对称图像；其中，对称图像中的面部区域沿面部中轴线对称；基于对称图像进行美型处理，得到目标图像。

在其中一个实施例中，处理器501具体执行对面部区域进行面部特征点定位，得到第一特征点集合；其中，第一特征点集合包括N个第一特征点及其位置信息；以面部中轴线为对称轴，对第一特征点的位置进行对称化调整，得到第二特征点集合；其中，第二特征点集合包括N个第二特征点及其位置信息，第二特征点沿对称轴对称分布；基于第一特征点集合和第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像；其中，N为正整数。

基于此，在其中一个实施例中，上述涉及的处理器501还执行以面部中轴线为对称轴，确定与N个第一特征点对称的N个第三特征点及其位置信息，得到第三特征点集合；根据第一特征点集合和第三特征点集合，生成第二特征点集合。

在其中一个实施例中，上述涉及的处理器501还执行将第一特征点集合对应的第一图像区域和第三特征点集合对应的第三图像区域进行合并，得到第二图像区域；获取第二图像区域对应的第二特征点，得到第二特征点集合。

另外，在其中一个实施例中，上述涉及的处理器501还执行对第一特征点集合和第二特征点集合进行特征点插值处理，得到处理后的第一特征点集合和处理后的第二特征点集合；基于处理后的第一特征点集合和处理后的第二特征点集合，按照预设图像映射算法由初始图像映射得到对称图像。

此外，在其中一个实施例中，上述涉及的处理器501还执行基于第一特征点集合，按照三角剖分算法对面部区域进行三角剖分，得到多个三角区域；其中，三角区域对应的顶点为第一特征点；将初始图像中多个三角区域内的图像分别映射至对应的第一目标图像区域，得到对称图像；其中，第一目标图像区域为与三角区域的三个第一特征点对应的第二特征点围成的区域。

除此之外，在其中一个实施例中，上述涉及的处理器501具体还执行获取初始图像中面部区域相对于正脸的面部偏转角度；确定面部偏转角度小于或等于预设角度。

基于此，在其中一个实施例中，上述涉及的处理器501还执行根据面部偏转角度，确定特征点位置调整系数；其中，面部偏转角度与特征点位置调整系数之间的关系为负相关；根据特征点位置调整系数，对三角区域中与每个第一特征点分别对应的第二特征点的位置进行调整，得到与每个第一特征点分别对应的第四特征点；根据第四特征点的位置信息，确定与三角区域对应的第二目标图像区域；将初始图像中三角区域内的图像映射至对应的第二目标图像区域，得到对称图像。

在一个示例中，该电子设备5还可包括收发器503和总线504。其中，如图5所示，处理器501、存储器502和收发器503通过总线504连接并完成相互间的通信。

总线504包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线504可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于实现本公开实施例所记载的图像处理方法。

在一些可能的实施方式中，本公开提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本公开实施例所记载的图像处理方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本公开是参照根据本公开的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信息处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取初始图像，所述初始图像中包括面部区域；

对所述初始图像中的所述面部区域进行脸型对称化处理，得到对称图像；其中，所述对称图像中的面部区域沿面部中轴线对称；

基于所述对称图像进行美型处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述初始图像中的所述面部区域进行脸型对称化处理，得到对称图像，包括：

对所述面部区域进行面部特征点定位，得到第一特征点集合；其中，所述第一特征点集合包括N个第一特征点及其位置信息；

以所述面部中轴线为对称轴，对所述第一特征点的位置进行对称化调整，得到第二特征点集合；其中，所述第二特征点集合包括N个第二特征点及其位置信息，所述第二特征点沿所述对称轴对称分布；

基于所述第一特征点集合和所述第二特征点集合，按照预设图像映射算法由所述初始图像映射得到所述对称图像；

其中，N为正整数。

3.根据权利要求2所述的方法，其特征在于，所述以所述面部中轴线为对称轴，对所述第一特征点的位置进行对称化调整，得到第二特征点集合，包括：

以所述面部中轴线为对称轴，确定与所述N个第一特征点对称的N个第三特征点及其位置信息，得到第三特征点集合；

根据所述第一特征点集合和所述第三特征点集合，生成所述第二特征点集合。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一特征点集合和所述第三特征点集合，生成所述第二特征点集合，包括：

将所述第一特征点集合对应的第一图像区域和所述第三特征点集合对应的第三图像区域进行合并，得到第二图像区域；

获取所述第二图像区域对应的第二特征点，得到第二特征点集合。

5.根据权利要求2所述的方法，其特征在于，在基于所述第一特征点集合和所述第二特征点集合，按照预设图像映射算法从所述初始图像映射得到所述对称图像之前，所述方法还包括：

对所述第一特征点集合和所述第二特征点集合进行特征点插值处理，得到处理后的第一特征点集合和处理后的第二特征点集合；

所述基于所述第一特征点集合和所述第二特征点集合，按照预设图像映射算法由所述初始图像映射得到所述对称图像，包括：

基于所述处理后的第一特征点集合和所述处理后的第二特征点集合，按照预设图像映射算法由所述初始图像映射得到所述对称图像。

6.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征点集合和所述第二特征点集合，按照预设图像映射算法由所述初始图像映射得到所述对称图像，包括：

基于所述第一特征点集合，按照三角剖分算法对所述面部区域进行三角剖分，得到多个三角区域；其中，所述三角区域对应的顶点为所述第一特征点；

将所述初始图像中所述多个三角区域内的图像分别映射至对应的第一目标图像区域，得到所述对称图像；其中，所述第一目标图像区域为与所述三角区域的三个第一特征点对应的第二特征点围成的区域。

7.一种图像处理装置，其特征在于，包括：

图像获取模块，被配置为执行获取初始图像，所述初始图像中包括面部区域；

对称化处理模块，被配置为执行对所述初始图像中的所述面部区域进行脸型对称化处理，得到对称图像；其中，所述对称图像中的面部区域沿面部中轴线对称；

美型处理模块，被配置为执行基于所述对称图像进行美型处理，得到目标图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，以使所述电子设备实现如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像处理方法。

Images