CN113469914A - 动物脸部美颜方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种动物脸部美颜方法、装置、存储介质和电子设备，涉及人工智能技术领域，该动物脸部美颜方法，基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；基于脸部位置信息获取待美颜图像中目标动物的脸部区域图像；基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息；其中，脸部特征点用于表征目标动物的脸部特征位置；基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜。通过先确定待美颜图像中目标动物的位置信息与脸部特征点信息后，再基于脸部位置信息与脸部特征点信息进行美颜，定位更为精准，从而使得美颜的精度更好，进一步提高动物脸部美颜的效果。

Description

动物脸部美颜方法、装置、存储介质和电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及一种动物脸部美颜方法、装置、存储介质和电子设备。

背景技术

美颜拍摄一直深受年轻人的喜爱，近些年也不断推出一些针对性的美颜模式，例如宠物美颜等。但是由于宠物脸部的毛发较多，容易与五官混合，且宠物一般都比较活泼好动，表情变换丰富，因此，宠物脸部识别较为困难，从而导致针对宠物美颜只能采用贴纸等对于脸部识别精度要求不高的方式，或者直接进行人工干预。

因此，目前针对宠物的美颜方式效果均不佳。

发明内容

本公开提供了一种动物脸部美颜方法、装置、存储介质和电子设备，进而提高对于宠物脸部美颜的效果。

第一方面，本公开一个实施例提供了一种动物脸部美颜方法，包括：

基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；

基于脸部位置信息获取待美颜图像中目标动物的脸部区域图像；

基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息；其中，脸部特征点用于表征目标动物的脸部特征位置；

基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜。

在本公开的一个可选的实施例中，基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息，包括：

基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部外轮廓特征点信息；

基于脸部外轮廓特征点信息确定目标动物的脸部位置信息。

在本公开的一个可选的实施例中，基于脸部外轮廓特征点信息确定目标动物的脸部位置信息，包括：

基于脸部外轮廓特征点信息确定脸部外轮廓的最小外接矩形框；其中，最小外接矩形框用于表征目标动物的脸部位置信息。

在本公开的一个可选的实施例中，基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息，包括：

基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的五官特征点信息。

在本公开的一个可选的实施例中，基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜，包括：

基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜。

在本公开的一个可选的实施例中，基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜，包括：

基于贝塞尔曲线算法与五官特征点信息中的眼睛特征点信息，对待美颜图形中目标动物的眼睛进行轮廓调整；

对进行了轮廓调整后的目标动物的眼睛进行亮眼美颜。

在本公开的一个可选的实施例中，对进行了轮廓调整后的目标动物的眼睛进行亮眼美颜，包括：

基于预设的递增曲线函数确定进行了轮廓调整后的目标动物的眼睛中各像素点颜色值的递增数值；

基于各像素点颜色值的递增数值分别对各像素点的颜色值进行颜色值调整。

在本公开的一个可选的实施例中，基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜，包括：

基于五官特征点信息中的眼睛特征点信息，对目标动物的眼睛进行大眼美颜。

在本公开的一个可选的实施例中，基于五官特征点信息中的眼睛特征点信息，对目标动物的眼睛进行大眼美颜，包括：

确定待美颜图像中的目标动物的眼睛轮廓；

基于预设的第一变形强度，对眼睛轮廓内的区域，沿远离目标动物眼睛中心的方向进行放大；

基于预设的第二变形强度，对眼睛轮廓外的区域，沿远离目标动物眼睛中心的方向进行放大；其中，眼睛轮廓内的区域与眼睛轮廓外的区域沿眼睛轮廓相接，第一变形强度大于第二变形强度。

在本公开的一个可选的实施例中，基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜，包括：

基于轮廓特征点信息对待美颜图像中的目标动物进行圆脸美颜。

在本公开的一个可选的实施例中，基于轮廓特征点信息对待美颜图像中的目标动物进行圆脸美颜，包括：

对脸部外轮廓特征点进行加密处理和/或平滑处理，得到预处理脸部区域图像；

基于预设的圆脸幅度参数中的脸部外轮廓进行圆脸美颜。

在本公开的一个可选的实施例中，动物脸部检测模型与动物脸部特征点检测模型训练时使用的训练样本集中均包含有目标动物图像与非目标动物图像，其中，非目标动物图像中不包含有目标动物的脸部。

在本公开的一个可选的实施例中，目标动物图像中的目标动物的脸部方向相同。

第二方面，本公开一个实施例提供了一种动物脸部美颜装置，该装置包括：

第一确定模块，用于基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；

获取模块，用于基于脸部位置信息获取待美颜图像中目标动物的脸部区域图像；

第二确定模块，用于基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息；其中，脸部特征点用于表征目标动物的脸部特征位置；

美颜模块，用于基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜。

第三方面，本公开一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上的方法。

第四方面，本公开一个实施例提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行如上的方法。

本公开的技术方案具有以下有益效果：

本公开实施例提供的一种动物脸部美颜方法，基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；基于脸部位置信息获取待美颜图像中目标动物的脸部区域图像；基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息；其中，脸部特征点用于表征目标动物的脸部特征位置；基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜。通过先确定待美颜图像中目标动物的位置信息与脸部特征点信息后，再基于脸部位置信息与脸部特征点信息进行美颜，定位更为精准，从而使得美颜的精度更好，进一步提高动物脸部美颜的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种动物脸部美颜方法的应用场景示意图；

图2示出本示例性实施方式中一种动物脸部美颜方法的流程图；

图3示出本示例性实施方式中初始动物脸部检测模型结构示意图；

图4示出本示例性实施方式中初始动物脸部特征点检测模型的结构示意图；

图5示出本示例性实施方式中一种动物脸部美颜方法的流程图；

图6示出本示例性实施方式中一种动物脸部美颜方法的流程图；

图7示出本示例性实施方式中一种对目标动物眼睛轮廓调整前后的比对图；

图8示出本示例性实施方式中一种动物脸部美颜方法的流程图；

图9示出本示例性实施方式中对目标动物眼睛进行亮眼美颜前后的比对图；

图10示出本示例性实施方式中一种动物脸部美颜方法的流程图；

图11示出本示例性实施方式中对目标动物眼睛进行大眼美颜前后的比对图；

图12示出本示例性实施方式中一种动物脸部美颜方法的流程图；

图13示出本示例性实施方式中一种对目标动物进行圆脸美颜前后的比对图；

图14示出本示例性实施方式中一种对目标动物进行美鼻美颜前后的比对图；

图15示出本示例性实施方式中一种对目标动物训练样本进行位置调整前后比对图；

图16示出本示例性实施方式中一种动物脸部美颜装置结构示意图；

图17示出本示例性实施方式中一种电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

相关技术中，美颜拍摄一直深受年轻人的喜爱，近些年也不断推出一些针对性的美颜模式，例如宠物美颜等。但是由于宠物脸部的毛发较多，容易与五官混合，且宠物一般都比较活泼好动，表情变换丰富，因此，宠物脸部识别较为困难，从而导致针对宠物美颜只能采用贴纸等对于脸部识别精度要求不高的方式，或者直接进行人工干预。因此，目前针对宠物的美颜方式效果均不佳。。

鉴于上述问题，本公开实施例提供了一种动物脸部美颜方法，通过先确定待美颜图像中目标动物的位置信息与脸部特征点信息后，再基于脸部位置信息与脸部特征点信息进行美颜，定位更为精准，从而使得美颜的精度更好，进一步提高动物脸部美颜的效果。

以下对本公开实施例提供的动物脸部美颜方法的应用环境作简单介绍：

请参见图1，本公开实施例提供的动物脸部美颜方法的应用环境包括服务器101与终端设备102；其中，服务器101用于进行模型训练，并将训练得到的检测模型发送至终端设备102，终端设备102在接收到检测模型后，基于得到的检测模型对动物的脸部进行美颜。其中，该终端设备102至少包括：图像采集模块，定位模块和美颜模块。图像采集模块用于采集待美颜图像，定位模块用于对待美颜图像中目标动物的脸部进行识别，美颜模块用于对待美颜图像中目标动物的脸部进行美颜，例如大眼、亮眼、圆脸等。本公开实施例中的目标动物可以为猫、狗、兔子等，本实施例不作具体限定，可根据实际情况具体选择。

下面以上述终端设备为执行主体，将该动物脸部美颜方法应用于上述的终端设备，对待美颜图像中的目标动物进行脸部美颜为例进行举例说明。请参见图2，本公开实施例提供的动物脸部美颜方法包括如下步骤201-步骤204：

步骤201、终端设备基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息。

服务器基于大量的目标动物脸部图像样本对初始动物脸部检测模型进行训练，得到动物脸部检测模型，并将该训练得到的动物脸部检测模型发送至终端设备。其中，请参见图3，该初始动物脸部检测模型300至少包括三个模块：特征提取模块301，上下文模块302和预测模块303。其中，特征提取模块301输入为样本图像，输出为两张或两张以上的特征图，用于提取样本图像中的特征；上下文模块302的输入为特征提取模块输出的特征图，输出是不同分辨率的特征图；预测模块303至少包括检测框回归分支、分数预测分支和特征点回归分支，将输入的不同分别率特征图合并起来作为输出。该初始动物脸部检测模型可以为SqueezeNet，MobileNet，ShuffleNet，Xception等任意轻量化脸部检测模型。终端设备在得到该动物脸部检测模型后，将得到的待美颜图像输入至该动物脸部检测模型中，以确定得到该美颜图像中目标动物的脸部位置信息，例如脸部轮廓坐标信息或者脸部标识框信息等。

步骤202、终端设备基于脸部位置信息获取待美颜图像中目标动物的脸部区域图像。

终端设备基于步骤201确定得到待美颜图像中目标动物的脸部位置信息后，可以通过如下几种方式获取得到待美颜图像中目标动物的脸部区域图像：第一种方式，终端设备基于得到的目标动物的脸部位置信息，对待美颜图像中的目标动物脸部对应的区域进行裁剪，以获取得到目标动物的脸部区域图像；第二种方式，终端设备基于得到的目标动物的脸部位置信息，然后对目标动物脸部位置的图像进行复制，形成新的一张只包含目标动物脸部的图像，即得到了目标动物的脸部区域图像。当然，获取目标动物的脸部区域图像的方式包括但不限于如上两种方式，本实施例不作穷举。其中，上述所指的目标动物的脸部区域图像可以是目标动物的脸部最小外界矩形、椭圆框图，也可以是有，且只包含有目标动物脸部的脸部图像。

步骤203、终端设备基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息。

其中，脸部特征点用于表征目标动物的脸部特征位置，例如，脸部外轮廓线上的多个连续的特征点、眼睛轮廓线上的多个连续的特征点，嘴巴轮廓线上的多个连续的特征点，鼻子轮廓线上的多个连续的特征点等。该脸部特征点本质是用于对动物脸部的特征，例如脸部轮廓、五官等进行定位。同步骤201，服务器基于大量标注有目标动物脸部特征点的目标动物脸部图像样本对初始动物脸部检测模型进行训练，得到动物脸部特征点检测模型，并将该训练得到的动物脸部特征点检测模型发送至终端设备。终端设备在得到该动物脸部特征点检测模型后，将得到的待美颜图像输入至该动物脸部特征点检测模型中，以确定得到该美颜图像中目标动物的脸部位置信息，例如脸部轮廓坐标信息、五官轮廓坐标信息等。其中，请参见图4，动物脸部特征点检测模型至少包括三个模块：特征提取模块、特征融合模块和回归模块。其中，特征提取模块输入为样本图像，输出为两张或两张以上的特征图，用于提取样本图像中的特征；特征融合模块，用于从特征提取模块的中间输出和最后输出取出不同分辨率的特征图，经过池化后进行拼接输入融合模块。例如Depthwise11和Depthwise13和Depthwise14作为提取的特征图示例，记为f1、f2、f3。f1、f2、f3分别经过2、1、0次最大池化后，尺寸分别为512*3*3，1024*3*3、1024*3*3，然后对通道进行拼接，可以得到2560*3*3的特征图。特征融合模块融合不同尺度的特征输入回归模块，回归模块通过内部的Flatten层将输入的多维特征图进行一维化。

步骤204、终端设备基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜。

终端设备在得到待美颜图像中目标动物的脸部位置信息与脸部特征点信息后，然后基于该位置信息与该脸部特征点信息对目标动物的脸部进行美颜，例如，大眼、亮眼、圆脸、美鼻、美耳等针对性的美颜。

本公开实施例提供的动物脸部美颜方法通过先确定待美颜图像中目标动物的位置信息与脸部特征点信息后，再基于脸部位置信息与脸部特征点信息进行美颜，定位更为精准，从而使得美颜的精度更好，进一步提高动物脸部美颜的效果。

请参见图5，在本公开的一个可选实施例中，上述步骤201终端设备基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息，包括如下步骤501-步骤502：

步骤501、终端设备基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部外轮廓特征点信息。

其中，脸部外轮廓特征点是指，目标动物脸部外轮廓线上的多个连续的特征点，该多个连续的特征点用于表征脸部外轮廓位置，对应地，该脸部外轮廓特征点信息可以为该多个连续的特征点的坐标信息或者其他可以用于表征其位置的信息。终端设备将获取得到的待美颜图像输入至训练得到的动物脸部检测模型中，即可得到对应的目标动物的脸部外轮廓特征点坐标，即得到了目标动物的脸部外轮廓特征点信息。

步骤502、终端设备基于脸部外轮廓特征点信息确定目标动物的脸部位置信息。

如上步骤501，终端设备在得到的目标动物的脸部外轮廓特征点坐标后，可以通过如下几种方式确定得到目标动物的脸部位置信息：第一种方式，将目标动物的脸部外轮廓特征点所在的闭合曲线，也就是脸部外轮廓线所对应的区域确定为目标动物的脸部位置信息；可以最大程度的提高脸部位置信息的精准性。第二种方式，计算目标动物外轮廓特征点对应的最小外接椭圆、最小外接圆或最小外接矩形等最小外接形状，然后将该最小外接形状确定目标动物的脸部位置信息；通过该种方式可以在保证脸部位置信息准确性的前提下，最大程度减小脸部位置信息确定时的计算量，从而提高脸部位置信息的确定效率，进一步在保证美颜精准性的前提下提高本公开实施例提供的动物脸部美颜的效率。

在本公开的一个可选实施例中，上述步骤502终端设备基于脸部外轮廓特征点信息确定目标动物的脸部位置信息，包括如下步骤A：

步骤A、终端设备基于脸部外轮廓特征点信息确定脸部外轮廓的最小外接矩形框。

其中，最小外接矩形框用于表征目标动物的脸部位置信息。终端设备基于脸部外轮廓特征点信息确定目标动物脸部外轮廓的最小外接矩形框，可以方便在后续进行美颜时进行三角剖分定位，可以进一步在保证美颜精准性的前提下提高本公开实施例提供的动物脸部美颜方法的美颜效果。

在本公开的一个可选实施例中，上述步骤203终端设备基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息，包括如下步骤B：

步骤B、终端设备基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的五官特征点信息。

如上步骤501终端设备基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部外轮廓特征点信息，本实施例再通过训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息。其中，脸部区域图像是基于目标动物脸部位置信息裁剪后得到的目标动物的脸部图像，目标动物的五官占比相对于初始的待美颜图像中的五官占比更大，因此，得到的五官特征点信息更为精准，可以进一步提高本公开实施例提供的动物美颜方法的美颜精准性。

在本公开的一个可选实施例中，上述步骤204终端设备基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜，包括如下步骤C：

步骤C、终端设备基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜。

终端设备在得到的目标动物的外轮廓特征点信息与五官特征点信息后，再基于外轮廓特征点信息与五官特征点信息进行美颜，可以大大提高对于目标动物脸部定位的精确度，进一步提高本公开实施例提供的动物美颜方法的美颜效果。

请参见图6，在本公开的一个可选实施例中，上述步骤C终端设备基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜，包括如下步骤601-步骤602：

步骤601、终端设备基于贝塞尔曲线算法与五官特征点信息中的眼睛特征点信息，对待美颜图形中目标动物的眼睛进行轮廓调整。

终端设备通过上述步骤203得到目标动物的脸部特征点信息，该脸部特征点中包含有眼睛特征点信息。终端设备先基于所有的眼睛特征点信息构建眼睛的轮廓线，形成原始轮廓线，然后确定每两个特征点之间的控制点，控制点的计算公式如下：

(x,y)＝(x′,y′)+d*(y₀-y₁,x₁-x₀)*0.1 (1)

(1)式中，(x,y)是第一特征点与第二特征点之间的控制点的坐标，(x′,y′)是第一特征点与第二特征点的中间点的坐标，(x₀,y₀)是第一特征点坐标，(x₁,y₁)是与第一特征点相邻的第二特征点的坐标，d为曲率，为经验参数，可根据实际需要设定。

终端设备在基于上述公式(1)计算得到每两个特征点之间的控制点后，然后基于所有的特征点，以及所有的控制点绘制一条贝塞尔曲线，即可得到完美契合目标动物眼睛的轮廓线，如图7中的图7(a)为初始眼睛轮廓曲线，呈不规则锯齿状，图7中的7(b)为基于贝塞尔曲线算法进行眼睛轮廓调整后的眼睛轮廓线，呈光滑曲线状。

步骤602、终端设备对进行了轮廓调整后的目标动物的眼睛进行亮眼美颜。

终端设备在得到调整后的眼睛轮廓线后，然后对眼睛轮廓线内的区域进行亮眼美颜，可以通过如下几种方式进行亮眼美颜：

第一种方式，通过调整亮度、对比度和饱和度等来调整眼睛轮廓线内部的区域，以达到亮眼的目的；亮度、对比度和饱和度可以对该眼睛内部区域进行整体调整，调整效率高，可以进一步提高本公开实施例对于动物脸部美颜的效率。

第二种方式，请参见图8，包括如下步骤801-步骤802：

步骤801、终端设备基于预设的递增曲线函数确定进行了轮廓调整后的目标动物的眼睛中各像素点颜色值的递增数值。

其中，该递增曲线函数是指使得输入值越大，输出值相对于输入值更大，输入值越小，输出值相对于输入值更小的一种函数。例如在本实施例中，颜色值小的像素点颜色递增比较少，颜色值大的像素点颜色递增比较多。例如输入的颜色值为20时，输出的递增数值为1；输入的颜色值为150时，输出的递增数值是50，这样就可以加大眼睛明暗颜色的颜色值差异大小。

步骤802、终端设备基于各像素点颜色值的递增数值分别对各像素点的颜色值进行颜色值调整。

各像素点与各递增数值一一对应，每个像素点对应一个递增数值，终端设备在得到各像素点的递增数值后，然后基于各递增数值对各自对应的像素点进行颜色值的调整，从而从视觉上达到亮眼效果，如图9中，9(a)为未进行亮眼美颜前的目标动物图像，9(b)为进行了亮眼后的目标动物图像。本公开实施通过递增曲线函数来对各像素点的颜色值进行调整，从而加大了色调对比，使得亮的像素点更亮，暗的像素点越暗，从视觉上实现眼睛的提亮效果，进一步提高本公开实施例提供的动物脸部美颜方法的美颜效果。

在本公开的一个可选实施例中，上述步骤C终端设备基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜，包括如下步骤D：

步骤D、终端设备基于五官特征点信息中的眼睛特征点信息，对目标动物的眼睛进行大眼美颜。

本公开实施例基于得到的五官特征信息中的眼睛特征信息对目标动物进行大眼美颜，可以提高大眼美颜中对于眼睛的定位精准性，可以进一步提高大眼美颜的美颜效果。

请参见图10，在本公开的一个可选实施例中，上述步骤D、终端设备基于五官特征点信息中的眼睛特征点信息，对目标动物的眼睛进行大眼美颜，包括如下步骤1001-步骤1003：

步骤1001、终端设备确定待美颜图像中的目标动物的眼睛轮廓。

终端设备基于得到的五官特征点信息中的眼睛特征点信息确定目标动物的眼睛轮廓，例如将得到的多个眼睛特征点用曲线连接起来，或者基于步骤1001中的贝塞尔曲线算法对眼睛的轮廓进行调整后，重新确定优化后的眼睛轮廓。

步骤1002、终端设备基于预设的第一变形强度，对眼睛轮廓内的区域，沿远离目标动物眼睛中心的方向进行放大。

终端设备对目标动物眼睛中心一定范围内的像素，以第一变形强度沿远离目标动物眼睛中心的方向进行放大，也就是在眼睛轮廓内衣第一变形强度进行像素的扩散。其中，第一变形强度可以根据时间情况进行具体设定，本实施不作任何限定。眼睛轮廓内的变形区域大小可以为眼睛最大外接圆，或者眼睛的最小外接圆，或者其他工作人员根据经验设定的区域等均可，本实施例不作具体限定

步骤1003、终端设备基于预设的第二变形强度，对眼睛轮廓外的区域，沿远离目标动物眼睛中心的方向进行放大。

其中，眼睛轮廓内的区域与眼睛轮廓外的区域沿眼睛轮廓相接，第一变形强度大于第二变形强度，可以使得眼睛变形区域与眼睛轮廓外部的区域可以无缝融合，以提高大眼美颜的效果，如图11中，11(a)为未进行大眼美颜前的目标动物图像，11(b)为进行了大眼美颜后的目标动物图像。同如上步骤1002，在眼睛轮廓线外的区域，沿目标动物眼睛中心点向四周进行像素扩散，扩散范围的半径可以根据实际情况具体设定，本实施例不作任何限定。

在本公开的一个可选实施例中，上述步骤C、终端设备基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜，包括如下步骤E：

步骤E、终端设备基于轮廓特征点信息对待美颜图像中的目标动物进行圆脸美颜。

本实施例基于得到的目标动物的轮廓特征点信息对待美颜图像中的目标动物进行圆脸美颜，可以进一步提高脸部定位的精准性，进一步提高圆脸美颜的美颜效果。

请参见图12，在本公开的一个具体的实施例中，上述步骤E、终端设备基于轮廓特征点信息对待美颜图像中的目标动物进行圆脸美颜，包括如下步骤1201-步骤1202：

步骤1201、终端设备对脸部外轮廓特征点进行加密处理和/或平滑处理，得到预处理脸部区域图像。

终端设备通过上述步骤501得到目标动物的脸部外轮廓特征点信息，然后基于对各外轮廓特征点进行加密，加密程度可以根据实际情况具体设定。在进行加密后，可以再计算每个外轮廓特征点的法向量，得到初始状态下的脸部区域图像中目标动物脸部的各顶点的坐标以及法向量。

步骤1202、终端设备基于预设的圆脸幅度参数中的脸部外轮廓进行圆脸美颜。

终端设备基于预设的圆脸幅度参数对目标动物脸部的各脸部外轮廓特征点的坐标以及法向量进行渲染，得到新的各脸部外轮廓特征点的新的坐标以及新的法向量。最后，终端设备基于得到的新的坐标重新绘制目标动物脸部外轮廓，并进行渲染，即可实现圆脸美颜，如图13中，13(a)为未进行圆脸美颜的目标动物图像，13(b)为进行了圆脸美颜后的目标动物图像。当然，在本实施例中，终端设备也可以基于多个外部轮廓中的特定特征点进行处理，例如脸部外轮廓中例如耳尖最高处、两腮最高处等脸部的顶点，而不对所有的两部外轮廓特征点进行处理，可以在保证圆脸效果的基础上大大提高圆脸美颜的效率。

当然，在本公开实施例中，还可以基于得到的轮廓特征点信息与五官特征点信息进行其他，例如美鼻等的美颜，以进一步提高其他美颜的效果。如图14中，14a为未进行美鼻美颜的目标动物图像，14b为进行了美鼻美颜后的目标动物图像。

在本公开的一个可选实施例中，上述动物脸部检测模型与动物脸部特征点检测模型训练时使用的训练样本集中均包含有目标动物图像与非目标动物图像，其中，非目标动物图像中不包含有目标动物的脸部，例如人脸或者其他动物的脸部图像等。本公开实施例通过在训练样本集中加入部分非目标动物图像，可以增加对于动物脸部检测模型与动物脸部特征点检测模型的训练困难度，从而提高得到的动物脸部检测模型与动物脸部特征点检测模型的检测效果，进一步提高本公开实施例提供的动物脸部美颜方法的美颜效果。

在本公开的一个可选实施例中，目标动物图像中的目标动物的脸部方向相同。也就是说，在进行训练前，可以通过旋转等方式先将所有的目标动物图像中的目标动物的脸部方向调整为一致，例如图15中所有双耳耳尖都朝向y轴方向，可以大大减小后期模型训练时对样本中目标动物识别的效率，进一步提高模型训练的效率。

对应地，终端设备可以将待美颜图像中目标动物的位置调整为一致，例如通过五官特征点中的眼睛特征点进行调整：

(2)式中，a为旋转的角度，(x₁，y₁)与(x₂，y₂)分别为目标动物双眼的坐标。

在一个可选的实施例中，在对动物脸部检测模型进行训练时，可以基于损失函数对当前的训练模型进行进一步优化，例如本实施中的损失函数可为如下式(3)：

(3)式中，N表示候选框总数，α和β表示权重，L_loc表示候选框坐标的损失函数，L_conf表示候选框置信度的损失函数，L_landmarks表示候选框特征点坐标的损失函数。其中，L_loc、L_conf和L_landmarks可以通过如下公式(4)-(6)计算得到：

(4)式中，L_loc表示候选框坐标的损失函数，N表示候选框总数，Pos表示正样本候选框的数量，i为预测候选框的序号，j为真实目标框的序号，x_i,j表示第i个预测目标框与第j个真实目标目标框是否匹配，匹配为1，不匹配为0，l_i-g_j为第i个预测目标框与第j个真实目标目标框之间的位置偏差。

(5)式中，L_conf表示候选框置信度的损失函数，N表示候选框总数，Pos表示正样本候选框的数量，i为预测候选框的序号，j为真实目标框的序号，x_i,j表示第i个预测目标框与第j个真实目标框是否匹配，匹配为1，不匹配为0，c表示预测的类别置信度，

表示第i个预测目标框猫脸的置信度，Neg表示训练图像中负样本候选框的数量，

表示第i个预测框是背景的置信度。

(6)式中，L_landmarks表示候选框特征点坐标的损失函数，N表示候选框总数，K表示特征点总数，Pos表示正样本候选框的数量，i为预测候选框的序号，j为真实目标框的序号，x_i,j表示第i个预测目标框与第j个真实目标框是否匹配，匹配为1，不匹配为0，

为第i个预测框的特征点与第j个真实目标框之间的第k个特征点的位置偏差，wing的确定方式如下式(7)：

其中，w和∈为经验值，w一般取10，∈一般取2，

ε为经验值，可根据实际情况具体设定。

在本公开的一个可选的实施例中，在对动物脸部特征点检测模型进行训练时，可以基于损失函数对当前的训练模型进行进一步优化，例如本实施中的损失函数可为如下式(8)：

上式中，L_landmarks表示每次得到的特征点坐标的损失函数，K表示样本图像中标注的特征点的数量，l^k表示第k个特征点预测坐标，g^k表示第k个特征点真实坐标，w和∈为经验值，w一般取10，∈一般取2，ε为经验值，可根据实际情况具体设定，

C可以取5。

请参见图16，本公开的示例性实施方式还提供了一种动物脸部美颜装置，该动物脸部美颜装置包括：第一确定模块1601、获取模块1602、第二确定模块1603和美颜模块1604。其中：

该第一确定模块1601，用于基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；

该获取模块1602，用于基于脸部位置信息获取待美颜图像中目标动物的脸部区域图像；

该第二确定模块1603，用于基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的脸部特征点信息；其中，脸部特征点用于表征目标动物的脸部特征位置；

该美颜模块1604，用于基于位置信息与脸部特征点信息对待美颜图像中的目标动物进行脸部美颜。

在本公开一个可选实施例中，该第一确定模块1601具体用于，基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部外轮廓特征点信息；基于脸部外轮廓特征点信息确定目标动物的脸部位置信息。

在本公开一个可选实施例中，该第一确定模块1601具体用于，基于脸部外轮廓特征点信息确定脸部外轮廓的最小外接矩形框；其中，最小外接矩形框用于表征目标动物的脸部位置信息。

在本公开一个可选实施例中，该第二确定模块1603具体用于，基于训练得到的动物脸部特征点检测模型确定脸部区域图像中目标动物的五官特征点信息。

在本公开一个可选实施例中，该美颜模块1604具体用于，基于外轮廓特征点信息与五官特征点信息，对待美颜图像中的目标动物进行脸部美颜。

在本公开一个可选实施例中，该美颜模块1604具体用于，基于贝塞尔曲线算法与五官特征点信息中的眼睛特征点信息，对待美颜图形中目标动物的眼睛进行轮廓调整；对进行了轮廓调整后的目标动物的眼睛进行亮眼美颜。

在本公开一个可选实施例中，该美颜模块1604具体用于，基于预设的递增曲线函数确定进行了轮廓调整后的目标动物的眼睛中各像素点颜色值的递增数值；基于各像素点颜色值的递增数值分别对各像素点的颜色值进行颜色值调整。

在本公开一个可选实施例中，美颜模块1604具体用于，基于五官特征点信息中的眼睛特征点信息，对目标动物的眼睛进行大眼美颜。

在本公开一个可选实施例中，该美颜模块1604具体用于，确定待美颜图像中的目标动物的眼睛轮廓；基于预设的第一变形强度，对眼睛轮廓内的区域，沿远离目标动物眼睛中心的方向进行放大；基于预设的第二变形强度，对眼睛轮廓外的区域，沿远离目标动物眼睛中心的方向进行放大；其中，眼睛轮廓内的区域与眼睛轮廓外的区域沿眼睛轮廓相接，第一变形强度大于第二变形强度。

在本公开一个可选实施例中，该美颜模块1604具体用于，基于轮廓特征点信息对待美颜图像中的目标动物进行圆脸美颜。

在本公开一个可选实施例中，该美颜模块1604具体用于，对脸部外轮廓特征点进行加密处理和/或平滑处理，得到预处理脸部区域图像；基于预设的圆脸幅度参数中的脸部外轮廓进行圆脸美颜。

在本公开一个可选实施例中，动物脸部检测模型与动物脸部特征点检测模型训练时使用的训练样本集中均包含有目标动物图像与非目标动物图像，其中，非目标动物图像中不包含有目标动物的脸部。

在本公开一个可选实施例中，目标动物图像中的目标动物的脸部方向相同。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供了一种电子设备，可以是信息平台的后台服务器。下面参考图17对该电子设备进行说明。应当理解，图17显示的电子设备1700仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。

如图17所示，电子设备1700以通用计算设备的形式表现。电子设备1700的组件可以包括但不限于：至少一个处理单元1710、至少一个存储单元1720、连接不同系统组件(包括存储单元1720和处理单元1710)的总线1730。

其中，存储单元存储有程序代码，程序代码可以被处理单元1710执行，使得处理单元1710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1710可以执行如图2所示的方法步骤等。

存储单元1720可以包括易失性存储单元，例如随机存取存储单元(RAM)1721和/或高速缓存存储单元1722，还可以进一步包括只读存储单元(ROM)1723。

存储单元1720还可以包括具有一组(至少一个)程序模块1725的程序/实用工具1724，这样的程序模块1725包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1730可以包括数据总线、地址总线和控制总线。

电子设备1700也可以与一个或多个外部设备1770(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1040进行。电子设备1700还可以通过网络适配器1750与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1750通过总线1730与电子设备1700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (16)

1.一种动物脸部美颜方法，其特征在于，包括：

基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；

基于所述脸部位置信息获取所述待美颜图像中所述目标动物的脸部区域图像；

基于训练得到的动物脸部特征点检测模型确定所述脸部区域图像中所述目标动物的脸部特征点信息；其中，所述脸部特征点用于表征所述目标动物的脸部特征位置；

基于所述位置信息与所述脸部特征点信息对所述待美颜图像中的所述目标动物进行脸部美颜。

2.根据权利要求1所述的动物脸部美颜方法，其特征在于，所述基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息，包括：

基于训练得到的所述动物脸部检测模型确定所述待美颜图像中所述目标动物的脸部外轮廓特征点信息；

基于所述脸部外轮廓特征点信息确定所述目标动物的所述脸部位置信息。

3.根据权利要求2所述的动物脸部美颜方法，其特征在于，所述基于所述脸部外轮廓特征点信息确定所述目标动物的所述脸部位置信息，包括：

基于所述脸部外轮廓特征点信息确定所述脸部外轮廓的最小外接矩形框；其中，所述最小外接矩形框用于表征所述目标动物的所述脸部位置信息。

4.根据权利要求2所述的动物脸部美颜方法，其特征在于，所述基于训练得到的动物脸部特征点检测模型确定所述脸部区域图像中所述目标动物的脸部特征点信息，包括：

基于训练得到的所述动物脸部特征点检测模型确定所述脸部区域图像中所述目标动物的五官特征点信息。

5.根据权利要求4所述的动物脸部美颜方法，其特征在于，所述基于所述位置信息与所述脸部特征点信息对所述待美颜图像中的所述目标动物进行脸部美颜，包括：

基于所述外轮廓特征点信息与所述五官特征点信息，对所述待美颜图像中的所述目标动物进行脸部美颜。

6.根据权利要求5所述的动物脸部美颜方法，其特征在于，所述基于所述外轮廓特征点信息与所述五官特征点信息，对所述待美颜图像中的所述目标动物进行脸部美颜，包括：

基于贝塞尔曲线算法与所述五官特征点信息中的眼睛特征点信息，对所述待美颜图形中所述目标动物的眼睛进行轮廓调整；

对进行了所述轮廓调整后的所述目标动物的眼睛进行亮眼美颜。

7.根据权利要求6所述的动物脸部美颜方法，其特征在于，所述对进行了所述轮廓调整后的所述目标动物的眼睛进行亮眼美颜，包括：

基于预设的递增曲线函数确定进行了所述轮廓调整后的所述目标动物的眼睛中各像素点颜色值的递增数值；

基于各像素点颜色值的所述递增数值分别对各像素点的颜色值进行颜色值调整。

8.根据权利要求5所述的动物脸部美颜方法，其特征在于，所述基于所述外轮廓特征点信息与所述五官特征点信息，对所述待美颜图像中的所述目标动物进行脸部美颜，包括：

基于所述五官特征点信息中的眼睛特征点信息，对所述目标动物的眼睛进行大眼美颜。

9.根据权利要求8所述的动物脸部美颜方法，其特征在于，所述基于所述五官特征点信息中的眼睛特征点信息，对所述目标动物的眼睛进行大眼美颜，包括：

确定所述待美颜图像中的所述目标动物的眼睛轮廓；

基于预设的第一变形强度，对所述眼睛轮廓内的区域，沿远离所述目标动物眼睛中心的方向进行放大；

基于预设的第二变形强度，对所述眼睛轮廓外的区域，沿远离所述目标动物眼睛中心的方向进行放大；其中，所述眼睛轮廓内的区域与所述眼睛轮廓外的区域沿所述眼睛轮廓相接，所述第一变形强度大于所述第二变形强度。

10.根据权利要求5所述的动物脸部美颜方法，其特征在于，所述基于所述外轮廓特征点信息与所述五官特征点信息，对所述待美颜图像中的所述目标动物进行脸部美颜，包括：

基于所述轮廓特征点信息对所述待美颜图像中的所述目标动物进行圆脸美颜。

11.根据权利要求10所述的动物脸部美颜方法，其特征在于，所述基于所述轮廓特征点信息对所述待美颜图像中的所述目标动物进行圆脸美颜，包括：

对所述脸部外轮廓特征点进行加密处理和/或平滑处理，得到预处理脸部区域图像；

基于预设的圆脸幅度参数中的脸部外轮廓进行圆脸美颜。

12.根据权利要求1所述的动物脸部美颜方法，其特征在于，所述动物脸部检测模型与所述动物脸部特征点检测模型训练时使用的训练样本集中均包含有目标动物图像与非目标动物图像，其中，所述非目标动物图像中不包含有所述目标动物的脸部。

13.根据权利要求12所述的动物脸部美颜方法，其特征在于，所述目标动物图像中的所述目标动物的脸部方向相同。

14.一种动物脸部美颜装置，其特征在于，所述装置包括：

第一确定模块，用于基于训练得到的动物脸部检测模型确定待美颜图像中目标动物的脸部位置信息；

获取模块，用于基于所述脸部位置信息获取所述待美颜图像中所述目标动物的脸部区域图像；

第二确定模块，用于基于训练得到的动物脸部特征点检测模型确定所述脸部区域图像中所述目标动物的脸部特征点信息；其中，所述脸部特征点用于表征所述目标动物的脸部特征位置；

美颜模块，用于基于所述位置信息与所述脸部特征点信息对所述待美颜图像中的所述目标动物进行脸部美颜。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13任一项所述的方法。

16.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13任一项所述的方法。

Images