CN110060348B - 人脸图像整形方法及装置 - Google Patents

Abstract

本发明实施例的方面涉及人脸图像整形方法及装置。人脸图像整形方法包括：获取人脸图像；通过检测人脸图像，获取人脸的关键点，其中关键点包括脸中线关键点；基于关键点，生成第一人脸三角化网格；获取关键点中需要移动的中心点和中心点的移动矢量，基于中心点及移动矢量，得到变化后的第二人脸三角化网格；根据第一人脸三角化网格和第二人脸三角化网格，对人脸图像进行渲染，得到整形图像。通过本发明实施例，可针对大角度侧脸进行整形，有效提升颜值。

Description

人脸图像整形方法及装置

技术领域

本发明实施例一般地涉及图像处理领域，更具体地，涉及人脸图像整形方法及装置。

背景技术

人脸美颜是拍照或者修图软件中的常用功能。传统的美颜算法可实现简单的大眼瘦脸，高级美颜的算法可以针对各个五官进行精细的调整，包括隆鼻，削尖下巴，修眉等功能。这些美颜算法的局限是不能对大角度侧脸进行整形。通常，当人脸转到一定角度的时候，很多正脸整形的效果会关闭。

发明内容

为了解决现有技术中存在的上述问题，本发明实施例提供了人脸图像整形方法及装置。

第一方面，本发明实施例提供一种人脸图像整形方法，其中，该方法包括：获取图像步骤，获取人脸图像；检测步骤，通过检测人脸图像，获取人脸的关键点，其中关键点包括脸中线关键点；三角化网格生成步骤，基于关键点，生成第一人脸三角化网格；移动步骤，获取关键点中需要移动的中心点和中心点的移动矢量，基于中心点及移动矢量，得到变化后的第二人脸三角化网格；图像变形步骤，根据第一人脸三角化网格和第二人脸三角化网格，对人脸图像进行渲染，得到整形图像。

在一例中，检测步骤，获取的关键点为稠密关键点，通过多个检测子模型对人脸图像进行检测，每个检测子模型获取人脸相应位置的稠密关键点。

在一例中，该方法还包括：固定点确定步骤，确定关键点中固定点，固定点在移动步骤中不可移动。

在一例中，三角化网格生成步骤还包括：基于关键点，生成形变区域边缘，在形变区域边缘上获取边缘点，根据关键点和边缘点生成第一人脸三角化网格。

在一例中，基于关键点，生成形变区域边缘，包括：对关键点进行闭包运算，得到人脸的闭包边缘线；对闭包边缘线进行膨胀，生成形变区域边缘。

在一例中，移动步骤中，基于预设值或接收用户指令，确定中心点。

在一例中，移动步骤还包括：根据中心点，确定与中心点联动的关联移动点。

在一例中，移动步骤还包括：根据中心点及中心点的移动矢量，确定与中心点联动的关联移动点。

在一例中，移动步骤还包括：基于衰减函数，确定关联移动点的关联移动矢量。

第二方面，本发明实施例提供一种人脸图像整形装置，其中，装置包括：获取图像单元，用于获取人脸图像；检测单元，用于通过检测人脸图像，获取人脸的关键点，其中关键点包括脸中线关键点；三角化网格生成单元，用于基于关键点，生成第一人脸三角化网格；移动单元，用于获取关键点中需要移动的中心点和中心点的移动矢量，基于中心点及移动矢量，得到变化后的第二人脸三角化网格；图像变形单元，用于根据第一人脸三角化网格和第二人脸三角化网格，对人脸图像进行渲染，得到整形图像。

第三方面，本发明实施例提供一种电子设备，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行上述任何方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在计算机上运行时，执行上述任何方法。

本发明实施例提供的人脸图像整形方法及装置，通过获取包括脸中线关键点的人脸关键点，对人脸关键点中需要移动的关键点进行移动，引起人脸三角化网格的形变，渲染出形变的图像，可实现对大角度的侧脸进行整形，有效提升颜值。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是本发明实施例提供的人脸图像整形方法实施流程图；

图2是本发明实施例提供的中心点以及与中心点联动的关联移动点的示例图；

图3是本发明实施例提供的人脸图像整形装置示意图；

图4是本发明实施例提供的一种电子设备示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

本发明的一个实施方式提出了一种人脸图像整形方法100，该方法可以应用于针对人脸进行美颜的应用场景。图1示出了本发明实施例提供的一种人脸图像整形方法100的实施流程图。参阅图1所示，该方法100包括：

S101：获取图像步骤，获取人脸图像。

在本实施例中，获取的人脸图像可以是手机或者具有拍摄功能的设备实时拍摄而获取的人脸图像，也可以是已经拍摄完成的被上传的人脸图像。其中，该图像可以是彩色图片也可以是黑白图片，同时该人脸图像可以是从正面拍照的、也可以是从侧面拍照的人脸图像。

S102：检测步骤，通过检测人脸图像，获取人脸的关键点，其中关键点包括脸中线关键点。

本发明实施例中涉及的人脸关键点可以是脸部的一些表征能力强的关键点，包括但不限于眼角、眉梢、颧骨最高点、鼻子、嘴巴、下巴以及人脸外轮廓等一系列关键点，可能的实施方式，本发明实施例中的人脸关键点包括脸中线关键点。

其中，人脸的关键点可以用已有的人脸检测和人脸关键点定位算法来实现。如预先搜集大量人脸图像，如N＝10000，人工在每张图像中标注出人脸的眼角，嘴角，鼻翼，颧骨最高点，外轮廓点等一系列关键点。使用机器学习算法，如深度学习或者基于局部特征的回归算法，进行训练，从而得到人脸检测和关键点定位的算法模块。该模块的输入是包含人脸的图片，输出为该人脸图片的关键点，取决于不同的模型，人脸关键点通常有81点，103点或者其他数量。

本发明实施例获取的人脸关键点由于包括了脸中线关键点，使得可以对人脸中大角度的侧脸进行整形，包括90度，例如垫高额头、唇珠、下巴等，有效地提升了颜值。

S103：三角化网格生成步骤，基于关键点，生成第一人脸三角化网格。

在本实施例中，基于获取的人脸关键点，生成人脸三角化网格。本发明实施例为描述方便，将生成的人脸三角化网格称为第一人脸三角化网格。

S104：移动步骤，获取关键点中需要移动的中心点和中心点的移动矢量，基于中心点及移动矢量，得到变化后的第二人脸三角化网格。

在本实施例中，需要移动的中心点可根据人脸图像整形部位的不同而有相应的变化，根据用户指定的中心点的移动矢量，比如额头高度，嘴唇高度，下巴长度等，移动关键点的位置，引起人脸三角化网格的形变，得到变化后的第二人脸三角化网格。

S105：图像变形步骤，根据第一人脸三角化网格和第二人脸三角化网格，对人脸图像进行渲染，得到整形图像。

在本实施例中，根据第一人脸三角化网格和变化后的第二人脸三角化网格，对人脸图像进行渲染，得到的整形图像，可采用本领域内的常规操作实现，在此不再赘述。通常图像变形步骤可以通过中央从处理单元(CPU)、图像处理器(GPU)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元实现。本发明实施例中，为了提高图像变形效率，可通过在GPU上并行计算的方式实现图像形变。

通过上述实施例，获取包括脸中线关键点的人脸关键点，对人脸关键点中需要移动的关键点进行移动，可实现对包括大角度侧脸在内的人脸图像整形。

作为本发明的一个实施方式，检测步骤102中：获取的关键点为稠密关键点，通过多个检测子模型对人脸图像进行检测，每个检测子模型获取人脸相应位置的稠密关键点。在本实施例中，本发明实施例中涉及的人脸稠密关键点是包含1000多个人脸关键点，通过眼睛、眉毛、鼻子、脸轮廓、脸中线等多个子模型，识别出各部分的稠密关键点，识别出的每个部分又分别包含128个关键点的人脸稠密关键点。例如脸中线包含128个稠密关键点，鼻子也包含128个稠密关键点。在本实施例中，检测子模型与人脸稠密关键点中的子模型相对应，例如通过脸中线检测子模型对人脸图像进行检测，获取人脸图像中脸中线的稠密关键点，通过鼻子检测子模型对人脸图像进行检测，获取人脸图像中鼻子的稠密关键点。本实施例中，由于使用了人脸稠密关键点，对大角度侧脸进行整形，也可以达到很高的准确度和形变精度，得到自然的整形效果。

作为本发明的一个实施方式，人脸图像整形方法还包括：固定点确定步骤，确定关键点中固定点，固定点在移动步骤中不可移动。在本实施例中，对人脸图像不同部位进行整形时，可根据整形的部位，确定关键点中相应的固定点，以保护人脸的面部特征在形变时不受影响。得到关键点中的固定点后，关键点中剩余的点即为可以移动的关键点，例如针对人脸图像中的额头整形时，根据整形的部位额头，将关键点中眼睛、眉毛、和一部分嘴巴关键点作为固定关键点不可移动，关键点中脸中线、下巴、和鼻子关键点作为可以移动的移动关键点。

作为本发明的一个实施方式，三角化网格生成步骤103还包括：基于关键点，生成形变区域边缘，在形变区域边缘上获取边缘点，根据关键点和边缘点生成第一人脸三角化网格。

其中，基于关键点，生成形变区域边缘，包括：对关键点进行闭包运算，得到人脸的闭包边缘线；对闭包边缘线进行膨胀，生成形变区域边缘。

在本实施例中，根据对人脸整形部位的不同，可生成不同的形变区域，其中，形变区域可采用如下方式进行确定：将获取的人脸关键点进行闭包运算，得到人脸的闭包边缘线，然后再对人脸的闭包边缘线通过膨胀运算进行膨胀，生成形变区域边缘，膨胀的比例可以根据实际需求进行设定，例如可对闭包边缘线膨胀20％或膨胀10％。对形变区域边缘均匀采样，获取形变区域的边缘点，形变区域的边缘点以及边缘点内部包含全部人脸关键点的区域即为形变区域。在另一实施例中，基于关键点，将用户指定的包括全部人脸关键点区域作为形变区域。

将形变区域中的全部人脸关键点以及边缘点运行三角化算法，生成第一三角化网格。

作为本发明的一个实施方式，移动步骤中，基于预设值或接收用户指令，确定中心点。

在本实施例中，可对人脸中例如眉毛关键点、鼻子关键点、嘴巴关键点等一系列关键点预设中心点，例如针对人脸关键点中的鼻子关键点，可预设鼻子关键点的中心点，针对人脸关键点中的嘴巴关键点，可预设嘴巴关键点的中心点，在移动步骤中例如对鼻子关键点进行移动时，可将预设的鼻子的中心点作为移动区域的中心点。

在本实施例中，将接收的由用户指定的移动关键点，作为移动区域的中心点，例如对鼻子关键点进行移动时，可将接收的由用户指定的鼻子关键点中的关键点作为移动区域的中心点。

在本实施例中，如果人脸中需要移动的部位有多个，那么根据移动的多个部位，可得到多个相应位置的中心点。

作为本发明的一个实施方式，移动步骤还包括：根据中心点，确定与中心点联动的关联移动点。在本实施例中，以中心点为基准，在同一部位的关键点中取中心点两侧相同数量的对称的关键点，将中心点两侧相同数量的对称的关键点预设为与中心点联动的关联移动点。例如，将中心点两侧每侧各3个对称的关键点，或者将中心点两侧每侧各5个对称的关键点，预设为与中心点联动的关联移动点，中心点两侧具体数量的对称的关键点可根据实际情况设定。其中，关联移动点的移动方向和中心点的移动方向相同。通过该种方式能够高效的获取关联移动点。

作为本发明的一个实施方式，移动步骤还包括：根据中心点及中心点的移动矢量，确定与中心点联动的关联移动点。在本实施例中，与中心点联动的关联移动点的数量可根据中心点的移动矢量来确定，其中，关联移动点的移动方向和中心点的移动方向相同，中心点的移动矢量大，与中心点联动的关联移动点的数量就多，中心点的移动矢量小，与中心点联动的关联移动点的数量就少。通过该种方式能够使得关联移动点的数量更加合理，从而使得变化后的图像更加平滑和合理。

图2示出了本发明实施例提供的中心点以及与中心点联动的关联移动点的示例图，如图2所示，该实施例中，移动步骤还包括：基于衰减函数，确定关联移动点的关联移动矢量。

在本实施例中，与中心点联动的关联移动点的关联移动矢量例如可采用以下方式确定：记P₀为需要移动的关键点的中心点，即移动距离最大的点。按照相对距离，记P₀两侧的点为{…,P_-3,P_-2,P_-1,P₀,P₁,P₂,…}。假设P₀移动矢量为v₀，则P₀周围关键点的移动矢量为v_i＝f(i)v₀，其中f(i)是一个中间最高，向两侧衰减并截断的对称函数。可以定义f(i)为线性函数f(i)＝max(0,1-k|i|)或者二次函数f(i)＝(1-k|i|)²，k控制衰减范围。对P0周围关键点进行操作，可以移动一个范围的点到新的位置。通过衰减函数对关联移动点的移动距离进行计算，能够使得变化后的局部更加自然，整形效果更好。

本发明实施例中，可通过上述方法移动例如额头，鼻尖，上嘴唇，下巴等局部曲线，其中，移动方向和距离由用户确定。

本发明实施例提供的人脸图像整形方法，通过获取图片中包括脸中线的关键点，基于包括脸中线的关键点对人脸图像进行形变，可实现对大角度的侧脸进行整形，通过获取图片中的关键点为人脸稠密关键点，基于稠密关键点对需要移动的关键点进行移动，引起人脸三角化网格的变形，渲染出形变的图像，可对大角度侧脸的整形中达到很高的准确度和形变精度，得到自然的整形效果。

基于相同的发明构思，本发明实施例还提供了人脸图像整形装置。

图3示出了人脸图像整形装置200的示例性结构示意图。如图3所示，该人脸图像整形装置包括：获取图像单元201，用于获取人脸图像；检测单元202，用于通过检测人脸图像，获取人脸的关键点，其中关键点包括脸中线关键点；三角化网格生成单元203，用于基于关键点，生成第一人脸三角化网格；移动单元204，用于获取关键点中需要移动的中心点和中心点的移动矢量，基于中心点及移动矢量，得到变化后的第二人脸三角化网格；图像变形单元205，用于根据第一人脸三角化网格和第二人脸三角化网格，对人脸图像进行渲染，得到整形图像。

在一实施例中，人脸图像整形装置200还包括：固定点确定单元，确定关键点中固定点，固定点在移动单元中不可移动。

装置中的各个单元所实现的功能与上文描述的方法中的步骤相对应，其具体实现和技术效果请参见上文对于方法步骤的描述，在此不再赘述。

如图4所示，本发明的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本发明实施例的人脸图像整形方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本发明实施例中涉及的人脸图像整形程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。

本发明实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器301可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(Cache)等。非易失性存储器例如可以包括只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本发明实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文的任何方法。

可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (9)

1.一种人脸图像整形方法，其中，所述方法包括：

获取图像步骤，获取人脸图像；

检测步骤，通过检测所述人脸图像，获取人脸的关键点，其中所述关键点包括脸中线关键点，所述关键点为稠密关键点，通过多个检测子模型对所述人脸图像进行检测，每个所述检测子模型获取人脸相应位置的所述稠密关键点；

三角化网格生成步骤，基于所述关键点，生成第一人脸三角化网格；

移动步骤，获取所述关键点中需要移动的中心点和所述中心点的移动矢量，根据所述中心点确定与所述中心点联动的关联移动点，根据所述中心点的移动矢量，基于衰减函数，确定所述关联移动点的关联移动矢量，基于所述中心点及所述中心点的移动矢量以及所述关联移动点及所述关联移动点的移动矢量，得到变化后的第二人脸三角化网格；

图像变形步骤，根据所述第一人脸三角化网格和所述第二人脸三角化网格，对所述人脸图像进行渲染，得到整形图像。

2.根据权利要求1所述的方法，其中，所述方法还包括：固定点确定步骤，确定所述关键点中固定点，所述固定点在所述移动步骤中不可移动。

3.根据权利要求1所述的方法，其中，所述三角化网格生成步骤还包括：基于所述关键点，生成形变区域边缘，在所述形变区域边缘上获取边缘点，根据所述关键点和所述边缘点生成所述第一人脸三角化网格。

4.根据权利要求3所述的方法，其中，所述基于所述关键点，生成形变区域边缘，包括：

对所述关键点进行闭包运算，得到人脸的闭包边缘线；

对所述闭包边缘线进行膨胀，生成形变区域边缘。

5.根据权利要求1-4任一项所述的方法，其中，所述移动步骤中，基于预设值或接收用户指令，确定所述中心点。

6.根据权利要求5所述的方法，其中，所述移动步骤还包括：根据所述中心点及所述中心点的所述移动矢量，确定与所述中心点联动的关联移动点。

7.一种人脸图像整形装置，其中，所述装置包括：

获取图像单元，用于获取人脸图像；

检测单元，用于通过检测所述人脸图像，获取人脸的关键点，其中所述关键点包括脸中线关键点，所述关键点为稠密关键点，通过多个检测子模型对所述人脸图像进行检测，每个所述检测子模型获取人脸相应位置的所述稠密关键点；

三角化网格生成单元，用于基于所述关键点，生成第一人脸三角化网格；

移动单元，用于获取所述关键点中需要移动的中心点和所述中心点的移动矢量，根据所述中心点确定与所述中心点联动的关联移动点，根据所述中心点的移动矢量，基于衰减函数，确定所述关联移动点的关联移动矢量，基于所述中心点及所述中心点的移动矢量以及所述关联移动点及所述关联移动点的移动矢量，得到变化后的第二人脸三角化网格；

图像变形单元，用于根据所述第一人脸三角化网格和所述第二人脸三角化网格，对所述人脸图像进行渲染，得到整形图像。

8.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行权利要求1至6中任一项所述的人脸图像整形方法。

9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在计算机上运行时，执行权利要求1至6中任一项所述的人脸图像整形方法。