CN107705240B - 虚拟试妆方法、装置和电子设备 - Google Patents

Abstract

本申请提出一种虚拟试妆方法、装置和电子设备，其中，该虚拟试妆方法，包括以下步骤：确定目标图像中待试妆区域的动作状态；从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板；以及将所述纹理模板映射到所述待试妆区域。本申请的虚拟试妆方法，能够匹配上妆部位的真实形状，保持上妆后上妆部位的纹理、光泽和艳丽程度。

Description

虚拟试妆方法、装置和电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种虚拟试妆方法、装置和电子设备。

背景技术

随着计算机技术的不断发展，可基于计算机视觉技术实现虚拟试妆。虚拟试妆是指利用图像处理技术模拟人脸各种化妆效果。从而用户可以在电商平台上让用户在购买前体验口红、眼影等商品的试装效果。举例来说，如图1所示的虚拟试妆界面，提供了口红、眼影、眉笔等试妆目标，以及各个试妆目标下的多个试妆颜色，用户可根据需要在虚拟试妆界面中选择，以体验试妆效果。在上妆场景中，由于嘴唇脸部、眼部等存在强烈的生理形变特征，且具有复杂的纹理特征，因此，在这些部位上妆难度较高，以唇部上妆为例，存在上妆后嘴唇色泽差、与实际唇形不符等问题。

发明内容

本申请旨在至少在一定程度上解决上述技术问题。

为此，本申请的第一个目的在于提出一种虚拟试妆方法，能够匹配上妆部位的真实形状，保持上妆后上妆部位的纹理、光泽和艳丽程度。

本申请的第二个目的在于提出一种虚拟试妆装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出另一种电子设备。

为达上述目的，根据本申请第一方面实施例提出了一种虚拟试妆方法，包括以下步骤：确定目标图像中待试妆区域的动作状态；从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板；以及将所述纹理模板映射到所述待试妆区域。

本申请实施例的虚拟试妆方法，通过确定目标图像中待试妆区域的动作状态，然后从纹理模板库中选择对应的纹理模板，并映射到目标图像中的待试妆区域，能够将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

本申请第二方面实施例提供了一种虚拟试妆装置，包括：确定模块，用于确定目标图像中待试妆区域的动作状态；选择模块，用于从预先建立的纹理模板库中选择与所述待试妆区域的动作状态对应的纹理模板；以及映射模块，用于将所述纹理模板映射到所述待试妆区域。

本申请实施例的虚拟试妆装置，通过确定目标图像中待试妆区域的动作状态，然后从纹理模板库中选择对应的纹理模板，并映射到目标图像中的待试妆区域，能够将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

本申请第三方面实施例提供了一种电子设备，包括本申请第二方面实施例的虚拟试妆装置。

本申请实施例的电子设备，通过确定目标图像中待试妆区域的动作状态，然后从纹理模板库中选择对应的纹理模板，并映射到目标图像中的待试妆区域，能够法将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

本申请第四方面实施例提供了另一种电子设备，包括处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述电子设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：确定目标人脸图像中待试妆区域的动作状态；从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板；以及将所述纹理模板映射到所述待试妆区域。

本申请实施例的电子设备，通过从纹理模板库中选择对应的纹理模板，并映射到目标人脸图像中的待试妆区域，能够将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为相关技术中虚拟试妆界面的示意图；

图2为根据本申请一个实施例的虚拟试妆方法的流程图；

图3为根据本申请另一个实施例的虚拟试妆方法的流程图；

图4为根据本申请另一个实施例的虚拟试妆方法的流程图；

图5为根据本申请另一个实施例的虚拟试妆方法的流程图；

图6为根据本申请另一个实施例的虚拟试妆方法的流程图；

图7为根据本申请另一个实施例的虚拟试妆方法的流程图；

图8为根据本申请一个实施例的虚拟试妆装置的结构示意图；

图9为根据本申请另一个实施例的虚拟试妆装置的结构示意图；

图10为根据本申请另一个实施例的虚拟试妆装置的结构示意图；

图11为根据本申请另一个实施例的虚拟试妆装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

为了解决虚拟试妆中因使用具有单一颜色的模板直接进行替换，导致的上妆后色泽差、与实际上妆部位形状不符等问题，本申请提出了一种虚拟试妆方法和装置。

下面参考附图描述根据本申请实施例的虚拟试妆方法和装置。

图1为根据本申请一个实施例的虚拟试妆方法的流程图。

如图1所示，根据本申请实施例的虚拟试妆方法，包括以下步骤S101-S103。

需要说明的是，在本申请的实施例中，步骤S101-S103中任一步骤的执行主体均可以是客户端设备或者服务器。其中，服务器可包括与客户端对应的服务器、云服务器或者第三方平台服务器。

S101，确定目标图像中待试妆区域的动作状态。

其中，所述目标图像可以包括但不限于是目标人脸图像，待试妆区域可以包括但不限于唇部区域(即口红的试妆区域)、眉毛区域(即眉笔对应的试妆区域)、眼部周围区域(即眼影对应的试妆区域)、脸部区域(即腮红对应的试妆区域)等。

待试妆区域的动作状态可根据不同待试妆区域有所不同。举例来说，对于唇部区域，动作状态可包括但不限于抿嘴、闭嘴、微张口、大张口、微笑、大笑等动作状态。对于眉毛区域，动作状态可包括但不限于挑眉、皱眉、正常状态等。对于眼部周围区域，动作状态可包括但不限于闭眼、眨眼、眯眼、瞪眼等。

在本申请的实施例中，用户在电商平台中购买口红前或者在使用试妆应用程序时，可针对目标图像中唇部输入试妆指令，以体验该目标图像对应的用户的试妆效果。

其中，目标图像为使用待购买口红的用户人脸图像，目标图像可在试妆过程中通过摄像头实时采集的图像，也可为预先存储在客户端或者服务器的图像。

客户端可显示电商平台或试妆应用程序的网页界面或应用程序界面，并通过电商平台或试妆应用程序的网页界面或应用程序界面接收用户输入的试妆指令。举例来说，以唇部试妆为例，用户可在电商平台的网页界面或应用程序界面中点击“试妆”按钮，完成试妆指令的输入。

当执行主体为客户端设备时，客户端设备可直接接收试妆指令。当执行主题为服务器时，可由客户端将试妆指令发送至服务器，以便服务器进行后续操作。

在本申请的实施例中，可通过目标人脸图像中待试妆区域对应的关键点之间的位置关系确定相应的动作状态。具体地，在本申请的一个实施例中，确定所述目标人脸图像中待试妆区域的动作状态，可包括步骤S201-S202，其中，

S201，提取所述目标图像中的关键点。

S202，根据所述关键点中与所述待试妆区域对应的关键点确定所述待试妆区域的动作状态。

也就是说，可首先通过人脸关键点检测技术提取目标图像中的人脸关键点。其中，可使用任一种人脸关键点定位技术来提取人脸关键点。举例来说，基于级联卷积神经网络的人脸关键点检测、基于随机森林的人脸关键点检测等等。人脸关键点中包括与眼、鼻、眉、唇等面部特征分别对应的关键点。然后，可进一步根据待试妆区域对应的关键点确定待试妆区域的动作状态。例如，可根据唇部关键点中各个关键点的位置关系确定是否嘴角上扬，是否有张口，以及张口幅度等等，进而，得到唇部的动作状态。

S102，从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板。

在本申请的实施例中，可预先针对不同待试妆区域以及各待试妆区域对应的动作状态分别建立各待试妆区域对应的纹理模板，从而建立纹理模板库。

在本申请的实施例中，纹理模板库中存储有多个纹理模板。其中，纹理模板库中的纹理模板包括多个动作状态分别对应的多个纹理模板。进而，可在试妆过程中从纹理模板库中选择与已确定的待试妆区域及其动作状态对应的纹理模板。

进一步地，在本申请的实施例中，在纹理模板库中，对于每个动作状态，可进一步包括与多个试妆颜色分别对应的纹理模板。

因此，在本申请的另一个实施例中，在试妆的过程中，还可包括步骤S301-S303。其中，S303与图1所示实施例中S103相同。

S301，接收试妆颜色的选择指令，并确定所述选择指令对应的试妆颜色。

需要说明的是，在本申请的一个实施例中，S301可在接收到试妆指令之前执行，或者，接收试妆颜色的选择指令还可与接收试妆指令同时执行，或者，S301也可在步骤S101之后执行。

也就是说，用户在试妆过程中，可先选定试妆颜色，然后再输入试妆指令。由此，当用户选择一个试妆颜色后，可做出不同的表情动作，以查看在不同动作状态下该试妆颜色的试妆效果。或者，在确定目标图像中待试妆区域的动作状态时，用户可同时选定试妆颜色，以直接确定对应的纹理模板。或者用户可先确定目标图像中待试妆区域的动作状态，然后，对于该动作状态，可选定不同的试妆颜色，以查看该动作状态的不同颜色的试妆效果。

S302，从预先建立的纹理模板库中选择与所述动作状态及所述试妆颜色对应的纹理模板。

需要说明的是，本申请实施例中试妆颜色可理解为广义上的颜色，可包括口红实际的颜色，以及因口红的质地或材料(如唇蜜、唇彩、唇膏等)带来的同一颜色在实际显示时的颜色差异。

其中，纹理模板是指带有真实皮肤纹理特征的模板。纹理模板与传统的颜色模板中仅通过单一的颜色进行填充不同，纹理模板带有嘴唇原有的纹理、色泽、亮度等特征。

在本申请的实施例中，在确定目标人脸图像中待试妆区域的动作状态以及用户选择的试妆颜色之后，可在纹理模板库中选择出相应的纹理模板。

S103，将所述纹理模板映射到所述待试妆区域。

由于纹理模板具有待试妆区域的纹理、色泽、亮度等特征，因此通过将纹理模板映射到目标人脸图像的待试妆区域，可得到具有纹理、色泽、亮度的试妆图像，而不再仅是单一的颜色填充，试妆效果更加自然、真实。

进一步地，由于在实际试妆过程中，可能由于图像采集的距离、人脸表情变化等情况导致纹理模板的形状与目标人脸图像中待试妆区域的形状并不完全相同，因此，在将纹理模板映射到目标人脸图像的待试妆区域的过程中，可通过将纹理模板与目标人脸图像中的待试妆区域进行弹性配准以实现纹理模板与实际待试妆区域的匹配。

具体地，S103可包括步骤S401-S403，其中，

S401，对所述待试妆区域进行面片剖分，以获得所述待试妆区域的多个面片。

在本申请的一个实施例中，以待试妆区域为唇部区域为例，可根据唇部区域对应的多个关键点对唇部区域进行面片剖分。其中，可采用任一相关技术中的面片剖分方法。举例来说，可采用三角面片剖分法，唇部区域对应18个关键点，每相邻的三个关键点连线组成一个三角面片，由此，可将唇部区域剖分为多个三角面片。

S402，建立所述纹理模板中的面片与所述待试妆区域的面片的仿射变换关系。

在本申请的实施例中，可在建立纹理模板数据库时，将各个纹理模板预先剖分为多个面片，从而，可从纹理模板库中直接提取出纹理模板的面片。或者，在从纹理模板数据库中选择出纹理模板后，将纹理模板进行面片剖分，得到纹理模板的面片。

进而，在得到纹理模板的面片以及待试妆区域的面片后，可建立纹理模板中的面片与目标人脸图像中待试妆区域的面片的仿射变换关系。

其中，仿射变换关系为一种线性变换关系，能够保持二维图形的“平直性”(即变换后直线还是直线不会打弯，圆弧还是圆弧)和“平行性”(即保持二维图形间的相对位置关系不变，平行线还是平行线，而直线上点的位置顺序不变，特别注意向量间夹角可能会发生变化)，常用的仿射变换可包括：旋转、倾斜、平移、缩放等。

仿射变换关系是纹理模板中的面片坐标到目标人脸图像中待试妆区域的面片坐标的转换关系，可用一个坐标变换矩阵来表示，该坐标变换矩阵可根据纹理模板中的面片坐标和目标人脸图像中待试妆区域的面片坐标进行计算得到。

S403，根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上。

具体地，可根据坐标变换矩阵对纹理模板中的面片坐标进行变换，并将坐标变换后的纹理模板的面片对应映射到待试妆区域相应的面片上，完成纹理模板映射。

由此，通过面片剖分，将待试妆区域整体的弹性形变近似拟合为多个局部面片的刚性变换，在具有真实人脸中待试妆区域的纹理、色泽、亮度的同时，还能进一步拟合匹配目标试妆区域的弹性形变，能够实现对各种不同人的面部试妆区域的拟合和匹配，提升了试妆效果的真实性和美观度。

更近一步地，在本申请的另一个实施例中，在步骤S403之后，步骤S103还可包括步骤S404。

S404，对映射到所述待试妆区域的纹理模板中的面片边界进行平滑处理。

本申请中对平滑处理所采用的具体方法不做限定。举例来说，可采用高斯平滑处理、中值滤波、高斯金字塔融合等方法对局部面片之间的产生的伪影进行处理。从而能够有效去除因各个面片间的人工伪影及面片边界的不连续问题，提升试妆后图像的整体效果及连续性。

本申请实施例的虚拟试妆方法，通过确定目标图像中待试妆区域的动作状态，然后从纹理模板库中选择对应的纹理模板，并映射到目标图像中的待试妆区域，能够将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

在本申请的一个实施例中，还可包括建立纹理模板库的步骤。具体地，如图5所示，建立纹理模板库，可包括步骤S501-S503。

S501，对预设用户进行人脸图像采集，得到所述预设用户的多个人脸图像集合，其中，所述多个人脸图像集合分别与多个试妆颜色对应，每个人脸图像集合中包括与多个动作状态分别对应的多个人脸图像。

举例来说，以建立唇部区域的纹理模板为例，可让用户A依次使用红、粉、紫色的口红，并在每种颜色下做出微张口、大张口、抿嘴等多个唇部动作，并分别进行图像采集。从而，可得到与红、粉、紫色分别对应的三个人脸图像集合，且每个集合中都包括与微张口、大张口、抿嘴等动作分别对应的人脸图像。

在实际应用中，上述颜色以及唇部动作可根据需要进行增加、修改等。

S502，分别提取所述多个人脸图像集合中的各人脸图像的人脸关键点。

S503，根据所述人脸关键点中的与待试妆区域对应的关键点提取出各人脸图像中的待试妆区域，得到所述纹理模板库。

由于提取出的待试妆区域是源自于真实的人脸图像，因此，具有真实的纹理特征，可作为相应颜色、动作状态的待试妆区域的纹理模板。

由此，完成了纹理模板库的建立。

进一步地，为了试妆过程中，便于将纹理模板映射至试妆的目标人脸图像，建立所述纹理模板库还可包括S504，以进一步对各纹理模板进行面片剖分。

S504，根据所述人脸关键点中与待试妆区域对应的关键点对提取出的待试妆区域进行面片剖分，以得到待试妆区域对应的多个面片。

从而，在试妆过程中，可将待试妆区域的整体映射近似拟合为多个局部面片的映射，提高映射过程中的匹配度。

需要说明的是，可分别针对唇部、眼部等各个不同试妆部位分别建立相应的纹理模板库，也可建立一个纹理模板库，并将各个试妆部位分别对应的纹理模板存储在纹理模板库中的子模板库中。

图6为根据本申请另一个实施例的虚拟试妆方法的流程图。以唇部试妆为例，如图6所示，在构建嘴唇纹理模板库后，可从中选择与试妆颜色及目标人脸图像中唇部动作状态对应的嘴唇纹理模板及其多个面片。此外，可根据目标人脸图像中的关键点对输入嘴唇(目标人脸图像中的唇部区域)进行局部面片剖分，得到输入嘴唇的局部面片。进而，可计算嘴唇纹理模板的面片与输入嘴唇的局部面片的仿射变换关系(multi-affine)，并利用该仿射变换关系将嘴唇纹理模板上的纹理映射到输入嘴唇。最后，利用高斯金字塔融合局部面片之间产生的伪影。其中，计算仿射变换关系，模板映射过程，以及高斯金字塔融合过程可利用NEOV(一种ARM处理器的加速技术)、GPU(Graphics Processing Unit，图形处理器)等技术进行加速，以提高试妆效率。

本申请的实施例，个人计算机、笔记本电脑等设备中实现，也可在手机、平板电脑等移动设备中实现。对于移动设备来说，可采用处理器加速技术或者GPU实现对移动设备端的实时视频流处理。通过实际试验结果表明，在标准的ARM处理器架构的移动设备上，嘴唇上妆的平均处理速度可为5ms/f。因此，可以看出，本申请的实施例不但可提升试妆效果，且能够有效提升试妆的响应效率。

与上述实施例提供的虚拟试妆方法相对应，本申请还提出一种虚拟试妆装置。

图7为根据本申请一个实施例的虚拟试妆装置的结构示意图。

需要说明的是，在本申请的实施例中，虚拟试妆装置可以应用于客户端设备或者服务器。其中，服务器可包括与客户端对应的服务器、云服务器或者第三方平台服务器。

如图7所示，根据本申请实施例的虚拟试妆装置，包括：确定模块10、选择模块20和映射模块30。

具体地，确定模块10用于确定目标图像中待试妆区域的动作状态。

其中，所述目标图像可以包括但不限于是目标人脸图像，待试妆区域可以包括但不限于唇部区域(即口红的试妆区域)、眉毛区域(即眉笔对应的试妆区域)、眼部周围区域(即眼影对应的试妆区域)、脸部区域(即腮红对应的试妆区域)等。

待试妆区域的动作状态可根据不同待试妆区域有所不同。举例来说，对于唇部区域，动作状态可包括但不限于抿嘴、闭嘴、微张口、大张口、微笑、大笑等动作状态。对于眉毛区域，动作状态可包括但不限于挑眉、皱眉、正常状态等。对于眼部周围区域，动作状态可包括但不限于闭眼、眨眼、眯眼、瞪眼等。

在本申请的实施例中，用户在电商平台中购买口红前或者在使用试妆应用程序时，可针对目标图像中唇部输入试妆指令，以体验该目标图像对应的用户的试妆效果。

其中，目标图像为使用待购买口红的用户人脸图像，目标图像可在试妆过程中通过摄像头实时采集的图像，也可为预先存储在客户端或者服务器的图像。

客户端可显示电商平台或试妆应用程序的网页界面或应用程序界面，并通过电商平台或试妆应用程序的网页界面或应用程序界面接收用户输入的试妆指令。举例来说，以唇部试妆为例，用户可在电商平台的网页界面或应用程序界面中点击“试妆”按钮，完成试妆指令的输入。

在本申请的实施例中，确定模块20可通过目标图像中待试妆区域对应的关键点之间的位置关系确定相应的动作状态。

因此，本申请实施例中确定模块20可用于：

提取所述目标图像中的关键点；

根据所述人脸关键点中与所述待试妆区域对应的关键点确定所述待试妆区域的动作状态。

也就是说，确定模块20可首先通过人脸关键点检测技术提取目标人脸图像中的人脸关键点。其中，确定模块20可使用任一种人脸关键点定位技术来提取人脸关键点。举例来说，基于级联卷积神经网络的人脸关键点检测、基于随机森林的人脸关键点检测等等。人脸关键点中包括与眼、鼻、眉、唇等面部特征分别对应的关键点。然后，可进一步根据待试妆区域对应的关键点确定待试妆区域的动作状态。例如，可根据唇部关键点中各个关键点的位置关系确定是否嘴角上扬，是否有张口，以及张口幅度等等，进而，得到唇部的动作状态。

选择模块20用于从预先建立的纹理模板库中选择与所述待试妆区域的动作状态对应的嘴唇纹理模板。

在本申请的实施例中，选择模块20可预先针对不同待试妆区域以及各待试妆区域对应的动作状态分别建立各待试妆区域对应的纹理模板，从而建立纹理模板库。

在本申请的实施例中，纹理模板库中存储有多个纹理模板。其中，纹理模板库中的纹理模板包括多个动作状态分别对应的多个纹理模板。进而，可在试妆过程中从纹理模块库中选择与已确定的待试妆区域及其动作状态对应的纹理模板。

进一步地，在本申请的实施例中，在纹理模板库中，对于每个动作状态，可进一步包括与多个试妆颜色分别对应的纹理模板。

因此，在本申请的另一个实施例中，该虚拟试妆装置还可包括接收模块40。

接收模块40用于接收试妆颜色的选择指令，并确定所述选择指令对应的试妆颜色。

进而，选择模块20可从预先建立的纹理模板库中选择与所述动作状态及所述试妆颜色对应的纹理模板。

需要说明的是，在本申请的一个实施例中，接收模块40可在接收到试妆指令之前接收试妆颜色的选择指令，或者，还可在接收试妆指令同时接收试妆颜色的选择指令，或者，也可在接收到试妆指令之后接收试妆颜色的选择指令。

也就是说，用户在试妆过程中，可先选定试妆颜色，然后再输入试妆指令。由此，当用户选择一个试妆颜色后，可做出不同的表情动作，以查看在不同动作状态下该试妆颜色的试妆效果。或者，在确定目标人脸图像中待试妆区域的动作状态时，用户可同时选定试妆颜色，以直接确定对应的纹理模板。或者用户可先确定目标人脸图像中待试妆区域的动作状态，然后，对于该动作状态，可选定不同的试妆颜色，以查看该动作状态的不同颜色的试妆效果。

需要说明的是，本申请实施例中试妆颜色可理解为广义上的颜色，可包括口红实际的颜色，以及因口红的质地或材料(如唇蜜、唇彩、唇膏等)带来的同一颜色在实际显示时的颜色差异。

其中，纹理模板是指带有真实皮肤纹理特征的模板。纹理模板与传统的颜色模板中仅通过单一的颜色进行填充不同，纹理模板带有嘴唇原有的纹理、色泽、亮度等特征。

在本申请的实施例中，在确定目标人脸图像中待试妆区域的动作状态以及用户选择的试妆颜色之后，可在纹理模板库中选择出相应的纹理模板。

映射模块30用于将所述纹理模板映射到所述待试妆区域。

由于纹理模板具有待试妆区域的纹理、色泽、亮度等特征，因此映射模块30通过将纹理模板映射到目标人脸图像的待试妆区域，可得到具有纹理、色泽、亮度的试妆图像，而不再仅是单一的颜色填充，试妆效果更加自然、真实。

进一步地，由于在实际试妆过程中，可能由于图像采集的距离、人脸表情变化等情况导致纹理模板的形状与目标人脸图像中待试妆区域的形状并不完全相同，因此，在将纹理模板映射到目标人脸图像的待试妆区域的过程中，映射模块30可通过将纹理模板与目标人脸图像中的待试妆区域进行弹性配准以实现纹理模板与实际待试妆区域的匹配。

具体地，如图8所示，映射模块30可包括：剖分单元31、建立单元32和映射单元33。

其中，剖分单元31用于对所述待试妆区域进行面片剖分，以获得所述待试妆区域的多个面片。

在本申请的一个实施例中，以待试妆区域为唇部区域为例，剖分单元31可根据唇部区域对应的多个关键点对唇部区域进行面片剖分。其中，剖分单元31可采用任一相关技术中的面片剖分方法。举例来说，剖分单元31可采用三角面片剖分法，唇部区域对应18个关键点，每相邻的三个关键点连线组成一个三角面片，由此，可将唇部区域剖分为多个三角面片。

建立单元32用于建立所述纹理模板中的面片与所述待试妆区域的面片的仿射变换关系。

在本申请的实施例中，可在建立纹理模板数据库时，将各个纹理模板预先剖分为多个面片，从而，可从纹理模板库中直接提取出纹理模板的面片。或者，在从纹理模板数据库中选择出纹理模板后，将纹理模板进行面片剖分，得到纹理模板的面片。

进而，在得到纹理模板的面片以及待试妆区域的面片后，建立单元32可建立纹理模板中的面片与目标人脸图像中待试妆区域的面片的仿射变换关系。

其中，仿射变换关系为一种线性变换关系，能够保持二维图形的“平直性”(即变换后直线还是直线不会打弯，圆弧还是圆弧)和“平行性”(即保持二维图形间的相对位置关系不变，平行线还是平行线，而直线上点的位置顺序不变，特别注意向量间夹角可能会发生变化)，常用的仿射变换可包括：旋转、倾斜、平移、缩放等。

仿射变换关系是纹理模板中的面片坐标到目标人脸图像中待试妆区域的面片坐标的转换关系，可用一个坐标变换矩阵来表示，该坐标变换矩阵可根据纹理模板中的面片坐标和目标人脸图像中待试妆区域的面片坐标进行计算得到。

映射单元33用于根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上。

具体地，映射单元33可根据坐标变换矩阵对纹理模板中的面片坐标进行变换，并将坐标变换后的纹理模板的面片对应映射到待试妆区域相应的面片上，完成纹理模板映射。

由此，通过面片剖分，将待试妆区域整体的弹性形变近似拟合为多个局部面片的刚性变换，在具有真实人脸中待试妆区域的纹理、色泽、亮度的同时，还能进一步拟合匹配目标试妆区域的弹性形变，能够实现对各种不同人的面部试妆区域的拟合和匹配，提升了试妆效果的真实性和美观度。

更近一步地，在本申请的另一个实施例中，如图9所示，在图8所示的基础上，映射模块30还可进一步包括平滑处理单元34。

平滑处理单元34用于在所述根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上之后，对映射到所述待试妆区域的纹理模板中的面片边界进行平滑处理。

本申请中对平滑处理所采用的具体方法不做限定。举例来说，平滑处理单元34可采用高斯平滑处理、中值滤波、高斯金字塔融合等方法对局部面片之间的产生的伪影进行处理。从而能够有效去除因各个面片间的人工伪影及面片边界的不连续问题，提升试妆后图像的整体效果及连续性。

本申请实施例的虚拟试妆装置，可在接收到针对目标人脸图像中待试妆区域的试妆指令时确定目标人脸图像中待试妆区域的动作状态，然后从纹理模板库中选择对应的纹理模板，并映射到目标人脸图像中的待试妆区域，能够将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

图10为根据本申请另一个实施例的虚拟试妆装置的结构示意图。

如图10所示，根据本申请实施例的虚拟试妆装置，包括：确定模块10、选择模块20、映射模块30、接收模块40和建立模块50。

具体地，建立模块50用于建立所述纹理模板库。

在本申请的一个实施例中，建立模块50可用于：

对预设用户进行人脸图像采集，得到所述预设用户的多个人脸图像集合，其中，所述多个人脸图像集合分别与多个试妆颜色对应，每个人脸图像集合中包括与多个动作状态分别对应的多个人脸图像；

分别提取所述多个人脸图像集合中的各人脸图像的人脸关键点；

根据所述人脸关键点中的与待试妆区域对应的关键点提取出各人脸图像中的待试妆区域，得到所述纹理模板库。

举例来说，以建立唇部区域的纹理模板为例，可让用户A依次使用红、粉、紫色的口红，并在每种颜色下做出微张口、大张口、抿嘴等多个唇部动作，并分别进行图像采集。从而，可得到与红、粉、紫色分别对应的三个人脸图像集合，且每个集合中都包括与微张口、大张口、抿嘴等动作分别对应的人脸图像。

在实际应用中，上述颜色以及唇部动作可根据需要进行增加、修改等。

由于提取出的唇部区域是源自于真是的嘴唇图像，因此，具有真实最初的纹理特征，可作为相应颜色、动作状态的嘴唇纹理模板。

由此，完成了纹理模板库的建立。

进一步地，为了试妆过程中，便于将纹理模板映射至试妆的目标人脸图像，在本申请的另一个实施例中，建立模块50还可用于：

根据所述人脸关键点中与待试妆区域对应的关键点对提取出的待试妆区域进行面片剖分，以得到待试妆区域对应的多个面片。

从而，在试妆过程中，可将待试妆区域的整体映射近似拟合为多个局部面片的映射，提高映射过程中的匹配度。

需要说明的是，可分别针对唇部、眼部等各个不同试妆部位分别建立相应的纹理模板库，也可建立一个纹理模板库，并将各个试妆部位分别对应的纹理模板存储在纹理模板库中的子模板库中。

本申请还提出一种电子设备。

根据本申请实施例的电子设备可包括本申请任一实施例的虚拟试妆装置。

本申请还提出另一种电子设备。

根据本申请实施例的电子设备，可包括：处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述电子设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：

确定目标人脸图像中待试妆区域的动作状态；

从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板；以及

将所述纹理模板映射到所述待试妆区域。

进一步地，在本申请实施例中，处理器还可用于执行本申请任一所述的虚拟试妆方法。

上述执行过程的具体实施例可参照虚拟试妆方法部分实施例。

本申请实施例的电子设备，通过确定目标人脸图像中待试妆区域的动作状态，然后从纹理模板库中选择对应的纹理模板，并映射到目标人脸图像中的待试妆区域，能够法将纹理模板与实际输入的待试妆区域的形状和动作进行匹配，且能够保持上妆后待试妆区域的纹理、光泽和艳丽程度，使试妆效果更加真实、生动。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同限定。

Claims (15)

1.一种虚拟试妆方法，其特征在于，包括以下步骤：

确定目标图像中待试妆区域的动作状态；

从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板；

将所述纹理模板映射到所述待试妆区域；

所述方法 还包括：

接收试妆颜色的选择指令，并确定所述选择指令对应的试妆颜色；

从预先建立的纹理模板库中选择与所述动作状态及所述试妆颜色对应的纹理模板。

2.如权利要求1所述的方法，其特征在于，所述将所述纹理模板映射到所述待试妆区域，包括：

对所述待试妆区域进行面片剖分，以获得所述待试妆区域的多个面片；

建立所述纹理模板中的面片与所述待试妆区域的面片的仿射变换关系；

根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上。

3.如权利要求2所述的方法，其特征在于，在所述根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上之后，还包括：

对映射到所述待试妆区域的纹理模板中的面片边界进行平滑处理。

4.如权利要求1-3任一所述的方法，其特征在于，所述确定所述目标图像中待试妆区域的动作状态，包括：

提取所述目标图像中的关键点；

根据所述关键点中与所述待试妆区域对应的关键点确定所述待试妆区域的动作状态。

5.如权利要求1-3任一所述的方法，其特征在于，还包括：

建立所述纹理模板库。

6.如权利要求5所述的方法，其特征在于，所述建立所述纹理模板库，包括：

对预设用户进行图像采集，得到所述预设用户的多个图像集合，其中，所述多个图像集合分别与多个试妆颜色对应，每个图像集合中包括与多个动作状态分别对应的多个图像；

分别提取所述多个图像集合中的各图像的关键点；

根据所述关键点中的与待试妆区域对应的关键点提取出各图像中的待试妆区域，得到所述纹理模板库。

7.如权利要求6所述的方法，其特征在于，所述建立所述纹理模板库，还包括：

根据所述关键点中与待试妆区域对应的关键点，对提取出的待试妆区域进行面片剖分，以得到待试妆区域对应的多个面片。

8.如权利要求1所述的方法，其特征在于，所述待试妆区域包括：

唇部区域、眼部区域、鼻部区域或脸部区域。

9.一种虚拟试妆装置，其特征在于，包括：

确定模块，用于确定目标图像中待试妆区域的动作状态；

选择模块，用于从预先建立的纹理模板库中选择与所述待试妆区域的动作状态对应的嘴唇纹理模板；以及

映射模块，用于将所述纹理模板映射到所述待试妆区域；

所述装置还包括：

接收模块，用于接收试妆颜色的选择指令，并确定所述选择指令对应的试妆颜色；

其中，所述选择模块还用于从预先建立的纹理模板库中选择与所述动作状态及所述试妆颜色对应的纹理模板。

10.如权利要求9所述的装置，其特征在于，所述映射模块包括：

剖分单元，用于对所述待试妆区域进行面片剖分，以获得所述待试妆区域的多个面片；

建立单元，用于建立所述纹理模板中的面片与所述待试妆区域的面片的仿射变换关系；

映射单元，用于根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上。

11.如权利要求10所述的装置，其特征在于，还包括：

平滑处理单元，用于在所述根据所述仿射变换关系将所述纹理模板中的面片分别映射到所述待试妆区域相应的面片上之后，对映射到所述待试妆区域的纹理模板中的面片边界进行平滑处理。

12.如权利要求9-11任一所述的装置，其特征在于，所述确定模块用于：

提取所述目标图像中的关键点；

根据所述关键点中与所述待试妆区域对应的关键点确定所述待试妆区域的动作状态。

13.如权利要求9-11任一所述的装置，其特征在于，还包括：

建立模块，用于建立所述纹理模板库。

14.如权利要求13所述的装置，其特征在于，所述建立模块用于：

对预设用户进行图像采集，得到所述预设用户的多个图像集合，其中，所述多个图像集合分别与多个试妆颜色对应，每个图像集合中包括与多个动作状态分别对应的多个图像；

分别提取所述多个图像集合中的各图像的关键点；

根据所述关键点中的与待试妆区域对应的关键点提取出各图像中的待试妆区域，得到所述纹理模板库。

15.一种电子设备，其特征在于，包括：处理器、存储器、电路板和电源电路，其中，所述电路板安置在壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述电子设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：

确定目标图像中待试妆区域的动作状态；

从预先建立的纹理模板库中选择与所述动作状态对应的纹理模板；以及

将所述纹理模板映射到所述待试妆区域；

所述处理器运行与所述可执行程序代码对应的程序，还用于：

接收试妆颜色的选择指令，并确定所述选择指令对应的试妆颜色；

从预先建立的纹理模板库中选择与所述动作状态及所述试妆颜色对应的纹理模板。

Images