CN112419477B - 一种面部图像风格转换方法、装置、存储介质和电子设备 - Google Patents

一种面部图像风格转换方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112419477B
CN112419477B CN202011216635.7A CN202011216635A CN112419477B CN 112419477 B CN112419477 B CN 112419477B CN 202011216635 A CN202011216635 A CN 202011216635A CN 112419477 B CN112419477 B CN 112419477B
Authority
CN
China
Prior art keywords
picture
face
prototype
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011216635.7A
Other languages
English (en)
Other versions
CN112419477A (zh
Inventor
林佩珍
王磊
雷泽童
刘宝玉
程俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011216635.7A priority Critical patent/CN112419477B/zh
Publication of CN112419477A publication Critical patent/CN112419477A/zh
Application granted granted Critical
Publication of CN112419477B publication Critical patent/CN112419477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请适用于图像处理技术领域，提供了一种面部图像风格转换方法、装置、存储介质和电子设备，包括：获取待处理人脸图片与原型图片；将待处理人脸图片与原型图片分别输入至已训练的语义蒙版模型进行处理，得到待处理人脸图片对应的人脸蒙版图片，以及原型图片对应的原型蒙版图片，其中，语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记；根据人脸蒙版图片和原型蒙版图片中标记的面部区域之间的对应关系和所述原型图片，对待处理人脸图片进行颜色转换，得到第一目标图片，第一目标图片为与原型图片的颜色相同的待处理人脸图片；基于原型图片对第一目标图片进行变形渲染，得到第二目标图片。本申请可提高风格转换时面部的处理速度。

Description

一种面部图像风格转换方法、装置、存储介质和电子设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种面部图像风格转换方法、装置、存储介质和电子设备。
背景技术
通常在科幻电影中，科幻人物的面部特效丰富，与正常人脸的差别较大。为了能使科幻人物能自然地完成动作，科幻人物的人物形象、面部表情能更逼真，往往在拍摄过程中借助多点式动作捕捉穿戴设备来捕捉记录演员的面部表情和动作等数据，再利用计算机图形学相关技术对这些数据进行后期处理，进而塑造出面部特效丰富的科幻人物。
然而，由于面部表情的处理相比肢体动作更为复杂精细，影视后期处理过程中面部处理的速度较慢，导致影视后期处理耗费的时间、人力成本较高。
发明内容
本申请实施例提供了一种面部图像风格转换方法、装置、存储介质和电子设备，可以解决现有技术中，影视后期处理过程中面部处理的速度较慢，导致影视后期处理耗费的时间、人力成本较高的问题。
第一方面，本申请实施例提供了一种面部图像风格转换方法，包括：
获取待处理人脸图片与原型图片；
将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，其中，所述语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记；
根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系和所述原型图片，对所述待处理人脸图片进行颜色转换，得到第一目标图片；
基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片。
第二方面，本申请实施例提供了一种面部图像风格转换装置，包括：
图片获取单元，用于获取待处理人脸图片与原型图片；
分割标记单元，用于将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，其中，所述语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记；
颜色转换单元，用于根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系和所述原型图片，对所述待处理人脸图片进行颜色转换，得到第一目标图片；
变形渲染单元，用于基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的面部图像风格转换方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的面部图像风格转换方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如上述第一方面所述的面部图像风格转换方法。
本申请实施例中，通过已训练的语义蒙版模型快速智能的对图片中人脸进行面部区域分割和标记，无需手动分割和标记，可节省人力和时间，再根据已分割和标记好的面部区域，将待处理人脸图片中指定区域的颜色转换成原型图片相应区域的颜色，可提高颜色转换的效率，进而提高风格转换时面部的处理速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的面部图像风格转换方法的实现流程图；
图2是本申请实施例提供的面部图像风格转换方法步骤S103的具体实现流程图；
图3是本申请实施例提供的面部图像风格转换方法中步骤A4的具体实现流程图；
图4是本申请实施例提供的面部图像风格转换方法步骤S104的具体实现流程图；
图5是本申请实施例提供的面部图像风格转换方法中获取所述原型图片中面部的纹理特征信息的具体实现流程图；
图6是本申请实施例提供的面部图像风格转换方法中步骤B3的具体实现流程图；
图7是本申请实施例提供的面部图像风格转换装置的结构框图；
图8是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供了一种面部图像风格转换方法适用于需要执行面部图像后期处理的各种类型的终端设备或者服务器，具体可以包括手机、平板电脑、可穿戴设备、笔记本电脑、车载设备、增强现实(AR)设备，虚拟现实(VR)设备、个人数字助理(PersonalDigital Assistant，PDA)、数字电视等电子设备。
本申请实施例为了在影视后期处理过程中加快面部处理的速度，利用语义蒙版模型对待处理人脸图片和原型图片进行面部区域的分割和标记，无需手动分割和标记，可节省人力和时间，并根据标记的面部区域，将待处理人脸图片中指定区域的颜色转换为原型图片相应区域的颜色，可提高颜色转换的效率，再基于原型图片对经过颜色转换后的待处理人脸图片进行变形渲染，进而可提高风格转换时面部的处理速度。
下面结合具体实施例对本申请提供的面部图像风格转换方法进行示例性的说明。
图1示出了本申请实施例提供的面部图像风格转换方法的实现流程，该方法流程可以包括如下步骤S101至S104。
S101：获取待处理人脸图片与原型图片。
上述待处理人脸图片为需要进行面部处理加工的人脸图片。上述原型图片是指用于对人脸图片进行面部处理加工的模板参照图片。该原型图片包括进行面部处理加工的人脸风格和颜色，面部具备特殊纹理和形状。例如，在影视后期制作过程中，待处理人脸图片即为影片中的演员的图片，原型图片可以是通过建模制作出的虚拟生物的图片。又例如，在日常的制图娱乐(比如，P图)过程中，待处理人脸图片可以是任一包含人脸图像的图片，原型图片可以是原型图片数据库中选择任意模板(例如卡通形象、妆容、特效等)参照图片。
S102：将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，其中，所述语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记。
在本申请实施例中，上述语义蒙版模型为用于对输入的图片中的人脸进行面部区域分割和标记的网络模型。
具体地，上述语义蒙版模型先识别输入的图片中的人脸的各个面部区域，再根据该识别结果进行面部区域分割和标记。例如，将识别的人脸中的面部区域分割为皮肤、左耳、右耳、左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴以及下巴等面部区域，并将分割出来的面部区域进行标记。
例如，利用不同的颜色来标记不同的面部区域。红色标记皮肤、蓝色标记左耳、绿色标记鼻子等等。可以理解的是，除了面部区域外，还可能识别出背景区域或者其他区域(比如身躯)，例如，黑色标记背景、棕色标记服饰等等，将待处理人脸图片与原型图片分别输入语义蒙版模型进行处理后，输出的即为由不同颜色区域构成的人脸蒙版图片和原型蒙版图片。可以理解的是，通过颜色区域可以将人脸蒙版图片和原型蒙版图片所表示的面部区域一一对应。
在一些实施方式中，利用CelebA-HQ数据集对上述语音蒙版模型训练。CelebA-HQ数据集是通过训练高分辨率生成式对抗网络(GAN，Generative Adversarial Networks)生成的一个新的人脸数据集。在该数据集中有30000个高清配对的人脸图片及其对应的面部蒙版图片。选用CelebA-HQ数据集对上述语义蒙版模型进行训练可提高上述语义蒙版模型进行分割和标记的有效性。
在本申请实施例中，将待处理人脸图片与原型图片分别输入至已训练的语义蒙版模型，利用语义蒙版模型对输入的待处理人脸图片和原型图片中的人脸分别进行面部区域分割和标记，无需手动分割和标记，既可减轻后期处理人员的工作量，节省人力，又可以加快面部区域分割和标记的处理时间。
S103：根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域，对所述待处理人脸图片进行颜色转换，得到第一目标图片，所述第一目标图片为与所述原型图片的颜色相同的待处理人脸图片。
在本申请实施例中，通过对待处理人脸图片进行颜色转换，得到与原型图片相同颜色的待处理人脸图片，即得到第一目标图片。
在一些实施方式中，将上述人脸蒙版图片中的面部区域和上述原型蒙版图片中的标记的面部区域建立一一对应关系。基于该对应关系，将上述待处理人脸图片中各面部区域的颜色转换为上述原型图片相应面部区域的颜色。
例如，上述人脸蒙版图片中的左耳与上述原型蒙版图片中的左耳对应，将上述人脸蒙版图片中左耳的颜色转换为上述原型蒙版图片中左耳的颜色。上述人脸蒙版图片中的右眼与上述原型图片中的右眼对应，将上述人脸蒙版图片中右眼的颜色转换为上述原型蒙版图片中右眼的颜色。
在本申请实施例中，根据人脸蒙版图片和原型蒙版图片中标记的面部区域，对待处理人脸图片进行颜色转换，将待处理人脸图片中各个面部区域的颜色转换为原型图片中相应面部区域的颜色，保证进行风格转换后图片中的肤色、光线效果也符合原型图片中的肤色和光线效果，从而增强面部风格图像转换的图像效果。
作为本申请一种可能的实施方式，图2示出了本申请实施例提供的面部图像风格转换方法步骤S103的具体实现流程，详述如下：
A1：将所述待处理人脸图片与所述原型图片从第一颜色空间转换到第二颜色空间。
在本申请实施例中，上述第一颜色空间为RGB颜色空间，上述第二颜色空间为LAB颜色空间。将上述待处理人脸图片与上述原型图片分别从RGB颜色空间转换为LAB颜色空间，具体的转换方法参照现有技术中颜色空间的转换方法，本实施例中不再赘述。
A2：根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系，确定所述待处理人脸图片中的人脸目标区域，和所述原型图片中的与所述人脸目标区域对应的原型目标区域。
在本申请实施例中，上述人脸蒙版图片中标记面部区域的和上述原型蒙版图片中标记的面部区域是一一对应的。基于人脸蒙版图片和原型蒙版图片中标记的面部区域之间的对应关系，上述待处理人脸图片中的人脸目标区域和上述原型图片中的原型目标区域，也是一一对应的。
例如，待处理人脸图片中右眼区域与原型图片中的右眼区域对应，待处理人脸图片中的嘴巴区域与原型图片的嘴巴区域对应。
A3：计算在所述第二颜色空间下，所述原型目标区域中的像素的第一均值和第一方差，以及所述人脸目标区域中的像素的第二均值和第二方差。
在本申请实施例中，已将上述原型图片和上述待处理人脸图片从RGB颜色空间转换为LAB颜色空间，分别计算在LAB颜色空间下，上述原型图片中属于原型目标区域的像素的第一均值和第一方差，以及在LAB颜色空间下，上述待处理人脸图片中属于人脸目标区域的像素的第二均值和第二方差。
作为本申请一种可能的实施方式，如图3所示，上述计算在所述第二颜色空间下，所述原型目标区域中的像素的第一均值和第一方差，以及所述人脸目标区域中的像素的第二均值和第二方差的步骤A3，具体包括：
A31：获取所述原型目标区域包含的像素个数，以及所述原型目标区域中的像素在所述第二颜色空间各个通道的颜色值。
在本申请实施例中，上述第二颜色空间包括第一通道、第二通道以及第三通道，获取上述原型目标区域包含的像素个数，以及分别获取上述原型目标区域的像素在第一通道、第二通道以及第三通道的颜色值。其中，上述第一通道可以为L通道，上述第二通道可以为A通道，上述第三通道可以为B通道。
示例性地，上述第二颜色空间为LAB颜色空间，获取上述原型目标区域中的像素在L通道、A通道以及B通道的颜色值。
A32：根据所述原型目标区域包含的像素个数以及所述原型目标区域中的像素在所述第二颜色空间各个通道的颜色值，计算所述原型目标区域中的像素在各个通道的第一均值和第一方差。
在本申请实施例中，分别计算所述原型目标区域中的像素在L通道、A通道以及B通道的第一均值和第一方差。
具体地，根据下述公式(1)计算上述原型图片S中属于上述原型目标区域的像素在L通道的第一均值和第一方差/>
其中，上述Areasrc表示原型目标区域，上述表示上述原型目标区域包含的像素个数，上述/>表示原型图片S中第i行第j列的像素在L通道中的颜色值，上述/>表示原型图片S中属于上述原型目标区域Ardasrc的像素在L通道的第一均值，上述/>表示上述原型图片S中属于上述原型目标区域Areasrc的像素在L通道的第一方差。
根据下述公式(2)计算上述原型图片S中属于上述原型目标区域的像素在A通道的第一均值和第一方差/>
其中，上述Areasrc表示原型目标区域，上述表示上述原型目标区域包含的像素个数，上述/>表示原型图片S中第i行第j列的像素在A通道中的颜色值，上述/>表示原型图片S中属于上述原型目标区域Areasrc的像素在A通道的第一均值，上述/>表示上述原型图片S中属于上述原型目标区域Areasrc的像素在A通道的第一方差。
根据下述公式(3)计算上述原型图片S中属于上述原型目标区域的像素在B通道的第一均值和第一方差/>
其中，上述Areasrc表示原型目标区域，上述表示上述原型目标区域包含的像素个数，上述/>表示原型图片S中第i行第j列的像素在B通道中的颜色值，上述/>表示原型图片S中属于上述原型目标区域Areasrc的像素在B通道的第一均值，上述/>表示上述原型图片S中属于上述原型目标区域Areasrc的像素在B通道的第一方差。
A33：获取所述人脸目标区域包含的像素个数，以及所述人脸目标区域中的像素在所述第二颜色空间的颜色值。
在本申请实施例中，上述第二颜色空间包括第一通道、第二通道以及第三通道，获取上述人脸目标区域包含的像素个数，以及分别获取上述人脸目标区域的像素在第一通道、第二通道以及第三通道的颜色值。其中，上述第一通道可以为L通道，上述第二通道可以为A通道，上述第三通道可以为B通道。
示例性地，上述第二颜色空间为LAB颜色空间，获取上述人脸目标区域中的像素在L通道、A通道以及B通道的颜色值。
A34：根据所述人脸目标区域包含的像素个数以及所述人脸目标区域中的像素在所述第二颜色空间的颜色值，计算所述人脸目标区域中的像素在各个通道的第二均值和第二方差。
在本申请实施例中，分别计算上述待处理人脸图片中属于所述人脸目标区域中的像素在L通道、A通道以及B通道的第二均值和第二方差。
具体地，根据下述公式(4)计算上述待处理人脸图片T中属于上述人脸目标区域的像素在L通道的第二均值和第二方差/>
其中，上述Areatar表示人脸目标区域，上述表示上述人脸目标区域包含的像素个数，上述/>表示待处理人脸图片T中第i行第j列的像素在L通道中的颜色值，上述/>表示待处理人脸图片T中属于上述人脸目标区域Areatar的像素在L通道的第二均值，上述/>表示上述待处理人脸图片T中属于上述人脸目标区域Aredtar的像素在L通道的第二方差。
根据下述公式(5)计算上述待处理人脸图片T中属于上述人脸目标区域的像素在A通道的第二均值和第二方差/>
其中，上述Areatar表示人脸目标区域，上述表示上述人脸目标区域包含的像素个数，上述/>表示待处理人脸图片T中第i行第j列的像素在A通道中的颜色值，上述/>表示待处理人脸图片T中属于上述人脸目标区域Areatar的像素在A通道的第二均值，上述/>表示上述待处理人脸图片T中属于上述人脸目标区域Areatar的像素在A通道的第二方差。
根据下述公式(6)计算上述待处理人脸图片T中属于上述人脸目标区域的像素在B通道的第二均值和第二方差/>
其中，上述Areatar表示人脸目标区域，上述表示上述人脸目标区域包含的像素个数，上述/>表示待处理人脸图片T中第i行第j列的像素在B通道中的颜色值，上述/>表示待处理人脸图片T中属于上述人脸目标区域Areatar的像素在B通道的第二均值，上述/>表示上述待处理人脸图片T中属于上述人脸目标区域Areatar的像素在B通道的第二方差。
A4：根据所述第一均值、所述第一方差、所述第二均值与所述第二方差，更新所述待处理人脸图片中的所述人脸目标区域在所述第二颜色空间下的颜色值。
作为本申请一种可能的实施方式，上述根据所述第一均值、所述第一方差、所述第二均值与所述第二方差，更新所述待处理人脸图片中的所述人脸目标区域在所述第二颜色空间下的颜色值的步骤A5，具体包括：
根据下式(7)计算所述待处理人脸图片在所述第二颜色空间下X通道更新后的颜色值
其中，X为通道标识，具体地，X可以为L、A或者B，分别对应L通道、A通道以及B通道，x可以为l、α或者β，l与L通道对应，α与A通道对应，β与B通道对应，为所述待处理人脸图片第i行第j列的像素在所述第二颜色空间下X通道的颜色值(即更新前的颜色值)，/>为所述原型目标区域中的像素在所述第二颜色空间下X通道的第一均值，/>为所述原型目标区域中的像素在所述第二颜色空间下X通道的第一方差；/>为所述人脸目标区域中的像素在所述第二颜色空间下X通道的第二均值，/>为所述人脸目标区域中的像素在所述第二颜色空间下X通道的第二方差，ρX为是常数控制因子。
具体地，根据下式(8)计算所述待处理人脸图片在所述第二颜色空间下L通道更新后的颜色值
其中，上述表示上述原型图片S中属于上述原型目标区域Areasrc的像素在A通道的第一方差，上述/>表示上述待处理人脸图片T中属于上述人脸目标区域Areatar的像素在A通道的第二方差，上述/>表示上述待处理人脸图片T中第i行第j列的像素在A通道中的颜色值，上述/>表示待处理人脸图片T中属于上述人脸目标区域Areatar的像素在A通道的第二均值，上述/>表示原型图片S中属于上述原型目标区域Areasrc的像素在A通道的第一均值，上述ρL为L通道下的常数控制因子。
根据下式(9)计算所述待处理人脸图片在所述第二颜色空间下A通道更新后的颜色值
其中，上述表示上述原型图片S中属于上述原型目标区域Areasrc的像素在A通道的第一方差，上述/>表示上述待处理人脸图片T中属于上述人脸目标区域Areatar的像素在A通道的第二方差，上述/>表示待处理人脸图片T中第i行第j列的像素在A通道中的颜色值，上述/>表示待处理人脸图片T中属于上述人脸目标区域Areatar的像素在A通道的第二均值，上述/>表示原型图片S中属于上述原型目标区域Areasrc的像素在A通道的第一均值，上述ρA为A通道下的常数控制因子。
根据下式(10)计算所述待处理人脸图片在所述第二颜色空间下B通道更新后的颜色值
其中，上述表示上述原型图片S中属于上述原型目标区域Areasrc的像素在B通道的第一方差，上述/>表示上述待处理人脸图片T中属于上述人脸目标区域Areatar的像素在B通道的第二方差，上述/>表示待处理人脸图片T中第i行第j列的像素在B通道中的颜色值，上述/>表示待处理人脸图片T中属于上述人脸目标区域Areatar的像素在B通道的第二均值，上述/>表示原型图片S中属于上述原型目标区域Areasrc的像素在B通道的第一均值，上述ρB为B通道下的常数控制因子。
A5：将更新颜色值后的待处理人脸图片从所述第二颜色空间转换到所述第一颜色空间，得到所述第一目标图片。
在本申请实施例中，根据上述公式(7)或者公式(8)至公式(10)，计算上述待处理人脸图片新的颜色值，将更新颜色值后的待处理人脸图片再从第二颜色空间转换到第一颜色空间。颜色空间的转换参见现有技术，在此不赘述。
为保证颜色空间转换后不会出现视觉异常，作为本申请一种可能的实施方式，按预设限定条件，对上述待处理人脸图片在第二颜色空间下第一通道更新后的颜色值进行限定。
具体地，根据下述公式(11)对上述待处理人脸图片在第二颜色空间下第一通道更新后的颜色值进行限定：
上述γ表示预设参数值，例如，γ可以为大于1且小于2的数值。
具体地，限定当时，/>当时/>时，/>当/>既不是小于0，也不是大于/>时，/>
在本申请实施例中，通过对待处理人脸图片在第二颜色空间下第一通道更新后的颜色值进行限定，可保证将更新颜色值后的待处理人脸图片进行颜色空间的转换后不会出现视觉异常，提高颜色转换的有效性，增强用户体验。
S104：基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片。
在本申请实施例中，基于原型图片对第一目标图片进行变形渲染，是指将原型图片中面部的特殊纹理和形状迁移到第一目标图片的对应位置，并在迁移过程中同时保留第一目标图片原始的表情、姿态。
在一些实施方式中，可使用人脸3D形变统计模型(3D Morphable Models，3DMM)和地标(landmark)定位方法来实现特殊面部特征的翻译、迁移。
在一些实施方式中，将3D面部模型拟合到上述第一目标图片中检测到的面部，并根据上述原型图片的纹理坐标，在上述第一目标图片相应的面部坐标处进行渲染。
作为本申请一种可能的实施方式，图4示出了本申请实施例提供的面部图像风格转换方法步骤S104的具体实现流程，详述如下：
B1：对所述原型图片和所述第一目标图片进行面部检测，获取所述原型图片中面部的纹理特征信息，以及所述第一目标图片中面部的关键特征点信息。
具体地，对上述原型图片进行面部检测，获取上述原型图片中的纹理特征信息，上述纹理特征信息包括上述原型图片中面部的纹理特征的坐标。对上述第一目标图片进行面部检测，获取上述第一目标图片中面部的关键特征点信息，上述关键特征点信息包括关键特征点的坐标。
作为本申请一种可能的实施方式，如图5所示，上述获取所述原型图片中面部的纹理特征信息的步骤，具体包括：
B11：获取所述原型图片中面部对应的三维原型模型。
在本申请实施例中，设置三维模型，该三维模型包含平均的脸部三维形状mean3DShape、三维网格mesh、合成形状blendShapes、三维空间下的关键特征点的初始位置idxs3D，将上述原型图片中面部的原型关键特征点映射至上述三维模型，得到上述三维原型模型。上述三维原型模型用于映射上述原型图片中面部的原型关键特征点的三维坐标。
B12：基于所述三维原型模型，获取所述原型图片中面部的原型关键特征点的三维坐标，以及根据所述原型关键特征点拟合的三维原型形状。
在本申请实施例中，根据所述原型关键特征点进行面部形状拟合，得到上述原型图片中面部对应的三维原型形状。
在一些实施方式中，可采用高斯牛顿法进行非线性拟合。
B13：将所述原型关键特征点的三维坐标以及所述三维原型形状输入至初始化后的投影模型，得到所述原型图片中面部纹理特征的二维坐标，所述投影模型用于将三维信息投影为二维信息。
在本申请实施例中，上述三维模型还包括二维空间下的关键特征点的初始位置idxs2D，初始化后的投影模型包括参数总数nParams以及合成形状数量nBlendShapes。
示例性地，原型图片S的高记为hS，宽记为wS，原型图片中面部纹理特征的二维坐标coordstexture获取过程如下：
i)获取原型关键特征点。根据原型图片S，使用面部检测器检测原型图片S中面部位置，对于检测到的面部位置(一个或多个)使用矩形框(一个或多个)标注表示；再根据矩形框使用面部预测器获得每个矩形框中面部的68个关键特征点二维坐标(一组或多组)。
ii)初始化投影模型参数。具体地初始化过程如下：
根据三维空间下的关键特征点的初始位置idxs3D，获取面部三维形状mean3DShape中的三维关键特征点mean3DShapeidxs3D，计算该三维关键特征点的中央位置shape3Dcentered：
shape3Dcentered＝mean3DShapeidxs3D-mean(mean3DShapeidxs3D,0)；
其中，mean(input,0)表示计算多维矩阵input在第1个维度上的均值。
同理，再根据二维空间下的关键特征点的初始位置idxs2D，确定上述步骤i)中得到的面部68个关键特征点二维坐标中的二维关键特征点/>计算该二维关键特征点的中央位置shape2Dcentered：
接着，分别计算shape2Dcentered与shape3Dcentered的二范数，两者做商得到比例因子scale；
再根据下述公式(12)：
t表示二维关键特征点与三维关键特征点mean3DShapeidxs3D之间的位移，其中，三维关键特征点mean3DShapeidxs3D[:,:2]表示mean3DShapeidxs3D的前两个维度，保证进行矩阵相减操作的矩阵维度相同，得到的t包含两个元素，分别包含两个维度上的位移。
最后，根据投影模型的参数总数，全零初始化一个大小为nParams的参数数组params，设置参数数组params：
params[0]＝scale，params[4]＝t[0]，params[5]＝t[1](13)
即可得到初始化后的投影模型参数params。
iii)使用高斯牛顿法对ii)得到的投影模型参数params进行拟合与优化。
具体地，根据三维空间下的关键特征点初始位置idxs3D，选出合成形状blendShapes中的关键合成形状blendShapesidxs3D，设置最大迭代次数maxIter、精度eps、步长大小stepSize、残差计算函数、加科比函数，初始化模型损失cost＝0，以及历史(迭代的上一次)损失oldCost＝0。根据maxIter，循环迭代以下步骤maxIter次：
定义函数fun(input1,input2)，其函数体执行以下的①②③步骤，输入的input1＝[三维关键特征点mean3DShapeidxs3D,blendShapesidxs3D],input2＝params，函数输出为input1经过投影模型后得到投影后的二维坐标。
①将三维关键特征点mean3DShapeidxs3D和关键合成形状blendShapesidxs3D输入到投影模型中，投影到二维空间。首先，解码投影模型参数params如下：
s＝params[0]，r＝params[1:4]，t＝params[4:6]，w＝params[6:](14)
其中，s表示缩放因子，r表示旋转向量，t表示位移向量，w表示权重。
②将旋转向量通过Rodrigues公式转换成旋转矩阵R(大小3*3)，取P＝R[:2]。
③将mean3DShapeidxs3D和blendShapesidxs3D从三维空间投影到二维空间，得到投影后的二维关键特征点坐标projected：
shape3D＝mean3DShapeidxs3D+sum(w[:,new,new]×blendShapesidxs3D,0) (15-1)
projected＝s×P·shap3D+t[:,new]；(15-2)
shape3D表示原型关键特征点的三维坐标，sum(x,0)表示对矩阵x按第1个维度进行求和；×表示将左右两边的矩阵的对应元素进行相乘，要求符号左右两边的矩阵大小相同，得到的结果矩阵大小与之一致；·表示将左右两个矩阵进行点乘；new表示数组新增一个维度，w[:,new,new]将w从一维扩展到三维。
④计算纹理二维坐标与模型输出的投影后的二维关键特征点坐标projected两者之间的残差向量/>根据下式计算模型损失：
cost＝sum(r2) (16)
flatten(input)表示将input从多维矩阵转换成行数为矩阵input的元素个数，列数为1的列向量
⑤判断迭代停止条件：若损失cost小于精度eps或cost与oldCost之间的差值的绝对值小于精度eps，则提前停止迭代，否则更新oldCost＝cost。
⑥取nPoints＝shape(mean3DShapeidxs3D,1)定义一个行数为nPoints×2，列数为nParams的加科比矩阵jacobi，npoints表示mean3DShape^idx3D所含点的个数，并初始化加科比矩阵jacobi的第1列：
jacobi[:,0]＝flatten(P·shape3D) (17)
其中shape(input,dim)表示获取矩阵input在维度dim上的大小。
⑦定义一个独热one-hot编码的表示步数的、大小为nParams×1的矩阵step＝zeros(nParams)，one-hot编码表示在一个向量或者矩阵中只有一个位置为1，其余全0其中zeros(input)表示初始化一个全0的、大小为input×1的列向量；对于第i＝1，2，3步，执行以下操作：
step[i]＝stepSize (18-1)
x＝[mesh3DShapeidxs3D,blendShapesidxs3D] (18-2)
step[i]＝0 (18-4)
其中fun(input1,input2)将执行上述①②③操作，并将input1＝x,input2＝params，输入到函数fun(input1,input2)中。
⑧对jacobi矩阵的前nPoints行，第5列的元素，以及jacobi矩阵的后nPoints行，第6列的元素赋值1，设置开始更新步长的位置为startIdx＝nParams-nBlendShapes，那么对于所有的合成形状blendShapes，有：
jacobi[:,i+startIdx]＝flatten(s×P·blendShapes[i]) (19)
上述i∈0,1,2,…,nBlendShapes，即jacobi矩阵的第7列到最后一列通过以上公式(19)进行赋值。
⑨根据jacobi矩阵和残差向量r计算梯度grad＝T(jacobi)·r，H＝T(jacobi)·jacobi，步长调整的方向direction＝solve(H,grad)。其中T(input)表示将矩阵input转置，solve(input1,input2)表示求解以矩阵input1为多元一次方程，以矩阵input2为Ay＝b的矩阵b的方程的解y，具体过程参见现有技术，在此处解方程出来的结果即表示方向direction；使用优化函数对模型参数进行优化，并得到步幅alpha。
更新投影模型参数。具体地，params＝params+alpha×direction (20)
回到步骤iii)，进行下一次迭代。
iv)根据iii)得到的更新后的投影模型参数params，再计算在该投影模型下得到的投影坐标，即执行上述fun(input1,input2)函数，得到原型图片S面部纹理特征的二维坐标coordstexture。
B2：根据所述第一目标图片、所述原型图片以及所述纹理特征信息，初始化渲染器。
在一些实施方式中，初始化pygame(跨平台Pyth)，并根据第一目标图片TcolorTrans的宽wT和高hT初始化一个显示窗口，启用开放式图形库(Open Graphics Library，OpenGL)深度测试和二维纹理设置。将原型图片S面部的纹理特征的二维坐标coordstexture的第一行的每一个元素除原型图片的宽wS，第二行的每一个元素除原型图片S的高hS。添加原型图片S和第一目标图片TcolorTrans到渲染器renderer中，完成渲染器的初始化。
B3：基于所述第一目标图片中面部的关键特征点信息与经过初始化的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片。
作为本申请一种可能的实施方式，如图6所示，上述基于所述第一目标图片中面部的关键特征点信息与经过初始化的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片的步骤B3，包括：
B31：获取所述第一目标图片中面部对应的三维人脸模型。
在本申请实施例中，设置三维模型，该三维模型包含平均的脸部三维形状mean3DShape、三维网格mesh、合成形状blendShapes、三维空间下的关键特征点的初始位置idxs3D，将上述第一目标图片中面部的原型关键特征点映射至上述三维模型，得到上述三维人脸模型。上述三维人脸模型用于映射上述第一目标图片中面部的人脸关键特征点的三维坐标。
B32：基于所述三维人脸模型，确定所述第一目标图片中面部的人脸关键特征点的三维坐标。
B33：基于所述人脸关键特征点的三维坐标与经过初始化后的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片。
在本申请实施例中，参照上述步骤i)到步骤iii)，确定上述第一目标图片中面部的人脸关键特征点的三维坐标在此不赘述。
在本申请实施例中，使用初始化后的渲染器对上述第一目标图片中面部的人脸关键特征点的三维坐标进行变形渲染，得到第二目标图片。具体变形渲染过程可参见实现变形渲染的现有技术。/>
由上可见，本申请实施例中，通过获取待处理人脸图片与原型图片，将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，利用已训练的语义蒙版模型快速智能的对图片中人脸进行面部区域分割和标记，无需手动分割和标记，可节省人力和时间，再根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域，对所述待处理人脸图片进行颜色转换，得到第一目标图片，即将待处理人脸图片中指定区域的颜色转换成原型图片相应区域的颜色，可提高颜色转换的效率，最后基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片。本方案可提高风格转换时面部的处理速度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的面部图像风格转换方法，图7示出了本申请实施例提供的面部图像风格转换装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该面部图像风格转换装置包括：图片获取单元71，分割标记单元72，颜色转换单元73，变形渲染单元74，其中：
图片获取单元71，用于获取待处理人脸图片与原型图片；
分割标记单元72，用于将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，其中，所述语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记；
颜色转换单元73，用于根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系和所述原型图片，对所述待处理人脸图片进行颜色转换，得到第一目标图片；
变形渲染单元74，用于基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片。
在一种可能的实施方式中，上述颜色转换单元73包括：
颜色空间转换模块，用于将所述待处理人脸图片与所述原型图片从第一颜色空间转换到第二颜色空间；
目标区域确定模块，用于根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系，确定所述待处理人脸图片中的人脸目标区域，和所述原型图片中的与所述人脸目标区域对应的原型目标区域；
均值方差计算模块，用于计算在所述第二颜色空间下，所述原型目标区域中的像素的第一均值和第一方差，以及所述人脸目标区域中的像素的第二均值和第二方差；
颜色值更新模块，用于根据所述第一均值、所述第一方差、所述第二均值与所述第二方差，更新所述待处理人脸图片中的所述人脸目标区域在所述第二颜色空间下的颜色值；
第一目标图片获取模块，用于将更新颜色值后的待处理人脸图片从所述第二颜色空间转换到所述第一颜色空间，得到所述第一目标图片。
在一种可能的实施方式中，所述均值方差计算模块包括：
第一信息获取模块，用于获取所述原型目标区域包含的像素个数，以及所述原型目标区域中的像素在所述第二颜色空间各个通道的颜色值；
第一计算模块，用于根据所述原型目标区域包含的像素个数以及所述原型目标区域中的像素在所述第二颜色空间各个通道的颜色值，计算所述原型目标区域中的像素在各个通道的第一均值和第一方差；
第二信息获取模块，用于获取所述人脸目标区域包含的像素个数，以及所述人脸目标区域中的像素在所述第二颜色空间的颜色值；
第二计算模块，用于根据所述人脸目标区域包含的像素个数以及所述人脸目标区域中的像素在所述第二颜色空间的颜色值，计算所述人脸目标区域中的像素在各个通道的第二均值和第二方差。
在一种可能的实施方式中，所述颜色值更新模块具体用于：
根据下式计算所述待处理人脸图片在所述第二颜色空间下X通道更新后的颜色值
其中，X为通道标识，为所述待处理人脸图片第i行第j列的像素在所述第二颜色空间下X通道的颜色值，/>为所述原型目标区域中的像素在所述第二颜色空间下X通道的第一均值，/>为所述原型目标区域中的像素在所述第二颜色空间下X通道的第一方差；为所述人脸目标区域中的像素在所述第二颜色空间下X通道的第二均值，/>为所述人脸目标区域中的像素在所述第二颜色空间下X通道的第二方差，ρX为是常数控制因子。
在一种可能的实施方式中，所述变形渲染单元74包括：
特征信息获取模块，用于对所述原型图片和所述第一目标图片进行面部检测，获取所述原型图片中面部的纹理特征信息，以及所述第一目标图片中面部的关键特征点信息；
初始化模块，用于根据所述第一目标图片、所述原型图片以及所述纹理特征信息，初始化渲染器；
变形渲染模块，用于基于所述第一目标图片中面部的关键特征点信息与经过初始化的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片。
在一种可能的实施方式中，所述特征信息获取模块具体用于：
获取所述原型图片中面部对应的三维原型模型；
基于所述三维原型模型，获取所述原型图片中面部的原型关键特征点的三维坐标，以及根据所述原型关键特征点拟合的三维原型形状；
将所述原型关键特征点的三维坐标以及所述三维原型形状输入至初始化后的投影模型，得到所述原型图片中面部纹理特征的二维坐标，所述投影模型用于将三维信息投影为二维信息。
由上可见，本申请实施例中，通过获取待处理人脸图片与原型图片，将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，利用已训练的语义蒙版模型快速智能的对图片中人脸进行面部区域分割和标记，无需手动分割和标记，可节省人力和时间，再根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域，对所述待处理人脸图片进行颜色转换，得到第一目标图片，即将待处理人脸图片中指定区域的颜色转换成原型图片相应区域的颜色，可提高颜色转换的效率，最后基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片。本方案可提高风格转换时面部的处理速度。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1至图6表示的任意一种面部图像风格转换方法的步骤。
本申请实施例还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如图1至图6表示的任意一种面部图像风格转换方法的步骤。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备执行实现如图1至图6表示的任意一种面部图像风格转换方法的步骤。
图8是本申请一实施例提供的电子设备的示意图。如图8所示，该实施例的电子设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个面部图像风格转换方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元71至74的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序82在所述电子设备8中的执行过程。
所述电子设备8可以是服务器。所述电子设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备8还可以包括输入输出设备、网络接入设备、总线等。
所述处理器80可以是中央处理单元(CentraL Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor，DSP)、专用集成电路(AppLication Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieLd–Programma bLe Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述电子设备8的内部存储单元，例如电子设备8的硬盘或内存。所述存储器81也可以是所述电子设备8的外部存储设备，例如所述电子设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure DigitaL，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述电子设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种面部图像风格转换方法，其特征在于，包括：
获取待处理人脸图片与原型图片；
将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，其中，所述语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记；
根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系和所述原型图片，对所述待处理人脸图片进行颜色转换，得到第一目标图片；
基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片，包括：对所述原型图片和所述第一目标图片进行面部检测，获取所述原型图片中面部的纹理特征信息，以及所述第一目标图片中面部的关键特征点信息；据所述第一目标图片、所述原型图片以及所述纹理特征信息，初始化渲染器；基于所述第一目标图片中面部的关键特征点信息与经过初始化的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片；其中：
所述获取所述原型图片中面部的纹理特征信息的步骤，包括：获取所述原型图片中面部对应的三维原型模型；基于所述三维原型模型，获取所述原型图片中面部的原型关键特征点的三维坐标，以及根据所述原型关键特征点拟合的三维原型形状；将所述原型关键特征点的三维坐标以及所述三维原型形状输入至初始化后的投影模型，得到所述原型图片中面部纹理特征的二维坐标，所述投影模型用于将三维信息投影为二维信息；
所述基于所述第一目标图片中面部的关键特征点信息与经过初始化的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片的步骤，包括：
获取所述第一目标图片中面部对应的三维人脸模型；基于所述三维人脸模型，确定所述第一目标图片中面部的人脸关键特征点的三维坐标；基于所述人脸关键特征点的三维坐标与经过初始化后的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片。
2.根据权利要求1所述的面部图像风格转换方法，其特征在于，所述根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域，对所述待处理人脸图片进行颜色转换，得到第一目标图片的步骤，包括：
将所述待处理人脸图片与所述原型图片从第一颜色空间转换到第二颜色空间；
根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系，确定所述待处理人脸图片中的人脸目标区域，和所述原型图片中的与所述人脸目标区域对应的原型目标区域；
计算在所述第二颜色空间下，所述原型目标区域中的像素的第一均值和第一方差，以及所述人脸目标区域中的像素的第二均值和第二方差；
根据所述第一均值、所述第一方差、所述第二均值与所述第二方差，更新所述待处理人脸图片中的所述人脸目标区域在所述第二颜色空间下的颜色值；
将更新颜色值后的待处理人脸图片从所述第二颜色空间转换到所述第一颜色空间，得到所述第一目标图片。
3.根据权利要求2所述的面部图像风格转换方法，其特征在于，所述计算在所述第二颜色空间下，所述原型目标区域中的像素的第一均值和第一方差，以及所述人脸目标区域中的像素的第二均值和第二方差的步骤，包括：
获取所述原型目标区域包含的像素个数，以及所述原型目标区域中的像素在所述第二颜色空间各个通道的颜色值；
根据所述原型目标区域包含的像素个数以及所述原型目标区域中的像素在所述第二颜色空间各个通道的颜色值，计算所述原型目标区域中的像素在各个通道的第一均值和第一方差；
获取所述人脸目标区域包含的像素个数，以及所述人脸目标区域的像素在所述第二颜色空间的颜色值；
根据所述人脸目标区域包含的像素个数以及所述人脸目标区域的像素在所述第二颜色空间的颜色值，计算所述人脸目标区域中的像素在各个通道的第二均值和第二方差。
4.根据权利要求3所述的面部图像风格转换方法，其特征在于，所述根据所述第一均值、所述第一方差、所述第二均值与所述第二方差，更新所述待处理人脸图片中的所述人脸目标区域在所述第二颜色空间下的颜色值的步骤，包括：
根据下式计算所述待处理人脸图片第i行第j列的像素在所述第二颜色空间下X通道更新后的颜色值
其中，X为通道标识，为所述待处理人脸图片第i行第j列的像素在所述第二颜色空间下X通道的颜色值，/>为所述原型目标区域中的像素在所述第二颜色空间下X通道的第一均值，/>为所述原型目标区域中的像素在所述第二颜色空间下X通道的第一方差；/>为所述人脸目标区域中的像素在所述第二颜色空间下X通道的第二均值，/>为所述人脸目标区域中的像素在所述第二颜色空间下X通道的第二方差，ρX为是常数控制因子。
5.一种面部图像风格转换装置，其特征在于，包括：
图片获取单元，用于获取待处理人脸图片与原型图片；
分割标记单元，用于将所述待处理人脸图片与所述原型图片分别输入至已训练的语义蒙版模型进行处理，得到所述待处理人脸图片对应的人脸蒙版图片，以及所述原型图片对应的原型蒙版图片，其中，所述语义蒙版模型用于对输入的图片中的人脸进行面部区域分割和标记；
颜色转换单元，用于根据所述人脸蒙版图片和所述原型蒙版图片中标记的面部区域之间的对应关系，对所述待处理人脸图片进行颜色转换，得到第一目标图片；
变形渲染单元，用于基于所述原型图片对所述第一目标图片进行变形渲染，得到第二目标图片；所述变形渲染单元包括：
特征信息获取模块，用于对所述原型图片和所述第一目标图片进行面部检测，获取所述原型图片中面部的纹理特征信息，以及所述第一目标图片中面部的关键特征点信息；
初始化模块，用于根据所述第一目标图片、所述原型图片以及所述纹理特征信息，初始化渲染器；
变形渲染模块，用于基于所述第一目标图片中面部的关键特征点信息与经过初始化的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片；
其中，所述特征信息获取模块具体用于：
获取所述原型图片中面部对应的三维原型模型；基于所述三维原型模型，获取所述原型图片中面部的原型关键特征点的三维坐标，以及根据所述原型关键特征点拟合的三维原型形状；将所述原型关键特征点的三维坐标以及所述三维原型形状输入至初始化后的投影模型，得到所述原型图片中面部纹理特征的二维坐标，所述投影模型用于将三维信息投影为二维信息；
所述变形渲染模块具体用于：获取所述第一目标图片中面部对应的三维人脸模型；基于所述三维人脸模型，确定所述第一目标图片中面部的人脸关键特征点的三维坐标；基于所述人脸关键特征点的三维坐标与经过初始化后的渲染器，对所述第一目标图片进行变形渲染，得到第二目标图片。
6.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的面部图像风格转换方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的面部图像风格转换方法。
CN202011216635.7A 2020-11-04 2020-11-04 一种面部图像风格转换方法、装置、存储介质和电子设备 Active CN112419477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011216635.7A CN112419477B (zh) 2020-11-04 2020-11-04 一种面部图像风格转换方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011216635.7A CN112419477B (zh) 2020-11-04 2020-11-04 一种面部图像风格转换方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112419477A CN112419477A (zh) 2021-02-26
CN112419477B true CN112419477B (zh) 2023-08-15

Family

ID=74827567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011216635.7A Active CN112419477B (zh) 2020-11-04 2020-11-04 一种面部图像风格转换方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112419477B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409220A (zh) * 2021-06-28 2021-09-17 展讯通信(天津)有限公司 人脸图像处理方法、装置、介质及设备
CN114866706A (zh) * 2022-06-01 2022-08-05 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115439307B (zh) * 2022-08-08 2023-06-27 荣耀终端有限公司 风格转换方法、风格转换模型的生成方法和风格转换系统
CN115578548B (zh) * 2022-12-07 2023-05-23 广东时谛智能科技有限公司 根据输入图片进行三维鞋体模型处理的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046763A (zh) * 2019-11-29 2020-04-21 广州久邦世纪科技有限公司 一种人像卡通化的方法和装置
CN111627076A (zh) * 2020-04-28 2020-09-04 广州华多网络科技有限公司 换脸方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437514B2 (en) * 2007-10-02 2013-05-07 Microsoft Corporation Cartoon face generation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046763A (zh) * 2019-11-29 2020-04-21 广州久邦世纪科技有限公司 一种人像卡通化的方法和装置
CN111627076A (zh) * 2020-04-28 2020-09-04 广州华多网络科技有限公司 换脸方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人脸图像风格迁移的改进算法;郭美钦等;深圳大学学报(理工版);第36卷(第3期);第230-236页 *

Also Published As

Publication number Publication date
CN112419477A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419477B (zh) 一种面部图像风格转换方法、装置、存储介质和电子设备
WO2020192568A1 (zh) 人脸图像生成方法、装置、设备及存储介质
US9704261B2 (en) Image segmentation processing method and apparatus
JP7026222B2 (ja) 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
CN110288614B (zh) 图像处理方法、装置、设备及存储介质
CN111047509A (zh) 一种图像特效处理方法、装置及终端
Chen et al. Face swapping: realistic image synthesis based on facial landmarks alignment
CN110660076A (zh) 一种人脸交换方法
WO2022143354A1 (zh) 虚拟对象的脸部生成方法、装置、设备和可读存储介质
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN111612878A (zh) 将静态照片制作成三维效果视频的方法及装置
CN115601484A (zh) 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
CN113298821A (zh) 一种基于Nystrom谱聚类的超像素抠图方法
Yu et al. A framework for automatic and perceptually valid facial expression generation
Baričević et al. User-perspective AR magic lens from gradient-based IBR and semi-dense stereo
CN115861515A (zh) 一种三维人脸重建方法、计算机程序产品及电子设备
CN108520259A (zh) 一种前景目标的提取方法、装置、设备及存储介质
CN110689609B (zh) 图像处理方法、装置、电子设备及存储介质
EP4111420A1 (en) Face mesh deformation with detailed wrinkles
CN113706439A (zh) 一种图像检测方法、装置、存储介质及计算机设备
CN112150608A (zh) 一种基于图卷积神经网络的三维人脸重建方法
JPWO2019224947A1 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
CN109859300B (zh) 一种基于美学的立体图像内容编辑方法
CN117036639B (zh) 一种面向受限空间的多视角几何场景建立方法和装置
Lin et al. Depth sculpturing for 2D paintings: A progressive depth map completion framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant