CN112712460B - 肖像画生成的方法、装置、电子设备及介质 - Google Patents
肖像画生成的方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN112712460B CN112712460B CN202011431526.7A CN202011431526A CN112712460B CN 112712460 B CN112712460 B CN 112712460B CN 202011431526 A CN202011431526 A CN 202011431526A CN 112712460 B CN112712460 B CN 112712460B
- Authority
- CN
- China
- Prior art keywords
- image
- portrait
- face
- facial
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000001815 facial effect Effects 0.000 claims abstract description 72
- 238000010606 normalization Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 62
- 238000004458 analytical method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种肖像画生成的方法、装置、电子设备及介质。本申请中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。
Description
技术领域
本申请中涉及图像处理技术，尤其是一种肖像画生成的方法、装置、电子设备及介质。
背景技术
艺术肖像画以高度抽象的方式呈现个人特色同时又保护个人隐私而广受欢迎。现有的方法通常以监督学习的方式生成艺术肖像画。然而，艺术家绘制的艺术肖像画几乎不可能在像素级别与人脸图像相互对应。这样的几何形变会干扰生成模型的学习，影响性能。
由于艺术家绘制的艺术肖像画与真实图像在像素级别存在较大差异，现有的艺术肖像画合成通常采用监督学习的策略，即利用人脸图像以及艺术家绘制的艺术肖像画进行艺术肖像画的生成，其难以兼顾人脸图像与艺术家绘制的肖像画像素差异。
发明内容
本申请实施例提供一种肖像画生成的方法、装置、电子设备及介质，其中，根据本申请实施例的一个方面，提供的一种肖像画生成的方法，其特征在于，包括：
获取待处理图像，所述待处理图像中包含人脸图像；
确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；
通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；
利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。
可选地，在基于本申请上述方法的另一个实施例中，所述对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像，包括：
检测所述脸部区域图像，获取所述脸部区域图像中包含的眼部关键点区域；
将所述眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到所述人脸对齐处理后的初始肖像图。
可选地，在基于本申请上述方法的另一个实施例中，所述得到所述人脸对齐处理后的初始肖像图之后，还包括：
通过图像深度模型检测所述初始肖像图，得到到人脸解析图像,并对所述人脸解析图像进行图像预处理。
可选地，在基于本申请上述方法的另一个实施例中，所述通过几何损失函数，得到所述初始肖像图像中的面部几何图像，包括：
获取所述几何损失函数，所述损几何失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数；
通过所述几何损失函数，得到所述初始肖像图像中的面部几何图像。
可选地，在基于本申请上述方法的另一个实施例中，利用下述公式实现所述空间自适应归一化：
其中，设fi为第i层解码器的的特征张量，Hi，Wi，Ci分别表示fi的长、宽、通道数。k(n -i)表示编码器(n-i)层的特征张量，和/>位置(n,c,h,w)上代表生成器标准化模块后以及在进入标准化模块之前通过生成器激活层后的特征张量。
可选地，在基于本申请上述方法的另一个实施例中，所述空间自适应归一化，得到所述初始肖像图像中的面部几何图像之后，包括：
利用残差技术，获取多任务生成器，所述多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；
利用所述多任务生成器，得到所述生成画像与待处理图像之间的面部语义结构的误差；
将所述面部语义结构的误差通过梯度发送给所述生成器。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述面部语义结构的误差通过梯度发送给所述生成器之后，包括：
基于所述所述面部语义结构的误差，消除所述面部几何图像中的变形程度，得到所述目标肖像图像。
其中，根据本申请实施例的又一个方面，提供的一种肖像画生成的装置，其特征在于，包括：
获取模块，被配置为获取待处理图像，所述待处理图像中包含人脸图像；
确定模块，被配置为确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；
生成模块，被配置为通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；
消除模块，被配置为利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述肖像画生成的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述肖像画生成的方法的操作。
本申请中，可以获取待处理图像，待处理图像中包含人脸图像；确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种肖像画生成的方法示意图；
图2为本申请提出的肖像画生成的流程示意图；
图3为本申请肖像画生成的方法电子装置的结构示意图；
图4为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图2来描述根据本申请示例性实施方式的用于进行肖像画生成的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种肖像画生成的方法、装置、目标终端及介质。
图1示意性地示出了根据本申请实施方式的一种肖像画生成的方法的流程示意图。如图1所示，该方法包括：
S101，获取待处理图像，待处理图像中包含人脸图像；
S102，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；
S103，通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；
S104，利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。
首先，本申请可以对给定的待处理图像进行人脸对齐、人脸解析操作。进一步的，还可以根据编码器、解码器和判别器结构参照pix2pix，去除了dropout层，形状遵循“U-Net”。通过循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重建损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒性的艺术肖像画生成方法。
本申请中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。
可选的，在本申请一种可能的实施方式中，对脸部区域图像进行人脸对齐处理，得到初始肖像图像，包括：
检测脸部区域图像，获取脸部区域图像中包含的眼部关键点区域；
将眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到人脸对齐处理后的初始肖像图。
可选的，在本申请一种可能的实施方式中，得到人脸对齐处理后的初始肖像图之后，还包括：
通过图像深度模型检测初始肖像图，得到到人脸解析图像,并对人脸解析图像进行图像预处理。
进一步的，本申请可以通过人脸关键点中的左右眼中心的位置坐标经过仿射变换操作以人脸对齐。具体的，可以通过纵轴坐标的值计算两眼中心的水平偏差角度，旋转图像使两眼中心保持水平。并通过缩放使两眼之间距离保持固定。本发明将两眼间距设为50，眼睛到图像上边界距离125，最终得到对齐后的肖像图像SH×W×C,其中H,W,C分别为图像的高度、宽度以及通道数。
更进一步的，对于人脸解析步骤来说，可以通过图像深度模型检测初始肖像图，得到到人脸解析图像,并对人脸解析图像进行图像预处理。具体的，可以通过预训练好的人脸解析模型对肖像图像/艺术肖像画得到肖像图像/艺术肖像画解析掩码(Mask)图Pimage H×W×C，肖像图像掩码图尺寸与肖像图像/艺术肖像画保持一致，掩码图的解析成分由背景、面部、左眼、右眼、鼻子、嘴巴、颈部、衣服等19个部分组成，，分别对应19个通道，对通道进行归一化处理，其类别标签由n∈{0,1,...,18}表示。
需要说明的是，本申请并未将每个像素对应类别采用独热编码的硬标签的方式，而是保留了原始网络输出的每个分类的概率值作为面部组件分类的软标签。因为无论在预训练数据集人脸标注上还是将输入图片通过解析模型输出得到的人脸预测结果上看，都不能达到绝对精确的面部标签结果。采用软标签可以弱化预训练好的解析模型，减弱因预测偏差而在人脸边缘区域预测时产生的几何畸变，以此降低对主体生成模型生成图片结果的影响。
另外，由于采用预训练方式得到输入图片的语义标签，解析模型所生成的语义标签尺度在预训练后即固定。而实际输入图像的尺度与预训练模型生成的标签尺度大都不同，故需要一定的操作来解决该问题。在本申请中，可以首先对输入图片采用零填充的方式，使得图片长宽一致；后采用双线性差值的手段，将实际图片首先放缩至解析模型预测所需的尺度大小；通过解析模型得到面部语义标签后再逆向执行上述尺度变换操作，使得语义标签矩阵恢复至实际图像的大小。这样可保证得到的语义标签精度不受输入图像本身的尺度影响。
可选的，在本申请一种可能的实施方式中，通过几何损失函数，得到初始肖像图像中的面部几何图像，包括：
获取几何损失函数，损几何失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数；
通过几何损失函数，得到初始肖像图像中的面部几何图像。
可选的，在本申请一种可能的实施方式中，利用下述公式实现空间自适应归一化：
其中，设fi为第i层解码器的的特征张量，Hi，Wi，Ci分别表示fi的长、宽、通道数。k(n -i)表示编码器(n-i)层的特征张量，和/>位置(n,c,h,w)上代表生成器标准化模块后以及在进入标准化模块之前通过生成器激活层后的特征张量。
可选的，在本申请一种可能的实施方式中，空间自适应归一化，得到初始肖像图像中的面部几何图像之后，包括：
利用残差技术，获取多任务生成器，多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；
利用多任务生成器，得到生成画像与待处理图像之间的面部语义结构的误差；
将面部语义结构的误差通过梯度发送给生成器。
可选的，在本申请一种可能的实施方式中，将面部语义结构的误差通过梯度发送给生成器之后，包括：
基于面部语义结构的误差，消除面部几何图像中的变形程度，得到目标肖像图像。
进一步的，如图2所示，为本申请提出的肖像画生成的流程图，其中，本申请实施例可以采用松弛型L1范式损失替换了原始L1范式损失、梯度正则化损失函数以及循环一致性损失。
另外，由于原始L1范式损失目的是建立生成画像与真实画像在像素级上的一对一强相关性。但考虑到即使将画像与真实人像进行面部对齐后，真实画家画像中依然存在部分面部组件间的位置偏差。而此时原始的损失函数约束性过强，生成网络无法直接学到几何畸变后的位置信息，导致真实画像与原始人像不对应的部分比如刘海、嘴唇、脸部轮廓的位置在生成时产生模糊。因此提出了一种基于语义标签相似度的加权L1范式损失。
其中，x为原始的待处理图像，y为目标肖像图像，为面部几何图像，☉表示像素级的乘积运算,t为一个超参。γ为相似度计算函数,将从x与y得到的语义分割矩阵的相似度转化为原始L1范式损失的权重。使用余弦相似度度量作为函数，其定义为：
其中，mx,i,j∈R1×1×c表示为x(图像)的语义分割矩阵在(i,j)位置上的向量，my,i,j∈R1×1×c表示为y(真是素描)的语义分割矩阵在(i,j)位置上的向量。如果γi,j(mx,my)＝1，则xi,j和yi,j有相似的语义分割矩阵；如果γi,j(mx,my)＝0，则xi,j和yi,j语义分割矩阵极为不同。
另外，本申请提出了梯度正则化损失函数，使得生成画像和真实画像y在每个位置有相同的梯度方向。本申请是使用梯度偏差指数作为几何损失。首先，本申请用Prewitt算子提取水平和垂直梯度，在位置(i,j)上的梯度向量表示为：
其中，和/>表示位置(i,j)上的水平和垂直梯度向量。本申请计算梯度相似性公式定义为：
其中ε是一个很小的值(例如1e-7)，防止求解过程中分母为0。是在位置(i,j)上的梯度大小和方向的相似性。因此几何损失定义为：
C1-3.使用了身份损失函数，其定义为：
Lidn(y,mx)＝||G(y,mx)-y||1
其中G为生成器，y为真实画像，mx为图像的语义分割矩阵。因为生成器G用来生成y风格图像，那么把y送入G，应该仍然生成y，只有这样才能证明G具有生成y风格的能力。
更进一步的，对于网络结构来说，为了恢复被传统自学习参数的标准化层(例如批标准化层)，所冲刷的空间结构信息，本发明应用了改进的空间自适应归一化。为了增强通过两个映射变量之间的梯度传播，降低标准化层的学习难度，本发明采用了残差的思想。采用多任务生成器，将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务。
其中，改进的空间自适应归一化,设fi为第i层解码器的的特征张量，Hi，Wi，Ci分别表示fi的长、宽、通道数。k(n-i)表示编码器(n-i)层的特征张量。空间自适应归一化公式为：
其中和/>位置(n,c,h,w)上代表标准化模块后以及在进入标准化模块之前通过激活层后的特征张量。/>和/>是在通道维度上的平均值和方差，其被定义为：
其中和/>是空间自归一化层所学习的变量。本申请使用的和/>变量是将输入语义分割矩阵m和相应编码器k(n-i)层合并，其公式为再通过简单的两层卷积神经网络学习参数。由于不同层的空间自归一化层所需的特征尺度不同。故将输入语义分割矩阵m使用最近邻插值的方式，将其缩放到与标准化层所需的尺度。
还需要说明的是，为了增强通过两个映射变量之间的梯度传播，降低标准化层的学习难度，采用了残差的思想。本申请可以将空间自归一化操作认为是一个非线性操作F，在得到空间自归一化结果后再与输入F和激活操作之前的的做跳接操作。
更进一步的，本申请还可以采用多任务生成器，在生成器的第一层和最后一层结构为多任务编解码模块，将单风格画像生成定义为主任务；将对输入人脸语义标签的重构定义为辅任务；在实验中本申请发现，模型对辅任务学习的同时其共享部分的特征对主任务画像生成有一定帮助，生成画像的质量有了较为明显的提升。
在结构设计上，两个任务具有相似的编解码层结构。在网络的第2层到第n-1层，两个任务共享生成器的这些层结构与参数，使生成器可以学到更为泛化的特征表示。两个任务的编码器使用一层4×4的卷积层作为各任务的编码结构，后在通道维度拼接，融合经过编码后的图像特征和语义结构特征。解码器部分，各任务解码器将前层解码器特征与对应各任务第一层编码器特征在通道维度进行拼接。对于生成画像任务，其解码器结构与Pix2Pix最后层结构相同。对于重构面部语义标签任务，将最后层激活函数修改为Softmax使模型输出预测在每个像素在各类别上的概率分布。对重构语义标签的任务，本申请采用重构的目的是通过该过程，提供生成器关于生成画像与真实目标间面部语义结构的误差，通过梯度回传给生成器辅助画像生成。
在本申请的另外一种实施方式中，如图3所示，本申请还提供一种肖像画生成的装置。其中，包括获取模块201，确定模块202，生成模块203，消除模块204，其中，
获取模块201，被配置为获取待处理图像，所述待处理图像中包含人脸图像；
确定模块202，被配置为确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；
生成模块203，被配置为通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；
消除模块204，被配置为利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。
本申请中，可以获取待处理图像，确定待处理图像中的脸部区域，并对脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除面部几何图像中的变形程度，得到目标肖像图像。通过应用本申请的技术方案，可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数，新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像，利用放宽的像素级重构损失，以消除输入图像和相应目标图像之间的变形，形成一种鲁棒的人物艺术肖像画生成方法。
在本申请的另外一种实施方式中，搭建模块201，还包括：
搭建模块201，被配置为检测所述脸部区域图像，获取所述脸部区域图像中包含的眼部关键点区域；
搭建模块201，被配置为将所述眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到所述人脸对齐处理后的初始肖像图。
在本申请的另外一种实施方式中，搭建模块201，还包括：
搭建模块201，被配置为通过图像深度模型检测所述初始肖像图，得到到人脸解析图像,并对所述人脸解析图像进行图像预处理。
在本申请的另外一种实施方式中，搭建模块201，还包括：
搭建模块201，被配置为获取所述几何损失函数，所述损几何失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数；
搭建模块201，被配置为通过所述几何损失函数，得到所述初始肖像图像中的面部几何图像。
在本申请的另外一种实施方式中，搭建模块201，还包括：利用下述公式实现所述空间自适应归一化：
其中，设fi为第i层解码器的的特征张量，Hi，Wi，Ci分别表示fi的长、宽、通道数。k(n -i)表示编码器(n-i)层的特征张量，和/>位置(n,c,h,w)上代表生成器标准化模块后以及在进入标准化模块之前通过生成器激活层后的特征张量。
在本申请的另外一种实施方式中，搭建模块201，还包括：
搭建模块201，被配置为利用残差技术，获取多任务生成器，所述多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；
搭建模块201，被配置为利用所述多任务生成器，得到所述生成画像与待处理图像之间的面部语义结构的误差；
搭建模块201，被配置为将所述面部语义结构的误差通过梯度发送给所述生成器。
在本申请的另外一种实施方式中，搭建模块201，还包括：
搭建模块201，被配置为基于所述所述面部语义结构的误差，消除所述面部几何图像中的变形程度，得到所述目标肖像图像。
图4是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述肖像画生成的方法，该方法包括：获取待处理图像，所述待处理图像中包含人脸图像；确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述肖像画生成的方法，该方法包括：获取待处理图像，所述待处理图像中包含人脸图像；确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图4为计算机设备30的示例图。本领域技术人员可以理解，示意图4仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (8)
1.一种肖像画生成的方法，其特征在于，包括：
获取待处理图像，所述待处理图像中包含人脸图像；
确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；
通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；
利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像；
其中，利用下述公式实现所述空间自适应归一化：
其中，和/>是空间自归一化层所学习的变量，/>和/>是在通道维度上的平均值和方差，设fi为第i层解码器的特征张量，h、w、c分别表示fi的长、宽、通道数，和/>位置(n,c,h,w)上代表生成器标准化模块后以及在进入标准化模块之前通过生成器激活层后的特征张量；
其中，所述几何损失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数，所述松弛型L1范式损失函数用于反映图像的语义标签相似度；
其中，所述松弛型L1范式损失函数表示为：
其中，x为原始的待处理图像，y为目标肖像图像，为面部几何图像，☉表示像素级的乘积运算,t为一个超参，γ为相似度计算函数,将从x与y得到的语义分割矩阵的相似度转化为原始L1范式损失的权重；使用余弦相似度度量作为函数，其定义为：
其中，mx,i,j∈R1×1×c表示为x的语义分割矩阵在(i,j)位置上的向量，my,i,j∈R1×1×c表示为y的语义分割矩阵在(i,j)位置上的向量。
2.如权利要求1所述的方法，其特征在于，所述对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像，包括：
检测所述脸部区域图像，获取所述脸部区域图像中包含的眼部关键点区域；
将所述眼部关键点区域中的左右眼中心位置坐标进行仿射变换操作，得到所述人脸对齐处理后的初始肖像图。
3.如权利要求2所述的方法，其特征在于，所述得到所述人脸对齐处理后的初始肖像图之后，还包括：
通过图像深度模型检测所述初始肖像图，得到到人脸解析图像,并对所述人脸解析图像进行图像预处理。
4.如权利要求1所述的方法，其特征在于，所述得到所述初始肖像图像中的面部几何图像之后，包括：
利用残差技术，获取多任务生成器，所述多任务生成器用于将单风格画像生成定义为主任务，将对输入人脸语义标签的重构定义为辅任务；
利用所述多任务生成器，得到生成画像与待处理图像之间的面部语义结构的误差；
将所述面部语义结构的误差通过梯度发送给所述生成器。
5.如权利要求4所述的方法，其特征在于，所述将所述面部语义结构的误差通过梯度发送给所述生成器之后，包括：
基于所述面部语义结构的误差，消除所述面部几何图像中的变形程度，得到所述目标肖像图像。
6.一种肖像画生成的装置，其特征在于，包括：
获取模块，被配置为获取待处理图像，所述待处理图像中包含人脸图像；
确定模块，被配置为确定所述待处理图像中的脸部区域，并对所述脸部区域图像进行人脸对齐处理，得到初始肖像图像；
生成模块，被配置为通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数，得到所述初始肖像图像中的面部几何图像；
消除模块，被配置为利用放宽的像素级重建损失，消除所述面部几何图像中的变形程度，得到目标肖像图像；
其中，利用下述公式实现所述空间自适应归一化：
其中，和/>是空间自归一化层所学习的变量，/>和/>是在通道维度上的平均值和方差，设fi为第i层解码器的特征张量，h、w、c分别表示fi的长、宽、通道数，和/>位置(n,c,h,w)上代表生成器标准化模块后以及在进入标准化模块之前通过生成器激活层后的特征张量；
其中，所述几何损失函数中包括松弛型L1范式损失函数、梯度正则化损失函数以及身份损失函数，所述松弛型L1范式损失函数用于反映图像的语义标签相似度；
其中，所述松弛型L1范式损失函数表示为：
其中，x为原始的待处理图像，y为目标肖像图像，为面部几何图像，☉表示像素级的乘积运算,t为一个超参，γ为相似度计算函数,将从x与y得到的语义分割矩阵的相似度转化为原始L1范式损失的权重；使用余弦相似度度量作为函数，其定义为：
其中，mx,i,j∈R1×1×c表示为x的语义分割矩阵在(i,j)位置上的向量，my,i,j∈R1×1×c表示为y的语义分割矩阵在(i,j)位置上的向量。
7.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-5中任一所述肖像画生成的方法的操作。
8.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-5中任一所述肖像画生成的方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431526.7A CN112712460B (zh) | 2020-12-09 | 2020-12-09 | 肖像画生成的方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431526.7A CN112712460B (zh) | 2020-12-09 | 2020-12-09 | 肖像画生成的方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112712460A CN112712460A (zh) | 2021-04-27 |
| CN112712460B true CN112712460B (zh) | 2024-05-24 |
Family
ID=75542786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011431526.7A Active CN112712460B (zh) | 2020-12-09 | 2020-12-09 | 肖像画生成的方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712460B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763498B (zh) * | 2021-08-11 | 2024-04-26 | 杭州妙绘科技有限公司 | 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507126A (zh) * | 2017-07-27 | 2017-12-22 | 大连和创懒人科技有限公司 | 一种利用rgb图像还原3d场景的方法 |
| CN110675311A (zh) * | 2019-09-12 | 2020-01-10 | 厦门理工学院 | 一种素描序约束下的素描生成的方法、装置及存储介质 |
| CN110807291A (zh) * | 2019-10-10 | 2020-02-18 | 南京摄星智能科技有限公司 | 一种基于拟态对抗学习机制的现场态势未来引导技术 |
| CN111243066A (zh) * | 2020-01-09 | 2020-06-05 | 浙江大学 | 一种基于自监督学习与生成对抗机制的人脸表情迁移方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10115032B2 (en) * | 2015-11-04 | 2018-10-30 | Nec Corporation | Universal correspondence network |
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| CN110889325B (zh) * | 2019-10-12 | 2023-05-23 | 平安科技（深圳）有限公司 | 多任务面部动作识别模型训练和多任务面部动作识别方法 |
-
2020
- 2020-12-09 CN CN202011431526.7A patent/CN112712460B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507126A (zh) * | 2017-07-27 | 2017-12-22 | 大连和创懒人科技有限公司 | 一种利用rgb图像还原3d场景的方法 |
| CN110675311A (zh) * | 2019-09-12 | 2020-01-10 | 厦门理工学院 | 一种素描序约束下的素描生成的方法、装置及存储介质 |
| CN110807291A (zh) * | 2019-10-10 | 2020-02-18 | 南京摄星智能科技有限公司 | 一种基于拟态对抗学习机制的现场态势未来引导技术 |
| CN111243066A (zh) * | 2020-01-09 | 2020-06-05 | 浙江大学 | 一种基于自监督学习与生成对抗机制的人脸表情迁移方法 |
Non-Patent Citations (2)
| Title |
|---|
| High-Quality Face Sketch Synthesis via Geometric Normalization and Regularization;X. Li等;《2021 IEEE International Conference on Multimedia and Expo (ICME)》;全文 * |
| 基于多先验约束的盲图像复原方法研究;许煜;《中国知网硕士电子期刊》(第4期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112712460A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949649B2 (en) | Real-time tracking of facial features in unconstrained video | |
| US20230237841A1 (en) | Occlusion Detection | |
| US11132800B2 (en) | Real time perspective correction on faces | |
| KR20200118076A (ko) | 생체 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| CN105719248A (zh) | 一种实时的人脸变形方法及其系统 | |
| CN111985458A (zh) | 一种检测多目标的方法、电子设备及存储介质 | |
| CN112001285B (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
| CN112712460B (zh) | 肖像画生成的方法、装置、电子设备及介质 | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN116363363A (zh) | 无监督域适应语义分割方法、装置、设备及可读存储介质 | |
| Fan et al. | Facial image super-resolution guided by adaptive geometric features | |
| KR20230167086A (ko) | 공간과 시간에 따른 어텐션을 이용한 비디오 시퀀스에서 객체 표현에 대한 비지도 학습 | |
| Uchigasaki et al. | Deep image compression using scene text quality assessment | |
| CN114782592A (zh) | 基于图像的卡通动画生成方法、装置、设备及存储介质 | |
| CN114694209A (zh) | 视频处理方法、装置、电子设备及计算机存储介质 | |
| CN115760888A (zh) | 图像处理方法、装置、计算机及可读存储介质 | |
| CN113223103A (zh) | 素描画生成的方法、装置、电子设备及介质 | |
| Viriyavisuthisakul et al. | Parametric loss-based super-resolution for scene text recognition | |
| CN112837318A (zh) | 超声图像生成模型的生成方法、合成方法、介质及终端 | |
| KR102584484B1 (ko) | 발화 합성 영상 생성 장치 및 방법 | |
| US20230099906A1 (en) | Image registration method, computer device, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |