CN115457160A - 一种深度信息引导的多风格人脸素描生成方法 - Google Patents

一种深度信息引导的多风格人脸素描生成方法 Download PDF

Info

Publication number
CN115457160A
CN115457160A CN202211250842.3A CN202211250842A CN115457160A CN 115457160 A CN115457160 A CN 115457160A CN 202211250842 A CN202211250842 A CN 202211250842A CN 115457160 A CN115457160 A CN 115457160A
Authority
CN
China
Prior art keywords
face
sketch
style
depth
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211250842.3A
Other languages
English (en)
Inventor
祝一帆
高飞
徐岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202211250842.3A priority Critical patent/CN115457160A/zh
Publication of CN115457160A publication Critical patent/CN115457160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深度信息引导的多风格人脸素描生成方法，步骤如下：步骤(1)数据预处理，将人脸照片、人脸素描进行人脸对齐、缩放和裁剪等处理，再将数据集的人脸照片根据3DDFA方法生成对应的深度图像，最终得到一一对应的人脸照片‑人脸素描‑人脸深度图三元组；步骤(2)生成对抗网络模型的构建，分别构建生成器和判别器两个网络模型；步骤(3)生成对抗网络模型的训练，定义损失函数，训练生成对抗网络模型；步骤(4)人脸素描的生成及质量评价。本发明提出了利用人脸深度信息和风格特征控制人脸素描画像生成的方法，完成了人脸素描的高质量、多风格的生成，并能成功应用在自然图像等非人脸素描的生成任务上。

Description

一种深度信息引导的多风格人脸素描生成方法
技术领域
本发明涉及图像处理，具体提到了一种深度信息引导的多风格人脸素描生成方法(Face2 Sketch Generation Guided by Facial Depth Map)的新方法，主要涉及一种利用人脸深度信息和风格特征，以构建一个与真实绘画效果更加一致的多风格人脸素描生成模型。
背景技术
图像生成的很多问题都是将一张输入的图片转变为一张对应的输出图片，比如灰度图、梯度图、彩色图之间的转换等。特别地，在人脸图像生成领域，有人脸铅笔画、钢笔画的生成等应用。人脸素描生成的本质也是图像生成问题，最终目标是完成一张人脸照片到对应的素描图像的高质量转换。
目前比较流行的人脸图像生成算法如pix2pix、Genre、cycleGan等，他们能够较好地实现人脸素描的生成，但是其生成的素描图像质量不高，在人脸局部细节的生成效果依然有很大的提升空间。比如，这些方法可能无法处理一些特殊的外观变化，如姿势、灯光、表情和皮肤颜色等。此外，这些方法只适用于单风格素描图像的生成问题，无法解决不同风格素描的生成问题。
发明内容
本发明的目的是针对人脸素描生成质量的问题，深度信息引导的多风格人脸素描生成方法。
本发明解决其技术问题提供一种深度信息引导的多风格人脸素描生成方法,包括如下步骤：
步骤(1)构建数据集并对数据集中的图像数据进行预处理
步骤(2)构建生成对抗网络模型并生成人脸素描
2-1生成器构建并生成特征向量
生成器G的结构遵循了经典的U-Net结构，将第i个编码层的输出和对应的第i个解码层的输出连接起来，每个编码层包括卷积层、动态激活层、实例规范化层；每个解码层包括上采样卷积、动态自适应激活层、动态自适应调制层；
2-2通过深度和风格自适应归一化处理；
2-3自适应动态激活
2-4可变形轮廓生成
2-5判别器构建并输出
判别器内部由6个层级组成，分别由卷积层、实例规范化层、激活层，判别器的输入是一个由人脸深度图和人脸素描按通道连接后的向量，对于人脸深度图和真实的人脸素描，判别器输出为True；对于人脸深度图和生成的人脸素描，判别器输出为False；
步骤(3)生成对抗网络模型的训练
定义损失函数，训练生成对抗网络模型；
步骤(4)人脸素描的生成及质量评价
将待生成素描的人脸照片输入到训练后的生成对抗网络模型中，得到对应的人脸素描图像，并根据指标完成质量评价。
作为优选，所述预处理的方法为：将数据集中人脸照片、人脸素描进行人脸对齐、缩放和裁剪处理，再将数据集的人脸照片根据3DDFA方法生成对应的深度图像，最终得到一一对应的人脸照片-人脸素描-人脸深度图三元组。
作为优选，预处理后所述人脸照片的大小为250*250，通道数为3；人脸素描的大小为250*250通道数为1；人脸深度图的大小为250*250通道数为1。
作为优选，所述生成器中，其中前两层解码层，使用的是可变形卷积。
作为优选，所述生成器生成的特征向量包括人脸的深度信息D、人脸风格信息S和人脸外表特征A。
作为优选，所述深度和风格自适应归一化处理方法如下：
通过缩放和偏置来调制特征，使用了人脸的深度信息D、人脸风格信息S和经过编码器提取的人脸外表特征A，假设F∈RC×H×W表示当前IDN模块的输入特征，其中H,W,C分别表示特征的高度、宽度和通道数，那么在c,h,w位置调制后的特征值为：
Figure BDA0003887797580000031
其中，fc,h,w和
Figure BDA0003887797580000032
分别是IDN模块输入前后的特征值，μc和σc分别为第c个通道中fc,h,w的平均值和标准差：
Figure BDA0003887797580000033
Figure BDA0003887797580000034
其中，γc,h,w(D,S,A)和βc,h,w(D,S,A)分别是通过浅层神经网络学习得到的缩放和偏置的参数，具体的计算过程如下：
γ＝Conv(metaACON(Conv(Cat(D,S,A)))),
β＝Conv(metaACON(Conv(Cat(D,S,A))))。
作为优选，所述自适应动态激活方法如下：
根据3D几何图形、2D外观和样式类型来决定是否绘制一个笔画得到启发，改进了现有的metaACON动态激活函数，使得参数θ根据人脸的深度信息D、人脸风格信息S和经过编码器提取的人脸外表特征A进行动态学习，原始的动态激活函数metaACON如下：
y＝(p1-p2)·σ(θ(p1-p2)x)+p2x
其中，y代表激活后的输出，θ＝σ(x)，σ是一个Sigmoid函数，p1和p2是可学习的参数；而自适应动态激活函数IDA如下：
θ＝σ(θ(Cat(D,S,A)))，
y＝(p1-p2)·σ(θ(p1-p2)x)+p2x
其中，σ代表一个浅层的神经网络。
作为优选，所述可变形轮廓生成方法如下：
完成的人脸素描画像与真实照片间存在几何变形，在粗尺度上进行特征对齐，在解码层的前两层使用可变形卷积代替标准的转置卷积，首先通过双线性差值将输入的特征放大两倍，然后将其输入到一个可变形卷积层，这个模块显著提高了生成轮廓的清晰度。
作为优选，所述步骤(3)中定义的损失函数如下：
Figure BDA0003887797580000041
Figure BDA0003887797580000042
Figure BDA0003887797580000043
Figure BDA0003887797580000044
Figure BDA0003887797580000045
Figure BDA0003887797580000046
Figure BDA0003887797580000047
Lall＝Ladv+λ1×Lpix+λ2×Lgeo+λ3×Ltex
其中，Ys表示真实的人脸素描画图像，
Figure BDA0003887797580000051
表示模型生成的人脸素描画图像，D表示真实的人脸深度图像，
Figure BDA0003887797580000052
表示模型重构出来的人脸深度图像，gi,j代表了Ys在坐标(i,j)位置x方向和y方向的梯度，gi,j代表了
Figure BDA0003887797580000053
在坐标(i,j)位置x方向和y方向的梯度，D(D,Ys)表示输入为D和Ys时判别器的输出结果，
Figure BDA0003887797580000054
表示输入为
Figure BDA0003887797580000055
和
Figure BDA0003887797580000056
时判别器的输出结果；M和N代表素描的宽度和高度；
Ladv表示生成对抗损失函数，Lpix表示生成的素描和真实素描之间的像素级差距，由
Figure BDA0003887797580000057
和Ys之间的L1距离得到；Lgeo表示重构的深度图和真实的深度图之间的像素级差距，由
Figure BDA0003887797580000058
和D之间的L1距离得到；Ltex表示纹理损失，要求生成的素描具有与真实素描相似的纹理；Lall表示总的损失函数，它由Ladv和Lpix、Lgeo、Ltex三个损失函数分别乘权重λ1、λ2、λ3求和得到。
作为优选，所述步骤(4)中生成及质量评价方法：
依次将数据集中的人脸照片输入到训练后的对抗生成网络模型中，得到生成的人脸素描画图像，并将生成的图像与真实的素描做FID指标的计算，完成生成素描的质量评价。
本发明有益效果如下：
与现有的人脸素描生成方法相比，使用本发明所述的的一种深度信息引导的多风格人脸素描生成方法，在人脸素描生成的质量上有了很大程度的提高，特别是在一些局部的笔触细节上能够生成更真实的效果，此外本方法可以生成不同风格的人脸素描。下表是本方法和图像生成领域的一些现有方法在生成人脸素描画生成结果上计算的各项指标对比情况，其中，FID、LPIPS指标数值越低代表生成质量越高，SCOOT、FSIM指标数值越高代表生成质量越高。
附图说明
图1是人脸素描生成对抗网络模型的体系结构图。
图2是人脸素描生成器编码器层的体系结构图。
具体实施细节
下面结合附图对本发明做进一步说明。
如图1、图2所示，一种深度信息引导的多风格人脸素描生成方法，具体包括如下步骤：
步骤(1)数据预处理
将人脸照片、人脸素描进行人脸对齐、缩放和裁剪等处理，再将数据集的人脸照片根据3DDFA方法生成对应的深度图像，最终得到一一对应的人脸照片-人脸素描-人脸深度图三元组；
具体的，1-1选择FS2K数据集，按照官方数据集划分方法，选取1058张人脸照片和对应的素描画图像作为训练集，其余1046张的人脸图像和对应的素描画图像作为测试集。其中风格1具有357张人脸图像和对应的素描画图像作为训练集和619张人脸图像和对应的素描画图像作为测试集；风格2具有351张人脸图像和对应的素描画图像作为训练集和381张人脸图像和对应的素描画图像作为测试集；风格3具有350张人脸图像和对应的素描画图像作为训练集和46张人脸图像和对应的素描画图像作为测试集；
1-2对数据集中的图像(包括人脸照片和素描画图像)进行预处理，先将图像进行关键点对齐，再插值缩放到250*250大小，其中人脸照片的通道数为3，素描画图像的通道数为1；
1-3将1-2预处理后数据集中的人脸照片根据3DDFA深度生成方法，生成对应的人脸深度图像；该图像具有与人脸照片相同的大小250*250，通道数为1，图像中像素值的大小代表了该位置的深度信息。
步骤(2)生成对抗网络模型的构建
具体的，生成对抗网络模型包括生成器和判别器，生成器采用编码器-解码器结构,判别器为卷积神经网络；
2-1生成器构建
生成器G的结构遵循了经典的U-Net结构。我们将第i个编码层的输出和对应的第i个解码层的输出连接起来。每个编码器层由卷积层(Conv)、动态激活层(metaACON)、实例规范化层(IN)，即(Conv-metaACON-IN)组成。每个解码器层由上采样卷积(TrConv/DOG)、动态自适应激活层(IDA)、动态自适应调制层(IDN)、模块，即(TrConv/DOG-IDA-IDN)组成。其中前两层解码层，使用的是可变形卷积(DOG)，其余层使用的是普通卷积(TrConv)。
2-2深度和风格自适应归一化模块
第一，为了更好地调制神经元，我们实现了一种深度和风格自适应归一化的调制模块(Depth and Style Adaptive Normalization,IDN)。我们通过缩放和偏置来调制特征，与现有的SPADE自适应归一化调制不同的是，我们使用了人脸的深度信息D、人脸风格信息S和经过编码器提取的人脸外表特征A。假设F∈RC×H×W表示当前IDN模块的输入特征，其中H,W,C分别表示特征的高度、宽度和通道数，那么在(c,h,w)位置调制后的特征值为：
Figure BDA0003887797580000081
其中，fc,h,w和
Figure BDA0003887797580000082
分别是IDN模块输入前后的特征值，μc和σc分别为第c个通道中fc,h,w的平均值和标准差：
Figure BDA0003887797580000083
Figure BDA0003887797580000084
特别得，这里的γc,h,w(D,S,A)和βc,h,w(D,S,A)分别是通过浅层神经网络学习得到的缩放和偏置的参数，具体的计算过程如下：
γ＝Conv(metaACON(Conv(Cat(D,S,A)))),
β＝Conv(metaACON(Conv(Cat(D,S,A))))
2-3自适应动态激活模块
我们从艺术画家根据3D几何图形、2D外观和样式类型来决定是否绘制一个笔画得到启发，改进了现有的metaACON动态激活函数，实现了一个自适应动态激活模块(Informative and Dynamic Activation,IDA)使得参数θ根据人脸的深度信息D、人脸风格信息S和经过编码器提取的人脸外表特征A进行动态学习。原始的动态激活函数metaACON如下：
y＝(p1-p2)·σ(θ(p1-p2)x)+p2x
其中，y代表激活后的输出，θ＝σ(x)，σ是一个Sigmoid函数，p1和p2是可学习的参数；而自适应动态激活函数IDA如下：
θ＝σ(θ(Cat(D,S,A)))，
y＝(p1-p2)·σ(θ(p1-p2)x)+p2x
其中，σ代表一个浅层的神经网络(Conv-metaACON-Conv)。
2-4可变形轮廓生成模块
我们观察到艺术家完成的人脸素描画像与真实照片间存在几何变形，为了模拟艺术家抽象的绘图方式，我们设计了可变形轮廓生成模块(Deformable OutlineGeneration,DOG)，在粗尺度上进行特征对齐。我们在解码层的前两层使用可变形卷积(DCN)代替标准的转置卷积。具体地，我们首先通过双线性差值将输入的特征放大两倍，然后将其输入到一个可变形卷积层，这个模块显著提高了生成轮廓的清晰度。
2-5判别器构建
判别器的输入是一个由人脸深度图和人脸素描(真实素描Ys/生成素描
Figure BDA0003887797580000091
)按通道连接后的向量。判别器内部由6个层级组成，分别由卷积层(Conv)、实例规范化层(IN)、激活层(LeakyReLU)，即(Conv-IN-LeakyReLU)组成。这里要求判别器，对于人脸深度图和真实的人脸素描，判别器输出为True；对于人脸深度图和生成的人脸素描，判别器输出为False。
步骤(3)生成对抗网络模型的训练
定义损失函数，训练生成对抗网络模型；
3-1对生成对抗网络进行训练时，当损失函数达到最小时，生成对抗网络训练完成；所述损失函数如下：
Figure BDA0003887797580000101
Figure BDA0003887797580000102
Figure BDA0003887797580000103
Figure BDA0003887797580000104
Figure BDA0003887797580000105
Figure BDA0003887797580000106
Figure BDA0003887797580000107
Lall＝Ladv+λ1×Lpix+λ2×Lgeo+λ3×Ltex
其中，Ys表示真实的人脸素描画图像，
Figure BDA0003887797580000108
表示模型生成的人脸素描画图像，D表示真实的人脸深度图像，
Figure BDA0003887797580000109
表示模型重构出来的人脸深度图像，gi,j代表了Ys在坐标(i,j)位置x方向和y方向的梯度，gi,j代表了
Figure BDA00038877975800001010
在坐标(i,j)位置x方向和y方向的梯度，D(D,Ys)表示输入为D和Ys时判别器的输出结果，
Figure BDA00038877975800001011
表示输入为
Figure BDA00038877975800001012
和
Figure BDA00038877975800001013
时判别器的输出结果；M和N代表素描的宽度和高度。
Ladv表示生成对抗损失函数，这里使用的是Cross Entropy loss；Lpix表示生成的素描和真实素描之间的像素级差距，由
Figure BDA00038877975800001014
和Ys之间的L1距离得到；Lgeo表示重构的深度图和真实的深度图之间的像素级差距，由
Figure BDA00038877975800001015
和D之间的L1距离得到；Ltex表示纹理损失，要求生成的素描具有与真实素描相似的纹理；Lall表示总的损失函数，它由Ladv和Lpix、Lgeo、Ltex三个损失函数分别乘权重λ1、λ2、λ3求和得到。在训练过程中，我们训练生成器G和鉴别器D，Lall以使最小化。
FID LPIPS SCOOT FSIM
Pix2Pix 18.34 0.304 0.493 0.541
Pix2PixHD 32.03 0.468 0.374 0.531
CycleGAN 26.49 0.505 0.348 0.501
MDAL 50.18 0.492 0.355 0.530
SCA-GAN 39.63 0.305 0.600 0.782
FSGAN 34.88 0.483 0.405 0.610
GENRE 20.67 0.302 0.483 0.534
Ours 15.06 0.263 0.575 0.551
步骤(4)人脸素描的生成及质量评价
将待生成素描的人脸照片输入到训练后的生成对抗网络模型中，得到对应的人脸素描图像，并根据指标完成质量评价；
具体的，依次将测试集中的人脸照片输入到训练后的对抗生成网络中，得到生成的人脸素描画图像，并将生成的图像与真实的素描做FID、LPIPS、SCOOT、FSIM等指标的计算，完成生成素描的质量评价。

Claims (10)

1.一种深度信息引导的多风格人脸素描生成方法,其特征在于，包括如下步骤：
步骤(1)构建数据集并对数据集中的图像数据进行预处理
步骤(2)构建生成对抗网络模型并生成人脸素描
2-1生成器构建并生成特征向量
生成器G的结构遵循了经典的U-Net结构，将第i个编码层的输出和对应的第i个解码层的输出连接起来，每个编码层包括卷积层、动态激活层、实例规范化层；每个解码层包括上采样卷积、动态自适应激活层、动态自适应调制层；
2-2通过深度和风格自适应归一化处理；
2-3自适应动态激活
2-4可变形轮廓生成
2-5判别器构建并输出
判别器内部由6个层级组成，分别由卷积层、实例规范化层、激活层，判别器的输入是一个由人脸深度图和人脸素描按通道连接后的向量，对于人脸深度图和真实的人脸素描，判别器输出为True；对于人脸深度图和生成的人脸素描，判别器输出为False；
步骤(3)生成对抗网络模型的训练
定义损失函数，训练生成对抗网络模型；
步骤(4)人脸素描的生成及质量评价
将待生成素描的人脸照片输入到训练后的生成对抗网络模型中，得到对应的人脸素描图像，并根据指标完成质量评价。
2.根据权利要求1所述的一种深度信息引导的多风格人脸素描生成方法,其特征在于，所述预处理的方法为：将数据集中人脸照片、人脸素描进行人脸对齐、缩放和裁剪处理，再将数据集的人脸照片根据3DDFA方法生成对应的深度图像，最终得到一一对应的人脸照片-人脸素描-人脸深度图三元组。
3.根据权利要求2所述的一种深度信息引导的多风格人脸素描生成方法,其特征在于，预处理后所述人脸照片的大小为250*250，通道数为3；人脸素描的大小为250*250通道数为1；人脸深度图的大小为250*250通道数为1。
4.根据权利要求1所述的一种深度信息引导的多风格人脸素描生成方法,其特征在于，所述生成器中，其中前两层解码层，使用的是可变形卷积。
5.根据权利要求1所述的一种深度信息引导的多风格人脸素描生成方法,其特征在于，所述生成器生成的特征向量包括人脸的深度信息D、人脸风格信息S和人脸外表特征A。
6.根据权利要求5所述的一种深度信息引导的多风格人脸素描生成方法,其特征在于，所述深度和风格自适应归一化处理方法如下：
通过缩放和偏置来调制特征，使用了人脸的深度信息D、人脸风格信息S和经过编码器提取的人脸外表特征A，假设F∈RC×H×W表示当前IDN模块的输入特征，其中H,W,C分别表示特征的高度、宽度和通道数，那么在c,h,w位置调制后的特征值为：
Figure FDA0003887797570000021
其中，fc,h,w和
Figure FDA0003887797570000022
分别是IDN模块输入前后的特征值，μc和σc分别为第c个通道中fc,h,w的平均值和标准差：
Figure FDA0003887797570000023
Figure FDA0003887797570000024
其中，γc，h，w(D，S，A)和βc，h，w(D，S，A)分别是通过浅层神经网络学习得到的缩放和偏置的参数，具体的计算过程如下：
γ＝Conv(metaACON(Conv(Cat(D，S，A))))，
β＝Conv(metaACON(Conv(Cat(D，S，A))))。
7.根据权利要求6所述的一种深度信息引导的多风格人脸素描生成方法，其特征在于，所述自适应动态激活方法如下：
根据3D几何图形、2D外观和样式类型来决定是否绘制一个笔画得到启发，改进了现有的metaACON动态激活函数，使得参数θ根据人脸的深度信息D、人脸风格信息S和经过编码器提取的人脸外表特征A进行动态学习，原始的动态激活函数metaACON如下：
y＝(p1-p2)·σ(θ(p1-p2)x)+p2X
其中，y代表激活后的输出，θ＝σ(x)，σ是一个Sigmoid函数，p1和p2是可学习的参数；而自适应动态激活函数IDA如下：
θ＝σ(θ(Cat(D，S，A)))，
y＝(p1-p2)·σ(θ(p1-p2)x)+p2x
其中，σ代表一个浅层的神经网络。
8.根据权利要求7所述的一种深度信息引导的多风格人脸素描生成方法，其特征在于，所述可变形轮廓生成方法如下：
完成的人脸素描画像与真实照片间存在几何变形，在粗尺度上进行特征对齐，在解码层的前两层使用可变形卷积代替标准的转置卷积，首先通过双线性差值将输入的特征放大两倍，然后将其输入到一个可变形卷积层，这个模块显著提高了生成轮廓的清晰度。
9.根据权利要求8所述的一种深度信息引导的多风格人脸素描生成方法，其特征在于，所述步骤(3)中定义的损失函数如下：
Figure FDA0003887797570000041
Figure FDA0003887797570000042
Figure FDA0003887797570000043
Figure FDA0003887797570000044
Figure FDA0003887797570000045
Figure FDA0003887797570000046
Figure FDA0003887797570000047
Lall＝Ladv+λ1×Lpix+λ2×Lgeo+λ3×Ltex
其中，Ys表示真实的人脸素描画图像，
Figure FDA0003887797570000048
表示模型生成的人脸素描画图像，D表示真实的人脸深度图像，
Figure FDA0003887797570000049
表示模型重构出来的人脸深度图像，gi,j代表了Ys在坐标(i,j)位置x方向和y方向的梯度，gi,j代表了
Figure FDA00038877975700000410
在坐标(i,j)位置x方向和y方向的梯度，D(D,Ys)表示输入为D和Ys时判别器的输出结果，
Figure FDA00038877975700000411
表示输入为
Figure FDA00038877975700000412
和
Figure FDA00038877975700000413
时判别器的输出结果；M和N代表素描的宽度和高度；
Ladv表示生成对抗损失函数，Lpix表示生成的素描和真实素描之间的像素级差距，由
Figure FDA00038877975700000414
和Ys之间的L1距离得到；Lgeo表示重构的深度图和真实的深度图之间的像素级差距，由
Figure FDA00038877975700000415
和D之间的L1距离得到；Ltex表示纹理损失，要求生成的素描具有与真实素描相似的纹理；Lall表示总的损失函数，它由Ladv和Lpix、Lgeo、Ltex三个损失函数分别乘权重λ1、λ2、λ3求和得到。
10.根据权利要求9所述的一种深度信息引导的多风格人脸素描生成方法,其特征在于，所述步骤(4)中生成及质量评价方法：
依次将数据集中的人脸照片输入到训练后的对抗生成网络模型中，得到生成的人脸素描画图像，并将生成的图像与真实的素描做FID指标的计算，完成生成素描的质量评价。
CN202211250842.3A 2022-10-13 2022-10-13 一种深度信息引导的多风格人脸素描生成方法 Pending CN115457160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211250842.3A CN115457160A (zh) 2022-10-13 2022-10-13 一种深度信息引导的多风格人脸素描生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211250842.3A CN115457160A (zh) 2022-10-13 2022-10-13 一种深度信息引导的多风格人脸素描生成方法

Publications (1)

Publication Number Publication Date
CN115457160A true CN115457160A (zh) 2022-12-09

Family

ID=84309607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211250842.3A Pending CN115457160A (zh) 2022-10-13 2022-10-13 一种深度信息引导的多风格人脸素描生成方法

Country Status (1)

Country Link
CN (1) CN115457160A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862759A (zh) * 2023-06-19 2023-10-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于生成对抗网络的个性化肖像生成系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862759A (zh) * 2023-06-19 2023-10-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于生成对抗网络的个性化肖像生成系统及方法

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN110458750B (zh) 一种基于对偶学习的无监督图像风格迁移方法
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN110378985A (zh) 一种基于gan的动漫绘画辅助创作方法
US20230044644A1 (en) Large-scale generation of photorealistic 3d models
CN109903236A (zh) 基于vae-gan与相似块搜索的人脸图像修复方法及装置
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN113393550B (zh) 一种姿态和纹理引导的时尚服装设计合成方法
CN111161405B (zh) 一种动物毛发三维重建方法
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN110288667B (zh) 一种基于结构引导的图像纹理迁移方法
CN112036137A (zh) 一种基于深度学习的多风格书法数字墨水仿真方法和系统
CN115457160A (zh) 一种深度信息引导的多风格人脸素描生成方法
CN112883826A (zh) 一种基于学习几何和纹理风格迁移的人脸漫画生成方法
Wu et al. Image style recognition and intelligent design of oiled paper bamboo umbrella based on deep learning
CN102013020B (zh) 用于合成人脸图像的方法和系统
CN115034959A (zh) 一种基于跨通道融合空间注意力机制的高清图像翻译方法
Huang et al. A fully-automatic image colorization scheme using improved CycleGAN with skip connections
CN117635771A (zh) 一种基于半监督对比学习的场景文本编辑方法和装置
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN116863053A (zh) 一种基于知识蒸馏的点云渲染增强方法
CN113628101B (zh) 基于gan网络结构的三阶段瓷砖图像生成方法
CN113393377B (zh) 一种基于视频编码的单帧图像超分辨率方法
CN110689618A (zh) 基于多尺度变分图卷积的三维可变形物补全方法
Wang et al. From Objects to a Whole Painting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination