CN110517200B - 人脸草绘图的获取方法、装置、设备及存储介质 - Google Patents
人脸草绘图的获取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110517200B CN110517200B CN201910800854.0A CN201910800854A CN110517200B CN 110517200 B CN110517200 B CN 110517200B CN 201910800854 A CN201910800854 A CN 201910800854A CN 110517200 B CN110517200 B CN 110517200B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- edge
- sketch
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 244000025254 Cannabis sativa Species 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000011282 treatment Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 108700026244 Open Reading Frames Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种人脸草绘图的获取方法、装置、设备及存储介质，涉及图像处理技术领域。该人脸草绘图的获取方法包括：获取人脸图像。根据预设的人脸草绘图网络，对人脸图像进行处理，得到人脸草绘图，人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数。每个编码区块用于对输入的待编码图像进行两路下采样处理，根据两路下采样处理后的图像进行合并，得到编码区块的输出图像。由于在编码区块进行下采样时，使用了两路不同的下采样处理，能够分别提取人脸图像中的轮廓边缘信息和五官边缘信息，使得到的人脸草绘图中的脸部细节纹理减少，提高了人脸草绘图的质量，不需要二次处理即可使用。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种人脸草绘图的获取方法、装置、设备及存储介质。
背景技术
人脸草绘图在许多现实场景中有着重要的应用，例如，人脸草绘图在人脸图像恢复中可以作为强先验信息，指导网络生成边缘更准确的人脸图像；人脸识别中利用人脸草绘图可以快速勾勒出五官特征便于识别等。
现有技术中，通常根据生成对抗网络(Generative Adversarial Network，GAN)训练方法监督生成网络，训练基于卷积神经网络(Convolutional Neural Networks,CNN)的人脸草绘图模型，然后通过人脸草绘图模型获取人脸草绘图。
但是，由于GAN训练的训练速度慢，且通过训练生成的人脸草绘图模型获取的人脸草绘图中，还包括脸部细节纹理，人脸草绘图的效果较差，还需要进行二次处理，无法稳定获取高质量的人脸草绘图。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种人脸草绘图的获取方法、装置、设备及存储介质，以提高获取高质量人脸草绘图的稳定性。
为实现上述目的，本发明实施例根据的技术方案如下：
第一方面，本发明实施例提供了一种人脸草绘图的获取方法，包括：获取人脸图像。根据预设的人脸草绘图网络，对人脸图像进行处理，得到人脸草绘图，人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数。每个编码区块用于对输入的待编码图像进行两路下采样处理，根据两路下采样处理后的图像进行合并，得到编码区块的输出图像。每个解码区块用于对输入的待解码图像进行两路上采样处理，根据两路上采样处理后的图像进行合并，得到解码区块的输出图像。
可选地，每个编码区块用于对待编码图像进行最大池化下采样处理，得到人脸图像的面部边缘图像。对待编码图像依次进行多个下采样处理，得到人脸图像的五官边缘图像。对面部边缘图像和五官边缘图像进行合并，得到编码区块的输出图像。
可选地，每个解码区块用于对待解码图像进行上采样处理，得到面部边缘草绘图。对待解码图像依次进行多个上采样处理，得到五官边缘草绘图。对面部边缘草绘图和五官边缘草绘图进行合并，得到解码区块的输出图像。
可选地，编码区块的输出图像的尺度为待编码图像的尺度的二分之一。解码区块的输出图像的尺度为待解码图像的尺度的两倍。
可选地，人脸草绘图网络为根据下述方式进行训练得到：
依次根据N个编码区块和N个解码区块，对预设的人脸样本图像进行处理。根据各解码区块输出的解码后样本图像，确定各解码区块的边缘损失值。根据N个解码区块的边缘损失值，确定人脸草绘图网络的边缘损失值。根据人脸草绘图网络的边缘损失值，对各编码区块和各解码区块进行训练。
可选地，各解码区块的边缘损失值为根据下述方式得到：
根据预设的激活函数，确定解码后样本图像中各像素点为边缘像素点的概率值。根据解码后样本图像中各像素点的预设类标签，以及各像素点为边缘像素点的概率值，确定解码区块的边缘损失值，其中，预设类标签用于表示像素点是否被标注为边缘像素点。
可选地，人脸草绘图网络的边缘损失值为根据N个解码区块的边缘损失值，以及各解码区块对应的权重，确定人脸草绘图网络的边缘损失值。
第二方面，本发明实施例还提供了一种人脸草绘图的获取装置，包括：获取模块，用于获取人脸图像。处理模块，用于根据预设的人脸草绘图网络，对人脸图像进行处理，得到人脸草绘图，人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数。其中，每个编码区块用于对输入的待编码图像进行两路下采样处理，根据两路下采样处理后的图像进行合并，得到编码区块的输出图像；每个解码区块用于对输入的待解码图像进行两路上采样处理，根据两路上采样处理后的图像进行合并，得到解码区块的输出图像。
可选地，每个编码区块用于对待编码图像进行最大池化下采样，得到人脸图像的面部边缘图像。对待编码图像依次进行多个下采样处理处理，得到人脸图像的五官边缘图像。对面部边缘图像和五官边缘图像进行合并，得到编码区块的输出图像。
可选地，每个解码区块用于对待解码图像进行上采样处理，得到面部边缘草绘图。对待解码图像依次进行多个上采样处理，得到五官边缘草绘图。对面部边缘草绘图和五官边缘草绘图进行合并，得到解码区块的输出图像。
可选地，编码区块的输出图像的尺度为待编码图像的尺度的二分之一。解码区块的输出图像的尺度为待解码图像的尺度的两倍。
可选地，该装置还包括训练模块，用于根据下述方式进行训练得到人脸草绘图网络：
依次根据N个编码区块和N个解码区块，对预设的人脸样本图像进行处理。根据各解码区块输出的解码后样本图像，确定各解码区块的边缘损失值。根据N个解码区块的边缘损失值，确定人脸草绘图网络的边缘损失值。根据人脸草绘图网络的边缘损失值，对各编码区块和各解码区块进行训练。
可选地，训练模块还用于根据下述方式得到解码区块的边缘损失值：
根据预设的激活函数，确定解码后样本图像中各像素点为边缘像素点的概率值。根据解码后样本图像中各像素点的预设类标签，以及各像素点为边缘像素点的概率值，确定解码区块的边缘损失值，其中，预设类标签用于表示像素点是否被标注为边缘像素点。
可选地，人脸草绘图网络的边缘损失值为根据N个解码区块的边缘损失值，以及各解码区块对应的权重，确定人脸草绘图网络的边缘损失值。
第三方面，本发明实施例还提供了一种人脸草绘图的获取设备，包括：一个或多个处理器、总线和计算机可读存储介质，其中，计算机可读存储介质用于存储程序，处理器通过总线与计算机可读存储介质通信连接，处理器调用计算机可读存储介质存储的程序，以执行第一方面提供的人脸草绘图的获取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时以执行第一方面提供的人脸草绘图的获取方法。
本发明的有益效果是：通过在在编码区块进行编码时，使用两路下采样处理后的图像进行合并，经过N个编码区后，得到编码区块的输出图像，再将编码区块的输出图像输入解码区块进行两路上采样处理，然后根据两路上采样处理后的图像进行合并，得到解码区块的输出图像，解码区块的输出图像即为得到的人脸草绘图。由于在编码区块进行下采样时，使用了两路不同的下采样处理，能够分别提取人脸图像中的轮廓边缘信息和五官边缘信息，使得到的人脸草绘图中的脸部细节纹理减少，提高了人脸草绘图的质量，不需要二次处理即可使用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的一种人脸草绘图的获取方法的流程示意图；
图2为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图；
图3为本申请一实施例提供的一种人脸草绘图的获取方法中编码区块的结构示意图；
图4为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图；
图5为本申请一实施例提供的一种人脸草绘图的获取方法中解码区块的结构示意图；
图6为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图；
图7为本申请另一实施例提供的一种人脸草绘图的获取方法中人脸草绘图网络的结构示意图；
图8为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图；
图9为本申请一实施例提供的一种人脸草绘图的获取装置的结构示意图；
图10为本申请另一实施例提供的一种人脸草绘图的获取装置的结构示意图；
图11本申请一实施例提供的一种人脸草绘图的获取设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
图1为本申请一实施例提供的一种人脸草绘图的获取方法的流程示意图，其中，本申请提供的人脸草绘图的获取方法的执行主体，可以是具有计算能力的终端设备，或者具有图像获取能力和计算能力的终端设备，例如，可以是智能手机、平板电脑、定制终端、服务器、台式电脑、笔记本电脑等，但不以此为限。
如图1所示，该方法包括：
S110、获取人脸图像。
其中，可以通过图像获取装置实时获取原始人脸图像，例如，安防摄像头、监控摄像头、与终端设备连接的摄像头等；也可以从已存储的影像数据中获取原始人脸图像，例如，可以从已存储的照片中获取原始人脸图像，或者从已存储的视频中，获取包括原始人脸图像的帧数据等，在此不做限制。
一些实施方式中，可在获得原始人脸图像后，通过人脸特征点识别模型，识别原始人脸图像中的人脸特征点，并根据人脸特征点的位置，将原始人脸图像裁剪为统一的预设尺寸，得到人脸图像，例如，可以统一裁剪为512×384的尺寸，但不以此为限。
S120、根据预设的人脸草绘图网络，对人脸图像进行处理，得到人脸草绘图，人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数。
其中，每个编码区块用于对输入的待编码图像进行两路下采样处理，根据两路下采样处理后的图像进行合并，得到编码区块的输出图像。每个解码区块用于对输入的待解码图像进行两路上采样处理，根据两路上采样处理后的图像进行合并，得到解码区块的输出图像。
一些实施方式中，人脸草绘图网络可以是高效神经网络(ENet)，ENet是一种用于实时语义分割的深度神经网络体系结构，提供了实时按像素进行语义分割的能力。其中，在ENet中，N可以取3，即通过编码区块进行3次下采样以及通过解码区块进行3次上采样，但不以此为限。
其中，可以通过改进深度残差网络(Resnet)网络基础模块，得到编码区块和解码区块，例如，在本实施例中，对输入的待编码图像进行两路下采样处理以及对输入的待解码图像进行两路上采样处理，以更加准确的得到所需的边缘信息。
对于采用Resnet、进行3次下采样和3次上采样的人脸草绘图网络，每次采样后的人脸绘图的尺度可以如下表所示：
| 网络模块 | 人脸草绘图尺寸(HxWxC) |
| 输入 | 512x384x3 |
| 编码模块1 | 256x192x32 |
| 编码模块2 | 128x96x64 |
| 编码模块3 | 64x48x128 |
| 解码模块1 | 128x96x64 |
| 解码模块2 | 256x192x32 |
| 解码模块3 | 512x384x3 |
其中，H代表人脸草绘图的高度，W表示人脸草绘图的宽度，C代表通道数，即图片的深度。
在本实施例中，通过在在编码区块进行编码时，使用两路下采样处理后的图像进行合并，经过N个编码区后，得到编码区块的输出图像，再将编码区块的输出图像输入解码区块进行两路上采样处理，然后根据两路上采样处理后的图像进行合并，得到解码区块的输出图像，解码区块的输出图像即为得到的人脸草绘图。由于在编码区块进行下采样时，使用了两路不同的下采样处理，能够分别提取人脸图像中的轮廓边缘信息和五官边缘信息，使得到的人脸草绘图中的脸部细节纹理减少，提高了人脸草绘图的质量，不需要二次处理即可使用。
图2为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图，图3为本申请一实施例提供的一种人脸草绘图的获取方法中编码区块的结构示意图。
可选地，如图2，所示，每个编码区块用于：
S210、对待编码图像进行最大池化下采样处理，得到人脸图像的面部边缘图像。
一些实施方式中，待编码图像可以是人脸图像，也可以是前一编码区块的输出图像，在此不做限制。
一些实施方式中，如图3所示，可以先对待编码图像进行最大池化下采样，然后在对最大池化下采样后的待编码图像进行卷积操作，得到人脸图像的面部边缘图像，例如，若输入的待编码图像为512×384×3(即尺寸为512×384，通道数为3，以下尺寸中的参数与此相同)，则可以将卷积核设为3*3、步长为2、填充大小为1，进行最大池化下采样，然后将卷积核设为3*3、步长为1、填充大小为1、空洞卷积膨胀系数为1，对最大池化下采样后的待编码图像进行卷积操作，得到尺寸为256×192×32的面部边缘图像。
S220、对待编码图像依次进行多个下采样处理，得到人脸图像的五官边缘图像。
一些实施方式中，如图3所示，可以先对待编码图像进行卷积操作进行下采样，再经过空洞卷积处理，以增大感受野，最后在进行卷积操作进行平滑，例如，若输入的待编码图像为512×384×3，则可以将卷积核设为3*3、步长为2、填充大小为1、空洞卷积膨胀系数为1，进行卷积操作，然后将卷积核设为3*3、步长为1、填充大小为1、空洞卷积膨胀系数为2，对下采样后的待编码图像进行空洞卷积操作以增大感受野，最后，再对空洞卷积之后的待编码图像进行卷积核为3*3、步长为1、填充大小为1、空洞卷积膨胀系数为1的卷积操作以实现平滑，最终得到尺寸为256×192×32的五官边缘图像。
可选地，在进行卷积操作后(包括卷积和空洞卷积)，可以通过批规范层、缩放层、以及激活层(在本实施例中，激活层可以使用参数化修正线性单元(PReLU)进行激活)对卷积后的结果进行规范处理，以便于在进行下一次操作。
S230、对面部边缘图像和五官边缘图像进行合并，得到编码区块的输出图像。
一些实施方式中，可以通过按元素求和的方式，将面部边缘图像和五官边缘图像进行合并和，得到包括面部边缘和五官边缘的尺寸为256×192×32的编码区块的输出图像。
在本实施例中，通过对待编码图像进行最大池化下采样得到面部边缘图像、以及对待编码图依次进行多个下采样处理，得到人脸图像的五官边缘图像，然后将得到的面部边缘图像和五官边缘草绘图合并，得到包括面部边缘和五官边缘的编码区块的输出图像，由于分别提取了面部边缘和五官边缘，能够有效的摒弃干扰信息，草绘图的质量得到提高。
图4为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图，图5为本申请一实施例提供的一种人脸草绘图的获取方法中解码区块的结构示意图。
可选地，如图4所示，每个解码区块用于：
S310、对待解码图像进行上采样处理，得到面部边缘草绘图。
一些实施方式中，待解码图像可以是编码区块的输出图像，也可以是前一解码区块的输出图像，在此不做限制。
一些实施方式中，如图5所示，解码区块为编码区块的逆操作，参考S210，可对待解码图像通过反卷积层进行上采样，例如，若待解码图像为256×192×32的输出图像，则可以通过卷积核为4*4、步长为2、填充值为1、空洞卷积膨胀系数设置为1的反卷积层的对待解码图像进行上采样，得到尺寸为512×384×3的面部边缘草绘图。
S320、对待解码图像依次进行多个上采样处理，得到五官边缘草绘图。
一些实施方式中，如图5所示，同样的，多个上采样处理也是编码区块的逆操作，参考S220，例如，若待解码图像为256×192×32的输出图像，则可以将卷积核设为3*3、步长为2、填充大小为1、空洞卷积膨胀系数为1，进行卷积操作，然后将卷积核设为4*4、步长为2、填充大小为1，对下采样后的待解码图像进行反卷积操作，最后，再对反卷积之后的待解码图像进行卷积核为3*3、步长为2、填充大小为1、空洞卷积膨胀系数为1的卷积操作以实现平滑，最终得到尺寸为512×384×3的五官边缘图像。
可选地，在进行卷积操作和反卷积操作之后，可以通过批规范层、缩放层、以及激活层(在本实施例中，激活层可以使用修正线性单元(ReLU)进行激活)，对卷积后的结果进行规范处理，以便于在进行下一次操作。
S330、对面部边缘草绘图和五官边缘草绘图进行合并，得到解码区块的输出图像。
一些实施方式中，可以通过按元素求和的方式，将面部边缘图像和五官边缘图像进行合并和，得到包括面部边缘和五官边缘的尺寸为512×384×3的解码区块的输出图像。
在本实施例中，通过对待解码图像进行上采样得到面部边缘图像、以及对待解码图依次进行多个上采样处理，得到人脸图像的五官边缘图像，然后将得到的面部边缘图像和五官边缘草绘图合并，得到包括面部边缘和五官边缘的编码区块的输出图像，由于分别还原了面部边缘和五官边缘，能够有效的摒弃干扰信息，草绘图的质量得到提高。
可选地，编码区块的输出图像的尺度为待编码图像的尺度的二分之一。解码区块的输出图像的尺度为待解码图像的尺度的两倍。
一些实施方式中，编码区块每进行一次编码，输出图像在尺寸上缩小为待编码图像的二分之一，但是图像深度增加了。对于尺寸较小的图像，能够表达更高层次的整体信息，即更容易提取面部边缘信息。
一些实施方式中，解码区块每进行一次解码，输出图像在尺寸上扩大为待解码图像的两倍，但是图像的深度减小了。对于尺寸较大的图像，能够表达图像中的细节信息，即更容易提取五官边缘信息。
图6为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图，图7为本申请另一实施例提供的一种人脸草绘图的获取方法中人脸草绘图网络的结构示意图。
可选地，如图7所示，人脸草绘图网络的结构可以包括3个编码区块和3个解码区块。
如图6所示，人脸草绘图网络为根据下述方式进行训练得到：
S410、依次根据N个编码区块和N个解码区块，对预设的人脸样本图像进行处理。
一些实施方式中，预设的人脸样本图可以是预设图库中的历史人脸图像，其中，每个历史人脸图像中，均标记了每个像素点为边缘像素点或非边缘像素点。
S420、根据各解码区块输出的解码后样本图像，确定各解码区块的边缘损失值。
一些实施方式中，如图7所示，若解码区块为3个，则需要获取每个解码区块的边缘损失值，例如，设3个解码区块分别为解码区块1、解码区块2和解码区块3，则每个解码区块对应的边缘损失值分别为边缘损失值1(Loss1)、边缘损失值2(Loss2)和边缘损失值3(Loss3)。
需要说明的是，如图7所示，在计算边缘损失值时，若解码区块的输出图像尺度与人脸图像的尺度不一致，则可以先通过卷积操作，以及对应倍数的上采样，将输出图像的尺度调整为与人脸图像的尺度相同，例如，对于解码区块1，输出的图像尺度为128×96×64，则先经过卷积核为1*1，步长为1、填充为1的卷积操作平滑，然后进行4倍的上采样，得到尺度为512×384×3的边缘损失值计算图像，然后根据边缘损失值计算图像计算对应的边缘损失值。
S430、根据N个解码区块的边缘损失值，确定人脸草绘图网络的边缘损失值。
一些实施方式中，参考S420中的示例，每个解码区块对应一个尺度的人脸草绘图，每个尺度对应一个权重，三个尺度的权重分别为θ1，θ2，θ3，其中，权重可以根据实际情况进行设置，其数值在此不做限制。
对于人脸草绘图网络的边缘损失值Ltotal，则可通过公式一进行计算：
Ltotal＝θ1Loss1+θ2Loss2+θ3Loss3 (公式一)
S440、根据人脸草绘图网络的边缘损失值，对各编码区块和各解码区块进行训练。
其中，根据人脸草绘图网络的边缘损失值，对各编码区块和各解码区块进行训练的方法，可以是反向传播等常规手段，在此不再赘述。
在本实施例中，通过对每个尺度的人脸草绘图计算边缘损失值，并根据每个尺度的权重，计算人脸草绘图网络的边缘损失值，然后，根据人脸草绘图网络的边缘损失值对人脸草绘图网络进行训练，由于考虑了不同尺度下的边缘损失值，使得模型能在小尺度下学习到更多的低级边缘特征，因此通过训练完成的人脸草绘图网络得到的人脸草绘图干净、光滑，无需二次处理即可使用，同时，使用本方法训练得到的模型收敛速度快，易于训练且鲁棒性强。
图8为本申请另一实施例提供的一种人脸草绘图的获取方法的流程示意图。
可选地，如图8所示，各解码区块的边缘损失值为根据下述方式得到：
S421、根据预设的激活函数，确定解码后样本图像中各像素点为边缘像素点的概率值。
S422、根据解码后样本图像中各像素点的预设类标签，以及各像素点为边缘像素点的概率值，确定解码区块的边缘损失值。
其中，预设类标签用于表示像素点是否被标注为边缘像素点。
一些实施方式中，可以通过二分类的方式确定像素点是否为边缘像素点。
但是，由于在样本图像中，边缘像素点的数量远小于非边缘像素点的数量，为了解决类别不平问题，可以通过加权二值交叉熵的方法，进行二分类，加权二值交叉熵如公式二所示：
其中，
Y+和Y-分别表示一张图片中的真实标签的个数，真实标签包括边缘像素点(正类别)和非边缘像素点(负类别)的个数，正类别用1表示，负类用0表示。超参数λ用于平衡正负类别个数。网络输出结果经过逻辑回归(Sigmoid)函数激活到0-1区间，用P(Xi)表示网络输出该像素点是边缘的概率值，真实的标签用yi表示。
即，计算加权二值交叉熵函数可用公式三表示：
其中，其中|I|为一张图像总共包括的像素点个数。
一些实施方式中，可以使用亚当(Adam)优化器，并将学习率设置为0.0002，同时，可以将λ设置为1.1、θ1＝1、θ2＝θ3＝0.5、η＝0.6，在此不做限制。
在本实施例中，通过加权二值交叉熵进行二值化，然后计算边缘损失值，避免了类别不平问题，使计算得到的边缘损失值更加准确，进而使得到的人脸草绘图更加干净、平滑。
图9为本申请一实施例提供的一种人脸草绘图的获取装置的结构示意图。
如图9所示，人脸草绘图的获取装置，包括：
获取模块510，用于获取人脸图像。
处理模块520，用于根据预设的人脸草绘图网络，对人脸图像进行处理，得到人脸草绘图，人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数。其中，每个编码区块用于对输入的待编码图像进行两路下采样处理，根据两路下采样处理后的图像进行合并，得到编码区块的输出图像；每个解码区块用于对输入的待解码图像进行两路上采样处理，根据两路上采样处理后的图像进行合并，得到解码区块的输出图像。
可选地，每个编码区块用于对待编码图像依次进行多个下采样处理，得到人脸图像的面部边缘图像。对待编码图像进行最大池化下采样处理，得到人脸图像的五官边缘图像。对面部边缘图像和五官边缘图像进行合并，得到编码区块的输出图像。
可选地，每个解码区块用于对待解码图像依次进行多个上采样处理，得到面部边缘草绘图。对待解码图像进行上采样处理，得到五官边缘草绘图。对面部边缘草绘图和五官边缘草绘图进行合并，得到解码区块的输出图像。
可选地，编码区块的输出图像的尺度为待编码图像的尺度的二分之一。解码区块的输出图像的尺度为待解码图像的尺度的两倍。
图10为本申请另一实施例提供的一种人脸草绘图的获取装置的结构示意图。
可选地，如图10所示，该装置还包括训练模块530，用于根据下述方式进行训练得到人脸草绘图网络：
依次根据N个编码区块和N个解码区块，对预设的人脸样本图像进行处理。根据各解码区块输出的解码后样本图像，确定各解码区块的边缘损失值。根据N个解码区块的边缘损失值，确定人脸草绘图网络的边缘损失值。根据人脸草绘图网络的边缘损失值，对各编码区块和各解码区块进行训练。
可选地，训练模块530还用于根据下述方式得到解码区块的边缘损失值：
根据预设的激活函数，确定解码后样本图像中各像素点为边缘像素点的概率值。根据解码后样本图像中各像素点的预设类标签，以及各像素点为边缘像素点的概率值，确定解码区块的边缘损失值，其中，预设类标签用于表示像素点是否被标注为边缘像素点。
可选地，人脸草绘图网络的边缘损失值为根据N个解码区块的边缘损失值，以及各解码区块对应的权重，确定人脸草绘图网络的边缘损失值。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图11本申请一实施例提供的一种人脸草绘图的获取设备的结构示意图。
如图11所示，该人脸草绘图的获取设备包括：处理器601、计算机可读存储介质602和总线603，其中：
人脸草绘图的获取设备可以包括一个或多个处理器601、总线603和计算机可读存储介质602，其中，计算机可读存储介质602用于存储程序，处理器601通过总线603与计算机可读存储介质602通信连接，处理器601调用计算机可读存储介质602存储的程序，以执行上述方法实施例。
人脸草绘图的获取设备可以是通用计算机、服务器或移动终端等，在此不做限制。人脸草绘图的获取设备用于实现本申请的上述方法实施例。
需要说明的是，处理器601可以包括一个或多个处理核(例如，单核处理器或多核处理器)。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor，ASIP)、图形处理单元(GraphicsProcessing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable GateArray，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)、或微处理器等，或其任意组合。
计算机可读存储介质602可以包括：包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random AccessMemory，RAM)；RAM可以包括动态RAM(Dynamic Random Access Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM，DDR SDRAM)；静态RAM(StaticRandom-Access Memory，SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-OnlyMemory，MROM)、可编程ROM(Programmable Read-Only Memory，PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory，PEROM)、电可擦除可编程ROM(ElectricallyErasable Programmable read only memory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。
为了便于说明，在人脸草绘图的获取设备中仅描述了一个处理器601。然而，应当注意，本申请中的人脸草绘图的获取设备还可以包括多个处理器601，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若人脸草绘图的获取设备的处理器601执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
可选地，本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述方法的步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以根据硬件的形式实现，也可以根据硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用于使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种人脸草绘图的获取方法，其特征在于，包括：
获取人脸图像；
根据预设的人脸草绘图网络，对所述人脸图像进行处理，得到人脸草绘图，所述人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数；
每个所述编码区块用于对输入的待编码图像进行两路下采样处理，根据所述两路下采样处理后的图像进行合并，得到所述编码区块的输出图像；
每个所述解码区块用于对输入的待解码图像进行两路上采样处理，根据所述两路上采样处理后的图像进行合并，得到所述解码区块的输出图像；
其中，每个所述编码区块用于：
对所述待编码图像进行最大池化下采样处理，得到所述人脸图像的面部边缘图像；
对所述待编码图像依次进行多个下采样处理，得到所述人脸图像的五官边缘图像；
对所述面部边缘图像和所述五官边缘图像进行合并，得到所述编码区块的输出图像。
2.根据权利要求1所述的方法，其特征在于，每个所述解码区块用于：
对所述待解码图像进行上采样处理，得到面部边缘草绘图；
对所述待解码图像依次进行多个上采样处理，得到五官边缘草绘图；
对所述面部边缘草绘图和所述五官边缘草绘图进行合并，得到所述解码区块的输出图像。
3.根据权利要求1所述的方法，其特征在于，所述编码区块的输出图像的尺度为所述待编码图像的尺度的二分之一；
所述解码区块的输出图像的尺度为所述待解码图像的尺度的两倍。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述人脸草绘图网络为根据下述方式进行训练得到：
依次根据N个所述编码区块和N个所述解码区块，对预设的人脸样本图像进行处理；
根据各所述解码区块输出的解码后样本图像，确定各所述解码区块的边缘损失值；
根据N个所述解码区块的边缘损失值，确定所述人脸草绘图网络的边缘损失值；
根据所述人脸草绘图网络的边缘损失值，对各所述编码区块和各所述解码区块进行训练。
5.根据权利要求4所述的方法，其特征在于，各所述解码区块的边缘损失值为根据下述方式得到：
根据预设的激活函数，确定所述解码后样本图像中各像素点为边缘像素点的概率值；
根据所述解码后样本图像中各像素点的预设类标签，以及所述各像素点为边缘像素点的概率值，确定所述解码区块的边缘损失值，其中，所述预设类标签用于表示像素点是否被标注为边缘像素点。
6.根据权利要求4所述的方法，其特征在于，所述人脸草绘图网络的边缘损失值为根据N个所述解码区块的边缘损失值，以及各所述解码区块对应的权重，确定所述人脸草绘图网络的边缘损失值。
7.一种人脸草绘图的获取装置，其特征在于，包括：
获取模块，用于获取人脸图像；
处理模块，用于根据预设的人脸草绘图网络，对所述人脸图像进行处理，得到人脸草绘图，所述人脸草绘图网络依次包括N个编码区块和N个解码区块，N为大于或等于2的整数；
其中，每个所述编码区块用于对输入的待编码图像进行两路下采样处理，根据所述两路下采样处理后的图像进行合并，得到所述编码区块的输出图像；
每个所述解码区块用于对输入的待解码图像进行两路上采样处理，根据所述两路上采样处理后的图像进行合并，得到所述解码区块的输出图像；
其中，每个所述编码区块用于：
对所述待编码图像进行最大池化下采样处理，得到所述人脸图像的面部边缘图像；
对所述待编码图像依次进行多个下采样处理，得到所述人脸图像的五官边缘图像；
对所述面部边缘图像和所述五官边缘图像进行合并，得到所述编码区块的输出图像。
8.根据权利要求7所述的装置，其特征在于，还包括训练模块，用于根据下述方式进行训练得到所述人脸草绘图网络：
依次根据N个所述编码区块和N个所述解码区块，对预设的人脸样本图像进行处理；
根据各所述解码区块输出的解码后样本图像，确定各所述解码区块的边缘损失值；
根据N个所述解码区块的边缘损失值，确定所述人脸草绘图网络的边缘损失值；
根据所述人脸草绘图网络的边缘损失值，对各所述编码区块和各所述解码区块进行训练。
9.一种人脸草绘图的获取设备，其特征在于，包括：
一个或多个处理器、总线和计算机可读存储介质；
其中，所述计算机可读存储介质用于存储程序，所述处理器通过所述总线与所述计算机可读存储介质通信连接，所述处理器调用所述计算机可读存储介质存储的程序，以执行权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时以执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910800854.0A CN110517200B (zh) | 2019-08-28 | 2019-08-28 | 人脸草绘图的获取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910800854.0A CN110517200B (zh) | 2019-08-28 | 2019-08-28 | 人脸草绘图的获取方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110517200A CN110517200A (zh) | 2019-11-29 |
| CN110517200B true CN110517200B (zh) | 2022-04-12 |
Family
ID=68628335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910800854.0A Active CN110517200B (zh) | 2019-08-28 | 2019-08-28 | 人脸草绘图的获取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110517200B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767258B (zh) * | 2020-12-18 | 2023-10-31 | 闽江学院 | 一种端到端的图像去沙尘暴方法 |
| CN112991374B (zh) * | 2021-03-31 | 2024-05-24 | 芯算一体(深圳)科技有限公司 | 基于Canny算法的边缘增强方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945244A (zh) * | 2017-12-29 | 2018-04-20 | 哈尔滨拓思科技有限公司 | 一种基于人脸照片的简笔画生成方法 |
| WO2018194863A1 (en) * | 2017-04-20 | 2018-10-25 | Microsoft Technology Licensing, Llc | Visual style transfer of images |
| CN108717719A (zh) * | 2018-05-23 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 卡通人脸图像的生成方法、装置及计算机存储介质 |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN109448083A (zh) * | 2018-09-29 | 2019-03-08 | 浙江大学 | 一种从单幅图像生成人脸动画的方法 |
| CN110070483A (zh) * | 2019-03-26 | 2019-07-30 | 中山大学 | 一种基于生成式对抗网络的人像卡通化方法 |
-
2019
- 2019-08-28 CN CN201910800854.0A patent/CN110517200B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018194863A1 (en) * | 2017-04-20 | 2018-10-25 | Microsoft Technology Licensing, Llc | Visual style transfer of images |
| CN107945244A (zh) * | 2017-12-29 | 2018-04-20 | 哈尔滨拓思科技有限公司 | 一种基于人脸照片的简笔画生成方法 |
| CN108717719A (zh) * | 2018-05-23 | 2018-10-30 | 腾讯科技（深圳）有限公司 | 卡通人脸图像的生成方法、装置及计算机存储介质 |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN109448083A (zh) * | 2018-09-29 | 2019-03-08 | 浙江大学 | 一种从单幅图像生成人脸动画的方法 |
| CN110070483A (zh) * | 2019-03-26 | 2019-07-30 | 中山大学 | 一种基于生成式对抗网络的人像卡通化方法 |
Non-Patent Citations (2)
| Title |
|---|
| "ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation";Adam Paszke et al.;《arXiv》;20161231;第1-10页 * |
| "人脸画像合成研究的综述与对比分析";王楠楠 等;《模式识别与人工智能》;20180131;第31卷(第1期);第37-48页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110517200A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102640237B1 (ko) | 이미지 프로세싱 방법, 장치, 전자 디바이스 및 컴퓨터 판독가능 저장 매체 | |
| US10614574B2 (en) | Generating image segmentation data using a multi-branch neural network | |
| CN110992270A (zh) | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113807334B (zh) | 一种基于残差网络的多尺度特征融合的人群密度估计方法 | |
| CN110517200B (zh) | 人脸草绘图的获取方法、装置、设备及存储介质 | |
| CN110533594A (zh) | 模型训练方法、图像重建方法、存储介质及相关设备 | |
| CN114241388A (zh) | 基于时空记忆信息的视频实例分割方法和分割装置 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| CN115953303A (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN117115042A (zh) | 基于协方差优化扩散模型的图像处理方法、系统及装置 | |
| CN117474796B (zh) | 一种图像生成方法、装置、设备及计算机可读存储介质 | |
| CN114565528A (zh) | 一种基于多尺度和注意力机制的遥感影像降噪方法及系统 | |
| CN116912268A (zh) | 一种皮肤病变图像分割方法、装置、设备及存储介质 | |
| CN112634126B (zh) | 人像减龄处理方法、训练方法、装置、设备及存储介质 | |
| CN112001479B (zh) | 基于深度学习模型的处理方法、系统及电子设备 | |
| CN114782768A (zh) | 预训练网络模型的训练方法、医学图像处理方法和设备 | |
| Li et al. | Convolutional Neural Network Combined with Half‐Quadratic Splitting Method for Image Restoration | |
| CN118071637B (zh) | 一种具有多维度潜在空间的图像生成方法及装置 | |
| Li et al. | Human Detection via Image Denoising for 5G‐Enabled Intelligent Applications | |
| CN117474797B (zh) | 一种多尺度互补学习的图像去噪方法及装置 | |
| CN112288738B (zh) | 基于深度学习的单幅图像去雪花方法、装置及存储介质 | |
| WO2024130704A1 (zh) | 基于神经网络的文本抠图方法、装置、设备以及存储介质 | |
| CN117237943A (zh) | 水体中的微生物识别方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |