CN109377537A - 重彩画的风格转移方法 - Google Patents
重彩画的风格转移方法 Download PDFInfo
- Publication number
- CN109377537A CN109377537A CN201811218230.XA CN201811218230A CN109377537A CN 109377537 A CN109377537 A CN 109377537A CN 201811218230 A CN201811218230 A CN 201811218230A CN 109377537 A CN109377537 A CN 109377537A
- Authority
- CN
- China
- Prior art keywords
- style
- image
- transfer
- character
- color painting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 137
- 238000010422 painting Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 230000007704 transition Effects 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000003286 fusion draw glass process Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000014759 maintenance of location Effects 0.000 claims description 10
- 238000005034 decoration Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 41
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了重彩画的风格转移方法，涉及图像处理技术领域，包括：对输入图像中的人物进行变形，得到输入图像的变形图；采用预设方法将重彩画风格按图像语义区域分别转移到变形图上，得到不同语义区域的重彩画风格转移图；将不同语义区域的重彩画风格转移图进行融合，得到融合图；提取变形图的线条图，并将线条图与融合图进行叠加，得到线条增强的重彩画风格转移图。本发明通过将输入图像进行人物变形、按语义风格转移、融合和线条叠加，以使风格转移结果既保留输入图像的人物脸部特点又表现出重彩画修长的人物肢体、服饰纹理的结构和重彩画的线条感。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及重彩画的风格转移方法。
背景技术
风格转移是近年来计算机视觉领域的一个热门研究主题，已经实现将卡通画、素描、中国山水画、油画、剪纸等风格进行转移，还实现了人像妆容的迁移。但对于既有人物，纹理又精细的绘画作品，单一使用现有的风格转移算法是无法既保留人体结构又保留精细的纹理结构的，如重彩画。重彩画大多描绘的是女性，其结合了中国线条画和西方油画的特点，服饰纹理精细，线条分明，颜色鲜艳明快。重彩画是非常有价值的研究对象，通过研究重彩画可以探索既有人物，纹理又精细的绘画作品的风格转移问题。
在风格转移算法研究领域，传统的风格转移算法都只利用了风格图的纹理等低层图像特征。目前已有的一种重彩画风格转移算法，是通过对白描图的绘制、上色等实现重彩画的绘制，但该算法不能将照片转移成重彩画风格。另一种算法可以将照片人脸转移成云南重彩画人脸，但头发纹理是从重彩画中提取的，没有保留照片人物的特点。
现有技术中，虽然提出了很多风格转移算法，但对重彩画这种既有人物，纹理又精细的绘画作品单独使用上述算法转移不出重彩画人物肢体修长、服饰纹理结构和重彩画的线条感。
发明内容
有鉴于此，本发明的目的在于提供重彩画的风格转移方法，通过将输入图像进行变形、风格转移、融合、线条提取和叠加的处理，以使风格转移结果既保留输入图像的人物脸部特点又表现出重彩画修长的人物肢体、服饰纹理的结构和重彩画的线条感。
第一方面，本发明实施例提供了一种重彩画的风格转移方法，其中，所述方法包括：
变形步骤：对输入图像中的人物进行变形，得到输入图像的变形图；
风格转移步骤：采用预设方法将重彩画风格按图像语义区域分别转移到变形图上，得到不同语义区域的重彩画风格转移图；
融合步骤：将不同语义区域的重彩画风格转移图进行融合，得到融合图；
线条增强步骤：提取所述变形图的线条图，并将所述线条图与所述融合图进行叠加，得到线条增强的重彩画风格转移图。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述变形步骤包括：
根据所述输入图像中的人物位置对3D骨架模型进行拟合，将得到的3D模型拟合图嵌入到二维三角形网格中进行三角形剖分，通过调节3D模型姿态和形状以控制二维三角形剖分结果，达到人物变形的目的，输出所述变形图。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述不同语义区域的重彩画风格转移图包括背景风格转移图、人物风格转移图、头像风格转移图和服饰纹理转移图，所述风格转移步骤包括：
背景转移步骤：采用第一目标函数将重彩画的背景风格转移到所述变形图的背景上，得到所述背景风格转移图；
人物转移步骤：采用语义分割和第二目标函数，将所述重彩画的人物风格转移到所述变形图的人物上，得到所述人物风格转移图；
头像转移步骤：采用语义分割和第三目标函数，将所述重彩画的人物头像风格转移到所述变形图的头像上，得到所述头像风格转移图；
服饰转移步骤：采用图像类比的方法将所述重彩画的服饰纹理拼贴、转移到所述变形图的服饰上，得到所述服饰纹理转移图。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述背景转移步骤包括：
采用图像修复的方法将所述变形图的背景补全，得到背景补全图；
采用所述第一目标函数将重彩画的背景风格转移到所述背景补全图上，得到所述背景风格转移图。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，在所述人物转移步骤中，所述第二目标函数为施加有结构保持损失函数的目标函数，且所述第二目标函数根据下式获得：
其中，Ltotal人是施加有结构保持损失函数的目标函数，是人物的内容损失，αl是重建在l层的权重值，是人物的风格损失，βl是重建在l层的权重值，Γ是平衡内容损失和风格损失重建的权重，Lm是结构保持损失函数，λm是结构保持权重，L为卷积神经网络卷积层的总数。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述结构保持损失函数根据下式获得：
其中，Lm是所述结构保持损失函数，Vc[O]是输出图像的(N×1)向量，MI是抠图拉普拉斯矩阵，c是颜色通道。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述人物的内容损失根据下式获得：
其中，是所述人物的内容损失，Fl[O]是输出图像在卷积神经网络第l层的特征表示，Fl[I]是变形图像在卷积神经网络第l层的特征表示，Nl为卷积神经网络第l层的特征向量个数，Dl是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述人物的风格损失根据下式获得：
其中，为所述人物的风格损失，C是分割类别数，Gl,c[O]是语义分割后输出图在l层的格拉姆矩阵，Gl,c[S]是语义分割后重彩画S在l层的格拉姆矩阵，Nl,c是格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述融合步骤包括：采用泊松图像融合的方法将所述背景风格转移图、所述人物风格转移图、所述头像风格转移图和所述服饰纹理转移图进行融合，得到所述融合图。
结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，在所述叠加步骤中，所述线条图的获得包括：
采用梯度最小化平滑图像算法将所述变形图进行平滑，得到平滑图像；
采用各项异性的DoG滤波器将所述平滑图像进行提取，得到轮廓线；
采用基于卷积神经网络的线条图缺口检测和补全算法对所述轮廓线进行缺口的检测和补全，得到线条补全的所述线条图。
本发明实施例带来了以下有益效果：
本发明提供的重彩画的风格转移方法，包括：对输入图像中的人物进行变形，得到输入图像的变形图；采用预设方法将重彩画风格按图像语义区域分别转移到变形图上，得到不同语义区域的重彩画风格转移图；将不同语义区域的重彩画风格转移图进行融合，得到融合图；提取变形图的线条图，并将线条图与融合图进行叠加，得到线条增强的重彩画风格转移图。本发明通过将输入图像进行人物变形、按语义风格转移、融合和线条叠加，以使风格转移结果既保留输入图像的人物脸部特点又表现出重彩画修长的人物肢体、服饰纹理的结构和重彩画的线条感。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和得到。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例提供的重彩画的风格转移方法流程图；
图2为本发明实施例提供的不同区域风格转移过程示意图；
图3为本发明实施例提供的线条提取和补全步骤方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所得到的所有其他实施例，都属于本发明保护的范围。
目前，在风格转移算法研究领域，传统的风格转移算法都只利用了风格图的纹理等低层图像特征。目前已有的一种重彩画风格转移算法，是通过对白描图的绘制、上色等实现重彩画的绘制，但该算法不能将照片转移成重彩画风格。另一种算法可以将照片人脸转移成云南重彩画人脸，但头发纹理是从重彩画中提取的，没有保留照片人物的特点。现有技术中，虽然提出了很多风格转移算法，但对重彩画这种既有人物，纹理又精细的绘画作品单独使用上述算法转移不出重彩画人物肢体修长、服饰纹理结构和重彩画的线条感。
基于此，本发明实施例提供的重彩画的风格转移方法，通过将输入图像进行变形、风格转移、融合、线条提取和叠加的处理，以使风格转移结果既保留输入图像的人物脸部特点又表现出重彩画修长的人物肢体、服饰纹理的结构和重彩画的线条感。
为便于对本实施例进行理解，首先对本发明实施例所公开的重彩画的风格转移方法进行详细介绍。
实施例：
图1为本发明实施例提供的重彩画的风格转移方法流程图。
本实施例提供的重彩画的风格转移方法应用于用户终端上，用户终端可以包括但不限于：智能手机、个人电脑(Personal Computer，PC)、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。
参照图1和图2，重彩画的风格转移方法主要包括：
变形步骤S110：对输入图像中的人物进行变形，得到输入图像的变形图。
本步骤在实现过程中包括：根据输入图像中的人物位置对3D骨架模型进行拟合，并将得到的3D模型拟合图嵌入到二维三角形网格中进行三角形剖分，通过调节3D模型姿态和形状以控制二维三角形剖分结果，达到人物变形的目的，得到输入图像的变形图。
具体的，以人体骨架作为人体变形模型，可以采用人体变形软件(比如bodyreshaper)进行人物变形：首先通过操作3D骨架模型的关节和骨头拟合输入的人物图像中人物相应的位置，得到3D模型拟合图，然后将3D模型拟合图嵌入到二维三角形网格中进行三角形剖分，通过调节3D模型姿态和形状以控制二维三角形剖分结果，得到输入图像变形后对应的变形图。
转移步骤S120：采用预设方法将重彩画风格按图像语义区域分别转移到变形图上，得到不同语义区域的重彩画风格转移图；也就是根据重彩画对变形图分别进行背景风格转移、人物风格转移、头像风格转移和服饰纹理转移，得到对应的背景风格转移图、人物风格转移图、头像风格转移图和服饰纹理转移图。
具体的，将变形图分成四个部分进行风格转移，转移步骤S120包括背景风格转移步骤、人物风格转移步骤、头像风格转移步骤以及服饰纹理转移步骤。
背景风格转移步骤包括：采用第一目标函数将重彩画的背景风格转移到所述变形图的背景上，得到背景风格转移图。
该背景风格转移步骤的实现过程为，采用图像修复的方法将变形图的背景补全，得到背景补全图，并采用最小化第一目标函数将重彩画的背景风格转移到背景补全图上，得到背景风格转移图。
具体的，对于背景风格的转移对结构保持要求比较低，因此背景可以使用如下方法进行风格转移。将背景补全图输入至卷积神经(Visual Geometry Group，VGG)网络进行特征提取，每经过一个采样层，特征图的大小减小，特征图的数量就会增加。ContentReconstructions(内容重建)是分别经过VGG网络中的(a)‘conv1_2’，(b)‘conv2_2’，(c)‘conv3_2’，(d)‘conv4_2’，(e)‘conv5_2’重建出来的内容特征。重建结果为：VGG的前三层重建出来的内容特征和输入图像几乎一样，在VGG的后两层，重建出来的内容特征的细节丢失了，但结构保留下来了。也就是说，网络的高层特征一般是关于输入图像结构等信息，低层特征一般是输入图像的细节像素信息，在提取内容特征时，选用不同层的表达效果是不一样的。Style Reconstructions(风格重建)是分别经过VGG网络中的(a)‘conv1_1’，(b)‘conv1_1’和‘conv2_1’，(c)‘conv1_1’，‘conv2_1’和‘conv3_1’，(d)‘conv1_1’，‘conv2_1’，‘conv3_1’和‘conv4_1’，(e)‘conv1_1’，‘conv2_1’，‘conv3_1’，‘conv4_1’和‘conv5_1’重建的风格特征。VGG不同层重建的风格特征有不同的视觉效果，风格特征采用多层特征的融合，风格表达会更加丰富。为将创建出来的内容特征匹配给定的风格特征，可以联立从卷积神经网络的图像内容表示和多层特征融合的风格表示，公式(1)为第一目标函数：
其中，Ltotal背是第一目标函数，是背景的内容损失，αl是重建在l层的权重值，是背景的风格损失，βl是重建在l层的权重值，L为卷积神经网络卷积层的总数，Γ是平衡内容损失和风格损失的权重。
另外，在图像进入卷积神经网络进行特征提取过程中，采用S表示风格图像，O表示输出图像，I表示内容图像。
通过最小化输出图像O在卷积神经网络第l层的特征表示Fl[O]和内容图像I在卷积神经网络第l层的特征表示Fl[I]之间的均方误差损失函数得到背景的内容损失函数如公式(2)所示：
其中，Nl为卷积神经网络第l层的特征向量个数，Dl是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
图像的风格表示由卷积层中不同滤波器之间特征响应的相关关系组成，用表示，其中Gl是图像在l层中特征向量间的Gram Matrix(格拉姆矩阵)，是计算第l层的第i个特征向量和第j个特征向量的内积，表示为公式(3)：
通过最小化输出图像O的Gram Matrix和风格图像(重彩画)S的Gram Matrix的均方距离得到背景的风格损失如公式(4)所示：
其中，Gl[O]是输出图在l层的格拉姆矩阵，Gl[S]是风格图像在l层的格拉姆矩阵，格拉姆矩阵的每个值可以说是代表第i个特征向量与第j个特征向量的互相关程度，Nl表示在VGG网络的每层有Nl个滤波器，每个滤波器的特征向量长度为Dl，是特征矩阵，其中是l层的第i个滤波器特征向量中第k个特征值的激活值，是l层的第j个滤波器特征向量中第k个特征值的激活值。
将以上损失函数用于背景风格转移，得到背景风格转移图；该背景风格转移图既保留了内容图的结构，又融合的风格图的风格。
进一步的，人物风格转移步骤包括：采用语义分割和最小化第二目标函数，将重彩画的人物风格转移到变形图上，得到人物风格转移图。
具体的，如果采用背景风格转移步骤中的第一目标函数进行人物风格转移，因为第一目标函数没有结构保持项，所以在对人物风格转移时会发生人物扭曲，人类视觉是接受不了的，需要增加结构保持的损失函数来进行修正，使人物结构得以保持，因此，采用如下算法进行人物风格的转移。该算法主要通过最小化公式(5)所示的第二目标函数，将风格图像转移到内容图像上：
其中，Ltotal人是施加有结构保持损失函数的目标函数，是人物的内容损失，αl是重建在l层的权重值，是人物的风格损失，βl是重建在l层的权重值，Γ是平衡内容损失和风格损失重建的权重，Lm是结构保持损失函数，λm是结构保持权重，L为卷积神经网络卷积层的总数；λm越大结构保持效果越好，但风格传递的效果会减弱，太小则结构不能被很好的保持，结构保持损失函数Lm如公式(6)所表示：
其中，Vc[O]是输出图像O的(N×1)向量，MI是Matting Laplacian matrix(抠图拉普拉斯矩阵)，c是颜色通道，c＝1、2、3分别表示红、绿、蓝。
通过增加结构保持函数，将重彩画的风格转移到照片的同时，人物结构得到很好的保持，提高人物风格转效果。
通过最小化输出图像O在卷积神经网络第l层的特征表示Fl[O]和内容图像I在卷积神经网络第l层的特征表示Fl[I]之间的均方误差损失函数得到人物的内容损失函数如公式(7)所示：
其中，Nl为卷积神经网络第l层的特征向量个数，Dl是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
为了实现对应语义的风格转移，在风格转移前对图像进行语义分割，然后进行对应分割标签的风格转移，此时人物的风格损失函数表示为公式(8)，并通过公式(9)、(10)来计算：
Fl,c[O]＝Fl[O]Ml,c[O] (9)
Fl,c[S]＝Fl[S]Ml,c[S] (10)
其中，C是语义分割类别数，Gl,c[O]是语义分割后输出图在l层的格拉姆矩阵，Gl,c[S]是语义分割后重彩画S在l层的格拉姆矩阵，Nl,c是格拉姆矩阵的阶数，Fl,c[S]是重彩画语义分割后的特征表示，Fl[S]是重彩画在卷积神经网络第l层的特征表示，Ml,c[S]是重彩画在第l层的第c个分割掩膜，Fl,c[O]是输出图语义分割后的特征表示，Fl[O]是输出图在卷积神经网络第l层的特征表示，Ml,c[O]是输出图在第l层的第c个分割掩膜。
将以上损失函数用于人物风格转移，得到人物风格转移图。
进一步的，头像风格转移步骤包括：头像是精致细腻程度较高的部分，为了让头像的细节能完整的保留，对头像进行分区域结构增强的风格转移，使内容图人物的脸和风格图人物的脸对应，内容图人物的眼影区域和风格图人物的眼影对应等，从而实现对应语义风格转移。采用语义分割和最小化第三目标函数，将重彩画的人物头像风格转移到变形图上，得到头像风格转移图；第三目标函数如公式(11)所示：
其中，是头像的内容损失，αl是重建在l层的权重值，是头像的风格损失，βl是重建在l层的权重值，Γ是平衡内容损失和风格损失重建的权重，L为卷积神经网络卷积层的总数。
头像的内容损失可参考背景的内容损失函数的计算公式(2)。
为了实现对应语义的风格转移，在风格转移前对头像进行语义分割，然后进行对应分割标签的风格转移，此时头像的风格损失可参考人物的风格损失函数的计算公式(8)、(9)、(10)。
将以上损失函数用于头像风格转移，得到头像风格转移图。采用如上步骤单独对头像进行风格转移人脸不会发生扭曲，且风格图的纹理能很好的转移到内容图中。
进一步的，服饰纹理转移步骤包括：采用图像类比的方法将重彩画的服饰纹理拼贴、转移到变形图上，得到服饰纹理转移图。
具体的，首先，将重彩画的服饰纹理简单的拼贴到变形图的服饰上，建立变形图与重彩画的服饰风格图在语义上的对应关系。输入为图像A和B'，输出为图像A'和B；通过VGG19提取输入图像A和B'的特征，L层卷积层会输出特征图和因为A和A'、B和B'在轮廓形状上是相似的，只有纹理、颜色等是不一样的，所以可以认为
然后，将变形图和重彩画进行NNF(nearest-neighbor field，最近邻场)搜索计算第L层的以及表示的映射，也可以表示的映射，同理定义
生成的服饰纹理转移图补全了变形图的服饰中未进行纹理拼贴的部分，最终生成的服饰纹理转移图既保留了变形图的形状大小，又和重彩画的纹理特征一致。也就是说，通过上面的预处理得到图像A，A'，B'和B在L层的特征。对于L-1层的A'特征，A'是即具有A的轮廓形状的特征，又具有B'的纹理、颜色等细节。
综上，服饰纹理转移步骤中采用图像类比的方法是从深度卷积网络中提取内容图和风格图的特征进行匹配，匹配策略是采用了NNF，这就要求内容图和风格图语义上相对应，这样在进行NNF搜索时才能找到风格图和内容图语义对应的位置，从而得到纹理转移图。
可见，对于重彩画中纹理结构性强的服饰，现有的方法使用Gram matrix来约束隐藏层特征，重建出来的特征位置会被打散，纹理打乱后散失了重彩画的美感。因此对于重彩画中纹理结构性强的服饰，使用图像类比的方法，在特征空间进行对应块匹配，来生成服饰纹理，不但避免了服饰纹理被打乱的问题，还具有较快的运行速度。
融合步骤S130：将背景风格转移图、人物风格转移图、头像风格转移图和服饰纹理转移图进行融合，得到融合图。这里可采用泊松图像融合的方法将上述多种风格转移图进行融合。
叠加步骤S140：提取变形图的线条图，并将线条图与融合图进行叠加，得到线条增强的重彩画风格转移图。
这里可采用线条提取的算法提取线条图。具体的，参照图3，叠加步骤S140在提取线条图的具体实现过程中，包括如下内容：
步骤S210，采用L0梯度最小化平滑图像算法将变形图进行平滑，得到平滑图像；
步骤S220，采用各项异性的DoG(Difference-of-Gaussians，高斯差分)滤波器将平滑图像进行提取，得到轮廓线；
步骤S230，采用基于卷积神经网络的线条图缺口检测和补全算法对轮廓线进行缺口的检测和补全，得到线条补全的线条图。
综上，上述实施例所提供的重彩画风格转移方法，各个步骤之间前后关联，共同构成一个整体：对输入图像人物进行变形得到输入图像的变形图；将变形图分成四个部分进行风格转移，得到背景风格转移图、人物风格转移图、人物结构保持图、头像风格转移图和服饰纹理转移图，再将上述的多个转移图进行融合，得到融合图；用线条提取的算法提取变形图的线条图，将线条图叠加到融合图中得到最终的重彩画风格转移图。采用上述方法生成的重彩画风格转移图具有重彩画人物肢体修长的美感、精细的纹理特征和线条分明灵动的特点。
本发明实施例带来了以下有益效果：
本发明提供的重彩画的风格转移方法，包括：对输入图像中的人物进行变形，得到输入图像的变形图；采用预设方法将重彩画风格按图像语义区域分别转移到变形图上，得到不同语义区域的重彩画风格转移图；将不同语义区域的重彩画风格转移图进行融合，得到融合图；提取变形图的线条图，并将线条图与融合图进行叠加，得到线条增强的重彩画风格转移图。本发明通过将输入图像进行人物变形、按语义风格转移、融合和线条叠加，以使风格转移结果既保留输入图像的人物脸部特点又表现出重彩画修长的人物肢体、服饰纹理的结构和重彩画的线条感。
另外，为了实现上述效果，上述实施例所涉及的全部步骤缺一不可。
本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的重彩画的风格转移方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的重彩画的风格转移方法的步骤。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种重彩画的风格转移方法，其特征在于，所述方法包括：
变形步骤：对输入图像中的人物进行变形，得到输入图像的变形图；
风格转移步骤：采用预设方法将重彩画风格按图像语义区域分别转移到变形图上，得到不同语义区域的重彩画风格转移图；
融合步骤：将不同语义区域的重彩画风格转移图进行融合，得到融合图；
线条增强步骤：提取所述变形图的线条图，并将所述线条图与所述融合图进行叠加，得到线条增强的重彩画风格转移图。
2.根据权利要求1所述的方法，其特征在于，所述变形步骤包括：
根据所述输入图像中的人物位置对3D骨架模型进行拟合，将得到的3D模型拟合图嵌入到二维三角形网格中进行三角形剖分，通过调节3D模型姿态和形状以控制二维三角形剖分结果，达到人物变形的目的，输出所述变形图。
3.根据权利要求1所述的方法，其特征在于，所述不同语义区域的重彩画风格转移图包括背景风格转移图、人物风格转移图、头像风格转移图和服饰纹理转移图，所述风格转移步骤包括：
背景转移步骤：采用第一目标函数将重彩画的背景风格转移到所述变形图的背景上，得到所述背景风格转移图；
人物转移步骤：采用语义分割和第二目标函数，将所述重彩画的人物风格转移到所述变形图的人物上，得到所述人物风格转移图；
头像转移步骤：采用语义分割和第三目标函数，将所述重彩画的人物头像风格转移到所述变形图的头像上，得到所述头像风格转移图；
服饰转移步骤：采用图像类比的方法将所述重彩画的服饰纹理拼贴、转移到所述变形图的服饰上，得到所述服饰纹理转移图。
4.根据权利要求3所述的方法，其特征在于，所述背景转移步骤包括：
采用图像修复的方法将所述变形图的背景补全，得到背景补全图；
采用所述第一目标函数将重彩画的背景风格转移到所述背景补全图上，得到所述背景风格转移图。
5.根据权利要求3所述的方法，其特征在于，在所述人物转移步骤中，所述第二目标函数为施加有结构保持损失函数的目标函数，且所述第二目标函数根据下式获得：
其中，Ltotal人是施加有结构保持损失函数的目标函数，是人物的内容损失，αl是重建在l层的权重值，是人物的风格损失，βl是重建在l层的权重值，Γ是平衡内容损失和风格损失重建的权重，Lm是结构保持损失函数，λm是结构保持权重，L为卷积神经网络卷积层的总数。
6.根据权利要求5所述的方法，其特征在于，所述结构保持损失函数根据下式获得：
其中，Lm是所述结构保持损失函数，Vc[O]是输出图像的(N×1)向量，MI是抠图拉普拉斯矩阵，c是颜色通道。
7.根据权利要求5所述的方法，其特征在于，所述人物的内容损失根据下式获得：
其中，是所述人物的内容损失，Fl[O]是输出图像在卷积神经网络第l层的特征表示，Fl[I]是变形图像在卷积神经网络第l层的特征表示，Nl为卷积神经网络第l层的特征向量个数，Dl是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
8.根据权利要求5所述的方法，其特征在于，所述人物的风格损失根据下式获得：
其中，为所述人物的风格损失，C是语义分割类别数，Gl,c[O]是语义分割后输出图在l层的格拉姆矩阵，Gl,c[S]是语义分割后重彩画S在l层的格拉姆矩阵，Nl,c是格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
9.根据权利要求3所述的方法，其特征在于，所述融合步骤包括：
采用泊松图像融合的方法将所述背景风格转移图、所述人物风格转移图、所述头像风格转移图和所述服饰纹理转移图进行融合，得到所述融合图。
10.根据权利要求1所述的方法，其特征在于，在所述线条增强步骤中，所述线条图的获得包括：
采用梯度最小化平滑图像算法将所述变形图进行平滑，得到平滑图像；
采用各项异性的高斯差分DoG滤波器将所述平滑图像进行提取，得到轮廓线；
采用基于卷积神经网络的线条图缺口检测和补全算法对所述轮廓线进行缺口的检测和补全，得到线条补全的所述线条图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811218230.XA CN109377537B (zh) | 2018-10-18 | 2018-10-18 | 重彩画的风格转移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811218230.XA CN109377537B (zh) | 2018-10-18 | 2018-10-18 | 重彩画的风格转移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109377537A true CN109377537A (zh) | 2019-02-22 |
| CN109377537B CN109377537B (zh) | 2020-11-06 |
Family
ID=65400456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811218230.XA Active CN109377537B (zh) | 2018-10-18 | 2018-10-18 | 重彩画的风格转移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109377537B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681183A (zh) * | 2020-06-05 | 2020-09-18 | 兰州理工大学 | 一种壁画图像色彩还原方法及装置 |
| CN111833238A (zh) * | 2020-06-01 | 2020-10-27 | 北京百度网讯科技有限公司 | 图像的翻译方法和装置、图像翻译模型的训练方法和装置 |
| CN112102303A (zh) * | 2020-09-22 | 2020-12-18 | 中国科学技术大学 | 基于单图像生成对抗网络的语义图像类比方法 |
| WO2021031506A1 (zh) * | 2019-08-22 | 2021-02-25 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112767506A (zh) * | 2020-12-31 | 2021-05-07 | 维沃移动通信有限公司 | 图像处理方法、装置和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104820999A (zh) * | 2015-04-28 | 2015-08-05 | 成都品果科技有限公司 | 一种将自然图像转换成水墨画风格图像的方法 |
| US20170148222A1 (en) * | 2014-10-31 | 2017-05-25 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled ar/vr content |
| CN106960457A (zh) * | 2017-03-02 | 2017-07-18 | 华侨大学 | 一种基于图像语义提取和涂鸦的彩绘画创作方法 |
| US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
| US20180144509A1 (en) * | 2016-09-02 | 2018-05-24 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
-
2018
- 2018-10-18 CN CN201811218230.XA patent/CN109377537B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170148222A1 (en) * | 2014-10-31 | 2017-05-25 | Fyusion, Inc. | Real-time mobile device capture and generation of art-styled ar/vr content |
| CN104820999A (zh) * | 2015-04-28 | 2015-08-05 | 成都品果科技有限公司 | 一种将自然图像转换成水墨画风格图像的方法 |
| US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
| US20180144509A1 (en) * | 2016-09-02 | 2018-05-24 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN106960457A (zh) * | 2017-03-02 | 2017-07-18 | 华侨大学 | 一种基于图像语义提取和涂鸦的彩绘画创作方法 |
| CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 卢丽稳: "人脸肖像风格化绘制技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 普园媛 等: "云南重彩画白描图绘制系统", 《计算机工程与设计》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021031506A1 (zh) * | 2019-08-22 | 2021-02-25 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111833238A (zh) * | 2020-06-01 | 2020-10-27 | 北京百度网讯科技有限公司 | 图像的翻译方法和装置、图像翻译模型的训练方法和装置 |
| CN111833238B (zh) * | 2020-06-01 | 2023-07-25 | 北京百度网讯科技有限公司 | 图像的翻译方法和装置、图像翻译模型的训练方法和装置 |
| CN111681183A (zh) * | 2020-06-05 | 2020-09-18 | 兰州理工大学 | 一种壁画图像色彩还原方法及装置 |
| CN112102303A (zh) * | 2020-09-22 | 2020-12-18 | 中国科学技术大学 | 基于单图像生成对抗网络的语义图像类比方法 |
| CN112102303B (zh) * | 2020-09-22 | 2022-09-06 | 中国科学技术大学 | 基于单图像生成对抗网络的语义图像类比方法 |
| CN112767506A (zh) * | 2020-12-31 | 2021-05-07 | 维沃移动通信有限公司 | 图像处理方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109377537B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377537B (zh) | 重彩画的风格转移方法 | |
| Song et al. | Geometry-aware face completion and editing | |
| US10839581B2 (en) | Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product | |
| US11055888B2 (en) | Appearance-flow-based image generation | |
| Liu et al. | Depth-aware neural style transfer | |
| US10192365B2 (en) | Augmented reality content rendering via albedo models, systems and methods | |
| US20200151963A1 (en) | Training data set generation apparatus and method for machine learning | |
| CN112784865A (zh) | 使用多尺度图块对抗性损失的衣物变形 | |
| WO2019050808A1 (en) | SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION | |
| Kumar et al. | A comprehensive survey on non-photorealistic rendering and benchmark developments for image abstraction and stylization | |
| CN104123749A (zh) | 一种图像处理方法及系统 | |
| CN111028354A (zh) | 一种基于图像序列的模型形变人脸三维重建方案 | |
| WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN106855987A (zh) | 基于模特道具的真实感时装展示方法和装置 | |
| Zheng et al. | Image-based clothes changing system | |
| WO2020104990A1 (en) | Virtually trying cloths & accessories on body model | |
| US20230126829A1 (en) | Point-based modeling of human clothing | |
| Wu et al. | Use of non-photorealistic rendering and photometric stereo in making bas-reliefs from photographs | |
| Laishram et al. | High-quality face caricature via style translation | |
| Dang et al. | Multi-resolution patch and window-based priority for digital image inpainting problem | |
| US20240144586A1 (en) | Generating shadows for objects in two-dimensional images utilizing a plurality of shadow maps | |
| He et al. | Text-based image style transfer and synthesis | |
| CN106485206A (zh) | 基于化妆的视频图片结合的教学方法及装置 | |
| Wu et al. | Exemplar-based image completion model employing PDE corrections | |
| KR100473593B1 (ko) | 3차원 캐리커쳐 생성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220526 Address after: 650034 Qiuyuan Park, the lower section of Xinwen Road, Xishan District, Kunming City, Yunnan Province Patentee after: Yunnan Yinghe culture media Co.,Ltd. Address before: 650000 No. 2 Cuihu Road, Wuhua District, Kunming City, Yunnan Province Patentee before: YUNNAN University |
|
| TR01 | Transfer of patent right |