CN111862270B - 一种基于双色彩空间引导的动漫线稿自动上色方法 - Google Patents

一种基于双色彩空间引导的动漫线稿自动上色方法 Download PDF

Info

Publication number
CN111862270B
CN111862270B CN202010687470.5A CN202010687470A CN111862270B CN 111862270 B CN111862270 B CN 111862270B CN 202010687470 A CN202010687470 A CN 202010687470A CN 111862270 B CN111862270 B CN 111862270B
Authority
CN
China
Prior art keywords
color space
hsv
network
color
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010687470.5A
Other languages
English (en)
Other versions
CN111862270A (zh
Inventor
李豪杰
窦智
王智慧
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010687470.5A priority Critical patent/CN111862270B/zh
Publication of CN111862270A publication Critical patent/CN111862270A/zh
Application granted granted Critical
Publication of CN111862270B publication Critical patent/CN111862270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于动漫线稿自动上色技术领域,提供一种基于双色彩空间引导的动漫线稿自动上色方法。该方法受到插画师创作过程的启发,搭建了一个色彩空间转换网络学习RGB到HSV色彩空间的转换,从而在方法中构建起双色彩空间;并以此为基础提出像素级绘画先验DP损失函数隐式挖掘插画师融入到HSV空间的绘画先验,同时提出全局的双色彩空间对抗DCSA损失函数充分监督本方法以得到更加平滑的生成结果。本发明的有益效果为:采用本发明能得到高质量的动漫线稿自动上色结果,具体表现为:上色结果包含丰富的色彩,合适的饱和度及明度对比;同时,本发明极大的缓解了生成结果颜色溢出和人工生成物的问题。

Description

一种基于双色彩空间引导的动漫线稿自动上色方法
技术领域
本发明属于动漫线稿自动上色技术领域,涉及一种给定动漫线稿和可选人工提示,得到自动上色结果的技术,具体涉及一种基于双色彩空间引导的动漫线稿自动上色方法。
背景技术
动漫线稿自动上色在计算机图形学和计算机视觉领域都是一项具有挑战性的任务,因为所有颜色,纹理和阴影的生成仅仅基于信息高度抽象且稀疏的线稿。此外,真实的动漫彩图绘制还是一个主观的任务,需要插画师理解诸如色相变化,饱和度对比和明暗对比等绘画先验,并在更接近人类视觉认知系统的HSV色彩空间中利用它们。因此,隐含在HSV色彩空间中的信息对线稿上色任务将有很大的帮助。然而,现存的方法都仅仅在RGB色彩空间中对方法改进来提升上色效果,而没有考虑到HSV色彩空间。
动漫线稿上色领域的最新进展主要是由深度学习方法驱动的,且主要利用的是Goodfellow等人提出生成对抗网络(Goodfellow I J,Pouget-Abadie J,Mirza M,etal.Generative Adversarial Networks.Advances in Neural Information ProcessingSystems,2014,3:2672-2680.)GAN的能力。以生成对抗网络为基础工作,研究者们提出了不同的线稿上色方法来生成彩色图像。例如,TaiZan等人提出的PaintsChainer系列(PaintschainerTanpopo,Canna,Satsuki,2016.https://petalica-paint.pixiv.dev/index zh.html)提供了易于操作的上色框架,并产生了一些可被大众接受的结果。但是,该系列中的Canna,Tanpopo受限于颜色溢出问题,不能遵循给定线稿的限制得到干净整洁的上色结果,而Satsuki则会产生颜色失真问题,其输出仅为同一颜色倾向的结果。相比之下,基于双阶段判别修正的方法Style2Paints(Zhang L,Li C,Wong T T,et al.Two-stagesketch colorization.Acm Transactions on Graphics,2018,37(6):1-14.)改进了PaintsChainer出现的问题,并获得了更好的视觉效果。然而,由于其第二阶段的判别修正方式过于严苛,其生成的图像通常缺乏精确的阴影的丰富的色彩,并且每次生成都需要采用两步方式,比较耗时。除此之外,Ci等人(Y.Ci,X.Ma,Z.Wang,H.Li,and Z.Luo,User-guided deep animeline art colorization with conditional adversarialnetworks.ACM Multimedia Conference on Multimedia Conference,MM 2018,pp.153)提出了一种新颖的方法UGDALAC,其利用提取局部特征作为条件输入的方式,来提高生成网络对于真实线稿的泛化能力来得到合理的上色结果。虽然这些方法在动漫线稿上色领域进展斐然,但他们仍然无法生成具有明显明暗对比,丰富的色彩和合理的饱和度分布的上色结果。
针对上述问题,本发明提出了一种新颖的线稿上色算法,其基本思想是参考人类插画师的创作流程,充分考虑隐含在HSV色彩空间中的信息。结合HSV与RGB色彩空间以构造双色彩空间。并在此基础上分别提出像素级监督绘画先验DP损失函数以及全局监督双色彩空间对抗DCSA损失函数。DP损失函数使本发明能够隐式的学习插画师在真实创作过程中融入到HSV色彩空间的绘画先验得到具有和谐色彩组成的上色结果,DCSA能够鼓励本方法充分考虑RGB和HSV色彩空间的全局分布来减少伪影和人工生成物得到更加平滑的结果以满足大众的审美期望。
发明内容
本发明目的提出一种基于双色彩空间引导的线稿自动上色方法。处理目标:真实的动漫线稿图像,处理目的:根据线稿结合可选输入的色彩提示生成高质量的动漫线稿上色结果。
本发明的技术方案:
一种基于双色彩空间引导的动漫线稿自动上色方法,结合RGB和HSV色彩空间构建双色彩空间;以此为基础提出像素级及全局监督,利用生成对抗网络的方式进行训练;具体包括网络架构设计部分和算法训练部分;
(1)网络架构设计部分
算法共包含三个网络:色彩空间转换网络T、生成器G和判别器D;
色彩空间转换网络T来实现RGB到HSV色彩空间的转换,将HSV色彩空间引入到算法中以构建双色彩空间,考虑到RGB到HSV的变换是像素级的三个非线性函数,不需关注任何全局或局部信息,因此仅使用卷积核大小为1,步长为1的卷积层进行网络构建;色彩空间转换网络T的开始部分包含3个卷积层,中间部分含5个ResNeXt(Xie S,Girshick R,Dollár,Piotr,et al.Aggregated Residual Transformations for DeepNeuralNetworks.2016.)残差块来提升网络拟合性能,在末尾采用3个卷积层得到输出;为确保色彩空间转换网络T能正确地学习RGB到HSV色彩空间的转换函数,使用真实的RGB彩色动漫图像和其对应的HSV图像采用L1损失函数对网络T进行预训练;
生成器G采用UGDALAC算法进行构建,采用其提出的局部特征抽取方法来缓解训练过程中出现的过拟合问题,提升生成结果的泛化效果。
判别器D的设计,在UGDALAC的判别器输入层进行了改进;采用生成器G的输出,以及色彩空间转换网络T的输出串联得到的结果作为判别器D的输入,以此使判别器D从双色彩空间对算法进行监督,产生更加出众的上色结果。
(2)算法训练部分
第一步,使用生成线稿X,随机颜色提示Ht,局部特征F(X)作为生成器G的输入,输出上色结果Yg;
其中生成线稿X由真实彩色图像Y经过XDoG滤波算法得到,随机颜色提示Ht由真实彩色图像Y的4倍下采样结果进行随机采点得到。局部特征F(X)为局部特征提取器,方法中采用的是预训练好的Illustration2Vec(Saito M,Matsui Y.Illustration2Vec:asemantic vector representation of illustrations.Siggraph Asia TechnicalBriefs.ACM,2015.)网络的第6层卷积后的结果;
第二步,采用WGAN-GP框架的训练方式,结合提出的双色彩空间对抗DCSA损失函数对判别器D进行训练;
将真实彩色图像Y以及生成器G的输出的上色结果Yg输入到色彩空间转换网络T中得到对应的HSV色彩空间的结果T(Y)和T(Yg);将Y与T(Y)串联,Yg和T(Yg)串联的结果分别输入到判别器D中,利用公式1的DSCA损失函数对判别器D进行训练,以此从双色彩空间进行全局监督,来提升生成器G的上色效果;
Ldcsa=Lad+Lp 公式1
其中,Lad为对抗损失项,Lp为梯度惩罚项,采用的是WGAN-GP的损失函数定义方式来获取稳定的训练性能,具体定义如公式2,公式3所示;
Figure BDA0002588105990000041
Figure BDA0002588105990000042
在公式2中,
Figure BDA0002588105990000043
Figure BDA0002588105990000044
分别是真实彩色图像和生成彩色图像的RGB分布,
Figure BDA0002588105990000045
Figure BDA0002588105990000046
分别是真实彩色图像和生成彩色图像的HSV分布,λ1取值为1;在公式3中,λp取值为10,λd取值为1e-3,
Figure BDA0002588105990000047
代表的是真实彩色图像与生成彩色图像在双色彩空间分布中的插值分布,其定义如公式4所示,其中U代表的是0到1之间的均匀分布,∈为分布的取值;
Figure BDA0002588105990000051
第三步,采用WGAN-GP框架的训练方式,结合上面提到的双色彩空间对抗DCSA损失函数,以及下面的提出的绘画先验DP损失函数
Figure BDA0002588105990000052
视觉感知损失函数
Figure BDA0002588105990000053
对生成器G进行训练;将真实的真实彩色图像Y以及生成器G的输出Yg输入到色彩空间转换网络T中得到对应的HSV空间的结果T(Y)和T(Yg);利用公式5在HSV色彩空间上计算的L1损失表示绘画先验DP损失函数,通过拟合真实彩色图像Y在HSV色彩空间的分布来隐式的引导生成器G去学习绘画先验知识,得到具有和谐色彩组成的上色结果;
Figure BDA0002588105990000054
其中λdp取值为10,由于DP损失是一个像素级别的损失,没有考虑到全局信息将导致不和谐纹理的产生;因此,采用公式2的双色彩空间对抗DCSA损失函数取λ1值为1e-4从双色彩空间对生成结果进行全局监督,以此来平滑人工生成物,得到符合人类审美的上色结果;除此之外,还采用了广泛应用于生成任务的视觉感知损失函数
Figure BDA0002588105990000055
来在特征层面对生成结果进行监督,进一步拟合真实数据的分布;其定义如公式6所示。
Figure BDA0002588105990000056
其中,V为预训练的VGG16网络,采取其第4层卷积输出的结果作为损失计算的特征图,c,h,w分别代表特征图的通道数,高度和宽度。
本发明的有益效果:采用本发明能够对输入的动漫线稿进行高质量的自动上色,生成具有和谐色彩组成的上色结果,具体表现为丰富多样的色彩倾向,合适的饱和度及明度对比。同时,本发明极大的缓解了生成结果颜色溢出和人工生成物的问题,解决了现有方法的不足之处,更加符合人类的审美。
附图说明
图1为本发明的整体流程图。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
本发明基于Pytorch深度学习框架搭建整体算法网络,基础的数据处理采用Python语言实现。
Step 1:使用XDoG滤波算法对真实的彩色动漫图像提取生成线稿,制作上色任务训练数据集Data1;使用RGB到HSV色彩空间的转换公式获取真实彩色动漫图像的HSV结果,制作色彩转换网络训练数据集Data2。
Step 2:构建色彩转换网络T,使用刚刚制作得到的配对数据集Data2,采用L1损失函数训练色彩转换网络T至收敛。
Step 3:构建Illustration2Vec和VGG16网络,并获取其预训练权重待用。
Step 4:按照UGDALAC算法的设计搭建生成器,判别器,采用UGDALAC的算法的损失函数及训练流程,在上色任务数据集Data1上训练至收敛。
Step5:构建本发明中提出的生成器G,判别器D。采用Step 4中得到的生成器权重对本发明的G进行权重初始化,舍弃掉Step 4中的判别器权重。冻结G的权重,采用本发明的损失函数对判别器D在上色任务数据集Data1中进行1000次迭代训练。
Step 6:结束Step5的初始化操作后,采用本发明提出的训练方式和损失函数对生成器G和判别器D在Data1数据集上训练至收敛。
Step 7:使用真实的动漫线稿及可选的颜色提示作为生成器G的输入,得到动漫线稿自动上色的结果。

Claims (1)

1.一种基于双色彩空间引导的动漫线稿自动上色方法,结合RGB和HSV色彩空间构建双色彩空间;以此为基础提出像素级及全局监督,利用生成对抗网络的方式进行训练;具体包括网络架构设计部分和算法训练部分;其特征在于,
(1)网络架构设计部分
算法共包含三个网络:色彩空间转换网络T、生成器G和判别器D;
色彩空间转换网络T来实现RGB到HSV色彩空间的转换,将HSV色彩空间引入到算法中以构建双色彩空间,考虑到RGB到HSV的变换是像素级的三个非线性函数,不需关注任何全局或局部信息,因此仅使用卷积核大小为1,步长为1的卷积层进行网络构建;色彩空间转换网络T的开始部分包含3个卷积层,中间部分含5个ResNeXt残差块来提升网络拟合性能,在末尾采用3个卷积层得到输出;为确保色彩空间转换网络T能正确地学习RGB到HSV色彩空间的转换函数,使用真实的RGB彩色动漫图像和其对应的HSV图像采用L1损失函数对网络T进行预训练;
生成器G采用UGDALAC算法进行构建,采用其提出的局部特征抽取方法来缓解训练过程中出现的过拟合问题,提升生成结果的泛化效果;
判别器D的设计,在UGDALAC的判别器输入层进行了改进;采用生成器G的输出,以及色彩空间转换网络T的输出串联得到的结果作为判别器D的输入,以此使判别器D从双色彩空间对算法进行监督,产生更加出众的上色结果;
(2)算法训练部分
第一步,使用生成线稿X,随机颜色提示Ht,局部特征F(X)作为生成器G的输入,输出上色结果Yg;
其中生成线稿X由真实彩色图像Y经过XDoG滤波算法得到,随机颜色提示Ht由真实彩色图像Y的4倍下采样结果进行随机采点得到;局部特征F(X)为局部特征提取器,方法中采用的是预训练好的Illustration2Vec网络的第6层卷积后的结果;
第二步,采用WGAN-GP框架的训练方式,结合提出的双色彩空间对抗DCSA损失函数对判别器D进行训练;
将真实彩色图像Y以及生成器G的输出的上色结果Yg输入到色彩空间转换网络T中得到对应的HSV色彩空间的结果T(Y)和T(Yg);将Y与T(Y)串联,Yg和T(Yg)串联的结果分别输入到判别器D中,利用公式1的DSCA损失函数对判别器D进行训练,以此从双色彩空间进行全局监督,来提升生成器G的上色效果;
Ldcsa=Lad+Lp 公式1
其中,Lad为对抗损失项,Lp为梯度惩罚项,采用的是WGAN-GP的损失函数定义方式来获取稳定的训练性能,具体定义如公式2,公式3所示;
Figure FDA0002588105980000021
Figure FDA0002588105980000022
在公式2中,
Figure FDA0002588105980000023
Figure FDA0002588105980000024
分别是真实彩色图像和生成彩色图像的RGB分布,
Figure FDA0002588105980000025
Figure FDA0002588105980000026
分别是真实彩色图像和生成彩色图像的HSV分布,λ1取值为1;在公式3中,λp取值为10,λd取值为1e-3,
Figure FDA0002588105980000027
代表的是真实彩色图像与生成彩色图像在双色彩空间分布中的插值分布,其定义如公式4所示,其中U代表的是0到1之间的均匀分布,∈为分布的取值;
Figure FDA0002588105980000028
第三步,采用WGAN-GP框架的训练方式,结合上面提到的双色彩空间对抗DCSA损失函数,以及下面的提出的绘画先验DP损失函数
Figure FDA0002588105980000029
视觉感知损失函数
Figure FDA0002588105980000031
对生成器G进行训练;将真实的真实彩色图像Y以及生成器G的输出Yg输入到色彩空间转换网络T中得到对应的HSV空间的结果T(Y)和T(Yg);利用公式5在HSV色彩空间上计算的L1损失表示绘画先验DP损失函数,通过拟合真实彩色图像Y在HSV色彩空间的分布来隐式的引导生成器G去学习绘画先验知识,得到具有和谐色彩组成的上色结果;
Figure FDA0002588105980000032
其中λdp取值为10,由于DP损失是一个像素级别的损失,没有考虑到全局信息将导致不和谐纹理的产生;因此,采用公式2的双色彩空间对抗DCSA损失函数取λ1值为1e-4从双色彩空间对生成结果进行全局监督,以此来平滑人工生成物,得到符合人类审美的上色结果;除此之外,还采用了广泛应用于生成任务的视觉感知损失函数
Figure FDA0002588105980000033
来在特征层面对生成结果进行监督,进一步拟合真实数据的分布;其定义如公式6,
Figure FDA0002588105980000034
其中,V为预训练的VGG16网络,采取其第4层卷积输出的结果作为损失计算的特征图,c,h,w分别代表特征图的通道数,高度和宽度。
CN202010687470.5A 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法 Active CN111862270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010687470.5A CN111862270B (zh) 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010687470.5A CN111862270B (zh) 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法

Publications (2)

Publication Number Publication Date
CN111862270A CN111862270A (zh) 2020-10-30
CN111862270B true CN111862270B (zh) 2022-09-16

Family

ID=72983106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010687470.5A Active CN111862270B (zh) 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法

Country Status (1)

Country Link
CN (1) CN111862270B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129409B (zh) * 2021-04-30 2023-07-25 华南农业大学 一种基于深度学习的漫画线稿上色方法
CN114913273B (zh) * 2022-05-30 2024-07-09 大连理工大学 一种基于深度学习的动画视频线稿上色方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830913B (zh) * 2018-05-25 2022-05-17 大连理工大学 基于用户颜色引导的语义级别线稿上色方法
CN109584325B (zh) * 2018-10-30 2020-01-07 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN110223359B (zh) * 2019-05-27 2020-11-17 浙江大学 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
CN110378985B (zh) * 2019-07-19 2023-04-28 中国传媒大学 一种基于gan的动漫绘画辅助创作方法

Also Published As

Publication number Publication date
CN111862270A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111080511B (zh) 一种端到端的高分辨率多特征提取的人脸交换方法
Chen et al. Echomimic: Lifelike audio-driven portrait animations through editable landmark conditions
Huang et al. Deep learning for image colorization: Current and future prospects
CN106600667B (zh) 一种基于卷积神经网络的视频驱动人脸动画方法
CN114723643B (zh) 一种基于强化学习和美学评估的低光图像增强方法
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN102509333B (zh) 基于动作捕获数据驱动的二维卡通表情动画制作方法
CN107993255B (zh) 一种基于卷积神经网络的稠密光流估计方法
CN111862270B (zh) 一种基于双色彩空间引导的动漫线稿自动上色方法
CN106709933B (zh) 一种基于非监督学习的运动估计方法
CN114127776A (zh) 用于训练具有构数据的生成式对抗网络的方法和系统
US20220254106A1 (en) Method of gaze estimation with 3d face reconstructing
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN116266251A (zh) 一种草图生成对抗网络、渲染生成对抗网络及其服饰设计方法
Wang et al. HiCAST: highly customized arbitrary style transfer with adapter enhanced diffusion models
CN116912095A (zh) 一种低亮度彩色图和低分辨率深度图联合增强方法
Hou et al. A Markov Chain approach for video-based virtual try-on with denoising diffusion generative adversarial network
Wang et al. Dual degradation-inspired deep unfolding network for low-light image enhancement
Chen et al. A robust transformer GAN for unpaired data makeup transfer
CN115719491A (zh) 一种基于生成对抗网络的深度可变形艺术字样式迁移方法
Wang et al. Self-supervised monocular depth estimation based on high-order spatial interactions
Hicsonmez et al. Wait: Feature warping for animation to illustration video translation using gans
Wang et al. Low-frequency guided self-supervised learning for high-fidelity 3D face reconstruction in the wild
Parihar et al. UndarkGAN: Low-light image enhancement with cycle-consistent adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Haojie

Inventor after: Dou Zhi

Inventor after: Wang Zhihui

Inventor after: Wang Ning

Inventor before: Li Haojie

Inventor before: Wang Zhihui

Inventor before: Dou Zhi

Inventor before: Wang Ning

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant