CN111862270B - 一种基于双色彩空间引导的动漫线稿自动上色方法 - Google Patents

一种基于双色彩空间引导的动漫线稿自动上色方法 Download PDF

Info

Publication number
CN111862270B
CN111862270B CN202010687470.5A CN202010687470A CN111862270B CN 111862270 B CN111862270 B CN 111862270B CN 202010687470 A CN202010687470 A CN 202010687470A CN 111862270 B CN111862270 B CN 111862270B
Authority
CN
China
Prior art keywords
color space
color
result
network
hsv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010687470.5A
Other languages
English (en)
Other versions
CN111862270A (zh
Inventor
李豪杰
窦智
王智慧
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010687470.5A priority Critical patent/CN111862270B/zh
Publication of CN111862270A publication Critical patent/CN111862270A/zh
Application granted granted Critical
Publication of CN111862270B publication Critical patent/CN111862270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于动漫线稿自动上色技术领域，提供一种基于双色彩空间引导的动漫线稿自动上色方法。该方法受到插画师创作过程的启发，搭建了一个色彩空间转换网络学习RGB到HSV色彩空间的转换，从而在方法中构建起双色彩空间；并以此为基础提出像素级绘画先验DP损失函数隐式挖掘插画师融入到HSV空间的绘画先验，同时提出全局的双色彩空间对抗DCSA损失函数充分监督本方法以得到更加平滑的生成结果。本发明的有益效果为：采用本发明能得到高质量的动漫线稿自动上色结果，具体表现为：上色结果包含丰富的色彩，合适的饱和度及明度对比；同时，本发明极大的缓解了生成结果颜色溢出和人工生成物的问题。

Description

一种基于双色彩空间引导的动漫线稿自动上色方法
技术领域
本发明属于动漫线稿自动上色技术领域，涉及一种给定动漫线稿和可选人工提示，得到自动上色结果的技术，具体涉及一种基于双色彩空间引导的动漫线稿自动上色方法。
背景技术
动漫线稿自动上色在计算机图形学和计算机视觉领域都是一项具有挑战性的任务，因为所有颜色，纹理和阴影的生成仅仅基于信息高度抽象且稀疏的线稿。此外，真实的动漫彩图绘制还是一个主观的任务，需要插画师理解诸如色相变化，饱和度对比和明暗对比等绘画先验，并在更接近人类视觉认知系统的HSV色彩空间中利用它们。因此，隐含在HSV色彩空间中的信息对线稿上色任务将有很大的帮助。然而，现存的方法都仅仅在RGB色彩空间中对方法改进来提升上色效果，而没有考虑到HSV色彩空间。
动漫线稿上色领域的最新进展主要是由深度学习方法驱动的，且主要利用的是Goodfellow等人提出生成对抗网络(Goodfellow I J,Pouget-Abadie J,Mirza M,etal.Generative Adversarial Networks.Advances in Neural Information ProcessingSystems,2014,3:2672-2680.)GAN的能力。以生成对抗网络为基础工作，研究者们提出了不同的线稿上色方法来生成彩色图像。例如，TaiZan等人提出的PaintsChainer系列(PaintschainerTanpopo，Canna,Satsuki,2016.https://petalica-paint.pixiv.dev/index zh.html)提供了易于操作的上色框架，并产生了一些可被大众接受的结果。但是，该系列中的Canna，Tanpopo受限于颜色溢出问题，不能遵循给定线稿的限制得到干净整洁的上色结果，而Satsuki则会产生颜色失真问题，其输出仅为同一颜色倾向的结果。相比之下，基于双阶段判别修正的方法Style2Paints(Zhang L,Li C,Wong T T,et al.Two-stagesketch colorization.Acm Transactions on Graphics,2018,37(6):1-14.)改进了PaintsChainer出现的问题，并获得了更好的视觉效果。然而，由于其第二阶段的判别修正方式过于严苛，其生成的图像通常缺乏精确的阴影的丰富的色彩，并且每次生成都需要采用两步方式，比较耗时。除此之外，Ci等人(Y.Ci,X.Ma,Z.Wang,H.Li,and Z.Luo,User-guided deep animeline art colorization with conditional adversarialnetworks.ACM Multimedia Conference on Multimedia Conference,MM 2018,pp.153)提出了一种新颖的方法UGDALAC,其利用提取局部特征作为条件输入的方式，来提高生成网络对于真实线稿的泛化能力来得到合理的上色结果。虽然这些方法在动漫线稿上色领域进展斐然，但他们仍然无法生成具有明显明暗对比，丰富的色彩和合理的饱和度分布的上色结果。
针对上述问题，本发明提出了一种新颖的线稿上色算法，其基本思想是参考人类插画师的创作流程，充分考虑隐含在HSV色彩空间中的信息。结合HSV与RGB色彩空间以构造双色彩空间。并在此基础上分别提出像素级监督绘画先验DP损失函数以及全局监督双色彩空间对抗DCSA损失函数。DP损失函数使本发明能够隐式的学习插画师在真实创作过程中融入到HSV色彩空间的绘画先验得到具有和谐色彩组成的上色结果，DCSA能够鼓励本方法充分考虑RGB和HSV色彩空间的全局分布来减少伪影和人工生成物得到更加平滑的结果以满足大众的审美期望。
发明内容
本发明目的提出一种基于双色彩空间引导的线稿自动上色方法。处理目标：真实的动漫线稿图像，处理目的：根据线稿结合可选输入的色彩提示生成高质量的动漫线稿上色结果。
本发明的技术方案：
一种基于双色彩空间引导的动漫线稿自动上色方法，结合RGB和HSV色彩空间构建双色彩空间；以此为基础提出像素级及全局监督，利用生成对抗网络的方式进行训练；具体包括网络架构设计部分和算法训练部分；
(1)网络架构设计部分
算法共包含三个网络：色彩空间转换网络T、生成器G和判别器D；
色彩空间转换网络T来实现RGB到HSV色彩空间的转换，将HSV色彩空间引入到算法中以构建双色彩空间，考虑到RGB到HSV的变换是像素级的三个非线性函数，不需关注任何全局或局部信息，因此仅使用卷积核大小为1，步长为1的卷积层进行网络构建；色彩空间转换网络T的开始部分包含3个卷积层，中间部分含5个ResNeXt(Xie S,Girshick R,Dollár,Piotr,et al.Aggregated Residual Transformations for DeepNeuralNetworks.2016.)残差块来提升网络拟合性能，在末尾采用3个卷积层得到输出；为确保色彩空间转换网络T能正确地学习RGB到HSV色彩空间的转换函数，使用真实的RGB彩色动漫图像和其对应的HSV图像采用L1损失函数对网络T进行预训练；
生成器G采用UGDALAC算法进行构建，采用其提出的局部特征抽取方法来缓解训练过程中出现的过拟合问题，提升生成结果的泛化效果。
判别器D的设计，在UGDALAC的判别器输入层进行了改进；采用生成器G的输出，以及色彩空间转换网络T的输出串联得到的结果作为判别器D的输入，以此使判别器D从双色彩空间对算法进行监督，产生更加出众的上色结果。
(2)算法训练部分
第一步，使用生成线稿X，随机颜色提示Ht，局部特征F(X)作为生成器G的输入，输出上色结果Yg；
其中生成线稿X由真实彩色图像Y经过XDoG滤波算法得到，随机颜色提示Ht由真实彩色图像Y的4倍下采样结果进行随机采点得到。局部特征F(X)为局部特征提取器，方法中采用的是预训练好的Illustration2Vec(Saito M,Matsui Y.Illustration2Vec:asemantic vector representation of illustrations.Siggraph Asia TechnicalBriefs.ACM,2015.)网络的第6层卷积后的结果；
第二步，采用WGAN-GP框架的训练方式，结合提出的双色彩空间对抗DCSA损失函数对判别器D进行训练；
将真实彩色图像Y以及生成器G的输出的上色结果Yg输入到色彩空间转换网络T中得到对应的HSV色彩空间的结果T(Y)和T(Yg)；将Y与T(Y)串联，Yg和T(Yg)串联的结果分别输入到判别器D中，利用公式1的DSCA损失函数对判别器D进行训练，以此从双色彩空间进行全局监督，来提升生成器G的上色效果；
Ldcsa＝Lad+Lp 公式1
其中，Lad为对抗损失项，Lp为梯度惩罚项，采用的是WGAN-GP的损失函数定义方式来获取稳定的训练性能，具体定义如公式2，公式3所示；
Figure BDA0002588105990000041
Figure BDA0002588105990000042
在公式2中，
Figure BDA0002588105990000043
和
Figure BDA0002588105990000044
分别是真实彩色图像和生成彩色图像的RGB分布，
Figure BDA0002588105990000045
和
Figure BDA0002588105990000046
分别是真实彩色图像和生成彩色图像的HSV分布，λ1取值为1；在公式3中，λp取值为10，λd取值为1e-3，
Figure BDA0002588105990000047
代表的是真实彩色图像与生成彩色图像在双色彩空间分布中的插值分布，其定义如公式4所示，其中U代表的是0到1之间的均匀分布，∈为分布的取值；
Figure BDA0002588105990000051
第三步，采用WGAN-GP框架的训练方式，结合上面提到的双色彩空间对抗DCSA损失函数，以及下面的提出的绘画先验DP损失函数
Figure BDA0002588105990000052
视觉感知损失函数
Figure BDA0002588105990000053
对生成器G进行训练；将真实的真实彩色图像Y以及生成器G的输出Yg输入到色彩空间转换网络T中得到对应的HSV空间的结果T(Y)和T(Yg)；利用公式5在HSV色彩空间上计算的L1损失表示绘画先验DP损失函数，通过拟合真实彩色图像Y在HSV色彩空间的分布来隐式的引导生成器G去学习绘画先验知识，得到具有和谐色彩组成的上色结果；
Figure BDA0002588105990000054
其中λdp取值为10，由于DP损失是一个像素级别的损失，没有考虑到全局信息将导致不和谐纹理的产生；因此，采用公式2的双色彩空间对抗DCSA损失函数取λ1值为1e-4从双色彩空间对生成结果进行全局监督，以此来平滑人工生成物，得到符合人类审美的上色结果；除此之外，还采用了广泛应用于生成任务的视觉感知损失函数
Figure BDA0002588105990000055
来在特征层面对生成结果进行监督，进一步拟合真实数据的分布；其定义如公式6所示。
Figure BDA0002588105990000056
其中，V为预训练的VGG16网络，采取其第4层卷积输出的结果作为损失计算的特征图，c,h,w分别代表特征图的通道数，高度和宽度。
本发明的有益效果：采用本发明能够对输入的动漫线稿进行高质量的自动上色，生成具有和谐色彩组成的上色结果，具体表现为丰富多样的色彩倾向，合适的饱和度及明度对比。同时，本发明极大的缓解了生成结果颜色溢出和人工生成物的问题，解决了现有方法的不足之处，更加符合人类的审美。
附图说明
图1为本发明的整体流程图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明基于Pytorch深度学习框架搭建整体算法网络，基础的数据处理采用Python语言实现。
Step 1：使用XDoG滤波算法对真实的彩色动漫图像提取生成线稿，制作上色任务训练数据集Data1；使用RGB到HSV色彩空间的转换公式获取真实彩色动漫图像的HSV结果，制作色彩转换网络训练数据集Data2。
Step 2：构建色彩转换网络T，使用刚刚制作得到的配对数据集Data2，采用L1损失函数训练色彩转换网络T至收敛。
Step 3：构建Illustration2Vec和VGG16网络，并获取其预训练权重待用。
Step 4：按照UGDALAC算法的设计搭建生成器，判别器，采用UGDALAC的算法的损失函数及训练流程，在上色任务数据集Data1上训练至收敛。
Step5：构建本发明中提出的生成器G，判别器D。采用Step 4中得到的生成器权重对本发明的G进行权重初始化，舍弃掉Step 4中的判别器权重。冻结G的权重，采用本发明的损失函数对判别器D在上色任务数据集Data1中进行1000次迭代训练。
Step 6：结束Step5的初始化操作后，采用本发明提出的训练方式和损失函数对生成器G和判别器D在Data1数据集上训练至收敛。
Step 7：使用真实的动漫线稿及可选的颜色提示作为生成器G的输入，得到动漫线稿自动上色的结果。

Claims (1)

1.一种基于双色彩空间引导的动漫线稿自动上色方法，结合RGB和HSV色彩空间构建双色彩空间；以此为基础提出像素级及全局监督，利用生成对抗网络的方式进行训练；具体包括网络架构设计部分和算法训练部分；其特征在于，
(1)网络架构设计部分
算法共包含三个网络：色彩空间转换网络T、生成器G和判别器D；
色彩空间转换网络T来实现RGB到HSV色彩空间的转换，将HSV色彩空间引入到算法中以构建双色彩空间，考虑到RGB到HSV的变换是像素级的三个非线性函数，不需关注任何全局或局部信息，因此仅使用卷积核大小为1，步长为1的卷积层进行网络构建；色彩空间转换网络T的开始部分包含3个卷积层，中间部分含5个ResNeXt残差块来提升网络拟合性能，在末尾采用3个卷积层得到输出；为确保色彩空间转换网络T能正确地学习RGB到HSV色彩空间的转换函数，使用真实的RGB彩色动漫图像和其对应的HSV图像采用L1损失函数对网络T进行预训练；
生成器G采用UGDALAC算法进行构建，采用其提出的局部特征抽取方法来缓解训练过程中出现的过拟合问题，提升生成结果的泛化效果；
判别器D的设计，在UGDALAC的判别器输入层进行了改进；采用生成器G的输出，以及色彩空间转换网络T的输出串联得到的结果作为判别器D的输入，以此使判别器D从双色彩空间对算法进行监督，产生更加出众的上色结果；
(2)算法训练部分
第一步，使用生成线稿X，随机颜色提示Ht，局部特征F(X)作为生成器G的输入，输出上色结果Yg；
其中生成线稿X由真实彩色图像Y经过XDoG滤波算法得到，随机颜色提示Ht由真实彩色图像Y的4倍下采样结果进行随机采点得到；局部特征F(X)为局部特征提取器，方法中采用的是预训练好的Illustration2Vec网络的第6层卷积后的结果；
第二步，采用WGAN-GP框架的训练方式，结合提出的双色彩空间对抗DCSA损失函数对判别器D进行训练；
将真实彩色图像Y以及生成器G的输出的上色结果Yg输入到色彩空间转换网络T中得到对应的HSV色彩空间的结果T(Y)和T(Yg)；将Y与T(Y)串联，Yg和T(Yg)串联的结果分别输入到判别器D中，利用公式1的DSCA损失函数对判别器D进行训练，以此从双色彩空间进行全局监督，来提升生成器G的上色效果；
Ldcsa＝Lad+Lp 公式1
其中，Lad为对抗损失项，Lp为梯度惩罚项，采用的是WGAN-GP的损失函数定义方式来获取稳定的训练性能，具体定义如公式2，公式3所示；
Figure FDA0002588105980000021
Figure FDA0002588105980000022
在公式2中，
Figure FDA0002588105980000023
和
Figure FDA0002588105980000024
分别是真实彩色图像和生成彩色图像的RGB分布，
Figure FDA0002588105980000025
和
Figure FDA0002588105980000026
分别是真实彩色图像和生成彩色图像的HSV分布，λ1取值为1；在公式3中，λp取值为10，λd取值为1e-3，
Figure FDA0002588105980000027
代表的是真实彩色图像与生成彩色图像在双色彩空间分布中的插值分布，其定义如公式4所示，其中U代表的是0到1之间的均匀分布，∈为分布的取值；
Figure FDA0002588105980000028
第三步，采用WGAN-GP框架的训练方式，结合上面提到的双色彩空间对抗DCSA损失函数，以及下面的提出的绘画先验DP损失函数
Figure FDA0002588105980000029
视觉感知损失函数
Figure FDA0002588105980000031
对生成器G进行训练；将真实的真实彩色图像Y以及生成器G的输出Yg输入到色彩空间转换网络T中得到对应的HSV空间的结果T(Y)和T(Yg)；利用公式5在HSV色彩空间上计算的L1损失表示绘画先验DP损失函数，通过拟合真实彩色图像Y在HSV色彩空间的分布来隐式的引导生成器G去学习绘画先验知识，得到具有和谐色彩组成的上色结果；
Figure FDA0002588105980000032
其中λdp取值为10，由于DP损失是一个像素级别的损失，没有考虑到全局信息将导致不和谐纹理的产生；因此，采用公式2的双色彩空间对抗DCSA损失函数取λ1值为1e-4从双色彩空间对生成结果进行全局监督，以此来平滑人工生成物，得到符合人类审美的上色结果；除此之外，还采用了广泛应用于生成任务的视觉感知损失函数
Figure FDA0002588105980000033
来在特征层面对生成结果进行监督，进一步拟合真实数据的分布；其定义如公式6，
Figure FDA0002588105980000034
其中，V为预训练的VGG16网络，采取其第4层卷积输出的结果作为损失计算的特征图，c,h,w分别代表特征图的通道数，高度和宽度。
CN202010687470.5A 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法 Active CN111862270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010687470.5A CN111862270B (zh) 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010687470.5A CN111862270B (zh) 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法

Publications (2)

Publication Number Publication Date
CN111862270A CN111862270A (zh) 2020-10-30
CN111862270B true CN111862270B (zh) 2022-09-16

Family

ID=72983106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010687470.5A Active CN111862270B (zh) 2020-07-16 2020-07-16 一种基于双色彩空间引导的动漫线稿自动上色方法

Country Status (1)

Country Link
CN (1) CN111862270B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129409B (zh) * 2021-04-30 2023-07-25 华南农业大学 一种基于深度学习的漫画线稿上色方法
CN114913273B (zh) * 2022-05-30 2024-07-09 大连理工大学 一种基于深度学习的动画视频线稿上色方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830913B (zh) * 2018-05-25 2022-05-17 大连理工大学 基于用户颜色引导的语义级别线稿上色方法
CN109584325B (zh) * 2018-10-30 2020-01-07 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN110223359B (zh) * 2019-05-27 2020-11-17 浙江大学 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
CN110378985B (zh) * 2019-07-19 2023-04-28 中国传媒大学 一种基于gan的动漫绘画辅助创作方法

Also Published As

Publication number Publication date
CN111862270A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Golts et al. Unsupervised single image dehazing using dark channel prior loss
Peng et al. U-shape transformer for underwater image enhancement
Huang et al. Deep learning for image colorization: Current and future prospects
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN110197463B (zh) 基于深度学习的高动态范围图像色调映射方法及其系统
CN111862270B (zh) 一种基于双色彩空间引导的动漫线稿自动上色方法
CN114723643B (zh) 一种基于强化学习和美学评估的低光图像增强方法
CN109544662B (zh) 一种基于SRUnet的动漫风格线稿上色方法及系统
CN112614077A (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
WO2024060576A1 (zh) 一种基于暗通道先验的图像去雾方法
Serpa et al. Towards machine-learning assisted asset generation for games: a study on pixel art sprite sheets
CN113436167B (zh) 基于深度学习和视觉感知的无参考彩色图像质量评价方法
CN113191995A (zh) 一种基于深度学习的视频图像自动曝光校正方法
CN116309110A (zh) 一种基于轻量化深度神经网络的低光照图像去雾方法
CN113554568B (zh) 一种基于自监督约束和不成对数据的无监督循环去雨网络方法
Zhang et al. New image processing: VGG image style transfer with gram matrix style features
CN117115058A (zh) 基于轻量特征提取和颜色恢复的弱光图像融合方法
CN112907470A (zh) 基于Lab色域变换、分类及白平衡的水下图像恢复方法
CN115689871A (zh) 一种基于生成对抗网络的无监督肖像图颜色迁移方法
CN116071266A (zh) 一种基于Retinex的低光照图像增强方法、存储介质及终端
Parihar et al. UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks
Deng et al. Low-light Image Enhancement based on Joint Decomposition and Denoising U-Net Network
Liu et al. DRC: Chromatic aberration intensity priors for underwater image enhancement
Liu et al. A Self-regularized Low-light Image Enhancement Based on the Brightness Information
KR102632568B1 (ko) Npu를 이용한 이미지 처리장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Haojie

Inventor after: Dou Zhi

Inventor after: Wang Zhihui

Inventor after: Wang Ning

Inventor before: Li Haojie

Inventor before: Wang Zhihui

Inventor before: Dou Zhi

Inventor before: Wang Ning

GR01 Patent grant
GR01 Patent grant