CN110517332B - 一种基于深度学习的漫画手绘图交互式着色方法 - Google Patents

一种基于深度学习的漫画手绘图交互式着色方法 Download PDF

Info

Publication number
CN110517332B
CN110517332B CN201910616201.7A CN201910616201A CN110517332B CN 110517332 B CN110517332 B CN 110517332B CN 201910616201 A CN201910616201 A CN 201910616201A CN 110517332 B CN110517332 B CN 110517332B
Authority
CN
China
Prior art keywords
hand drawing
color
cartoon
deep learning
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910616201.7A
Other languages
English (en)
Other versions
CN110517332A (zh
Inventor
叶武剑
梁培俊
刘怡俊
翁韶伟
刘文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910616201.7A priority Critical patent/CN110517332B/zh
Publication of CN110517332A publication Critical patent/CN110517332A/zh
Application granted granted Critical
Publication of CN110517332B publication Critical patent/CN110517332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的漫画手绘图交互式着色方法，包括下述步骤：(1)数据集制作；(2)设计深度学习网络；(3)训练深度学习网络；(4)得到模型并进行测试；本发明通过使用深度学习技术以实现漫画手绘图交互式着色方法，只需在漫画手绘图中需要着色的区域给定少量指定颜色的画笔线条即可自动对该区域进行着色，从而在较少工作量和较短时间内以较好的效果对漫画手绘图进行交互式着色，极大程度地减少人力和时间成本，从而提高整个着色过程的效率。

Description

一种基于深度学习的漫画手绘图交互式着色方法
技术领域
本发明涉及图像处理和人工智能技术领域，具体涉及一种基于深度学习的漫画手绘图交互式着色方法。
背景技术
随着动漫和数字媒体产业的蓬勃发展，各种漫画产品出现的速度也在逐步加快。各种动漫产品的最新剧情更新通常以电子或者纸质漫画的形式出现在市面上。因此，漫画作为动漫产业在市场上的第一表现形式，需要快速更新，传播最新剧情。各种动漫代理商和动漫爱好者往往只能获取到黑白手绘图版本的作品，而颜色搭配作为动漫增强表现力的最重要方式之一，可以给消费者带来强烈的视觉冲击，吸引其注意力，使得产品更受欢迎，对提高产品的销量具有举足轻重的商业价值，加上现在各种动漫产品竞争越来越激烈，消费者对于漫画产品的需求也不再只满足于黑白的线条画面上，则动漫配色有时甚至是决定作品成败的要素。但是即便如此，由于手绘图着色这项工作具有时间和人力密集的特点，无论是选择配色方案还是将颜色填充到特定区域中，都是十分耗时耗力而且需要一定的专业素养。正是因为这种工作具有时间和人力密集的性质，所以直到现在市面上很多的漫画产品也只有封面或者前几页才是彩色画面，并借此来吸引买家的注意力。
现有技术中，目前使用的是漫画产业里传统的专业图像软件进行着色，这些软件一般对待着色区域通过人工选定区域完成分割。但是这个过程比较耗时，因为被分割区域一般具有不规则的轮廓，并且有时候并不是一个闭合区域，所以选取分割区域边界时会有许多微调工作，而且一副图像就有许多区域需要分割，一旦工作量加大后，这种做法肯定无法满足快速更新的要求，所以造成了市场上大量销售只有前一两页彩色的漫画作品；另一方面，在进行区域分割后，要对区域进行填充颜色，这里涉及颜色选取和配色问题，这就需要工作者的专业素养，毕竟并不是有颜色就行，配色才是彩色的最终目的。总的来说，使用专业的图像处理软件需要耗费大量的人力和时间。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于深度学习的漫画手绘图交互式着色方法，该方法使用深度学习技术和图像处理技术以实现对漫画手绘图的交互式着色，能在给定少量彩色画笔线条的情况下自动完成指定区域的着色，很大程度地减少人力和时间成本，从而提高生产效率。
本发明的目的通过下述技术方案实现：
一种基于深度学习的漫画手绘图交互式着色方法，包括下述步骤：
(1)数据集制作；
(2)设计深度学习网络；
(3)训练深度学习网络；
(4)得到模型并进行测试。
优选地，所述步骤(1)具体包括以下步骤：
(1.1)利用爬虫技术抓取一万张左右的彩色漫画；
(1.2)使用局部自适应阈值法，将彩色漫画转化为黑白手绘图；
(1.3)获取彩色漫画图像的手绘图，将其转化为二值图，作为色块遮罩；
(1.4)将色块遮罩作形态学梯度操作，消除每个色块遮罩中的部分区域；
(1.5)将色块遮罩的剩余区域进行两次腐蚀操作；
(1.6)将一次腐蚀操作的遮罩与二次腐蚀操作的遮罩做差减，得到色块剩余区域的颜色线条遮罩；
(1.7)将原始色块遮罩减去形态学梯度操作后遮罩的结果并分别进行六次腐蚀和八次腐蚀；
(1.8)使用六次腐蚀的遮罩和八次腐蚀的遮罩作差，得到另一颜色线条遮罩；
(1.9)将两次处理得到的颜色线条遮罩进行叠加操作，从而得到最终线条遮罩；
(1.10)将原始手绘图对应最终线条遮罩非零像素值置零后的结果，与原始彩色漫画图点乘最终线条遮罩的结果相加，即可得到带模拟画笔效果的手绘图像。
优选地，所述步骤(2)具体包括以下步骤：
(2.1)设计生成器网络模块；
(2.2)设计判别器网络模块。
优选地，所述步骤(3)具体包括以下步骤：
使用步骤(1.10)生成的带模拟画笔效果的手绘图像作为生成器网络的输入，将生成器网络所生成的着色图像与对应的原始彩色图像进行通道连接，再将其作为判别器网络的输入，最后通过计算损失后反向传播梯度更新网络权值。
优选地，所述步骤(4)具体包括以下步骤：
通过测试网络对带模拟画笔效果的漫画手绘图进行着色，并重复步骤(3)，直至达到满意效果后结束。
本发明与现有技术相比具有以下的有益效果：
(1)本发明通过使用深度学习技术以实现漫画手绘图交互式着色方法，只需在漫画手绘图中需要着色的区域给定少量指定颜色的画笔线条即可自动对该区域进行着色，从而在较少工作量和较短时间内以较好的效果对漫画手绘图进行交互式着色，极大程度地减少人力和时间成本，从而提高整个着色过程的效率；
(2)本发明通过深度学习技术，对所要着色区域进行自动分割，减少人工抠取待着色区域的麻烦；
(3)本发明能够在用户给定少量画笔线条后，即可对指定区域自动填充颜色。
附图说明
图1为本发明的生成器网络结构图；
图2为本发明的判别器网络结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1～2所示，一种基于深度学习的漫画手绘图交互式着色方法，包括下述步骤：
(1)数据集制作；
(1.1)利用爬虫技术抓取一万张左右的彩色漫画；
(1.2)使用局部自适应阈值法，将彩色漫画转化为黑白手绘图；
(1.3)获取彩色漫画图像的手绘图，将其转化为二值图，作为色块遮罩；
(1.4)将色块遮罩作形态学梯度操作，消除每个色块遮罩中的部分区域；
(1.5)将色块遮罩的剩余区域进行两次腐蚀操作；
(1.6)将一次腐蚀操作的遮罩与二次腐蚀操作的遮罩做差减，得到色块剩余区域的颜色线条遮罩；
(1.7)将原始色块遮罩减去形态学梯度操作后遮罩的结果并分别进行六次腐蚀和八次腐蚀；
(1.8)使用六次腐蚀的遮罩和八次腐蚀的遮罩作差，得到另一颜色线条遮罩；
(1.9)将两次处理得到的颜色线条遮罩进行叠加操作，从而得到最终线条遮罩；
(1.10)将原始手绘图对应最终线条遮罩非零像素值置零后的结果，与原始彩色漫画图点乘最终线条遮罩的结果相加，即可得到带模拟画笔效果的手绘图像。
(2)设计深度学习网络；
(2.1)设计生成器网络模块；
(2.2)设计判别器网络模块。
(3)训练深度学习网络；
使用步骤(1.10)生成的带模拟画笔效果的手绘图像作为生成器网络的输入，将生成器网络所生成的着色图像与对应的原始彩色图像进行通道连接，再将其作为判别器网络的输入，最后通过计算损失后反向传播梯度更新网络权值。
(4)得到模型并进行测试。
通过测试网络对带模拟画笔效果的漫画手绘图进行着色，并重复步骤(3)，直至达到满意效果后结束。
本发明通过使用深度学习技术以实现漫画手绘图交互式着色方法，只需在漫画手绘图中需要着色的区域给定少量指定颜色的画笔线条即可自动对该区域进行着色，从而在较少工作量和较短时间内以较好的效果对漫画手绘图进行交互式着色，极大程度地减少人力和时间成本，从而提高整个着色过程的效率；通过深度学习技术，对所要着色区域进行自动分割，减少人工抠取待着色区域的麻烦；能够在用户给定少量画笔线条后，即可对指定区域自动填充颜色。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的漫画手绘图交互式着色方法，其特征在于，包括下述步骤：
(1)数据集制作；
(2)设计深度学习网络；
(3)训练深度学习网络；
(4)得到模型并进行测试；
在漫画手绘图中需要着色的区域给定指定颜色的画笔线条即可自动对该区域进行着色；
所述步骤(1)具体包括以下步骤：
(1.1)利用爬虫技术抓取一万张左右的彩色漫画；
(1.2)使用局部自适应阈值法，将彩色漫画转化为黑白手绘图；
(1.3)获取彩色漫画图像的手绘图，将其转化为二值图，作为色块遮罩；
(1.4)将色块遮罩作形态学梯度操作，消除每个色块遮罩中的部分区域；
(1.5)将色块遮罩的剩余区域进行两次腐蚀操作；
(1.6)将一次腐蚀操作的遮罩与二次腐蚀操作的遮罩做差减，得到色块剩余区域的颜色线条遮罩；
(1.7)将原始色块遮罩减去形态学梯度操作后遮罩的结果并分别进行六次腐蚀和八次腐蚀；
(1.8)使用六次腐蚀的遮罩和八次腐蚀的遮罩作差，得到另一颜色线条遮罩；
(1.9)将两次处理得到的颜色线条遮罩进行叠加操作，从而得到最终线条遮罩；
(1.10)将原始手绘图对应最终线条遮罩非零像素值置零后的结果，与原始彩色漫画图点乘最终线条遮罩的结果相加，即可得到带模拟画笔效果的手绘图像。
2.根据权利要求1所述的基于深度学习的漫画手绘图交互式着色方法，其特征在于，所述步骤(2)具体包括以下步骤：
(2.1)设计生成器网络模块；
(2.2)设计判别器网络模块。
3.根据权利要求2所述的基于深度学习的漫画手绘图交互式着色方法，其特征在于，所述步骤(3)具体包括以下步骤：
使用步骤(1.10)生成的带模拟画笔效果的手绘图像作为生成器网络的输入，将生成器网络所生成的着色图像与对应的原始彩色图像进行通道连接，再将其作为判别器网络的输入，最后通过计算损失后反向传播梯度更新网络权值。
4.根据权利要求3所述的基于深度学习的漫画手绘图交互式着色方法，其特征在于，所述步骤(4)具体包括以下步骤：
通过测试网络对带模拟画笔效果的漫画手绘图进行着色，并重复步骤(3)，直至达到满意效果后结束。
CN201910616201.7A 2019-07-09 2019-07-09 一种基于深度学习的漫画手绘图交互式着色方法 Active CN110517332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616201.7A CN110517332B (zh) 2019-07-09 2019-07-09 一种基于深度学习的漫画手绘图交互式着色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616201.7A CN110517332B (zh) 2019-07-09 2019-07-09 一种基于深度学习的漫画手绘图交互式着色方法

Publications (2)

Publication Number Publication Date
CN110517332A CN110517332A (zh) 2019-11-29
CN110517332B true CN110517332B (zh) 2023-10-03

Family

ID=68623613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616201.7A Active CN110517332B (zh) 2019-07-09 2019-07-09 一种基于深度学习的漫画手绘图交互式着色方法

Country Status (1)

Country Link
CN (1) CN110517332B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN108830912A (zh) * 2018-05-04 2018-11-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
CN109410310A (zh) * 2018-10-30 2019-03-01 安徽虚空位面信息科技有限公司 一种基于深度学习网络的实时光照渲染算法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330956A (zh) * 2017-07-03 2017-11-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
CN108830912A (zh) * 2018-05-04 2018-11-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
CN109410310A (zh) * 2018-10-30 2019-03-01 安徽虚空位面信息科技有限公司 一种基于深度学习网络的实时光照渲染算法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法

Also Published As

Publication number Publication date
CN110517332A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
US10861232B2 (en) Generating a customized three-dimensional mesh from a scanned object
CN101673400B (zh) 图像处理设备和方法
CN109118445B (zh) 一种基于多分支生成对抗网络的水下图像增强方法
CN103377462B (zh) 对扫描图像进行处理的方法和装置
CN107330956A (zh) 一种漫画手绘图无监督上色方法及装置
CN110163208B (zh) 一种基于深度学习的场景文字检测方法和系统
CN105374007A (zh) 融合骨架笔画和纹理特征的铅笔画生成方法和装置
CN111768468B (zh) 图像填充方法、装置、设备及存储介质
JPH11232441A (ja) 画像生成方法及び装置
JP6612486B1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
US10922852B2 (en) Oil painting stroke simulation using neural network
CN105528485A (zh) 一种从位图自动轮廓提取及路径生成的方法
CN110895795A (zh) 改进的语义图像修补模型方法
CN114359269A (zh) 基于神经网络的虚拟食品盒缺陷生成方法及系统
CN113228111A (zh) 图像处理方法、图像处理系统和程序
CN110517332B (zh) 一种基于深度学习的漫画手绘图交互式着色方法
CN114419632A (zh) 一种ocr训练样本生成方法、装置及系统
CN113269888A (zh) 一种发型三维建模方法、人物三维建模方法及系统
CN112132916B (zh) 一种利用生成对抗网络的篆刻作品定制化设计生成装置
CN111784799B (zh) 图像填充方法、装置、设备及存储介质
US20230038240A1 (en) Three-dimensional (3d) image modeling systems and methods for automatically generating photorealistic, virtual 3d packaging and product models from 2d imaging assets and dimensional data
CN111862253B (zh) 一种基于深度卷积生成对抗网络的草图着色方法及系统
KT et al. A flexible neural renderer for material visualization
CN109242949B (zh) 一种智能化3d打印系统及方法
CN117292067B (zh) 基于扫描实物获得的虚拟3d模型方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant