CN112837396B - 一种基于机器学习的线稿生成方法及装置 - Google Patents
一种基于机器学习的线稿生成方法及装置 Download PDFInfo
- Publication number
- CN112837396B CN112837396B CN202110133258.9A CN202110133258A CN112837396B CN 112837396 B CN112837396 B CN 112837396B CN 202110133258 A CN202110133258 A CN 202110133258A CN 112837396 B CN112837396 B CN 112837396B
- Authority
- CN
- China
- Prior art keywords
- draft
- line
- target
- manuscript
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000010801 machine learning Methods 0.000 title claims abstract description 22
- 239000000463 material Substances 0.000 claims abstract description 144
- 238000010586 diagram Methods 0.000 claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000004088 simulation Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 8
- 238000010422 painting Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 10
- 238000002372 labelling Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于机器学习的线稿生成方法及装置，所述方法包括：获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型；将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。本发明通过利用草稿‑线稿对比图对深度学习生成模型进行训练，生成将草稿转换为线稿的模型，从而在实际创作过程中能够根据草图自动生成线稿图，大大节省了人工和时间成本。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于机器学习的线稿生成方法及装置。
背景技术
目前，在漫画创作过程中，线稿通常依靠大量人力去勾描。现阶段使用人工勾线的方式需要画师“手稳”，一笔勾勒才能完成质量较高的线稿，对画师的要求颇高，而且非常耗时。另外，对于漫画制作商而言，不仅需要花钱雇佣人工对草图或初步线稿进行线条的勾勒，同时由于线稿是后期漫画创作（主要是上色）的基础，如果线稿无法按时完成，会造成工程拖沓，上色的画师无法按期完成工作的情况，进而导致整个漫画无法按期交付，造成巨大的经济损失。
发明内容
本发明的目的在于提供一种基于机器学习的线稿生成方法及装置，以解决现有技术中线稿勾描对画师要求高、耗时多的问题，从而能够根据草图自动生成线稿图，节省人工和时间成本。
为了解决上述技术问题，本发明实施例提供了一种基于机器学习的线稿生成方法，包括：
获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；
利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型；
将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。
进一步地，所述利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型，具体为：
将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型。
进一步地，所述将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型，具体包括：
对所述素材草稿图进行绘制特征提取之后，将所述素材草稿图及其标注数据作为所述生成式对抗网络的生成器的输入，以使所述生成器根据所述绘制特征和所述标注数据进行学习并生成随机线稿图；其中，所述绘制特征包括绘制路径、线条绘制时间、线条绘制方向中的一种或多种；
将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，将所述随机线稿图作为所述判别器的比较数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型。
所述将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图，具体包括：
进一步地，所述待处理草稿图中包含有笔刷区域数据，所述笔刷区域数据限定有所述待处理草稿图中允许被转换为线稿图的区域。
进一步地，所述素材对比图的获取方式包括：
获取若干数量的素材线稿图，根据预设的构图规则生成与所述素材线稿图相对应的素材草稿图，以获取得到若干数量的素材对比图。
进一步地，所述预设的构图规则具体包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条生成随机相似线条，以对所述目标线条进行蹭笔模拟。
进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条的中间部分进行擦除，以对所述目标线条进行线条断开模拟。
进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干个目标区域，根据预设的规则对每一所述目标区域添加随机阴影，以对所述目标区域进行手绘效果模拟。
进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干个线条交汇处的其中一条目标线条，根据预设的规则对每一所述目标线条进行延长，以对所述交汇处进行线条出头模拟。
进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条进行几何变换，以对所述目标线条进行手绘效果模拟；其中，所述几何变换包括旋转、扭曲、平移中的一种或多种。
为了解决相同的技术问题，本发明还提供了一种基于机器学习的线稿生成装置，包括：
素材获取模块，用于获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；
模型生成模块，用于利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型；
线稿转换模块，用于将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。
与现有技术相比，本发明具有如下有益效果：
本发明实施例提供了一种基于机器学习的线稿生成方法及装置，所述方法包括：获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型；将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。本发明通过利用草稿-线稿对比图对深度学习生成模型进行训练，生成将草稿转换为线稿的模型，从而在实际创作过程中能够根据草图自动生成线稿图，大大节省了人工和时间成本。
附图说明
图1是本发明一实施例提供的基于机器学习的线稿生成方法的流程示意图；
图2是本发明一实施例提供的模拟蹭笔的示意图；
图3是本发明一实施例提供的模拟线条断开的示意图；
图4是本发明一实施例提供的模拟区域阴影的示意图；
图5是本发明一实施例提供的模拟交汇处出头的示意图；
图6至图11是本发明一实施例提供的添加标注数据生成线稿图的举例示意图；
图12是本发明一实施例提供的带有笔刷区域数据的线稿生成示意图；
图13是本发明一实施例提供的基于机器学习的线稿生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明实施例提供了一种基于机器学习的线稿生成方法，包括步骤：
S1、获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图。
需要说明的是，步骤S1为从网络或其他渠道搜集大量的草稿图及其对应的线稿图，将其存储于线稿数据库中，用于对线稿转换模型进行学习和训练。
在本发明实施例中，进一步地，所述素材对比图的获取方式包括：
获取若干数量的素材线稿图，根据预设的构图规则生成与所述素材线稿图相对应的素材草稿图，以获取得到若干数量的素材对比图。
需要说明的是，由于网络中大部分图案均为线稿图而没有对应的草稿图，因此作为优选方案，本发明实施例还通过将线稿图转换为草稿图以获取素材对比图。
其中，所述预设的构图规则具体包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条生成随机相似线条，以对所述目标线条进行蹭笔模拟。
请参见图2，在具体实施例中，可以针对某一条线条，随机生成一些相似线条（生成的线条可以是与原线条一样的线条，也可以是根据原线条进行增长、缩短、增粗、变细、扭曲等处理后得到的线条）来模拟手绘过程中多次蹭笔的过程，生成的相似线条可以通过平移、旋转等方法进行蹭笔模拟。
所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条的中间部分进行擦除，以对所述目标线条进行线条断开模拟。
请参见图3，在具体实施例中，可以随机擦除某些线条的中间部分（不一定是正中间，可以根据随机算法选取线条的任意一个部分进行擦除，且擦除的长度也可以根据随机算法进行随机生成），模拟手绘过程中线条断开的情况。
所述预设的构图规则还包括：选取出所述素材线稿图中的若干个目标区域，根据预设的规则对每一所述目标区域添加随机阴影，以对所述目标区域进行手绘效果模拟。
请参见图4，在具体实施例中，可以针对某些手绘路径或区域增加随机阴影，以模拟明暗部分的手绘效果。区域可以从封闭的区域和半封闭的区域进行随机选取，添加的阴影可以采用预设的阴影模板。
所述预设的构图规则还包括：选取出所述素材线稿图中的若干个线条交汇处的其中一条目标线条，根据预设的规则对每一所述目标线条进行延长，以对所述交汇处进行线条出头模拟。
请参见图5，在具体实施例中，可以对某些线条交汇处生成出头的断线，以模拟手绘线条的效果。出头的长度随机生成。
所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条进行几何变换，以对所述目标线条进行手绘效果模拟；其中，所述几何变换包括旋转、扭曲、平移中的一种或多种。
在具体实施例中，可以对某些线条进行旋转、扭曲、平移等其他操作以更逼真地模拟手绘效果。
S2、利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型。
需要说明的是，所述深度学习生成模型可以但不限于采用以下生成模型：VAE、GAN、Info-GAN、Glow，本发明实施例采用GAN生成式对抗网络进行详细说明。
需要说明的是，在获取大量草稿-线稿对比图之后，基于机器学习的方式，对图进行路径轮廓、走向、风格、布局等特征提取，并根据提取的特征进行GAN对抗神经网络模型（生成式对抗网络）训练。生成草稿转换为线稿的模型DrawModel（线稿转换模型），并存储。
在本发明实施例中，进一步地，所述步骤S2具体为：
将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型。
在本发明实施例中，进一步地，所述将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型，具体包括：
对所述素材草稿图进行绘制特征提取之后，将所述素材草稿图及其标注数据作为所述生成式对抗网络的生成器的输入，以使所述生成器根据所述绘制特征和所述标注数据进行学习并生成随机线稿图；其中，所述绘制特征包括绘制路径、线条绘制时间、线条绘制方向中的一种或多种；
将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，将所述随机线稿图作为所述判别器的比较数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型。
需要说明的是，在机器学习过程中，需要对提取到的素材草稿图绘制特征进行学习，从而生成更加贴近手绘的线稿图。在具体实施例中，也可以是输入本身就带有绘制特征的草稿图案数据。对于有绘制特征的数据，将有助于机器学习将线条绘制时间相近、线条绘制方向相似的线条识别为同种线条，在首尾接近的情况下将二者勾连在一起，生成更加干净的线稿成品图。也可有助于草稿生成的过程，由于每一根线条有明确的划分，可以对每一根线条生成更近似于真实情况的草稿图，再通过机器学习训练出更优质的模型。
另外，也可以对原始草稿图添加标注数据后，再将原始草稿图和标注数据一起输入模型进行训练。具体地：
1、对线稿中的某个线条直接抽取出来或对该线条进行细微的变换（包括但不限于稍许平移、扭曲、旋转等），作为用户的标注线条。然后将草图+用户标注数据一起作为模型的输入，将线稿作为模型的输出来进行训练。
如图6所示，左边为原始草稿图，中间为添加了标注数据的图，右边为根据草稿图及标注数据生成的线稿图；用户可以通过简单的标注（添加标注数据），使得模型能够更好地理解草稿图并生成最终的线稿图。
以下对一些标注情形进行具体举例说明：
（1）如图7所示，通过添加标注数据以注明该部分的草稿为具有两条线；
（2）如图8所示，通过添加标注数据以注明该部分的草稿为一个转角；
（3）如图9所示，通过添加标注数据以注明该部分的草稿为平滑连接的曲线；
（4）如图10所示，通过添加标注数据以注明该部分的草稿为一个椭圆。
2、标注数据不仅仅是图形本身，还可能包括用户标注的时候移动笔触的方向、速度、轻重、路径等信息。
3、某些标注数据可能并非来源于对线条的直接变换，而是来源于和用户的共同表意规定。例如，规定在一个类圆的几何图形类画一个小圆，表示这实际上应该是一个椭圆或正圆。如图11所示，这类标注数据的训练数据同样是通过线稿生成，但是并非线条的简单变换，而是识别出线稿里面的某种类型的图形（按照这个例子即是近圆图形）然后生成对应的标注数据（一个内部的小圆圈）。然后再将草图+标注数据一起放入模型中进行训练。
可以理解的是，生成式对抗网络（GAN，Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。目前GAN最常应用的技术领域就是图像生成。GAN的基本原理为：假设我们有两个模型，G（Generator）和D（Discriminator），它们的功能分别是：G是一个生成图片的模型，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)；D是一个判别模型，判别一张图片是不是“真实的”，它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。在训练过程中，生成模型G的目标就是尽量生成真实的图片去欺骗判别模型D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)；对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) = 0.5。当两个模型达到稳态时，即判别模型D的输出接近0.5，完成训练，得到一个生成式的模型G，它可以用来生成图片。
S3、将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。
需要说明的是，在实际创作过程中，用户只需要将草稿交于模型，模型就可以根据草图中的图案，完成草图转线稿图的流程。
需要说明的是，所述待处理草稿图中包含有笔刷区域数据，所述笔刷区域数据限定有所述待处理草稿图中允许被转换为线稿图的区域。
请参见图12，在本发明实施例中，笔刷功能实际上是“指定草稿的某个部分转线稿”。另外，笔刷功能实际上也可以跟上述的标注功能结合在一起，因为笔刷移动的方向、速度、轻重、路径等信息其实也是一种标注数据。
基于上述方案，以下对线稿生成的方法进行说明：
方案1：获取初步的草稿图并进行处理→提取草稿图的图形特征→理解并使用提取的图形特征→根据图形特征和图形算法，生成清晰干净的线条→返回生成的线条，完成自动勾线的功能；
方案2：获取手绘的路径特征并对路径数据进行处理→提取路径特征→理解并使用提取的路径特征→根据提取的路径特征以及手绘图案的路径算法，生成清晰干净的线条→返回生成的线条，完成自动勾线的功能。
与现有技术相比，本发明通过神经网络、机器学习等方案，自动对草图或初步完成的线稿进行处理，形成质量上乘、线条清晰的线稿图。从而大大节省了大量人工和时间成本。
需要说明的是，对于以上方法或流程实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明实施例所必须的。
请参见图13，为了解决相同的技术问题，本发明还提供了一种基于机器学习的线稿生成装置，包括：
素材获取模块1，用于获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；
模型生成模块2，用于利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型；
线稿转换模块3，用于将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。
在本发明实施例中，进一步地，所述模型生成模块2具体用于：将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型。
在本发明实施例中，进一步地，所述将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型，具体包括：
对所述素材草稿图进行绘制特征提取之后，将所述素材草稿图及其标注数据作为所述生成式对抗网络的生成器的输入，以使所述生成器根据所述绘制特征和所述标注数据进行学习并生成随机线稿图；其中，所述绘制特征包括绘制路径、线条绘制时间、线条绘制方向中的一种或多种；
将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，将所述随机线稿图作为所述判别器的比较数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型。
在本发明实施例中，进一步地，所述待处理草稿图中包含有笔刷区域数据，所述笔刷区域数据限定有所述待处理草稿图中允许被转换为线稿图的区域。
在本发明实施例中，进一步地，所述素材对比图的获取方式包括：
获取若干数量的素材线稿图，根据预设的构图规则生成与所述素材线稿图相对应的素材草稿图，以获取得到若干数量的素材对比图。
在本发明实施例中，进一步地，所述预设的构图规则具体包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条生成随机相似线条，以对所述目标线条进行蹭笔模拟。
在本发明实施例中，进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条的中间部分进行擦除，以对所述目标线条进行线条断开模拟。
在本发明实施例中，进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干个目标区域，根据预设的规则对每一所述目标区域添加随机阴影，以对所述目标区域进行手绘效果模拟。
在本发明实施例中，进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干个线条交汇处的其中一条目标线条，根据预设的规则对每一所述目标线条进行延长，以对所述交汇处进行线条出头模拟。
在本发明实施例中，进一步地，所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条进行几何变换，以对所述目标线条进行手绘效果模拟；其中，所述几何变换包括旋转、扭曲、平移中的一种或多种。
可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种基于机器学习的线稿生成装置，可以实现本发明任意一项方法项实施例提供的基于机器学习的线稿生成方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (3)
1.一种基于机器学习的线稿生成方法，其特征在于，包括：
获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；所述素材对比图的获取方式包括：获取若干数量的素材线稿图，根据预设的构图规则生成与所述素材线稿图相对应的素材草稿图，以获取得到若干数量的素材对比图；所述预设的构图规则具体包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条生成随机相似线条，以对所述目标线条进行蹭笔模拟；其中，
所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条的中间部分进行擦除，以对所述目标线条进行线条断开模拟；
所述预设的构图规则还包括：选取出所述素材线稿图中的若干个目标区域，根据预设的规则对每一所述目标区域添加随机阴影，以对所述目标区域进行手绘效果模拟；
所述预设的构图规则还包括：选取出所述素材线稿图中的若干个线条交汇处的其中一条目标线条，根据预设的规则对每一所述目标线条进行延长，以对所述交汇处进行线条出头模拟；
所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条进行几何变换，以对所述目标线条进行手绘效果模拟；其中，所述几何变换包括旋转、扭曲、平移中的一种或多种；
利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型，包括：将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型；具体包括：
对所述素材草稿图进行绘制特征提取之后，将所述素材草稿图及其标注数据作为所述生成式对抗网络的生成器的输入，以使所述生成器根据所述绘制特征和所述标注数据进行学习并生成随机线稿图；其中，所述绘制特征包括绘制路径、线条绘制时间、线条绘制方向中的一种或多种；
将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，将所述随机线稿图作为所述判别器的比较数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型；
将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。
2.根据权利要求1所述的基于机器学习的线稿生成方法，其特征在于，所述待处理草稿图中包含有笔刷区域数据，所述笔刷区域数据限定有所述待处理草稿图中允许被转换为线稿图的区域。
3.一种基于机器学习的线稿生成装置，其特征在于，包括：
素材获取模块，用于获取若干数量的素材对比图；其中，所述素材对比图包括素材草稿图以及与其对应的素材线稿图；所述素材对比图的获取方式包括：获取若干数量的素材线稿图，根据预设的构图规则生成与所述素材线稿图相对应的素材草稿图，以获取得到若干数量的素材对比图；所述预设的构图规则具体包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条生成随机相似线条，以对所述目标线条进行蹭笔模拟；其中，
所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条的中间部分进行擦除，以对所述目标线条进行线条断开模拟；
所述预设的构图规则还包括：选取出所述素材线稿图中的若干个目标区域，根据预设的规则对每一所述目标区域添加随机阴影，以对所述目标区域进行手绘效果模拟；
所述预设的构图规则还包括：选取出所述素材线稿图中的若干个线条交汇处的其中一条目标线条，根据预设的规则对每一所述目标线条进行延长，以对所述交汇处进行线条出头模拟；
所述预设的构图规则还包括：选取出所述素材线稿图中的若干目标线条，根据预设的规则对每一所述目标线条进行几何变换，以对所述目标线条进行手绘效果模拟；其中，所述几何变换包括旋转、扭曲、平移中的一种或多种；
模型生成模块，用于利用预设的深度学习生成模型根据所述素材草稿图及其对应的素材线稿图进行学习和训练，生成得到线稿转换模型，包括：将所述素材草稿图及其标注数据作为生成式对抗网络的生成器的输入，将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型；具体包括：
对所述素材草稿图进行绘制特征提取之后，将所述素材草稿图及其标注数据作为所述生成式对抗网络的生成器的输入，以使所述生成器根据所述绘制特征和所述标注数据进行学习并生成随机线稿图；其中，所述绘制特征包括绘制路径、线条绘制时间、线条绘制方向中的一种或多种；
将所述对应的素材线稿图作为所述生成式对抗网络的判别器的真实数据，将所述随机线稿图作为所述判别器的比较数据，以对所述生成式对抗网络进行学习和训练，当所述生成式对抗网络中的生成器和判别器达到稳态时完成训练，生成得到线稿转换模型；
线稿转换模块，用于将待处理草稿图输入至所述线稿转换模型生成得到与所述待处理草稿图相对应的线稿图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110133258.9A CN112837396B (zh) | 2021-01-29 | 2021-01-29 | 一种基于机器学习的线稿生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110133258.9A CN112837396B (zh) | 2021-01-29 | 2021-01-29 | 一种基于机器学习的线稿生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112837396A CN112837396A (zh) | 2021-05-25 |
| CN112837396B true CN112837396B (zh) | 2024-05-07 |
Family
ID=75932703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110133258.9A Active CN112837396B (zh) | 2021-01-29 | 2021-01-29 | 一种基于机器学习的线稿生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837396B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8207969B1 (en) * | 2006-12-14 | 2012-06-26 | Disney Enterprises, Inc. | Method of abstracting a graphical object in a line art style suitable for printing and artwork-coloring |
| CN108510456A (zh) * | 2018-03-27 | 2018-09-07 | 华南理工大学 | 基于感知损失的深度卷积神经网络的草图简化方法 |
| CN109147003A (zh) * | 2018-08-01 | 2019-01-04 | 北京东方畅享科技有限公司 | 对线稿图像进行上色的方法、设备以及存储介质 |
| CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN109741418A (zh) * | 2018-11-20 | 2019-05-10 | 广东智媒云图科技股份有限公司 | 一种低多边形风格绘画获取方法及装置 |
| CN109801345A (zh) * | 2018-12-20 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种基于神经网络的原画线稿辅助绘制方法和装置 |
| CN110097616A (zh) * | 2019-04-17 | 2019-08-06 | 广东智媒云图科技股份有限公司 | 一种联合绘画方法、装置、终端设备及可读存储介质 |
| CN110378985A (zh) * | 2019-07-19 | 2019-10-25 | 中国传媒大学 | 一种基于gan的动漫绘画辅助创作方法 |
| WO2020031802A1 (ja) * | 2018-08-09 | 2020-02-13 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習方法、学習装置、モデル生成方法及びプログラム |
| KR20200052438A (ko) * | 2018-10-29 | 2020-05-15 | 전자부품연구원 | 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션 |
| KR102197653B1 (ko) * | 2019-08-08 | 2021-01-04 | 네이버웹툰 유한회사 | 스케치-라인 변환 방법, 시스템 및 프로그램 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6845171B2 (en) * | 2001-11-19 | 2005-01-18 | Microsoft Corporation | Automatic sketch generation |
-
2021
- 2021-01-29 CN CN202110133258.9A patent/CN112837396B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8207969B1 (en) * | 2006-12-14 | 2012-06-26 | Disney Enterprises, Inc. | Method of abstracting a graphical object in a line art style suitable for printing and artwork-coloring |
| CN108510456A (zh) * | 2018-03-27 | 2018-09-07 | 华南理工大学 | 基于感知损失的深度卷积神经网络的草图简化方法 |
| CN109147003A (zh) * | 2018-08-01 | 2019-01-04 | 北京东方畅享科技有限公司 | 对线稿图像进行上色的方法、设备以及存储介质 |
| CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| WO2020031802A1 (ja) * | 2018-08-09 | 2020-02-13 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習方法、学習装置、モデル生成方法及びプログラム |
| KR20200052438A (ko) * | 2018-10-29 | 2020-05-15 | 전자부품연구원 | 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션 |
| CN109741418A (zh) * | 2018-11-20 | 2019-05-10 | 广东智媒云图科技股份有限公司 | 一种低多边形风格绘画获取方法及装置 |
| CN109801345A (zh) * | 2018-12-20 | 2019-05-24 | 武汉西山艺创文化有限公司 | 一种基于神经网络的原画线稿辅助绘制方法和装置 |
| CN110097616A (zh) * | 2019-04-17 | 2019-08-06 | 广东智媒云图科技股份有限公司 | 一种联合绘画方法、装置、终端设备及可读存储介质 |
| CN110378985A (zh) * | 2019-07-19 | 2019-10-25 | 中国传媒大学 | 一种基于gan的动漫绘画辅助创作方法 |
| KR102197653B1 (ko) * | 2019-08-08 | 2021-01-04 | 네이버웹툰 유한회사 | 스케치-라인 변환 방법, 시스템 및 프로그램 |
Non-Patent Citations (2)
| Title |
|---|
| Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup;Edgar Simo-Serra et al.;ACM Transactions on Graphics;第35卷(第121期);第1–11页 * |
| 基于改进的CycleGAN模型非配对的图像到图像转换;何剑华;龙法宁;朱晓姝;;玉林师范学院学报(第02期);第122-126页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112837396A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Two-stage sketch colorization | |
| CN111160440B (zh) | 一种基于深度学习的安全帽佩戴检测方法及装置 | |
| US11436436B2 (en) | Data augmentation system, data augmentation method, and information storage medium | |
| CN109849576B (zh) | 一种参考灰度图辅助绘画的方法 | |
| CN102542593A (zh) | 一种基于视频解译的交互式视频风格化渲染方法 | |
| KR20200052438A (ko) | 딥러닝 기반 웹툰 자동 채색 프로그램 및 애플리케이션 | |
| CN107463331A (zh) | 手势轨迹模拟方法、装置及电子设备 | |
| Guo et al. | Creature grammar for creative modeling of 3D monsters | |
| CN111340720B (zh) | 一种基于语义分割的套色木刻版画风格转换算法 | |
| Zhou et al. | An interactive and generative approach for chinese shanshui painting document | |
| CN111259950B (zh) | 一种基于3d模型训练yolo神经网络的方法 | |
| CN106022363A (zh) | 一种适用于自然场景下的中文文字识别方法 | |
| CN110969681A (zh) | 一种基于gan网络的手写体书法文字生成方法 | |
| Bidgoli et al. | Artistic style in robotic painting; a machine learning approach to learning brushstroke from human artists | |
| CN111310156B (zh) | 一种滑块验证码的自动识别方法及系统 | |
| KR20200009599A (ko) | 이미지에 작가의 화풍을 적용하여 제공하는 방법, 서버 및 프로그램 | |
| CN110097616A (zh) | 一种联合绘画方法、装置、终端设备及可读存储介质 | |
| CN112837396B (zh) | 一种基于机器学习的线稿生成方法及装置 | |
| Wang et al. | CLAST: Contrastive learning for arbitrary style transfer | |
| Wang et al. | Stroke-GAN Painter: Learning to paint artworks using stroke-style generative adversarial networks | |
| CN111476867A (zh) | 一种基于变分自编码和生成对抗网络的手绘草图生成方法 | |
| Yang et al. | Animating the brush-writing process of Chinese calligraphy characters | |
| CN114332874A (zh) | 一种基于众包的书法修复方法 | |
| CN115331236A (zh) | 一种手写整行样本的生成方法和装置 | |
| CN111080512B (zh) | 动漫图像生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |