CN113658291A - 一种简笔画自动渲染方法 - Google Patents
一种简笔画自动渲染方法 Download PDFInfo
- Publication number
- CN113658291A CN113658291A CN202110940987.5A CN202110940987A CN113658291A CN 113658291 A CN113658291 A CN 113658291A CN 202110940987 A CN202110940987 A CN 202110940987A CN 113658291 A CN113658291 A CN 113658291A
- Authority
- CN
- China
- Prior art keywords
- network
- fake
- stroke
- loss
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000009877 rendering Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000000654 additive Substances 0.000 claims description 18
- 230000000996 additive effect Effects 0.000 claims description 18
- 238000013145 classification model Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009991 scouring Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种简笔画自动渲染方法，涉及图像处理技术领域，其技术方案要点是包括以下步骤：S1、收集数据集；S2、数据预处理；S3、训练和部署模型；S4、获取笔迹信息和类别信息；S5、自动渲染。本发明解决了简笔画无法实现自动渲染的问题，提高了儿童绘画的娱乐性和成就感，优化了数字简笔画绘画过程的用户体验。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，它涉及一种简笔画自动渲染方法。
背景技术
简笔画是通过目识、心记、手写等活动，提取客观形象最典型、最突出的主要特点，以平面化、程式化的形式和简洁洗练的笔法，表现出既有概括性又有可识性和示意性的绘画。它把复杂的形象简单化，形体结构是绘画最基本的要素，各种物体都有自己独特的构成因素，结构形势及比例关系，平面化的简笔画，表现二维的平面结构比较简便。
简笔画往往是儿童学习画画的必经阶段，画简笔画也是儿童的一种很重要的娱乐方式。随着智能手机和互联网技术的快速发展，使用智能终端绘制简笔画已成为现实，当把物体的轮廓勾勒(勾勒轮廓的过程就是画简笔画的过程)出来后，对于学习前期的儿童来说，难以对所勾勒的轮廓进行阴影、着色等渲染操作，使之渲染成足够接近真实的样子。
发明内容
为解决上述问题，本发明的目的在于提供一种简笔画自动渲染方法，解决了简笔画无法实现自动渲染的问题，提高了儿童绘画的娱乐性和成就感，优化了数字简笔画绘画过程的用户体验。
为实现上述目的，本发明提供了如下技术方案：一种简笔画自动渲染方法，包括以下步骤：
S1、收集数据集：确定类别，按类别分别收集RGB数字图像；
S2、数据预处理：通过简笔画生成工具，将收集的RGB数字图像转化为简笔画数字图像；
S3、训练和部署模型：利用简笔画数据训练分类模型，针对每个类别，利用图像和简笔画训练渲染模型，将分类模型和渲染模型部署到云服务器；
S4、获取笔迹信息和类别信息：通过在智能终端获取简笔画笔迹信息，并将简笔画笔迹信息传输到服务器；在服务器端将简笔画笔迹信息处理成简笔画数字图像，然后将简笔画数字图像输入分类模型获取对应的类别信息；
S5、自动渲染：将简笔画数字图像输入对应类别的渲染模型，渲染模型在服务器端生成渲染图，将渲染图传输到智能终端进行显示。
进一步地，步骤S2所述的简笔画生成工具为图像处理软件，优选为Phtoshop。
进一步地，步骤S2所述的简笔画生成工具为边缘检测算法，优选为DSCD(DeepStructural Contour Detection)、RefineContourNet、HED(Holistically-Nested EdgeDetection)中的一种。
进一步地，步骤S3所述的分类模型为图像识别模型，优选为卷积神经网络模型及其变种。
进一步地，所述卷积神经网络模型及其变种包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet。
进一步地，步骤S3所述的训练分类模型的过程为：
S311、有n个简笔画图像样本：{y(1),y(2),…,y(n)}，每个简笔画图像对应一个类别：{l(1),l(2),…,l(n)}，每个简笔画图像样本y(i)是一个H·W的矩阵，其对应的类别l(i)是一个长度的one-hot向量，其类别对应位置元素为1，其余为0；
S312、构建分类网络构架R、损失函数loss1以及优化器：其中分类网络构架为人工神经网络的各种变种，包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet中的一种，输入是简笔画灰度图，输出是元素个数与类别个数一样的向量；损失函数为交叉熵损失函数；优化器为包括但不限于SGD(Stochastic Gradient Descent)、SGD-M(SGD withMomentum)、NAG(Nesterov Accelerated Gradient)、AdaGrad、AdaDelta/RMSProp、Adam(Adaptive Momentum)以及Nadam(Nesterov Adam)；
S313、将n个样本随机分成ceil(n/m)组，其中ceil表示向上取整；这样除了最后一组，每组有m个样本，最后一组样本数是n-floor(n/m)个，其中floor表示向下取整；
S314、依次选取选取第i组样本:{y(i_1),y(i_2),…,y(i_end)}，进行训练，其中i＝1,2,…,ceil(n/m)，x(i_end)表示第i组的最后一个样本，训练过程如下：
S3141、对本组所有样本同时做前向计算，首先计算vecA(i_1:i_end)＝R(x(i_1:i_end))。loss1(vecA(i_1:i_end),l(i_1:i_end))＝，其中x(i_1:i_end)表示第i组的所有样本，表示第i组的第j个样本前向计算后对应的第q个分量，表示第i组的第j个样本的类别向量的第q个分量；
S3142、针对网络R按照设置好的优化器计算参数的梯度并进行参数更新；
S315、重复步骤S314，直到迭代次数大于设定的阈值，或者损失函数值较上一次迭代的损失函数值的减少量小于设定的阈值。
进一步地，步骤S3所述的渲染模型优选为条件生成对抗网络。
进一步地，训练所述条件生成对抗网络的过程为：
S321、假设：对于某个类别有n个RGB图像样本：{x(1),x(2),…,x(n)}，每个RGB图像通过简笔画生成工具生成对应的简笔画样本：{y(1),y(2),…,y(n)}；
S322、构建生成网络G：生成网络构架包括但不限于Encoder-Decoder、U-Net；G网络输入的是简笔画灰度图，输出的是具有RGB三个信道的彩色图片；
S323、构建判别网络D：判别网络构建包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet等网络构架去掉全连接层部分；网络输入的是简笔画灰度图与对应彩色图在信道维度的合并，输出的是只有一个信道的prediction map；
S324、构建损失函数loss2和优化器：其中损失函数是均方差损失函数loss2(U,V)＝mean()或L1损失函数loss2(U,V)＝mean()，其中mean表示求平均运算；优化器优化器包括但不限于SGD(Stochastic Gradient Descent)、SGD-M(SGD with Momentum)、NAG(Nesterov Accelerated Gradient)、AdaGrad、AdaDelta/RMSProp、Adam(AdaptiveMomentum)以及Nadam(Nesterov Adam)；
S325、训练过程如下：
S3251、取第i个样本做前向计算：fake_A(i)＝G(x(i))，其中i＝1，2，…，n；
S3252、对判别网络D进行训练：
a)fake_AB＝(x(i)；fake_A(i)),real_AB＝(x(i)；y(i))；
b)D网络做前向计算：pred_fake＝D(fake_AB)，pred_real＝D(real_AB)；
c)计算loss_D_fake＝loss2(pred_fake,TS0)，loss_D_real＝loss2(pred_real,TS1)，其中TS0是与pred_fake具有相同形状的全0张量，TS1是与pred_real具有相同形状的全1张量；mean表示求平均运算；
d)计算loss_D＝(loss_D_fake+loss_D_real)/2；
e)针对网络D按照设置好的优化器计算参数的梯度并进行参数更新；
S3253、对生成网络G进行训练：
a)fake_AB＝(x(i)；fake_A(i))；
b)pred_fake＝D(fake_AB)；
c)loss_G_GAN＝loss2(pred_fake,TS1)，loss_G_L1＝loss2(fake_B,real_B)*λ,其中λ是提前设置好的0-1范围内的一个数；
d)loss_G＝loss_G_GAN+loss_G_L1；
e)针对网络G按照设置好的优化器计算参数的梯度并进行参数更新；
S326、重复步骤S325，直到迭代次数大于设定的阈值，或者损失函数值较上一次迭代的损失函数值的减少量小于设定的阈值。
进一步地，步骤S4所述的在智能终端获取笔迹信息的方式包括但不限于点阵智能笔、触摸屏、鼠标。
进一步地，步骤S4所述的智能终端包括但不限于智能手机、pad、PC。
综上所述，本发明具有以下有益效果：通过收集彩色图像和对应的简笔画图像对像素到像素的条件生成对抗网络进行训练，使得训练后的生成网络可以把简笔画转换成对应的以该简笔画为基础构架的彩色图像，从而达到一种对简笔画的渲染效果。本发明的方法解决了简笔画无法实现自动渲染的问题，提高了儿童绘画的娱乐性和成就感，优化了数字简笔画绘画过程的用户体验。
附图说明
图1是本发明提供的方法的流程图；
图2是条件生成对抗网络的整体构架图；
图3是条件生成对抗网络的训练过程；
图4是简笔画自动渲染的流程和效果图。
具体实施方式
以下结合实施例对本发明作进一步详细说明。以鞋子为例，对本发明做详细说明。
如图1所示，为本发明一种简笔画自动渲染方法的流程图，具体为：
S1、收集数据集：确定类别，按类别分别收集RGB数字图像。
S2、数据预处理：通过简笔画生成工具，将收集的RGB数字图像转化为简笔画数字图像；简笔画生成工具包括但不限于图像处理软件(如Phtoshop)和边缘检测算法(如DSCD(Deep Structural Contour Detection)、RefineContourNet、HED(Holistically-NestedEdge Detection))，在本实施例中，简笔画生成工具为HED(Holistically-Nested EdgeDetection)。
S3、训练和部署模型：利用简笔画数据训练分类模型，分类模型为图像识别模型，优选为卷积神经网络及其变种；针对每个类别，利用图像和简笔画训练渲染模型，将分类模型和渲染模型部署到云服务器。
训练分类模型的过程为：
S311、有n个简笔画图像样本：{y(1),y(2),…,y(n)}，每个简笔画图像对应一个类别：{l(1),l(2),…,l(n)}，每个简笔画图像样本y(i)是一个H·W的矩阵，其对应的类别l(i)是一个长度的one-hot向量，其类别对应位置元素为1，其余为0；
S312、构建分类网络构架R、损失函数loss1以及优化器：其中分类网络构架为为人工神经网络的各种变种，包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet中的一种，在本实施例中，分类网络架构为ResNet；输入是简笔画灰度图，输出是元素个数与类别个数一样的向量；损失函数为交叉熵损失函数；优化器为包括但不限于SGD(StochasticGradient Descent)、SGD-M(SGD with Momentum)、NAG(Nesterov AcceleratedGradient)、AdaGrad、AdaDelta/RMSProp、Adam(Adaptive Momentum)以及Nadam(NesterovAdam)，在本实施例中，优化器为SGD(Stochastic Gradient Descent)；
S313、将n个样本随机分成ceil(n/m)组，其中ceil表示向上取整；这样除了最后一组，每组有m个样本，最后一组样本数是n-floor(n/m)个，其中floor表示向下取整；
S314、依次选取选取第i组样本:{y(i_1),y(i_2),…,y(i_end)}，进行训练，其中i＝1,2,…,ceil(n/m)，x(i_end)表示第i组的最后一个样本，训练过程如下：
S3141、对本组所有样本同时做前向计算，首先计算vecA(i_1:i_end)＝R(x(i_1:i_end))。loss1(vecA(i_1:i_end),l(i_1:i_end))＝，其中x(i_1:i_end)表示第i组的所有样本，表示第i组的第j个样本前向计算后对应的第q个分量，表示第i组的第j个样本的类别向量的第q个分量；
S3142、针对网络R按照设置好的优化器计算参数的梯度并进行参数更新；
S315、重复步骤S314，直到迭代次数大于设定的阈值，或者损失函数值较上一次迭代的损失函数值的减少量小于设定的阈值。
渲染模型为条件生成对抗网络(conditional Generative AdversarialNetworks,cGAN)，如图2所示为条件生成对抗网络的整体架构图；如图3所示，训练条件生成对抗网络的过程如下：
S321、假设：对于某个类别有n个RGB图像样本：{x(1),x(2),…,x(n)}，每个RGB图像通过简笔画生成工具生成对应的简笔画样本：{y(1),y(2),…,y(n)}；
S322、构建生成网络G：生成网络构架包括但不限于Encoder-Decoder、U-Net，在本实施例中，生成网络构架为U-Net；G网络输入的是简笔画灰度图，输出的是具有RGB三个信道的彩色图片；
S323、构建判别网络D：判别网络构建包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet等网络构架去掉全连接层部分，本实施例中，判别网络构建为ResNet去掉全连接层部分；网络输入的是简笔画灰度图与对应彩色图在信道维度的合并，输出的是只有一个信道的prediction map；
S324、构建损失函数loss2和优化器：其中损失函数是均方差损失函数loss2(U,V)＝mean()或L1损失函数loss2(U,V)＝mean()，其中mean表示求平均运算；优化器包括但不限于SGD(Stochastic Gradient Descent)、SGD-M(SGD with Momentum)、NAG(NesterovAccelerated Gradient)、AdaGrad、AdaDelta/RMSProp、Adam(Adaptive Momentum)以及Nadam(Nesterov Adam)，本实施例中，优化器为SGD(Stochastic Gradient Descent)；
S325、训练过程如下：
S3251、取第i个样本，G网络做前向计算：fake_A(i)＝G(x(i))，其中i＝1，2，…，n；
S3252、对判别网络D进行训练：
a)fake_AB＝(x(i)；fake_A(i)),real_AB＝(x(i)；y(i))；
b)D网络做前向计算：pred_fake＝D(fake_AB)，pred_real＝D(real_AB)；
c)计算loss_D_fake＝loss2(pred_fake,TS0)，loss_D_real＝loss2(pred_real,TS1)，其中TS0是与pred_fake具有相同形状的全0张量，TS1是与pred_real具有相同形状的全1张量；mean表示求平均运算；
d)计算loss_D＝(loss_D_fake+loss_D_real)/2；
e)针对网络D按照设置好的优化器计算参数的梯度并进行参数更新；
S3253、对生成网络G进行训练：
a)fake_AB＝(x(i)；fake_A(i))；
b)pred_fake＝D(fake_AB)；
c)loss_G_GAN＝loss2(pred_fake,TS1)，loss_G_L1＝loss2(fake_B,real_B)*λ,其中λ是提前设置好的0-1范围内的一个数；
d)loss_G＝loss_G_GAN+loss_G_L1；
e)针对网络G按照设置好的优化器计算参数的梯度并进行参数更新；
S326、重复步骤S325，直到迭代次数大于设定的阈值，或者损失函数值较上一次迭代的损失函数值的减少量小于设定的阈值。
S4、获取笔迹信息和类别信息：通过在智能终端获取简笔画笔迹信息，智能终端包括但不限于智能手机、pad、PC，在本实施例中，智能终端为pad；在智能终端获取简笔画笔记信息的方式包括但不限于点阵智能笔、触摸屏、鼠标，在本实施例中，在智能终端获取简笔画笔记信息的方式为触摸屏；并将简笔画笔迹信息传输到服务器，在服务器端将简笔画笔迹信息处理成简笔画数字图像，然后将简笔画数字图像输入分类模型获取对应的类别信息。
S5、自动渲染：将简笔画数字图像输入对应类别的渲染模型，渲染模型在服务器端生成渲染图，将渲染图传输到智能终端进行显示。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (10)
1.一种简笔画自动渲染方法，其特征在于，包括以下步骤：
S1、收集数据集：确定类别，按类别分别收集RGB数字图像；
S2、数据预处理：通过简笔画生成工具，将收集的RGB数字图像转化为简笔画数字图像；
S3、训练和部署模型：利用简笔画数据训练分类模型，针对每个类别，利用图像和简笔画训练渲染模型，将分类模型和渲染模型部署到云服务器；
S4、获取笔迹信息和类别信息：通过在智能终端获取简笔画笔迹信息，并将简笔画笔迹信息传输到服务器；在服务器端将简笔画笔迹信息处理成简笔画数字图像，然后将简笔画数字图像输入分类模型获取对应的类别信息；
S5、自动渲染：将简笔画数字图像输入对应类别的渲染模型，渲染模型在服务器端生成渲染图，将渲染图传输到智能终端进行显示。
2.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S2所述的简笔画生成工具为图像处理软件，优选为Phtoshop。
3.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S2所述的简笔画生成工具为边缘检测算法，优选为DSCD(Deep Structural Contour Detection)、RefineContourNet、HED(Holistically-Nested Edge Detection)中的一种。
4.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S3所述的分类模型为图像识别模型，优选为卷积神经网络模型及其变种。
5.根据权利要求4所述的一种简笔画自动渲染方法，其特征在于，所述卷积神经网络模型及其变种包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet。
6.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S3所述的训练分类模型的过程为：
S311、有n个简笔画图像样本：{y(1),y(2),…,y(n)}，每个简笔画图像对应一个类别：{l(1),l(2),…,l(n)}，每个简笔画图像样本y(i)是一个H·W的矩阵，其对应的类别l(i)是一个长度的one-hot向量，其类别对应位置元素为1，其余为0；
S312、构建分类网络构架R、损失函数loss1以及优化器：其中分类网络构架为人工神经网络的各种变种，包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet中的一种，输入是简笔画灰度图，输出是元素个数与类别个数一样的向量；损失函数为交叉熵损失函数；优化器为包括但不限于SGD(Stochastic Gradient Descent)、SGD-M(SGD with Momentum)、NAG(Nesterov Accelerated Gradient)、AdaGrad、AdaDelta/RMSProp、Adam(AdaptiveMomentum)以及Nadam(Nesterov Adam)；
S313、将n个样本随机分成ceil(n/m)组，其中ceil表示向上取整；这样除了最后一组，每组有m个样本，最后一组样本数是n-floor(n/m)个，其中floor表示向下取整；
S314、依次选取选取第i组样本:{y(i_1),y(i_2),…,y(i_end)}，进行训练，其中i＝1,2,…,ceil(n/m)，x(i_end)表示第i组的最后一个样本，训练过程如下：
S3141、对本组所有样本同时做前向计算，首先计算vecA(i_1:i_end)＝R(x(i_1:i_end))。loss1(vecA(i_1:i_end),l(i_1:i_end))＝，其中x(i_1:i_end)表示第i组的所有样本，表示第i组的第j个样本前向计算后对应的第q个分量，表示第i组的第j个样本的类别向量的第q个分量；
S3142、针对网络R按照设置好的优化器计算参数的梯度并进行参数更新；
S315、重复步骤S314，直到迭代次数大于设定的阈值，或者损失函数值较上一次迭代的损失函数值的减少量小于设定的阈值。
7.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S3所述的渲染模型优选为条件生成对抗网络。
8.根据权利要求7所述的一种简笔画自动渲染方法，其特征在于，训练所述条件生成对抗网络的过程为：
S321、假设：对于某个类别有n个RGB图像样本：{x(1),x(2),…,x(n)}，每个RGB图像通过简笔画生成工具生成对应的简笔画样本：{y(1),y(2),…,y(n)}；
S322、构建生成网络G：生成网络构架包括但不限于Encoder-Decoder、U-Net；G网络输入的是简笔画灰度图，输出的是具有RGB三个信道的彩色图片；
S323、构建判别网络D：判别网络构建包括但不限于LeNet、AlexNet、VGG、GoogleNet、ResNet等网络构架去掉全连接层部分；网络输入的是简笔画灰度图与对应彩色图在信道维度的合并，输出的是只有一个信道的prediction map；
S324、构建损失函数loss2和优化器：其中损失函数是均方差损失函数loss2(U,V)＝mean()或L1损失函数loss2(U,V)＝mean()，其中mean表示求平均运算；优化器优化器包括但不限于SGD(Stochastic Gradient Descent)、SGD-M(SGD with Momentum)、NAG(Nesterov Accelerated Gradient)、AdaGrad、AdaDelta/RMSProp、Adam(AdaptiveMomentum)以及Nadam(Nesterov Adam)；
S325、训练过程如下：
S3251、取第i个样本做前向计算：fake_A(i)＝G(x(i))，其中i＝1，2，…，n；
S3252、对判别网络D进行训练：
a)fake_AB＝(x(i)；fake_A(i)),real_AB＝(x(i)；y(i))；
b)D网络做前向计算：pred_fake＝D(fake_AB)，pred_real＝D(real_AB)；
c)计算loss_D_fake＝loss2(pred_fake,TS0)，loss_D_real＝loss2(pred_real,TS1)，其中TS0是与pred_fake具有相同形状的全0张量，TS1是与pred_real具有相同形状的全1张量；mean表示求平均运算；
d)计算loss_D＝(loss_D_fake+loss_D_real)/2；
e)针对网络D按照设置好的优化器计算参数的梯度并进行参数更新；
S3253、对生成网络G进行训练：
a)fake_AB＝(x(i)；fake_A(i))；
b)pred_fake＝D(fake_AB)；
c)loss_G_GAN＝loss2(pred_fake,TS1)，loss_G_L1＝loss2(fake_B,real_B)*λ,其中λ是提前设置好的0-1范围内的一个数；
d)loss_G＝loss_G_GAN+loss_G_L1；
e)针对网络G按照设置好的优化器计算参数的梯度并进行参数更新；
S326、重复步骤S325，直到迭代次数大于设定的阈值，或者损失函数值较上一次迭代的损失函数值的减小量小于设定的阈值。
9.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S4所述的在智能终端获取笔迹信息的方式包括但不限于点阵智能笔、触摸屏、鼠标。
10.根据权利要求1所述的一种简笔画自动渲染方法，其特征在于，步骤S4所述的智能终端包括但不限于智能手机、pad、PC。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110940987.5A CN113658291A (zh) | 2021-08-17 | 2021-08-17 | 一种简笔画自动渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110940987.5A CN113658291A (zh) | 2021-08-17 | 2021-08-17 | 一种简笔画自动渲染方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113658291A true CN113658291A (zh) | 2021-11-16 |
Family
ID=78491213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110940987.5A Pending CN113658291A (zh) | 2021-08-17 | 2021-08-17 | 一种简笔画自动渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658291A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488339A (zh) * | 2013-09-09 | 2014-01-01 | 北京大学 | 一种个性化汉字数字墨水的生成方法 |
| CN108961369A (zh) * | 2018-07-11 | 2018-12-07 | 厦门幻世网络科技有限公司 | 生成3d动画的方法和装置 |
| CN109446929A (zh) * | 2018-10-11 | 2019-03-08 | 浙江清华长三角研究院 | 一种基于增强现实技术的简笔画识别系统 |
| CN111243050A (zh) * | 2020-01-08 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 肖像简笔画生成方法、系统及绘画机器人 |
| CN112463912A (zh) * | 2020-11-23 | 2021-03-09 | 浙江大学 | 一种基于树莓派和循环神经网络的简笔画识别与生成方法 |
| US20210166013A1 (en) * | 2019-12-03 | 2021-06-03 | Adobe Inc. | Simulated handwriting image generator |
| CN112950661A (zh) * | 2021-03-23 | 2021-06-11 | 大连民族大学 | 一种基于注意力生成对抗网络人脸卡通画生成方法 |
| CN113160343A (zh) * | 2020-12-31 | 2021-07-23 | 江苏元图信息技术有限公司 | 基于深度神经网络的简笔画绘画过程生成算法 |
-
2021
- 2021-08-17 CN CN202110940987.5A patent/CN113658291A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488339A (zh) * | 2013-09-09 | 2014-01-01 | 北京大学 | 一种个性化汉字数字墨水的生成方法 |
| CN108961369A (zh) * | 2018-07-11 | 2018-12-07 | 厦门幻世网络科技有限公司 | 生成3d动画的方法和装置 |
| CN109446929A (zh) * | 2018-10-11 | 2019-03-08 | 浙江清华长三角研究院 | 一种基于增强现实技术的简笔画识别系统 |
| US20210166013A1 (en) * | 2019-12-03 | 2021-06-03 | Adobe Inc. | Simulated handwriting image generator |
| CN111243050A (zh) * | 2020-01-08 | 2020-06-05 | 浙江省北大信息技术高等研究院 | 肖像简笔画生成方法、系统及绘画机器人 |
| CN112463912A (zh) * | 2020-11-23 | 2021-03-09 | 浙江大学 | 一种基于树莓派和循环神经网络的简笔画识别与生成方法 |
| CN113160343A (zh) * | 2020-12-31 | 2021-07-23 | 江苏元图信息技术有限公司 | 基于深度神经网络的简笔画绘画过程生成算法 |
| CN112950661A (zh) * | 2021-03-23 | 2021-06-11 | 大连民族大学 | 一种基于注意力生成对抗网络人脸卡通画生成方法 |
Non-Patent Citations (4)
| Title |
|---|
| WENLING CHEN ET AL.: "SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 16 December 2018 (2018-12-16), pages 9416 - 9425 * |
| 丁梦园: "基于SAW-CGAN 网络的图像风格化方法研究", CNKI 优秀硕士学位论文全文库，信息科技, 1 April 2021 (2021-04-01), pages 1 - 71 * |
| 唐瑜祺: "基于深度学习的简笔画识别模型研究", CNKI 优秀硕士学位论文全文库，信息科技, 1 May 2020 (2020-05-01), pages 1 - 68 * |
| 阿巫兮兮: "pytorch搭建分类网络并进行训练和测试", pages 1 - 8, Retrieved from the Internet <URL:https://blog.csdn.net/m0_37163827/article/details/110521518> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113674140B (zh) | 一种物理对抗样本生成方法及系统 | |
| CN102184221B (zh) | 一种基于用户偏好的实时视频摘要生成方法 | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN107464217B (zh) | 一种图像处理方法及装置 | |
| CN110097616B (zh) | 一种联合绘画方法、装置、终端设备及可读存储介质 | |
| CN111161137A (zh) | 一种基于神经网络的多风格国画花生成方法 | |
| CN114821204B (zh) | 一种基于元学习嵌入半监督学习图像分类方法与系统 | |
| CN116363261B (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN112016682A (zh) | 视频表征学习、预训练方法及装置、电子设备、存储介质 | |
| CN115424088A (zh) | 图像处理模型训练方法以及装置 | |
| CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN113283336A (zh) | 一种文本识别方法与系统 | |
| CN111079507A (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| CN111768326A (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
| CN115830165A (zh) | 基于对抗生成网络的国画绘制过程生成方法、装置和设备 | |
| CN109472838A (zh) | 一种素描生成方法及装置 | |
| CN114092699A (zh) | 基于迁移学习的群猪图像分割的方法及系统 | |
| CN115222845A (zh) | 样式字体图片生成方法、装置、电子设备和介质 | |
| CN112767539B (zh) | 一种基于深度学习的图像三维重构方法及系统 | |
| CN113869226A (zh) | 一种人脸驱动方法、装置、电子设备及计算机可读存储介质 | |
| CN105069767A (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| CN113658291A (zh) | 一种简笔画自动渲染方法 | |
| JP4012200B2 (ja) | オブジェクト検出方法、装置、及びプログラム | |
| CN111242216A (zh) | 基于条件生成对抗卷积神经网络的图像生成方法 | |
| CN115604131A (zh) | 一种链路流量预测方法、系统、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |