CN110211192B - 一种基于深度学习的三维模型到二维图像的渲染方法 - Google Patents
一种基于深度学习的三维模型到二维图像的渲染方法 Download PDFInfo
- Publication number
- CN110211192B CN110211192B CN201910393917.5A CN201910393917A CN110211192B CN 110211192 B CN110211192 B CN 110211192B CN 201910393917 A CN201910393917 A CN 201910393917A CN 110211192 B CN110211192 B CN 110211192B
- Authority
- CN
- China
- Prior art keywords
- network
- rendering
- image
- deep learning
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000009877 rendering Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000005286 illumination Methods 0.000 claims abstract description 5
- 239000000463 material Substances 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000013508 migration Methods 0.000 abstract description 5
- 230000005012 migration Effects 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法，针对现有的轮廓提取算实时性以及计算的复杂性，构建合适的深度学习网络结构，针对无对照数据的风格迁移问题的数据特性，搭建计算机提取线稿与手绘线稿之间的映射；基于深度学习的光影渲染及其风格化方法，基于CycleGan网络的无监督训练模式构建风格转换网络结构，使用大量非成对的数据集对网络进行无监督训练，将三维模型的手绘风格化线稿、材质、光照、法线信息等信息输入训练完毕的网络，完成渲染，生成颜色填充和阴影表现更符合手绘风格的2D图片或视频。本发明的渲染方法可应用于动画制作或游戏画面渲染。
Description
技术领域
本发明属于计算机视觉和深度学习两大领域，具体是一种基于深度学习的三维模型到二维图像的渲染方法。
背景技术
卡通作为一种以绘画等造型艺术为主要表现手段的艺术形式，属于非真实感渲染。在传统卡通动画的制作过程中，大量枯燥的卡通绘制工作集中在助理动画师身上，因而一个自然的想法就是借助计算机来减轻助理动画师的工作，从而提高卡通动画的制作效率。在以二维卡通动画设计为主的动画制作系统中，通常是利用形状插值和区域自动填色来完成全部或部分助理动画师的工作，从而提高卡通动画制作的效率。但这种方法还是需要画师来处理大部分工作。所以我们需要让计算机来完成大部分工作，而非真实感图像渲染正是这样一个领域。
在三维场景的非真实感绘制中，轮廓线扮演着重要的角色，是NPR不可或缺的存在。轮廓线刻画了几何模型大致的轮廓和形状，展现了三维模型的基本外观。艺术家因此经常通过显式地加强绘制轮廓线，或通过简化某些不是非常关键的局部细节来表达各自的设计意图，于是在图形交流中起到巨大作用。因此这一技术在科学可视化、三维场景的快速绘制等领域有着广阔的应用前景。
对于非真实感绘制来说，不需要像真实感绘制中一样，物体的形状需要三角面片或者高次曲面再加上场景中的光照等等外部信息等来描述。非真实感绘制仅仅需要一组曲线就可以表达出物体的形状信息，一个仅仅在非真实感领域才需要绘制出来的物体信息。正是由于轮廓线对于NPR绘制的重要性和其在非真实感各种风格之间的通用性，因此对轮廓线检测和绘制算法的研究不可否认的被当成了整个NPR领域的重点。
非真实感渲染中还存在着一个较为严重的问题：线条过度不如画师手绘稿自然有韵味。在传统的手工绘画中，画师的一笔一划轻重缓急都有讲究，人手在绘画过程中会产生随机抖动，使线条粗细不一，正是这种随机产生的‘错误’赋予了一幅画面生动感。然而由计算机渲染出来的轮廓线粗细一致，极为精确，但这也使画面缺少了其应该具有的韵味。所以如何模仿出手绘的效果一直是非真实感渲染领域关注的热点话题。该问题可以被归结于图像风格迁移，近年深度学习在图像风格迁移方面取得了巨大的进展，利用深度学习来实现轮廓风格化是一种高效的解决方案。
公开号为CN107977414A的中国专利公开了一种基于深度学习的图像风格迁移方法及其系统，使用VGG网络计算训练图、风格图和生成图之间的代价，然后使用Adam优化器根据计算出的代价对图像转换网络进行修正，直到图像转换网络收敛，保存训练好的模型文件，最后将需要迁移风格的图片输入该模型文件中得到风格迁移后的效果图。该方法及系统能够将普通的图片转换为优美的艺术风格作品，试验表明该方法对艺术图像的纹理有着良好的学习能力，系统能够在云平台下实现，且具有很高的负载能力。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于深度学习的三维模型到二维图像的渲染方法，用以解决三维模型到二维动画非真实感图像渲染(NPR)过程中的系列问题。
为实现上述目的，本发明采用的技术方案是：
一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；
所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：
S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；
S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；
S13，采集大量成对的原始线稿和手绘线稿作为训练数据；
S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；
S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；
所述基于深度学习的光影渲染及其风格化方法包括以下步骤：
S21，基于CycleGan网络的无监督训练模式构建风格转换网络；
S22，使用大量非成对的数据集对网络进行无监督训练；
S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。
具体地，步骤S11中，所述多边形模型的随机检测方法有两条重要的理论依据：其一是一条轮廓线的相邻边存在很大几率是另一条轮廓边；其二是视点小范围内移动时，上下帧的轮廓线大部分相同；该检测方法避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制。同时相比其他基于图像空间的算法，易于实现。
具体地，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。
具体地，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，传统pix2pix网络模型中给定语义标签图和对应的真实照片集(si,xi)；所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：
其中，
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍(长宽各2倍)；依此类推，若想得到更高分辨率的图像，只需要增加更多的局部增强网络即可(如G＝{G1，G2，G3})。
进一步地，所述全局生成器网络G1由一个卷积前端
一系列残差块
和一个转置卷积后端
组成；所述局部增强网络G2也由一个卷积前端
一系列残差块
和一个转置卷积后端
组成；其中，
的输出与
最后一层的特征图相加作为
的输入，这样就使得全局生成器网络的信息可以传递到局部增强网络。
进一步地，为了解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：
其中，
表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器(D1、D2、D3)中的一个；Ni为第i层总元素的个数；
引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题(目标函数)转化为：
其中，λ是特征匹配损失函数在优化问题中所占权重。
具体地，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：
LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]
其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；
为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：
Lcyc(F,G,X,Y)＝Ex～Pdata(x)[||G(F(x))-x||1]+Ey～Pdata(y)[||F(G(y))-y||1]
同时，为G映射引入一个判别器Dx，定义损失函数LGAN(G,Dx,X,Y)，故所述风格转换网络最终的损失函数为：
L＝LGAN(F,DY,X,Y)+LGAN(F,DX,X,Y)+λLcyc(F,g,X,Y)。
与现有技术相比，本发明的有益效果是：(1)本发明采用多边形模型的随机检测方法检测三维模型的轮廓线，避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制；同时相比其他基于图像空间的算法，易于实现；(2)本发明的pix2pixHD网络模型将生成器拆分成一个全局生成器网络和多个局部增强网络，可以通过增加更多的局部增强网络来提高生成图像的分辨率；(3)本发明的pix2pixHD网络模型采用3个判别器{D1,D2,D3}来处理不同尺度的图像，解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题。
附图说明
图1为本发明一种基于深度学习的三维模型到二维图像的渲染方法的流程示意框图；
图2为本发明中pix2pixHD网络模型的结构示意图；
图3为本发明中光影渲染及其风格化方法的流程示意图；
图4为本发明中CycleGan网络的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本实施例提供了一种基于深度学习的三维模型到二维图像的渲染方法，用以解决三维模型到二维动画非真实感图像渲染(NPR)过程中的系列问题；该方法具体包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；
所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：
S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；
S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；
S13，采集大量成对的原始线稿和手绘线稿作为训练数据；
S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；
S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；
所述基于深度学习的光影渲染及其风格化方法包括以下步骤：
S21，基于CycleGan网络的无监督训练模式构建风格转换网络；
S22，使用大量非成对的数据集对网络进行无监督训练；
S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。
具体地，步骤S11中，所述多边形模型的随机检测方法有两条重要的理论依据：其一是一条轮廓线的相邻边存在很大几率是另一条轮廓边；其二是视点小范围内移动时，上下帧的轮廓线大部分相同；该检测方法避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制。同时相比其他基于图像空间的算法，易于实现；图形空间检测的算法检测出的轮廓线不同于图像空间的像素表示，是基于几何表述的，因此用户可以极方便的就对其施加需要的风格化绘制，包括改变线型粗细和笔划模拟的风格。
具体地，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。
具体地，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，传统pix2pix网络模型中给定语义标签图和对应的真实照片集(si,xi)；所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：
其中，
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
如图2所示，所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致(如1024×512)；所述局部增强网络G2的输出图像分辨率(如2048×1024)为输入图像分辨率(如1024×512)的4倍(长宽各2倍)；依此类推，若想得到更高分辨率的图像，只需要增加更多的局部增强网络即可(如G＝{G1，G2，G3})；传统的pix2pix网络模型采用U-Net作为生成器，但是该网络模型在Cityscapes数据集上生成的图像分辨率最高只有256×256。
进一步地，所述全局生成器网络G1由一个卷积前端
一系列残差块
和一个转置卷积后端
组成；所述局部增强网络G2也由一个卷积前端
一系列残差块
和一个转置卷积后端
组成；其中，
的输出与
最后一层的特征图相加作为
的输入，这样就使得全局生成器网络的信息可以传递到局部增强网络。
进一步地，为了解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：
其中，
表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器(D1、D2、D3)中的一个；Ni为第i层总元素的个数；
引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题转化为：
其中，λ是特征匹配损失函数在优化问题中所占权重。
具体地，如图3、4所示，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：
LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]
其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；
为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：
Lcyc(F,G,X,Y)＝Ex～Pdata(x)[||G(F(x))-x||1]+Ey～Pdata(y)[||F(G(y))-y||1]
同时，为G映射引入一个判别器Dx，定义损失函数LGAN(G,Dx,X,Y)，故所述风格转换网络最终的损失函数为：
L＝LGAN(F,DY,X,Y)+LGAN(F,DX,X,Y)+λLcyc(F,g,X,Y)。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；
所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：
S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；
S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；
S13，采集大量成对的原始线稿和手绘线稿作为训练数据；
S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；
S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；
所述基于深度学习的光影渲染及其风格化方法包括以下步骤：
S21，基于CycleGan网络的无监督训练模式构建风格转换网络；
S22，使用大量非成对的数据集对网络进行无监督训练；
S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。
2.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。
3.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：
其中，
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
其中，x是数据集中的一张真实图像，Dk为3个判别器D1、D2、D3中的一个；LGAN(G,D)为GAN损失函数；D(s,x)为判别器判定图像x为真实图像的概率；G(s)为生成器G根据语义标签图s生成的图像；D(s,G(s))为判别器判定生成器G生成的图像G(s)为真实图像的概率；Es[f(s)]为函数f(s)的期望函数；E(s,x)[f(s,x)]为函数f(s,x)的期望函数；
所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍。
4.根据权利要求3所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，所述全局生成器网络G1由一个卷积前端
一系列残差块
和一个转置卷积后端
组成；所述局部增强网络G2也由一个卷积前端
一系列残差块
和一个转置卷积后端
组成；其中，
的输出与
最后一层的特征图相加作为
的输入。
5.根据权利要求3所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：
其中，
表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器D1、D2、D3中的一个；Ni为第i层总元素的个数；G(s)为生成器G根据语义标签图s生成的图像；x为数据集中的一张真实图像；E(s,x)[f(s,x)]为函数f(s,x)的期望函数；
引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题转化为：
其中，λ是特征匹配损失函数在优化问题中所占权重；LGAN(G,Dk)为GAN损失函数。
6.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：
LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]
其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；
为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：
Lcyc(F,G,X,Y)＝Ex～Pdata(x)[||G(F(x))-x||1]+Ey～Pdata(y)[||F(G(y))-y||1]
同时，为G映射引入一个判别器Dx，定义损失函数LGAN(G,Dx,X,Y)，故所述风格转换网络最终的损失函数为：
L＝LGAN(F,DY,X,Y)+LGAN(F,DX,X,Y)+λLcyc(F,G,X,Y)
其中，λ是循环一致性损失函数在优化问题中所占权重；Ex～Pdata(x)[f(x)]为函数f(x)从分布x～Pdata(x)中抽取随机变抽量时，函数f(x)的期望；Ey～Pdata(y)[f(y)]为函数f(y)从分布y～Pdata(y)中抽取随机变抽量时，函数f(y)的期望。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910393917.5A CN110211192B (zh) | 2019-05-13 | 2019-05-13 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910393917.5A CN110211192B (zh) | 2019-05-13 | 2019-05-13 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110211192A CN110211192A (zh) | 2019-09-06 |
| CN110211192B true CN110211192B (zh) | 2022-09-16 |
Family
ID=67787196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910393917.5A Active CN110211192B (zh) | 2019-05-13 | 2019-05-13 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211192B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795858B (zh) * | 2019-11-06 | 2023-04-07 | 广东博智林机器人有限公司 | 家装设计图纸的生成方法和装置 |
| CN111062996A (zh) * | 2019-11-29 | 2020-04-24 | 广东优世联合控股集团股份有限公司 | 施工图的渲染方法 |
| CN111161137B (zh) * | 2019-12-31 | 2023-04-11 | 四川大学 | 一种基于神经网络的多风格国画花生成方法 |
| CN111222519B (zh) * | 2020-01-16 | 2023-03-24 | 西北大学 | 一种层次化彩绘文物线稿提取模型构建、方法及装置 |
| CN111415318B (zh) * | 2020-03-20 | 2023-06-13 | 山东大学 | 基于拼图任务的无监督相关滤波目标跟踪方法及系统 |
| CN112258621B (zh) * | 2020-10-19 | 2023-01-24 | 北京声影动漫科技有限公司 | 一种用于实时观测三维渲染二维动画的方法 |
| CN112419334A (zh) * | 2020-11-18 | 2021-02-26 | 山东大学 | 基于深度学习的微表面材质重建方法及系统 |
| CN112561782B (zh) * | 2020-12-15 | 2023-01-03 | 哈尔滨工程大学 | 一种提高海上场景仿真图片真实度的方法 |
| CN112634456B (zh) * | 2020-12-29 | 2023-10-13 | 浙江传媒学院 | 基于深度学习的复杂三维模型的实时高真实感绘制方法 |
| CN113034523A (zh) * | 2021-04-23 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及计算机设备 |
| CN115439305A (zh) * | 2021-06-01 | 2022-12-06 | 北京字跳网络技术有限公司 | 图像生成方法、装置、设备和介质 |
| CN113256778B (zh) * | 2021-07-05 | 2021-10-12 | 爱保科技有限公司 | 生成车辆外观部件识别样本的方法、装置、介质及服务器 |
| CN114299184B (zh) * | 2021-12-30 | 2022-09-06 | 青海师范大学 | 基于语义匹配的藏式建筑彩绘线稿图上色方法及装置 |
| CN115187706B (zh) * | 2022-06-28 | 2024-04-05 | 北京汉仪创新科技股份有限公司 | 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备 |
| CN116580121B (zh) * | 2023-05-18 | 2024-04-09 | 北京元跃科技有限公司 | 一种基于深度学习的单张绘画生成2d模型的方法及系统 |
| CN116958332B (zh) * | 2023-09-20 | 2023-12-22 | 南京竹影数字科技有限公司 | 基于图像识别的纸张绘图实时映射3d模型的方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408595A (zh) * | 2016-08-31 | 2017-02-15 | 上海交通大学 | 一种基于神经网络画风学习的图像渲染方法 |
-
2019
- 2019-05-13 CN CN201910393917.5A patent/CN110211192B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408595A (zh) * | 2016-08-31 | 2017-02-15 | 上海交通大学 | 一种基于神经网络画风学习的图像渲染方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110211192A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211192B (zh) | 一种基于深度学习的三维模型到二维图像的渲染方法 | |
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| CN101551911B (zh) | 人脸素描肖像画自动生成方法 | |
| CN108596919B (zh) | 一种基于深度图的自动图像分割方法 | |
| US11288499B2 (en) | Interactive method for generating strokes with Chinese ink painting style and device thereof | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN108805090A (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
| Zhang et al. | Real-time bas-relief generation from a 3D mesh | |
| CN111127596B (zh) | 一种基于增量Voronoi序列的分层油画笔刷绘制方法 | |
| Zhang et al. | Computer‐assisted relief modelling: A comprehensive survey | |
| Xuey et al. | Image‐based material weathering | |
| CN110288667A (zh) | 一种基于结构引导的图像纹理迁移方法 | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| CN115170387A (zh) | 一种基于艺术创作的像素风格化卡通图像的处理方法 | |
| Zhao et al. | A pencil drawing algorithm based on wavelet transform multiscale | |
| Zhao et al. | The application of traditional Chinese painting technique and stroke effect in digital ink painting | |
| CN108171766A (zh) | 一种具有笔画轮廓纠正功能的图像生成方法 | |
| Yu et al. | Deep semantic space guided multi-scale neural style transfer | |
| Li et al. | Chinese painting style transfer system based on machine learning | |
| Zhang et al. | Neural Modelling of Flower Bas‐relief from 2D Line Drawing | |
| Yan et al. | Re-texturing by intrinsic video | |
| Guo et al. | Multichannel 3D ink painting rendering model based on the LMS algorithm | |
| Ma | A comparison of art style transfer in Cycle-GAN based on different generators | |
| Zheng et al. | Enhanced Multi-Style Transfer Method based on VGG Network | |
| Wang et al. | Neural network-based Chinese ink-painting art style learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |