CN110211192A - 一种基于深度学习的三维模型到二维图像的渲染方法 - Google Patents

一种基于深度学习的三维模型到二维图像的渲染方法 Download PDF

Info

Publication number
CN110211192A
CN110211192A CN201910393917.5A CN201910393917A CN110211192A CN 110211192 A CN110211192 A CN 110211192A CN 201910393917 A CN201910393917 A CN 201910393917A CN 110211192 A CN110211192 A CN 110211192A
Authority
CN
China
Prior art keywords
network
style
deep learning
original text
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910393917.5A
Other languages
English (en)
Other versions
CN110211192B (zh
Inventor
高�浩
王远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910393917.5A priority Critical patent/CN110211192B/zh
Publication of CN110211192A publication Critical patent/CN110211192A/zh
Application granted granted Critical
Publication of CN110211192B publication Critical patent/CN110211192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法，针对现有的轮廓提取算实时性以及计算的复杂性，构建合适的深度学习网络结构，针对无对照数据的风格迁移问题的数据特性，搭建计算机提取线稿与手绘线稿之间的映射；基于深度学习的光影渲染及其风格化方法，基于CycleGan网络的无监督训练模式构建风格转换网络结构，使用大量非成对的数据集对网络进行无监督训练，将三维模型的手绘风格化线稿、材质、光照、法线信息等信息输入训练完毕的网络，完成渲染，生成颜色填充和阴影表现更符合手绘风格的2D图片或视频。本发明的渲染方法可应用于动画制作或游戏画面渲染。

Description

一种基于深度学习的三维模型到二维图像的渲染方法
技术领域
本发明属于计算机视觉和深度学习两大领域，具体是一种基于深度学习的三维模型到二维图像的渲染方法。
背景技术
卡通作为一种以绘画等造型艺术为主要表现手段的艺术形式，属于非真实感渲染。在传统卡通动画的制作过程中，大量枯燥的卡通绘制工作集中在助理动画师身上，因而一个自然的想法就是借助计算机来减轻助理动画师的工作，从而提高卡通动画的制作效率。在以二维卡通动画设计为主的动画制作系统中，通常是利用形状插值和区域自动填色来完成全部或部分助理动画师的工作，从而提高卡通动画制作的效率。但这种方法还是需要画师来处理大部分工作。所以我们需要让计算机来完成大部分工作，而非真实感图像渲染正是这样一个领域。
在三维场景的非真实感绘制中，轮廓线扮演着重要的角色，是NPR不可或缺的存在。轮廓线刻画了几何模型大致的轮廓和形状，展现了三维模型的基本外观。艺术家因此经常通过显式地加强绘制轮廓线，或通过简化某些不是非常关键的局部细节来表达各自的设计意图，于是在图形交流中起到巨大作用。因此这一技术在科学可视化、三维场景的快速绘制等领域有着广阔的应用前景。
对于非真实感绘制来说，不需要像真实感绘制中一样，物体的形状需要三角面片或者高次曲面再加上场景中的光照等等外部信息等来描述。非真实感绘制仅仅需要一组曲线就可以表达出物体的形状信息，一个仅仅在非真实感领域才需要绘制出来的物体信息。正是由于轮廓线对于NPR绘制的重要性和其在非真实感各种风格之间的通用性，因此对轮廓线检测和绘制算法的研究不可否认的被当成了整个NPR领域的重点。
非真实感渲染中还存在着一个较为严重的问题：线条过度不如画师手绘稿自然有韵味。在传统的手工绘画中，画师的一笔一划轻重缓急都有讲究，人手在绘画过程中会产生随机抖动，使线条粗细不一，正是这种随机产生的‘错误’赋予了一幅画面生动感。然而由计算机渲染出来的轮廓线粗细一致，极为精确，但这也使画面缺少了其应该具有的韵味。所以如何模仿出手绘的效果一直是非真实感渲染领域关注的热点话题。该问题可以被归结于图像风格迁移，近年深度学习在图像风格迁移方面取得了巨大的进展，利用深度学习来实现轮廓风格化是一种高效的解决方案。
公开号为CN107977414A的中国专利公开了一种基于深度学习的图像风格迁移方法及其系统，使用VGG网络计算训练图、风格图和生成图之间的代价，然后使用Adam优化器根据计算出的代价对图像转换网络进行修正，直到图像转换网络收敛，保存训练好的模型文件，最后将需要迁移风格的图片输入该模型文件中得到风格迁移后的效果图。该方法及系统能够将普通的图片转换为优美的艺术风格作品，试验表明该方法对艺术图像的纹理有着良好的学习能力，系统能够在云平台下实现，且具有很高的负载能力。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于深度学习的三维模型到二维图像的渲染方法，用以解决三维模型到二维动画非真实感图像渲染(NPR)过程中的系列问题。
为实现上述目的，本发明采用的技术方案是：
一种基于深度学习的三维模型到二维图像的渲染方法，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；
所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：
S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；
S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；
S13，采集大量成对的原始线稿和手绘线稿作为训练数据；
S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；
S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；
所述基于深度学习的光影渲染及其风格化方法包括以下步骤：
S21，基于CycleGan网络的无监督训练模式构建风格转换网络；
S22，使用大量非成对的数据集对网络进行无监督训练；
S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。
具体地，步骤S11中，所述多边形模型的随机检测方法有两条重要的理论依据：其一是一条轮廓线的相邻边存在很大几率是另一条轮廓边；其二是视点小范围内移动时，上下帧的轮廓线大部分相同；该检测方法避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制。同时相比其他基于图像空间的算法，易于实现。
具体地，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。
具体地，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，传统pix2pix网络模型中给定语义标签图和对应的真实照片集(si,xi)；所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：
其中，
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍(长宽各2倍)；依此类推，若想得到更高分辨率的图像，只需要增加更多的局部增强网络即可(如G＝{G1，G2，G3})。
进一步地，所述全局生成器网络G1由一个卷积前端一系列残差块和一个转置卷积后端组成；所述局部增强网络G2也由一个卷积前端一系列残差块和一个转置卷积后端组成；其中，的输出与最后一层的特征图相加作为的输入，这样就使得全局生成器网络的信息可以传递到局部增强网络。
进一步地，为了解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：
其中，表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器(D1、D2、D3)中的一个；Ni为第i层总元素的个数；
引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题(目标函数)转化为：
其中，λ是特征匹配损失函数在优化问题中所占权重。
具体地，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：
LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]
其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；
为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：
Lcyc(F,G,X,Y)＝Ex～Pdata(x)[||G(F(x))-x||1]+Ey～Pdata(y)[||F(G(y))-y||1]
同时，为G映射引入一个判别器Dx，定义损失函数LGAN(G,Dx,X,Y)，故所述风格转换网络最终的损失函数为：
L＝LGAN(F,DY,X,Y)+LGAN(F,DX,X,Y)+λLcyc(F,g,X,Y)。
与现有技术相比，本发明的有益效果是：(1)本发明采用多边形模型的随机检测方法检测三维模型的轮廓线，避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制；同时相比其他基于图像空间的算法，易于实现；(2)本发明的pix2pixHD网络模型将生成器拆分成一个全局生成器网络和多个局部增强网络，可以通过增加更多的局部增强网络来提高生成图像的分辨率；(3)本发明的pix2pixHD网络模型采用3个判别器{D1,D2,D3}来处理不同尺度的图像，解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题。
附图说明
图1为本发明一种基于深度学习的三维模型到二维图像的渲染方法的流程示意框图；
图2为本发明中pix2pixHD网络模型的结构示意图；
图3为本发明中光影渲染及其风格化方法的流程示意图；
图4为本发明中CycleGan网络的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本实施例提供了一种基于深度学习的三维模型到二维图像的渲染方法，用以解决三维模型到二维动画非真实感图像渲染(NPR)过程中的系列问题；该方法具体包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；
所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：
S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；
S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；
S13，采集大量成对的原始线稿和手绘线稿作为训练数据；
S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；
S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；
所述基于深度学习的光影渲染及其风格化方法包括以下步骤：
S21，基于CycleGan网络的无监督训练模式构建风格转换网络；
S22，使用大量非成对的数据集对网络进行无监督训练；
S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。
具体地，步骤S11中，所述多边形模型的随机检测方法有两条重要的理论依据：其一是一条轮廓线的相邻边存在很大几率是另一条轮廓边；其二是视点小范围内移动时，上下帧的轮廓线大部分相同；该检测方法避免了现有轮廓提取算法在实时交互系统中的局限性，并且也不需要输入相邻信息作为已知数据，由于其的时空一致性和每两点间线段为一条边的特性，所以在满足实时效率之外还同时可以方便的进行线条的风格化绘制。同时相比其他基于图像空间的算法，易于实现；图形空间检测的算法检测出的轮廓线不同于图像空间的像素表示，是基于几何表述的，因此用户可以极方便的就对其施加需要的风格化绘制，包括改变线型粗细和笔划模拟的风格。
具体地，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。
具体地，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，传统pix2pix网络模型中给定语义标签图和对应的真实照片集(si,xi)；所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：
其中，
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
如图2所示，所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致(如1024×512)；所述局部增强网络G2的输出图像分辨率(如2048×1024)为输入图像分辨率(如1024×512)的4倍(长宽各2倍)；依此类推，若想得到更高分辨率的图像，只需要增加更多的局部增强网络即可(如G＝{G1，G2，G3})；传统的pix2pix网络模型采用U-Net作为生成器，但是该网络模型在Cityscapes数据集上生成的图像分辨率最高只有256×256。
进一步地，所述全局生成器网络G1由一个卷积前端一系列残差块和一个转置卷积后端组成；所述局部增强网络G2也由一个卷积前端一系列残差块和一个转置卷积后端组成；其中，的输出与最后一层的特征图相加作为的输入，这样就使得全局生成器网络的信息可以传递到局部增强网络。
进一步地，为了解决高分辨率所需的鉴别器大感受野以及所带来的网络深度增加、过拟合问题以及所需现存过大的问题，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：
其中，表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器(D1、D2、D3)中的一个；Ni为第i层总元素的个数；
引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题转化为：
其中，λ是特征匹配损失函数在优化问题中所占权重。
具体地，如图3、4所示，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：
LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]
其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；
为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：
Lcyc(F,G,X,Y)＝Ex～Pdata(x)[||G(F(x))-x||1]+Ey～Pdata(y)[||F(G(y))-y||1]
同时，为G映射引入一个判别器Dx，定义损失函数LGAN(G,Dx,X,Y)，故所述风格转换网络最终的损失函数为：
L＝LGAN(F,DY,X,Y)+LGAN(F,DX,X,Y)+λLcyc(F,g,X,Y)。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，包括：基于深度学习的轮廓渲染及其风格化方法；基于深度学习的光影渲染及其风格化方法；
所述基于深度学习的轮廓渲染及其风格化方法包括以下步骤：
S11，采用多边形模型的随机检测方法检测三维模型的轮廓线；
S12，利用所述三维模型的轮廓线线稿绘制出具有手绘风格的线稿；
S13，采集大量成对的原始线稿和手绘线稿作为训练数据；
S14，构建pix2pixHD网络模型，将所述训练数据输入网络模型进行训练，得到轮廓渲染的风格化网络模型；
S15，将三维模型的原始线稿输入所述轮廓渲染的风格化网络模型，输出三维模型的手绘风格化线稿；
所述基于深度学习的光影渲染及其风格化方法包括以下步骤：
S21，基于CycleGan网络的无监督训练模式构建风格转换网络；
S22，使用大量非成对的数据集对网络进行无监督训练；
S23，将三维模型的手绘风格化线稿、材质、光照、法线信息输入训练完成的风格转换网络，生成颜色填充和阴影表现符合手绘风格的二维图像。
2.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S12中，绘制具有手绘风格的线稿具体为：改变原始线稿中的线型粗细和笔画模拟的风格，使绘制出的线稿具有手绘的风格；所述原始线稿为通过多边形模型的随机检测方法检测得到的三维模型轮廓线线稿。
3.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S14中，所述pix2pixHD网络模型包括生成器和判别器，所述生成器用于从语义标签图生成出真实图像，所述判别器用于区分真实图像和生成的图像；所述pix2pixHD网络模型对应的优化问题如下：
其中，
LGAN(G,D)＝E(s,x)[logD(s,x)]+Es[log(1-D(s,G(s)))]
所述pix2pixHD网络模型将生成器拆分成两个子网络：全局生成器网络G1和局部增强网络G2；所述全局生成器网络G1的输入和输出的图像分辨率保持一致；所述局部增强网络G2的输出图像分辨率为输入图像分辨率的4倍。
4.根据权利要求3所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，所述全局生成器网络G1由一个卷积前端一系列残差块和一个转置卷积后端组成；所述局部增强网络G2也由一个卷积前端一系列残差块和一个转置卷积后端组成；其中，的输出与最后一层的特征图相加作为的输入。
5.根据权利要求3所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，所述pix2pixHD网络模型采用3个判别器来处理不同尺度的图像，该3个判别器具有相同的网络结构；为使训练更加稳定，引入特征匹配损失函数：
其中，表示判别器Dk提取的第i层特征，T为总的层数，Dk为3个判别器(D1、D2、D3)中的一个；Ni为第i层总元素的个数；
引入特征匹配损失函数后，所述pix2pixHD网络模型的优化问题转化为：
其中，λ是特征匹配损失函数在优化问题中所占权重。
6.根据权利要求1所述的一种基于深度学习的三维模型到二维图像的渲染方法，其特征在于，步骤S21中，所述风格转换网络包括生成器和判别器，所述生成器用于生成风格化的图像，所述判别器用于将生成的风格化图像与真实手绘图像做对比，并将对比结果作为损失函数训练生成器；该损失函数为：
LGAN(F,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(F(x)))]
其中，X、Y分别为两种不同风格的图片集；F为从X风格到Y风格的映射，用于将X中的图片x转换为Y中的图片F(x)；DY为F映射的判别器；
为了避免将所有X中的图片都转换为Y中的同一张图片，引入另一个映射G，用于将Y中的图片y转换为X中的图片G(y)；其中，F(G(y))≈y，G(F(x))≈x；所述风格转换网络同时学习F和G两个映射；定义循环一致性损失函数为：
Lcyc(F,G,X,Y)＝Ex～Pdata(x)[||G(F(x))-x||1]+Ey～Pdata(y)[||F(G(y))-y||1]
同时，为G映射引入一个判别器Dx，定义损失函数LGAN(G,Dx,X,Y)，故所述风格转换网络最终的损失函数为：
L＝LGAN(F,DY,X,Y)+LGAN(F,DX,X,Y)+λLcyc(F,g,X,Y)。
CN201910393917.5A 2019-05-13 2019-05-13 一种基于深度学习的三维模型到二维图像的渲染方法 Active CN110211192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910393917.5A CN110211192B (zh) 2019-05-13 2019-05-13 一种基于深度学习的三维模型到二维图像的渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910393917.5A CN110211192B (zh) 2019-05-13 2019-05-13 一种基于深度学习的三维模型到二维图像的渲染方法

Publications (2)

Publication Number Publication Date
CN110211192A true CN110211192A (zh) 2019-09-06
CN110211192B CN110211192B (zh) 2022-09-16

Family

ID=67787196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910393917.5A Active CN110211192B (zh) 2019-05-13 2019-05-13 一种基于深度学习的三维模型到二维图像的渲染方法

Country Status (1)

Country Link
CN (1) CN110211192B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795858A (zh) * 2019-11-06 2020-02-14 广东博智林机器人有限公司 家装设计图纸的生成方法和装置
CN111062996A (zh) * 2019-11-29 2020-04-24 广东优世联合控股集团股份有限公司 施工图的渲染方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111222519A (zh) * 2020-01-16 2020-06-02 西北大学 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN111415318A (zh) * 2020-03-20 2020-07-14 山东大学 基于拼图任务的无监督相关滤波目标跟踪方法及系统
CN112258621A (zh) * 2020-10-19 2021-01-22 北京声影动漫科技有限公司 一种用于实时观测三维渲染二维动画的方法
CN112419334A (zh) * 2020-11-18 2021-02-26 山东大学 基于深度学习的微表面材质重建方法及系统
CN112561782A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112634456A (zh) * 2020-12-29 2021-04-09 浙江传媒学院 基于深度学习的复杂三维模型的实时高真实感绘制方法
CN113034523A (zh) * 2021-04-23 2021-06-25 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备
CN113256778A (zh) * 2021-07-05 2021-08-13 爱保科技有限公司 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN114299184A (zh) * 2021-12-30 2022-04-08 青海师范大学 基于语义匹配的藏式建筑彩绘线稿图上色方法及装置
CN115187706A (zh) * 2022-06-28 2022-10-14 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
WO2022253094A1 (zh) * 2021-06-01 2022-12-08 北京字跳网络技术有限公司 图像生成方法、装置、设备和介质
CN116580121A (zh) * 2023-05-18 2023-08-11 北京元跃科技有限公司 一种基于深度学习的单张绘画生成2d模型的方法及系统
CN116958332A (zh) * 2023-09-20 2023-10-27 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408595A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于神经网络画风学习的图像渲染方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795858A (zh) * 2019-11-06 2020-02-14 广东博智林机器人有限公司 家装设计图纸的生成方法和装置
CN110795858B (zh) * 2019-11-06 2023-04-07 广东博智林机器人有限公司 家装设计图纸的生成方法和装置
CN111062996A (zh) * 2019-11-29 2020-04-24 广东优世联合控股集团股份有限公司 施工图的渲染方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111161137B (zh) * 2019-12-31 2023-04-11 四川大学 一种基于神经网络的多风格国画花生成方法
CN111222519A (zh) * 2020-01-16 2020-06-02 西北大学 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN111222519B (zh) * 2020-01-16 2023-03-24 西北大学 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN111415318A (zh) * 2020-03-20 2020-07-14 山东大学 基于拼图任务的无监督相关滤波目标跟踪方法及系统
CN111415318B (zh) * 2020-03-20 2023-06-13 山东大学 基于拼图任务的无监督相关滤波目标跟踪方法及系统
CN112258621B (zh) * 2020-10-19 2023-01-24 北京声影动漫科技有限公司 一种用于实时观测三维渲染二维动画的方法
CN112258621A (zh) * 2020-10-19 2021-01-22 北京声影动漫科技有限公司 一种用于实时观测三维渲染二维动画的方法
CN112419334A (zh) * 2020-11-18 2021-02-26 山东大学 基于深度学习的微表面材质重建方法及系统
CN112561782A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 一种提高海上场景仿真图片真实度的方法
CN112634456A (zh) * 2020-12-29 2021-04-09 浙江传媒学院 基于深度学习的复杂三维模型的实时高真实感绘制方法
CN112634456B (zh) * 2020-12-29 2023-10-13 浙江传媒学院 基于深度学习的复杂三维模型的实时高真实感绘制方法
CN113034523A (zh) * 2021-04-23 2021-06-25 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备
WO2022253094A1 (zh) * 2021-06-01 2022-12-08 北京字跳网络技术有限公司 图像生成方法、装置、设备和介质
CN113256778A (zh) * 2021-07-05 2021-08-13 爱保科技有限公司 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN114299184A (zh) * 2021-12-30 2022-04-08 青海师范大学 基于语义匹配的藏式建筑彩绘线稿图上色方法及装置
CN115187706A (zh) * 2022-06-28 2022-10-14 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN115187706B (zh) * 2022-06-28 2024-04-05 北京汉仪创新科技股份有限公司 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN116580121A (zh) * 2023-05-18 2023-08-11 北京元跃科技有限公司 一种基于深度学习的单张绘画生成2d模型的方法及系统
CN116580121B (zh) * 2023-05-18 2024-04-09 北京元跃科技有限公司 一种基于深度学习的单张绘画生成2d模型的方法及系统
CN116958332A (zh) * 2023-09-20 2023-10-27 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统
CN116958332B (zh) * 2023-09-20 2023-12-22 南京竹影数字科技有限公司 基于图像识别的纸张绘图实时映射3d模型的方法及系统

Also Published As

Publication number Publication date
CN110211192B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN110211192A (zh) 一种基于深度学习的三维模型到二维图像的渲染方法
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
CN110717977A (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN102096934B (zh) 一种基于机器学习的人脸卡通画生成方法
CN104103091B (zh) 3d智能建模方法和系统及3d模型柔性制造系统
CN109903236A (zh) 基于vae-gan与相似块搜索的人脸图像修复方法及装置
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN106780713A (zh) 一种基于单幅照片的三维人脸建模方法及系统
CN111127596B (zh) 一种基于增量Voronoi序列的分层油画笔刷绘制方法
CN101493953A (zh) 一种交互式三维卡通人脸生成方法及装置
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
Wu et al. Image style recognition and intelligent design of oiled paper bamboo umbrella based on deep learning
Sanjay et al. Early Renaissance Art Generation Using Deep Convolutional Generative Adversarial Networks
Kang et al. Emotional design of bamboo chair based on deep convolution neural network and deep convolution generative adversarial network
Xu Face reconstruction based on multiscale feature fusion and 3d animation design
Zhao et al. Artistic Style Analysis of Root Carving Visual Image Based on Texture Synthesis
Chen Study on the innovative development of digital media art in the context of artificial intelligence
Guo et al. Multichannel 3D ink painting rendering model based on the LMS algorithm
Li Exploration on the application of artificial intelligence elements in Graphic Design
Liu et al. A Rational Survey of Art and Technology: From Traditional Painting to Intelligent Painting
He Study on the Design Method of Cartoon Character Modeling Based on Evolutionary Computation
CN108162673A (zh) 一种水墨画工业生产系统及其方法
Yang et al. Structure-preserving Domain Adaptation Network for Generating Pencil Sketches
Sun et al. Representation of watercolor based on regions
Zheng Exploring the Application Scenario Test of 3D Software Virtual Reality Technology in Indoor and Outdoor Design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant