CN110728636A - 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 - Google Patents

一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 Download PDF

Info

Publication number
CN110728636A
CN110728636A CN201910876687.8A CN201910876687A CN110728636A CN 110728636 A CN110728636 A CN 110728636A CN 201910876687 A CN201910876687 A CN 201910876687A CN 110728636 A CN110728636 A CN 110728636A
Authority
CN
China
Prior art keywords
rendering
monte carlo
denoising
network
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910876687.8A
Other languages
English (en)
Inventor
唐睿
徐冰
张骏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Group's Nuclear Information Technology Co Ltd
Original Assignee
Hangzhou Group's Nuclear Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Group's Nuclear Information Technology Co Ltd filed Critical Hangzhou Group's Nuclear Information Technology Co Ltd
Priority to CN201910876687.8A priority Critical patent/CN110728636A/zh
Publication of CN110728636A publication Critical patent/CN110728636A/zh
Priority to US17/631,397 priority patent/US20220335574A1/en
Priority to PCT/CN2020/094759 priority patent/WO2021051893A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型及其构建方法，包括：构建训练样本，构建生成式对抗网络，包括去噪网络和判别网络，其中，去噪网络用于输入的噪声渲染图和辅助特征进行去噪，输出去噪渲染图，判别网络用于对输入的去噪渲染图和噪声渲染图对应的目标渲染图进行分类，输出分类结果；利用训练样本对生成式对抗网络的网络参数进行调优，以网络参数确定的去噪网络作为蒙特卡洛渲染图去噪模型，还公开了一种蒙特卡洛渲染图的去噪方法和装置，能够实现对含有噪声的蒙特卡洛渲染图的去噪。

Description

一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法 及装置
技术领域
本发明属于图像去噪声领域，具体涉及一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置。
背景技术
基于蒙特卡洛积分(Monte-Carlo Simulation)的渲染技术，由于渲染图的方差收敛需要大量的采样，因此，耗费大量的时间和计算资源。为了节省计算资源和降低渲染时间，一般采用较低采样率进行渲染得到一张有噪点的渲染图后，再采用一定的去噪技术对渲染图进行降噪，以得到一张无噪点、视觉表现较佳的渲染图。
目前，比较前沿的对蒙特卡洛渲染图去噪技术多基于深度学习。用的最多的是采用卷积神经网络对蒙特卡洛渲染图进行去噪，具体以蒙特卡洛渲染图和目标无噪点图片的L1范数/L2范数损失函数作为优化回归的目标，对卷积神经网络进行训练，训练好的卷积神经模型即可以实现对蒙特卡洛渲染图去噪。
Disney的“Bako S,Vogels T,McWilliams B,et al.Kernel-predictingconvolutional networks for denoising Monte Carlo renderings[J].ACMTransactions on Graphics(TOG),2017,36(4):97.”以及Nvidia的“Chaitanya C R A,Kaplanyan A S,Schied C,et al.Interactive reconstruction of Monte Carlo imagesequences using a recurrent denoising autoencoder[J].ACM Transactions onGraphics(TOG),2017,36(4):98.”由于以像素级的loss作为优化目标，很难准确地描述真实的人眼视觉感受，所以即便在这个优化目标上做到标准很高，往往会得到相对模糊或者还原度较低的高频细节，使得去噪后的蒙特卡洛渲染图在细节处缺乏真实感，甚至有些高频细节较多的地方会显得比较脏。例如对室内渲染图进行去噪后，会使得室内渲染图中吊顶的墙角和踢脚线等这些高频细节较多的地方比较脏。
因此，迫切地需要一种对蒙特卡洛渲染图的去噪技术，该去噪技术既能做到对低频细节取得良好去噪效果，还能够较好地保留高频细节。
发明内容
本发明的目的是提供一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型及其建立方法，建立的蒙特卡洛渲染图去噪模型能够实现对含有噪声的蒙特卡洛渲染图的去噪，在对低频细节取得良好去噪效果的同时，还能够明显提升对高频细节的保留，以获得在视觉上更加真实的渲染图。
本发明的另一目的是提供一种特卡洛渲染图的去噪方法和装置，该去噪方法和装置利用上述构建的蒙特卡洛渲染图去噪模型，能够实现对蒙特卡洛渲染图的去噪，在对低频细节取得良好去噪效果的同时，还能够明显提升对高频细节的保留，以获得在视觉上更加真实的渲染图。
为实现上述发明目的，提供以下技术方案：
第一实施方式提供了一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型的构建方法，包括以下步骤：
获取含有噪声的蒙特卡洛渲染图作为噪声渲染图，获取生成噪声渲染图时的辅助特征，以噪声渲染图和对应的辅助特征，以及噪声渲染图对应的目标渲染图作为一个训练样本；
构建生成式对抗网络，所述生成式对抗网络包括去噪网络和判别网络，其中，所述去噪网络用于输入的噪声渲染图和辅助特征进行去噪，输出去噪渲染图，所述判别网络用于对输入的去噪渲染图和噪声渲染图对应的目标渲染图进行分类，输出分类结果；
利用训练样本对所述生成式对抗网络的网络参数进行调优，调优结束后，以网络参数确定的去噪网络作为蒙特卡洛渲染图去噪模型。
第二实施方式提供了一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型，所述蒙特卡洛渲染图去噪模型通过第一实施方式提供的构建方法构建获得。
优选地，所述蒙特卡洛渲染图去噪模型为蒙特卡洛渲染图去噪模型Md，其为利用diffuse路径渲染流程渲染得到的蒙特卡洛渲染图Pd、生成该蒙特卡洛渲染图Pd时的辅助特征，以及蒙特卡洛渲染图Pd对应的目标渲染图作为训练样本训练得到；
所述蒙特卡洛渲染图去噪模型为蒙特卡洛渲染图去噪模型Ms，其为利用specular路径渲染流程渲染得到的蒙特卡洛渲染图Ps、生成该蒙特卡洛渲染图Ps时的辅助特征，以及蒙特卡洛渲染图Ps对应的目标渲染图作为训练样本训练得到。
第三实施方式提供了一种蒙特卡洛渲染图的去噪方法，包括以下步骤：
根据路径追踪第一次光线和物体相交交点处的材质区别，将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程；
分别利用diffuse路径渲染流程和specular路径渲染流程进行渲染，得到含有噪声的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps，同时生成蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征；
将蒙特卡洛渲染图Pd以及对应的辅助特征输入至所述的蒙特卡洛渲染图去噪模型Md中，获得去噪渲染图Pd’；
将蒙特卡洛渲染图Ps以及对应的辅助特征输入至所述蒙特卡洛渲染图去噪模型Ms中，获得去噪渲染图Ps’；
融合去噪渲染图Pd’和去噪渲染图Ps’，得到最终去噪渲染图。
第四实施方式提供了一种对蒙特卡洛渲染图的去噪装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有所述的蒙特卡洛渲染图去噪模型Ms和蒙特卡洛渲染图去噪模型Md；
所述计算机处理器执行所述计算机程序时实现以下步骤：
根据路径追踪第一次光线和物体相交交点处的材质区别，将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程；
分别利用diffuse路径渲染流程和specular路径渲染流程进行渲染，得到低采样率的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps，同时生成蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征；
调用蒙特卡洛渲染图去噪模型Md对将蒙特卡洛渲染图Pd以及对应的辅助特征进行去噪，获得去噪渲染图Pd’；
调用蒙特卡洛渲染图去噪模型Ms对蒙特卡洛渲染图Ps以及对应的辅助特征进行去噪，获得去噪渲染图Ps’；
融合去噪渲染图Pd’和去噪渲染图Ps’，得到最终去噪渲染图。
本发明具有的有益效果为：
所述蒙特卡洛渲染图去噪模型，具有更强的去噪能力，去噪后获得的去噪渲染图能够带给人类视觉感受上更好的降噪效果。
所述特卡洛渲染图的去噪方法和装置由于利用了蒙特卡洛渲染图去噪模型，可以实现采用较低的采样率达到高采样率才能达到的渲染效果，同时去噪的时间只在一秒的数量级，远远小于多采样所需要的渲染时间(几百到几千秒的数量级)，极大地节约渲染时间和计算成本，从而可以减少服务器的使用，降低整个渲染服务的产业成本，节约资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是生成式对抗网络的结构示意图；
图2是生成式对抗网络的训练过程示意图；
图3是对对蒙特卡洛渲染图的去噪方法流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
当采用低采样率对模型进行蒙特卡洛渲染时，获得的蒙特卡洛渲染图往往都存在很多噪点，为了去除蒙特卡洛渲染图中的噪点，以下实施方式提供了一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型及其建立方法，还提供了一种利用该蒙特卡洛渲染图去噪模型的去噪方法，以及调用该蒙特卡洛渲染图去噪模型的去噪装置。
一个实施方式，提供了一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型的建立方法，如图1所示和图2所示，具体包括以下过程：
建立训练样本集
首先，采用低采样率对模型进行蒙特卡洛渲染渲染，得到含有噪声的蒙特卡洛渲染图作为噪声渲染图，然后，采用高采样率对同样模型进行蒙特卡洛渲染，得到含有极少噪声的蒙特卡洛渲染图，并以含有极少噪声的蒙特卡洛渲染图作为目标渲染图，当然，也可以采用其他的方式对噪声渲染图进行去噪，以获得图像质量满足需求的目标渲染图，目标渲染图的获取方式在此不做限定。
本实施方式构建的蒙特卡洛渲染图去噪模型能够实现的目标就是对输入的噪声渲染图进行去噪操作，输出图像质量达到目标渲染图的去噪渲染图。
为了提升蒙特卡洛渲染图去噪模型的去噪能力，本发明还考虑增加其他辅助特征作为蒙特卡洛渲染图去噪模型的输入，这样蒙特卡洛渲染图去噪模型在去噪的时候能够综合结合噪声渲染图的特征和辅助特征，多次提取能够提升图像质量的特征点，形成去噪渲染图。因此，在采用低采样率对模型进行蒙特卡洛渲染渲染，获得含有噪声的蒙特卡洛渲染图作为噪声渲染图时，提取噪声渲染图对应的辅助特征，该些辅助特征Auxiliary Feature包括但不限于法线图Normal Buffer，深度图Depth Buffer，材质纹理图Albedo Buffer。
因此，以噪声渲染图和对应的辅助特征，以及噪声渲染图对应的目标渲染图作为一个训练样本，以此构建训练样本集。
构建生成式对抗网络
单纯的采用卷积神经网络对噪声渲染图去噪，获得的去噪渲染图在细节处缺乏真实感，为了提升去噪时对高频细节的保留，本实施方式通过对抗学习来构建蒙特卡洛渲染图去噪模型，具体地，构建的生成式对抗网络包括去噪网络Denoising Net和判别网络Critic Net，其中，Denoising Net去噪网络用于输入的噪声渲染图和辅助特征进行去噪，输出去噪渲染图，判别网络Critic Net用于对输入的去噪渲染图和噪声渲染图对应的目标渲染图进行分类，输出分类结果。
具体地，去噪网络包括：
辅助图特征提取子网络，该辅助图特征提取子网络为包括至少一个卷积层的卷积神经网络，用于对输入的辅助特征进行融合，输出辅助特征图；
渲染图特征提取子网络，该渲染图特征提取子网络为包括至少一个卷积层的卷积神经网络，用于提取噪声渲染图的特征，输出噪声特征图；
特征融合子网络，该特征融合子网络为采用残差思想，利用卷积层对辅助特征图和噪声特征图进行融合提取的神经网络。
对于辅助图特征提取子网络Encoder Net，具体可以为至少2个卷积层Conv和激活层RelU依次连接的卷积神经网络，举例说明，辅助特征融合网络Encoder Net可以为如图1(c)所示的卷积神经网络，具体包括依次连接的Conv k3n128s1，Leaky RelU，Convk1n128s1，Leaky RelU，Conv k1n128s1，Leaky RelU，Conv k1n128s1，Leaky RelU以及Convk1n32s1，其中，Conv k3n128s1表示卷积核为3*3，通道数为128，步长为1的卷积层，其他卷积层解释类似，在此不再赘述。
具体地，特征融合子网络可以包括：
特征融合单元，该特征融合单元用于对辅助特征图和噪声特征图进行结合，输出调制特征图，具体包括依次连接的多个辅助特征调制模块CFM ResBlock、辅助特征调制节CFM以及卷积层，其中，辅助特征调制模块CFM Block和辅助特征调制节CFM的输入为辅助特征图和上一层的输出，第一个辅助特征调制模块CFM ResBlock的输入为噪声特征图和辅助特征图，卷积层的输入为辅助特征调制节CFM的输出，输出为调制特征图；
输出单元，该输出单元用于对特征提取单元输出的噪声特征图和调制单元输出的调制特征图进行特征融合，即输入为噪声特征图和调制特征图叠加后的特征图，输出为去噪渲染图。
具体地，辅助特征调制模块CFM ResBlock包括辅助特征调制节CFM、卷积层、激活层以及叠加操作，其中，辅助特征调制节CFM用于对于辅助特征和上一次输出的特征进行调制，也就是辅助特征调制节CFM的输入包括辅助特征图和上一层的输出特征，叠加操作用于对辅助特征调制模块CFM ResBlock的输入和最后的卷积层的输出进行叠加。
举例说明，如图1(b)所示，辅助特征调制模块CFM ResBlock包括依次连接的辅助特征调制节CFM、Convk3n64s1、ReLU、辅助特征调制节CFM、Conv k3n64s1以及叠加操作
Figure BDA0002204524900000081
其中，辅助特征调制节CFM的输入包括辅助特征图和上一层的输出特征，叠加操作
Figure BDA0002204524900000082
用于叠加辅助特征调制模块CFM ResBlock的输入和Conv k3n64s1的输出。
其中，辅助特征调制节CFM包括卷积层、点乘操作以及叠加操作，其中，卷积层的输入为辅助特征图，点乘操作用于对卷积层的输出和上一层的输出进行点乘操作，叠加操作用于对卷积层的输出和点乘操作进行叠加，输出特征图。
举例说明，如图1(b)所示，辅助特征调制节CFM包括Conv k1n32s1、Leaky ReLU、Conv k1n64s1、点乘操作⊙以及叠加操作
Figure BDA0002204524900000083
其中，Conv k1n32s1、Leaky ReLU、Convk1n64s1三层依次连接，Conv k1n32s1的输入为辅助特征图，点乘操作⊙是指将上一层的输出与Conv k1n64s1的输出γ进行点乘，叠加操作
Figure BDA0002204524900000084
是指将点乘操作的结果与Conv k1n64s1的输出β进行叠加。
具体地，融合单元包括卷积层和激活层，用于对对特征提取单元输出的噪声特征图和调制单元输出的调制特征图进行特征融合，输出去噪特征图。举例说明，如图1(a)所示，融合单元包括依次连接的Conv k3n64s1、ReLU、Conv k3n3s1以及ReLU。
判别网络Critic Net为卷积层、BN、激活层以及全连接层组成的网络。举例说明，如图1(d)所示，判别网络Critic Net包括依次连接的Conv、Leaky ReLU、多个连续的提取单元、全连接层Dense(100)、Leaky ReLU以全连接层Dense(1)，其中，提取单元包括连续的Conv、BN以及Leaky ReLU，全连接层Dense(100)中的100表示输出维度为100。
生成式对抗网路的训练
在构建完生成式对抗网络后，即利用训练样本集对生成式对抗网络进行对抗训练，优化生成式对抗网络的网络参数。去噪网络Denoising Net的作用在于对噪声渲染图进行去噪，生成去噪渲染图，目的在于使得判别网络Critic Net无法分辨出去噪渲染图和目标渲染图；而判别网络CriticNet的作用在于尽可能区分去噪渲染图和目标渲染图的视觉质量。因此，在训练时，利用Critic Net的预测输出与实际标签的差值反向传递更新生成式对抗网络中的参数，以实现对生成式对抗网络的对抗训练，整个训练基于对抗性过程使得去噪网络DenoisingNet和判别网络CriticNet的能力同时得到提升。
当参数调优结束后，提取参数确定的去噪网络Denoising Net作为蒙特卡洛渲染图去噪模型。
该蒙特卡洛渲染图去噪模型能够实现对含有噪声的蒙特卡洛渲染图的去噪，在对低频细节取得良好去噪效果的同时，还能够明显提升对高频细节的保留，以获得在视觉上更加真实的渲染图。
在上述蒙特卡洛渲染图去噪模型构建的基础上，还可以通过改变训练样本训练上述构建的生成式对抗网络，以获得能够处理其他输入图像的蒙特卡洛渲染图去噪模型。
众所周知，蒙特卡洛渲染是对传统的逆向光线追踪的改进，其主要还是基于光线追踪原理，因此，在渲染时，根据路径追踪第一次光线和物体相交交点处的材质区别，可以将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程，利用diffuse路径渲染流程和specular路径渲染流程单独进行渲染，既可以获得含有噪声的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps。
在此基础上，即可以获得的对蒙特卡洛渲染图Pd进行去噪的蒙特卡洛渲染图去噪模型Md和对蒙特卡洛渲染图Ps进行去噪的蒙特卡洛渲染图去噪模型Ms。
具体地，利用diffuse路径渲染流程渲染得到的蒙特卡洛渲染图Pd作为噪声渲染图Pd(也就是Noisy Diffuse)，以噪声渲染图Pd、生成噪声渲染图Pd时的辅助特征(Auxiliary feature)，以及噪声渲染图Pd对应的目标渲染图作为训练样本，对上述生成式对抗网络进行对抗训练，对抗训练结束后，提取去噪网络Denoising Net和辅助特征融合网络Encoder Net作为蒙特卡洛渲染图去噪模型Md。
利用specular路径渲染流程渲染得到的蒙特卡洛渲染图Ps作为噪声渲染图Ps(也就是Noisy Specular)，以噪声渲染图Ps、生成噪声渲染图Ps时的辅助特征，以及噪声渲染图Ps对应的目标渲染图作为训练样本，对上述生成式对抗网络进行对抗训练，对抗训练结束后，提取去噪网络Denoising Net和辅助特征融合网络Encoder Net作为蒙特卡洛渲染图去噪模型Ms。
另外一实施方式，提供了一种蒙特卡洛渲染图的去噪方法，如图3所示，包括以下步骤：
S101，根据路径追踪第一次光线和物体相交交点处的材质区别，将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程；
S102，分别利用diffuse路径渲染流程和specular路径渲染流程进行渲染，得到含有噪声的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps，同时生成蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征；
S103，将蒙特卡洛渲染图Pd以及对应的辅助特征输入至上述蒙特卡洛渲染图去噪模型Md中，获得去噪渲染图Pd’；
S104，将蒙特卡洛渲染图Ps以及对应的辅助特征输入至上述蒙特卡洛渲染图去噪模型Ms中，获得去噪渲染图Ps’；
S105，融合去噪渲染图Pd’和去噪渲染图Ps’，得到最终去噪渲染图。
该去噪方法中，蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征AuxiliaryFeature包括但不限于法线图Normal Buffer，深度图Depth Buffer，材质纹理图AlbedoBuffer。
所述蒙特卡洛渲染图去噪模型Md和蒙特卡洛渲染图去噪模型Ms按照上述构建方法构建获得，此处不再赘述。
该去噪方法由于利用了蒙特卡洛渲染图去噪模型Md和Ms，可以实现采用较低的采样率达到高采样率才能达到的渲染效果，同时去噪的时间只在一秒的数量级，远远小于多采样所需要的渲染时间(几百到几千秒的数量级)，极大地节约渲染时间和计算成本，从而可以减少服务器的使用，降低整个渲染服务的产业成本，节约资源。
另一个实施方式，提供了一种对蒙特卡洛渲染图的去噪装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述蒙特卡洛渲染图去噪模型Ms和蒙特卡洛渲染图去噪模型Md；
所述计算机处理器执行所述计算机程序时实现以下步骤：
根据路径追踪第一次光线和物体相交交点处的材质区别，将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程；
分别利用diffuse路径渲染流程和specular路径渲染流程进行渲染，得到低采样率的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps，同时生成蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征；
调用蒙特卡洛渲染图去噪模型Md对将蒙特卡洛渲染图Pd以及对应的辅助特征进行去噪，获得去噪渲染图Pd’；
调用蒙特卡洛渲染图去噪模型Ms对蒙特卡洛渲染图Ps以及对应的辅助特征进行去噪，获得去噪渲染图Ps’；
融合去噪渲染图Pd’和去噪渲染图Ps’，得到最终去噪渲染图。
该去噪装置由于利用了蒙特卡洛渲染图去噪模型Md和Ms，可以实现采用较低的采样率达到高采样率才能达到的渲染效果，同时去噪的时间只在一秒的数量级，远远小于多采样所需要的渲染时间(几百到几千秒的数量级)，极大地节约渲染时间和计算成本，从而可以减少服务器的使用，降低整个渲染服务的产业成本，节约资源。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型的构建方法，包括以下步骤：
获取含有噪声的蒙特卡洛渲染图作为噪声渲染图，获取生成噪声渲染图时的辅助特征，以噪声渲染图和对应的辅助特征，以及噪声渲染图对应的目标渲染图作为一个训练样本；
构建生成式对抗网络，所述生成式对抗网络包括
去噪网络和判别网络，其中，所述去噪网络用于输入的噪声渲染图和辅助特征进行去噪，输出去噪渲染图，所述判别网络用于对输入的去噪渲染图和噪声渲染图对应的目标渲染图进行分类，输出分类结果；
利用训练样本对所述生成式对抗网络的网络参数进行调优，调优结束后，以网络参数确定的去噪网络作为蒙特卡洛渲染图去噪模型。
2.如权利要求1所述的基于生成式对抗网络的蒙特卡洛渲染图去噪模型的构建方法，其特征在于，所述去噪网络包括：
辅助图特征提取子网络，该辅助图特征提取子网络为包括至少一个卷积层的卷积神经网络，用于对输入的辅助特征进行融合，输出辅助特征图；
渲染图特征提取子网络，该渲染图特征提取子网络为包括至少一个卷积层的卷积神经网络，用于提取噪声渲染图的特征，输出噪声特征图；
特征融合子网络，该特征融合子网络为采用残差思想，利用卷积层对辅助特征图和噪声特征图进行融合提取的神经网络。
3.如权利要求2所述的基于生成式对抗网络的蒙特卡洛渲染图去噪模型的构建方法，其特征在于，所述特征融合子网络包括：
特征融合单元，该特征融合单元用于对辅助特征图和噪声特征图进行结合，输出调制特征图，具体包括依次连接的多个辅助特征调制模块CFM ResBlock、辅助特征调制节CFM以及卷积层，其中，辅助特征调制模块CFM Block和辅助特征调制节CFM的输入为辅助特征图和上一层的输出，第一个辅助特征调制模块CFM ResBlock的输入为噪声特征图和辅助特征图，卷积层的输入为辅助特征调制节CFM的输出，输出为调制特征图；
输出单元，该输出单元用于对特征提取单元输出的噪声特征图和调制单元输出的调制特征图进行特征融合，即输入为噪声特征图和调制特征图叠加后的特征图，输出为去噪渲染图。
4.如权利要求1所述的基于生成式对抗网络的蒙特卡洛渲染图去噪模型的构建方法，其特征在于，所述判别网络为卷积层、BN、激活层以及全连接层组成的网络。
5.一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型，其特征在于，所述蒙特卡洛渲染图去噪模型通过权利要求1～4任一项所述的构建方法构建获得。
6.如权利要求5所示的基于生成式对抗网络的蒙特卡洛渲染图去噪模型，其特征在于，
所述蒙特卡洛渲染图去噪模型为蒙特卡洛渲染图去噪模型Md，其为利用diffuse路径渲染流程渲染得到的蒙特卡洛渲染图Pd、生成该蒙特卡洛渲染图Pd时的辅助特征，以及蒙特卡洛渲染图Pd对应的目标渲染图作为训练样本训练得到；
所述蒙特卡洛渲染图去噪模型为蒙特卡洛渲染图去噪模型Ms，其为利用specular路径渲染流程渲染得到的蒙特卡洛渲染图Ps、生成该蒙特卡洛渲染图Ps时的辅助特征，以及蒙特卡洛渲染图Ps对应的目标渲染图作为训练样本训练得到。
7.一种蒙特卡洛渲染图的去噪方法，包括以下步骤：
根据路径追踪第一次光线和物体相交交点处的材质区别，将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程；
分别利用diffuse路径渲染流程和specular路径渲染流程进行渲染，得到含有噪声的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps，同时生成蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征；
将蒙特卡洛渲染图Pd以及对应的辅助特征输入至权利要求6所述的蒙特卡洛渲染图去噪模型Md中，获得去噪渲染图Pd’；
将蒙特卡洛渲染图Ps以及对应的辅助特征输入至权利要求6所述的蒙特卡洛渲染图去噪模型Ms中，获得去噪渲染图Ps’；
融合去噪渲染图Pd’和去噪渲染图Ps’，得到最终去噪渲染图。
8.一种对蒙特卡洛渲染图的去噪装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，
所述计算机存储器中存有权利要求6所述的蒙特卡洛渲染图去噪模型Ms和蒙特卡洛渲染图去噪模型Md；
所述计算机处理器执行所述计算机程序时实现以下步骤：
根据路径追踪第一次光线和物体相交交点处的材质区别，将渲染引擎的渲染流程拆分为diffuse路径渲染流程和specular路径渲染流程；
分别利用diffuse路径渲染流程和specular路径渲染流程进行渲染，得到低采样率的蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps，同时生成蒙特卡洛渲染图Pd和蒙特卡洛渲染图Ps对应的辅助特征；
调用蒙特卡洛渲染图去噪模型Md对将蒙特卡洛渲染图Pd以及对应的辅助特征进行去噪，获得去噪渲染图Pd’；
调用蒙特卡洛渲染图去噪模型Ms对蒙特卡洛渲染图Ps以及对应的辅助特征进行去噪，获得去噪渲染图Ps’；
融合去噪渲染图Pd’和去噪渲染图Ps’，得到最终去噪渲染图。
CN201910876687.8A 2019-09-17 2019-09-17 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 Pending CN110728636A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910876687.8A CN110728636A (zh) 2019-09-17 2019-09-17 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置
US17/631,397 US20220335574A1 (en) 2019-09-17 2020-06-05 A monte carlo rendering image denoising model, method and device based on generative adversarial network
PCT/CN2020/094759 WO2021051893A1 (zh) 2019-09-17 2020-06-05 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910876687.8A CN110728636A (zh) 2019-09-17 2019-09-17 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置

Publications (1)

Publication Number Publication Date
CN110728636A true CN110728636A (zh) 2020-01-24

Family

ID=69219064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876687.8A Pending CN110728636A (zh) 2019-09-17 2019-09-17 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置

Country Status (3)

Country Link
US (1) US20220335574A1 (zh)
CN (1) CN110728636A (zh)
WO (1) WO2021051893A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051893A1 (zh) * 2019-09-17 2021-03-25 杭州群核信息技术有限公司 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置
CN113628126A (zh) * 2021-06-29 2021-11-09 光线云(杭州)科技有限公司 基于重要度特征图共享的实时蒙特卡洛路径追踪降噪方法、装置和计算机设备
CN114331895A (zh) * 2021-12-30 2022-04-12 电子科技大学 一种基于生成对抗网络的蒙特卡罗渲染图去噪方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11887279B2 (en) * 2020-08-25 2024-01-30 Sharif University Of Technology Machine learning-based denoising of an image
CN113436111B (zh) * 2021-07-21 2024-01-09 西北工业大学 一种基于网络结构搜索的高光谱遥感图像去噪方法
CN115983352B (zh) * 2023-02-14 2023-06-16 北京科技大学 一种基于辐射场和生成对抗网络的数据生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109740283A (zh) * 2019-01-17 2019-05-10 清华大学 自主多智能体对抗仿真方法及系统
CN109872288A (zh) * 2019-01-31 2019-06-11 深圳大学 用于图像去噪的网络训练方法、装置、终端及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148088B (zh) * 2018-03-14 2023-09-19 北京邮电大学 图像处理方法、图像去雨方法、装置、终端及介质
CN109859147B (zh) * 2019-03-01 2021-05-04 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110728636A (zh) * 2019-09-17 2020-01-24 杭州群核信息技术有限公司 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109740283A (zh) * 2019-01-17 2019-05-10 清华大学 自主多智能体对抗仿真方法及系统
CN109872288A (zh) * 2019-01-31 2019-06-11 深圳大学 用于图像去噪的网络训练方法、装置、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
极客业界: "计算机图形学界的"奥斯卡"盛会 酷家乐两篇论文入选Siggraph Asia", 《极客公园》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051893A1 (zh) * 2019-09-17 2021-03-25 杭州群核信息技术有限公司 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置
CN113628126A (zh) * 2021-06-29 2021-11-09 光线云(杭州)科技有限公司 基于重要度特征图共享的实时蒙特卡洛路径追踪降噪方法、装置和计算机设备
CN113628126B (zh) * 2021-06-29 2022-03-01 光线云(杭州)科技有限公司 基于重要度特征图共享的实时蒙特卡洛路径追踪降噪方法、装置和计算机设备
CN114331895A (zh) * 2021-12-30 2022-04-12 电子科技大学 一种基于生成对抗网络的蒙特卡罗渲染图去噪方法

Also Published As

Publication number Publication date
WO2021051893A1 (zh) 2021-03-25
US20220335574A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
CN110728636A (zh) 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
JP6613605B2 (ja) 深度画像の深度値復元方法及びシステム
Zhao et al. Dd-cyclegan: Unpaired image dehazing via double-discriminator cycle-consistent generative adversarial network
Bar et al. Semi-blind image restoration via Mumford-Shah regularization
CN109658344A (zh) 基于深度学习的图像去噪方法、装置、设备和存储介质
Ehsan et al. A single image dehazing technique using the dual transmission maps strategy and gradient-domain guided image filtering
CN113538235B (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113610989B (zh) 风格迁移模型训练方法和装置、风格迁移方法和装置
Yin et al. Attentive U-recurrent encoder-decoder network for image dehazing
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
Ahmad et al. A comparative study of different denoising techniques in digital image processing
Huang et al. Image noise removal method based on improved nonlocal mean algorithm
CN114299573A (zh) 视频处理方法、装置、电子设备及存储介质
CN113158970A (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN116703768A (zh) 盲点去噪网络模型的训练方法、装置、介质和设备
CN108230251A (zh) 组合式图像恢复方法及装置
CN115829865A (zh) 基于模型先验的图像补全方法、系统、设备及存储介质
CN114120423A (zh) 人脸图像检测方法、装置、电子设备和计算机可读介质
CN110517335B (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质
CN113177879A (zh) 图像处理方法、装置、电子设备以及存储介质
Hu et al. Remote Sensing Image Reconstruction Method Based on Parameter Adaptive Dual-Channel Pulse-Coupled Neural Network to Optimize Multiscale Decomposition
CN110119721A (zh) 用于处理信息的方法和装置
CN117952879B (zh) 综合退化、估计和恢复的水下图像增强方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124