CN105389843B - 基于径向基函数神经网络拟合的全局光照实时绘制方法 - Google Patents

基于径向基函数神经网络拟合的全局光照实时绘制方法 Download PDF

Info

Publication number
CN105389843B
CN105389843B CN201510903376.8A CN201510903376A CN105389843B CN 105389843 B CN105389843 B CN 105389843B CN 201510903376 A CN201510903376 A CN 201510903376A CN 105389843 B CN105389843 B CN 105389843B
Authority
CN
China
Prior art keywords
illumination
point
value
global illumination
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510903376.8A
Other languages
English (en)
Other versions
CN105389843A (zh
Inventor
刘惠义
姚承宗
钱苏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201510903376.8A priority Critical patent/CN105389843B/zh
Publication of CN105389843A publication Critical patent/CN105389843A/zh
Application granted granted Critical
Publication of CN105389843B publication Critical patent/CN105389843B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Generation (AREA)

Abstract

本发明公开了一种基于径向基函数神经网络拟合的全局光照实时绘制方法,属于真实感图形实时渲染领域,包括训练数据获取、神经网络构建、神经网络训练、间接光照值拟合、直接光照值计算、全局光照绘制,使用离线渲染的方式进行预计算,获得训练数据,通过减聚类的方法确定径向基函数的中心,采用有监督的学习方法进行训练,拟合间接光照中的视点位置、光源位置、场景中物体表面法向量等与间接光照值之间的非线性关系,以代替传统的全局光照模型完成间接光照的计算,避免了光线的多次求交。该方法能有效减少冗余数据,以较快的速度收敛,并且很好地拟合离线渲染的结果,完成全局光照实时绘制。

Description

基于径向基函数神经网络拟合的全局光照实时绘制方法
技术领域
本发明涉及一种基于径向基函数神经网络拟合的全局光照实时绘制方法,属于真实感图形实时渲染技术领域。
背景技术
真实感图形的绘制主要涉及三个方面:场景几何、物体材质和光照模型。其中光照模型描述的是光源与被绘制表面的颜色的关系,可以分为局部光照模型和全局光照模型。
局部光照模型绘制时,当前绘制点的颜色只受直接照射该点的光线的影响,而不考虑通过其他途径传播过来的光的作用。
全局光照模型除了直接来自光源的光照外,还需考虑整个场景对当前着色点的光照影响,包括反射、透明物体的折射、半透明物体的子表面散射等效果。
早期实现全局光照绘制的算法主要有光线跟踪、辐射度、环境光遮蔽、光子映射等。然而这些算法在实现过程中,都遇到了需要对光线与场景多次求交的情况,耗费的时间较长。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种基于径向基函数神经网络拟合的全局光照实时绘制方法,将回归分析方法引入全局光照的渲染过程之中,使用径向基函数神经网络构建学习模型,对通过蒙特卡洛光线跟踪方法得到的光照样本数据集进行学习,确定每个基函数单元的宽度、中心及隐含层与输出层单元之间的权值矩阵,从而发掘出每个场景对象表面可见点的特征属性之间的非线性关联,以代替传统的全局光照模型完成间接光照的计算,避免了光线的多次求交运算。
为了实现上述目标,本发明采用如下的技术方案:
一种基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,包括如下步骤:
1)通过离线渲染获取训练数据:通过基于物理的光线跟踪渲染方法,对场景进行渲染,得到高质量的图片,从而得到任意位置处的全局光照值;所述高质量的图片依据经验值判断;
在渲染场景的同时,获取的场景中点的位置、表面法向量、双向反射函数值、光源的位置和光照值;
2)训练数据优化:对于步骤1)得到的训练数据通过聚类提取特征信息,剔除冗余信息并进行优化,得到优化后的训练数据;
3)神经网络构建:通过减聚类的方法获取径向基函数的中心,采用随机分布,初始化隐含层到输出层的权值,构建出径向基函数神经网络;
4)神经网络训练:采用BP学习方法训练,通过信号的前向传播计算每个节点的值;通过与期望值的比较,计算出误差,然后进行误差的反向传播由输出层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值;
5)间接光照值拟合:对于一组视点和光源,可以得到在该视点下需要渲染的场景中的点的位置,计算得到表面法向量和双向反射函数,将这些值输入训练好的神经网络得到该像素点的R、G、B颜色分量;
6)直接光照值计算:采用基于双缓冲区非局部均值滤波的自适应采样的方法进行蒙特卡罗光线跟踪完成直接光照值的计算;
7)全局光照绘制:结合5)、6)两步得到的分别得到间接光照值和直接光照值,完成全局光照绘制。
前述的基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,所述步骤3)采用的减聚类方法确定径向基函数中心包括如下步骤:
1)确定覆盖区间:对空间上的N个数据点的集合Ω,A={A1 A2…AN}进行处理,用表示第i组第j维的数据;用区间表示ΩA在第j维上的覆盖范围,其中(j=1,2,…,12+nf);
2)确定聚类网格点:把区间Ij等分成r段,并用向量存储这些网格点,其中
3)计算密度指标公式:计算欧式距离,将ΩA上的点都归约到网格点上,形成集合将ΩM中的相同元素合并得到ΩZ={zi};针对ΩZ中的元素,根据减聚类的定义推导出其密度指标计算公式其中hj表示ΩA中映射到ΩZ的数据点的数目,选取密度指标最高的点作为第一个聚类中心;
4)迭代求解:对步骤3)中的密度指标公式进行修正,选取密度指标最高的数据点作为新的聚类中心,反复迭代;
5)构建网络:选取好聚类中心后,采用随机分布,初始化隐含层到输出层的权值,构建径向基函数神经网络。
前述的基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,所述步骤6)具体步骤为:
61)采用均匀分布的方式分布初始采样点;
62)采用非局部均值方法去噪,在合成图像的时候,生成两个采样点相同的缓冲区域A和B;
63)用两缓冲区之间的差值来表示错误率,根据错误率来重新分配采样点;
64)如此反复迭代步骤61)-63),完成采样后用经典的光线跟踪算法完成直接光照部分的渲染。
本发明所达到的有益效果:本方法将回归分析方法引入全局光照的渲染过程之中,使用神经网络构建学习模型,对通过蒙特卡洛光线跟踪方法得到的光照样本数据集进行学习,可以很好地拟合蒙特卡洛离线渲染的结果,用其构建神经网络模型来拟合光照计算,可以避免传统光线跟踪过程中繁杂的光线求交计算,在确保渲染精度的同时,提高了场景渲染的速度。
附图说明
图1是本发明的流程图;
图2是构建好的网络结构示意图;
图3是BP学习方法训练流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1为基于径向基函数神经网络拟合的全局光照实时绘制流程图,处理步骤如下:
1)离线渲染步骤:通过基于物理的光线跟踪渲染方法,对场景进行渲染,得到的高质量的图片,这里的高质量的图片依据经验值判断,高质量标准为照片级的真实感图像,可以采用GPU进行加速,提高渲染效率,从而得到任意位置处的全局光照值。在渲染场景的同时,获取的场景中点的位置、并计算其表面法向量、双向反射函数值以及光源的位置、光照值等。针对同一场景,视点的选择可以采用随机分布。
2)训练数据优化步骤:对于步骤1)得到的训练数据通过聚类,提取特征信息,剔除冗余信息进行优化,得到优化后的训练数据。
3)神经网络构建步骤:通过减聚类的方法获取径向基函数的中心,采用随机分布,初始化隐含层到输出层的权值,构建出径向基函数神经网络,如图2所示。
4)神经网络训练步骤:采用BP学习方法训练,如图3所示,通过信号的前向传播计算每个节点的值。通过与期望值的比较,计算出误差,然后进行误差的反向传播由输出层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值。
5)间接光照值拟合步骤:对于现有的场景,可以通过一组视点V和光源S,得到在该视点下需要渲染的场景点x,计算得到x处的法向量n和双向反射函数f,从而对于任意需要渲染的像素点,都有一组归一化的输入向量[x,s,v,n,f],通过神经网络即可得到该像素点的R、G、B颜色分量,即间接光照值。
6)直接光照值计算步骤:采用均匀分布的方式分布初始采样点。然后,采用非局部均值方法去噪,在合成图像的时候,生成两个采样点相同的缓冲区域A和B。用两缓冲区之间的差值来表示错误率,根据错误率来重新分配采样点。如此反复迭代,完成采样,之后用经典的光线跟踪算法完成直接光照部分的渲染。
使用双缓冲区可以消除滤波系数和噪声之间的相关性。
7)全局光照绘制步骤,对步骤5)和步骤6)得到间接光照值和直接光照值进行叠加,结合这两部分即得到全局光照值。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,包括如下步骤:
1)通过离线渲染获取训练数据:通过基于物理的光线跟踪渲染方法,对场景进行渲染,得到高质量的图片,从而得到任意位置处的全局光照值;所述高质量的图片依据经验值判断;
在渲染场景的同时,获取的场景中点的位置、表面法向量、双向反射函数值、光源的位置和光照值;
2)训练数据优化:对于步骤1)得到的训练数据通过聚类提取特征信息,剔除冗余信息并进行优化,得到优化后的训练数据;
3)神经网络构建:通过减聚类的方法获取径向基函数的中心,采用随机分布,初始化隐含层到输出层的权值,构建出径向基函数神经网络;
4)神经网络训练:采用BP学习方法训练,通过信号的前向传播计算每个节点的值;通过与期望值的比较,计算出误差,然后进行误差的反向传播由输出层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值;
5)间接光照值拟合:对于一组视点和光源,可以得到在该视点下需要渲染的场景中的点的位置,计算得到表面法向量和双向反射函数,将这些值输入训练好的神经网络得到该像素点的R、G、B颜色分量;
6)直接光照值计算:采用基于双缓冲区非局部均值滤波的自适应采样的方法进行蒙特卡罗光线跟踪完成直接光照值的计算,具体步骤为:
61)采用均匀分布的方式分布初始采样点;
62)采用非局部均值方法去噪,在合成图像的时候,生成两个采样点相同的缓冲区域A和B;
63)用两缓冲区之间的差值来表示错误率,根据错误率来重新分配采样点;
64)如此反复迭代步骤61)-63),完成采样后用经典的光线跟踪算法完成直接光照部分的渲染;
7)全局光照绘制:结合5)、6)两步得到的间接光照值和直接光照值,完成全局光照绘制。
2.根据权利要求1所述的基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,所述步骤3)采用的减聚类方法确定径向基函数中心包括如下步骤:
31)确定覆盖区间:对空间上的N个数据点的集合ΩA={A1,A2...AN}进行处理,用表示第i组第j维的数据;用区间表示ΩA在第j维上的覆盖范围,其中,j=1,2,...,12+nf
32)确定聚类网格点:把区间Ij等分成r段,并用向量存储这些网格点,其中
33)计算密度指标公式:计算欧式距离,将ΩA上的点都归约到网格点上,形成集合将ΩM中的相同元素合并得到ΩZ={zi};针对ΩZ中的元素,根据减聚类的定义推导出其密度指标计算公式其中hj表示ΩA中映射到ΩZ的数据点的数目,选取密度指标最高的点作为第一个聚类中心;
34)迭代求解:对步骤33)中的密度指标公式进行修正,选取密度指标最高的数据点作为新的聚类中心,反复迭代;
35)构建网络:选取好聚类中心后,采用随机分布,初始化隐含层到输出层的权值,构建径向基函数神经网络。
CN201510903376.8A 2015-12-09 2015-12-09 基于径向基函数神经网络拟合的全局光照实时绘制方法 Expired - Fee Related CN105389843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510903376.8A CN105389843B (zh) 2015-12-09 2015-12-09 基于径向基函数神经网络拟合的全局光照实时绘制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510903376.8A CN105389843B (zh) 2015-12-09 2015-12-09 基于径向基函数神经网络拟合的全局光照实时绘制方法

Publications (2)

Publication Number Publication Date
CN105389843A CN105389843A (zh) 2016-03-09
CN105389843B true CN105389843B (zh) 2017-11-14

Family

ID=55422091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510903376.8A Expired - Fee Related CN105389843B (zh) 2015-12-09 2015-12-09 基于径向基函数神经网络拟合的全局光照实时绘制方法

Country Status (1)

Country Link
CN (1) CN105389843B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530383B (zh) * 2016-11-01 2017-08-22 河海大学 基于Hermite插值神经网络回归模型的人脸面部渲染方法
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
CN107464244A (zh) * 2017-03-09 2017-12-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于神经网络的图像光照估计方法
CN109389667B (zh) * 2018-08-23 2023-07-18 北京大学 一种基于深度学习的高效全局光照明绘制方法
CN109509248B (zh) * 2018-09-28 2023-07-18 北京大学 一种基于神经网络的光子映射渲染方法和系统
CN111833430B (zh) * 2019-04-10 2023-06-16 上海科技大学 基于神经网络的光照数据预测方法、系统、终端及介质
CN110570503B (zh) * 2019-09-03 2021-04-16 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
CN110751714B (zh) * 2019-10-18 2022-09-06 长春理工大学 三维场景渲染中基于对象判别的间接光照复用方法
CN111429513B (zh) * 2020-04-26 2022-09-13 广西师范大学 一种可优化视觉遮挡场景的光场绘制的方法
CN111583371B (zh) * 2020-04-30 2023-11-24 山东大学 基于神经网络的参与性介质多重散射绘制方法及系统
CN112461362B (zh) * 2020-11-11 2023-09-26 上海第二工业大学 一种利用无人机进行空间照度监测的系统及方法
CN116152425A (zh) * 2021-11-22 2023-05-23 北京字节跳动网络技术有限公司 绘制图像的方法、装置、电子设备及存储介质
CN114494611B (zh) * 2022-04-18 2022-09-02 清华大学 基于神经基函数的智能三维重建方法、装置、设备及介质
CN115082628B (zh) * 2022-07-27 2022-11-15 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186910A (zh) * 2013-01-31 2013-07-03 中国科学院软件研究所 一种基于Contourlet变换的绘制方法
CN103971397A (zh) * 2014-04-16 2014-08-06 浙江大学 基于虚拟点光源和稀疏矩阵还原的全局光照绘制方法
US9013496B2 (en) * 2012-06-19 2015-04-21 Microsoft Technology Licensing, Llc Rendering global light transport in real-time using machine learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008685A (ja) * 2010-06-23 2012-01-12 Yamatake Corp 3次元データ生成装置、生成方法およびプログラム
CN103279972A (zh) * 2013-05-08 2013-09-04 中国科学院软件研究所 一种基于kd树的并行多维自适应采样与重构方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013496B2 (en) * 2012-06-19 2015-04-21 Microsoft Technology Licensing, Llc Rendering global light transport in real-time using machine learning
CN103186910A (zh) * 2013-01-31 2013-07-03 中国科学院软件研究所 一种基于Contourlet变换的绘制方法
CN103971397A (zh) * 2014-04-16 2014-08-06 浙江大学 基于虚拟点光源和稀疏矩阵还原的全局光照绘制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Global Illumination Rendering via Indirect Light Field Regression;Xiaodan Liu, Changwen Zheng;《2013 3rd International Conference on Computer Science and Network Technology》;20131231;第182-186页 *

Also Published As

Publication number Publication date
CN105389843A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105389843B (zh) 基于径向基函数神经网络拟合的全局光照实时绘制方法
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
CN106548208B (zh) 一种照片图像快速智能风格化方法
CN106683182B (zh) 一种权衡立体匹配和视觉外形的三维重建方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
CN106910176A (zh) 一种基于深度学习的人脸图像去遮挡方法
CN111815523A (zh) 一种基于生成对抗网络的图像修复方法
CN103226708B (zh) 一种基于Kinect的多模型融合视频人手分割方法
CN111861906B (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN111915522A (zh) 一种基于注意力机制的图像修复方法
CN110516539A (zh) 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN108038906A (zh) 一种基于图像的三维四边形网格模型重建方法
CN108986058A (zh) 明度一致性学习的图像融合方法
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN110349247A (zh) 一种基于语义理解的室内场景cad三维重建方法
CN104966320A (zh) 一种基于三阶Bezier曲线的伪装迷彩自动生成方法
CN115841559A (zh) 一种基于神经辐射场的城市大场景重建方法
CN109785279A (zh) 一种基于深度学习的图像融合重建方法
CN110516736B (zh) 多维可视化的多源异构数据多层drnn深度融合方法
Ding Quantitative contrast of urban agglomeration colors based on image clustering algorithm: Case study of the Xia-Zhang-Quan metropolitan area
Yang et al. Algorithm for appearance simulation of plant diseases based on symptom classification
CN111274901B (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法
Zhang et al. A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement
Shi Application model construction of traditional cultural elements in illustration design under artificial intelligence background

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171114

Termination date: 20201209