CN105389843A - 基于径向基函数神经网络拟合的全局光照实时绘制方法 - Google Patents
基于径向基函数神经网络拟合的全局光照实时绘制方法 Download PDFInfo
- Publication number
- CN105389843A CN105389843A CN201510903376.8A CN201510903376A CN105389843A CN 105389843 A CN105389843 A CN 105389843A CN 201510903376 A CN201510903376 A CN 201510903376A CN 105389843 A CN105389843 A CN 105389843A
- Authority
- CN
- China
- Prior art keywords
- neural network
- illumination
- basis function
- radial basis
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Generation (AREA)
Abstract
本发明公开了一种基于径向基函数神经网络拟合的全局光照实时绘制方法,属于真实感图形实时渲染领域,包括训练数据获取、神经网络构建、神经网络训练、间接光照值拟合、直接光照值计算、全局光照绘制,使用离线渲染的方式进行预计算,获得训练数据,通过减聚类的方法确定径向基函数的中心,采用有监督的学习方法进行训练,拟合间接光照中的视点位置、光源位置、场景中物体表面法向量等与间接光照值之间的非线性关系,以代替传统的全局光照模型完成间接光照的计算,避免了光线的多次求交。该方法能有效减少冗余数据,以较快的速度收敛,并且很好地拟合离线渲染的结果,完成全局光照实时绘制。
Description
技术领域
本发明涉及一种基于径向基函数神经网络拟合的全局光照实时绘制方法,属于真实感图形实时渲染技术领域。
背景技术
真实感图形的绘制主要涉及三个方面:场景几何、物体材质和光照模型。其中光照模型描述的是光源与被绘制表面的颜色的关系,可以分为局部光照模型和全局光照模型。
局部光照模型绘制时,当前绘制点的颜色只受直接照射该点的光线的影响,而不考虑通过其他途径传播过来的光的作用。
全局光照模型除了直接来自光源的光照外,还需考虑整个场景对当前着色点的光照影响,包括反射、透明物体的折射、半透明物体的子表面散射等效果。
早期实现全局光照绘制的算法主要有光线跟踪、辐射度、环境光遮蔽、光子映射等。然而这些算法在实现过程中,都遇到了需要对光线与场景多次求交的情况,耗费的时间较长。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种基于径向基函数神经网络拟合的全局光照实时绘制方法,将回归分析方法引入全局光照的渲染过程之中,使用径向基函数神经网络构建学习模型,对通过蒙特卡洛光线跟踪方法得到的光照样本数据集进行学习,确定每个基函数单元的宽度、中心及隐含层与输出层单元之间的权值矩阵,从而发掘出每个场景对象表面可见点的特征属性之间的非线性关联,以代替传统的全局光照模型完成间接光照的计算,避免了光线的多次求交运算。
为了实现上述目标,本发明采用如下的技术方案:
一种基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,包括如下步骤:
1)通过离线渲染获取训练数据:通过基于物理的光线跟踪渲染方法,对场景进行渲染,得到高质量的图片,从而得到任意位置处的全局光照值;所述高质量的图片依据经验值判断;
在渲染场景的同时,获取的场景中点的位置、表面法向量、双向反射函数值、光源的位置和光照值;
2)训练数据优化:对于步骤1)得到的训练数据通过聚类提取特征信息,剔除冗余信息并进行优化,得到优化后的训练数据;
3)神经网络构建:通过减聚类的方法获取径向基函数的中心,采用随机分布,初始化隐含层到输出层的权值,构建出径向基函数神经网络;
4)神经网络训练:采用BP学习方法训练,通过信号的前向传播计算每个节点的值;通过与期望值的比较,计算出误差,然后进行误差的反向传播由输出层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值;
5)间接光照值拟合:对于一组视点和光源,可以得到在该视点下需要渲染的场景中的点的位置,计算得到表面法向量和双向反射函数,将这些值输入训练好的神经网络得到该像素点的R、G、B颜色分量;
6)直接光照值计算:采用基于双缓冲区非局部均值滤波的自适应采样的方法进行蒙特卡罗光线跟踪完成直接光照值的计算;
7)全局光照绘制:结合5)、6)两步得到的分别得到间接光照值和直接光照值,完成全局光照绘制。
前述的基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,所述步骤3)采用的减聚类方法确定径向基函数中心包括如下步骤:
1)确定覆盖区间:对空间上的N个数据点的集合Ω,A={A1A2…AN}进行处理,用表示第i组第j维的数据;用区间表示ΩA在第j维上的覆盖范围,其中(j=1,2,…,12+nf);
2)确定聚类网格点:把区间Ij等分成r段,并用向量存储这些网格点,其中
3)计算密度指标公式:计算欧式距离,将ΩA上的点都归约到网格点上,形成集合将ΩM中的相同元素合并得到ΩZ={zi};针对ΩZ中的元素,根据减聚类的定义推导出其密度指标计算公式其中hj表示ΩA中映射到ΩZ的数据点的数目,选取密度指标最高的点作为第一个聚类中心;
4)迭代求解:对步骤3)中的密度指标公式进行修正,选取密度指标最高的数据点作为新的聚类中心,反复迭代;
5)构建网络:选取好聚类中心后,采用随机分布,初始化隐含层到输出层的权值,构建径向基函数神经网络。
前述的基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,所述步骤6)具体步骤为:
61)采用均匀分布的方式分布初始采样点;
62)采用非局部均值方法去噪,在合成图像的时候,生成两个采样点相同的缓冲区域A和B;
63)用两缓冲区之间的差值来表示错误率,根据错误率来重新分配采样点;
64)如此反复迭代步骤61)-63),完成采样后用经典的光线跟踪算法完成直接光照部分的渲染。
本发明所达到的有益效果:本方法将回归分析方法引入全局光照的渲染过程之中,使用神经网络构建学习模型,对通过蒙特卡洛光线跟踪方法得到的光照样本数据集进行学习,可以很好地拟合蒙特卡洛离线渲染的结果,用其构建神经网络模型来拟合光照计算,可以避免传统光线跟踪过程中繁杂的光线求交计算,在确保渲染精度的同时,提高了场景渲染的速度。
附图说明
图1是本发明的流程图;
图2是构建好的网络结构示意图;
图3是BP学习方法训练流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1为基于径向基函数神经网络拟合的全局光照实时绘制流程图,处理步骤如下:
1)离线渲染步骤:通过基于物理的光线跟踪渲染方法,对场景进行渲染,得到的高质量的图片,这里的高质量的图片依据经验值判断,高质量标准为照片级的真实感图像,可以采用GPU进行加速,提高渲染效率,从而得到任意位置处的全局光照值。在渲染场景的同时,获取的场景中点的位置、并计算其表面法向量、双向反射函数值以及光源的位置、光照值等。针对同一场景,视点的选择可以采用随机分布。
2)训练数据优化步骤:对于步骤1)得到的训练数据通过聚类,提取特征信息,剔除冗余信息进行优化,得到优化后的训练数据。
3)神经网络构建步骤:通过减聚类的方法获取径向基函数的中心,采用随机分布,初始化隐含层到输出层的权值,构建出径向基函数神经网络,如图2所示。
4)神经网络训练步骤:采用BP学习方法训练,如图3所示,通过信号的前向传播计算每个节点的值。通过与期望值的比较,计算出误差,然后进行误差的反向传播由输出层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值。
5)间接光照值拟合步骤:对于现有的场景,可以通过一组视点V和光源S,得到在该视点下需要渲染的场景点x,计算得到x处的法向量n和双向反射函数f,从而对于任意需要渲染的像素点,都有一组归一化的输入向量[x,s,v,n,f],通过神经网络即可得到该像素点的R、G、B颜色分量,即间接光照值。
6)直接光照值计算步骤:采用均匀分布的方式分布初始采样点。然后,采用非局部均值方法去噪,在合成图像的时候,生成两个采样点相同的缓冲区域A和B。用两缓冲区之间的差值来表示错误率,根据错误率来重新分配采样点。如此反复迭代,完成采样,之后用经典的光线跟踪算法完成直接光照部分的渲染。
使用双缓冲区可以消除滤波系数和噪声之间的相关性。
7)全局光照绘制步骤,对步骤5)和步骤6)得到间接光照值和直接光照值进行叠加,结合这两部分即得到全局光照值。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (2)
1.一种基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,包括如下步骤:
1)通过离线渲染获取训练数据:通过基于物理的光线跟踪渲染方法,对场景进行渲染,得到高质量的图片,从而得到任意位置处的全局光照值;所述高质量的图片依据经验值判断;
在渲染场景的同时,获取的场景中点的位置、表面法向量、双向反射函数值、光源的位置和光照值;
2)训练数据优化:对于步骤1)得到的训练数据通过聚类提取特征信息,剔除冗余信息并进行优化,得到优化后的训练数据;
3)神经网络构建:通过减聚类的方法获取径向基函数的中心,采用随机分布,初始化隐含层到输出层的权值,构建出径向基函数神经网络;
4)神经网络训练:采用BP学习方法训练,通过信号的前向传播计算每个节点的值;通过与期望值的比较,计算出误差,然后进行误差的反向传播由输出层开始逐层计算各层神经元的输出误差,根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值;
5)间接光照值拟合:对于一组视点和光源,可以得到在该视点下需要渲染的场景中的点的位置,计算得到表面法向量和双向反射函数,将这些值输入训练好的神经网络得到该像素点的R、G、B颜色分量;
6)直接光照值计算:采用基于双缓冲区非局部均值滤波的自适应采样的方法进行蒙特卡罗光线跟踪完成直接光照值的计算,具体步骤为:
61)采用均匀分布的方式分布初始采样点;
62)采用非局部均值方法去噪,在合成图像的时候,生成两个采样点相同的缓冲区域A和B;
63)用两缓冲区之间的差值来表示错误率,根据错误率来重新分配采样点;
64)如此反复迭代步骤61)-63),完成采样后用经典的光线跟踪算法完成直接光照部分的渲染;
7)全局光照绘制:结合5)、6)两步得到的分别得到间接光照值和直接光照值,完成全局光照绘制。
2.根据权利要求1所述的基于径向基函数神经网络拟合的全局光照实时绘制方法,其特征是,所述步骤3)采用的减聚类方法确定径向基函数中心包括如下步骤:
1)确定覆盖区间:对空间上的N个数据点的集合Ω,A={A1A2…AN}进行处理,用表示第i组第j维的数据;用区间表示ΩA在第j维上的覆盖范围,其中,j=1,2,…,12+nf;
2)确定聚类网格点:把区间Ij等分成r段,并用向量存储这些网格点,其中
3)计算密度指标公式:计算欧式距离,将ΩA上的点都归约到网格点上,形成集合将ΩM中的相同元素合并得到ΩZ={zi};针对ΩZ中的元素,根据减聚类的定义推导出其密度指标计算公式其中hj表示ΩA中映射到ΩZ的数据点的数目,选取密度指标最高的点作为第一个聚类中心;
4)迭代求解:对步骤3)中的密度指标公式进行修正,选取密度指标最高的数据点作为新的聚类中心,反复迭代;
5)构建网络:选取好聚类中心后,采用随机分布,初始化隐含层到输出层的权值,构建径向基函数神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510903376.8A CN105389843B (zh) | 2015-12-09 | 2015-12-09 | 基于径向基函数神经网络拟合的全局光照实时绘制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510903376.8A CN105389843B (zh) | 2015-12-09 | 2015-12-09 | 基于径向基函数神经网络拟合的全局光照实时绘制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105389843A true CN105389843A (zh) | 2016-03-09 |
CN105389843B CN105389843B (zh) | 2017-11-14 |
Family
ID=55422091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510903376.8A Expired - Fee Related CN105389843B (zh) | 2015-12-09 | 2015-12-09 | 基于径向基函数神经网络拟合的全局光照实时绘制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105389843B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530383A (zh) * | 2016-11-01 | 2017-03-22 | 河海大学 | 基于Hermite插值神经网络回归模型的人脸面部渲染方法 |
CN107464244A (zh) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络的图像光照估计方法 |
CN108537864A (zh) * | 2017-03-02 | 2018-09-14 | 奥多比公司 | 利用具有网络渲染层的神经网络编辑数字图像 |
CN109389667A (zh) * | 2018-08-23 | 2019-02-26 | 北京大学 | 一种基于深度学习的高效全局光照明绘制方法 |
CN109509248A (zh) * | 2018-09-28 | 2019-03-22 | 北京大学 | 一种基于神经网络的光子映射渲染方法和系统 |
CN110570503A (zh) * | 2019-09-03 | 2019-12-13 | 浙江大学 | 基于神经网络的三维物体法向量、几何及材质获取方法 |
CN110751714A (zh) * | 2019-10-18 | 2020-02-04 | 长春理工大学 | 三维场景渲染中基于对象判别的间接光照复用方法 |
CN111429513A (zh) * | 2020-04-26 | 2020-07-17 | 广西师范大学 | 一种可优化视觉遮挡场景的光场绘制的方法 |
CN111583371A (zh) * | 2020-04-30 | 2020-08-25 | 山东大学 | 基于神经网络的参与性介质多重散射绘制方法及系统 |
CN111833430A (zh) * | 2019-04-10 | 2020-10-27 | 上海科技大学 | 基于神经网络的光照数据预测方法、系统、终端及介质 |
CN112461362A (zh) * | 2020-11-11 | 2021-03-09 | 上海第二工业大学 | 一种利用无人机进行空间照度监测的系统及方法 |
CN114494611A (zh) * | 2022-04-18 | 2022-05-13 | 清华大学 | 基于神经基函数的智能三维重建方法、装置、设备及介质 |
WO2023088348A1 (zh) * | 2021-11-22 | 2023-05-25 | 北京字节跳动网络技术有限公司 | 绘制图像的方法、装置、电子设备及存储介质 |
WO2024021363A1 (zh) * | 2022-07-27 | 2024-02-01 | 浙江大学 | 一种基于隐式光传输函数的动态绘制方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011162352A1 (ja) * | 2010-06-23 | 2011-12-29 | 株式会社 山武 | 3次元データ生成装置、生成方法およびプログラム |
CN103186910A (zh) * | 2013-01-31 | 2013-07-03 | 中国科学院软件研究所 | 一种基于Contourlet变换的绘制方法 |
CN103279972A (zh) * | 2013-05-08 | 2013-09-04 | 中国科学院软件研究所 | 一种基于kd树的并行多维自适应采样与重构方法 |
CN103971397A (zh) * | 2014-04-16 | 2014-08-06 | 浙江大学 | 基于虚拟点光源和稀疏矩阵还原的全局光照绘制方法 |
US9013496B2 (en) * | 2012-06-19 | 2015-04-21 | Microsoft Technology Licensing, Llc | Rendering global light transport in real-time using machine learning |
-
2015
- 2015-12-09 CN CN201510903376.8A patent/CN105389843B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011162352A1 (ja) * | 2010-06-23 | 2011-12-29 | 株式会社 山武 | 3次元データ生成装置、生成方法およびプログラム |
US9013496B2 (en) * | 2012-06-19 | 2015-04-21 | Microsoft Technology Licensing, Llc | Rendering global light transport in real-time using machine learning |
CN103186910A (zh) * | 2013-01-31 | 2013-07-03 | 中国科学院软件研究所 | 一种基于Contourlet变换的绘制方法 |
CN103279972A (zh) * | 2013-05-08 | 2013-09-04 | 中国科学院软件研究所 | 一种基于kd树的并行多维自适应采样与重构方法 |
CN103971397A (zh) * | 2014-04-16 | 2014-08-06 | 浙江大学 | 基于虚拟点光源和稀疏矩阵还原的全局光照绘制方法 |
Non-Patent Citations (1)
Title |
---|
XIAODAN LIU, CHANGWEN ZHENG: "Global Illumination Rendering via Indirect Light Field Regression", 《2013 3RD INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND NETWORK TECHNOLOGY》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530383A (zh) * | 2016-11-01 | 2017-03-22 | 河海大学 | 基于Hermite插值神经网络回归模型的人脸面部渲染方法 |
CN108537864A (zh) * | 2017-03-02 | 2018-09-14 | 奥多比公司 | 利用具有网络渲染层的神经网络编辑数字图像 |
CN107464244A (zh) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络的图像光照估计方法 |
CN109389667A (zh) * | 2018-08-23 | 2019-02-26 | 北京大学 | 一种基于深度学习的高效全局光照明绘制方法 |
CN109389667B (zh) * | 2018-08-23 | 2023-07-18 | 北京大学 | 一种基于深度学习的高效全局光照明绘制方法 |
CN109509248B (zh) * | 2018-09-28 | 2023-07-18 | 北京大学 | 一种基于神经网络的光子映射渲染方法和系统 |
CN109509248A (zh) * | 2018-09-28 | 2019-03-22 | 北京大学 | 一种基于神经网络的光子映射渲染方法和系统 |
CN111833430A (zh) * | 2019-04-10 | 2020-10-27 | 上海科技大学 | 基于神经网络的光照数据预测方法、系统、终端及介质 |
CN110570503B (zh) * | 2019-09-03 | 2021-04-16 | 浙江大学 | 基于神经网络的三维物体法向量、几何及材质获取方法 |
CN110570503A (zh) * | 2019-09-03 | 2019-12-13 | 浙江大学 | 基于神经网络的三维物体法向量、几何及材质获取方法 |
CN110751714A (zh) * | 2019-10-18 | 2020-02-04 | 长春理工大学 | 三维场景渲染中基于对象判别的间接光照复用方法 |
CN110751714B (zh) * | 2019-10-18 | 2022-09-06 | 长春理工大学 | 三维场景渲染中基于对象判别的间接光照复用方法 |
CN111429513A (zh) * | 2020-04-26 | 2020-07-17 | 广西师范大学 | 一种可优化视觉遮挡场景的光场绘制的方法 |
CN111429513B (zh) * | 2020-04-26 | 2022-09-13 | 广西师范大学 | 一种可优化视觉遮挡场景的光场绘制的方法 |
CN111583371A (zh) * | 2020-04-30 | 2020-08-25 | 山东大学 | 基于神经网络的参与性介质多重散射绘制方法及系统 |
CN111583371B (zh) * | 2020-04-30 | 2023-11-24 | 山东大学 | 基于神经网络的参与性介质多重散射绘制方法及系统 |
CN112461362A (zh) * | 2020-11-11 | 2021-03-09 | 上海第二工业大学 | 一种利用无人机进行空间照度监测的系统及方法 |
CN112461362B (zh) * | 2020-11-11 | 2023-09-26 | 上海第二工业大学 | 一种利用无人机进行空间照度监测的系统及方法 |
WO2023088348A1 (zh) * | 2021-11-22 | 2023-05-25 | 北京字节跳动网络技术有限公司 | 绘制图像的方法、装置、电子设备及存储介质 |
CN114494611A (zh) * | 2022-04-18 | 2022-05-13 | 清华大学 | 基于神经基函数的智能三维重建方法、装置、设备及介质 |
WO2024021363A1 (zh) * | 2022-07-27 | 2024-02-01 | 浙江大学 | 一种基于隐式光传输函数的动态绘制方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105389843B (zh) | 2017-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105389843A (zh) | 基于径向基函数神经网络拟合的全局光照实时绘制方法 | |
Jain et al. | Autoencoders for level generation, repair, and recognition | |
US20190251668A1 (en) | De-noising images using machine learning | |
CN105574827B (zh) | 一种图像去雾的方法、装置 | |
CN110473154A (zh) | 一种基于生成对抗网络的图像去噪方法 | |
CN103226708B (zh) | 一种基于Kinect的多模型融合视频人手分割方法 | |
CN106910176A (zh) | 一种基于深度学习的人脸图像去遮挡方法 | |
CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
CN104205173B (zh) | 用于估计场景中的不透明度水平的方法及相应的设备 | |
CN106548208A (zh) | 一种照片图像快速智能风格化方法 | |
CN108038906A (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
CN115841559A (zh) | 一种基于神经辐射场的城市大场景重建方法 | |
CN104899896B (zh) | 一种基于子空间特征的多任务学习目标跟踪方法 | |
CN104599326B (zh) | 一种人体心脏的实时逼真绘制方法 | |
CN105488844B (zh) | 一种三维场景中海量模型实时阴影的显示方法 | |
CN115471423A (zh) | 一种基于生成对抗网络及自注意力机制的点云去噪方法 | |
CN110516736B (zh) | 多维可视化的多源异构数据多层drnn深度融合方法 | |
CN108960425A (zh) | 一种渲染模型训练方法、系统、设备、介质及渲染方法 | |
CN115019510A (zh) | 一种基于动态自适应生成对抗网络的交通数据修复方法 | |
Yang et al. | Algorithm for appearance simulation of plant diseases based on symptom classification | |
CN104253994A (zh) | 一种基于稀疏编码融合的夜间监控视频实时增强方法 | |
CN103729873A (zh) | 一种内容感知的环境光采样方法 | |
Yin et al. | Adams-based hierarchical features fusion network for image dehazing | |
CN103971397B (zh) | 基于虚拟点光源和稀疏矩阵还原的全局光照绘制方法 | |
CN103886636B (zh) | 基于光线投射步进补偿的实时烟雾渲染算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171114 Termination date: 20201209 |
|
CF01 | Termination of patent right due to non-payment of annual fee |