CN117541711A - 一种基于神经渲染的真实感场景绘制方法 - Google Patents
一种基于神经渲染的真实感场景绘制方法 Download PDFInfo
- Publication number
- CN117541711A CN117541711A CN202311322922.XA CN202311322922A CN117541711A CN 117541711 A CN117541711 A CN 117541711A CN 202311322922 A CN202311322922 A CN 202311322922A CN 117541711 A CN117541711 A CN 117541711A
- Authority
- CN
- China
- Prior art keywords
- scene
- network
- rendering
- training
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 33
- 210000005036 nerve Anatomy 0.000 title abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 230000005855 radiation Effects 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 230000004069 differentiation Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000001537 neural effect Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 claims 1
- 238000003062 neural network model Methods 0.000 claims 1
- 238000005096 rolling process Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000008520 organization Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Generation (AREA)
Abstract
本发明基于可微分渲染器实现了一种基于神经渲染的真实感场景渲染方法。本发明首先需要进行场景的转换，即将常规的场景文件转换为所能处理的XML格式，然后通过对场景进行均匀采样的方式，采样得到多个表面求交结构体对象作为训练的数据集。其次通过蒙特卡洛估计器对输入数据的多次采样，以及自动微分技术，实现对网络计算的组织以及损失函数及其梯度的估计，进而完成网络的多次迭代训练，并获得最终的场景辐射度量估计网络模型，从而实现一次训练，多视角快速渲染。
Description
技术领域
本发明涉及的领域包括基于物理的渲染，辐射度量学技术以及神经网络辅助渲染。属于计算机图形学和人工智能领域。
背景技术
在传统的计算机图形学中，渲染指的是通过某种特定的计算机成像算法将场景的三维表示转换为二维图片的过程，其中场景的三维表示主要包括三维网格，表面材质，光照，体积效果等，而相应的成像算法又包括光栅化、光线追踪，光线追踪又可以分为传统的光线追踪以及路径追踪等。
目前，光栅化成像的发展已经日趋成熟并应用于大多数个人计算机上，光栅化之所以能够广泛推广，是因为使用光栅化生成高质量2维图片所要求的计算量远远小于光线追踪，并且当代计算机对于光栅化硬件加速的支持较好，换句话说，光栅化的平均计算速度要快于光线追踪，但是光栅化技术相对于光线追踪存在劣势，就是光线追踪无法实现真正的全局光照，虽然为了弥补光栅化的这一瓶颈，出现了众多屏幕空间照明技术，预积分图等技术用于模拟全局光照，但是由于光栅化技术的局部性问题，这些方法并不能实现无偏的全局光照(即会出现场景偏暗、偏亮或噪声问题)，以及基于物理的渲染。
在渲染全局光照方面，光线追踪技术就有了较明显的优势，光线追踪技术通过向场景发射光线，即通过光线和场景交互的方式得到输出图片的像素值，可以发现，和光栅化技术相比，光线追踪技术的出图方式更加直观。另外，光线追踪分为前向光线追踪和后向光线追踪，前者是对于人眼和自然场景交互的完全模拟，当光线从光源(太阳)发射，并和场景交互(发生反射)最终进入人眼时，进行像素的着色，由于光线能否进入人眼是高度随机的，所以此种方法生成图片的效率较低，故而被后向光线追踪替代，后向光线追踪是前向光线追踪的逆过程，即考虑将视线从相机射出，通过相机射出的视线与场景交互最终碰撞到光源的过程对像素进行着色。
随着真实感渲染理论的完善，即渲染方程的出现，传统的光线追踪技术逐渐被路径追踪技术替代，从本质上来说，路径追踪是光线追踪的一种，只不过，路径追踪将随机理论和数值计算(蒙特卡洛积分)融入到了光线追踪中，在路径追踪算法中，对每一个像素的渲染需要构造多条光线，即采样光线，采样光线的条数被称为SPP(sample per pixel)，由于路径追踪技术是通过大量光线采样从而获得渲染方程的无偏估计，所以生成图片的质量依赖于SPP，SPP较大则意味着输出图片和真实值更加接近(噪声更少)。另外，基于光线追踪的图片生成只能做到单视角生成，如果相机的位置或方向发生改变，就需要重新渲染，由此可见，路径追踪对于计算量的要求是非常大的，这也是实时的基于物理的光线追踪难以实现的原因。
本文提出了一种基于神经辐照度的方法，通过神经网络来学习场景的辐照度方程，实现了基于路径追踪技术场景的多视角快速渲染，并支持多种材质。
发明内容
本发明针对基于物理渲染器的多视角渲染速度慢的问题，基于可微分渲染器，构建了一种基于神经网络的渲染框架，实现了一次训练，多视角快速渲染。整个框架可以抽象为几个模块，包括：网络输入数据采样模块，输入数据预处理模块，三维场景预处理模块，网络训练模块，多视角渲染模块。
基于神经网络的多视角快速渲染框架包含如下步骤：
步骤a，准备场景，使用主流三维建模软件构件场景，并将场景转换为渲染器所支持的格式。
步骤b，为网络构造输入数据，读入场景XML，并在场景表面做随机采样，采样的内容主要包括位置点X，表面法线N，光线出射方向ωout，物体表面材质(漫反射度，镜面反射度)。作为后续网络的输入。
步骤c，场景预处理，构造n个网格将整个场景包含在n个网格中，并在每个网格的角点处分配一个长度为16的向量作为特征。
步骤d，数据预处理，此步骤和步骤c是为了为神经网络准备数据，通过步骤c的场景网格配置，就可以实现将输入数据中的物体表面点X编码成16维的特征向量，编码公式如下。
其中X为物体表面点，Vi(X)为第i个包含X的场景网格，F为三线性插值函数，即通过场景中所有包含X的网格在X处的三线性插值来获得X的特征向量。
步骤e，网络的构造。
步骤e1，确定要优化的问题。本发明中，希望网络学习的内容是某一个特定场景的辐射度量，也就是渲染方程等号左侧的部分。渲染方程公式如下。
其中θ是网络的可学习参数，可以发现，等式左侧和右侧是对同一问题的两种不同表达，所以进一步的，将等式进行变换可以得到残差函数如下。
根据L2正则化，可以得到网络需要优化的非线性损失函数如下。
由此可以得到网络需要优化的参数的数学表达如下
由于损失函数为积分形式(非常规损失函数)，所以采用蒙特卡罗方法对损失函数公式如下。
根据损失函数的蒙特卡洛估计形式，可以得到相应的梯度形式
而又可以根据rθ(xj，ωo，j)的表达式获得如下。
而等号右边的积分项又可以进一步使用蒙特卡罗方法估计，从而有
其中j指的是蒙特卡罗方法中的第j个样本，k指的是对于第j对<xj，ωo，j>，估计r的梯度所需要的第k个样本，另外，因为网络学习的函数是Lθ(xj，ωo，j)，所以其梯度可以直接通过神经网络的自动微分机制获得。通过以上的过程，便可以实现网络损失函数的评估和反向传播。
步骤e2，网络训练，网络的训练包括两大部分，等式左侧网络以及等式右侧网络，使用小批量随机梯度下降算法训练网络，网络训练流程如附图1，其中黄色标注出来的为目标网络，蓝色箭头代表得到的辐射度量。
步骤e3，为了使得左网络部分易于训练和调试，采用多层感知机模型。
步骤f，多视角渲染，由于左网络的训练是基于对场景的随机采样，所以得到的模型是独立于视点和视线方向的，所以可以做到多视角渲染，此步骤通过将训练好的模型读入积分器实现训练场景的多视角渲染。
本发明的有益效果：
相对于传统的基于光线与场景模拟的方法，本文提出的方法将光线传输算法与神经网络相结合，实现了基于神经渲染的真实感渲染。相较于传统的基于物理渲染，具有渲染速度更快，复杂度更低的特点，更有助于实现实时真实感渲染。
附图说明
图1是本发明实施例中所述的网络结构。
图2是本发明实施例中所述的场景渲染示例。
图3是本发明实施例中所述的单样本漫反射对比图(左图为本发明的绘制结果，右图为传统路径追踪结果)。
图4是本发明实施例中所述的多视角贴图及微表面材质测试(左列为本发明的结果，右列为真值)。
图5是本发明实施例中所述的Loss收敛情况。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明基于可微分渲染器实现了一种基于神经渲染的真实感场景绘制方法。本发明首先需要进行场景的转换，即将常规的场景文件转换为渲染器所能处理的XML格式，然后通过对场景进行均匀采样的方式，采样得到多个表面求交对象作为训练的数据集。其次通过蒙特卡洛估计器对输入数据的多次采样，以及自动微分技术，实现对网络计算的组织以及损失函数及其梯度的估计，进而完成网络的多次迭代训练，并获得最终的场景辐射度量估计模型，从而实现一次训练，多视角快速渲染。
不同于传统的路径追踪技术，本发明提出了一种基于神经网络优化的渲染技术，从渲染方程的表达形式出发，通过神经网络学习场景的辐射度量Lθ(x，ωo)，将路径追踪中的单条采样光线的复杂度从O(Np.spp·maxbounce)降低为O(Np·spp)，其中Np为输出图像像素个数，能够学习到多种材质信息的同时，加快了多视角成像的收敛速度。
下面对相关的技术以及方法的实现进行介绍。
一、相关技术
1.基于Python的可微分渲染器
此基于Python的可微分渲染器主要用于正向和反向光传输模拟。它由一小组核心库和各种插件组成，这些插件实现从材质和光源到完整渲染算法的功能。由于渲染器的可微分的特性，使得他能够被集成与神经网络的训练中(即神经渲染，计算机图形学与机器学习交叉领域)。渲染器中同时包含多种积分器，包括直接光照，传统路径跟踪，双向路径跟踪，光子映射，基于马尔可夫过程的路径跟踪等，可以较完备的完成多种渲染过程，本渲染器的可微分特性来自于与之绑定的即时编译计算库，并支持通过CPU和GPU并行计算来加速渲染。另外本渲染器支持自定义积分器，在本渲染器中，场景通过XML文件定义，如下是场景定义方式(通过XML标签来指定相应的场景组成部分)。
使用此渲染器进行渲染，则需要通过编写Python脚本读取场景来实现，对康奈尔盒子的渲染如附图2。
2.及时编译框架
应用了一个底层基于自动微分框架的即时编译框架。它最初是作为可微蒙特卡罗渲染器的数值计算基础而创建的。同时还支持在光线追踪中应用微分技术(包括自动微分，即时构图等)，与其他机器学习框架(如PyTorch，Tensorflow等)的区别在于工作负载，机器学习涉及小型计算图，但这些计算图由卷积、矩阵乘法等算术密集型运算组成。本及时编译框架所应用的场景是可微分渲染，在可微分渲染程序中包含大量(＞＝10^5)由基本算术运算组成的图，在此种场景下使用机器学习框架则会导致编译超时(因为机器学习框架包含大量不相关的矩阵、卷积模块)。
3.统一计算架构
统一计算架构是由英伟达所推出的一种集成技术。基于该技术，可利用显卡进行图像处理之外的运算，亦可利用显卡作为C-编译器的开发环境。统一计算架构开发包只能将基于显卡的C语言，也就是执行于显卡的部分编译成并行线程执行中间语言或是特定英伟达显卡架构的机器代码(英伟达官方称为“设备端代码”)；而执行于中央处理器部分的C/C++代码(官方称为“主机端代码”)仍依赖于外部的编译器，主要依赖于微软的集成开发环境和其他C语言编译器。
二、方法的实现
从附图1可知，蒙特卡洛估计器采样样本并送入网络对损失函数及其梯度进行估计，并在估计的过程中让网络参与计算，以此来实现网络的迭代更新，所以网络的训练是由蒙特卡洛估计器驱动的。下面分别介绍本发明的数据采集、网络训练部分的实现。
1.数据采集模块
此模块用于采集网络的输入，通过均匀采样场景表面来实现。
步骤a，计算场景中每一个对象的表面积并归一化得到场景表面的离散概率分布；
步骤b，根据对象的概率大小对对象进行采样；
步骤c，在对象的表面进行均匀采样，获取采样的位置点X，并根据X获得相关的材质信息；
步骤d，基于位置X，在X的上半球表面均匀采样立体角(即出射光线)
步骤b到步骤d为一次完整的采样表面交互信息，将b到d重复n次即可获得网络所需的n个样本
2.网络训练部分
本发明采用一个轻量化的多层感知机实现对场景辐射度量的学习。整个感知机模型包含11层，输入数据为将场景表面交互信息编码而成的108维特征向量(此步骤为预处理部分，实际应用可选用不同维度)，通过一系列的全连接维度转换得到最终的输出，即表示场景辐射度量的三维RGB向量。左侧网络的网络结构如下
(0)：Linear(in_features＝108，out_features＝512，bias＝True)
(1)：ReLU(inplace＝True)
(2)：Linear(in_features＝512，out_features＝512，bias＝True)
(3)：ReLU(inplace＝True)
(4)：Linear(in_features＝512，out_features＝512，bias＝True)
(5)：ReLU(inplace＝True)
(6)：Linear(in_features＝512，out_features＝512，bias＝True)
(7)：ReLU(inplace＝True)
(8)：Linear(in_features＝512，out_features＝512，bias＝True)
(9)：ReLU(inplace＝True)
(10)：Linear(in_features＝512，out_features＝3，bias＝True)
3.蒙特卡罗采样器的构建
本发明包括的采样器有：场景表面均匀采样器sample_on_shapes，数据集采样器sample_datasets以及入射光线sample_wi采样器。
1)sample_on_shapes采样器依赖于场景每一个对象的表面积在总面积中的占比，即场景中表面的离散概率分布。通过分层均匀采样(采样对象，采样对象表面)的方式获得训练所需的数据集。
2)sample_datasets采样器用于驱动网络的训练，sample_datasets从1中获取的数据集中服从一定分布地采样n个样本，这n个样本用于对Loss及其梯度做估计。
3)sample_wi是一个工具采样器，用于辅助2的计算，由于rθ(xj，ωo，j)的梯度是关于ωi积分，所以sample_wi用于对每一对独立的<xj，ωo，j>，采样m个入射光线样本。
每一次训练迭代，都会利用2)和3)执行三个采样步骤，分别用于估计Loss的值，和计算Loss的梯度。
4.模型的训练
本发明中采用小批量随机梯度下降法进行模型的训练，实现方法如下
1)随机初始化网络参数为θ；
2)使用sample_datasets从数据集采样n个样本；
3)使用n个样本以及sample_wi的n*m个样本估计Loss的梯度；
4)使用梯度下降法更新θ。
对于学习率，本文使用固定学习率0.0005，批处理大小为32768，采样SPP为16，迭代次数设定在30000的时候获得了较鲁棒的结果。
5.多视角渲染
对于单个场景训练完成后，得到相应的CKPT文件，编写脚本将其读入，作为积分器，在朴素光线追踪器中，当光线第一次与场景的非高光/镜面表面相交，便可以使用所收集到的表面信息对模型进行查询操作，并获得相应的辐射度量，其次，对像素点进行着色，由于此模型可以完全集成与光线追踪管线，所以同样可以使用多采样方法降低噪声。实机测试包括：单样本漫反射测试(附图3)，多视角贴图及微表面材质测试(附图4)，Loss收敛情况(附图5)
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。
Claims (7)
1.一种基于神经渲染的真实感场景绘制方法，其特征在于，所述方法包括以下步骤：
步骤a，像待处理的场景构建成场景文件。
步骤b，采样步骤a中场景，构造数据集。
步骤c，对场景进行预处理，构造包含整个场景的体素块。
步骤d，实现场景特征编码。
步骤e，构建网络训练模块，实现从输入特征到输出RGB三元组的映射。
步骤f，利用训练好的模型进行特定场景渲染。
2.根据权利要求1所述的一种基于神经渲染的真实感场景绘制方法，其特征在于：所述步骤a中，准备场景，使用主流三维建模软件构件场景，并将场景转换为可微分渲染器所支持的格式。
3.根据权利要求1所述的一种基于神经渲染的真实感场景绘制方法，其特征在于：所述步骤b中，为网络构造输入数据，使用可微分渲染器读入场景XML，并在场景表面做随机采样，采样的内容主要包括位置点X，表面法线N，光线出射方向ωout，物体表面材质(漫反射度，镜面反射度)。作为后续网络的输入。
4.根据权利要求1所述的一种基于神经渲染的真实感场景绘制方法，其特征在于：所述步骤c中，获得训练数据集后，根据某一特定分辨率(A，B，C，D)，将场景进行划分，其中前三维为三维分辨率大小，最后一维为每一个三维体素存储的特征长度。
5.根据权利要求1所述的一种基于神经渲染的真实感场景绘制方法，其特征在于：所述步骤d中，实现将输入数据中的物体表面点X编码成16维的特征向量，编码公式如下。
其中X为物体表面点，Vi(X)为第i个包含X的场景网格，F为三线性插值函数，即通过场景中所有包含X的网格在X处的三线性插值来获得X的特征向量。
6.根据权利要求1所述的一种基于神经渲染的真实感场景绘制方法，其特征在于：所述步骤e中，完成了问题的定义以及对网络的构造，包含以下步骤：
步骤e1，确定要优化的问题。本发明中，希望网络学习的内容是某一个特定场景的辐射度量，也就是渲染方程等号左侧的部分。渲染方程公式如下。
其中θ是网络的可学习参数，可以发现，等式左侧和右侧是对同一问题的两种不同表达，所以进一步的，将等式进行变换可以得到残差函数如下。
根据L2正则化，可以得到网络需要优化的非线性损失函数如下。
由此可以得到网络需要优化的参数的数学表达如下
由于损失函数为积分形式(非常规损失函数)，所以采用蒙特卡罗方法对损失函数公式如下。
根据损失函数的蒙特卡洛估计形式，可以得到相应的梯度形式
而又可以根据rθ(xj，ωo，j)的表达式获得如下。
而等号右边的积分项又可以进一步使用蒙特卡罗方法估计，从而有
其中j指的是蒙特卡罗方法中的第j个样本，k指的是对于第j对<xj，ωo，j>，估计r的梯度所需要的第k个样本，另外，因为网络学习的函数是Lθ(xj，ωo，j)，所以其梯度可以直接通过神经网络的自动微分机制获得。通过以上的过程，便可以实现网络损失函数的评估和反向传播。
步骤e2，网络训练，网络的训练包括两大部分，等式左侧网络以及等式右侧网络，使用小批量随机梯度下降算法训练网络，网络训练流程如附图1，其中黄色标注出来的为目标网络，蓝色箭头代表得到的辐射度量。
步骤e3，为了使得网络部分易于训练和调试，采用多层感知机模型。
7.根据权利要求1所述的一种基于骨架自适应图卷积改进的行为识别算法，其特征在于：步骤f中，实现基于神经网络模型的多视角渲染，由于左侧网络的训练是基于对场景的随机采样，所以得到的模型是独立于视点和视线方向的，所以可以实现多视角渲染，此步骤通过将训练好的模型读入积分器实现训练场景的多视角渲染。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311322922.XA CN117541711A (zh) | 2023-10-12 | 2023-10-12 | 一种基于神经渲染的真实感场景绘制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311322922.XA CN117541711A (zh) | 2023-10-12 | 2023-10-12 | 一种基于神经渲染的真实感场景绘制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117541711A true CN117541711A (zh) | 2024-02-09 |
Family
ID=89781382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311322922.XA Pending CN117541711A (zh) | 2023-10-12 | 2023-10-12 | 一种基于神经渲染的真实感场景绘制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541711A (zh) |
-
2023
- 2023-10-12 CN CN202311322922.XA patent/CN117541711A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10796414B2 (en) | Kernel-predicting convolutional neural networks for denoising | |
| Lindell et al. | Autoint: Automatic integration for fast neural volume rendering | |
| Nalbach et al. | Deep shading: convolutional neural networks for screen space shading | |
| US11475542B2 (en) | Neural network system with temporal feedback for adaptive sampling and denoising of rendered sequences | |
| US11532073B2 (en) | Temporal techniques of denoising Monte Carlo renderings using neural networks | |
| Georgoulis et al. | Reflectance and natural illumination from single-material specular objects using deep learning | |
| US11557022B2 (en) | Neural network system with temporal feedback for denoising of rendered sequences | |
| US7219085B2 (en) | System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit | |
| CN110046537A (zh) | 使用递归神经网络进行动态面部分析的系统和方法 | |
| US20070211064A1 (en) | Processing machine learning techniques using a graphics processing unit | |
| CN113450396B (zh) | 基于骨骼特征的三维/二维图像配准方法及装置 | |
| US11615602B2 (en) | Appearance-driven automatic three-dimensional modeling | |
| CN113496271A (zh) | 神经网络控制变量 | |
| DE102022104142A1 (de) | Strahldichte-caching in echtzeit durch ein neuronales netz für pfadverfolgungszwecke | |
| Nakashima et al. | Learning to drop points for lidar scan synthesis | |
| US20210358198A1 (en) | Using directional radiance for interactions in path tracing | |
| CN116051696B (zh) | 一种可重光照的人体隐式模型的重建方法和装置 | |
| Müller et al. | Unbiased Gradient Estimation for Differentiable Surface Splatting via Poisson Sampling | |
| Xin et al. | Lightweight bilateral convolutional neural networks for interactive single-bounce diffuse indirect illumination | |
| JP2009505297A (ja) | 画像合成の方法とシステム | |
| CN117541711A (zh) | 一种基于神经渲染的真实感场景绘制方法 | |
| US11055381B1 (en) | Estimating product integrals using a composition of warps | |
| Fan et al. | Neural brdfs: Representation and operations | |
| CN113947547A (zh) | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 | |
| Bauer et al. | Photon Field Networks for Dynamic Real-Time Volumetric Global Illumination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |