CN117152335A - 一种体渲染的方法及装置 - Google Patents

一种体渲染的方法及装置 Download PDF

Info

Publication number
CN117152335A
CN117152335A CN202311394909.5A CN202311394909A CN117152335A CN 117152335 A CN117152335 A CN 117152335A CN 202311394909 A CN202311394909 A CN 202311394909A CN 117152335 A CN117152335 A CN 117152335A
Authority
CN
China
Prior art keywords
layer
feature
input
module
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311394909.5A
Other languages
English (en)
Other versions
CN117152335B (zh
Inventor
方顺
崔铭
冯星
吕艳娜
王月
胡梓楠
乔磊
孙思远
汪成峰
杨峰峰
韦建伟
张造时
李荣华
单仝
房超
刘昊卿
王海龙
王玉娇
张佳骥
张志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xuanguang Technology Co ltd
Original Assignee
Beijing Xuanguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xuanguang Technology Co ltd filed Critical Beijing Xuanguang Technology Co ltd
Priority to CN202311394909.5A priority Critical patent/CN117152335B/zh
Publication of CN117152335A publication Critical patent/CN117152335A/zh
Application granted granted Critical
Publication of CN117152335B publication Critical patent/CN117152335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computer Graphics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Generation (AREA)

Abstract

本申请的一些实施例提供了一种体渲染的方法及装置，该方法包括：获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角；将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层；通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。本申请的一些实施例可以提升体渲染的效率。

Description

一种体渲染的方法及装置
技术领域
本申请涉及渲染技术领域，具体而言，涉及一种体渲染的方法及装置。
背景技术
参与介质（Participating Media）为光线穿过类似云、烟、雾、尘埃、玉石、牛奶、皮肤、蜡、果肉等介质时，会产生折射、散射、吸收等现象，这种空间介质称为参与介质。目前，光线在参与介质中要经过数千次反弹，在光线渲染时，传统的基于蒙特卡洛积分的方法需要大量计算，这大大增加了渲染时长，降低了渲染效率。
因此，如何提供一种高效的体渲染的方法的技术方案成为亟需解决的技术问题。
发明内容
本申请的一些实施例的目的在于提供一种体渲染的方法及装置，通过本申请的实施例的技术方案可以加快参与介质的体渲染速度，提升渲染效率。
第一方面，本申请的一些实施例提供了一种体渲染的方法，包括：获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角；将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层；通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。
本申请的一些实施例通过模板采样数据和对应的标注数据对初始神经网络模型进行训练，并基于标注数据和初始神经网络模型的输出结果对初始神经网络模型进行优化，得到目标体渲染模型。本申请的一些实施例通过训练目标体渲染模型，可以减少工作量，加快参与介质的体渲染速度，提升渲染效率。
在一些实施例，所述获取多个参与介质中每个参与介质的模板采样数据，包括：获取每个参与介质的材质类别标签；通过所述材质类别标签确定每个参与介质的密度场、所述相位特征、所述反照率和所述夹角；对所述密度场进行降采样后输入至透射场公式中，得到透射场数据；利用采样模板对所述密度场和所述透射场数据进行采样，得到所述多个采样样本的所述密度特征和所述透射特征。
本申请的一些实施例通过参与介质的材质类别标签和相关计算可以得到模板采样数据，为后续模型训练提供有效的数据支持。
在一些实施例，所述特征层输入模块包括：多层传输模块，所述特征迭代提取模块包括：多层特征提取模块；所述每个参与介质的模板采样数据包括：N层样本特征，N层样本特征中的每层样本特征包含的采样样本数量不同，其中，N为正整数。
本申请的一些实施例通过设计特征层输入模块和特征迭代提取模块，以及获取模板采样数据，为后续模型训练提供有效的数据和模型支持。
在一些实施例，所述将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，包括：利用所述多层传输模块和所述N层样本特征，获取特征输出结果；将所述特征输出结果输入至所述多层特征提取模块中，获取特征提取结果；对所述特征提取结果进行处理，输出所述散射分布结果。
本申请的一些实施例通过多层传输模块和多层特征提取模块，得到散射分布结果，可以实现模型的有效训练。
在一些实施例，所述多层传输模块的数量为N-1个，所述利用所述多层传输模块和所述N层样本特征，获取特征输出结果，包括：当i＝1，i∈[1,N]时，第一层样本特征为第一层输入特征，其中，将第一层样本特征中的所述密度特征、所述透射特征和所述相位特征分别输入至第一层传输模块，得到第一层输出结果；当i≠1时，第i-1层输出结果为第i层输入特征，其中，将所述第i层输入特征输入至第i层传输模块，得到第i层输出结果，所述第i层输入特征中包括：第i输入密度特征、第i输入透射特征和第i输入相位特征；其中，当i=N-1时，第N-1层输出结果为所述特征输出结果。
在一些实施例，所述第i层传输模块包括：自注意力模块、第一全连接层、第二全连接层和第三全连接层，其中，所述将所述第i层输入特征输入至第i层传输模块，得到第i层输出结果，包括：将所述第i层输入特征输入至所述自注意力模块，得到第一特征向量；将所述第i层样本特征中的反照率和夹角经过所述第一全连接层得到的第一结果与所述第一特征向量叠加，得到第二特征向量；将所述第二特征向量经过所述第二全连接层得到的第二结果与第i+1层样本特征叠加，得到第三特征向量；将所述第三特征向量经过所述第三全连接层得到的第三结果与所述第i层输入特征叠加，得到所述第i层输出结果。
在一些实施例，所述多层特征提取模块的数量为M个，M为正整数，所述将所述特征输出结果输入至所述多层特征提取模块中，获取特征提取结果，包括：当j=1，j∈[1,M]时，所述特征输出结果为第一提取层输入特征，将所述第一提取层输入特征输入至第一层特征提取模块，得到第一层提取特征；当j≠1时，第j-1层提取特征为第j提取层输入特征，其中，将所述第j提取层输入特征输入至第j层特征提取模块，得到第j层提取特征；其中，当j=M时，第M层提取特征为所述特征提取结果。
在一些实施例，所述第j层特征提取模块包括：双层全连接模块和叠加模块，其中，所述将所述第j提取层输入特征输入至第j层特征提取模块，得到第j层提取特征，包括：将所述第j提取层输入特征经过所述双层全连接模块，得到中间提取特征；利用所述叠加模块对所述中间提取特征和所述第j提取层输入特征进行按位相加，得到所述第j层提取特征。
第二方面，本申请的一些实施例提供了一种体渲染的方法，包括：获取经由第一方面中任一项所述的方法实施例训练得到的目标体渲染模型；将待渲染参与介质输入至所述目标体渲染模型，得到所述待渲染参与介质的散射数据。
本申请的一些实施例通过目标体渲染模型对待渲染参与介质进行模拟求解，得到散射数据，计算量较低，加快了参与介质的体渲染速度，并提升了渲染质量。
第三方面，本申请的一些实施例提供了一种体渲染的装置，包括：样本获取模块，用于获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角；结果获取模块，用于将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层；模型输出模块，用于通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。
第四方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。
第五方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。
第六方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的方法。
附图说明
为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请的一些实施例提供的一种体渲染的系统图；
图2为本申请的一些实施例提供的体渲染的方法流程图之一；
图3为本申请的一些实施例提供的样本数据处理示意图；
图4为本申请的一些实施例提供的初始神经网络模型结构图；
图5为本申请的一些实施例提供的TransFCs模块结构图；
图6为本申请的一些实施例提供的DoubleFCs模块结构图；
图7为本申请的一些实施例提供的体渲染的方法流程图之二；
图8为本申请的一些实施例提供的一种体渲染的装置组成框图；
图9为本申请的一些实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
相关技术中，参与介质是指对所穿过的光线产生散射、吸收等作用的空间介质，例如烟、雾、尘埃等。为了提升渲染效果，可以通过渲染参与介质来描绘更丰富的场景。现有技术中在渲染时通常基于蒙特卡洛积分的方法进行大量计算，实现参与介质的渲染。然而该方法大大增加了渲染时长，渲染的质量也一般。
鉴于此，本申请的一些实施例提供了一种体渲染的方法，该方法采用训练神经网络的方式来模拟求解现有技术中辐射传输方程时的迭代求积分过程，有效的降低了计算量，同时提高了渲染质量，加快了参与介质的体渲染速度。
下面结合附图1示例性阐述本申请的一些实施例提供的体渲染的系统的整体组成结构。
如图1所示，本申请的一些实施例提供了一种体渲染的系统，该体渲染的系统包括：终端100和渲染服务器200。其中，渲染服务器200中预先配置有训练得到的目标体渲染模型。终端100可以将待渲染参与介质发送给渲染服务器200，渲染服务器200将待渲染参与介质输入至目标体渲染模型，得到散射数据，以此可以加快参与介质的体渲染速度。
在本申请的一些实施例中，终端100可以为移动终端，也可以为非便携的电脑终端，本申请实施例在此不作具体限定。
为了提升参与介质的体渲染速度，首先需要获取目标体渲染模型，下面结合附图2示例性阐述本申请的一些实施例提供的由渲染服务器200执行的体渲染的实现过程。
请参见附图2，图2为本申请的一些实施例提供的一种体渲染的方法流程图，该方法主要是为了获取目标体渲染模型，该体渲染的方法包括：
S210，获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角。
例如，在本申请的一些实施例中，可以选取100个参与介质3D模型（作为多个参与介质的一个具体示例），其中50个非云形状体积模型。为了适应10241024/>1024包围盒，进行了resize缩放。每个参与介质采样了104.8576万组数据，共计100个云模型，一共10485.76万个数据。为每个参与介质的模型生成100组参数{l k，/>}，其中l为光线方向，/>为密度场的缩放参数。每次采样，随机选择{g k，η k}，其中g k为后续提到的HG相位函数参数，η k为反照率。
其中，每个参与介质的数据中均包括：密度特征、透射特征、相位特征、反照率和夹角。所有标注值（作为标注数据的一个具体示例）均使用蒙特卡洛路径追踪求出参与介质的散射分布情况，用以作为真实值（也就是标注值）。取值，一个采样样本为含有一个参与介质的密度特征、透射特征、相位特征、反照率和夹角的样本数据。
下面结合附图3示例性阐述S210的实现过程。
在本申请的一些实施例中，S210可以包括：
S211，获取每个参与介质的材质类别标签。
例如，在本申请的一些实施例中，3D参与介质用体素或点云进行表示，每个3D参与介质自带一个材质类别标签。将3D参与介质输入至图3中的分类器中，可以得到每个3D参与介质的材质类别标签。
S212，通过所述材质类别标签确定每个参与介质的密度场、所述相位特征、所述反照率和所述夹角。
例如，在本申请的一些实施例中，按照材质类别标签可以获取每个3D参与介质的密度场。相位特征可以是通过相位函数提前预计算得到，并存储到预计算相位特征表中，在实时渲染时可以查表得到，从而省去大量的计算资源，加快实时渲染的速度。其中，预计算相位特征表预先存储在渲染服务器2000中。反照率是一个三维向量，分为RGB三个分量。假设3D参与介质是匀质的，同类材质内部的反照率处处相等。需要说明的是，反照率可以调整的，不同的材质类别对应的取值范围不同。具体的可以根据实际情况进行灵活设定，本申请实施例在此不作具体限定。夹角指的是相机方向与光线方向的夹角，随着光线方向和相机方向的角度方向改变而改变。
S213，对所述密度场进行降采样后输入至透射场公式中，得到透射场数据。
例如，在本申请的一些实施例中，从密度场到透射场的过程（即图3中的过程2），首先是对密度场做了降采样，产生11个等级的密度场。然后将细分的密度场（也就是11个等级的密度场）输入到透射场的公式中，生成透射场数据。
S214，利用采样模板对所述密度场和所述透射场数据进行采样，得到所述多个采样样本的所述密度特征和所述透射特征。
例如，在本申请的一些实施例中，采用采样模板对密度场和透射场的每个等级进行不同权重的采样，得到不同数量的采样样本，以此得到可以输入到初始神经网络模型中的模板采样数据（也就是图3中的输入参数，输入参数中包括五组参数）。
其中，采样模板的采样原理为：输入的3D参与介质为10241024/>1024体素或点云，所有采样点的数量为1024/>1024=1048576个采样点。1个采样模板有134个模板点，所以每个3D参与介质通过采用模板执行7826次模板采样，采用均匀采样策略，覆盖参与介质的所有部分。134个模板点分布在8层，从第0层到第7层，模板点的个数分别为：4，6，8，12，16，24，32，48。后面采用倒序输入到初始神经网络中，即最开始输入的是第0层，即4个模板点。通过采样模板可以减少数据量，提升模型训练效率。
S220，将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层。
例如，在本申请的一些实施例中，通过将上文得到的模板采样数据中的每一层输入至初始神经网络模型，可以预测得到每个3D参与介质的散射分布结果。
在本申请的一些实施例中，所述特征层输入模块包括：多层传输模块，所述特征迭代提取模块包括：多层特征提取模块；所述每个参与介质的模板采样数据包括：N层样本特征，N层样本特征中的每层样本特征包含的采样样本数量不同，其中，N为正整数。
例如，在本申请的一些实施例中，初始神经网络模型的整体结果如图4所示，其整体分为三层：输入层、隐藏层和输出层（作为结果输出层的一个具体示例），其中隐藏层分为特征按层输入阶段（作为特征层输入模块的一个具体示例）和特征迭代提取阶段（作为特征迭代提取模块的一个具体示例）。训练中可以采用随机梯度下降技术，以及Adabound优化器，学习率设置为0.001。其中，输入层输入的参数包括密度特征、透射特征和相位特征，按层输入至多层传输模块，共8层（作为N的一个取值）。由图4可知，多层传输模块包括7个TransFCs模块，一个传输模块就是一个TransFCs模块。通过7个TransFCs模块可以得到输入到多层特征提取模块中的数据。特征迭代提取阶段，由6个DoubleFCs模块组成，用于特征的进一步处理。输出层，由1个单层全连接组成，输出散射分布（作为散射分布结果的一个具体示例）。从图4中可以看出，7个TransFCs模块或6个DoubleFCs模块中的各个模块均采用了首尾相接的方式，上一模块的输出即为下一模块的输入。
在本申请的一些实施例中，S220可以包括：
S221，利用所述多层传输模块和所述N层样本特征，获取特征输出结果。
例如，在本申请的一些实施例中，由上文可知，通过采用模板处理的数据分为8层。通过图4所示的方式将每层中的密度特征、透射特征和相位特征分别输入到对应的TransFCs模块中，通过迭代，得到特征输出结果。由图4可知，特征输出结果中包含三组数据。
在本申请的一些实施例中，S221可以包括：当i＝1，i∈[1,N]时，第一层样本特征为第一层输入特征，其中，将第一层样本特征中的所述密度特征、所述透射特征和所述相位特征分别输入至第一层传输模块，得到第一层输出结果。当i≠1时，第i-1层输出结果为第i层输入特征，其中，将所述第i层输入特征输入至第i层传输模块，得到第i层输出结果，所述第i层输入特征中包括：第i输入密度特征、第i输入透射特征和第i输入相位特征；其中，当i=N-1时，第N-1层输出结果为所述特征输出结果。
例如，在本申请的一些实施例中，在首次输入第一层样本特征时，分别将第一层样本特征中的密度特征、透射特征、相位特征分别输入至三个TransFCs模块中，得到第一层输出结果，分别为第一层样本特征中的密度特征对应的结果，第一层样本特征中的透射特征对应的结果，第一层样本特征中的相位特征对应的结果。其中第一层输出结果用于作为第二层的TransFCs模块的输入。以此类推，第i层输出结果即为第i+1层输入特征。
下面以一个TransFCs模块为例，示例性阐述TransFCs模块的具体过程。
在本申请的一些实施例中，第i层传输模块包括：自注意力模块、第一全连接层、第二全连接层和第三全连接层。
例如，在本申请的一些实施例中，如图5所示，TransFCs模块包括：Transformer模块（作为自注意力模块的一个具体示例），单层全连接FC1（作为第一全连接层的一个具体示例），单层全连接FC2（作为第二全连接层的一个具体示例），单层全连接FC3（作为第三全连接层的一个具体示例），还有叠加器。其中，单层全连接层由两组神经元和一个ReLU激活函数构成。Transformer模块是预先通过训练并利用交叉熵损失函数进行优化得到的。自注意力模块除了Transformer模块之外，还可以采用其他类型的模块，本申请实施例并不局限于此。
在本申请的一些实施例中，S221可以包括：
S2211，将所述第i层输入特征输入至所述自注意力模块，得到第一特征向量。
例如，在本申请的一些实施例中，通过将第i层输入特征输入至Transformer模块后，可以得到第一特征向量。其中，经过Transformer模块后，不改变第i层输入特征的特征向量数量，仅作为自注意力模块，用来确定输入特征向量的相对重要性。
S2212，将所述第i层样本特征中的反照率和夹角经过所述第一全连接层得到的第一结果与所述第一特征向量叠加，得到第二特征向量。
例如，在本申请的一些实施例中，图5中的中间输入参数由HG不对称参数、反照率和夹角组成。中间输入参数经过一个单层全连接FC1后，与经过Transformer模块的第一特征向量叠加起来，得到第二特征向量。其中，中间输入参数可以是随机初始值，随机初始值可用截断的正态分布对由HG不对称参数、反照率和夹角组成的中间输入参数进行初始化得到。
需要说明的是，FC1含有的输入层神经元的个数是根据材质类型（也就是材质类别标签）而确定的。对于气态类材质来说，其神经元的个数是5个，即1个HG相位函数、1个夹角参数和3个RGB反照率参数；对于固液类材质来说，其神经元的个数是6个，即2个HG相位函数、1个夹角参数和3个RGB反照率参数；对于人体皮肤材质来说，其神经元的个数是7个，即3个HG相函数、1个夹角参数和3个RGB反照率参数；FC1输出层神经元的个数是7个。其中，对于气态类材质来说，有1个HG相位函数的不对称参数，反照率取值范围在0-0.5之间；对于固液类材质来说，有2个HG相位函数的不对称参数，反照率取值范围在0.5-1之间；对于人体皮肤材质来说，有3个HG相位函数的不对称参数，反照率取值范围在0.5-1之间。
S2213，将所述第二特征向量经过所述第二全连接层得到的第二结果与第i+1层样本特征叠加，得到第三特征向量。
例如，在本申请的一些实施例中，单层全连接FC2网络中神经元的数量随TransFCs模块的不同而不同。通过将第二特征向量输入到FC2中可以得到第二结果，通过与第i+1层样本特征叠加得到第三特征向量。
S2214，将所述第三特征向量经过所述第三全连接层得到的第三结果与所述第i层输入特征叠加，得到所述第i层输出结果。
例如，在本申请的一些实施例中，单层全连接FC3网络的输入层和输出层节点相同，但具体神经元的数量也是随着TransFCs模块的不同而不同。第三特征向量输入到FC3得到的第三结果需要与第i层输入特征叠加起来得到第i层输出结果。
也就是说，TransFCs模块由3个叠加模块（也就是叠加器）构成，首尾两个叠加模块是拓展特征向量的个数，叠加后特征向量的数量等于叠加前两个特征向量数量之和；中间的叠加模块是将两个特征向量按位相加，叠加前两个特征向量的数量相等，且等于叠加后特征向量的数量。
S222，将所述特征输出结果输入至所述多层特征提取模块中，获取特征提取结果。
例如，在本申请的一些实施例中，将得到的三组数据分别输入至对应的DoubleFCs模块中，通过迭代得到特征提取结果。由图4可知，特征提取结果中包含三组特征数据。
在本申请的一些实施例中，多层特征提取模块的数量为M个，M为正整数，S222可以包括：当j=1，j∈[1,M]时，所述特征输出结果为第一提取层输入特征，将所述第一提取层输入特征输入至第一层特征提取模块，得到第一层提取特征；当j≠1时，第j-1层提取特征为第j提取层输入特征，其中，将所述第j提取层输入特征输入至第j层特征提取模块，得到第j层提取特征；其中，当j=M时，第M层提取特征为所述特征提取结果。
例如，在本申请的一些实施例中，由上文可知，M的取值为6，也就是6个DoubleFCs模块，一个DoubleFCs模块为一层特征提取模块。上一层DoubleFCs模块的输出为下一层DoubleFCs模块的输入，以此得到最终的特征提取结果。
在本申请的一些实施例中，第j层特征提取模块包括：双层全连接模块和叠加模块。
例如，在本申请的一些实施例中，如图6所示，一个DoubleFCs模块包括：一个双层全连接（模块）和一个叠加模块。其中，双层全连接内部由3层神经元以及2层ReLU激活函数构成，其中首尾两层神经元数量相同，中间层神经元个数是首层神经元数量的一半。经过双层全连接的特征向量数量不变，可以与输入特征向量按位相加，得到个数不变的特征向量。
在本申请的一些实施例中，S222可以包括：将所述第j提取层输入特征经过所述双层全连接模块，得到中间提取特征；利用所述叠加模块对所述中间提取特征和所述第j提取层输入特征进行按位相加，得到所述第j层提取特征。
例如，在本申请的一些实施例中，如图6所示，通过将第j提取层输入特征输入到双层全连接后得到中间提取特征，然后叠加第j提取层输入特征得到第j层提取特征。
S223，对所述特征提取结果进行处理，输出所述散射分布结果。
例如，在本申请的一些实施例中，如图4所示将三层的DoubleFCs模块提取出的所有提取特征输入到输出层的单层全连接中，预测出散射分布。
S230，通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。
例如，在本申请的一些实施例中，利用总损失函数对真实值和散射分布进行计算，得到损失后对初始神经网络模型进行优化，得到精准度较高的目标体渲染模型。
具体的，S230可以采用均方差来计算损失函数：
其中，是Batch size，批次大小，即一次训练模型时，迭代学习所使用的样本数量，如64个样本。/>是初始神经网络的估计值（也就是散射分布结果），F k(p，l)是散射分布的真实值。/>是反照率，γ≥1是超参数，下标c是RGB颜色通道。需要说明的是，使用对数变换，可以大幅压缩辐射范围，一方面可以加快训练速度，另外可减小高频相位函数引起的明亮突变的问题，引入超参数γ=4，当η c＞0时，会促使输入数据接近于正态分布。
通过上述损失函数可以得到总损失函数为：
其中，T为标注数据的数据集的大小。
标注数据为：
。
通过总损失函数可以实现对初始神经网络模型的优化，最终得到目标体渲染模型。
下面结合附图7示例性阐述本申请的一些实施例提供的体渲染的具体过程。
请参见附图7，图7为本申请的一些实施例提供的一种体渲染的方法流程图，该体渲染的方法包括：S710，获取训练得到的目标体渲染模型；S720，将待渲染参与介质输入至所述目标体渲染模型，得到所述待渲染参与介质的散射数据。
例如，在本申请的一些实施例中，通过上文训练方法得到的目标体渲染模型对待渲染参与介质进行计算，得到散射数据。该方法的渲染效率优于传统方法，无需通过大量积分运算，可实时运行，加快了参与介质的体渲染速度。
请参考图8，图8示出了本申请的一些实施例提供的体渲染的装置的组成框图。应理解，该体渲染的装置与上述方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该体渲染的装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
图8的体渲染的装置包括至少一个能以软件或固件的形式存储于存储器中或固化在体渲染的装置中的软件功能模块，该体渲染的装置包括：样本获取模块810，用于获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角；结果获取模块820，用于将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层；模型输出模块830，用于通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。
本申请的一些实施例还提供了另一种体渲染的装置，该体渲染的装置包括：获取模块，用于获取训练得到的目标体渲染模型；渲染模块，用于将待渲染参与介质输入至所述目标体渲染模型，得到所述待渲染参与介质的散射数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
本申请的一些实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。
本申请的一些实施例还提供了一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。
如图9所示，本申请的一些实施例提供一种电子设备900，该电子设备900包括：存储器910、处理器920以及存储在存储器910上并可在处理器920上运行的计算机程序，其中，处理器920通过总线930从存储器910读取程序并执行所述程序时可实现如上述任意实施例的方法。
处理器920可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器920可以是微处理器。
存储器910可以用于存储由处理器920执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器920可以用于执行存储器910中的指令以实现上述所示的方法。存储器910包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种体渲染的方法，其特征在于，包括：
获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角；
将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层；
通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。
2.如权利要求1所述的方法，其特征在于，所述获取多个参与介质中每个参与介质的模板采样数据，包括：
获取每个参与介质的材质类别标签；
通过所述材质类别标签确定每个参与介质的密度场、所述相位特征、所述反照率和所述夹角；
对所述密度场进行降采样后输入至透射场公式中，得到透射场数据；
利用采样模板对所述密度场和所述透射场数据进行采样，得到所述多个采样样本的所述密度特征和所述透射特征。
3.如权利要求1所述的方法，其特征在于，所述特征层输入模块包括：多层传输模块，所述特征迭代提取模块包括：多层特征提取模块；所述每个参与介质的模板采样数据包括：N层样本特征，N层样本特征中的每层样本特征包含的采样样本数量不同，其中，N为正整数。
4.如权利要求3所述的方法，其特征在于，所述将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，包括：
利用所述多层传输模块和所述N层样本特征，获取特征输出结果；
将所述特征输出结果输入至所述多层特征提取模块中，获取特征提取结果；
对所述特征提取结果进行处理，输出所述散射分布结果。
5.如权利要求4所述的方法，其特征在于，所述多层传输模块的数量为N-1个，所述利用所述多层传输模块和所述N层样本特征，获取特征输出结果，包括：
当i＝1，i∈[1,N]时，第一层样本特征为第一层输入特征，其中，将第一层样本特征中的所述密度特征、所述透射特征和所述相位特征分别输入至第一层传输模块，得到第一层输出结果；
当i≠1时，第i-1层输出结果为第i层输入特征，其中，将所述第i层输入特征输入至第i层传输模块，得到第i层输出结果，所述第i层输入特征中包括：第i输入密度特征、第i输入透射特征和第i输入相位特征；
其中，当i=N-1时，第N-1层输出结果为所述特征输出结果。
6.如权利要求5所述的方法，其特征在于，所述第i层传输模块包括：自注意力模块、第一全连接层、第二全连接层和第三全连接层，其中，所述将所述第i层输入特征输入至第i层传输模块，得到第i层输出结果，包括：
将所述第i层输入特征输入至所述自注意力模块，得到第一特征向量；
将第i层样本特征中的反照率和夹角经过所述第一全连接层得到的第一结果与所述第一特征向量叠加，得到第二特征向量；
将所述第二特征向量经过所述第二全连接层得到的第二结果与第i+1层样本特征叠加，得到第三特征向量；
将所述第三特征向量经过所述第三全连接层得到的第三结果与所述第i层输入特征叠加，得到所述第i层输出结果。
7.如权利要求4-6中任一项所述的方法，其特征在于，所述多层特征提取模块的数量为M个，M为正整数，所述将所述特征输出结果输入至所述多层特征提取模块中，获取特征提取结果，包括：
当j=1，j∈[1,M]时，所述特征输出结果为第一提取层输入特征，将所述第一提取层输入特征输入至第一层特征提取模块，得到第一层提取特征；
当j≠1时，第j-1层提取特征为第j提取层输入特征，其中，将所述第j提取层输入特征输入至第j层特征提取模块，得到第j层提取特征；
其中，当j=M时，第M层提取特征为所述特征提取结果。
8.如权利要求7所述的方法，其特征在于，所述第j层特征提取模块包括：双层全连接模块和叠加模块，其中，所述将所述第j提取层输入特征输入至第j层特征提取模块，得到第j层提取特征，包括：
将所述第j提取层输入特征经过所述双层全连接模块，得到中间提取特征；
利用所述叠加模块对所述中间提取特征和所述第j提取层输入特征进行按位相加，得到所述第j层提取特征。
9.一种体渲染的方法，其特征在于，包括：
获取经由权利要求1-8中任一项所述的方法训练得到的目标体渲染模型；
将待渲染参与介质输入至所述目标体渲染模型，得到所述待渲染参与介质的散射数据。
10.一种体渲染的装置，其特征在于，包括：
样本获取模块，用于获取多个参与介质中每个参与介质的模板采样数据以及与所述模板采样数据对应的标注数据，其中，所述模板采样数据中包括：多个采样样本，所述多个采样样本中的每个采样样本包括：所述每个参与介质的密度特征、透射特征、相位特征、反照率和夹角；
结果获取模块，用于将所述每个参与介质的模板采样数据输入至初始神经网络模型，获取每个参与介质的散射分布结果，其中，所述初始神经网络模型包括：输入层、特征层输入模块、特征迭代提取模块以及结果输出层；
模型输出模块，用于通过所述标注数据与所述散射分布结果优化所述初始神经网络模型，得到目标体渲染模型。
CN202311394909.5A 2023-10-26 2023-10-26 一种用于训练体渲染模型、体渲染的方法及装置 Active CN117152335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311394909.5A CN117152335B (zh) 2023-10-26 2023-10-26 一种用于训练体渲染模型、体渲染的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311394909.5A CN117152335B (zh) 2023-10-26 2023-10-26 一种用于训练体渲染模型、体渲染的方法及装置

Publications (2)

Publication Number Publication Date
CN117152335A true CN117152335A (zh) 2023-12-01
CN117152335B CN117152335B (zh) 2023-12-22

Family

ID=88904582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311394909.5A Active CN117152335B (zh) 2023-10-26 2023-10-26 一种用于训练体渲染模型、体渲染的方法及装置

Country Status (1)

Country Link
CN (1) CN117152335B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085360A1 (en) * 2008-10-04 2010-04-08 Microsoft Corporation Rendering in scattering media
US20100277479A1 (en) * 2007-12-15 2010-11-04 Electronics And Telecommunications Research Institute System and method for rendering surface materials
US20140232719A1 (en) * 2013-02-20 2014-08-21 Toshiba Medical Systems Corporation Volume rendering of medical images
CN111583371A (zh) * 2020-04-30 2020-08-25 山东大学 基于神经网络的参与性介质多重散射绘制方法及系统
CN116468844A (zh) * 2023-03-13 2023-07-21 中国科学院计算技术研究所 一种人脸神经辐射场的光照编辑方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100277479A1 (en) * 2007-12-15 2010-11-04 Electronics And Telecommunications Research Institute System and method for rendering surface materials
US20100085360A1 (en) * 2008-10-04 2010-04-08 Microsoft Corporation Rendering in scattering media
US20140232719A1 (en) * 2013-02-20 2014-08-21 Toshiba Medical Systems Corporation Volume rendering of medical images
CN111583371A (zh) * 2020-04-30 2020-08-25 山东大学 基于神经网络的参与性介质多重散射绘制方法及系统
CN116468844A (zh) * 2023-03-13 2023-07-21 中国科学院计算技术研究所 一种人脸神经辐射场的光照编辑方法及系统

Also Published As

Publication number Publication date
CN117152335B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN105224984B (zh) 一种基于深度神经网络的数据类别识别方法及装置
EP4318313A1 (en) Data processing method, training method for neural network model, and apparatus
US20220156987A1 (en) Adaptive convolutions in neural networks
Li et al. A predictive and generative design approach for three-dimensional mesh shapes using target-embedding variational autoencoder
Cai et al. Physics‐based inverse rendering using combined implicit and explicit geometries
Wang et al. CGNet: A Cascaded Generative Network for dense point cloud reconstruction from a single image
Yu et al. 3D reconstruction for multi-view objects
Kim et al. Deep translation prior: Test-time training for photorealistic style transfer
CN117788629A (zh) 一种具有风格个性化的图像生成方法、装置及存储介质
Sun et al. Vipformer: Efficient vision-and-pointcloud transformer for unsupervised pointcloud understanding
Díaz-Morales et al. Deep learning combined with singular value decomposition to reconstruct databases in fluid dynamics
Zhang et al. Automatic feature selection for denoising volumetric renderings
CN117152335B (zh) 一种用于训练体渲染模型、体渲染的方法及装置
Li et al. Wind turbine wake prediction modelling based on transformer-mixed conditional generative adversarial network
Lin et al. A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery
Li et al. Spnet: Multi-shell kernel convolution for point cloud semantic segmentation
Chao et al. Dictionary-based fidelity measure for virtual traffic
Wang A NURBS-Based Computational Tool for Hydrodynamic Optimization of Ship Hull Forms
Nobari et al. NITO: Neural Implicit Fields for Resolution-free Topology Optimization
Jacobson et al. Visualizing neural networks for pattern recognition
Yüksel et al. Nature-inspired design idea generation with generative adversarial networks
Mehendale et al. Finite element (fe) mesh generation for 2d shapes using multiple long short-term memory networks
CN112784003A (zh) 训练语句复述模型的方法、语句复述方法及其装置
CN114331827B (zh) 风格迁移方法、装置、设备和存储介质
Giraldi et al. Deep Learning for Fluid Simulation and Animation: Fundamentals, Modeling, and Case Studies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant