CN117036581B - 基于二维神经渲染的体渲染方法、系统、设备及介质 - Google Patents
基于二维神经渲染的体渲染方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117036581B CN117036581B CN202311296342.8A CN202311296342A CN117036581B CN 117036581 B CN117036581 B CN 117036581B CN 202311296342 A CN202311296342 A CN 202311296342A CN 117036581 B CN117036581 B CN 117036581B
- Authority
- CN
- China
- Prior art keywords
- resolution
- dimensional
- rendering
- representing
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000005036 nerve Anatomy 0.000 title claims abstract description 23
- 230000001537 neural effect Effects 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 25
- 230000008447 perception Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本发明提出了一种基于二维神经渲染的体渲染方法、系统、设备及介质，方法包括：获取高‑低分辨率图像对数据集；基于若干个体素进行三维场景的表达，通过线性插值获取三维场景中任意连续位置的特征值；将确定原点以及视角方向的光线投射于三维场景中，基于体渲染获取像素点的颜色信息并生成特征图；基于高‑低分辨率图像对数据集迭代训练二维神经超分模型；将特征图作为二维神经超分模型的输入，输出所述像素点的目标颜色值。本发明提出的基于体渲染和二维神经渲染相结合的渲染方法，将体渲染与二维神经渲染相结合，大幅度提升了原始体渲染的渲染速度，渲染的视觉效果也更加逼真。
Description
技术领域
本发明涉及三维重建领域，具体涉及一种基于二维神经渲染的体渲染方法、系统、设备及介质。
背景技术
随着近年来三维计算机视觉领域的发展，三维重建技术取得了显著的进展，并且广泛应用于数字人等虚拟场景下的建模领域。重建的结果通常需要经过渲染，以得到逼真的人体形象。
然而，传统的体渲染方式由于需要对每个采样点进行查询，通常需要耗费大量的时间和内存资源，且渲染质量难以得到保证。
因此，如何实现快速高效的渲染，以得到逼真的渲染效果是三维重建领域亟待解决的关键问题。
发明内容
针对现有技术的不足，本发明提出一种基于二维神经渲染的体渲染方法、系统、设备及介质。
本发明第一方面公开了一种基于二维神经渲染的体渲染方法，包括：
S1:采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息。
S2：基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；
S3：将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；
S4：基于高-低分辨率图像对数据集迭代训练二维神经超分模型；
S5：将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值。
在一个可选的实施例中，所述三维场景表示为×/>个体素构成的静态场景，所述三维场景中每个空间点的颜色信息和密度特征均存储于所述体素中，所述颜色信息表示为/>，所述密度特征表示为/>。
在一个可选的实施例中，所述基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，包括如下步骤：
S21：确定所述三维场景空间中的连续位置，取值不少于八个所述连续位置的体素中的颜色信息以及密度特征，通过插值函数计算所述连续位置的颜色信息和密度特征；
S22：将所述插值函数计算得到的密度特征作为输出的目标特征，将所述连续位置计算获得的颜色信息融合视角信息作为轻量级网络的输入，获得作为采样点的所述连续位置的颜色值。
在一个可选的实施例中，所述获得作为采样点的所述连续位置的颜色值，其计算公式如下：
；
其中，表示为所述连续位置的采样点的密度特征，/>表示为所述连续位置的采样点，所述/>表示视角信息，/>表示所述颜色值。
在一个可选的实施例中，所述将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图，包括如下步骤：
S31：对所述光线进行采样处理，确定所述光线采样点的颜色特征和密度特征/>；
S32：将所述颜色特征和密度特征/>作为轻量级网络的输入，预测所述采样点对应的三维采样点的高维特征向量；
S33：基于所述高维特征向量通过体绘制获取低分辨率特征图。
在一个可选的实施例中，所述预测所述采样点对应的三维采样点的高维特征向量，其计算公式如下：
；
其中，表示预测获得的三维采样点的高维特征向量，/>表示预测处理，/>表示密度，/>表示颜色；
所述高维特征向量通过体绘制获取低分辨率特征图的计算公式如下：
；
其中，表示发射的原点、方向确定的光线，/>表示生成的低分辨率特征图，/>表示光线终止在位置/>处无穷小粒子的微分概率，即体积密度，/>表示积分光线的界限。
在一个可选的实施例中，基于高-低分辨率图像对数据集迭代训练二维神经超分模型，包括如下步骤：
S41：对低分辨率特征图进行上采样直至所述地分辨率特征图同高分辨率参考图的分辨率一致，其计算公式为：
；
其中，高分辨率参考图为训练数据集中的固定中间帧，表示可学习的两层MLP，表示可学习的权重，/>操作表示将/>复制四次后连接，/>表示固定的模糊核；
S42：上采样后的特征图与高分辨率参考图分别经过深度层的转换，通过一系列卷积层提取深度特征，特征通过解码器解码生成高分辨率结果,其计算公式为：
；
其中，表示空间到深度转换层，/>表示二维卷积层，/>表示高分辨率中间帧参考图，/>和/>表示提取到的深度特征,/>为经过解码后的高分辨率结果；
S43：低分辨率目标图经与低分辨率特征图分别经过上采样后进行元素相加，生成低分辨率结果，其计算公式为：
；
其中，表示低分辨率中间帧参考图，/>为低分辨率结果;
S44：通过融合模块将高、低分辨率结果融合，生成最终的高分辨率渲染结果，其计算公式为：
；
S45：分别通过渲染感知损失函数、超分重构损失函数迭代训练所述二维神经超分模型的相关参数直至收敛，获得训练好的二维神经超分模型，其中，所述渲染感知损失函数的表达式为：
；
渲染感知损失是为了保证渲染结果与目标图片的视觉一致性。表示目标低分辨率图像；
所述超分重构损失函数的表达式为：
；
超分重构损失是为了保证超分得到的高分辨率结果与目标高分辨率图片的视觉一致性。表示目标高分辨率图像。
本发明第二方面公开了一种基于二维神经渲染的体渲染系统，所述系统包括：
采集模块，用于采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息；
体素特征提取模块,用于基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；
特征图生成模块，用于将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；
模型训练模块，用于基于高-低分辨率图像对数据集迭代训练二维神经超分模型；
颜色值输出模块，用于将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值。
本发明第三方面公开了一种基于二维神经渲染的体渲染设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面公开的任一项所述的基于二维神经渲染的体渲染方法。
本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面公开的任一项所述的基于二维神经渲染的体渲染方法。
与现有技术相比，本发明具有以下优点：
（1）本发明通过体渲染和二维神经渲染相结合的渲染方法，大幅度提升了原始体渲染的渲染速度。
（2）本发明通过基于二维神经渲染的粗糙到精细的渲染策略，能有效解决多视图不一致问题，渲染结果逼真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于二维神经渲染的体渲染方法的流程图；
图2为本发明基于二维神经渲染的体渲染系统的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
实施例1，参见图1所示，本发明实施方式公开了一种基于二维神经渲染的体渲染方法，包括：
S1:采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息。
S2：基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；
S3：将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；
S4：基于高-低分辨率图像对数据集迭代训练二维神经超分模型；
S5：将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值。
在一个可选的实施例中，所述三维场景表示为×/>个体素构成的静态场景，所述三维场景中每个空间点的颜色信息和密度特征均存储于所述体素中，所述颜色信息表示为/>，所述密度特征表示为/>。
在一个可选的实施例中，所述基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，包括如下步骤：
S21：确定所述三维场景空间中的连续位置，取值不少于八个所述连续位置的体素中的颜色信息以及密度特征，通过插值函数计算所述连续位置的颜色信息和密度特征；
S22：将所述插值函数计算得到的密度特征作为输出的目标特征，将所述连续位置计算获得的颜色信息融合视角信息作为轻量级网络的输入，获得作为采样点的所述连续位置的颜色值。
在一个可选的实施例中，所述获得作为采样点的所述连续位置的颜色值，其计算公式如下：
；
其中，表示为所述连续位置的采样点的密度特征，/>表示为所述连续位置的采样点，所述/>表示视角信息，/>表示所述颜色值。
在一个可选的实施例中，所述将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图，包括如下步骤：
S31：对所述光线进行采样处理，确定所述光线采样点的颜色特征和密度特征/>；
S32：将所述颜色特征和密度特征/>作为轻量级网络的输入，预测所述采样点对应的三维采样点的高维特征向量；
S33：基于所述高维特征向量通过体绘制获取低分辨率特征图。
在一个可选的实施例中，所述预测所述采样点对应的三维采样点的高维特征向量，其计算公式如下：
；
其中，表示预测获得的三维采样点的高维特征向量，/>表示预测处理，/>表示密度，/>表示颜色；
所述高维特征向量通过体绘制获取低分辨率特征图的计算公式如下：
；
其中，表示发射的原点、方向确定的光线，/>表示生成的低分辨率特征图，/>表示光线终止在位置/>处无穷小粒子的微分概率，即体积密度，/>表示积分光线的界限。
在一个可选的实施例中，基于高-低分辨率图像对数据集迭代训练二维神经超分模型，包括如下步骤：
S41：对低分辨率特征图进行上采样直至所述地分辨率特征图同高分辨率参考图的分辨率一致，其计算公式为：
；
其中，高分辨率参考图为训练数据集中的固定中间帧，表示可学习的两层MLP，表示可学习的权重，/>操作表示将/>复制四次后连接，/>表示固定的模糊核；
S42：上采样后的特征图与高分辨率参考图分别经过深度层的转换，通过一系列卷积层提取深度特征，特征通过解码器解码生成高分辨率结果,其计算公式为：
；
其中，表示空间到深度转换层，/>表示二维卷积层，/>表示高分辨率中间帧参考图，/>和/>表示提取到的深度特征,/>为经过解码后的高分辨率结果；
S43：低分辨率目标图经与低分辨率特征图分别经过上采样后进行元素相加，生成低分辨率结果，其计算公式为：
；
其中，表示低分辨率中间帧参考图，/>为低分辨率结果;
S44：通过融合模块将高、低分辨率结果融合，生成最终的高分辨率渲染结果，其计算公式为：
；
S45：分别通过渲染感知损失函数、超分重构损失函数迭代训练所述二维神经超分模型的相关参数直至收敛，获得训练好的二维神经超分模型，其中，所述渲染感知损失函数的表达式为：
；
渲染感知损失是为了保证渲染结果与目标图片的视觉一致性。表示目标低分辨率图像；
所述超分重构损失函数的表达式为：
；
超分重构损失是为了保证超分得到的高分辨率结果与目标高分辨率图片的视觉一致性。表示目标高分辨率图像。
本发明通过体渲染和二维神经渲染相结合的渲染方法，大幅度提升了原始体渲染的渲染速度；本发明基于二维神经渲染的粗糙到精细的渲染策略，能有效解决多视图不一致问题，渲染结果逼真，为三维重建领域提供一种快速高效的渲染，并得到逼真的渲染效果的解决方案。
如图2所示，本发明第二方面公开了一种基于二维神经渲染的体渲染系统，所述系统包括：
采集模块，用于采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息；
体素特征提取模块,用于基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；
特征图生成模块，用于将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；
模型训练模块，用于基于高-低分辨率图像对数据集迭代训练二维神经超分模型；
颜色值输出模块，用于将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值。
在一个可选的实施例中，所述三维场景表示为×/>个体素构成的静态场景，所述三维场景中每个空间点的颜色信息和密度特征均存储于所述体素中，所述颜色信息表示为/>，所述密度特征表示为/>。
在一个可选的实施例中，体素特征提取模块包括：
插值函数模块，用于确定所述三维场景空间中的连续位置，取值不少于八个所述连续位置的体素中的颜色信息以及密度特征，通过插值函数计算所述连续位置的颜色信息和密度特征；
第一轻量级网络模块，用于将所述插值函数计算得到的密度特征作为输出的目标特征，将所述连续位置计算获得的颜色信息融合视角信息作为轻量级网络的输入，获得作为采样点的所述连续位置的颜色值。
在一个可选的实施例中，特征图生成模块包括：
光线采样模块，用于对所述光线进行采样处理，确定所述光线采样点的颜色特征和密度特征/>；
第二轻量级网络模块，用于将所述颜色特征和密度特征/>作为轻量级网络的输入，预测所述采样点对应的三维采样点的高维特征向量；
特征图模块，用于基于所述高维特征向量通过体绘制获取低分辨率特征图。
本发明通过体渲染和二维神经渲染相结合的渲染方法，大幅度提升了原始体渲染的渲染速度；本发明基于二维神经渲染的粗糙到精细的渲染策略，能有效解决多视图不一致问题，渲染结果逼真，为三维重建领域提供一种快速高效的渲染，并得到逼真的渲染效果的解决方案。
本发明第三方面公开了一种基于二维神经渲染的体渲染设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面公开的任一项所述的基于二维神经渲染的体渲染方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于二维神经渲染的体渲染方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本发明第四方面公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面公开的任一项所述的基于二维神经渲染的体渲染方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各通过基于二维神经渲染的体渲染方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
或者，本发明上述模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、终端、或者网络设备等）执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于二维神经渲染的体渲染方法，其特征在于，所述方法包括：
S1:采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息；
S2：基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；
S3：将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；
S4：基于高-低分辨率图像对数据集迭代训练二维神经超分模型；
S5：将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值；
所述基于高-低分辨率图像对数据集迭代训练二维神经超分模型，包括如下步骤：
S41：对低分辨率特征图进行上采样直至所述低分辨率特征图同高分辨率参考图的分辨率一致，其计算公式为：
；
其中，高分辨率参考图为训练数据集中的固定中间帧，表示可学习的两层MLP，/>表示可学习的权重，/>操作表示将/>复制四次后连接，/>表示固定的模糊核；
S42：上采样后的特征图与高分辨率参考图分别经过深度层的转换，通过一系列卷积层提取深度特征，特征通过解码器解码生成高分辨率结果,其计算公式为：
；
其中，表示空间到深度转换层，/>表示二维卷积层，/>表示高分辨率中间帧参考图，/>和/>表示提取到的深度特征,/>为经过解码后的高分辨率结果；
S43：低分辨率目标图与低分辨率特征图分别经过上采样后进行元素相加，生成低分辨率结果，其计算公式为：
；
其中，表示低分辨率中间帧参考图，/>为低分辨率结果;
S44：通过融合模块将高、低分辨率结果融合，生成最终的高分辨率渲染结果，其计算公式为：
；
S45：分别通过渲染感知损失函数、超分重构损失函数迭代训练所述二维神经超分模型的相关参数直至收敛，获得训练好的二维神经超分模型，其中，所述渲染感知损失函数的表达式为：
；
渲染感知损失是为了保证渲染结果与目标图片的视觉一致性，表示目标低分辨率图像；
所述超分重构损失函数的表达式为：
；
超分重构损失是为了保证超分得到的高分辨率结果与目标高分辨率图片的视觉一致性，表示目标高分辨率图像。
2.根据权利要求1所述的基于二维神经渲染的体渲染方法，其特征在于，所述三维场景表示为个体素构成的静态场景，所述三维场景中每个空间点的颜色信息和密度特征均存储于所述体素中，所述颜色信息表示为/>，所述密度特征表示为。
3.根据权利要求2所述的基于二维神经渲染的体渲染方法，其特征在于，所述基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，包括如下步骤：
S21：确定所述三维场景空间中的连续位置，取值不少于八个所述连续位置的体素中的颜色信息以及密度特征，通过插值函数计算所述连续位置的颜色信息和密度特征；
S22：将所述插值函数计算得到的密度特征作为输出的目标特征，将所述连续位置计算获得的颜色信息融合视角信息作为轻量级网络的输入，获得作为采样点的所述连续位置的颜色值。
4.根据权利要求3所述的基于二维神经渲染的体渲染方法，其特征在于，所述获得作为采样点的所述连续位置的颜色值，其计算公式如下：
；
其中，表示为所述连续位置的采样点的密度特征，/>表示为所述连续位置的采样点，所述/>表示视角信息，/>表示所述颜色值。
5.根据权利要求1所述的基于二维神经渲染的体渲染方法，其特征在于，所述将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图，包括如下步骤：
S31：对所述光线进行采样处理，确定所述光线采样点的颜色特征和密度特征/>；
S32：将所述颜色特征和密度特征/>作为轻量级网络的输入，预测所述采样点对应的三维采样点的高维特征向量；
S33：基于所述高维特征向量通过体绘制获取低分辨率特征图。
6.根据权利要求5所述的基于二维神经渲染的体渲染方法，其特征在于，所述预测所述采样点对应的三维采样点的高维特征向量，其计算公式如下：
；
其中，表示预测获得的三维采样点的高维特征向量，/>表示预测处理，/>表示密度特征，/>表示颜色特征；
所述高维特征向量通过体绘制获取低分辨率特征图的计算公式如下：
；
其中，表示发射的原点、方向确定的光线，/>表示生成的低分辨率特征图，/>表示光线终止在位置/>处无穷小粒子的微分概率，即体积密度，/>表示积分光线的界限。
7.一种基于二维神经渲染的体渲染系统，其特征在于，所述系统包括：
采集模块，用于采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息；
体素特征提取模块,用于基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；
特征图生成模块，用于将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；
模型训练模块，用于基于高-低分辨率图像对数据集迭代训练二维神经超分模型；
颜色值输出模块，用于将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值；
所述模型训练模块中基于高-低分辨率图像对数据集迭代训练二维神经超分模型还包括：对低分辨率特征图进行上采样直至所述低分辨率特征图同高分辨率参考图的分辨率一致，其计算公式为：
；
其中，高分辨率参考图为训练数据集中的固定中间帧，表示可学习的两层MLP，/>表示可学习的权重，/>操作表示将/>复制四次后连接，/>表示固定的模糊核；
上采样后的特征图与高分辨率参考图分别经过深度层的转换，通过一系列卷积层提取深度特征，特征通过解码器解码生成高分辨率结果,其计算公式为：
；
其中，表示空间到深度转换层，/>表示二维卷积层，/>表示高分辨率中间帧参考图，/>和/>表示提取到的深度特征,/>为经过解码后的高分辨率结果；
低分辨率目标图与低分辨率特征图分别经过上采样后进行元素相加，生成低分辨率结果，其计算公式为：
；
其中，表示低分辨率中间帧参考图，/>为低分辨率结果;
通过融合模块将高、低分辨率结果 融合，生成最终的高分辨率渲染结果，其计算公式为：
；
分别通过渲染感知损失函数、超分重构损失函数迭代训练所述二维神经超分模型的相关参数直至收敛，获得训练好的二维神经超分模型，其中，所述渲染感知损失函数的表达式为：
；
渲染感知损失是为了保证渲染结果与目标图片的视觉一致性，表示目标低分辨率图像；
所述超分重构损失函数的表达式为：
；
超分重构损失是为了保证超分得到的高分辨率结果与目标高分辨率图片的视觉一致性，表示目标高分辨率图像。
8.一种基于二维神经渲染的体渲染设备，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6任一项所述的基于二维神经渲染的体渲染方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的基于二维神经渲染的体渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311296342.8A CN117036581B (zh) | 2023-10-09 | 2023-10-09 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311296342.8A CN117036581B (zh) | 2023-10-09 | 2023-10-09 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036581A CN117036581A (zh) | 2023-11-10 |
| CN117036581B true CN117036581B (zh) | 2024-02-13 |
Family
ID=88635882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311296342.8A Active CN117036581B (zh) | 2023-10-09 | 2023-10-09 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036581B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292040B (zh) * | 2023-11-27 | 2024-03-08 | 北京渲光科技有限公司 | 基于神经渲染的新视图合成的方法、设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112592A (zh) * | 2021-04-19 | 2021-07-13 | 浙江大学 | 一种可驱动的隐式三维人体表示方法 |
| CN113888689A (zh) * | 2021-11-05 | 2022-01-04 | 上海壁仞智能科技有限公司 | 图像渲染模型训练、图像渲染方法及装置 |
| CN114119838A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴（中国）有限公司 | 体素模型与图像生成方法、设备及存储介质 |
| CN114511662A (zh) * | 2022-01-28 | 2022-05-17 | 北京百度网讯科技有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
| CN114581581A (zh) * | 2022-03-04 | 2022-06-03 | 杭州像衍科技有限公司 | 基于自适应划分区域的神经体辐射场渲染加速方法及装置 |
| CN114627223A (zh) * | 2022-03-04 | 2022-06-14 | 华南师范大学 | 一种自由视点视频合成方法、装置、电子设备及存储介质 |
| CN115880378A (zh) * | 2022-11-15 | 2023-03-31 | 中国科学院自动化研究所 | 辐射场中颜色信息的确定方法及设备 |
| CN116051719A (zh) * | 2022-11-29 | 2023-05-02 | 百果园技术(新加坡)有限公司 | 一种基于神经辐射场模型的图像渲染方法及装置 |
| CN116129073A (zh) * | 2022-12-06 | 2023-05-16 | 闽江学院 | 基于giraffe的教室场景三维重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11887241B2 (en) * | 2020-12-23 | 2024-01-30 | Adobe Inc. | Learning 2D texture mapping in volumetric neural rendering |
-
2023
- 2023-10-09 CN CN202311296342.8A patent/CN117036581B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112592A (zh) * | 2021-04-19 | 2021-07-13 | 浙江大学 | 一种可驱动的隐式三维人体表示方法 |
| CN113888689A (zh) * | 2021-11-05 | 2022-01-04 | 上海壁仞智能科技有限公司 | 图像渲染模型训练、图像渲染方法及装置 |
| CN114119838A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴（中国）有限公司 | 体素模型与图像生成方法、设备及存储介质 |
| CN114511662A (zh) * | 2022-01-28 | 2022-05-17 | 北京百度网讯科技有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
| CN114581581A (zh) * | 2022-03-04 | 2022-06-03 | 杭州像衍科技有限公司 | 基于自适应划分区域的神经体辐射场渲染加速方法及装置 |
| CN114627223A (zh) * | 2022-03-04 | 2022-06-14 | 华南师范大学 | 一种自由视点视频合成方法、装置、电子设备及存储介质 |
| CN115880378A (zh) * | 2022-11-15 | 2023-03-31 | 中国科学院自动化研究所 | 辐射场中颜色信息的确定方法及设备 |
| CN116051719A (zh) * | 2022-11-29 | 2023-05-02 | 百果园技术(新加坡)有限公司 | 一种基于神经辐射场模型的图像渲染方法及装置 |
| CN116129073A (zh) * | 2022-12-06 | 2023-05-16 | 闽江学院 | 基于giraffe的教室场景三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| RefSR-NeRF: Towards High Fidelity and Super Resolution View Synthesis;Xudong Huang et al;Computer Vision Foundation;第8244- 8253页 * |
| 高保真虚拟数字人的表示与重建;洪阳;中国博士学位论文全文数据库 信息科技辑;第I138-32页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036581A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110910486B (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
| CN114549731B (zh) | 视角图像的生成方法、装置、电子设备及存储介质 | |
| US11393158B2 (en) | Utilizing voxel feature transformations for deep novel view synthesis | |
| Li et al. | Infinitenature-zero: Learning perpetual view generation of natural scenes from single images | |
| CN117036581B (zh) | 基于二维神经渲染的体渲染方法、系统、设备及介质 | |
| US11688100B1 (en) | Systems and methods for multi-sensor image enhancement | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| US11625813B2 (en) | Automatically removing moving objects from video streams | |
| US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN115984447A (zh) | 图像渲染方法、装置、设备和介质 | |
| EP4292059A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN115908753B (zh) | 一种全身人体网格表面重建方法及相关装置 | |
| CN115512038B (zh) | 自由视点合成的实时绘制方法、电子设备及可读存储介质 | |
| CN115311145A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN113570673B (zh) | 三维人体和物体的渲染方法及其应用方法 | |
| CN114219900B (zh) | 基于混合现实眼镜的三维场景重建方法、重建系统和应用 | |
| Li et al. | DGNR: Density-Guided Neural Point Rendering of Large Driving Scenes | |
| CN114819109B (zh) | 双目图像的超分辨率处理方法、装置、设备及介质 | |
| US20240161236A1 (en) | Method and apparatus with adaptive super sampling | |
| CN117241065B (zh) | 视频插帧图像生成方法、装置、计算机设备和存储介质 | |
| CN117853695B (zh) | 基于局部空间自注意力的3d感知图像合成方法和装置 | |
| US20230177722A1 (en) | Apparatus and method with object posture estimating | |
| WO2024007968A1 (en) | Methods and system for generating an image of a human | |
| Xie et al. | Enhanced adaptive dense connection single image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |