CN115861508A - 一种图像渲染方法、装置、设备、存储介质及产品 - Google Patents
一种图像渲染方法、装置、设备、存储介质及产品 Download PDFInfo
- Publication number
- CN115861508A CN115861508A CN202211554789.6A CN202211554789A CN115861508A CN 115861508 A CN115861508 A CN 115861508A CN 202211554789 A CN202211554789 A CN 202211554789A CN 115861508 A CN115861508 A CN 115861508A
- Authority
- CN
- China
- Prior art keywords
- rendering
- image
- plane
- rendering result
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 455
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000005855 radiation Effects 0.000 claims abstract description 118
- 210000005036 nerve Anatomy 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 16
- 230000001537 neural effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Image Generation (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
Abstract
本申请实施例提供了一种图像渲染方法、装置、设备、存储介质及产品。本申请实施例提供的技术方案通过基于第一设定位姿下的第一相机对三维场景模型经表面绘制渲染得到场景渲染结果，以及基于第二设定位姿下的第二相机，将第一设定位姿下对神经辐射场模型的体渲染结果渲染到平面几何体中，得到平面渲染结果，并对平面渲染结果和场景渲染结果进行叠加处理得到目标渲染图像，通过将体渲染结果绘制到平面几何图中，再将三维场景模型的场景渲染结果和平面几何体的平面渲染结果进行叠加处理得到目标渲染图像，实现将神经辐射场模型与三维场景模型的结合，提高神经辐射场模型在场景模型中结合的图像渲染效果。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像渲染方法、装置、设备、存储介质及产品。
背景技术
随着图形处理技术的发展，基于隐式表达的神经辐射场模型在新视角图像生成的应用越来越广泛。神经辐射场基于深度学习的叠加体渲染技术，可以在输入有限视角图片的情况下，通过神经网络的建模出清晰的三维模型，并在任意的新视角渲染出对应图像。
但是基于神经辐射场模型的图像渲染是以体渲染为基础，与传统管线采用的表面渲染的渲染方式差别较大，神经辐射场模型难以应用到通用的三维场景模型中，神经辐射场模型在三维场景模型中结合的图像渲染效果较差。
发明内容
本申请实施例提供一种图像渲染方法、装置、设备、存储介质及产品，以解决相关技术中神经辐射场模型在三维场景模型中结合的图像渲染效果较差的技术问题，有效提高神经辐射场模型在三维场景模型中结合的图像渲染效果。
在第一方面，本申请实施例提供了一种图像渲染方法，包括：
基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果；
获取在所述第一设定位姿下对神经辐射场模型的体渲染结果；
基于在第二设定位姿下的第二相机将所述体渲染结果渲染到设定的平面几何体中，得到平面渲染结果；
对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。
在第二方面，本申请实施例提供了一种图像渲染装置，包括场景渲染模块、体渲染模块、平面渲染模块和图像叠加模块，其中：
所述场景渲染模块，配置为基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果；
所述体渲染模块，配置为获取在所述第一设定位姿下对神经辐射场模型的体渲染结果；
所述平面渲染模块，配置为基于在第二设定位姿下的第二相机将所述体渲染结果渲染到设定的平面几何体中，得到平面渲染结果；
所述图像叠加模块，配置为对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。
在第三方面，本申请实施例提供了一种图像渲染设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像渲染方法。
在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的图像渲染方法。
在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的图像渲染方法。
本申请实施例通过基于第一设定位姿下的第一相机对三维场景模型经表面绘制渲染得到场景渲染结果，以及基于第二设定位姿下的第二相机，将第一设定位姿下对神经辐射场模型的体渲染结果渲染到平面几何体中，得到平面渲染结果，并对平面渲染结果和场景渲染结果进行叠加处理得到目标渲染图像，通过将体渲染结果绘制到平面几何图中，再将三维场景模型的场景渲染结果和平面几何体的平面渲染结果进行叠加处理得到目标渲染图像，实现将神经辐射场模型与三维场景模型的结合，提高神经辐射场模型在场景模型中结合的图像渲染效果。
附图说明
图1是本申请实施例提供的一种图像渲染方法的流程图；
图2是本申请实施例提供的一种体渲染结果生成流程示意图；
图3是本申请实施例提供的一种基于透明度叠加的目标图像渲染流程示意图；
图4是本申请实施例提供的一种基于深度遮挡的目标图像渲染流程示意图；
图5是本申请实施例提供的一种基于阴影生成的目标图像渲染流程示意图；
图6是本申请实施例提供的一种图像渲染装置的结构示意图；
图7是本申请实施例提供的一种图像渲染设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的图像渲染方法可应用于神经辐射场模型与三维场景模型的结合渲染中，例如在组装三维虚拟空间时，基于神经辐射场(NeRF，Neural Radiance Field)技术创建实物模型，并基于本方案提供的图像渲染方法生成神经辐射场模型布局到三维场景模型中的渲染图像，实现物体在场景中的交互式预览，旨在通过将体渲染结果绘制到平面几何图中，再将三维场景模型的场景渲染结果和平面几何体的平面渲染结果进行叠加处理得到目标渲染图像，实现将神经辐射场模型与三维场景模型的结合，提高神经辐射场模型在场景模型中结合的图像渲染效果。对于传统的神经辐射场模型和三维场景模型对应的图像渲染方式，分别是基于体渲染和表面渲染进行的，两者的渲染机制差异较大，神经辐射场模型难以与通用的三维场景模型进行结合，神经辐射场模型在场景模型中结合的图像渲染效果较差，神经辐射场模型的应用场景受限。基于此提供本申请实施例的一种图像渲染方法，以解决现有神经辐射场模型在场景模型中结合的图像渲染效果较差，神经辐射场模型的应用场景受限的技术问题。
图1给出了本申请实施例提供的一种图像渲染方法的流程图，本申请实施例提供的图像渲染方法可以由图像渲染装置来执行，该图像渲染装置可以通过硬件和/或软件的方式实现，并集成在图像渲染设备中。
下述以图像渲染装置执行图像渲染方法为例进行描述。参考图1，该图像渲染方法包括：
S101：基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果。
本方案提供的三维场景模型可基于目标场景进行三维建模处理得到，并且可基于标准管线的表面绘制渲染处理的渲染方式对三维场景模型进行渲染。本方案提供的第一相机为三维场景中观察三维场景模型对应的虚拟相机，第一相机观察三维场景模型对应的位姿(包括在虚拟场景中的空间位置和视角)即为第一设定位姿(包括第一位置信息和第一视角信息)。
示例性的，确定需要对三维场景模型进行渲染的第一设定位姿，并将第一设定位姿添加到标准管线中对三维场景模型进行表面绘制渲染处理得到场景渲染结果。
在一个可能的实施例中，本方案提供的第一相机为透视相机。可选的，场景渲染结果中记录有每个像素点对应的颜色信息和深度信息，并且场景渲染结果每个像素中显示的物体距离第一相机越远，对应的深度信息越大。其中，第一设定位姿可由用户或系统进行设定，并且用户可根据渲染或观察的位置、视角需求实时调节第一设定位姿，对应渲染出的场景渲染结果也随着第一设定位姿的变化实时更新。
S102：获取在第一设定位姿下对神经辐射场模型的体渲染结果。
本方案提供的神经辐射场模型可基于目标物体的多张图片(例如通过手机、摄像机等拍摄设备在不同角度下对目标物体进行拍摄得到的相机参数已知的多张图片)对搭建好的神经辐射场模型进行训练得到。神经辐射场将场景可表示为由多层感知器(MLP，Multilayer Perceptron)参数化的连续体积函数，从一个稳定的三维位置映射到该位置的不透明度(或体积密度)和视图相关的发射辐射。可以理解的是，神经辐射场模型中一个空间位置的体积密度大于0时，表示该空间位置存在物体，对应的不透明度指示该空间位置不透明(或透明度＝0)，神经辐射场模型中一个空间位置的体积密度为0时，表示该空间位置未存在物体，对应的不透明度指示该空间位置透明(或透明度＝1)。
可选的，可利用神经辐射场模型对多层感知器进行训练，即以神经辐射场模型中第三相机对应的位姿(包括第三相机对应的位置信息和视角信息)作为输入，第三相机对应的位姿下各个像素位置对应的不透明度和颜色信息作为输出，对多层感知器进行训练。在多层感知器进行训练完成后，向多层感知器输入位姿信息，多层感知器将输出神经辐射场模型中基于第三相机在对应的位姿对应的体渲染结果。
示例性的，确定需要对神经辐射场模型进行体渲染的第一设定位姿(包括第一位置信息和第一视角信息)。可选的，本方案将对三维场景模型进行表面绘制渲染对应的第一设定位姿确定为对神经辐射场模型进行体渲染的位姿，即本方案同步更新对三维场景模型进行表面绘制渲染的相机对应的位姿，以及对神经辐射场模型进行体渲染的相机对应的位姿。
将第一设定位姿输出到神经辐射场模型对应的多层感知器中，由多层感知器对第一设定位姿进行分析处理并输出神经辐射场模型在第一设定位姿下进行体渲染处理对应的体渲染结果。可以理解的是，在用户根据渲染或观察的位置、视角需求实时调节第一设定位姿时，对应渲染出的体渲染结果也随着第一设定位姿的变化实时更新，即可通过对三维场景模型中虚拟相机位姿的变化，同步更新对神经辐射场模型进行体渲染第三相机的位姿。
本方案在对神经辐射场模型进行体渲染时，可基于神经辐射场(NeRF)技术进行，也可基于稀疏神经辐射网格(SNeRG，Sparse Neural Radiance Grid)进行，即神经辐射场模型为稀疏神经辐射网格模型。其中，稀疏神经辐射网格通过将神经辐射场模型进行预推理，将推理结果预存在稀疏的三维体素网格数据结构中，采用空间换时间的方法，有效减少体渲染过程中的数据处理量和处理时间，提高图像渲染效率。基于此，如图2提供的一种体渲染结果生成流程示意图所示，本方案提供的图像渲染方法在获取在第一设定位姿下对神经辐射场模型的体渲染结果时，包括：
S1021：基于第一设定位姿从神经辐射场模型对应的体素网格中获取对应的不透明度信息、漫反射颜色以及特征向量。
S1022：基于不透明度信息、漫反射颜色以及特征向量生成体渲染结果。
本方案提供的体素网格记录有设定的神经辐射场模型在多个空间位置上对应的不透明度、漫反射颜色和特征向量。可选的，可将神经辐射场模型配置为输出在各个空间位置上对应的不透明度、漫反射颜色和特征向量。在一个实施例中，可将神经辐射场模型输出的不透明度、漫反射颜色和特征向量存储在体素网格中。其中，神经辐射场模型输出的特征向量可以是对空间位置(即采样点)提取的特征组成的向量，该特征向量编码了空间位置上视角相关的信息，可反映对应空间位置上物体材质的量。
示例性的，在需要对神经辐射场模型进行体渲染时，基于第一设定位姿从神经辐射场模型对应的体素网格中获取对应的不透明度信息、漫反射颜色以及特征向量，并根据获取到的不透明度信息、漫反射颜色以及特征向量生成神经辐射场模型在第一设定位姿下的体渲染结果。
在一个实施例中，在从神经辐射场模型对应的体素网格中获取对应的不透明度信息、漫反射颜色以及特征向量时，可以是根据第一设定位姿中第一位置信息和第一视角信息确定渲染体素范围，并根据渲染体素范围在体素网格中获取对应位置范围内的空间位置对应的不透明度信息、漫反射颜色以及特征向量。
本方案将视角无关的不透明度、漫反射颜色和特征向量预先计算并存储在体素网格中，后续终端在对神经辐射场模型进行体渲染处理时，无需要再计算视角无关的相关信息，减少图像渲染需要处理的数据量，提高图像渲染效率。
在一个实施例中，本方案提供的图像渲染方法在基于不透明度信息、漫反射颜色以及特征向量生成体渲染结果时，包括：通过设定的多层感知器对不透明度信息以及特征向量进行分析处理，得到与视角相关的视角颜色；基于视角颜色和漫反射颜色生成体渲染结果。
示例性的，根据从体素网格中提取的不透明度信息以及特征向量计算在需要渲染处的体渲染结果中各个像素位置对应的累积特征，通过设定的多层感知器，基于第一设定位姿和累积特征进行分析处理得到各个像素位置对应的视角颜色。进一步的，根据从体素网格中提取的不透明度信息和漫反射颜色计算在各个像素位置对应的漫反射累积颜色，将每个像素位置对应的漫反射累积颜色和视角颜色叠加处理后，进行渲染处理得到目标渲染图像。
本方案通过多层感知器计算在第一设定位姿下神经辐射场模型对应的与视角相关的颜色，可以理解的是，由于视角无关的信息(不透明度信息、漫反射颜色以及特征向量)已经预先计算并存储在体素网格中，本方案提供的多层感知器只需要计算视角相关的颜色即可，在训练多层感知器是可以基于相机位姿以及对应的视角颜色进行，减少多层感知器的数据处理量，并且可通过减少多层感知器中全连接层的数量，在保证多层感知器的视角颜色计算准确度的同时，减少多层感知器的数据处理量，提高图像渲染效率。
本方案将视角无关的不透明度、漫反射颜色和特征向量预先计算并存储在体素网格中，后续终端在对神经辐射场模型进行体渲染处理时，无需要再计算视角无关的相关信息，只需要利用轻量级的多层感知器计算视角相关的信息，并将视角无关的相关信息和视角相关的信息进行叠加处理即可得到各个像素对应的目标颜色，减少图像渲染需要处理的数据量，提高图像渲染效率。
S103：基于在第二设定位姿下的第二相机将体渲染结果渲染到设定的平面几何体中，得到平面渲染结果。
示例性的，在对神经辐射场模型进行体渲染处理得到体渲染结果后，基于在第二设定位姿(包括第二位置信息和第二视角信息)下的第二相机将体渲染结果渲染到设定的平面几何体(Plane Mesh)中，此时平面几何体上的纹理即为体渲染结果。
在一个可能的实施例中，本方案提供的第二相机为正交相机，并且平面几何体的尺寸与图像渲染对应的屏幕尺寸一致，例如平面几何体可以是由两个三角面片组成，三角面片的两个直角边长分别与屏幕的长宽一致，平面几何体刚好可覆盖屏幕区域。本方案提供的第二设定位姿对应的视角正交于平面几何体，即基于第二相机将体渲染结果渲染到平面几何体上时，第二相机始终正对平面几何体。
本方案通过使用正交相机作为第二相机，将体渲染结果渲染到平面几何体上的平面渲染结果投影到屏幕，平面几何体在正交投影下不受投影距离的影响(即不会产生近大远小的效果)，并且正交相机位置不变的情况下，让平面几何体永远朝向屏幕，通过正交投影将抹除投影距离导致的近大远小现象，在三维场景模型中前后移动平面几何体时，平面几何体表面的纹理大小保持不变，平面几何体表面上体渲染结果对应的纹理的大小，仅取决于第一相机与神经辐射场模型中体素的位置关系，使得神经辐射场模型与三维场景模型的结合更自然，提高图像渲染质量。
S104：对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。
示例性的，将上述得到的平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像，此时目标渲染图像中显示的内容包括三维场景模型对应的背景以及神经辐射场模型对应的物体，相当于将物体添加到背景场景中，从而将神经辐射场模型接入到标准渲染管线中，实现神经辐射场模型和三维场景模型的结合。
在一个可能的实施例中，如图3提供的一种基于透明度叠加的目标图像渲染流程示意图所示，本方案提供的图像渲染方法在对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像时，包括：
S1041：基于体渲染结果中各个像素位置对应的第一透明度，确定平面渲染结果中各个像素位置对应的第二透明度。
S1042：基于第二透明度，对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。
示例性的，在对平面渲染结果和场景渲染结果进行叠加处理时，确定体渲染结果中各个像素位置对应的第一透明度，并根据体渲染结果中各个像素位置对应的第一透明度设定平面渲染结果中各个像素位置对应的第二透明度。可选的，可将平面渲染结果中各个像素位置对应的第二透明度设置为与体渲染结果中对应像素位置的第一透明度一致。
其中，多层感知器在对从体素网格中提取的不透明度信息以及特征向量进行分析处理时，还输出每个像素位置对应的第一透明度。其中，在一个体渲染结果的一个像素位置(即体渲染结果中目标物体以外的位置)中未存在物体时，对应的第一透明度指示对应像素位置为透明(例如第一透明度为1)，而在一个体渲染结果的一个像素位置(即体渲染结果中目标物体对应的位置)中存在物体时，对应的第一透明度指示对应像素位置为不透明(例如第一透明度为0)。
进一步的，基于平面渲染结果中各个像素位置对应的第二透明度，对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。此时，目标渲染图像中显示的前景为平面几何体上对应第一视角的物体图案，背景为三维场景模型对应第一视角的场景图案。本方案通过根据体渲染结果中各个像素位置对应的第一透明度设置平面渲染结果中各个像素位置对应的第二透明度，在实现神经辐射场模型对应的物体与三维场景模型对应的场景的结合的同时，减少神经辐射场模型在物体以外的像素位置对三维场景的遮挡和干扰，保证图像渲染质量。
在一个可能的实施例中，如图4提供的一种基于深度遮挡的目标图像渲染流程示意图所示，本方案提供的图像渲染方法在对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像时，包括：
S1043：基于第一相机和第二相机的视角变换关系，确定平面几何体在三维场景模型上对应的深度坐标。
S1044：基于深度坐标对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。
需要进行解释的是，在将平面渲染结果叠加到场景渲染结果中后，由于平面渲染结果和场景渲染结果未设置遮挡关系(深度的排序关系)，会存在物体一直显示在场景所有物体之前的情况，本方案通过设定平面渲染结果和场景渲染结果中各个像素位置对应的深度坐标的方式，建立平面渲染结果和场景渲染结果的深度排序关系，从而配置平面渲染结果中的物体和场景渲染结果中各个物体之间的遮挡关系。
示例性的，基于神经辐射场模型需要放置在三维场景模型中的预期放置位置，以及第一相机和第二相机的视角变换关系，确定当前第一设定位姿下，平面几何体在三维场景模型上对应的深度坐标。
在一个可能的实施例中，第一相机和第二相机的视角变换关系可基于第一相机对应的第一相机体系对应的MVP矩阵(模型、视图和投影矩阵)，以及第二相机对应的第二相机体系下对应的MVP矩阵进行建立其中，MVP矩阵包括模型(Model)、视图(View)和投影(Projection)三种矩阵。基于三维场景模型在世界坐标系中的位置及旋转缩放可得到三维场景模型对应的模型矩阵M0，三维场景模型采用第一相机体系的透视相机进行渲染，其视图矩阵为V0，因为第一相机的位姿会随着视图位置的变化，该视图矩阵也随之不断变化，本方案依据不同时刻视图位置的不同，将三维场景模型的视图矩阵为V0记为V0t，神经辐射场模型预期三维场景模型中放置的位置，即预期放置位置，其对应的世界坐标为q0＝(x0，y0，z0)，将预期放置位置与神经辐射场模型绑定。承载体渲染结果的平面几何体采用第二相机体系的正交相机进行渲染，平面几何体的视图矩阵记为V1，为了让该平面几何体永远保持朝向屏幕，该正交相机一直保持不变。透视相机(第一相机)与正交相机(第二相机)的投影矩阵分别记为P0为第一相机对应的投影矩阵，V1和P1。本方案通过两个相机体系进行图像渲染，第一相机体系(透视相机体系)可响应对相机控件的控制，在各个视角观察绘制场景与物体(体素结构)，产生人与整个虚拟场景的交互效果。其中物体可通过是他矩阵的作用，将平移、缩放、旋转后的物体以纹理的形式绘制于平面几何体表面。而第二相机体系(正交相机体系)只作用于平面几何体本身，可保证该第二相机在世界坐标中的位置不变，保持平面几何体正对第二相机，不会发生转动而导致视觉效果错乱的情况，并且第二相机采用的正交投影方法可抹除近大远小的视距变化，方便前后基于深度坐标移动平面几何体在三维场景模型中的位置时，其表面的纹理大小保持不变，使得平面几何体渲染纹理的大小，仅取决于第二相机与体素的位置关系。
需要进行解释的是，三维场景模型中某一位置，因为观察位置的变化，经过变换后，在三维场景模型的渲染深度缓冲区中该位置的深度也是不断变化的，即三维场景模型中在t时刻某个像素位置对应的第一深度为：
d0t＝(P0V0tM0q0)·z
其中，P0为第一相机对应的投影矩阵，V0t为三维场景模型在t时刻对应的视图矩阵，M0为三维场景模型对应的模型矩阵，q0为神经辐射场模型在三维场景模型中的预期放置位置。
假设平面几何体的像素位置在世界坐标系中的坐标位置为q1＝(x，y，zi)，由于平面几何体完全覆盖屏幕，x与y确定，zi只有面向屏幕的变化，即直接根据世界坐标指定平面几何体的横纵坐标，本方案可不涉及平面结合体的模型矩阵。神经辐射场模型中在t时刻某个像素位置对应的第二深度为：
d1t＝(P1V1q1t)·z
其中，P1为第二相机对应的投影矩阵，V1为平面几何体对应的视图矩阵，q1t为在t时刻平面几何体对应的深度坐标，(A)·z用于确定像素点A对应的z轴坐标(深度坐标)。
在第二相机体系下，相机视角是固定的，需要使平面几何体沿着垂直于屏幕的z轴来回移动，从而找到合适的深度位置，实现神经辐射场模型和三维场景模型的遮挡关系。令d0t＝d1t，可求出在视角变换下，不同时刻的平面几何体的深度坐标位置。基于此，本方案提供的平面几何体对应的深度坐标基于以下公式确定：
在确定平面几何体对应的深度坐标后，基于深度坐标对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。可以理解的是，在场景渲染结果中深度坐标大于平面几何体对应的深度坐标的像素位置时，对应像素位置位于平面几何体之后，即场景渲染对应的像素会被平面渲染结果对应的像素遮挡，而在场景渲染结果中深度坐标小于平面几何体对应的深度坐标的像素位置时，对应像素位置位于平面几何体之前，即场景渲染对应的像素会遮挡平面渲染结果对应的像素。本方案基于平面几何体在三维场景模型上对应的深度坐标对平面渲染结果和场景渲染结果进行叠加处理，可正确反映将神经辐射场模型放置到三维场景模型中后，各个物体之间的遮挡关系，提高图像渲染的真实度，提高图像渲染效果。
在一个可能的实施例中，如图5提供的一种基于阴影生成的目标图像渲染流程示意图所示，本方案提供的图像渲染方法在对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像时，包括：
S1045：基于神经辐射场模型对应的表面渲染结构生成神经辐射场模型在三维场景模型中的阴影渲染结果。
S1046：对平面渲染结果、场景渲染结果以及阴影渲染结果进行叠加处理，得到目标渲染图像。
示例性的，获取神经辐射场模型输出的表面渲染结构(mesh)，利用设定的阴影生成算法(例如Marching Cubes算法，等值面提取算法)，将表面渲染结构应用到三维场景模型中面积与三维场景中配置的光源生成表面渲染结构作用于三维场景模型中的阴影，从而得到神经辐射场模型在三维场景模型中的阴影渲染结果。其中神经辐射场模型输出的表面渲染结构未包括纹理信息或颜色信息，表面渲染结构为由多个三角面片组成的立体结构，其可反映神经辐射场模型中目标物体对应的形状结构。
其中，目标渲染图像中表面渲染结构对应的透明度设置为第一设定透明度。将目标渲染图像中表面渲染结构对应的透明度设置为第一设定透明度(例如将将目标渲染图像中表面渲染结构对应的透明度设置为透明)，将上述获取的平面渲染结果、场景渲染结果和阴影渲染结果进行叠加处理，得到目标渲染图像。此时，目标渲染图像中除了显示有添加到三维场景中的神经辐射场模型对应的目标物体外，还显示有目标物体作用在三维场景中的阴影。可以理解的是，由于将目标渲染图像中表面渲染结构对应的透明度设置为第一设定透明度，阴影渲染结果叠加到场景渲染结果中后，便面渲染结构不会对平面渲染结果的显示产生干扰，可有效保证图像渲染质量。本方案通过根据表面渲染结构生成神经辐射场模型在三维场景模型中的阴影渲染结果，实现根据场景中的光照产生目标物体在三维场景中的阴影生成的效果，提高图像渲染质量。
在一个实施例中，在得到场景渲染结果和平面渲染结果后，可基于透明度叠加、深度遮挡以及阴影生成中的一种或多种方式进行目标图像渲染，例如在得到场景渲染结果和平面渲染结果后，基于体渲染结果中各个像素位置对应的第一透明度，确定平面渲染结果中各个像素位置对应的第二透明度，基于第一相机和第二相机的视角变换关系，确定平面几何体在三维场景模型上对应的深度坐标，然后基于神经辐射场模型对应的表面渲染结构生成神经辐射场模型在三维场景模型中的阴影渲染结果，并基于平面渲染结果中各个像素位置对应的第二透明度、平面几何体在三维场景模型上对应的深度坐标、阴影渲染结果对平面渲染结果和场景渲染结果进行叠加处理得到目标渲染图像，此时目标渲染图像中记录有添加到三维场景中的神经辐射场模型对应的目标物体、当前观察位置和角度下目标物体与三维场景各个物体之间的遮挡关系，以及目标物体作用在三维场景中的阴影。相对于直接导出神经辐射场模型的表面结构和纹理进行表面绘制的方式，可更好地保留神经辐射场模型的高精度渲染效果，减少了表面绘制下纹理输出过于平滑的情况，提高图像渲染质量。
上述，通过基于第一设定位姿下的第一相机对三维场景模型经表面绘制渲染得到场景渲染结果，以及基于第二设定位姿下的第二相机，将第一设定位姿下对神经辐射场模型的体渲染结果渲染到平面几何体中，得到平面渲染结果，并对平面渲染结果和场景渲染结果进行叠加处理得到目标渲染图像，通过将体渲染结果绘制到平面几何图中，再将三维场景模型的场景渲染结果和平面几何体的平面渲染结果进行叠加处理得到目标渲染图像，实现将神经辐射场模型与三维场景模型的结合，提高神经辐射场模型在场景模型中结合的图像渲染效果。同时，通过根据体渲染结果中各个像素位置对应的第一透明度设置平面渲染结果中各个像素位置对应的第二透明度，在实现神经辐射场模型对应的物体与三维场景模型对应的场景的结合的同时，减少神经辐射场模型在物体以外的像素位置对三维场景的遮挡和干扰。并且基于平面几何体在三维场景模型上对应的深度坐标对平面渲染结果和场景渲染结果进行叠加处理，可正确反映将神经辐射场模型放置到三维场景模型中后，各个物体之间的遮挡关系。还可通过根据表面渲染结构生成神经辐射场模型在三维场景模型中的阴影渲染结果，实现根据场景中的光照产生目标物体在三维场景中的阴影生成的效果，有效提高图像渲染质量。
图6是本申请实施例提供的一种图像渲染装置的结构示意图。参考图6，该图像渲染装置包括场景渲染模块61、体渲染模块62、平面渲染模块63和图像叠加模块64。
其中，场景渲染模块61，配置为基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果；体渲染模块62，配置为获取在第一设定位姿下对神经辐射场模型的体渲染结果；平面渲染模块63，配置为基于在第二设定位姿下的第二相机将体渲染结果渲染到设定的平面几何体中，得到平面渲染结果；图像叠加模块64，配置为对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。
上述，通过基于第一设定位姿下的第一相机对三维场景模型经表面绘制渲染得到场景渲染结果，以及基于第二设定位姿下的第二相机，将第一设定位姿下对神经辐射场模型的体渲染结果渲染到平面几何体中，得到平面渲染结果，并对平面渲染结果和场景渲染结果进行叠加处理得到目标渲染图像，通过将体渲染结果绘制到平面几何图中，再将三维场景模型的场景渲染结果和平面几何体的平面渲染结果进行叠加处理得到目标渲染图像，实现将神经辐射场模型与三维场景模型的结合，提高神经辐射场模型在场景模型中结合的图像渲染效果。
在上述实施例的基础上，神经辐射场模型为稀疏神经辐射网格模型，体渲染模块62在获取在第一设定位姿下对神经辐射场模型的体渲染结果时，配置为：
基于第一设定位姿从神经辐射场模型对应的体素网格中获取对应的不透明度信息、漫反射颜色以及特征向量；
基于不透明度信息、漫反射颜色以及特征向量生成体渲染结果。
在上述实施例的基础上，体渲染模块62在基于不透明度信息、漫反射颜色以及特征向量生成体渲染结果时，配置为：
通过设定的多层感知器对不透明度信息以及特征向量进行分析处理，得到与视角相关的视角颜色；
基于视角颜色和漫反射颜色生成体渲染结果。
在上述实施例的基础上，第一相机为透视相机，第二相机为正交相机，平面几何体的尺寸与屏幕尺寸一致，第二设定位姿对应的视角正交于平面几何体。
图像叠加模块64在对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像时，设置为：
基于体渲染结果中各个像素位置对应的第一透明度，确定平面渲染结果中各个像素位置对应的第二透明度；
基于第二透明度，对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。
在上述实施例的基础上，图像叠加模块64在对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像时，配置为：
基于第一相机和第二相机的视角变换关系，确定平面几何体在三维场景模型上对应的深度坐标；
基于深度坐标对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像。
在上述实施例的基础上，平面几何体对应的深度坐标基于以下公式确定：
其中，q0为神经辐射场模型在三维场景模型中的预期放置位置，M0为三维场景模型对应的模型矩阵，V0t为三维场景模型在t时刻对应的视图矩阵，P0为第一相机对应的投影矩阵，V1为平面几何体对应的视图矩阵，P1为第二相机对应的投影矩阵。
在上述实施例的基础上，图像叠加模块64在对平面渲染结果和场景渲染结果进行叠加处理，得到目标渲染图像时，配置为：
基于神经辐射场模型对应的表面渲染结构生成神经辐射场模型在三维场景模型中的阴影渲染结果；
对平面渲染结果、场景渲染结果以及阴影渲染结果进行叠加处理，得到目标渲染图像，其中，目标渲染图像中表面渲染结构对应的透明度设置为第一设定透明度。
值得注意的是，上述图像渲染装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
本申请实施例还提供了一种图像渲染设备，该图像渲染设备可集成本申请实施例提供的图像渲染装置。图7是本申请实施例提供的一种图像渲染设备的结构示意图。参考图7，该图像渲染设备包括：输入装置73、输出装置74、存储器72以及一个或多个处理器71；存储器72，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器71执行，使得一个或多个处理器71实现如上述实施例提供的图像渲染方法。上述提供的图像渲染装置、设备和计算机可用于执行上述任意实施例提供的图像渲染方法，具备相应的功能和有益效果。
本申请实施例还提供一种存储计算机可执行指令的非易失性存储介质，计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的图像渲染方法。当然，本申请实施例所提供的一种存储计算机可执行指令的非易失性存储介质，其计算机可执行指令不限于如上提供的图像渲染方法，还可以执行本申请任意实施例所提供的图像渲染方法中的相关操作。上述实施例中提供的图像渲染装置、设备及存储介质可执行本申请任意实施例所提供的图像渲染方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像渲染方法。
在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所提供的图像渲染方法的全部或部分步骤。
Claims (12)
1.一种图像渲染方法，其特征在于，包括：
基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果；
获取在所述第一设定位姿下对神经辐射场模型的体渲染结果；
基于在第二设定位姿下的第二相机将所述体渲染结果渲染到设定的平面几何体中，得到平面渲染结果；
对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。
2.根据权利要求1所述的图像渲染方法，其特征在于，所述神经辐射场模型为稀疏神经辐射网格模型，所述获取在所述第一设定位姿下对神经辐射场模型的体渲染结果，包括：
基于所述第一设定位姿从神经辐射场模型对应的体素网格中获取对应的不透明度信息、漫反射颜色以及特征向量；
基于所述不透明度信息、所述漫反射颜色以及所述特征向量生成体渲染结果。
3.根据权利要求2所述的图像渲染方法，其特征在于，所述基于所述不透明度信息、所述漫反射颜色以及所述特征向量生成体渲染结果，包括：
通过设定的多层感知器对所述不透明度信息以及所述特征向量进行分析处理，得到与视角相关的视角颜色；
基于所述视角颜色和所述漫反射颜色生成体渲染结果。
4.根据权利要求1所述的图像渲染方法，其特征在于，所述第一相机为透视相机，所述第二相机为正交相机，所述平面几何体的尺寸与屏幕尺寸一致，所述第二设定位姿对应的视角正交于所述平面几何体。
5.根据权利要求1所述的图像渲染方法，其特征在于，所述对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像，包括：
基于所述体渲染结果中各个像素位置对应的第一透明度，确定所述平面渲染结果中各个像素位置对应的第二透明度；
基于所述第二透明度，对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。
6.根据权利要求1所述的图像渲染方法，其特征在于，所述对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像，包括：
基于所述第一相机和所述第二相机的视角变换关系，确定所述平面几何体在所述三维场景模型上对应的深度坐标；
基于所述深度坐标对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。
7.根据权利要求6所述的图像渲染方法，其特征在于，所述平面几何体对应的深度坐标基于以下公式确定：
其中，q0为所述神经辐射场模型在所述三维场景模型中的预期放置位置，M0为所述三维场景模型对应的模型矩阵，V0t为所述三维场景模型在t时刻对应的视图矩阵，P0为所述第一相机对应的投影矩阵，V1为所述平面几何体对应的视图矩阵，P1为所述第二相机对应的投影矩阵。
8.根据权利要求1所述的图像渲染方法，其特征在于，所述对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像，包括：
基于所述神经辐射场模型对应的表面渲染结构生成所述神经辐射场模型在所述三维场景模型中的阴影渲染结果；
对所述平面渲染结果、所述场景渲染结果以及所述阴影渲染结果进行叠加处理，得到目标渲染图像，其中，所述目标渲染图像中表面渲染结构对应的透明度设置为第一设定透明度。
9.一种图像渲染装置，其特征在于，包括场景渲染模块、体渲染模块、平面渲染模块和图像叠加模块，其中：
所述场景渲染模块，配置为基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果；
所述体渲染模块，配置为获取在所述第一设定位姿下对神经辐射场模型的体渲染结果；
所述平面渲染模块，配置为基于在第二设定位姿下的第二相机将所述体渲染结果渲染到设定的平面几何体中，得到平面渲染结果；
所述图像叠加模块，配置为对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。
10.一种图像渲染设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一项所述的图像渲染方法。
11.一种存储计算机可执行指令的非易失性存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8任一项所述的图像渲染方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的图像渲染方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211554789.6A CN115861508A (zh) | 2022-12-05 | 2022-12-05 | 一种图像渲染方法、装置、设备、存储介质及产品 |
| PCT/CN2023/132258 WO2024120151A1 (zh) | 2022-12-05 | 2023-11-17 | 一种图像渲染方法、装置、设备、存储介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211554789.6A CN115861508A (zh) | 2022-12-05 | 2022-12-05 | 一种图像渲染方法、装置、设备、存储介质及产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861508A true CN115861508A (zh) | 2023-03-28 |
Family
ID=85670197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211554789.6A Pending CN115861508A (zh) | 2022-12-05 | 2022-12-05 | 一种图像渲染方法、装置、设备、存储介质及产品 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115861508A (zh) |
| WO (1) | WO2024120151A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7360757B1 (ja) | 2023-05-26 | 2023-10-13 | ｂｅｓｔａｔ株式会社 | 学習装置、サーバ装置、及びプログラム |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| WO2024120151A1 (zh) * | 2022-12-05 | 2024-06-13 | 北京洛塔信息技术有限公司 | 一种图像渲染方法、装置、设备、存储介质及产品 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613609B (zh) * | 2020-12-18 | 2022-05-06 | 中山大学 | 基于联合位姿优化的神经辐射场增强方法 |
| JP2024507727A (ja) * | 2021-02-04 | 2024-02-21 | ディープマインド テクノロジーズ リミテッド | 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング |
| CN114119849B (zh) * | 2022-01-24 | 2022-06-24 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN114820906B (zh) * | 2022-06-24 | 2022-11-22 | 北京百度网讯科技有限公司 | 图像渲染方法、装置、电子设备及存储介质 |
| CN115861508A (zh) * | 2022-12-05 | 2023-03-28 | 北京洛塔信息技术有限公司 | 一种图像渲染方法、装置、设备、存储介质及产品 |
-
2022
- 2022-12-05 CN CN202211554789.6A patent/CN115861508A/zh active Pending
-
2023
- 2023-11-17 WO PCT/CN2023/132258 patent/WO2024120151A1/zh unknown
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024120151A1 (zh) * | 2022-12-05 | 2024-06-13 | 北京洛塔信息技术有限公司 | 一种图像渲染方法、装置、设备、存储介质及产品 |
| JP7360757B1 (ja) | 2023-05-26 | 2023-10-13 | ｂｅｓｔａｔ株式会社 | 学習装置、サーバ装置、及びプログラム |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| CN116958453B (zh) * | 2023-09-20 | 2023-12-08 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024120151A1 (zh) | 2024-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9282321B2 (en) | 3D model multi-reviewer system | |
| US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| CN115861508A (zh) | 一种图像渲染方法、装置、设备、存储介质及产品 | |
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| CN111968215B (zh) | 一种体积光渲染方法、装置、电子设备及存储介质 | |
| US20130100128A1 (en) | Using photo collections for three dimensional modeling | |
| US11232628B1 (en) | Method for processing image data to provide for soft shadow effects using shadow depth information | |
| TWI810818B (zh) | 提供三維模型的電腦實施方法與系統及其相關之儲存媒體 | |
| CN115439616A (zh) | 基于多对象图像α叠加的异构对象表征方法 | |
| US9401044B1 (en) | Method for conformal visualization | |
| WO2019042028A1 (zh) | 全视向的球体光场渲染方法 | |
| JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
| da Silveira et al. | Omnidirectional visual computing: Foundations, challenges, and applications | |
| CN115830202A (zh) | 一种三维模型渲染方法和装置 | |
| CN115841539A (zh) | 一种基于可视外壳的三维光场生成方法和装置 | |
| US11308586B2 (en) | Method for applying a vignette effect to rendered images | |
| CN114820980A (zh) | 三维重建方法、装置、电子设备和可读存储介质 | |
| JP2013156955A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR101003060B1 (ko) | 입체영상 제작을 위한 동영상 프레임 생성방법 | |
| JPH1027268A (ja) | 画像処理方法及び画像処理装置 | |
| CN111243099A (zh) | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 | |
| US11677923B1 (en) | Method for image processing of image data for high-resolution images on a two-dimensional display wall | |
| Liu et al. | Research on 3D point cloud model reconstruction method based on multi-kinects | |
| US20230316640A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN110689609B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |