CN114820906A - 图像渲染方法、装置、电子设备及存储介质 - Google Patents

图像渲染方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114820906A
CN114820906A CN202210721378.5A CN202210721378A CN114820906A CN 114820906 A CN114820906 A CN 114820906A CN 202210721378 A CN202210721378 A CN 202210721378A CN 114820906 A CN114820906 A CN 114820906A
Authority
CN
China
Prior art keywords
target
target object
model
image
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210721378.5A
Other languages
English (en)
Other versions
CN114820906B (zh
Inventor
刘星
陈睿智
张岩
赵晨
孙昊
刘经拓
丁二锐
吴甜
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210721378.5A priority Critical patent/CN114820906B/zh
Publication of CN114820906A publication Critical patent/CN114820906A/zh
Application granted granted Critical
Publication of CN114820906B publication Critical patent/CN114820906B/zh
Priority to KR1020230032849A priority patent/KR20240001021A/ko
Priority to US18/185,359 priority patent/US20230419610A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开提供了一种图像渲染方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体为增强现实AR、虚拟现实VR、计算机视觉、增强现实、深度学习等技术领域，可应用于虚拟形象、元宇宙等场景。该方法包括：对环境物体模型进行渲染，得到目标视角下的环境物体图像；基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。通过上述技术方案能够提高图像渲染质量。

Description

图像渲染方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机领域，尤其涉及人工智能技术领域，具体为增强现实AR、虚拟现实VR、计算机视觉、增强现实、深度学习等技术领域，可应用于虚拟形象、元宇宙等场景。具体涉及一种图像渲染方法、装置、电子设备及存储介质。
背景技术
计算机图形学(Computer Graphics，简称CG)是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。CG渲染管线是显示芯片内部处理图形信号相互独立的的并行处理单元，用于将三维空间中的物体模型转换成二维平面的物体图像。
如何提高CG渲染管线的渲染质量，是业内重要问题。
发明内容
本公开提供了一种图像渲染方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种图像渲染方法，该方法包括：
对环境物体模型进行渲染，得到目标视角下的环境物体图像；
基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。
根据本公开的一方面，提供了一种图像渲染装置，该装置包括：
环境物体模块，用于对环境物体模型进行渲染，得到目标视角下的环境物体图像；
目标物体模块，用于基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
融合渲染模块，用于根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。
根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所提供的图像渲染方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任意实施例所提供的图像渲染方法。
根据本公开的技术，能够提高图像渲染质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1a是根据本公开实施例提供的一种图像渲染方法的流程图；
图1b是相关技术中的一种CG渲染管线的示意图；
图2是根据本公开实施例提供的另一种图像渲染方法的流程图；
图3a是根据本公开实施例提供的又一种图像渲染方法的流程图；
图3b是根据本公开实施例提供的一种神经渲染与CG渲染管线进行融合渲染的示意图；
图4是根据本公开实施例提供的一种图像渲染装置的结构示意图；
图5是用来实现本公开实施例的图像渲染方法的电子设备的框图。
具体实施方式
图1a是根据本公开实施例提供的一种图像渲染方法的流程图。该方法适用于将神经渲染结果应用于CG渲染管线的情况。该方法可以由图像渲染装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中。如图1a所示，本实施例的图像渲染方法可以包括：
S101，对环境物体模型进行渲染，得到目标视角下的环境物体图像；
S102，基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
S103，根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。
其中，环境物体模型是指环境物体的三维模型，可通过三维建模软件对环境物体进行建模得到。本公开实施例对三维建模软件不做具体限定，例如可以为Unity 3D三维模型。并且，对环境物体也不做具体限定。
在本公开实施例中，通过CG渲染管线对环境物体模型进行渲染，得到目标视角下的环境物体图像。参考图1b，CG渲染管线以环境物体模型中的环境顶点数据作为输入，通过模型变换、顶点着色、裁剪、投影变换等几何阶段，以及通过片元遍历、片元着色、深度缓冲写入、逐片元操作等光栅化阶段，得到目标视角下的环境物体图像，作为环境物体的渲染结果。
在本公开实施例中，目标物体的神经辐射场可根据目标物体的图像和图像的采集视角预先训练得到，神经辐射场的输入可为目标物体的空间位置和图像的采集视角，将图像的色彩作为网络真值进行训练，神经辐射场可输出体密度(volume density，即透明度)和目标物体的空间点色彩。示例性的，利用全连接网络(MLP)和体渲染从目标物体的图像中拟合重建目标物体的几何和外观。其中，目标物体的图像可以通过对目标物体进行采集得到。
其中，目标物体模型为目标物体的三维模型，可从目标物体的神经辐射场获取。目标物体图像为目标物体的二维图像，可将目标视角作为目标物体的神经辐射场的输入，得到目标视角下的目标物体图像。目标物体图像与环境物体图像的尺寸相同。示例性的，可采用目标物体模型确定目标物体在目标视角下的渲染参数，并采用目标物体的渲染参数将目标物体图像融合渲染到环境物体图像中，得到包括目标物体和环境物体的融合渲染图像。其中，渲染参数可以为目标物体中目标顶点的明暗度、目标顶点的深度信息等。相应地，可采用目标物体中目标顶点的明暗度、深度信息等，将目标物体图像融合渲染到环境物体图像中，即对目标物体图像和环境物体图像进行贴图，使融合渲染图像既包括目标物体，又包括环境物体。
通过目标物体的神经辐射场确定目标物体模型和目标视角下的目标物体图像，不仅能够解决三维模型重建和可视化管线的成本高和结果不逼真的问题，还能够充分利用神经辐射场的低成本、稳定性高、质量高等优势，得到高精度的目标物体图像。以及，通过根据目标物体模型确定目标物体在目标视角下的渲染参数，并采用渲染参数将目标物体图像融合渲染到环境物体图像中，能够提高目标物体图像与环境物体图像之间的渲染一致性，从而提高融合渲染图像的渲染质量。
本公开实施例提供的技术方案，通过基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像，并根据目标物体模型确定目标物体在目标视角下的渲染参数，且采用渲染参数将目标物体图像融合渲染到环境物体图像中，从而将目标物体的神经辐射场应用于CG渲染管线，使CG渲染管线能够充分利用神经辐射场的低成本、稳定性高、质量高等优势，还能够提高目标物体图像与环境物体图像之间的渲染一致性，从而提高融合渲染图像的渲染质量。
其中，环境顶点数据可包括环境顶点的坐标、颜色、法线、纹理坐标等。参考图1b，在模型变换过程中，确定目标视角的模型视图矩阵，并通过对环境顶点的坐标左乘目标视角的模型视图矩阵，将环境顶点映射到目标视角的视锥空间内。视锥空间内的物体都被目标视角处的相机观测到，通过调整目标视角，可精准控制环境物体在视锥空间中的位置。其中，目标视角的模型视图矩阵可通过对目标视角的视图矩阵做逆变换，并与模型矩阵相乘得到。模型矩阵为模型坐标系到世界坐标系的变换矩阵，目标视角的视图矩阵为世界坐标系到目标视角的相机坐标系的变换，通过视图矩阵的逆变换，把目标视角的相机坐标系移动到世界坐标系的原点。
参考图1b，在顶点着色过程中，根据环境顶点的顶点法线方向和环境光线，确定环境顶点的颜色。其中，环境顶点的顶点法线方向可作为已知信息输入到CG渲染管线，例如可采用环境顶点所属三角形的两边计算外积，得到环境顶点的顶点法线方向，对三角形中各环境顶点的顶点法线方向求平均，作为三角形的法线方向。环境光线可由CG渲染引擎的环境贴图和光源提供。
在裁剪过程中，将位于目标视角的视锥空间之外的环境顶点删除，删除过后对目标物体的边界进行平滑处理。在投影变换过程中，通过对经裁剪、着色的环境顶点左乘目标视角的相机投影矩阵，将环境物体透视投影到相机的成像平面上，使环境物体符合近大远小的人眼视觉特点。其中，相机投影矩阵根据目标视角的视锥空间确定，即根据视锥空间的上平面、下平面、左平面、右平面、远平面、近平面确定。
参考图1b，在光栅化阶段，根据环境顶点之间的三角关系，将经相机投影变换的环境顶点组成三角面片（即片元），并且遍历所有三角面片，根据环境光对三角面片进行着色，例如可根据环境顶点的颜色进行插值。需要说明的是，本公开实施例对片元着色方式不做具体限定，例如还可根据环境光线和三角面片的法线方向，计算三角面片的颜色，从而得到更加精细的渲染效果。
在光栅化阶段还可进行深度缓冲处理。根据环境顶点的坐标和相机位置，确定环境顶点到相机光心所在平面的欧几里得距离，作为环境顶点的深度，环境顶点的深度可与环境顶点所属三角面片的深度一致。CG渲染引擎可根据各三角面片的深度确定不同三角面片之间的前后遮挡关系，并根据不同三角面片之间的前后遮挡关系逐片元输出环境物体图像作为环境物体的渲染结果。
在一种可选实施方式中，所述目标物体的神经辐射场通过如下方式确定：分别对目标物体进行数据采集，得到目标物体的二维图像和目标物体的三维点云；对所述目标物体的二维图像和所述目标物体的三维点云进行融合，得到目标物体的融合图像；根据所述目标物体的融合图像和对应的采集视角，确定所述目标物体的神经辐射场。
在本方案中，在采集视角下，可分别采用相机和激光雷达对目标物体进行数据采集，得到目标物体的二维图像和目标物体的三维点云；并对目标物体的二维图像和目标物体的三维点云进行融合得到目标物体的融合图像，使融合图像既能够具有二维图像的纹理信息，还能够具有点云数据的深度信息、几何信息。可将目标物体的融合图像中的色彩作为网络真值训练目标物体的神经辐射场。通过采用目标物体的融合图像和对应的采集视角训练目标物体的神经辐射场，能够进一步提高神经辐射场的质量。需要说明的是，为了使目标物体的融合图像覆盖更广的视角，相机可在不同的高度围绕视野中心拍摄。为了使后续算法更好地预测相机位姿，在采集时尽量不做相机的旋转；在必须旋转相机时，采用缓慢旋转同时前后移动的方式，增加相邻帧之间的视野重合率。而且，可通过神经辐射场的调优算法提高渲染精度；以及，还可采用神经渲染的提速技术大幅减少神经辐射场的训练时间与预测时间，例如即时神经图形（Instant Neural Graphics Primitives，Instant-NGP）技术。
图2是根据本公开实施例提供的另一种图像渲染方法的流程图。本实施例是在上述实施例的基础上对目标物体图像进行光照调节优化。参见图2，本实施例的图像渲染方法可以包括：
S201，对环境物体模型进行渲染，得到目标视角下的环境物体图像；
S202，基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
S203，根据所述目标物体模型，确定目标物体模型中目标顶点的法线方向；
S204，根据目标视角、环境光和所述目标顶点的法线方向，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像；
S205，将经光照调节的目标物体图像融合渲染到所述环境物体图像中。
其中，环境光为环境物体的环境光，由CG渲染引擎的环境贴图和光源提供。示例性的，可根据目标视角，对目标顶点的法线方向进行变换，得到经变换的目标顶点的法线方向，使经变换的目标顶点的法线方向与环境物体的视角一致，均处于目标视角下。并且，根据环境光和经变换的目标顶点的法线方向，对目标物体图像进行光照调节，将经光照调节的目标物体图像融合渲染到环境物体图像中，得到融合渲染图像。通过对目标物体图像进行光照调节，使经光照调节的目标物体图像也处于环境光作用下，也就是说，环境物体图像和经光照调节的目标物体图像处于相同环境光线下，从而提高环境物体图像和经光照调节的目标物体图像之间的光线一致性。
在一种可选实施方式中，所述根据目标视角、环境光和所述目标顶点的法线方向，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像，包括：采用目标视角的模型视图矩阵，对所述目标顶点的法线方向进行变换，得到经变换的目标顶点的法线方向；根据环境光和经变换的目标顶点的法线方向，确定目标顶点的明暗度；根据所述目标顶点的明暗度，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像。
其中，目标视角的模型视图矩阵可通过对目标视角的视图矩阵做逆变换，并与模型矩阵相乘得到。模型矩阵为模型坐标系到世界坐标系的变换矩阵，目标视角的视图矩阵为世界坐标系到目标视角的相机坐标系的变换，通过视图矩阵的逆变换，将目标视角的相机坐标系移动到世界坐标系的原点。
示例性的，将目标顶点的法线方向左乘目标视角的模型视图矩阵，得到经变换的目标顶点的法线方向。并且，将环境光作用在经变换的目标顶点的法线方向上，得到目标顶点在环境光作用下的明暗度，例如可将环境光线方向与经变换的目标顶点的法线方向相乘，得到目标顶点的明暗度；以及，采用目标顶点的明暗度对目标物体图像进行光照调节，得到经光照调节的目标物体图像，示例性的，将目标顶点的明暗度与目标物体图像中目标顶点处的像素值相乘，得到经光照调节的目标物体图像。通过控制经光照调节的目标物体图像与环境物体处于相同环境光下，提高了目标物体图像与环境物体图像之间的渲染一致性。
本公开实施例提供的技术方案，通过将目标顶点的法线方向变换到目标视角下，并根据环境光和经变换的目标顶点的法线方向，对目标物体图像进行光照调节，使经调节的目标物体图像与环境物体图像处于相同环境光下，进一步提高了目标物体图像与环境物体图像之间的渲染一致性，从而提高融合渲染图像的渲染质量。
在一种可选实施方式中，所述基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像，包括：从所述目标物体的神经辐射场获取目标物体的点云模型，并对所述目标物体的点云模型进行处理得到目标物体的网格模型；基于所述目标物体的神经辐射场，采用目标视角的模型视图矩阵和相机投影矩阵，确定目标视角下的目标物体图像。
其中，目标物体的神经辐射场可输出目标物体的点云模型，可对目标物体的点云模型进行处理得到目标物体的网格模型。可选的，基于移动立方体算法（Marching Cube）算法，对所述目标物体的点云模型进行处理得到目标物体的网格模型，作为三维的目标物体模型。其中，目标物体的网格模型由网格顶点和网格面组成，网格模型数据包括网格顶点的顶点坐标，网格面的面片关系。具体的，可根据目标物体的点云模型中的顶点坐标，确定三维体素空间中体素坐标的有向距离场；基于移动立方体算法，根据体素坐标的有向距离场提取目标物体的网格模型。通过依据目标物体的点云模型确定目标物体的网格模型，便于后续对网格模型进行处理。相应地，根据所述目标物体模型，确定目标物体模型中目标顶点的法线方向可包括：采用目标物体的网格模型中目标顶点所属三角形的两边计算外积，得到目标顶点的法线方向。另外需要说明的是，目标物体的神经辐射场也可输出目标顶点的法线方向。
其中，目标视角的相机投影矩阵用于将目标物体投影到相机的成像平面上，使目标物体符合近大远小的人眼视觉特点。相机投影矩阵根据目标视角的视锥空间确定，即可根据视锥空间的上平面、下平面、左平面、右平面、远平面、近平面确定。具体的，将目标视角的模型视图矩阵和相机投影矩阵输入到目标物体的神经辐射场，经神经渲染得到目标视角下的目标物体图像，即目标视角下的目标物体渲染图。通过对目标物体的点云模型进行处理得到目标物体的网格模型，作为三维的目标物体模型，不仅能够简化目标物体模型中的目标顶点数量，减少目标物体模型的后续计算量，还能够提高目标物体模型的准确性，并且采用目标物体模型确定目标顶点的法线方向，还能够提高目标顶点的法线方向的准确性。通过采用目标视角的模型视图矩阵和相机投影矩阵，得到目标物体图像，能够使目标物体图像和环境物体图像均处于目标视角下，保持二者的视角一致性。
图3a是根据本公开实施例提供的又一种图像渲染方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3a，本实施例的图像渲染方法可以包括：
S301，对环境物体模型进行渲染，得到目标视角下的环境物体图像；
S302，基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
S303，根据所述目标视角和所述目标物体模型，确定目标物体模型中目标顶点的深度信息；
S304，根据所述目标顶点的深度信息，确定目标物体与环境物体之间的遮挡关系；
S305，根据所述遮挡关系，将所述目标物体图像融合渲染到所述环境物体图像中。
其中，目标物体模型中目标顶点的深度信息为目标顶点到相机成像平面的欧几里德距离。示例性的，可采用目标视角的相机投影矩阵对目标物体模型进行投影变换，得到目标顶点在z轴方向上的距离，作为目标顶点的深度信息。并且，可逐像素将目标顶点的深度信息重新写入深度缓冲（depth buffer），CG渲染管线将目标顶点的深度信息和已经存储在这个像素的环境物体的深度信息进行比较，并根据比较结果确定目标顶点的遮挡关系。
可选的，所述根据所述目标顶点的深度信息，确定目标物体与环境物体之间的遮挡关系，包括：将每一像素处目标顶点的深度信息和该像素处环境物体的深度信息进行比较；若所述目标顶点的深度信息小于所述环境物体的深度信息，则所述目标顶点未被遮挡。
针对每一像素，如果该像素处目标顶点的深度信息小于环境物体的深度信息，则目标顶点未被遮挡，采用目标顶点的像素值代替环境物体的像素值；否则，该像素处目标顶点被环境物体遮挡，丢弃目标顶点的像素值。通过确定目标物体模型中目标顶点的深度信息，根据目标顶点的深度信息，确定目标顶点与环境物体之间的遮挡关系，并根据遮挡关系进行逐像素重写，得到目标物体和环境物体的总渲染结果，能够准确地反映目标物体和环境物体之间的遮挡关系，从而进一步提高融合渲染质量。
在一种可选实施方式中，所述根据所述目标视角和所述目标物体模型，确定目标物体模型中目标顶点的深度信息，包括：采用目标视角的模型视图矩阵，对所述目标物体模型进行变换，得到经变换的目标物体模型；采用目标视角的相机投影矩阵，对经变换的目标物体模型进行投影，得到目标物体模型中目标顶点的深度信息。
其中，目标视角的模型视图矩阵可通过对目标视角的视图矩阵做逆变换，并与模型矩阵相乘得到。目标视角的相机投影矩阵用于将目标物体投影到相机的成像平面上。具体的，将目标物体模型中目标顶点的坐标左乘目标视角的模型视图矩阵，得到目标视角下的目标物体模型。通过采用目标视角的相机投影矩阵对目标物体模型进行透视投影变换，得到目标物体模型中目标顶点的深度信息。通过模型变换将目标物体模型变换到目标视角下，并基于目标视角下的目标物体模型确定目标顶点的深度信息，能够提高深度信息的准确性，从而提高总渲染结果的准确性。
需要说明的是，本公开实施例可不仅对目标物体图像进行光照调节，根据目标物体模型确定经光照调节的目标物体图像和环境物体图像之间的遮挡关系，还根据遮挡关系进行深度重写和像素重写，得到包括目标物体图像和环境物体图像的融合渲染图像。也就是说，融合渲染图像中目标物体图像和环境物体图像不仅处于相同环境光下，还准确反映目标物体图像和环境物体图像之间的遮挡关系。
参考图3b，CG渲染管线采用目标视角的模型视图矩阵对环境物体模型中环境顶点数据做模型变换，通过环境光对环境顶点进行顶点着色，将目标视角的视锥空间之外的环境顶点裁除，采用目标视角的相机投影矩阵对经着色、裁剪的环境顶点进行透视投影变换；并且，在光栅化阶段，遍历环境物体模型中的片元，根据环境光进行片元着色，通过深度缓冲确定环境顶点的可见性，并逐片元操作，输出环境物体图像。
参考图3b，根据目标物体的空间位置、对目标物体进行采集得到的图像和目标物体的采集位姿进行神经辐射场训练，得到目标物体的神经辐射场。将目标视角的模型视图矩阵和相机投影矩阵输入神经辐射场，得到目标视角下的目标物体图像；基于神经辐射场，还确定目标物体模型和目标物体模型中目标顶点的法线方向。
采用目标视角的模型视图矩阵将目标物体模型和目标顶点的法线方向变换到目标视角下，得到经变换的目标物体模型和经变换的目标顶点的法线方向；将CG渲染管线的环境光作用于经变换的目标顶点的法线方向得到目标顶点的明暗度，并将目标顶点的明暗度与目标物体图像相乘，得到光照调节后的目标物体图像；采用目标视角的相机投影矩阵对经变换的目标物体模型进行透视投影变换，得到目标顶点的深度信息，并根据目标顶点的深度信息进行深度重写。通过逐像素深度重写得到目标顶点与环境物体之间的遮挡关系，并根据遮挡关系对光照调节后的目标物体图像进行逐像素重写，得到包括环境物体和目标物体的融合渲染图像。
本公开实施例提供的技术方案，通过根据目标物体模型，对神经渲染场输出的目标物体图像进行光照调节，还确定目标顶点与环境物体之间的遮挡关系，根据光照调节结果和遮挡关系，得到目标物体和环境物体的融合渲染图像，创造性地将神经渲染技术引入CG渲染管线中，使神经渲染结果能够无缝衔接到CG渲染管线，获得较好的融合渲染结果，即提出了一种将神经渲染与CG渲染管线进行融合渲染的新型渲染增强技术路径，能够为传统特效生产流水线注入新的活力。
图4是根据本公开实施例提供的一种图像渲染装置的结构示意图。本实施例适用于将神经渲染结果应用于CG渲染管线的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载用户终端设备中。如图4所示，本实施例的图像渲染装置400可以包括：
环境物体模块410，用于对环境物体模型进行渲染，得到目标视角下的环境物体图像；
目标物体模块420，用于基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
融合渲染模块430，用于根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。
在一种可选实施方式中，所述融合渲染模块430包括：
目标法线单元，用于根据所述目标物体模型，确定目标物体模型中目标顶点的法线方向；
光照调节单元，用于根据目标视角、环境光和所述目标顶点的法线方向，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像；
光照渲染单元，用于将经光照调节的目标物体图像融合渲染到所述环境物体图像中。
在一种可选实施方式中，所述光照调节单元包括：
法线变换子单元，用于采用目标视角的模型视图矩阵，对所述目标顶点的法线方向进行变换，得到经变换的目标顶点的法线方向；
明暗度子单元，用于根据环境光和经变换的目标顶点的法线方向，确定目标顶点的明暗度；
光照调节子单元，用于根据所述目标顶点的明暗度，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像。
在一种可选实施方式中，所述融合渲染模块430包括：
深度信息单元，用于根据所述目标视角和所述目标物体模型，确定目标物体模型中目标顶点的深度信息；
遮挡关系单元，用于根据所述目标顶点的深度信息，确定目标物体与环境物体之间的遮挡关系；
遮挡渲染单元，用于根据所述遮挡关系，将所述目标物体图像融合渲染到所述环境物体图像中。
在一种可选实施方式中，所述深度信息单元包括：
模型变换子单元，用于采用目标视角的模型视图矩阵，对所述目标物体模型进行变换，得到经变换的目标物体模型；
深度信息子单元，用于采用目标视角的相机投影矩阵，对经变换的目标物体模型进行投影，得到目标物体模型中目标顶点的深度信息。
在一种可选实施方式中，所述遮挡关系单元包括：
深度比较子单元，用于将每一像素处目标顶点的深度信息和该像素处环境物体的深度信息进行比较；
遮挡关系子单元，用于若所述目标顶点的深度信息小于所述环境物体的深度信息，则所述目标顶点未被遮挡。
在一种可选实施方式中，所述目标物体模块420包括：
目标模型单元，用于从所述目标物体的神经辐射场获取目标物体的点云模型，并对所述目标物体的点云模型进行处理得到目标物体的网格模型；
目标图像单元，用于基于所述目标物体的神经辐射场，采用目标视角的模型视图矩阵和相机投影矩阵，确定目标视角下的目标物体图像。
在一种可选实施方式中，所述目标模型单元具体用于：
基于移动立方体算法，对所述目标物体的点云模型进行处理得到目标物体的网格模型。
在一种可选实施方式中，该图像渲染装置400还包括辐射场确定模块，所述辐射场确定模块包括：
数据采集单元，用于分别对目标物体进行数据采集，得到目标物体的二维图像和目标物体的三维点云；
数据融合单元，用于对所述目标物体的二维图像和所述目标物体的三维点云进行融合，得到目标物体的融合图像；
辐射场确定单元，用于根据所述目标物体的融合图像和对应的采集视角，确定所述目标物体的神经辐射场。
本公开实施例的技术方案，通过基于神经渲染场确定目标物体模型，并根据目标物体模型对神经渲染场输出的目标物体图像进行光照调节，还确定目标顶点与环境物体之间的遮挡关系，根据光照调节结果和遮挡关系，得到目标物体和环境物体的融合渲染图像，创造性地提出了一种将神经渲染与CG渲染管线进行融合渲染的新型渲染增强技术路径，将强大的神经渲染技术转化为直接生产力，能够为传统特效生产流水线注入新的活力。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5是用来实现本公开实施例的图像渲染方法的电子设备的框图。图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器（ROM）502中的计算机程序或者从存储单元508加载到随机访问存储器（RAM）503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。
电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如图像渲染方法。例如，在一些实施例中，图像渲染方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的图像渲染方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行图像渲染方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算（cloud computing），指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种图像渲染方法，包括：
对环境物体模型进行渲染，得到目标视角下的环境物体图像；
基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。
2.根据权利要求1所述的方法，其中，所述根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中，包括：
根据所述目标物体模型，确定目标物体模型中目标顶点的法线方向；
根据目标视角、环境光和所述目标顶点的法线方向，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像；
将经光照调节的目标物体图像融合渲染到所述环境物体图像中。
3.根据权利要求2所述的方法，其中，所述根据目标视角、环境光和所述目标顶点的法线方向，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像，包括：
采用目标视角的模型视图矩阵，对所述目标顶点的法线方向进行变换，得到经变换的目标顶点的法线方向；
根据环境光和经变换的目标顶点的法线方向，确定目标顶点的明暗度；
根据所述目标顶点的明暗度，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像。
4.根据权利要求1所述的方法，其中，所述根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中，包括：
根据所述目标视角和所述目标物体模型，确定目标物体模型中目标顶点的深度信息；
根据所述目标顶点的深度信息，确定目标物体与环境物体之间的遮挡关系；
根据所述遮挡关系，将所述目标物体图像融合渲染到所述环境物体图像中。
5.根据权利要求4所述的方法，其中，所述根据所述目标视角和所述目标物体模型，确定目标物体模型中目标顶点的深度信息，包括：
采用目标视角的模型视图矩阵，对所述目标物体模型进行变换，得到经变换的目标物体模型；
采用目标视角的相机投影矩阵，对经变换的目标物体模型进行投影，得到目标物体模型中目标顶点的深度信息。
6.根据权利要求4所述的方法，其中，所述根据所述目标顶点的深度信息，确定目标物体与环境物体之间的遮挡关系，包括：
将每一像素处目标顶点的深度信息和该像素处环境物体的深度信息进行比较；
若所述目标顶点的深度信息小于所述环境物体的深度信息，则所述目标顶点未被遮挡。
7.根据权利要求1-6中任一项所述的方法，其中，所述基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像，包括：
从所述目标物体的神经辐射场获取目标物体的点云模型，并对所述目标物体的点云模型进行处理得到目标物体的网格模型；
基于所述目标物体的神经辐射场，采用目标视角的模型视图矩阵和相机投影矩阵，确定目标视角下的目标物体图像。
8.根据权利要求7所述的方法，其中，所述对所述目标物体的点云模型进行处理得到目标物体的网格模型，包括：
基于移动立方体算法，对所述目标物体的点云模型进行处理得到目标物体的网格模型。
9.根据权利要求1-6中任一项所述的方法，所述目标物体的神经辐射场通过如下方式确定：
分别对目标物体进行数据采集，得到目标物体的二维图像和目标物体的三维点云；
对所述目标物体的二维图像和所述目标物体的三维点云进行融合，得到目标物体的融合图像；
根据所述目标物体的融合图像和对应的采集视角，确定所述目标物体的神经辐射场。
10.一种图像渲染装置，包括：
环境物体模块，用于对环境物体模型进行渲染，得到目标视角下的环境物体图像；
目标物体模块，用于基于目标物体的神经辐射场，确定目标物体模型和目标视角下的目标物体图像；
融合渲染模块，用于根据所述目标物体模型，将所述目标物体图像融合渲染到所述环境物体图像中。
11.根据权利要求10所述的装置，其中，所述融合渲染模块包括：
目标法线单元，用于根据所述目标物体模型，确定目标物体模型中目标顶点的法线方向；
光照调节单元，用于根据目标视角、环境光和所述目标顶点的法线方向，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像；
光照渲染单元，用于将经光照调节的目标物体图像融合渲染到所述环境物体图像中。
12.根据权利要求11所述的装置，其中，所述光照调节单元包括：
法线变换子单元，用于采用目标视角的模型视图矩阵，对所述目标顶点的法线方向进行变换，得到经变换的目标顶点的法线方向；
明暗度子单元，用于根据环境光和经变换的目标顶点的法线方向，确定目标顶点的明暗度；
光照调节子单元，用于根据所述目标顶点的明暗度，对所述目标物体图像进行光照调节，得到经光照调节的目标物体图像。
13.根据权利要求10所述的装置，其中，所述融合渲染模块包括：
深度信息单元，用于根据所述目标视角和所述目标物体模型，确定目标物体模型中目标顶点的深度信息；
遮挡关系单元，用于根据所述目标顶点的深度信息，确定目标物体与环境物体之间的遮挡关系；
遮挡渲染单元，用于根据所述遮挡关系，将所述目标物体图像融合渲染到所述环境物体图像中。
14.根据权利要求13所述的装置，其中，所述深度信息单元包括：
模型变换子单元，用于采用目标视角的模型视图矩阵，对所述目标物体模型进行变换，得到经变换的目标物体模型；
深度信息子单元，用于采用目标视角的相机投影矩阵，对经变换的目标物体模型进行投影，得到目标物体模型中目标顶点的深度信息。
15.根据权利要求13所述的装置，其中，所述遮挡关系单元包括：
深度比较子单元，用于将每一像素处目标顶点的深度信息和该像素处环境物体的深度信息进行比较；
遮挡关系子单元，用于若所述目标顶点的深度信息小于所述环境物体的深度信息，则所述目标顶点未被遮挡。
16.根据权利要求10-15中任一项所述的装置，其中，所述目标物体模块包括：
目标模型单元，用于从所述目标物体的神经辐射场获取目标物体的点云模型，并对所述目标物体的点云模型进行处理得到目标物体的网格模型；
目标图像单元，用于基于所述目标物体的神经辐射场，采用目标视角的模型视图矩阵和相机投影矩阵，确定目标视角下的目标物体图像。
17.根据权利要求16所述的装置，其中，所述目标模型单元具体用于：
基于移动立方体算法，对所述目标物体的点云模型进行处理得到目标物体的网格模型。
18.根据权利要求10-15中任一项所述的装置，所述装置还包括辐射场确定模块，所述辐射场确定模块包括：
数据采集单元，用于分别对目标物体进行数据采集，得到目标物体的二维图像和目标物体的三维点云；
数据融合单元，用于对所述目标物体的二维图像和所述目标物体的三维点云进行融合，得到目标物体的融合图像；
辐射场确定单元，用于根据所述目标物体的融合图像和对应的采集视角，确定所述目标物体的神经辐射场。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的图像渲染方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的图像渲染方法。
CN202210721378.5A 2022-06-24 2022-06-24 图像渲染方法、装置、电子设备及存储介质 Active CN114820906B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210721378.5A CN114820906B (zh) 2022-06-24 2022-06-24 图像渲染方法、装置、电子设备及存储介质
KR1020230032849A KR20240001021A (ko) 2022-06-24 2023-03-13 이미지 렌더링 방법, 장치, 전자 설비 및 저장 매체
US18/185,359 US20230419610A1 (en) 2022-06-24 2023-03-16 Image rendering method, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210721378.5A CN114820906B (zh) 2022-06-24 2022-06-24 图像渲染方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114820906A true CN114820906A (zh) 2022-07-29
CN114820906B CN114820906B (zh) 2022-11-22

Family

ID=82521729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210721378.5A Active CN114820906B (zh) 2022-06-24 2022-06-24 图像渲染方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US20230419610A1 (zh)
KR (1) KR20240001021A (zh)
CN (1) CN114820906B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631286A (zh) * 2022-12-21 2023-01-20 北京百度网讯科技有限公司 图像渲染方法、装置、设备和存储介质
CN115631418A (zh) * 2022-11-18 2023-01-20 北京百度网讯科技有限公司 图像处理方法、神经辐射场的训练方法和神经网络
CN115761123A (zh) * 2022-11-11 2023-03-07 北京百度网讯科技有限公司 三维模型处理方法、装置、电子设备以及存储介质
CN115908766A (zh) * 2023-02-20 2023-04-04 北京红棉小冰科技有限公司 三维虚拟人物图像的生成方法、装置及电子设备
CN116188698A (zh) * 2023-04-23 2023-05-30 阿里巴巴达摩院(杭州)科技有限公司 对象的处理方法和电子设备
CN116246009A (zh) * 2022-09-06 2023-06-09 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN116309983A (zh) * 2023-01-09 2023-06-23 北京百度网讯科技有限公司 虚拟人物模型的训练方法、生成方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190020843A1 (en) * 2017-07-17 2019-01-17 Facebook, Inc. Representing real-world objects with a virtual reality environment
CN111145341A (zh) * 2019-12-27 2020-05-12 陕西职业技术学院 一种基于单光源的虚实融合光照一致性绘制方法
CN113206971A (zh) * 2021-04-13 2021-08-03 聚好看科技股份有限公司 一种图像处理方法及显示设备
CN113240692A (zh) * 2021-06-30 2021-08-10 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN114119849A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维场景渲染方法、设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190020843A1 (en) * 2017-07-17 2019-01-17 Facebook, Inc. Representing real-world objects with a virtual reality environment
CN111145341A (zh) * 2019-12-27 2020-05-12 陕西职业技术学院 一种基于单光源的虚实融合光照一致性绘制方法
CN113206971A (zh) * 2021-04-13 2021-08-03 聚好看科技股份有限公司 一种图像处理方法及显示设备
CN113240692A (zh) * 2021-06-30 2021-08-10 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
CN113706714A (zh) * 2021-09-03 2021-11-26 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN114119849A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维场景渲染方法、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵东阳等: "一种基于亮度和深度信息的实时景深渲染算法", 《系统仿真学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246009A (zh) * 2022-09-06 2023-06-09 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN116246009B (zh) * 2022-09-06 2024-04-16 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN115761123A (zh) * 2022-11-11 2023-03-07 北京百度网讯科技有限公司 三维模型处理方法、装置、电子设备以及存储介质
CN115761123B (zh) * 2022-11-11 2024-03-12 北京百度网讯科技有限公司 三维模型处理方法、装置、电子设备以及存储介质
CN115631418A (zh) * 2022-11-18 2023-01-20 北京百度网讯科技有限公司 图像处理方法、神经辐射场的训练方法和神经网络
CN115631286A (zh) * 2022-12-21 2023-01-20 北京百度网讯科技有限公司 图像渲染方法、装置、设备和存储介质
CN115631286B (zh) * 2022-12-21 2023-03-17 北京百度网讯科技有限公司 图像渲染方法、装置、设备和存储介质
CN116309983A (zh) * 2023-01-09 2023-06-23 北京百度网讯科技有限公司 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN116309983B (zh) * 2023-01-09 2024-04-09 北京百度网讯科技有限公司 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN115908766A (zh) * 2023-02-20 2023-04-04 北京红棉小冰科技有限公司 三维虚拟人物图像的生成方法、装置及电子设备
CN116188698A (zh) * 2023-04-23 2023-05-30 阿里巴巴达摩院(杭州)科技有限公司 对象的处理方法和电子设备
CN116188698B (zh) * 2023-04-23 2023-09-12 阿里巴巴达摩院(杭州)科技有限公司 对象的处理方法和电子设备

Also Published As

Publication number Publication date
US20230419610A1 (en) 2023-12-28
CN114820906B (zh) 2022-11-22
KR20240001021A (ko) 2024-01-03

Similar Documents

Publication Publication Date Title
CN114820906B (zh) 图像渲染方法、装置、电子设备及存储介质
US11645801B2 (en) Method for synthesizing figure of virtual object, electronic device, and storage medium
CN115100339B (zh) 图像生成方法、装置、电子设备和存储介质
CN108351864B (zh) 成凹几何密铺
EP4242973A1 (en) Image processing method and related apparatus
US7884819B2 (en) Pixel color accumulation in a ray tracing image processing system
US7940265B2 (en) Multiple spacial indexes for dynamic scene management in graphics rendering
CN113781626B (zh) 遍历在射线追踪中使用的数据的技术
US9684997B2 (en) Efficient rendering of volumetric elements
CN115082639A (zh) 图像生成方法、装置、电子设备和存储介质
CN113808245B (zh) 用于遍历光线追踪加速结构的增强技术
CN113808241B (zh) 共享顶点的射线追踪图元的硬件加速
US11954169B2 (en) Interactive path tracing on the web
US20230120253A1 (en) Method and apparatus for generating virtual character, electronic device and readable storage medium
US20230230311A1 (en) Rendering Method and Apparatus, and Device
CN111739142A (zh) 场景渲染方法、装置、电子设备及计算机可读存储介质
WO2022143367A1 (zh) 一种图像渲染方法及其相关设备
RU2680355C1 (ru) Способ и система удаления невидимых поверхностей трёхмерной сцены
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
CN111754431A (zh) 一种图像区域替换方法、装置、设备及存储介质
CN114100118A (zh) 基于网络状况的动态图像平滑
US20230206567A1 (en) Geometry-aware augmented reality effects with real-time depth map
CN116993894B (zh) 虚拟画面的生成方法、装置、设备、存储介质及程序产品
CN117745915B (zh) 一种模型渲染方法、装置、设备及存储介质
WO2023184139A1 (en) Methods and systems for rendering three-dimensional scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant