CN116385612B - 室内场景下全局光照表示方法、装置及存储介质 - Google Patents

室内场景下全局光照表示方法、装置及存储介质 Download PDF

Info

Publication number
CN116385612B
CN116385612B CN202310272053.8A CN202310272053A CN116385612B CN 116385612 B CN116385612 B CN 116385612B CN 202310272053 A CN202310272053 A CN 202310272053A CN 116385612 B CN116385612 B CN 116385612B
Authority
CN
China
Prior art keywords
hdr
dimensional space
map
point
space model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310272053.8A
Other languages
English (en)
Other versions
CN116385612A (zh
Inventor
李臻
王灵丽
潘慈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Can See Beijing Technology Co ltd AS
Original Assignee
You Can See Beijing Technology Co ltd AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Can See Beijing Technology Co ltd AS filed Critical You Can See Beijing Technology Co ltd AS
Priority to CN202310272053.8A priority Critical patent/CN116385612B/zh
Publication of CN116385612A publication Critical patent/CN116385612A/zh
Application granted granted Critical
Publication of CN116385612B publication Critical patent/CN116385612B/zh
Priority to US18/601,156 priority patent/US20240312124A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Generation (AREA)

Abstract

本公开实施例公开了一种室内场景下全局光照表示方法、装置及存储介质，其中，方法包括：基于目标场景的HDR原始图和目标场景的三维空间模型，确定三维空间模型的贴图索引信息；根据三维空间模型的贴图索引信息，生成三维空间模型的HDR贴图；对三维空间模型中任一表面点半球方向的HDR贴图进行采样积分，得到三维空间模型的噪声照度贴图；使用蒙特卡洛降噪神经网络对三维空间模型的噪声照度贴图进行降噪处理，得到无噪声照度贴图；将三维空间模型、HDR贴图及无噪声照度贴图存储为目标场景的全局光照表示。本公开实施例实现了对目标场景的基于HDR贴图、照度贴图和三维空间模型的全局光照表示，提高了存储效率，减小了存储空间占用。

Description

室内场景下全局光照表示方法、装置及存储介质
技术领域
本公开涉及计算机视觉和计算机图像处理技术领域，尤其涉及一种室内场景下全局光照表示方法、装置及存储介质。
背景技术
真实场景的全局光照表示对环境光照分析、混合现实具有重要意义，只有获得真实场景的全局光照，才可以保证虚拟物体具有和真实环境一致的光影表现。而室内场景的全局光照表示往往极端复杂，由于存在大量遮挡以及不同材质的物品，使得不同地方表现出截然不同的光照，因此只有获取真正的全局光照表示才可以准确得到各个位置的实际光照。
现有技术中，通过基于图像的光照来表示空间中某一点的全局光照，也即，使用一张高动态范围(High Dynamic Range，简称为HDR)全景图来表示空间中某一点接收到的各个方向光照。虽然HDR全景图可以保留所有的细节，直接等价于全局光照，但一张HDR全景图只能表示某一空间点的全局光照，因此需要存储大量的HDR全景图才能表示三维场景任一空间点的全局光照，对设备的存储空间和内存要求很高。
发明内容
本公开实施例所要解决的一个技术问题是：提供一种室内场景下全局光照表示方法、装置及存储介质。
根据本公开实施例的一个方面，提供一种室内场景下全局光照表示方法，所述方法包括：
基于目标场景的HDR原始图和所述目标场景的三维空间模型，确定所述三维空间模型的贴图索引信息，所述贴图索引信息用于索引得到所述三维空间模型的HDR贴图；
根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图；
对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图；
使用预训练的蒙特卡洛降噪神经网络对所述三维空间模型的噪声照度贴图进行降噪处理，得到所述三维空间模型的无噪声照度贴图；
将所述三维空间模型、所述HDR贴图以及所述无噪声照度贴图存储为所述目标场景的全局光照表示。
在本公开的一个实施例中，所述对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图，包括：
根据所述HDR贴图的任一像素点，确定所述三维空间模型中对应空间点的空间坐标；
使用蒙特卡洛随机采样算法和所述对应空间点的空间坐标，对所述对应空间点半球方向的HDR贴图进行采样积分，得到所述对应空间点的照度；
根据所述HDR贴图的任一像素点对应空间点的照度，生成所述三维空间模型的噪声照度贴图。
在本公开又一实施例中，所述对所述对应空间点的半球方向的HDR贴图进行采样积分，得到所述对应空间点的照度，通过式(1)实现：
Lo(x，wo)＝∫H+Q(x，wi，G，Thdr)(wi·n)dwi 式(1)
其中，H+表示半球方向；x表示待计算照度的空间点的坐标，wi表示入射光的反方向；n表示空间点的法向量；Q表示从HDR贴图中查询得到的HDR浮点数值，查询点为所述三维空间模型与wi的交点。
在本公开又一实施例中，所述方法还包括：
接收照度查询指令，所述照度查询指令中携带待查询照度点的位置坐标；
根据所述待查询照度点的位置坐标，从所述无噪声照度贴图中获取所述待查询照度点的照度。
在本公开又一实施例中，接收光照查询指令，所述光照查询指令中携带待查询光照点的位置坐标和查询方向；
使用光线衍射算法，获取所述待查询光照点在所述查询方向上与所述三维空间模型的交点；
在所述HDR贴图中查询所述交点的HDR浮点数值，得到所述待查询光照点的HDR光照。
在本公开又一实施例中，所述确定所述三维空间模型的贴图索引信息之前，所述方法还包括：
在所述至少一个采集点位，采集所述目标场景的HDR原始图；
将所述目标场景的HDR原始图转化为LDR原始图；
基于所述LDR原始图以及对应的采集点位，生成所述目标场景的三维空间模型。
在本公开又一实施例中，所述三维空间模型的贴图索引信息包括所述三维空间模型的任一表面点的贴图对应的输入HDR原始图的图片标识信息，以及所述输入HDR原始图中对应像素点的HDR浮点数值。
在本公开又一实施例中，所述根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图，包括：
根据所述三维空间模型的贴图索引信息，索引得到任一表面点的贴图对应的输入HDR原始图以及所述输入HDR原始图中对应像素点的HDR浮点数值；
将所述三维空间模型的所有表面点的贴图的HDR浮点数值生成为所述HDR贴图。
根据本公开实施例的又一方面，提供一种室内场景下全局光照的装置，其特征在于，所述装置包括：
贴图索引模块，用于基于目标场景的HDR原始图和所述目标场景的三维空间模型，确定所述三维空间模型的贴图索引信息，所述贴图索引信息用于索引得到所述三维空间模型的HDR贴图；
贴图生成模块，用于根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图；
采样积分模块，用于对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图；
降噪模块，用于使用预训练的蒙特卡洛降噪神经网络对所述三维空间模型的噪声照度贴图进行降噪处理，得到所述三维空间模型的无噪声照度贴图；
存储模块，用于将所述三维空间模型、所述HDR贴图以及所述无噪声照度贴图存储为所述目标场景的全局光照表示。
在本公开一个实施例中，所述采样积分模块包括：
坐标确定子模块，用于根据所述HDR贴图的任一像素点，确定所述三维空间模型中对应空间点的空间坐标；
采样积分子模块，用于使用蒙特卡洛随机采样算法和所述对应空间点的空间坐标，对所述对应空间点半球方向的HDR贴图进行采样积分，得到所述对应空间点的照度；
照度贴图子模块，用于根据所述HDR贴图的任一像素点对应空间点的照度，生成所述三维空间模型的噪声照度贴图。
在本公开又一实施例中，所述采样积分子模块通过式(1)实现采样积分：
Lo(x，wo)＝∫H+Q(x，wi，G，Thdr)(wi·n)dwi 式(1)
其中，H+表示半球方向；x表示待计算照度的空间点的坐标，wi表示入射光的反方向；n表示空间点的法向量；Q表示从HDR贴图中查询得到的HDR浮点数值，查询点为所述三维空间模型与wi的交点。
在本公开又一实施例中，所述装置还包括：
第一接收模块，用于接收照度查询指令，所述照度查询指令中携带待查询照度点的位置坐标；
照度获取模块，用于根据所述待查询照度点的位置坐标，从所述无噪声照度贴图中获取所述待查询照度点的照度。
在本公开又一实施例中，所述装置还包括：
第二接收模块，用于接收光照查询指令，所述光照查询指令中携带待查询光照点的位置坐标和查询方向；
交点获取模块，用于使用光线衍射算法，获取所述待查询光照点在所述查询方向上与所述三维空间模型的交点；
光照获取模块，用于在所述HDR贴图中查询所述交点的HDR浮点数值，得到所述待查询光照点的HDR光照。
在本公开又一实施例中，所述装置还包括：
图像采集模块，用于在所述至少一个采集点位，采集所述目标场景的HDR原始图；
转化模块，用于将所述目标场景的HDR原始图转化为LDR原始图；
模型生成模块，用于基于所述LDR原始图以及对应的采集点位，生成所述目标场景的三维空间模型。
在本公开又一实施例中，所述三维空间模型的贴图索引信息包括所述三维空间模型的任一表面点的贴图对应的输入HDR原始图的图片标识信息，以及所述输入HDR原始图中对应像素点的HDR浮点数值。
在本公开又一实施例中，所述贴图生成模块包括：
索引子模块，用于根据所述三维空间模型的贴图索引信息，索引得到任一表面点的贴图对应的输入HDR原始图以及所述输入HDR原始图中对应像素点的HDR浮点数值；
贴图生成子模块，用于将所述三维空间模型的所有表面点的贴图的HDR浮点数值生成为所述HDR贴图。
根据本公开实施例的再一方面，提供一种电子设备，该电子设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述室内场景下全局光照表示方法。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述室内场景下全局光照表示方法。
根据本公开实施例的再一方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述室内场景下全局光照表示方法。
基于本公开上述实施例提供的室内场景下全局光照表示方法、装置以及存储介质，在需要对一个目标场景生成全局光照表示时，可基于对目标场景采集的多张HDR原始图和三维空间模型，确定三维空间模型的贴图索引信息，进而根据贴图索引信息生成三维空间模型的HDR贴图，通过对三维空间模型的任一表面点(HDR贴图中任一像素点对应的空间点)进行半球采样积分，即可得到三维空间模型的噪声照度贴图，然后通过预训练的降噪神经网络可以得到无噪声照度贴图，由此可将三维空间模型、对应的HDR贴图以及无噪声照度贴图存储为目标场景的全局光照表示。本公开技术方案对目标场景实现了基于HDR贴图、照度贴图和三维空间模型组成的基于纹理贴图的光照表示，相比于现有技术中基于HDR全景图的光照表示，大大提高了目标场景全局光照表示的存储效率，并且减小了存储空间的占用，有效解决了基于HDR全景图的光照表示所导致的存储资源浪费问题。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开的室内场景下全局光照表示方法的一个实施例的流程图；
图2A为本公开的预计算三维空间模型的无噪声照度贴图的一个实施例的流程图；
图2B为本公开的预计算三维空间模型的无噪声照度贴图中照度计算示意图；
图3A为本公开的室内场景下全局光照表示方法中查询一个点的照度的流程图；
图3B为本公开的室内场景下全局光照表示方法中查询一个点在一个方向上的光照的流程图；
图4为本公开的室内场景下全局光照的装置的一个实施例的结构示意图；
图5为本公开的室内场景下全局光照的装置的又一个实施例的结构示意图；
图6为本公开的室内场景下全局光照的装置的又一个实施例的结构示意图；
图7为本公开一示意性实施例提供的电子设备的结构图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
图1为本公开的室内场景下全局光照表示方法的一个实施例的流程图；该室内场景下全局光照表示方法可以应用在电子设备(如计算机系统、服务器)上，如图1所示，该室内场景下全局光照表示方法包括以下步骤：
在步骤101中，基于目标场景的HDR原始图和所述目标场景的三维空间模型，确定所述三维空间模型的贴图索引信息，所述贴图索引信息用于索引得到所述三维空间模型的HDR贴图。
在一实施例中，通过HDR图像采集设备可以在至少一个采集点位采集多组HDR原始图，进而将HDR原始图转化为低动态范围(Low Dynamic Range，简称为LDR)图像，然后基于所述LDR原始图以及对应的采集点位，即可生成所述目标场景的三维空间模型。具体实现时，可采用现有的模型构建算法，构建得到目标场景的三维空间模型。
在一实施例中，在构建完目标场景的三维空间模型后，即可根据三维空间模型、HDR原始图以及每张图像的采集点位(包括采集位置和采集姿态)，对目标三维空间进行多视角贴图，并在多视角贴图阶段存储三维空间模型的贴图索引信息。其中，贴图索引信息可以包括三维空间模型的任一表面点的贴图对应的输入HDR原始图的图片标识信息，以及所述输入HDR原始图中对应像素点的HDR浮点数值。
本实施例中，三维空间模型的任一表面点是指三维空间模型中与HDR贴图的所有像素点对应的点。
在步骤102中，根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图。
在一实施例中，根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图，包括：根据所述三维空间模型的贴图索引信息，索引得到任一表面点的贴图对应的输入HDR原始图以及所述输入HDR原始图中对应像素点的HDR浮点数值；将所述三维空间模型的所有表面点的贴图的HDR浮点数值生成为所述HDR贴图。
具体实现时，可以查询贴图索引信息，获取到三维空间模型的任一表面点的输入HDR原始图，以及与任一表面点对应的像素点的HDR浮点数值，由此可得到三维空间模型的所有表面点的HDR浮点数值，即得到三维空间模型的HDR贴图。
在步骤103中，对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图。
在一实施例中，可以通过预计算照度的形式，对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到三维空间模型中任一表面点接收到的照度。
具体实现时，可采用式(1)对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到三维空间模型中任一表面点接收到的照度：
LO(x，wo)＝∫H+Q(x，wi，G，Thdr)(wi·n)dwi 式(1)
其中，H+表示半球方向；x表示待计算照度的空间点的坐标，wi表示入射光的反方向；n表示空间点的法向量；Q表示从HDR贴图中查询得到的HDR浮点数值，查询的贴图点为所述三维空间模型与wi的交点。
在一实施例中，式(1)公开了计算三维空间模型的噪声照度贴图的一种具体实现方式，是一种通过HDR贴图计算照度贴图的一种示例。但是本实施例对具体的照度计算公式不做限定，除了通过式(1)的方式计算得到三维空间模型中任一表面点接收到的照度之外，还可以使用其它的基于半球方向的照度计算公式来计算照度。
在一实施例中，由于在计算照度时需要对三维空间模型中任一表面点的半球方向进行采样积分，为了减小采样积分的计算量，提高采样积分的效率，本申请采用蒙特卡洛随机采样算法计算三维空间模型中任一表面点的照度，会产生噪声，因此得到的照度贴图是噪声照度贴图。
在步骤104中，使用预训练的蒙特卡洛降噪神经网络对所述三维空间模型的噪声照度贴图进行降噪处理，得到所述三维空间模型的无噪声照度贴图。
在一实施例中，为了得到无噪声的照度贴图，可以使用预训练好的蒙特卡洛降噪神经网络对我们带有噪声的低采样结果进行降噪，进而快速得到整个三维空间模型的无噪声照度贴图。其中，蒙特卡洛降噪神经网络可以采用现有的降噪神经网络，这里不描述。
在步骤105中，将所述三维空间模型、所述HDR贴图以及所述无噪声照度贴图存储为所述目标场景的全局光照表示。
在一实施例中，将三维空间模型、HDR贴图以及无噪声照度贴图存储为目标场景的全局光照表示之后，后需在着色渲染阶段，可以通过光栅化/光线投射等渲染技术，高效地得到目标三维空间中任一空间点从任一方向接收到的全局光照。
在一实施例中，由于本实施例中将三维空间模型、HDR贴图以及无噪声照度贴图存储为全局光照表示，不需要占用太大的存储空间，相比于基于密集网格的球面高斯(Spherical Gaussian，简称为SG)光照表示需要1GB左右的存储空间，基于稀疏网格的(Spherical Harmonics，简称为SH)光照表示需要几百兆的存储空间，本申请的将三维空间模型、HDR贴图以及无噪声照度贴图的全局光照表示可能只需要占用二三十兆的存储空间，存储空间大大降低，而渲染效果也可以最大化保留目标场景的全局光照。
上述步骤101～105，在需要对一个目标场景生成全局光照表示时，可基于对目标场景采集的多张HDR原始图和三维空间模型，确定三维空间模型的贴图索引信息，进而根据贴图索引信息生成三维空间模型的HDR贴图，通过对三维空间模型的任一表面点(HDR贴图中任一像素点对应的空间点)进行半球采样积分，即可得到三维空间模型的噪声照度贴图，然后通过预训练的降噪神经网络可以得到无噪声照度贴图，由此可将三维空间模型、对应的HDR贴图以及无噪声照度贴图存储为目标场景的全局光照表示。本公开技术方案通过一种基于HDR贴图、照度贴图和三维空间模型组成的基于纹理贴图的光照表示实现了对目标场景的全局光照表示，相比于现有技术中基于HDR全景图的光照表示，大大提高了目标场景的全局光照表示的存储效率，并且减小了存储空间的占用，有效解决了基于HDR全景图的光照表示所导致的存储资源浪费问题。
为了更好地说明本公开的室内场景下全局光照的的方案，下面用另一个实施例说明。
图2A为本公开的预计算三维空间模型的无噪声照度贴图的一个实施例的流程图，图2B为本公开的预计算三维空间模型的无噪声照度贴图中照度计算示意图；本实施例以如何实现噪声照度的预计算为例进行示例性说明，如图2A所示，包括如下步骤：
在步骤201中，根据所述HDR贴图的任一像素点，确定所述三维空间模型中对应空间点的空间坐标。
在一实施例中，在多视角贴图阶段对三维空间模型进行贴图时，存储了三维模型空间的HDR贴图的任一像素点与三维模型空间的空间点之间的映射关系，因此可根据HDR贴图的任一像素点，确定出三维空间模型中对应的空间点的空间坐标。
在步骤202中，使用蒙特卡洛随机采样算法和所述对应空间点的空间坐标，对所述对应空间点半球方向的HDR贴图进行采样积分，得到所述对应空间点的照度。
参见图2B，图2B左侧图示意了点x的照度采样计算示意图，通过计算其法向量对应的半球方向的所有HDR光照值(如图2B标号21示意的点发出的光照值)得到，其中，其法向量对应的半球方向的所有HDR光照值可通过蒙特卡洛随机采样得到。在采样出其法向量对应的半球方向的所有HDR光照值之后，即可采用图1所示实施例中的式(1)计算出点x接收到的照度。
在一实施例中，式(1)公开了三维空间模型的噪声照度贴图的一种计算方式，计算出的三维模型空间的照度的结果图如图2B右侧图所示，其中，光源正对方向照度最高，由于遮挡关系，床尾的照度较低。
在步骤203中，根据所述HDR贴图的任一像素点对应空间点的照度，生成所述三维空间模型的噪声照度贴图。
在一实施例中，由于在计算三维模型空间中任一表面点的照度时，需要对所有半球方向的HDR光照值进行采样积分，而蒙特卡洛随机采样方法会引起噪声。为了得到无噪声的照度贴图，可以使用预训练好的蒙特卡洛降噪神经网络对我们带有噪声的低采样结果进行降噪，进而快速得到整个无噪声的照度贴图，其中，无噪声的照度照度贴图中存储了三维模型空间中每个点的位置坐标与对应该点的照度
通过上述步骤201～步骤203，可以通过计算三维模型空间中任一表面点(HDR贴图中任一像素点对应的空间点)的照度得到整个目标场景的照度贴图，而通过结合蒙特卡洛随机采样算法和蒙特卡洛降噪神经网络可在确保得到无噪声照度贴图的前提下，大大降低采样数据量和计算量，提升照度计算的效率。
图3A为本公开的室内场景下全局光照表示方法中查询一个点的照度的流程图，图3B为本公开的室内场景下全局光照表示方法中查询一个点在一个方向上的光照的流程图；本实施例以如何基于室内场景下全局光照表示查询到一个点的照度或者一个点在一个方向上的光照为例进行示例性说明，如图3A所示，为接收到照度查询指令时获取一个点的照度的实施例，包括如下步骤：
在步骤301中，接收照度查询指令，所述照度查询指令中携带待查询照度点的位置坐标。
在一实施例中，当用户需要查询一个点的照度时，可通过点击、拖拽等操作触发照度查询操作，由此设备可接收到照度查询操作对应的照度查询指令，该照度查询指令中携带有待查询照度点的位置坐标。
在步骤302中，根据所述待查询照度点的位置坐标，从所述无噪声照度贴图中获取所述待查询照度点的照度。
在一实施例中，由于之前已经存储了包含无噪声照度贴图的全局光照表示，因此，根据待查询照度点的位置坐标，即可在无噪声照度贴图中获取该待查询照度点的照度。
如图3B所示，为接收到光照查询指令时获取一个点在某个方向上的光照的实施例，包括以下步骤：
在步骤311中，接收光照查询指令，所述光照查询指令中携带待查询光照点的位置坐标和查询方向。
在一实施例中，当用户需要查询一个点在某一个方向的光照时，可通过点击、拖拽等操作触发光照查询操作，由此设备可接收到光照查询操作对应的光照查询指令，该光照查询指令中携带有待查询光照点的位置坐标和查询方向。
在步骤312中，使用光线衍射算法，获取所述待查询光照点在所述查询方向上与所述三维空间模型的交点。
在一实施例中，可通过光线衍射(光线投射)技术得到待查询光照点在查询方向上予三维空间模型的交点(交点的位置坐标)。
在步骤313中，在所述HDR贴图中查询所述交点的HDR浮点数值，得到所述待查询光照点的HDR光照。
在一实施例中，根据交点的位置坐表，可查询对应的HDR贴图的像素点，该像素点的HDR浮点数值中记录的光照信息就是该交点在该查询方向上接收到的HDR光照。。
通过上述步骤301～步骤302以及步骤311～步骤313，实现了基于三维空间模型、HDR贴图和照度贴图的全局光照表示，可以快速查询得到一个点的照度，以及一个点在查询方向上接收到的HDR光照，因此本实施例提供的全局光照表示可以快速得到一个点在任一方向上的全局光照，而且存储空间小，有效解决了基于HDR全景图的光照表示所导致的存储资源浪费问题。
与前述室内场景下全局光照表示方法的实施例相对应，本公开还提供了室内场景下全局光照的装置对应的实施例。
图4为本公开的室内场景下全局光照的装置的一个实施例的结构示意图，该装置应用在电子设备(如计算机系统、服务器)上，如图4所示，该装置包括：
贴图索引模块41，用于基于目标场景的HDR原始图和所述目标场景的三维空间模型，确定所述三维空间模型的贴图索引信息，所述贴图索引信息用于索引得到所述三维空间模型的HDR贴图；
贴图生成模块42，用于根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图；
采样积分模块43，用于对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图；
降噪模块44，用于使用预训练的蒙特卡洛降噪神经网络对所述三维空间模型的噪声照度贴图进行降噪处理，得到所述三维空间模型的无噪声照度贴图；
存储模块45，用于将所述三维空间模型、所述HDR贴图以及所述无噪声照度贴图存储为所述目标场景的全局光照表示。
图5为本公开的室内场景下全局光照的装置的又一个实施例的结构示意图，如图5所示，在图4所示实施例的基础上，在一实施例中，所述采样积分模块43包括：
坐标确定子模块431，用于根据所述HDR贴图的任一像素点，确定所述三维空间模型中对应空间点的空间坐标；
采样积分子模块432，用于使用蒙特卡洛随机采样算法和所述对应空间点的空间坐标，对所述对应空间点半球方向的HDR贴图进行采样积分，得到所述对应空间点的照度；
照度贴图子模块433，用于根据所述HDR贴图的任一像素点对应空间点的照度，生成所述三维空间模型的噪声照度贴图。
在一实施例中，所述采样积分子模块通过式(1)实现采样积分：
LO(x，wo)＝∫H+Q(x，wi，G，Thdr)(wi·n)dwi 式(1)
其中，H+表示半球方向；x表示待计算照度的空间点的坐标，wi表示入射光的反方向；n表示空间点的法向量；Q表示从HDR贴图中查询得到的HDR浮点数值，查询点为所述三维空间模型与wi的交点。
在一实施例中，所述装置还包括：
第一接收模块46，用于接收照度查询指令，所述照度查询指令中携带待查询照度点的位置坐标；
照度获取模块47，用于根据所述待查询照度点的位置坐标，从所述无噪声照度贴图中获取所述待查询照度点的照度。
在一实施例中，所述装置还包括：
第二接收模块48，用于接收光照查询指令，所述光照查询指令中携带待查询光照点的位置坐标和查询方向；
交点获取模块49，用于使用光线衍射算法，获取所述待查询光照点在所述查询方向上与所述三维空间模型的交点；
光照获取模块50，用于在所述HDR贴图中查询所述交点的HDR浮点数值，得到所述待查询光照点的HDR光照。
图6为本公开的室内场景下全局光照的装置的又一个实施例的结构示意图，如图6所示，在图4和/或图5所示实施例的基础上，在一实施例中，所述装置还包括：
图像采集模块51，用于在所述至少一个采集点位，采集所述目标场景的HDR原始图；
转化模块52，用于将所述目标场景的HDR原始图转化为LDR原始图；
模型生成模块53，用于基于所述LDR原始图以及对应的采集点位，生成所述目标场景的三维空间模型。
在一实施例中，所述三维空间模型的贴图索引信息包括所述三维空间模型的任一表面点的贴图对应的输入HDR原始图的图片标识信息，以及所述输入HDR原始图中对应像素点的HDR浮点数值。
在一实施例中，所述贴图生成模块42包括：
索引子模块421，用于根据所述三维空间模型的贴图索引信息，索引得到任一表面点的贴图对应的输入HDR原始图以及所述输入HDR原始图中对应像素点的HDR浮点数值；
贴图生成子模块422，用于将所述三维空间模型的所有表面点的贴图的HDR浮点数值生成为所述HDR贴图。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
下面，参考图7来描述根据本公开实施例的电子设备，其中可以集成本公开实施例实现方法的装置。图7为本公开一示意性实施例提供的电子设备的结构图，如图7所示，电子设备7包括一个或多个处理器71、一个或多个计算机可读存储介质的存储器72，以及存储在存储器上并可在处理器上运行的计算机程序。在执行存储器72的程序时，可以实现上述室内场景下全局光照表示方法。
具体的，在实际应用中，该电子设备还可以包括输入装置73、输出装置74等部件，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。本领域技术人员可以理解，图7中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者某些部件，或者不同的部件布置。其中：
处理器71可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，通过运行或执行存储在存储器72内的软件程序和/或模块，以及调用存储在存储器72内的数据，执行各种功能和处理数据，从而对该电子设备进行整体监控。
存储器72可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器71可以运行程序指令，以实现上文的本公开的各个实施例的室内场景下全局光照表示方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
输入装置73可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆，光学或轨迹球信号输入。
输出装置74可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置74可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
电子设备还可以包括给各个部件供电的电源，可以通过电源管理系统与处理器71逻辑相连，从而通过电源管理系统实现管理充电、放电，以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
当然，为了简化，图7中仅示出了该电子设备7中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备7还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的室内场景下全局光照表示方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的室内场景下全局光照表示方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (9)

1.一种室内场景下全局光照表示方法，其特征在于，所述方法包括：
基于目标场景的HDR原始图和所述目标场景的三维空间模型，确定所述三维空间模型的贴图索引信息，所述贴图索引信息用于索引得到所述三维空间模型的HDR贴图；
根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图；
对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图；
使用预训练的蒙特卡洛降噪神经网络对所述三维空间模型的噪声照度贴图进行降噪处理，得到所述三维空间模型的无噪声照度贴图；
将所述三维空间模型、所述HDR贴图以及所述无噪声照度贴图存储为所述目标场景的全局光照表示；
所述对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图，通过式(1)实现：
LO(x,wo)＝∫H+Q(x,wi,G,Thdr)(wi·n)dwi 式(1)
其中，H+表示半球方向；x表示待计算照度的空间点的坐标，wi表示入射光的反方向；n表示空间点的法向量；Q表示从HDR贴图中查询得到的HDR浮点数值，查询点为所述三维空间模型与wi的交点。
2.根据权利要求1所述的方法，其特征在于，所述对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图，包括：
根据所述HDR贴图的任一像素点，确定所述三维空间模型中对应空间点的空间坐标；
使用蒙特卡洛随机采样算法和所述对应空间点的空间坐标，对所述对应空间点半球方向的HDR贴图进行采样积分，得到所述对应空间点的照度；
根据所述HDR贴图的任一像素点对应空间点的照度，生成所述三维空间模型的噪声照度贴图。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收照度查询指令，所述照度查询指令中携带待查询照度点的位置坐标；
根据所述待查询照度点的位置坐标，从所述无噪声照度贴图中获取所述待查询照度点的照度。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收光照查询指令，所述光照查询指令中携带待查询光照点的位置坐标和查询方向；
使用光线衍射算法，获取所述待查询光照点在所述查询方向上与所述三维空间模型的交点；
在所述HDR贴图中查询所述交点的HDR浮点数值，得到所述待查询光照点的HDR光照。
5.根据权利要求1所述的方法，其特征在于，所述确定所述三维空间模型的贴图索引信息之前，所述方法还包括：
在至少一个采集点位，采集所述目标场景的HDR原始图；
将所述目标场景的HDR原始图转化为LDR原始图；
基于所述LDR原始图以及对应的采集点位，生成所述目标场景的三维空间模型。
6.根据权利要求1所述的方法，其特征在于，所述三维空间模型的贴图索引信息包括所述三维空间模型的任一表面点的贴图对应的输入HDR原始图的图片标识信息，以及所述输入HDR原始图中对应像素点的HDR浮点数值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图，包括：
根据所述三维空间模型的贴图索引信息，索引得到任一表面点的贴图对应的输入HDR原始图以及所述输入HDR原始图中对应像素点的HDR浮点数值；
将所述三维空间模型的所有表面点的贴图的HDR浮点数值生成为所述HDR贴图。
8.一种室内场景下全局光照的装置，其特征在于，所述装置包括：
贴图索引模块，用于基于目标场景的HDR原始图和所述目标场景的三维空间模型，确定所述三维空间模型的贴图索引信息，所述贴图索引信息用于索引得到所述三维空间模型的HDR贴图；
贴图生成模块，用于根据所述三维空间模型的贴图索引信息，生成所述三维空间模型的HDR贴图；
采样积分模块，用于对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分，得到所述三维空间模型的噪声照度贴图；
降噪模块，用于使用预训练的蒙特卡洛降噪神经网络对所述三维空间模型的噪声照度贴图进行降噪处理，得到所述三维空间模型的无噪声照度贴图；
存储模块，用于将所述三维空间模型、所述HDR贴图以及所述无噪声照度贴图存储为所述目标场景的全局光照表示；
所述采样积分模块通过式(1)，实现对所述三维空间模型中任一表面点的半球方向的HDR贴图进行采样积分：
LO(x,wo)＝∫H+Q(x,wi,G,Thdr)(wi·n)dwi 式(1)
其中，H+表示半球方向；x表示待计算照度的空间点的坐标，wi表示入射光的反方向；n表示空间点的法向量；Q表示从HDR贴图中查询得到的HDR浮点数值，查询点为所述三维空间模型与wi的交点。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机产品；
处理器，用于执行所述存储器中存储的计算机产品，且所述计算机产品被执行时，实现上述权利要求1-7任一所述的方法。
CN202310272053.8A 2023-03-16 2023-03-16 室内场景下全局光照表示方法、装置及存储介质 Active CN116385612B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310272053.8A CN116385612B (zh) 2023-03-16 2023-03-16 室内场景下全局光照表示方法、装置及存储介质
US18/601,156 US20240312124A1 (en) 2023-03-16 2024-03-11 Global illumination representation method in an indoor scene, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310272053.8A CN116385612B (zh) 2023-03-16 2023-03-16 室内场景下全局光照表示方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116385612A CN116385612A (zh) 2023-07-04
CN116385612B true CN116385612B (zh) 2024-02-20

Family

ID=86962629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310272053.8A Active CN116385612B (zh) 2023-03-16 2023-03-16 室内场景下全局光照表示方法、装置及存储介质

Country Status (2)

Country Link
US (1) US20240312124A1 (zh)
CN (1) CN116385612B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113144611A (zh) * 2021-03-16 2021-07-23 网易（杭州）网络有限公司 场景渲染方法及装置、计算机存储介质、电子设备
CN113538704A (zh) * 2021-07-13 2021-10-22 海信视像科技股份有限公司 一种基于光源位置绘制虚拟对象光影的方法及设备
CN113570721A (zh) * 2021-09-27 2021-10-29 贝壳技术有限公司 三维空间模型的重建方法、装置和存储介质
CN114241159A (zh) * 2021-12-21 2022-03-25 湖南师范大学 基于近景摄影测量法的三维重建与pbr贴图的制作方法
CN114972617A (zh) * 2022-06-22 2022-08-30 北京大学 一种基于可导渲染的场景光照与反射建模方法
CN115619989A (zh) * 2022-10-28 2023-01-17 如你所视(北京)科技有限公司 融合效果图生成方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
US11288844B2 (en) * 2019-10-16 2022-03-29 Google Llc Compute amortization heuristics for lighting estimation for augmented reality
US11657563B2 (en) * 2020-07-28 2023-05-23 Unity Technologies Sf Path guiding for path-traced rendering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113144611A (zh) * 2021-03-16 2021-07-23 网易（杭州）网络有限公司 场景渲染方法及装置、计算机存储介质、电子设备
CN113538704A (zh) * 2021-07-13 2021-10-22 海信视像科技股份有限公司 一种基于光源位置绘制虚拟对象光影的方法及设备
CN113570721A (zh) * 2021-09-27 2021-10-29 贝壳技术有限公司 三维空间模型的重建方法、装置和存储介质
CN114241159A (zh) * 2021-12-21 2022-03-25 湖南师范大学 基于近景摄影测量法的三维重建与pbr贴图的制作方法
CN114972617A (zh) * 2022-06-22 2022-08-30 北京大学 一种基于可导渲染的场景光照与反射建模方法
CN115619989A (zh) * 2022-10-28 2023-01-17 如你所视(北京)科技有限公司 融合效果图生成方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes;Li, Z等;《2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;12499-509 *
Theory and simulation of calculating local illuminance density based on high dynamic range panoramic maps;Xia, L等;《LIGHTING RESEARCH & TECHNOLOGY》;第54卷(第4期);329-345 *
高动态范围图像显示再现技术的研究;谢德红;《CNKI中国优秀博士毕业论文全文库（信息科技辑）》(第9期);I138-29 *

Also Published As

Publication number Publication date
US20240312124A1 (en) 2024-09-19
CN116385612A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN110163903B (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
US10984545B2 (en) Estimating depth for a video stream captured with a monocular rgb camera
US20190355150A1 (en) Detecting and estimating the pose of an object using a neural network model
US20190278983A1 (en) Three-dimensional (3d) pose estimation from a monocular camera
US20220067513A1 (en) Efficient softmax computation
US10025879B2 (en) Tree data structures based on a plurality of local coordinate systems
US20190355103A1 (en) Guided hallucination for missing image content using a neural network
JP2020042028A (ja) コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体
JP2024125291A (ja) コンピュータビジョンシステム
US11954830B2 (en) High dynamic range support for legacy applications
US20220261650A1 (en) Machine learning training in logarithmic number system
CN109920056B (zh) 建筑物渲染方法、装置、设备和介质
US20200210805A1 (en) Neural Network Generator
US11475549B1 (en) High dynamic range image generation from tone mapped standard dynamic range images
CN109035303A (zh) Slam系统相机跟踪方法及装置、计算机可读存储介质
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
US12100113B2 (en) Performing occlusion-aware global 3D pose and shape estimation of articulated objects
US20220405980A1 (en) Fused processing of a continuous mathematical operator
Zhang et al. Illumination estimation for augmented reality based on a global illumination model
US11282258B1 (en) Adaptive sampling at a target sampling rate
CN116385612B (zh) 室内场景下全局光照表示方法、装置及存储介质
CN113822975A (zh) 用于对图像进行有效采样的技术
CN115619989B (zh) 融合效果图生成方法、装置、电子设备及存储介质
CN113808183B (zh) 使用扭曲的复合估计乘积积分
CN115272575A (zh) 图像生成方法及装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant