CN115082628A - 一种基于隐式光传输函数的动态绘制方法和装置 - Google Patents

一种基于隐式光传输函数的动态绘制方法和装置 Download PDF

Info

Publication number
CN115082628A
CN115082628A CN202210890607.6A CN202210890607A CN115082628A CN 115082628 A CN115082628 A CN 115082628A CN 202210890607 A CN202210890607 A CN 202210890607A CN 115082628 A CN115082628 A CN 115082628A
Authority
CN
China
Prior art keywords
dimensional scene
new
implicit
transfer function
light transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210890607.6A
Other languages
English (en)
Other versions
CN115082628B (zh
Inventor
鲍虎军
霍宇驰
王锐
郑传焜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210890607.6A priority Critical patent/CN115082628B/zh
Publication of CN115082628A publication Critical patent/CN115082628A/zh
Priority to PCT/CN2022/130742 priority patent/WO2024021363A1/zh
Application granted granted Critical
Publication of CN115082628B publication Critical patent/CN115082628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于隐式光传输函数的动态绘制方法和装置，包括以下步骤：步骤1，在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据；利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；步骤2，将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果，适用于各类三维场景的动态绘制。

Description

一种基于隐式光传输函数的动态绘制方法和装置
技术领域
本发明属于绘制领域，具体涉及一种基于隐式光传输函数的动态绘制方法和装置。
背景技术
绘制技术一直是计算机图形学最重要的研究内容之一，被广泛应用于计算机辅助设计、电子娱乐和影视特效等领域。其主要目标是根据给定描述与要求对虚拟场景进行快速高质量的可视化。根据绘制效果的不同，绘制技术可以被分为真实感绘制技术与非真实感绘制技术。真实感绘制技术的主要目标是在虚拟场景中逼真地模拟和还原真实世界中各种复杂的光影效果，生成具有高真实感的图像。非真实感绘制技术则主要致力于呈现特定艺术风格的绘制结果，比如卡通、素描和油画等。
绘制技术，尤其是真实感绘制技术，需要进行大量的计算以获得高质量的结果。以蒙特卡洛路径追踪方法为例，该方法的基础在于模拟场景中光传播的物理行为，它需要在每个像素投射数以万计的光线与场景进行复杂的交互计算来计算一幅收敛的绘制结果，这使得绘制时间可能长达几十分钟乃至几天。
绘制技术常被应用于设计行业，例如室内家具设计、电影场景设计等。设计师通过绘制算法生成当前设计方案下的光照效果，准确的绘制结果更有利于得到高质量的设计。然而，在这些应用场景中，常需要对特定物体进行动态变换。传统的绘制方法需要对变换后的场景进行重绘制以获得新的绘制结果。可由于真实感绘制所需的时间较长，使用者不得不进行质量与速度的取舍，要么选择快速获得低质量的绘制结果，要么进行长时间的等待。考虑到在这种情况下，除目标物体外，包括相机在内的所有其他物体均保持不变，进行重绘制进行了大量的冗余计算。若存在一种方法避免这些冗余计算，则可以快速获取高质量的绘制结果，极大地提高设计效率。
场景中物体的变换会导致场景中的光传输过程发生变化，进而导致绘制结果产生变化。这种变化十分复杂，难以通过传统的算法进行显式计算。神经网络可以从大量数据中隐式学习这类变化。同时，近年来的神经网络专用硬件的快速发展，如TPU和NPU，极大地提升了神经网络的计算速度。然而，现有的基于神经网络的绘制方法均使用神经网络直接预测整个场景的绘制结果，难以复用已有结果，也难以与其他绘制方法协作，这些问题限制了它们的灵活性与通用性。目前仍缺少一种使用神经网络芯片的且易于与其他绘制方法协作或可复用绘制结果的快速动态绘制技术。
发明内容
鉴于上述，本发明的目的是提供一种基于隐式光传输函数的动态绘制方法和装置，通过隐式光传输函数构建光传输变化场，通过光传输变化场与绘制结果的结合实现对各类三维场景的动态绘制。
为实现上述发明目的，实施例提供了一种基于隐式光传输函数的动态绘制方法，包括以下步骤：
步骤1，构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据；利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
步骤2，利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
在一个实施例中，利用第一类样本数据对神经网络进行监督学习时，以神经网络对输入样本的预测输出与第一样本标签的差值作为损失函数，利用损失函数优化神经网络的参数；
利用隐式光传输函数进行动态绘制时，将得到的光传输变化场相加到原三维场景的绘制结果以得到新三维场景的绘制结果。
在一个实施例中，构建隐式光传输函数的步骤还包括：通过以下方式构建第二样 本标签
Figure 645847DEST_PATH_IMAGE001
：
Figure 543396DEST_PATH_IMAGE003
其中，
Figure 460537DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 709115DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 369904DEST_PATH_IMAGE006
，从相机 位置
Figure 121959DEST_PATH_IMAGE007
向观察方向
Figure 475580DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 945876DEST_PATH_IMAGE009
表示新三维场景
Figure 410355DEST_PATH_IMAGE006
的绘制结果 真值，
Figure 16917DEST_PATH_IMAGE010
表示原三维场景
Figure 541439DEST_PATH_IMAGE005
的绘制结果真值；
构建的第二样本标签
Figure 499031DEST_PATH_IMAGE001
与包含新三维场景
Figure 501622DEST_PATH_IMAGE005
、相机位置
Figure 228270DEST_PATH_IMAGE011
和观察方向
Figure 923693DEST_PATH_IMAGE008
的 输入样本形成第二类样本数据，利用第二类样本数据对神经网络进行监督学习，以参数优 化的神经网络作为隐式光传输函数
Figure 103002DEST_PATH_IMAGE012
；
利用隐式光传输函数进行动态绘制的步骤还包括：将新三维场景、相机位置和观 察方向作为隐式光传输函数
Figure 909284DEST_PATH_IMAGE012
的输入自变量，经过隐式光传输函数
Figure 756017DEST_PATH_IMAGE012
的计算得到新三维场 景的光传输变化场
Figure 356763DEST_PATH_IMAGE013
，将该光传输变化场
Figure 288946DEST_PATH_IMAGE013
通过以下方式合并到原三维 场景的绘制结果
Figure 633340DEST_PATH_IMAGE014
以得到新三维场景的绘制结果
Figure 334580DEST_PATH_IMAGE015
：
Figure 106227DEST_PATH_IMAGE017
。
在一个实施例中，当需要直接光照的绘制结果时，构建隐式光传输函数的步骤还包括：
通过以下方式构建直接光照的样本标签
Figure 525707DEST_PATH_IMAGE018
，构建的样本标签
Figure 408212DEST_PATH_IMAGE019
与包含新三维场景
Figure 26275DEST_PATH_IMAGE005
、相机位置
Figure 189664DEST_PATH_IMAGE020
和观察方向
Figure 893178DEST_PATH_IMAGE008
的输入样本形成直接光照样本数据，利用直 接光照样本数据对神经网络进行监督学习，以参数优化的神经网络作为直接光照的隐式光 传输函数
Figure 517057DEST_PATH_IMAGE021
；
Figure 255206DEST_PATH_IMAGE023
其中，
Figure 306339DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 700411DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 190298DEST_PATH_IMAGE006
，从相机 位置
Figure 720637DEST_PATH_IMAGE007
向观察方向
Figure 270567DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 886356DEST_PATH_IMAGE024
表示新三维场景
Figure 914355DEST_PATH_IMAGE006
的直接光 绘制结果真值，
Figure 299200DEST_PATH_IMAGE025
表示原三维场景
Figure 20031DEST_PATH_IMAGE005
的直接光绘制结果真值；
利用隐式光传输函数进行动态绘制的步骤还包括：将将新三维场景、相机位置和 观察方向作为隐式光传输函数
Figure 123116DEST_PATH_IMAGE026
的输入自变量，经过隐式光传输函数
Figure 954806DEST_PATH_IMAGE026
的计算得到新三 维场景的光传输变化场
Figure 194157DEST_PATH_IMAGE027
，将该光传输变化场
Figure 85890DEST_PATH_IMAGE027
合并到原三维场景的直 接光照的绘制结果以得到新三维场景的直接光照的绘制结果。
在一个实施例中，当需要间接光照的绘制结果时，构建隐式光传输函数的步骤还包括：
通过以下方式构建间接光照的样本标签
Figure 473009DEST_PATH_IMAGE028
，构建的样本标签
Figure 780493DEST_PATH_IMAGE029
与 包含新三维场景
Figure 202248DEST_PATH_IMAGE005
、相机位置
Figure 202565DEST_PATH_IMAGE020
和观察方向
Figure 76980DEST_PATH_IMAGE008
的输入样本形成间接光照样本数据，利用间接 光照样本数据对神经网络进行监督学习，以参数优化的神经网络作为间接光照的隐式光传 输函数
Figure 453734DEST_PATH_IMAGE030
；
Figure 729995DEST_PATH_IMAGE032
其中，
Figure 697951DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 997345DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 708949DEST_PATH_IMAGE006
，从相机 位置
Figure 42979DEST_PATH_IMAGE020
向观察方向
Figure 447415DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 30843DEST_PATH_IMAGE033
表示新三维场景
Figure 483821DEST_PATH_IMAGE006
的间接光 绘制结果真值，
Figure 734674DEST_PATH_IMAGE034
表示原三维场景
Figure 247695DEST_PATH_IMAGE005
的间接光绘制结果真值；
利用隐式光传输函数进行动态绘制的步骤还包括：将新三维场景、相机位置和观 察方向作为隐式光传输函数
Figure 583999DEST_PATH_IMAGE035
的输入自变量，经过隐式光传输函数
Figure 106247DEST_PATH_IMAGE035
的计算得到新三维场 景的光传输变化场
Figure 149289DEST_PATH_IMAGE036
，将该光传输变化场
Figure 98791DEST_PATH_IMAGE036
合并到原三维场景的间接光 照的绘制结以得到新三维场景的间接光照的绘制结果。
在一个实施例中，当需要全局光照的绘制结果时，将新三维场景的直接光照的绘制结果与间接光照的绘制结果求和得到新三维场景的全局光照的绘制结果。
为实现上述发明目的，实施例还提供了一种基于隐式光传输函数的动态绘制装置，包括：
构建模块，用于构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据，利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
动态绘制模块，用于利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
为实现上述发明目的，实施例还提供了一种基于隐式光传输函数的动态绘制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤1，构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据，利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
步骤2，利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
与现有技术相比，具有的有益效果至少包括：
通过构建样本标签来引入隐式光传输函数呈现的光传输变化场，通过神经网络的参数优化实现构建隐式光传输函数的过程，在此基础上，利用隐式光传输函数对输入的自变量（新三维场景、相机位置和观察方向）进光传输变化场进行计算，并将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果，这样可以实现各类三维场景的动态绘制，还能提高动态场景的绘制速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供了基于隐式光传输函数的动态绘制方法的流程图；
图2是实施例提供的将物体插入到三维场景的绘制过程示意图；
图3是实施例提供的基于隐式光传输函数的动态绘制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是实施例提供了基于隐式光传输函数的动态绘制方法的流程图。如图1所示，实施例提供的基于隐式光传输函数的动态绘制方法，包括以下步骤：
步骤1，构建隐式光传输函数。
实施例中，构建隐式光传输函数包括：在原三维场景
Figure 656811DEST_PATH_IMAGE005
插入物体m形成新三维场景
Figure 717171DEST_PATH_IMAGE006
，以新三维场景
Figure 880299DEST_PATH_IMAGE006
、相机位置
Figure 797439DEST_PATH_IMAGE011
和观察方向
Figure 46018DEST_PATH_IMAGE008
作为输入样本，以原三维场景的绘制 结果真值
Figure 706806DEST_PATH_IMAGE037
与新三维场景的绘制结果真值
Figure 458862DEST_PATH_IMAGE038
之差（
Figure 812483DEST_PATH_IMAGE039
）作为第一样本标签，以形成第一类样本数据；利用第一类样本 数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数。
其中，原三维场景包含了多个需要绘制的物体，还包含绘制光源，采用光线追踪等方式对原三维场景进行绘制计算，以得到原三维场景的绘制结果真值。在原始三维场景中插入物体形成插入物体后的新三维场景，同样采用光线追踪等方式对新三维场景进行绘制计算，以得到新三维场景的绘制结果真值。
场景绘制的实质就是计算光线在物体表面的传输情况，传到每个物体表面，物体表面呈现的颜色，基于此，将原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为插入物体引起的光传输变化场。在训练时，直接将原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，对神经网络进行监督学习，使得神经网络实现的隐式光传输函数能够计算光传输变换场。
在利用第一类样本数据对神经网络进行监督学习时，以神经网络对输入样本的预测输出与第一样本标签的差值作为损失函数，利用损失函数优化神经网络的参数。
步骤2，利用隐式光传输函数进行动态绘制。
实施例中，利用隐式光传输函数进行动态绘制包括：将新三维场景
Figure 282778DEST_PATH_IMAGE006
、相机位 置
Figure 481678DEST_PATH_IMAGE040
和观察方向
Figure 353820DEST_PATH_IMAGE008
作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新 三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维 场景的绘制结果。
实施例中，将输入数据
Figure 612763DEST_PATH_IMAGE041
输入至神经网络，经过神经网络呈现的隐式光 传输函数对输入数据进行前向传递计算以输出新三维场景的光传输变化场
Figure 367092DEST_PATH_IMAGE042
，然后将该光 传输变化场
Figure 572945DEST_PATH_IMAGE042
相加到原三维场景的绘制结果
Figure 361910DEST_PATH_IMAGE043
以得到新三维场景的绘制结果
Figure 729437DEST_PATH_IMAGE044
，用公式表示为：
Figure 971063DEST_PATH_IMAGE045
。
在一种实施方式中，构建隐式光传输函数的步骤还包括：通过以下方式构建第二 样本标签
Figure 777345DEST_PATH_IMAGE001
：
Figure 358499DEST_PATH_IMAGE046
其中，
Figure 224824DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 891428DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 501401DEST_PATH_IMAGE006
，从相机 位置
Figure 468220DEST_PATH_IMAGE007
向观察方向
Figure 177550DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 659347DEST_PATH_IMAGE009
表示新三维场景
Figure 745115DEST_PATH_IMAGE006
的绘制结果 真值，
Figure 363178DEST_PATH_IMAGE010
表示原三维场景
Figure 237550DEST_PATH_IMAGE005
的绘制结果真值；
构建的第二样本标签
Figure 941064DEST_PATH_IMAGE001
与包含新三维场景
Figure 96102DEST_PATH_IMAGE005
、相机位置
Figure 506354DEST_PATH_IMAGE011
和观察方向
Figure 619804DEST_PATH_IMAGE008
的 输入样本形成第二类样本数据，利用第二类样本数据对神经网络进行监督学习，以参数优 化的神经网络作为隐式光传输函数
Figure 810614DEST_PATH_IMAGE012
；
利用隐式光传输函数进行动态绘制的步骤还包括：将
Figure 238184DEST_PATH_IMAGE041
作为隐式光传 输函数
Figure 830839DEST_PATH_IMAGE012
的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场
Figure 318452DEST_PATH_IMAGE013
，将该光传输变化场
Figure 730979DEST_PATH_IMAGE013
通过以下方式合并到原三维场景的绘制结果
Figure 962240DEST_PATH_IMAGE014
以得到新三维场景的绘制结果
Figure 143823DEST_PATH_IMAGE015
：
Figure 864654DEST_PATH_IMAGE047
。
实施例中，为了提升后续计算插入物体的光传输变化场的方便性和准确性，目标 视角下的可观测到物体的遮罩图
Figure 967740DEST_PATH_IMAGE004
是需要被预先生成。具体根据物体位置和相机位 置计算目标视角下观察到的各物体组对应的遮罩图。
在另一种实施方式中，当需要直接光照的绘制结果时，构建隐式光传输函数的步骤还包括：
通过以下方式构建直接光照的样本标签
Figure 799429DEST_PATH_IMAGE018
，构建的样本标签
Figure 38781DEST_PATH_IMAGE019
与包含新三维场景
Figure 930514DEST_PATH_IMAGE005
、相机位置
Figure 255316DEST_PATH_IMAGE020
和观察方向
Figure 890696DEST_PATH_IMAGE008
的输入样本形成直接光照样本数据，利用直 接光照样本数据对神经网络进行监督学习，以参数优化的神经网络作为直接光照的隐式光 传输函数
Figure 250133DEST_PATH_IMAGE021
；
Figure 47188DEST_PATH_IMAGE048
其中，
Figure 921603DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 32779DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 309039DEST_PATH_IMAGE006
，从相机 位置
Figure 480258DEST_PATH_IMAGE007
向观察方向
Figure 841969DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 756835DEST_PATH_IMAGE024
表示新三维场景
Figure 887602DEST_PATH_IMAGE006
的直接光 绘制结果真值，
Figure 292039DEST_PATH_IMAGE025
表示原三维场景
Figure 813150DEST_PATH_IMAGE005
的直接光绘制结果真值；
利用隐式光传输函数进行动态绘制的步骤还包括：将
Figure 594024DEST_PATH_IMAGE049
作为隐式光传 输函数
Figure 782560DEST_PATH_IMAGE026
的输入自变量，经过隐式光传输函数
Figure 92319DEST_PATH_IMAGE026
的计算得到新三维场景的光传输变化场
Figure 163043DEST_PATH_IMAGE027
，将该光传输变化场
Figure 419712DEST_PATH_IMAGE027
合并到原三维场景的直接光照的绘制结果
Figure 525071DEST_PATH_IMAGE050
以得到新三维场景的直接光照的绘制结果
Figure 208993DEST_PATH_IMAGE051
，用公式表示为：
Figure 32593DEST_PATH_IMAGE053
。
在另外一个实施例中，当需要间接光照的绘制结果时，构建隐式光传输函数的步骤还包括：
通过以下方式构建间接光照的样本标签
Figure 624111DEST_PATH_IMAGE028
，构建的样本标签
Figure 787239DEST_PATH_IMAGE029
与 包含新三维场景
Figure 704380DEST_PATH_IMAGE005
、相机位置
Figure 687379DEST_PATH_IMAGE020
和观察方向
Figure 82588DEST_PATH_IMAGE008
的输入样本形成间接光照样本数据，利用间接 光照样本数据对神经网络进行监督学习，以参数优化的神经网络作为间接光照的隐式光传 输函数
Figure 162540DEST_PATH_IMAGE030
；
Figure 188265DEST_PATH_IMAGE054
其中，
Figure 720877DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 123040DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 57498DEST_PATH_IMAGE006
，从相机 位置
Figure 50861DEST_PATH_IMAGE020
向观察方向
Figure 8453DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 276623DEST_PATH_IMAGE033
表示新三维场景
Figure 3271DEST_PATH_IMAGE006
的间接光 绘制结果真值，
Figure 433115DEST_PATH_IMAGE034
表示原三维场景
Figure 878003DEST_PATH_IMAGE005
的间接光绘制结果真值；
利用隐式光传输函数进行动态绘制的步骤还包括：将
Figure 418706DEST_PATH_IMAGE041
作为隐式光传 输函数
Figure 62177DEST_PATH_IMAGE035
的输入自变量，经过隐式光传输函数
Figure 866185DEST_PATH_IMAGE035
的计算得到新三维场景的光传输变化场
Figure 595106DEST_PATH_IMAGE036
，将该光传输变化场
Figure 142762DEST_PATH_IMAGE036
合并到原三维场景的间接光照的绘制结
Figure 640740DEST_PATH_IMAGE055
以得到新三维场景的间接光照的绘制结果
Figure 412387DEST_PATH_IMAGE056
，用公式表示为：
Figure 566288DEST_PATH_IMAGE058
。
在另外一种实施方式中，当需要全局光照的绘制结果时，将新三维场景的直接光 照的绘制结果
Figure 714372DEST_PATH_IMAGE059
与间接光照的绘制结果
Figure 270118DEST_PATH_IMAGE056
求和得到新三维场景 的全局光照的绘制结果
Figure 478246DEST_PATH_IMAGE060
，用公式表示为：
Figure 119443DEST_PATH_IMAGE061
。
实施例中，所有输入数据
Figure 805639DEST_PATH_IMAGE041
在被输入至神经网络之前，均需要经过编码 操作，得到的编码结果输入至神经网络，作为隐式光传输函数的输入自变量，以计算光传输 变化场。
上述实施例提供的基于隐式光传输函数的动态绘制方法，通过构建样本标签来引入隐式光传输函数呈现的光传输变化场，通过神经网络的参数优化实现构建隐式光传输函数的过程，在此基础上，利用隐式光传输函数对输入的自变量进光传输变化场进行计算，并将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果，如图2所示，将物体m插入三维场景的流程以及插入前后的绘制结果，能够发现插入物体m的新三维场景的绘制结果的绘制质量高。
图3是实施例提供的基于隐式光传输函数的动态绘制装置的结构示意图。如图3所示，实施例还提供的基于隐式光传输函数的动态绘制装置，包括：
构建模块，用于构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据；利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
动态绘制模块，用于利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
需要说明的是，上述实施例提供的基于隐式光传输函数的动态绘制装置在进行动态绘制时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于隐式光传输函数的动态绘制装置与基于隐式光传输函数的动态绘制方法实施例属于同一构思，其具体实现过程详见基于隐式光传输函数的动态绘制方法实施例，这里不再赘述。
实施例还提供了一种基于隐式光传输函数的动态绘制装置，包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序，处理器执行计算机程序时实现基于隐式光传输函数的动态绘制步骤，具体包括以下步骤：
步骤1，构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据；利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
步骤2，利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)、图形处理器(GPU)、神经网络处理器(NPU)，即可以通过这些处理器实现基于隐式光传输函数的动态绘制方法步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于隐式光传输函数的动态绘制方法，其特征在于，包括以下步骤：
步骤1，构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据，利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
步骤2，利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
2.根据权利要求1所述的基于隐式光传输函数的动态绘制方法，其特征在于，利用第一类样本数据对神经网络进行监督学习时，以神经网络对输入样本的预测输出与第一样本标签的差值作为损失函数，利用损失函数优化神经网络的参数；
利用隐式光传输函数进行动态绘制时，将得到的光传输变化场相加到原三维场景的绘制结果以得到新三维场景的绘制结果。
3.根据权利要求1所述的基于隐式光传输函数的动态绘制方法，其特征在于，构建隐式 光传输函数的步骤还包括：通过以下方式构建第二样本标签
Figure 822964DEST_PATH_IMAGE001
：
Figure 146629DEST_PATH_IMAGE003
其中，
Figure 926366DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 852734DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 667106DEST_PATH_IMAGE006
，从相机位置
Figure 896093DEST_PATH_IMAGE007
向观察方向
Figure 163127DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 96447DEST_PATH_IMAGE009
表示新三维场景
Figure 562064DEST_PATH_IMAGE006
的绘制结果真值，
Figure 289848DEST_PATH_IMAGE010
表示原三维场景
Figure 716282DEST_PATH_IMAGE005
的绘制结果真值；
构建的第二样本标签
Figure 187714DEST_PATH_IMAGE001
与包含新三维场景
Figure 507837DEST_PATH_IMAGE005
、相机位置
Figure 937682DEST_PATH_IMAGE011
和观察方向
Figure 913728DEST_PATH_IMAGE008
的输入 样本形成第二类样本数据，利用第二类样本数据对神经网络进行监督学习，以参数优化的 神经网络作为隐式光传输函数
Figure 860955DEST_PATH_IMAGE012
；
利用隐式光传输函数进行动态绘制的步骤还包括：将新三维场景、相机位置和观察方 向作为隐式光传输函数
Figure 238847DEST_PATH_IMAGE012
的输入自变量，经过隐式光传输函数
Figure 370751DEST_PATH_IMAGE012
的计算得到新三维场景的 光传输变化场
Figure 834093DEST_PATH_IMAGE013
，将该光传输变化场
Figure 585012DEST_PATH_IMAGE013
通过以下方式合并到原三维场景 的绘制结果
Figure 82989DEST_PATH_IMAGE014
以得到新三维场景的绘制结果
Figure 589057DEST_PATH_IMAGE015
：
Figure 336433DEST_PATH_IMAGE017
。
4.根据权利要求1所述的基于隐式光传输函数的动态绘制方法，其特征在于，当需要直接光照的绘制结果时，构建隐式光传输函数的步骤还包括：
通过以下方式构建直接光照的样本标签
Figure 953359DEST_PATH_IMAGE018
，构建的样本标签
Figure 977947DEST_PATH_IMAGE019
与包 含新三维场景
Figure 920495DEST_PATH_IMAGE005
、相机位置
Figure 92851DEST_PATH_IMAGE020
和观察方向
Figure 310205DEST_PATH_IMAGE008
的输入样本形成直接光照样本数据，利用直接光 照样本数据对神经网络进行监督学习，以参数优化的神经网络作为直接光照的隐式光传输 函数
Figure 517196DEST_PATH_IMAGE021
；
Figure 302749DEST_PATH_IMAGE023
其中，
Figure 962400DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 983446DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 44943DEST_PATH_IMAGE006
，从相机位置
Figure 63715DEST_PATH_IMAGE007
向观察方向
Figure 148345DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 910765DEST_PATH_IMAGE024
表示新三维场景
Figure 889085DEST_PATH_IMAGE006
的直接光绘制结 果真值，
Figure 813179DEST_PATH_IMAGE025
表示原三维场景
Figure 713002DEST_PATH_IMAGE005
的直接光绘制结果真值；
利用隐式光传输函数进行动态绘制的步骤还包括：将将新三维场景、相机位置和观察 方向作为隐式光传输函数
Figure 951216DEST_PATH_IMAGE026
的输入自变量，经过隐式光传输函数
Figure 987305DEST_PATH_IMAGE026
的计算得到新三维场 景的光传输变化场
Figure 144617DEST_PATH_IMAGE027
，将该光传输变化场
Figure 266157DEST_PATH_IMAGE027
合并到原三维场景的直接光 照的绘制结果以得到新三维场景的直接光照的绘制结果。
5.根据权利要求1或4所述的基于隐式光传输函数的动态绘制方法，其特征在于，当需要间接光照的绘制结果时，构建隐式光传输函数的步骤还包括：
通过以下方式构建间接光照的样本标签
Figure 308062DEST_PATH_IMAGE028
，构建的样本标签
Figure 933079DEST_PATH_IMAGE029
与包含 新三维场景
Figure 730133DEST_PATH_IMAGE005
、相机位置
Figure 135707DEST_PATH_IMAGE020
和观察方向
Figure 43620DEST_PATH_IMAGE008
的输入样本形成间接光照样本数据，利用间接光照 样本数据对神经网络进行监督学习，以参数优化的神经网络作为间接光照的隐式光传输函 数
Figure 726405DEST_PATH_IMAGE030
；
Figure 428782DEST_PATH_IMAGE032
其中，
Figure 321652DEST_PATH_IMAGE004
表示针对在原三维场景
Figure 33256DEST_PATH_IMAGE005
增加物体形成新三维场景
Figure 632864DEST_PATH_IMAGE006
，从相机位置
Figure 443826DEST_PATH_IMAGE020
向观察方向
Figure 761674DEST_PATH_IMAGE008
观察物体m的遮罩图，
Figure 808128DEST_PATH_IMAGE033
表示新三维场景
Figure 527822DEST_PATH_IMAGE006
的间接光绘制结 果真值，
Figure 509685DEST_PATH_IMAGE034
表示原三维场景
Figure 580409DEST_PATH_IMAGE005
的间接光绘制结果真值；
利用隐式光传输函数进行动态绘制的步骤还包括：将新三维场景、相机位置和观察方 向作为隐式光传输函数
Figure 368236DEST_PATH_IMAGE035
的输入自变量，经过隐式光传输函数
Figure 4754DEST_PATH_IMAGE035
的计算得到新三维场景的 光传输变化场
Figure 219835DEST_PATH_IMAGE036
，将该光传输变化场
Figure 184380DEST_PATH_IMAGE036
合并到原三维场景的间接光照的 绘制结以得到新三维场景的间接光照的绘制结果。
6.根据权利要求5所述的基于隐式光传输函数的动态绘制方法，其特征在于，当需要全局光照的绘制结果时，将新三维场景的直接光照的绘制结果与间接光照的绘制结果求和得到新三维场景的全局光照的绘制结果。
7.一种基于隐式光传输函数的动态绘制装置，其特征在于，包括：
构建模块，用于构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据，利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
动态绘制模块，用于利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
8.一种基于隐式光传输函数的动态绘制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
步骤1，构建隐式光传输函数，包括：在原三维场景插入物体形成新三维场景，以新三维场景、相机位置和观察方向作为输入样本，以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签，以形成第一类样本数据，利用第一类样本数据对神经网络进行监督学习，以参数优化的神经网络作为隐式光传输函数；
步骤2，利用隐式光传输函数进行动态绘制，包括：将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量，经过隐式光传输函数的计算得到新三维场景的光传输变化场，将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
CN202210890607.6A 2022-07-27 2022-07-27 一种基于隐式光传输函数的动态绘制方法和装置 Active CN115082628B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210890607.6A CN115082628B (zh) 2022-07-27 2022-07-27 一种基于隐式光传输函数的动态绘制方法和装置
PCT/CN2022/130742 WO2024021363A1 (zh) 2022-07-27 2022-11-09 一种基于隐式光传输函数的动态绘制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210890607.6A CN115082628B (zh) 2022-07-27 2022-07-27 一种基于隐式光传输函数的动态绘制方法和装置

Publications (2)

Publication Number Publication Date
CN115082628A true CN115082628A (zh) 2022-09-20
CN115082628B CN115082628B (zh) 2022-11-15

Family

ID=83242114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210890607.6A Active CN115082628B (zh) 2022-07-27 2022-07-27 一种基于隐式光传输函数的动态绘制方法和装置

Country Status (2)

Country Link
CN (1) CN115082628B (zh)
WO (1) WO2024021363A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021363A1 (zh) * 2022-07-27 2024-02-01 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004021A1 (en) * 2019-07-05 2021-01-07 DeepMap Inc. Generating training data for deep learning models for building high definition maps
CN112367514A (zh) * 2020-10-30 2021-02-12 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质
CN112767468A (zh) * 2021-02-05 2021-05-07 中国科学院深圳先进技术研究院 基于协同分割与数据增强的自监督三维重建方法及系统
CN114119849A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维场景渲染方法、设备以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389843B (zh) * 2015-12-09 2017-11-14 河海大学 基于径向基函数神经网络拟合的全局光照实时绘制方法
CN113689539B (zh) * 2021-07-06 2024-04-19 清华大学 基于隐式光流场的动态场景实时三维重建方法
CN115082628B (zh) * 2022-07-27 2022-11-15 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004021A1 (en) * 2019-07-05 2021-01-07 DeepMap Inc. Generating training data for deep learning models for building high definition maps
CN112367514A (zh) * 2020-10-30 2021-02-12 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质
CN112767468A (zh) * 2021-02-05 2021-05-07 中国科学院深圳先进技术研究院 基于协同分割与数据增强的自监督三维重建方法及系统
CN114119849A (zh) * 2022-01-24 2022-03-01 阿里巴巴（中国）有限公司 三维场景渲染方法、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石祥滨等: "一种适合室内3D MMOG场景的快速绘制方法", 《小型微型计算机系统》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024021363A1 (zh) * 2022-07-27 2024-02-01 浙江大学 一种基于隐式光传输函数的动态绘制方法和装置

Also Published As

Publication number Publication date
CN115082628B (zh) 2022-11-15
WO2024021363A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
CN109509138B (zh) 针对射线跟踪系统的减小的加速结构
US7463261B1 (en) Three-dimensional image compositing on a GPU utilizing multiple transformations
US20140368494A1 (en) Method and system for rendering simulated depth-of-field visual effect
JP2022091849A (ja) 光線バンドルの光線に対する差分データを決定する方法及びグラフィックス処理ユニット
CN111340928A (zh) 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备
CN115100339A (zh) 图像生成方法、装置、电子设备和存储介质
US20210327102A1 (en) Cross-device supervisory computer vision system
CN113808241A (zh) 共享顶点的射线追踪图元的硬件加速
US11010963B2 (en) Realism of scenes involving water surfaces during rendering
US11610370B2 (en) Joint shape and appearance optimization through topology sampling
CN111445003A (zh) 神经网络生成器
CN115082628B (zh) 一种基于隐式光传输函数的动态绘制方法和装置
Zhang et al. Illumination estimation for augmented reality based on a global illumination model
CN111583378B (zh) 一种虚拟资产处理的方法及装置、电子设备、存储介质
CN112580213A (zh) 电场线的显示图像的生成方法和装置、存储介质
CN116168393B (zh) 基于点云神经辐射场的语义标注数据自动生成方法、装置
US20240095993A1 (en) Reducing false positive ray traversal in a bounding volume hierarchy
US20220398283A1 (en) Method for fast and better tree search for reinforcement learning
CN111681307B (zh) 一种应用于三维软件的动态三维坐标轴的实现方法
US11055381B1 (en) Estimating product integrals using a composition of warps
Al-Oraiqat et al. Specialized Computer systems for environment visualization
CN115393498A (zh) 一种基于隐式光传输函数合并的绘制方法和装置
US11861785B2 (en) Generation of tight world space bounding regions
Liu et al. Web-cloud collaborative mobile online 3D rendering system
US20240095994A1 (en) Reducing false positive ray traversal using point degenerate culling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant