CN115082628B - 一种基于隐式光传输函数的动态绘制方法和装置 - Google Patents
一种基于隐式光传输函数的动态绘制方法和装置 Download PDFInfo
- Publication number
- CN115082628B CN115082628B CN202210890607.6A CN202210890607A CN115082628B CN 115082628 B CN115082628 B CN 115082628B CN 202210890607 A CN202210890607 A CN 202210890607A CN 115082628 B CN115082628 B CN 115082628B
- Authority
- CN
- China
- Prior art keywords
- dimensional scene
- new
- implicit
- transfer function
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 100
- 230000003287 optical effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006870 function Effects 0.000 claims abstract description 127
- 230000005540 biological transmission Effects 0.000 claims abstract description 81
- 238000013528 artificial neural network Methods 0.000 claims abstract description 62
- 230000008859 change Effects 0.000 claims abstract description 43
- 238000009877 rendering Methods 0.000 claims description 82
- 238000005286 illumination Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于隐式光传输函数的动态绘制方法和装置,包括以下步骤:步骤1,在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据;利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;步骤2,将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果,适用于各类三维场景的动态绘制。
Description
技术领域
本发明属于绘制领域,具体涉及一种基于隐式光传输函数的动态绘制方法和装置。
背景技术
绘制技术一直是计算机图形学最重要的研究内容之一,被广泛应用于计算机辅助设计、电子娱乐和影视特效等领域。其主要目标是根据给定描述与要求对虚拟场景进行快速高质量的可视化。根据绘制效果的不同,绘制技术可以被分为真实感绘制技术与非真实感绘制技术。真实感绘制技术的主要目标是在虚拟场景中逼真地模拟和还原真实世界中各种复杂的光影效果,生成具有高真实感的图像。非真实感绘制技术则主要致力于呈现特定艺术风格的绘制结果,比如卡通、素描和油画等。
绘制技术,尤其是真实感绘制技术,需要进行大量的计算以获得高质量的结果。以蒙特卡洛路径追踪方法为例,该方法的基础在于模拟场景中光传播的物理行为,它需要在每个像素投射数以万计的光线与场景进行复杂的交互计算来计算一幅收敛的绘制结果,这使得绘制时间可能长达几十分钟乃至几天。
绘制技术常被应用于设计行业,例如室内家具设计、电影场景设计等。设计师通过绘制算法生成当前设计方案下的光照效果,准确的绘制结果更有利于得到高质量的设计。然而,在这些应用场景中,常需要对特定物体进行动态变换。传统的绘制方法需要对变换后的场景进行重绘制以获得新的绘制结果。可由于真实感绘制所需的时间较长,使用者不得不进行质量与速度的取舍,要么选择快速获得低质量的绘制结果,要么进行长时间的等待。考虑到在这种情况下,除目标物体外,包括相机在内的所有其他物体均保持不变,进行重绘制进行了大量的冗余计算。若存在一种方法避免这些冗余计算,则可以快速获取高质量的绘制结果,极大地提高设计效率。
场景中物体的变换会导致场景中的光传输过程发生变化,进而导致绘制结果产生变化。这种变化十分复杂,难以通过传统的算法进行显式计算。神经网络可以从大量数据中隐式学习这类变化。同时,近年来的神经网络专用硬件的快速发展,如TPU和NPU,极大地提升了神经网络的计算速度。然而,现有的基于神经网络的绘制方法均使用神经网络直接预测整个场景的绘制结果,难以复用已有结果,也难以与其他绘制方法协作,这些问题限制了它们的灵活性与通用性。目前仍缺少一种使用神经网络芯片的且易于与其他绘制方法协作或可复用绘制结果的快速动态绘制技术。
发明内容
鉴于上述,本发明的目的是提供一种基于隐式光传输函数的动态绘制方法和装置,通过隐式光传输函数构建光传输变化场,通过光传输变化场与绘制结果的结合实现对各类三维场景的动态绘制。
为实现上述发明目的,实施例提供了一种基于隐式光传输函数的动态绘制方法,包括以下步骤:
步骤1,构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据;利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
步骤2,利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
在一个实施例中,利用第一类样本数据对神经网络进行监督学习时,以神经网络对输入样本的预测输出与第一样本标签的差值作为损失函数,利用损失函数优化神经网络的参数;
利用隐式光传输函数进行动态绘制时,将得到的光传输变化场相加到原三维场景的绘制结果以得到新三维场景的绘制结果。
利用隐式光传输函数进行动态绘制的步骤还包括:将新三维场景、相机位置和观
察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场
景的光传输变化场,将该光传输变化场通过以下方式合并到原三维
场景的绘制结果以得到新三维场景的绘制结果:
在一个实施例中,当需要直接光照的绘制结果时,构建隐式光传输函数的步骤还包括:
通过以下方式构建直接光照的样本标签,构建的样本标签
与包含新三维场景、相机位置和观察方向的输入样本形成直接光照样本数据,利用直
接光照样本数据对神经网络进行监督学习,以参数优化的神经网络作为直接光照的隐式光
传输函数;
利用隐式光传输函数进行动态绘制的步骤还包括:将将新三维场景、相机位置和
观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三
维场景的光传输变化场,将该光传输变化场合并到原三维场景的直
接光照的绘制结果以得到新三维场景的直接光照的绘制结果。
在一个实施例中,当需要间接光照的绘制结果时,构建隐式光传输函数的步骤还包括:
通过以下方式构建间接光照的样本标签,构建的样本标签与
包含新三维场景、相机位置和观察方向的输入样本形成间接光照样本数据,利用间接
光照样本数据对神经网络进行监督学习,以参数优化的神经网络作为间接光照的隐式光传
输函数;
利用隐式光传输函数进行动态绘制的步骤还包括:将新三维场景、相机位置和观
察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场
景的光传输变化场,将该光传输变化场合并到原三维场景的间接光
照的绘制结以得到新三维场景的间接光照的绘制结果。
在一个实施例中,当需要全局光照的绘制结果时,将新三维场景的直接光照的绘制结果与间接光照的绘制结果求和得到新三维场景的全局光照的绘制结果。
为实现上述发明目的,实施例还提供了一种基于隐式光传输函数的动态绘制装置,包括:
构建模块,用于构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据,利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
动态绘制模块,用于利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
为实现上述发明目的,实施例还提供了一种基于隐式光传输函数的动态绘制装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
步骤1,构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据,利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
步骤2,利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
与现有技术相比,具有的有益效果至少包括:
通过构建样本标签来引入隐式光传输函数呈现的光传输变化场,通过神经网络的参数优化实现构建隐式光传输函数的过程,在此基础上,利用隐式光传输函数对输入的自变量(新三维场景、相机位置和观察方向)进光传输变化场进行计算,并将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果,这样可以实现各类三维场景的动态绘制,还能提高动态场景的绘制速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是实施例提供了基于隐式光传输函数的动态绘制方法的流程图;
图2是实施例提供的将物体插入到三维场景的绘制过程示意图;
图3是实施例提供的基于隐式光传输函数的动态绘制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
图1是实施例提供了基于隐式光传输函数的动态绘制方法的流程图。如图1所示,实施例提供的基于隐式光传输函数的动态绘制方法,包括以下步骤:
步骤1,构建隐式光传输函数。
实施例中,构建隐式光传输函数包括:在原三维场景插入物体m形成新三维场景 ,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制
结果真值与新三维场景的绘制结果真值之差()作为第一样本标签,以形成第一类样本数据;利用第一类样本
数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数。
其中,原三维场景包含了多个需要绘制的物体,还包含绘制光源,采用光线追踪等方式对原三维场景进行绘制计算,以得到原三维场景的绘制结果真值。在原始三维场景中插入物体形成插入物体后的新三维场景,同样采用光线追踪等方式对新三维场景进行绘制计算,以得到新三维场景的绘制结果真值。
场景绘制的实质就是计算光线在物体表面的传输情况,传到每个物体表面,物体表面呈现的颜色,基于此,将原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为插入物体引起的光传输变化场。在训练时,直接将原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,对神经网络进行监督学习,使得神经网络实现的隐式光传输函数能够计算光传输变换场。
在利用第一类样本数据对神经网络进行监督学习时,以神经网络对输入样本的预测输出与第一样本标签的差值作为损失函数,利用损失函数优化神经网络的参数。
步骤2,利用隐式光传输函数进行动态绘制。
实施例中,利用隐式光传输函数进行动态绘制包括:将新三维场景、相机位
置 和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新
三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维
场景的绘制结果。
实施例中,将输入数据输入至神经网络,经过神经网络呈现的隐式光
传输函数对输入数据进行前向传递计算以输出新三维场景的光传输变化场,然后将该光
传输变化场相加到原三维场景的绘制结果以得到新三维场景的绘制结果,用公式表示为:。
利用隐式光传输函数进行动态绘制的步骤还包括:将作为隐式光传
输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场通过以下方式合并到原三维场景的绘制结果以得到新三维场景的绘制结果:
在另一种实施方式中,当需要直接光照的绘制结果时,构建隐式光传输函数的步骤还包括:
通过以下方式构建直接光照的样本标签,构建的样本标签
与包含新三维场景、相机位置和观察方向的输入样本形成直接光照样本数据,利用直
接光照样本数据对神经网络进行监督学习,以参数优化的神经网络作为直接光照的隐式光
传输函数;
利用隐式光传输函数进行动态绘制的步骤还包括:将作为隐式光传
输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的直接光照的绘制结果以得到新三维场景的直接光照的绘制结果,用公式表示为:
在另外一个实施例中,当需要间接光照的绘制结果时,构建隐式光传输函数的步骤还包括:
通过以下方式构建间接光照的样本标签,构建的样本标签与
包含新三维场景、相机位置和观察方向的输入样本形成间接光照样本数据,利用间接
光照样本数据对神经网络进行监督学习,以参数优化的神经网络作为间接光照的隐式光传
输函数;
利用隐式光传输函数进行动态绘制的步骤还包括:将作为隐式光传
输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的间接光照的绘制结以得到新三维场景的间接光照的绘制结果,用公式表示为:
上述实施例提供的基于隐式光传输函数的动态绘制方法,通过构建样本标签来引入隐式光传输函数呈现的光传输变化场,通过神经网络的参数优化实现构建隐式光传输函数的过程,在此基础上,利用隐式光传输函数对输入的自变量进光传输变化场进行计算,并将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果,如图2所示,将物体m插入三维场景的流程以及插入前后的绘制结果,能够发现插入物体m的新三维场景的绘制结果的绘制质量高。
图3是实施例提供的基于隐式光传输函数的动态绘制装置的结构示意图。如图3所示,实施例还提供的基于隐式光传输函数的动态绘制装置,包括:
构建模块,用于构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据;利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
动态绘制模块,用于利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
需要说明的是,上述实施例提供的基于隐式光传输函数的动态绘制装置在进行动态绘制时,应以上述各功能模块的划分进行举例说明,可以根据需要将上述功能分配由不同的功能模块完成,即在终端或服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于隐式光传输函数的动态绘制装置与基于隐式光传输函数的动态绘制方法实施例属于同一构思,其具体实现过程详见基于隐式光传输函数的动态绘制方法实施例,这里不再赘述。
实施例还提供了一种基于隐式光传输函数的动态绘制装置,包括存储器、处理器以及存储在存储器中并可在所述处理器上执行的计算机程序,处理器执行计算机程序时实现基于隐式光传输函数的动态绘制步骤,具体包括以下步骤:
步骤1,构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据;利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
步骤2,利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
实际应用中,存储器可以为在近端的易失性存储器,如RAM,还可以是非易失性存储器,如ROM,FLASH,软盘,机械硬盘等,还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)、图形处理器(GPU)、神经网络处理器(NPU),即可以通过这些处理器实现基于隐式光传输函数的动态绘制方法步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于隐式光传输函数的动态绘制方法,其特征在于,包括以下步骤:
步骤1,构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据,利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
步骤2,利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
2.根据权利要求1所述的基于隐式光传输函数的动态绘制方法,其特征在于,利用第一类样本数据对神经网络进行监督学习时,以神经网络对输入样本的预测输出与第一样本标签的差值作为损失函数,利用损失函数优化神经网络的参数;
利用隐式光传输函数进行动态绘制时,将得到的光传输变化场相加到原三维场景的绘制结果以得到新三维场景的绘制结果。
利用隐式光传输函数进行动态绘制的步骤还包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场通过以下方式合并到原三维场景的绘制结果以得到新三维场景的绘制结果:
4.根据权利要求1所述的基于隐式光传输函数的动态绘制方法,其特征在于,当需要直接光照的绘制结果时,构建隐式光传输函数的步骤还包括:
通过以下方式构建直接光照的样本标签,构建的样本标签与包含新三维场景、相机位置和观察方向的输入样本形成直接光照样本数据,利用直接光照样本数据对神经网络进行监督学习,以参数优化的神经网络作为直接光照的隐式光传输函数;
5.根据权利要求1或4所述的基于隐式光传输函数的动态绘制方法,其特征在于,当需要间接光照的绘制结果时,构建隐式光传输函数的步骤还包括:
通过以下方式构建间接光照的样本标签,构建的样本标签与包含新三维场景、相机位置和观察方向的输入样本形成间接光照样本数据,利用间接光照样本数据对神经网络进行监督学习,以参数优化的神经网络作为间接光照的隐式光传输函数;
6.根据权利要求5所述的基于隐式光传输函数的动态绘制方法,其特征在于,当需要全局光照的绘制结果时,将新三维场景的直接光照的绘制结果与间接光照的绘制结果求和得到新三维场景的全局光照的绘制结果。
7.一种基于隐式光传输函数的动态绘制装置,其特征在于,包括:
构建模块,用于构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据,利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
动态绘制模块,用于利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
8.一种基于隐式光传输函数的动态绘制装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
步骤1,构建隐式光传输函数,包括:在原三维场景插入物体形成新三维场景,以新三维场景、相机位置和观察方向作为输入样本,以原三维场景的绘制结果真值与新三维场景的绘制结果真值之差作为第一样本标签,以形成第一类样本数据,利用第一类样本数据对神经网络进行监督学习,以参数优化的神经网络作为隐式光传输函数;
步骤2,利用隐式光传输函数进行动态绘制,包括:将新三维场景、相机位置和观察方向作为隐式光传输函数的输入自变量,经过隐式光传输函数的计算得到新三维场景的光传输变化场,将该光传输变化场合并到原三维场景的绘制结果以得到新三维场景的绘制结果。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210890607.6A CN115082628B (zh) | 2022-07-27 | 2022-07-27 | 一种基于隐式光传输函数的动态绘制方法和装置 |
US18/685,476 US20240265627A1 (en) | 2022-07-27 | 2022-11-09 | A dynamic rendering method and device based on implicit light transfer function |
PCT/CN2022/130742 WO2024021363A1 (zh) | 2022-07-27 | 2022-11-09 | 一种基于隐式光传输函数的动态绘制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210890607.6A CN115082628B (zh) | 2022-07-27 | 2022-07-27 | 一种基于隐式光传输函数的动态绘制方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082628A CN115082628A (zh) | 2022-09-20 |
CN115082628B true CN115082628B (zh) | 2022-11-15 |
Family
ID=83242114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210890607.6A Active CN115082628B (zh) | 2022-07-27 | 2022-07-27 | 一种基于隐式光传输函数的动态绘制方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240265627A1 (zh) |
CN (1) | CN115082628B (zh) |
WO (1) | WO2024021363A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082628B (zh) * | 2022-07-27 | 2022-11-15 | 浙江大学 | 一种基于隐式光传输函数的动态绘制方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367514A (zh) * | 2020-10-30 | 2021-02-12 | 京东方科技集团股份有限公司 | 三维场景构建方法、装置、系统和存储介质 |
CN112767468A (zh) * | 2021-02-05 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及系统 |
CN114119849A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 三维场景渲染方法、设备以及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105389843B (zh) * | 2015-12-09 | 2017-11-14 | 河海大学 | 基于径向基函数神经网络拟合的全局光照实时绘制方法 |
US11295514B2 (en) * | 2018-11-16 | 2022-04-05 | Nvidia Corporation | Inverse rendering of a scene from a single image |
WO2021007117A1 (en) * | 2019-07-05 | 2021-01-14 | DeepMap Inc. | Generating training data for deep learning models for building high definition maps |
CN113689539B (zh) * | 2021-07-06 | 2024-04-19 | 清华大学 | 基于隐式光流场的动态场景实时三维重建方法 |
US11704865B2 (en) * | 2021-07-22 | 2023-07-18 | Adobe Inc. | Inserting three-dimensional objects into digital images with consistent lighting via global and local lighting information |
CN115082628B (zh) * | 2022-07-27 | 2022-11-15 | 浙江大学 | 一种基于隐式光传输函数的动态绘制方法和装置 |
-
2022
- 2022-07-27 CN CN202210890607.6A patent/CN115082628B/zh active Active
- 2022-11-09 US US18/685,476 patent/US20240265627A1/en active Pending
- 2022-11-09 WO PCT/CN2022/130742 patent/WO2024021363A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112367514A (zh) * | 2020-10-30 | 2021-02-12 | 京东方科技集团股份有限公司 | 三维场景构建方法、装置、系统和存储介质 |
CN112767468A (zh) * | 2021-02-05 | 2021-05-07 | 中国科学院深圳先进技术研究院 | 基于协同分割与数据增强的自监督三维重建方法及系统 |
CN114119849A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 三维场景渲染方法、设备以及存储介质 |
Non-Patent Citations (1)
Title |
---|
一种适合室内3D MMOG场景的快速绘制方法;石祥滨等;《小型微型计算机系统》;20080815(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115082628A (zh) | 2022-09-20 |
WO2024021363A1 (zh) | 2024-02-01 |
US20240265627A1 (en) | 2024-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109509138B (zh) | 针对射线跟踪系统的减小的加速结构 | |
CN111340928B (zh) | 一种结合光线跟踪的Web端实时混合渲染方法、装置及计算机设备 | |
US7463261B1 (en) | Three-dimensional image compositing on a GPU utilizing multiple transformations | |
US11450057B2 (en) | Hardware acceleration for ray tracing primitives that share vertices | |
US11373358B2 (en) | Ray tracing hardware acceleration for supporting motion blur and moving/deforming geometry | |
CN112184873B (zh) | 分形图形创建方法、装置、电子设备和存储介质 | |
CN115082628B (zh) | 一种基于隐式光传输函数的动态绘制方法和装置 | |
US20240095993A1 (en) | Reducing false positive ray traversal in a bounding volume hierarchy | |
CN111161398A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
CN110930492B (zh) | 模型渲染的方法、装置、计算机可读介质及电子设备 | |
TW201401225A (zh) | 異質參與媒體之一點所接收光量之估計方法及所構成裝置 | |
Zhang et al. | Illumination estimation for augmented reality based on a global illumination model | |
Zakharov et al. | Photo-realistic neural domain randomization | |
US20240062453A1 (en) | Generation of tight world space bounding regions | |
CN112580213A (zh) | 电场线的显示图像的生成方法和装置、存储介质 | |
CN115393498A (zh) | 一种基于隐式光传输函数合并的绘制方法和装置 | |
CN116883573A (zh) | 基于WebGL的地图建筑渲染方法及其系统 | |
CN111583378A (zh) | 一种虚拟资产处理的方法及装置、电子设备、存储介质 | |
CN114842127A (zh) | 地形渲染方法及装置、电子设备、介质及产品 | |
CN111681307B (zh) | 一种应用于三维软件的动态三维坐标轴的实现方法 | |
CN113808183A (zh) | 使用扭曲的复合估计乘积积分 | |
Al-Oraiqat et al. | Specialized Computer systems for environment visualization | |
CN117197319B (zh) | 图像生成方法、装置、电子设备及存储介质 | |
US20240161391A1 (en) | Relightable neural radiance field model | |
US12106423B2 (en) | Reducing false positive ray traversal using ray clipping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |