CN110991002A - 一种高压缩比的双向反射材质压缩表示模型、方法及装置 - Google Patents
一种高压缩比的双向反射材质压缩表示模型、方法及装置 Download PDFInfo
- Publication number
- CN110991002A CN110991002A CN201911060168.0A CN201911060168A CN110991002A CN 110991002 A CN110991002 A CN 110991002A CN 201911060168 A CN201911060168 A CN 201911060168A CN 110991002 A CN110991002 A CN 110991002A
- Authority
- CN
- China
- Prior art keywords
- reflection
- information
- compression
- probability distribution
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 148
- 238000007906 compression Methods 0.000 title claims abstract description 102
- 230000006835 compression Effects 0.000 title claims abstract description 101
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 62
- 238000009826 distribution Methods 0.000 claims abstract description 61
- 230000009466 transformation Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 238000012935 Averaging Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 239000011365 complex material Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种高压缩比的双向反射材质压缩表示模型，包括编码器和解码器，所述编码器用于将双向反射材质信息压缩成低维表示空间上的概率分布，其输入为由方向信息和对应的反射亮度信息组成的编码数据对，输出为低维表示空间上的概率分布；所述解码器用于根据低维表示空间上的定长向量解码生成反射亮度信息，其输入为方向信息和从概率分布上抽取的定长向量组成的解码数据对，输出为反射亮度信息。该模型能够实现将高维度的原始反射材质压缩为低维度的表示空间，降低了原始反射材质占用内存，且低维度的表示空间还能保证恢复精度。还公开了一种高压缩比的双向反射材质压缩表示方法和装置。
Description
技术领域
本发明涉及图形绘制、材质表示和深度学习技术领域，具体涉及一种高压缩比的双向反射材质压缩表示模型、方法及装置。
背景技术
在材质表示领域，复杂材质的采集与表示对于绘制高精度材质的图形应用会有极大的帮助，在电影工业，游戏制作，虚拟现实等领域中具有广泛的需求和应用。尤其是高精度模型的建模应用越来越广泛，对高质量的材质设计提出了更高的要求。然而，直接使用采集的复杂材质数据具有存储空间大、查询次数少等问题。另外，采集的复杂材质数据无法进行直观修改，从而无法从已有的复杂材质得到更多的所需要的材质，在生产环境当中的应用非常困难。因此，针对复杂材质的采集表示技术具有极高的商业价值和学术价值。
传统的材质绘制方法把材质建模为一个或多个简单的函数形式，并进行组合来模拟各个入射出射方向的复杂表现。然而，随着计算机硬件水平的发展和绘制技术的进步，由于传统的材质绘制方法使用的简单函数缺乏足够的表现力，能表现的材质种类有限，不能覆盖现实中材质的复杂内在反射，使得绘制结果缺乏真实性。
如何对材质进行建模，从而构建真实丰富的材质信息是值得研究的问题。另外，实现基于双向反射材质(BRDF)的采集数据，找到高压缩率的表示空间，对目前的应用和研究有一定价值。
现有的材质采集压缩技术方案为基于参数模型拟合和张量分解的方法。前者是把材质反射模型建模为一个或多个函数的表示形式，并且根据采集数据拟合得到需要的函数参数，在绘制的过程中使用参数形式来绘制着色结果；后者是对数据进行主特征抽取，或拟合非参数的函数模型对数据进行数值存储上的分解压缩，将大的张量数据分解维多个小的数据的形式。但是这两种方法存在以下缺点：
首先，基于参数模型拟合的方法，拟合难度高，表现的能力受限于设计的参数模型，目前并没有能覆盖现实材质的参数模型，会丢失许多真实采集得到的材质特征。
此外，基于张量数据的方法，使用主特征抽取技术的压缩能力较弱，丢失信息严重；拟合非参数函数模型技术只能压缩材质信息，不能为材质构造表示空间，无法判断材质之间的相似性，也无法对材质进行直观修改。
因此，迫切地，需要一种能够提升真实感，同时也能得到高压缩率的表示空间，并可以进行一定的修改编辑的，材质绘制方法。
发明内容
本发明的第一目的是提供一种高压缩比的双向反射材质压缩表示模型，该双向反射材质压缩表示模型能够实现将高维度的原始反射材质压缩为低维度的表示空间，降低了原始反射材质占用内存，且低维度的表示空间还能保证恢复精度，还能够通过改变低维度的表示空间中的定长向量，以实现对对反射材质的修改编辑。
本发明的第二目的是提供一种高压缩比的双向反射材质压缩表示方法，该双向反射材质压缩表示方法能够将高维度的原始反射材质压缩为低维度的表示空间，降低了原始反射材质占用内存，且低维度的表示空间还能保证恢复精度，还能够通过改变低维度的表示空间中的定长向量，以实现对对反射材质的修改编辑。
本发明的第三目的是提供一种高压缩比的双向反射材质压缩表示装置，该双向反射材质压缩表示方法能够将高维度的原始反射材质压缩为低维度的表示空间，降低了原始反射材质占用内存，且低维度的表示空间还能保证恢复精度，还能够通过改变低维度的表示空间中提取的定长向量，以实现对反射材质的修改编辑。
为了实现上述第一目的，本发明提供了一种高压缩比的双向反射材质压缩表示模型，包括编码器和/或解码器，所述编码器用于将双向反射材质信息压缩成低维表示空间上的概率分布，其输入为由方向信息和对应的反射亮度信息组成的编码数据对，输出为低维表示空间上的概率分布，以从所述概率分布上抽取的定长向量为双向反射材质信息的压缩结果；
所述解码器用于根据低维表示空间上的定长向量解码生成反射亮度信息，其输入为方向信息和定长向量组成的解码数据对，输出为反射亮度信息。
为了实现上述第二目的，本发明提供的一种高压缩比的双向反射材质压缩表示方法，包括压缩步骤和/或解压缩步骤；
所述压缩步骤包括：
获取双向反射材质信息，从双向反射材质信息中提取方向信息和对应的反射亮度信息，组成的编码数据对；
利用上述双向反射材质压缩表示模型中的编码器对所述编码数据对进行反射材质压缩，获得双向反射材质信息对应的低维表示空间上的概率分布，以从所述概率分布上抽取的定长向量为双向反射材质信息的压缩结果；
所述解压缩包括：
以方向信息和定长向量组成解码数据对；
利用上述双向反射材质压缩表示模型中的解码器对所述解码数据对进行解码，输出解码获得的反射亮度信息。
为了实现上述第三目的，一种高压缩比的双向反射材质压缩表示装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述高压缩比的双向反射材质压缩表示模型；
所述计算机处理器执行所述计算机程序时实现上述的高压缩比的双向反射材质压缩表示方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明高压缩比的双向反射材质压缩表示模型的构建方法流程图；
图2(a)～图2(c)是三种双向反射材质的方向信息的参数化坐标表示示意图；
图3是本发明高压缩比的双向反射材质压缩表示方法中材质压缩的流程图；
图4是本发明高压缩比的双向反射材质压缩表示方法中材质修改编辑和解压缩的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
双向反射材质压缩表示模型实施例
实施例提供了一种双向反射材质压缩表示模型，包括编码器和/或解码器，其中，编码器用于将双向反射材质信息压缩成低维表示空间，编码器的输入为由方向信息和对应的反射亮度信息组成的编码数据对，输出为编码数据对应的低维表示空间上的概率分布，以从所述概率分布上抽取的定长向量为双向反射材质信息的压缩结果；解码器用于根据低维表示空间上的定长向量解码生成反射亮度信息，解码器输入为方向信息和定长向量组成的解码数据对，输出为反射亮度信息。该所述定长向量为所述概率分布上的概率最大的向量，所述概率分布上随机抽取的多个定长向量的均值向量，或任意低维表示空间上任意提取的定长向量。
具体地，编码器的结构包括第一编码单元、融合单元以及第二编码单元，其中：所述第一编码单元包括依次连接的多层全连接层，用于对输入的编码数据对进行全连接变换，输出中间隐变量；所述融合单元用于对所有的中间隐变量进行排列不变性的平均操作，输出平均隐变量；所述第二编码单元包括依次连接的多层全连接层，用于对输入的平均隐变量进行全连接变换，输出低维表示空间上的概率分布。
对于融合单元中，对所有的中间隐变量进行排列不变性的平均操作是指，在对所有的中间隐变量进行平均操作时，将向量中对应位置的隐变量进行平均操作，平均操作结果作为原位置的元素值。
编码器中的全连接层数对压缩结果会有一定的影响，全连接层数太少，模型训练不充分，即压缩后的低维表示空间无法高精度重建，全连接层数太大，压缩太彻底，会导致获得的低维表示空间过度压缩从而精度无法保持，同时网络规模上涨也会占用更多的内存空间。具体而言，如针对各向同性材质，限定第一编码单元的全连接层数在3到5层范围内，第二编码单元的全连接层数在2到4层范围内，具体第一编码单元可以为3层全连接层，第二编码单元可以为4层全连接层。
解码器的结构包括依次连接的多层全连接层，用于对输入的解码数据对进行解码，输出为反射亮度信息。解码器的全连接层数太少，模型训练不充分，即压缩后的低维表示空间无法高精度重建，全连接层数太大，网络规模上涨，占用更多内存空间。具体而言，如针对各向同性双向反射材质，限定解码器全连接层数在6到8层的范围内，具体解码器可以为7层全连接层。
在构建好上述编码器和解码器的结构后，让编码器和解码器对输入的样本进行学习即实现自身的参数优化，才能获得能够描述反射材质特征的编码器和解码器。如图1所示，双向反射材质压缩表示模型的构建方法为：
(1)构建由方向信息和对应的反射亮度信息组成的编码数据对，将多个编码数据对分为第一样本集和第二样本集。
获取的双向反射材质信息一般都包含反射信息和方向信息，若不包含方向信息，可以通过反射信息的存储说明来计算获得方向信息。获得双向反射材质的反射亮度范围很广，需要对亮度范围进行压缩以获得的反射亮度值。具体地，所述反射亮度信息来自于对采集的双向反射材质反射值进行非线性变换，以实现对反射值范围的压缩或拓展，获得所述反射亮度值。
举例说明可以使用log1pn来对材质的亮度进行压缩，log1pn表示对反射值进行n次的非负log变换，如log1p2(x)＝log1p(log1p(x))＝ln(ln(x+1)+1)，得到压缩范围后的亮度值，举例说明，n＝4，即对采集的反射值进行4次非负对数变换，得到压缩后的反射亮度值，压缩后的反射亮度值用于集合Y＝{yi，i∈[1，N]}表示，N为大于1的自然数，yi表示第i个反射亮度值。
所述方向信息来自于对入射方向和出射方向的参数化处理，以参数化处理结果构成方向信息。
第一种方式，如图2(a)所示，对每个采样点对应的出射方向v和入射方向l进行参数化，从而得到出射方向v的仰角θv和方位角
入射方向l的仰角θl以及方位角
方位角
和
描述了朝向角度，在本实例中范围在0°～360°之间，具有循环周期性，本发明使用的深度神经网络在具有数值上连续性的输入表现更好，因此，本实施例中将方位角
映射到二维变量[t1,t2]上，即
将方位角
映射到二维变量[s1,s2]上，即
以为深度神经网络的输入保证连续，提高工作的稳定性。这样，方向信息包含由θv、θl、t1、t2、s1以及s2全部或部分参数，用符号表示为第i个方向信息xi＝[θv,θl,t1,t2,s1,s2]。
第二种方式，，如图2(b)所示，对每个采样点对应的入射方向l和出射方向v进行归一化，得到出射方向v和入射方向l的三维向量(xl,yl,zl),(xv,yv,zv)，方向信息包含由xl,yl,zl,xv,yv,zv的全部参数。
第三种方式，如图2(c)所示，对每个采样点对应的入射方向l和出射方向v进行相加得到半角方向ωh，并由此得到半角方向ωh的仰角θh以及方位角
入射方向l相对半角方向ωh的仰角θd以及方位角
方位角
和
描述了朝向角度，在本实例中
范围在0°～360°之间，
范围在0°～180°之间，具有循环周期性；
将方位角
映射到二维变量[t1,t2]上，即
将方位角
映射到二维变量[s1,s2]上，即
方向信息包含由θh、θd、t1、t2、s1以及s2全部参数。
众所周知，针对每个反射亮度值是在固定的方向信息下采集得到的，即反射亮度信息与方向信息必然存在唯一对应的关系，则方向信息和对应的反射亮度信息组成一个编码数据对，用符号表示为(xi,yi)。为了提升编码器和解码器的学习能力，将所有的编码数据对随机分成第一样本集
第二样本集
其中，
表示属于第一样本集
的编码数据对，
表示属于第二样本集
的编码数据对。
(2)第一样本集和第二样本集中的编码数据对输入至编码器中，利用编码器获得第一样本集对应的低维表示空间上的第一概率分布，第二样本集对应的低维表示空间上的第二概率分布；根据第一概率分布和第二概率分布计算材质内集合散度。
将第一样本集
和第二样本集中
的编码数据对作为编码器的输入，输入至编码器中，利用第一融合单元对编码数据对
和
进行全连接变换，得到定长中间隐变量
和
然后，利用融合单元分别对所有中间隐变量
和
进行排列不变性平均操作，获得第一样本集
和第二样本集中
的平均隐变量ST和SC，最后，利用第二融合单元对平均隐变量ST和SC进行全连接变换，得到表示空间上的高斯分布
高斯分布
表示对编码数据对
进行压缩得到的低维表示空间上的第一概率分布，高斯分布
表示对编码数据对
进行压缩得到的第二低维表示空间上第二概率分布。
在获得第一概率分布和第二概率分布后，计算两个概率分布的材质内集合散度，具体地，可以采用第一概率分布和第二概率分布之间的相对熵来表示材质内集合散度，例如利用公式
计算高斯分布
相对于高斯分布
的相对熵
该相对熵
作为编码器和解码器的参数优化的目标。
(3)以方向信息和从第一概率分布或第二概率分布上随机抽取得到的定长向量组成解码数据对，将解码数据对输入至解码器中，利用解码器获得解码样本的预测反射亮度信息；计算解码数据对的预测反射亮度信息和对应的反射亮度信息的对数似然估计。
解码器主要是根据输入的方向信息和编码器的输出解码预测反射亮度信息，组成解码数据对的任意定长向量Z来自于编码器的输出，即于从第一概率分布或第二概率分布随机抽取定长向量Z，当相对熵
是第二概率分布去近似第一概率分布时，定长向量Z取自第一概率分布，即取自高斯分布
当相对熵
是第一概率分布去近似第二概率分布时，定长向量Z取自第二概率分布，即取自高斯分布
在获得解码数据对之后，将解码数据对输入至解码器中，利用解码器获得解码样本的预测反射亮度信息y′i。同时计算解码数据对的预测反射亮度信息y′i和对应的反射亮度信息yi的对数似然估计。以高斯分布
为先验，得到估计值
(4)以最小化材质内集合散度和最大化对数似然估计为优化目标，采用最小批次梯度下降方法对编码器和解码器进行参数优化，获得优化好的编码器和/或解码器，即获得构建好的双向反射材质压缩表示模型。
在构建好编码器的损失函数，即材质内集合散度、解码器的损失函数，即对数似然估计后，以最小化材质内集合散度和最大化对数似然估计为优化目标，采用最小批次梯度下降方法对编码器和解码器进行参数优化，以实现对编码器和解码器的训练，训练结束后，获得优化好的编码器和解码器，即获得构建好的双向反射材质压缩表示模型。
该双向反射材质压缩表示模型通过神经网络过程，对双向反射材质数据进行学习表示，得到了采集的双向反射材质数据的低维表示空间，该双向反射材质压缩表示模型中的编码器可以将材质大小为33MB的反射亮度信息压缩成维度在5～8的定长向量，该定长向量在存储时只需要5～8个float，极大地降低了存储空间，即向同性双向反射材质压缩表示模型实现了高压缩比。同时，该低维表示空间能够保证恢复精度，利用解码器对该定长向量进行解码时，能够获得与原始反射亮度信息非常相近的预测反射亮度，可以说完全实现了对原反射亮度的恢复。此外，在应用过程中，可以能够通过修改定长向量来改变解码器输出的反射亮度，实现了对反射采集的编辑功能。
高压缩比的双向反射材质压缩表示方法的实施例
实施例提供的高压缩比的双向反射材质压缩表示方法，包括压缩步骤和/或解压缩步骤；
其中，如图3所示，压缩步骤包括：
S201，获取双向反射材质信息，从双向反射材质信息中提取方向信息和对应的反射亮度信息，组成的编码数据对；
S202，利用上述双向反射材质压缩表示模型中的编码器对所述编码数据对进行反射材质压缩，获得双向反射材质信息对应的低维表示空间上的概率分布，以从所述概率分布上抽取的定长向量为双向反射材质信息的压缩结果；
如图4所示，解压缩步骤包括：
S203，以方向信息和定长向量组成解码数据对；
S204，利用上述双向反射材质压缩表示模型中的解码器对所述解码数据对进行解码，输出解码获得的反射亮度信息。
该双向反射材质压缩表示方法中的编码器和解码器的结构、构建方法与双向反射材质压缩表示模型实施例中的编码器和解码器的结构和构建方法相同。实现的效果也相同，此处不再赘述。同时，模型参数使用双向反射材质压缩表示模型实施例中训练好的参数。
S201中的编码数据对构建方法与双向反射材质压缩表示模型实施例中的编码数据对的构建方法相同，此处不再赘述。
针对S203中的解码数据对，该解码数据对中的定长向量来自于概率分布上的随机抽取，在具体实施方式中，所述定长向量为所述概率分布上的概率最大的向量，所述概率分布上随机抽取的多个定长向量的均值向量，或任意低维表示空间上任意提取的定长向量。均值向量是对多个定长向量对应位置的元素值做均值得到的向量。在单独使用解码器生成反射亮度信息时，可以从不同于编码器输出的低维表示空间的任意维表示空间上提取定长向量，与方向信息组成解码数据对，然后，利用解码器对解码数据对进行解码，生成反射亮度信息。
在另外一个实施方式中，高压缩比的双向反射材质压缩表示方法还包括：更改所述定长向量中的元素值，获得新向量，以新向量和方向信息组成解码数据对，以实现对反射材质的修改编辑。
在更换定长向量中的元素值时，会有一定的限制范围，一般更换元素值要在预先通过大量的数据样本总结的范围内。通过修改定长向量来改变解码器输出的反射亮度，实现了对反射采集的编辑功能。
在另外一个实施方式中，高压缩比的双向反射材质压缩表示方法还包括：
对解码获得的反射亮度信息进行非线性变换的逆变换，对反射亮度值范围实现拓展或压缩。
由于在编码时降低或扩展了反射亮度的范围，为了恢复原来的反射亮度范围，对解码得到的反射亮度信息进行压缩时使用的非线性变换的逆变换，举例说明，对解码获得的反射亮度信息进行n次的log1p逆变换，即如log1p-2(x)＝log1p-1(log1p-1(x))＝exp(exp(x)-1)-1，对反射亮度值范围实现拓展。
该双向反射材质压缩表示方法能够将高维度的原始反射材质压缩为低维度的表示空间，降低了原始反射材质占用内存，且低维度的表示空间还能保证恢复精度，还能够通过改变低维度的表示空间中提取的定长向量，以实现对对反射材质的修改编辑。
双向反射材质压缩表示装置实施例
实施例提供的高压缩比的双向反射材质压缩表示装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有上述高压缩比的双向反射材质压缩表示模型；
所述计算机处理器执行所述计算机程序时实现上述的高压缩比的双向反射材质压缩表示方法。
该双向反射材质压缩表示装置中，高压缩比的双向反射材质压缩表示模型的结构和构建方法以及实现的功能与上述双向反射材质压缩表示模型实施例相同，此处不再赘述。
该双向反射材质压缩表示装置中，实现的高压缩比的双向反射材质压缩表示方法与上述压缩比的双向反射材质压缩表示方法实施例相同，此处不再赘述。
实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现高压缩比的双向反射材质压缩表示方法的步骤。
该双向反射材质压缩表示装置能够将高维度的原始反射材质压缩为低维度的表示空间，降低了原始反射材质占用内存，且低维度的表示空间还能保证恢复精度，还能够通过改变低维度的表示空间中提取的定长向量，以实现对对反射材质的修改编辑。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种高压缩比的双向反射材质压缩表示模型，包括编码器和/或解码器，所述编码器用于将双向反射材质信息压缩成低维表示空间上的概率分布，其输入为由方向信息和对应的反射亮度信息组成的编码数据对，输出为低维表示空间上的概率分布，以从所述概率分布上抽取的定长向量为双向反射材质信息的压缩结果；
所述解码器用于根据低维表示空间上的定长向量解码生成反射亮度信息，其输入为方向信息和定长向量组成的解码数据对，输出为反射亮度信息。
2.如权利要求1所述的高压缩比的双向反射材质压缩表示模型，其特征在于，所述编码器的结构包括第一编码单元、融合单元以及第二编码单元，其中：
所述第一编码单元包括依次连接的多层全连接层，用于对输入的编码数据对进行全连接变换，输出中间隐变量；
所述融合单元用于对所有的中间隐变量进行排列不变性的平均操作，输出平均隐变量；
所述第二编码单元包括依次连接的多层全连接层，用于对输入的平均隐变量进行全连接变换，输出低维表示空间上的概率分布；
所述解码器的结构包括依次连接的多层全连接层，用于对输入的解码数据对进行解码，输出为反射亮度信息。
3.如权利要求1或2项所述的高压缩比的双向反射材质压缩表示模型，其特征在于，所述双向反射材质压缩表示模型的构建方法为：
构建由方向信息和对应的反射亮度信息组成的编码数据对，将多个编码数据对分为第一样本集和第二样本集；
第一样本集和第二样本集中的编码数据对输入至编码器中，利用编码器获得第一样本集对应的低维表示空间上的第一概率分布，第二样本集对应的低维表示空间上的第二概率分布；根据第一概率分布和第二概率分布计算材质内集合散度；
以方向信息和从第一概率分布或第二概率分布上随机抽取得到的定长向量组成解码数据对，将解码数据对输入至解码器中，利用解码器获得解码样本的预测反射亮度信息；计算解码数据对的预测反射亮度信息和对应的反射亮度信息的对数似然估计；
以最小化材质内集合散度和最大化对数似然估计为优化目标，采用最小批次梯度下降方法对编码器和解码器进行参数优化，获得优化好的编码器和/或解码器，即获得构建好的双向反射材质压缩表示模型。
4.如权利要求1～3任一项所述的高压缩比的双向反射材质压缩表示模型，其特征在于，所述反射亮度信息来自于对采集的双向反射材质反射值进行非线性变换，以实现对反射值范围的压缩或拓展，获得所述反射亮度值。
5.如权利要求1～3任一项所述的高压缩比的双向反射材质压缩表示模型，其特征在于，所述方向信息来自于对入射方向和出射方向的参数化处理，以参数化处理结果构成方向信息。
6.一种高压缩比的双向反射材质压缩表示方法，包括压缩步骤和/或解压缩步骤；
所述压缩步骤包括：
获取双向反射材质信息，从双向反射材质信息中提取方向信息和对应的反射亮度信息，组成的编码数据对；
利用权利要求1～5任一项所述的双向反射材质压缩表示模型中的编码器对所述编码数据对进行反射材质压缩，获得双向反射材质信息对应的低维表示空间上的概率分布，以从所述概率分布上抽取的定长向量为双向反射材质信息的压缩结果；
所述解压缩包括：
以方向信息和定长向量组成解码数据对；
利用权利要求1～5任一项所述的双向反射材质压缩表示模型中的解码器对所述解码数据对进行解码，输出解码获得的反射亮度信息。
7.如权利要求6所述的高压缩比的双向反射材质压缩表示方法，其特征在于，所述定长向量为所述概率分布上的概率最大的向量，所述概率分布上随机抽取的多个定长向量的均值向量，或任意低维表示空间上任意提取的定长向量。
8.如权利要求6或7所述的高压缩比的双向反射材质压缩表示方法，其特征在于，还包括：
更改所述定长向量中的元素值，获得新向量，以新向量和方向信息组成解码数据对，以实现对反射材质的修改编辑。
9.如权利要求6～8任一项所述的高压缩比的双向反射材质压缩表示方法，其特征在于，还包括：
对解码获得的反射亮度信息进行非线性变换的逆变换，对反射亮度值范围实现拓展或压缩。
10.一种高压缩比的双向反射材质压缩表示装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，
所述计算机存储器中存有权利要求1～5所述的高压缩比的双向反射材质压缩表示模型；
所述计算机处理器执行所述计算机程序时实现权利要求6～9任一项所述的高压缩比的双向反射材质压缩表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911060168.0A CN110991002B (zh) | 2019-11-01 | 2019-11-01 | 一种高压缩比的双向反射材质压缩表示模型、方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911060168.0A CN110991002B (zh) | 2019-11-01 | 2019-11-01 | 一种高压缩比的双向反射材质压缩表示模型、方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991002A true CN110991002A (zh) | 2020-04-10 |
| CN110991002B CN110991002B (zh) | 2021-08-31 |
Family
ID=70082960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911060168.0A Active CN110991002B (zh) | 2019-11-01 | 2019-11-01 | 一种高压缩比的双向反射材质压缩表示模型、方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991002B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5420942A (en) * | 1993-09-21 | 1995-05-30 | Levit; Itzhak | Methods and devices for self-correcting video compression |
| CN1422459A (zh) * | 2000-02-07 | 2003-06-04 | 艾利森公司 | 咬尾解码器和方法 |
| CN104137541A (zh) * | 2011-10-31 | 2014-11-05 | 南洋理工大学 | 无损图像和视频压缩 |
| US9245714B2 (en) * | 2012-10-01 | 2016-01-26 | Kla-Tencor Corporation | System and method for compressed data transmission in a maskless lithography system |
| CN106605377A (zh) * | 2015-02-27 | 2017-04-26 | 松下电器（美国）知识产权公司 | 信号生成方法、信号生成装置以及程序 |
-
2019
- 2019-11-01 CN CN201911060168.0A patent/CN110991002B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5420942A (en) * | 1993-09-21 | 1995-05-30 | Levit; Itzhak | Methods and devices for self-correcting video compression |
| CN1422459A (zh) * | 2000-02-07 | 2003-06-04 | 艾利森公司 | 咬尾解码器和方法 |
| CN104137541A (zh) * | 2011-10-31 | 2014-11-05 | 南洋理工大学 | 无损图像和视频压缩 |
| US9245714B2 (en) * | 2012-10-01 | 2016-01-26 | Kla-Tencor Corporation | System and method for compressed data transmission in a maskless lithography system |
| CN106605377A (zh) * | 2015-02-27 | 2017-04-26 | 松下电器（美国）知识产权公司 | 信号生成方法、信号生成装置以及程序 |
Non-Patent Citations (2)
| Title |
|---|
| RUI WANG等: "Analytic Double Product Integrals for All-Frequency Relighting", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
| 汪鹏程: "地面场景下目标检测与跟踪关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991002B (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gwak et al. | Generative sparse detection networks for 3d single-shot object detection | |
| Han et al. | Image-based 3D object reconstruction: State-of-the-art and trends in the deep learning era | |
| Genova et al. | Local deep implicit functions for 3d shape | |
| CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| Genova et al. | Deep structured implicit functions | |
| Liu et al. | Optimization-based key frame extraction for motion capture animation | |
| CN111381919A (zh) | 形成用于推断可编辑特征树的数据集 | |
| CN112258625B (zh) | 基于注意力机制的单幅图像到三维点云模型重建方法及系统 | |
| CN113254729B (zh) | 基于动态超图网络的多模态演化特征自动共形表示方法 | |
| CN113051420A (zh) | 一种基于文本生成视频机器人视觉人机交互方法及系统 | |
| Peng et al. | Sparse-to-dense multi-encoder shape completion of unstructured point cloud | |
| CN117422823A (zh) | 三维点云表征模型构建方法、装置、电子设备和存储介质 | |
| CN117576312A (zh) | 手部模型构建方法、装置以及计算机设备 | |
| CN116168152A (zh) | 人脸图像生成方法、电子设备及计算机可读存储介质 | |
| Chen et al. | A fast reconstruction method of the dense point-cloud model for cultural heritage artifacts based on compressed sensing and sparse auto-encoder | |
| CN117454495A (zh) | 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置 | |
| CN110991002B (zh) | 一种高压缩比的双向反射材质压缩表示模型、方法及装置 | |
| CN117422961A (zh) | 图像处理方法及装置、芯片、电子设备及存储介质 | |
| Obukhov et al. | Tt-nf: Tensor train neural fields | |
| CN115937516B (zh) | 一种图像语义分割方法、装置、存储介质及终端 | |
| Wang et al. | High-resolution point cloud reconstruction from a single image by redescription | |
| CN116452750A (zh) | 一种基于移动终端的物体三维重建方法 | |
| CN115482557A (zh) | 人体图像生成方法、系统、设备及存储介质 | |
| Molnár et al. | Variational autoencoders for 3D data processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |