CN108985333A - 一种基于神经网络的材质获取方法和系统 - Google Patents

Abstract

本发明公开了一种基于神经网络的材质获取方法和系统，该方法包括训练阶段和采集阶段；训练阶段首先得到采集设备的参数，生成模拟实际的摄像机采集结果的合成材质数据作为训练数据；然后根据合成训练数据训练神经网络；采集阶段首先按照训练得到的光照图案依次对目标物体进行照射，获得一组照片，然后依次遍历照片的像素和通道，组成一个向量并送入恢复网络得到材质信息。本发明极大地减少了材质采集所需时间，且具有较高采集质量；采集条件为近场光，采集对象为各向异性材质，为该领域最复杂的情况，且本发明方法仅需少量照片。任何使用光照图案思想的采集设备都可以利用本发明的方法，针对性地训练网络，提高高质量材质信息的采集效率。

Description

一种基于神经网络的材质获取方法和系统

技术领域

本发明涉及一种基于神经网络的材质获取方法和系统，属于计算机图形学领域。

背景技术

获取高质量的材质是计算机图形学领域的重要研究课题。为获取高质量的结果，相关研 究的材质模型基本基于BRDF(bidirectional reflectance distributionfunction双向反射函数)， 所以该问题被描述为，如何获取材质的BRDF。

针对这一问题，研究人员给出的方法基本可以分为两类：手工指定和光照采集。手工指 定的方法为，由美术家根据经验直接绘制材质贴图，或根据已有材质库进行线性插值。由于 采集一个材质的BRDF所需要的观察量极多，基于材质库的方法所能涵盖的材质范围很小， 且效果不好。至于使用光照采集的方法，一般有两种。直接使用点光源，遍历所有的入射情 况，来得到BRDF，所需时间极长。另一种是使用特定的光照图案来采集，基本思路为：使 用特定的光照图案对材质打光，获取观察结果，基于多个观察结果，通过计算得到BRDF。 传统方法使用手工推导，得到的光照图案数量巨大，因此也难以应用于实际情况。

神经网络是一种机器学习方法，通过设计特定的损失函数，利用梯度下降的方法对网络 进行训练，最终拟合得到所需要的函数。在计算机视觉、计算机图形学、自然语言处理等领 域都广泛应用并且获得成功。微软亚洲研究院使用神经网络，从目标物体的单幅照片中获取 得到其材质信息。该方法仅能处理各向同性的BRDF，且最终效果并不理想。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于神经网络的材质获取方法和系统。

本发明的目的是通过以下技术方案来实现的：一种基于神经网络的材质获取方法，该方 法包括训练阶段和采集阶段；

所述训练阶段包括以下步骤：

(1)获取采集设备的参数，包括光源到采集平面的距离及角度、光源的特性曲线、摄像 机到采集平面的距离及角度、摄像机的内参和外参；利用这些参数生成模拟实际的摄像机采 集结果的合成材质数据，作为训练数据；

(2)根据步骤(1)得到的合成训练数据，训练神经网络，神经网络的特征如下：

a.输入为一个合成训练数据，将其看作一维向量x；

b.第一层网络为线性映射，仅由矩阵组成，表示如下：

y₁＝x·W_l

其中W_l为光照矩阵，W_l的大小为n×m，n为向量x的长度，即采集设备对单点反射情况 的采样量，m为光照图案个数；y₁为第一层网络的输出；

c.第二层及之后各层共同构成恢复网络，该恢复网络为非线性映射网络，表示如下：

y_i+1＝f_i+1(y_iW_i+1+b_i+1),i≥1

其中，f_i+1为第i+1层网络的映射函数，W_i+1为第i+1层网络的参数矩阵，b_i+1为第i+1层网络的偏移向量，y_i+1为第i+1层网络的输出；

所述采集阶段包括以下步骤：

按照训练得到的光照图案，依次对目标物体进行照射，获得一组照片r₁,r₂…,r_m；依次遍 历照片的像素和通道，每次分别从r₁,r₂…,r_m中取出第i行、第j列、第k通道的像素值，组 成向量a_ijk＝a₁,a₂…a_m；将a_ijk送入恢复网络，输出结果即为目标物体在该通道上，第i行、 第j列像素所对应点的材质信息。

进一步地，所述训练阶段中，通过BRDF模型生成训练数据，每个训练数据为一个lumitexel，lumitexel描述了采集平面上某个位置对来自每个光源的入射光沿着某个观察方向 的反射光强；用x_c表示摄像机的空间位置，以BRDF模型中的GGX模型为例，但本方法不限于GGX模型，生成训练数据的公式如下：

其中，I表示每个光源(LED灯珠)l的发光信息，包括：光源l的空间位置x_l、光源l的法 向量n_l、光源l的发光强度I(l)，P包含目标点p_t的参数信息，包括：目标点的空间位置x_p、目 标点的法向量n_p、目标点的材质参数p，p包括n,t,α_x,α_y,ρ_d,ρ_s，其中n表示世界坐标系下的 法向量，t表示世界坐标系下p_t局部坐标系的x轴方向，α_x,α_y表示粗糙度系数，ρ_d表示漫反 射率，ρ_s表示镜面反射率；ω_i表示世界坐标系下的入射向量，计算公式为：

ω_i′和ω_o′分别为目标点p_t的局部坐标系下的入射向量和出射向量，计算公式为：

Ψ(x_l,·)描述了光源l在不同入射方向下的光强分布，该项通过物理测量得到；

f_r(ω_i′；ω_o′,p)为BRDF项，计算方法如下：

其中，ω_h为半路向量，D_GGX为微面分布项，F为菲涅尔项，G_GGX表示阴影系数。

进一步地，该方法还包括拟合阶段：将一个特定的lumitexel记为l_i,使用Levenberg-Marquardt方法来拟合参数，表达如下：

minimize(||l_i-f_r(ω_i′；ω_o′,p′)||)

其中p′为所要拟合的参数；遍历所有lumitexel后，将参数组合成为图片，即为最终所得 的材质贴图，包括漫反射系数图、镜面反射系数图、法向图、切向量图、粗糙度图；

该阶段的拟合方法不仅限于Levenberg-Marquardt方法，任何对参数进行回归的方法都可 以应用于此。

进一步地，神经网络训练过程中的损失函数包括但不限于以下两种，只要是用于衡量网 络输出与目标值的相似程度，都在保护范围之内：

其中，j表示一次训练中第j个训练数据，x_j表示网络的输入，x_j′表示网络的输出，log作 用于向量的每个维度上；或者，

其中p表示生成第j个训练数据时的参数向量，p′表示网络的输出。

进一步地，在训练阶段中，将第一层网络的光照矩阵W_l的初始化取值限制在[0,1](初始 化方法可采用随机投影方法)，并为神经网络训练过程中的损失函数添加约束项，使光照矩阵 W_l的取值保持在[0,1]；或者，在采集阶段中，对照片r₁,r2…,r_m进行缩放偏移处理，使得与光 照矩阵W_l一致。

进一步地，所述为神经网络训练过程中的损失函数添加约束项L_barrier，具体为：

L_barrier中的w为光照矩阵W_l中的元素，ε为一个接近零的正数，用于调整限制范围；

损失函数的L_barrier部分不仅限于上述形式，只要是用于限制光照矩阵取值范围，使之有 物理对应的，都在保护范围内。

进一步地，所述采集设备由五块灯板作为主体，构成一个长方体空间，每块灯板上均匀 紧密地分布着若干LED灯珠，由FPGA通过调节占空比来控制LED灯珠的发光亮度；此外， 在顶面灯板和一个侧壁灯板的连接处设置缺口，在缺口处安装用于采集照片的摄像头，摄像 头对焦于长方体空间内的目标物体上。

一种基于神经网络的材质获取系统，其特征在于，该系统包括训练模块和采集模块；

所述训练模块包括训练数据获取模块和神经网络训练模块；

所述训练数据获取模块用于获取采集设备的参数，包括光源到采集平面的距离及角度、 光源的特性曲线、摄像机到采集平面的距离及角度、摄像机的内参和外参；利用这些参数生 成模拟实际的摄像机采集结果的合成材质数据，作为训练数据；

所述神经网络训练模块用于根据训练数据获取模块得到的合成训练数据，训练神经网络， 神经网络的特征如下：

a.输入为一个合成训练数据，将其看作一维向量x；

b.第一层网络为线性映射，仅由矩阵组成，表示如下：

y₁＝x·W_l

其中W_l为光照矩阵，W_l的大小为n×m，n为向量x的长度，即采集设备对单点反射情况 的采样量，m为光照图案个数；y₁为第一层网络的输出；

c.第二层及之后各层共同构成恢复网络，该恢复网络为非线性映射网络，表示如下：

y_i+1＝f_i+1(y_iW_i+1+b_i+1),i≥1

其中，f_i+1为第i+1层网络的映射函数，W_i+1为第i+1层网络的参数矩阵，b_i+1为第i+1层网络的偏移向量，y_i+1为第i+1层网络的输出；

所述采集模块用于根据训练模块训练得到的光照图案，依次对目标物体进行照射，获得 一组照片r₁,r₂…,r_m；依次遍历照片的像素和通道，每次分别从r₁,r₂…,r_m中取出第i行、第 j列、第k通道的像素值，组成向量a_ijk＝a₁,a₂…a_m；将a_ijk送入恢复网络，输出结果即为 目标物体在该通道上，第i行、第j列像素所对应点的材质信息。

进一步地，该系统还包括拟合模块，该模块中，将一个特定的lumitexel记为l_i,使用 Levenberg-Marquardt方法来拟合参数，表达如下：

minimize(||l_i-f_r(ω_i′；ω_o′,p′)||)

其中p′为所要拟合的参数；遍历所有lumitexel后，将参数组合成为图片，即为最终所得 的材质贴图，包括漫反射系数图、镜面反射系数图、法向图、切向量图、粗糙度图。

本发明的有益效果是：本发明系统极大地提高了材质的物理采集效率，使得高质量获取 材质系统在工业界得到广泛应用成为可能。所处理的采集条件为近场光，采集对象为各向异 性材质，为该领域最复杂的情况，在这种情况下，国际先进技术需要数百张照片，而本发明 提出的方法仅需32张照片。在缩短采集时间的同时，采集质量与研究前沿所用方法相平。此 外，本发明提出的方法为一种通用方法，不局限于特定的采集设备，或特定的BRDF模型， 也不局限于材质信息的表达方式。任何使用光照图案思想的采集设备都可以利用本发明的方 法，针对性地训练网络，提高高质量材质信息的采集效率。

附图说明

图1为本发明实施例的一种采集设备示意图，其中(a)为立体视图，(b)为平面展开图， (c)为侧视图，平面展开图中，括号中数字表示该灯板的光源数，格式为列数×行数；

图2为本发明实施方式的神经网络结构示意图，每个矩形代表一层神经元，最左侧为输 入神经元，最右侧为输出神经元，中间剩余部分为隐神经元；矩形中数字表示神经元个数； 每个箭头表示上一层到下一层的映射关系；

图3为本发明实施方式的流程图；

图4为根据本发明实施方式得到的一个光照图案，使用灰度值代表发光强度；

图5为根据本发明实施方式得到的一个lumitexzel。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施实例对本发明 进行详细描述。

本实施例针对的采集设备如图1所示。该设备由五块灯板作为主体，构成一个长方体空 间，顶部灯板由三块子灯板组成，三个相邻的侧灯板均由两块子灯板组成，第四个侧灯板为 一块子灯板，所有子灯板规格相同，第四个侧灯板和顶部灯板之间固定一个摄像头，摄像头 对焦于长方体空间内的目标物体上。每块灯板上均匀紧密地分布着若干LED灯珠，由FPGA 通过调节占空比来控制LED灯珠的发光亮度和发光时间，可采用如下设置：每个子灯板的长 宽高分别为420mmx360mmx210mm，每个子灯板上均匀紧密地分布着1024个灯珠，整套设 备共10240个，每个灯珠为1.4mm×1.4mm的矩形，下方可以用于采样的物体最大为 120mmx120mm。

图2为本发明实施方式的神经网络结构示意图，网络训练部分可使用Tensorflow开源框 架描绘网络，并使用RMSProp优化器进行训练；图2中，每个矩形表示一层神经元，矩形中 的数字表示该层神经元个数；最左侧层为输入层，最右侧层为输出层；层与层之间使用全连 接。

图3为本发明实施方式的流程图。首先生成训练数据，随机采样得到50万个lumitexel， 取80％作为训练集，其余作为验证集。训练网络时使用Xavier方法进行初始化参数，光照矩 阵W_l使用随机投影(Random projection)方法进行初始化。学习率为1e-4。目标拍摄次数为 32次，因此第一层网络的参数矩阵大小为：(10240,32)。训练结束后，将网络的第一层取出， 作为光照图案，每列的参数指定了该位置处，灯的发光强度，图4展示了其中一个光照图案。 按照光照图案的发光强度，拍摄32次得到采集结果。对采集得到的图片上每一点，将32次 采集图片的像素值组合，成为一个向量，送入网络的后半部分，恢复得到该点的lumitexel。 图5展示了一个恢复得到的lumitexel。最终得到每点的BRDF参数，形成材质贴图。

以上所述，仅为本发明的较佳实施样例，本发明并不局限于上述实施方式，只要以相同 手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内，其技术 方案和/或实施方式可以有各种不同的修改和变化。

Claims (9)

1.一种基于神经网络的材质获取方法，其特征在于，该方法包括训练阶段和采集阶段；

所述训练阶段包括以下步骤：

(1)获取采集设备的参数，包括光源到采集平面的距离及角度、光源的特性曲线、摄像机到采集平面的距离及角度、摄像机的内参和外参；利用这些参数生成模拟实际的摄像机采集结果的合成材质数据，作为训练数据；

(2)根据步骤(1)得到的合成训练数据，训练神经网络，神经网络的特征如下：

a.输入为一个合成训练数据，将其看作一维向量x；

b.第一层网络为线性映射，仅由矩阵组成，表示如下：

y₁＝x·W_l

其中W_l为光照矩阵，W_l的大小为n×m，n为向量x的长度，即采集设备对单点反射情况的采样量，m为光照图案个数；y₁为第一层网络的输出；

c.第二层及之后各层共同构成恢复网络，该恢复网络为非线性映射网络，表示如下：

y_i+1＝f_i+1(y_iW_i+1+b_i+1)，i≥1

其中，f_i+1为第i+1层网络的映射函数，W_i+1为第i+1层网络的参数矩阵，b_i+1为第i+1层网络的偏移向量，y_i+1为第i+1层网络的输出；

所述采集阶段包括以下步骤：

按照训练得到的光照图案，依次对目标物体进行照射，获得一组照片r₁，r₂…，r_m；依次遍历照片的像素和通道，每次分别从r₁，r₂…，r_m中取出第i行、第j列、第k通道的像素值，组成向量a_ijk＝a₁，a₂…a_m；将a_ijk送入恢复网络，输出结果即为目标物体在该通道上，第i行、第j列像素所对应点的材质信息。

2.根据权利要求1所述的一种基于神经网络的材质获取方法，其特征在于，所述训练阶段中，通过BRDF模型生成训练数据，每个训练数据为一个lumitexel，lumitexel描述了采集平面上某个位置对来自每个光源的入射光沿着某个观察方向的反射光强；用x_c表示摄像机的空间位置，采用BRDF模型中的GGX模型生成训练数据的公式如下：

其中，I表示每个光源l的发光信息，包括：光源l的空间位置x_l、光源l的法向量n_l、光源l的发光强度I(l)，P包含目标点p_t的参数信息，包括：目标点的空间位置x_p、目标点的法向量n_p、目标点的材质参数p，p包括n，t，α_x，α_y，ρ_d，ρ_s，其中n表示世界坐标系下的法向量，t表示世界坐标系下p_t局部坐标系的x轴方向，α_x，α_y表示粗糙度系数，ρ_d表示漫反射率，ρ_s表示镜面反射率；ω_i表示世界坐标系下的入射向量，计算公式为：

ω_i′和ω_o′分别为目标点p_t的局部坐标系下的入射向量和出射向量，计算公式为：

b＝n×t，

Ψ(x_l，·)描述了光源l在不同入射方向下的光强分布，该项通过物理测量得到；

f_r(ω_i′；ω_o′，p)为BRDF项，计算方法如下：

其中，ω_h为半路向量，D_GGX为微面分布项，F为菲涅尔项，G_GGX表示阴影系数。

3.根据权利要求2所述的一种基于神经网络的材质获取方法，其特征在于，该方法还包括拟合阶段：将一个特定的lumitexel记为l_i，使用Levenberg-Marquardt方法来拟合参数，表达如下：

minimize(||l_i-f_r(ω_i′；ω_o′，p′)||)

其中p′为所要拟合的参数；遍历所有lumitexel后，将参数组合成为图片，即为最终所得的材质贴图，包括漫反射系数图、镜面反射系数图、法向图、切向量图、粗糙度图。

4.根据权利要求1所述的一种基于神经网络的材质获取方法，其特征在于，神经网络训练过程中的损失函数L采用以下形式：

其中，j表示一次训练中第j个训练数据，x_j表示网络的输入，x′_j表示网络的输出，log作用于向量的每个维度上；或者采用以下形式：

其中p表示生成第j个训练数据时的参数向量，p′表示网络的输出。

5.根据权利要求1所述的一种基于神经网络的材质获取方法，其特征在于，在训练阶段中，将第一层网络的光照矩阵W_l的初始化取值限制在[0，1]，并为神经网络训练过程中的损失函数添加约束项，使光照矩阵W_l的取值保持在[0，1]；或者，在采集阶段中，对照片r₁，r₂…，r_m进行缩放偏移处理，使得与光照矩阵W_l一致。

6.根据权利要求5所述的一种基于神经网络的材质获取方法，其特征在于，所述为神经网络训练过程中的损失函数添加约束项L_barrier，具体为：

L_barrier中的w为光照矩阵W_l中的元素，ε为一个接近零的正数，用于调整限制范围。

7.根据权利要求1-6任一项所述的一种基于神经网络的材质获取方法，其特征在于，所述采集设备由五块灯板作为主体，构成一个长方体空间，每块灯板上均匀紧密地分布着若干LED灯珠，由FPGA通过调节占空比来控制LED灯珠的发光亮度；此外，在顶面灯板和一个侧壁灯板的连接处设置缺口，在缺口处安装用于采集照片的摄像头，摄像头对焦于长方体空间内的目标物体上。

8.一种基于神经网络的材质获取系统，其特征在于，该系统包括训练模块和采集模块；

所述训练模块包括训练数据获取模块和神经网络训练模块；

所述训练数据获取模块用于获取采集设备的参数，包括光源到采集平面的距离及角度、光源的特性曲线、摄像机到采集平面的距离及角度、摄像机的内参和外参；利用这些参数生成模拟实际的摄像机采集结果的合成材质数据，作为训练数据；

所述神经网络训练模块用于根据训练数据获取模块得到的合成训练数据，训练神经网络，神经网络的特征如下：

a.输入为一个合成训练数据，将其看作一维向量x；

b.第一层网络为线性映射，仅由矩阵组成，表示如下：

y₁＝x·W_l

其中W_l为光照矩阵，W_l的大小为n×m，n为向量x的长度，即采集设备对单点反射情况的采样量，m为光照图案个数；y₁为第一层网络的输出；

c.第二层及之后各层共同构成恢复网络，该恢复网络为非线性映射网络，表示如下：

y_i+1＝f_i+1(y_iW_i+1+b_i+1)，i≥1

其中，f_i+1为第i+1层网络的映射函数，W_i+1为第i+1层网络的参数矩阵，b_i+1为第i+1层网络的偏移向量，y_i+1为第i+1层网络的输出；

所述采集模块用于根据训练模块训练得到的光照图案，依次对目标物体进行照射，获得一组照片r₁，r₂…，r_m；依次遍历照片的像素和通道，每次分别从r₁，r₂…，r_m中取出第i行、第j列、第k通道的像素值，组成向量a_ijk＝a₁，a₂…a_m；将a_ijk送入恢复网络，输出结果即为目标物体在该通道上，第i行、第j列像素所对应点的材质信息。

9.根据权利要求8所述的一种基于神经网络的材质获取系统，其特征在于，该系统还包括拟合模块，该模块中，将一个特定的lumitexel记为l_i，使用Levenberg-Marquardt方法来拟合参数，表达如下：

minimize(||l_i-f_r(ω_i′；ω_o′，p′)||)

其中p′为所要拟合的参数；遍历所有lumitexel后，将参数组合成为图片，即为最终所得的材质贴图，包括漫反射系数图、镜面反射系数图、法向图、切向量图、粗糙度图。