CN103955958A - 一种基于Kinect设备的交互式材质外观采集方法 - Google Patents

Abstract

本发明公布了一种基于Kinect设备的交互式材质外观采集方法，该方法利用单个微软体感设备Kinect来采集某物体的材质外观，并实时将结果反馈给用户，最终获得该物体的随位置、光照以及观察角度不同而变化的六维外观函数。该方法包括四个步骤：环境光照的采集，物体几何的采集，基于Kinect红外摄像机的双向反射分布函数（BRDF）的采集和聚类，漫反射和镜面反射参数的计算。本发明不使用专业或昂贵的采集设备，只需要普通的Kinect设备，一个镜面球和一些可用普通打印机打印的标记；能够实时将采集结果反馈给用户，不需要等待几分钟甚至几小时的后处理过程才能看到结果；能够采集较大尺寸非平面物体的材质外观。

Description

一种基于Kinect设备的交互式材质外观采集方法

技术领域

本发明涉及材质外观采集技术，尤其涉及一种基于Kinect设备的交互式材质外观采集方法。

背景技术

本发明相关的研究背景简述如下：

1.基于专业设备的材质外观采集方法

专业设备如空间全向反射计（spatial gonioreflectometer），可以直接测量随着位置变化的BRDF（spatially-varying BRDF或SVBRDF）。这些方法通常对空间、光照和观察角度进行密集采样，然后采集相应的材质反射属性（DANA,K.J.,VAN GINNEKEN,B.,NAYAR,S.K.,AND KOENDERINK,J.J.1999.Reflectanceand texture of real-world surfaces.ACM Trans.Graph.18,1(Jan.),1–34.MCALLISTER,D.K.2002.Ph.D.Thesis.A generalized surface appearancerepresentation for computer graphics.University of North Carolina at Chapel Hill.DEBEVEC,P.,HAWKINS,T.,TCHOU,C.,DUIKER,H.-P.,SAROKIN,W.,ANDSAGAR,M.2000.Acquiring the reflectance field of a human face.In Proc.OFSIGGRAPH’00,145–156.TUNWATTANAPONG,B.,FYFFE,G.,GRAHAM,P.,BUSCH,J.,YU,X.,GHOSH,A.,AND DEBEVEC,P.2013.Acquiring reflectanceand shape from continuous spherical harmonic illumination.ACM Trans.Graph.32,4(July),109:1–109:12.）。专业设备可以对SVBRDF进行相当高精度的测量，但它们并不是针对普通用户所设计的。通常来说，人们需要可观的财力、时间以及专业知识来定制、校正并且使用上述的专业系统来进行材质外观的采集。

2.基于图像的材质外观采集方法

这种方法主要是使用照相机获取的图像来估计出SVBRDF。其中第一类方法在采集过程中使用主动光源，包括直接拍摄一个被点光源照亮的凸物体，并从照片中估计出其四维BRDF；使用可控光源拍摄一组照片，来计算已知几何的物体的材质外观；用线性光源来获取平面样本的SVBRDF；和使用LCD显示器来作为可编程光源进行材质采集等等（MARSCHNER,S.R.,WESTIN,S.H.,LAFORTUNE,E.P.F.,TORRANCE,K.E.,AND GREENBERG,D.P.1999.Image-based BRDF measurement including human skin.In Proc.of EGWR’99,131–144.LENSCH,H.P.A.,KAUTZ,J.,GOESELE,M.,HEIDRICH,W.,AND SEIDEL,H.-P.2003.Image-based reconstruction of spatial appearance and geometric detail.ACM Trans.Graph.22,2(Apr.),234–257.GARDNER,A.,TCHOU,C.,HAWKINS,T.,AND DEBEVEC,P.6492003.Linear light source reflectometry.ACM Trans.Graph.22,3(July),749–758.ALLDRIN,N.,ZICKLER,T.,AND KRIEGMAN,D.2008.Photometric stereo with non-parametric and spatially-varying reflectance.InProc.of CVPR2008.GHOSH,A.,CHEN,T.,PEERS,P.,WILSON,C.A.,ANDDEBEVEC,P.2009.Estimating specular roughness and anisotropy from secondorder spherical gradient illumination.In Proc.of EGSR2009,1161–1170.WANG,C.-P.,SNAVELY,N.,AND MARSCHNER,S.2011.Estimating dual-scale propertiesof glossy surfaces from step-edge lighting.ACM Trans.Graph.30,6(Dec.),172:1–172:12.AITTALA,M.,WEYRICH,T.,AND LEHTINEN,J.2013.Practicalsvbrdf capture in the frequency domain.ACM Trans.Graph.32,4(July),110:1–110:12.）。

另一类方法是被动采集方法，即在采集过程中不使用主动光照，包括先采集环境光照，再从单张照片中恢复BRDF（假定BRDF符合特定的参数化模型）；使用逆渲染方法在未知光照和照相机参数的情况下，同时优化得出光照和SVBRDF；用普通摄像机拍摄物体，根据镜面反射来估计出环境光照，随后再计算SVBRDF等等（ROMEIRO,F.,VASILYEV,Y.,AND ZICKLER,T.2008.Passivereflectometry.In Proc.of ECCV2008,859–872.HABER,T.,FUCHS,C.,BEKAERT,P.,SEIDEL,H.-P.,GOESELE,M.,AND LENSCH,H.P.A.2009.Relightingobjects from image collections.Proc.of CVPR2009.PALMA,G.,CALLIERI,M.,DELLEPIANE,M.,AND SCOPIGNO,R.2012.A statistical method for SVBRDFapproximation from video sequences in general lighting conditions.Comput.Graph.Forum(Proc.of EGSR2012)31,4,1491–1500）。另值得一提的是，Kinect SDK支持把未校正的RGB图像赋予物体的功能，但它无法对随着光照或者观察角度而变化的材质外观进行建模。

3.基于样例的材质外观采集方法

在这种方法中，通常不需要对照相机或者光源进行校正，取而代之的是把与物体材质相近的已知BRDF的样本放在物体旁，并一同拍摄照片，通过样本的反射光来估计出物体的材质外观。人们用此思路来把大规模测量的BRDF用一小部分代表元素线性表出；采集人脸的SVBRDF；用两段式方法采集SVBRDF，第一段用专用设备采集较高精度的BRDF代表元素，第二段用照相机拍摄的照片来估计出如何用代表元素来表出一整块平面SVBRDF；还有使用线性光源和一块包含各种不同BRDF的BRDF色板，拍摄照片时把色板放置于物体旁，从而估计出物体的SVBRDF（HERTZMANN,A.,AND SEITZ,S.M.2003.Shape and materialsby example:A photometric stereo approach.In Proc.of CVPR2003,533–540.MATUSIK,W.,PFISTER,H.,BRAND,M.,AND MCMILLAN,L.2003.Efficientisotropic BRDF measurement.In Proc.of EGWR2003,241–247.WEYRICH,T.,MATUSIK,W.,PFISTER,H.,BICKEL,B.,DON-NER,C.,TU,C.,MCANDLESS,J.,LEE,J.,NGAN,A.,JENSEN,H.W.,AND GROSS,M.2006.Analysis of humanfaces using a measurement-based skin reflectance model.ACM Trans.Graph.25,3(July),1013–1024.DONG,Y.,WANG,J.,TONG,X.,SNYDER,J.,LAN,Y.,BEN-EZRA,M.,AND GUO,B.2010.Manifold bootstrapping for SVBRDF capture.ACM Trans.Graph.29,4(July),98:1–98:10.REN,P.,WANG,J.,SNYDER,J.,TONG,X.,AND GUO,B.2011.Pocket reflectometry.ACM Trans.Graph.30,4(July),45:1–45:10.）。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于Kinect设备的交互式材质外观采集方法，本发明可以在普通桌面电脑上供普通用户使用，来采集各种日常物体随地点、光照和观察角度不同而变化的材质外观。具有快速、易使用、低成本等特点，可以运用于电子商务、游戏和教育等应用中，具有很高的实用价值。

本发明的目的是通过以下技术方案来实现的，一种基于Kinect设备的交互式材质外观采集方法，包括以下步骤：

环境光照的采集:将一个镜面球放置于将要采集材质外观的场景中，使用Kinect融合方法获取该球的大致几何信息，并拟合出一个标准球面，随后把RGB摄像机采集到的图像映射到标准球面上，再通过镜面反射方向来得到环境光照；

物体几何的采集：使用Kinect融合方法来采集物体的几何信息，并通过用RGB摄像机拍摄的图像来识别预先放置于物体周围的标记，从而实现物体与背景的自动分离；

基于Kinect红外摄像机的双向反射分布函数（BRDF）的采集和聚类：把Kinect红外发射器/摄像机作为主动反射计，采集物体反射的红外光来计算其BRDF，并按照BRDF中镜面反射分量的相似程度把物体进行分割聚类，对自动聚类不准确的结果进行手工修正；

漫反射和镜面反射系数的计算：使用Kinect RGB摄像机，结合步骤1采集的环境光照，先计算出物体表面上每一点的漫反射系数，再计算步骤3中聚类而得的每一类镜面反射BRDF的镜面反射系数。

本发明的有益效果是：低成本、简单、易用，普通使用者不需要空间全向反射计等昂贵的专业设备，也不需要受过专业的材质采集训练，只使用单个微软体感设备Kinect，一个镜面球和一些可用普通打印机打印的标记，在普通的桌面电脑上，即可采集物体的随位置、光照以及观察角度不同而变化的材质外观。本发明相比于之前的方法，能实时将扫描结果反馈给用户，而不是需要等待几分钟甚至几小时的后处理时间，很大程度上方便了没有专业材质扫描经验的普通用户。从用户角度看，本发明提出的材质扫描方法和已有的Kinect融合几何扫描方法相似，从而降低了用户的入门学习难度，拥有非常好的用户体验。

附图说明

图1是本发明的数据流程图；

图2是本发明使用Kinect红外发射器/接收器作为主动反射计的示意图；

图3是使用本发明采集的物体材质外观在新光照条件和新视角下的渲染图。

具体实施方式

本发明的核心是用Kinect交互式的采集物体的材质外观。该方法主要分为以下四个步骤：环境光照的采集、物体几何的采集、基于Kinect红外摄像机的BRDF采集和聚类、漫反射和镜面反射系数的计算。具体来说，包括以下步骤：

1.环境光照的采集：本发明通过用Kinect扫描一个镜面球来采集环境光照。首先使用Kinect融合方法来获取该球的几何信息。因为镜面球的高亮反射材质导致Kinect融合的结果噪声较大，所以我们用最小二乘法对Kinect融合的结果进行拟合来得到一个标准球面。随后，使用Kinect SDK API将RGB摄像机采集到的图像映射到标准球面上，再找出相对与当前观察角度的镜面反射方向，并对环境光照图中的相应像素进行更新。在每次更新中，我们计算已有像素和当前像素的加权平均作为新像素的值，每一个环境光照样本的权重则按照观察方向和当前点法向量的点积来计算。

2.物体几何的采集：使用普通打印机打印出四个黑底白色的圆形，将这四个标记放置于将要扫描物体周围的平面上。用卷尺之类的测量工具来调整标记的位置，使得这四个圆的圆心依此相连后大致能构成一个矩形；如果将要扫描的物体较小，可以直接把四个圆形打印在一张纸上，并省去使用测量工具确认圆心相对位置的步骤。然后我们使用Kinect融合来采集物体的几何信息。采集结束后，利用RGB摄像机来识别四个白色圆形，并用Kinect SDK API来找出四个标记圆心说对应的三维位置。接着，我们构建一个虚拟长方体，大小由用户指定，并且以标记所在的支撑平面为底面。利用这个虚拟长方体，我们可以把物体从背景中区分开来，通过判断一个点是否落在长方体内。最后我们在物体表面上随机采点，同时记下相应的法向量，再对法向量进行双向滤波来对可能的噪声做平滑，结果将用于后续处理。

3.基于Kinect红外摄像机的BRDF采集和聚类：在这个步骤中，本发明把Kinect红外摄像机作为主动反射计，来获取物体BRDF的镜面反射分量的形状，并同时对物体按照其镜面反射BRDF的相似程度进行分割。

3.1.BRDF融合：我们假定已经有了一组点，它们的镜面反射BRDF相似。我们首先介绍如何从这一组点反射的红外光来计算镜面反射BRDF的形状：因为我们使用参数化Ward BRDF模型，BRDF的形状即由其参数α决定。因为Kinect红外发射器发射的红外光在空间上有着很大的变化，所以我们将入射光看作一个高噪声的光源，通过统计平均来得到可靠的α。具体来说，对于红外摄像机拍摄到图像中的每一个像素，我们根据其三维位置找出物体表面最近的采样点，并计算在局部坐标系下的光照和观察方向。如果这两个方向都不是太接近掠角，我们计算他们的平均方向，并把当前的红外反射值加权平均更新到一个BRDF样本缓存中。这个缓存按照光照和观察角度的平均方向来寻址，每一个红外反射光样本的权重按照观察方向和法向量的点积来计算。一旦缓存里有了足够多的样本，我们可以用缓存中经过平均后减噪过的数据，来拟合参数化WardBRDF模型，就能得到其参数α。

3.2.BRDF聚类：我们使用一个二叉树结构来进行BRDF聚类。这个二叉树是对物体表面采样点的一个分割。我们从一个根节点出发，按照采样点的位置以及法向量相似度分成两组，把这两组作为当前根节点的两个子节点，再对子节点递归进行上述步骤，直到当前组的采样点数目小于一定数值，这就完成了二叉树的构建。在交互式采集过程中，每当一个采样点接受一个红外反射光样本，我们就查找这个点属于二叉树中的哪些节点，然后对这些节点上的BRDF样本缓存（3.1中有详细介绍）进行更新。

我们通过二叉树上的一个分割，称为BRDF分割，来进行实时聚类。初始时，BRDF分割只包含二叉树的根节点。对于分割中的每一个节点，我们检查当前节点的两个子节点的BRDF样本缓存中是否存在足够的样本数。如果至少有一个子节点满足，则把当前节点从BRDF分割中删除，用它的两个子节点来代替。然后我们对BRDF分割中所有有足够样本的节点进行聚类；对于样本数不足的分割节点，我们把它们分到L2距离最小的一个类中。随着接受到的红外数据的增加，BRDF分割逐渐在空间上不断细化。我们的用户界面随着用户手持Kinect在扫描物体，实时显示当前的聚类结果。

自动聚类/分割完成后，对其中不准确的结果，我们提供一个三维喷漆的用户界面，供用户进行手工调整修正。

4.漫反射和镜面反射系数的计算：我们使用基于双重乘积的快速小波积分来快速计算出漫反射和镜面反射系数。首先我们定义每一个采样点上的材质外观BRDF为如下函数f_r：

$f_r({\mathrm{\ω}}_i,{\mathrm{\ω}}_o)=\frac{{\mathrm{\ρ}}_d}{\mathrm{\π}}+{\mathrm{\ρ}}_{s}f(\mathrm{\α};{\mathrm{\ω}}_i,{\mathrm{\ω}}_o)$

这里ω_i和ω_o分别是光照和观察方向，ρ_d和ρ_s分别是漫反射和镜面反射系数，f是镜面反射BRDF，α是镜面反射BRDF的参数。

接着，入射光L_i、反射光L和物体材质f_r之间的关系，可以按照如下公式来建模：

$\begin{array}{c}L\left({\mathrm{\ω}}_o\right)={\∫}_{\mathrm{\Ω}}{L}_i\left({\mathrm{\ω}}_i\right)(\frac{{\mathrm{\ρ}}_d}{\mathrm{\π}}+{\mathrm{\ρ}}_{s}f(\mathrm{\α};{{\mathrm{\ω}}_i}^{\′},{{\mathrm{\ω}}_o}^{\′}))(n\·{\mathrm{\ω}}_1)d{\mathrm{\ω}}_i\\ ={\mathrm{\ρ}}_d\∫\frac{1}{\mathrm{\π}}{L}_i\left({\mathrm{\ω}}_i\right)(n\·{\mathrm{\ω}}_i)d{\mathrm{\ω}}_i+{\mathrm{\ρ}}_s\∫L_i\left({\mathrm{\ω}}_i\right)f(\mathrm{\α};{{\mathrm{\ω}}_i}^{\′},{{\mathrm{\ω}}_o}^{\′})(n\·{\mathrm{\ω}}_i)d{\mathrm{\ω}}_i\end{array}$

这里n是法向量，Ω是采样点的上半球面，ω_i’和ω_o’在采样点所在局部坐标系下的是光照和观察方向。上式中，第一个漫反射积分可以按照不同的n进行预计算来得到。第二个镜面反射积分实质上是按余弦衰减的光照和BRDF函数的卷积，我们用基于双重乘积的快速小波积分来进行有效计算。具体来说，我们把按余弦衰减的光照和BRDF函数（固定ω_o）都投影到哈尔小波基上，那它们的卷积就变成了小波基下共同非零项系数的乘积的和。计算完这两个积分，之前的公式就变成了关于ρ_d和ρ_s的线性方程组。对于随位置变化而不同的ρ_d，我们在每个采样点上维护一个直方图，用来保存反射光除以漫反射积分的结果分布。我们在直方图中按照一定百分比（例如15%）取值，作为ρ_d。对于ρ_s，我们把已知的ρ_d代入方程组中，用最小二乘法即可求得。

实施例

发明人在一台配备Intel i73770K CPU的台式计算机实现了本发明的实施实例。实施中使用具体实施方式中提及的参数设置，得到了附图中的结果。实践中在普通电脑上可以达到7～16的帧速率，能实时的把材质扫描结果反馈给用户。

发明人用大小以及材质不同的各种物体来测试本方法的原型系统。结果表明，本发明对大到边长1米多的扶手沙发，小到几厘米半径的彩椒，材质跨度从皮革、木漆到塑料和陶瓷，都可以得到满意的结果。所需采集处理时间平均为10分钟。

Claims (5)

1.一种基于Kinect设备的交互式材质外观采集方法，其特征在于，包括以下步骤：

（1）环境光照的采集：将一个镜面球放置于将要采集材质外观的场景中，使用Kinect融合方法获取该球的大致几何信息，并拟合出一个标准球面，随后把RGB摄像机采集到的图像映射到标准球面上，再通过镜面反射方向来得到环境光照；

（2）物体几何的采集：使用Kinect融合方法来采集物体的几何信息，并通过用RGB摄像机拍摄的图像来识别预先放置于物体周围的标记，从而实现物体与背景的自动分离；

（3）基于Kinect红外摄像机的双向反射分布函数（BRDF）的采集和聚类：把Kinect红外发射器/摄像机作为主动反射计，采集物体反射的红外光来拟合出参数化镜面反射BRDF的参数，并按照BRDF中镜面反射分量的相似程度把物体进行分割聚类，对自动聚类不准确的结果进行手工修正；

（4）漫反射和镜面反射系数的计算：使用Kinect RGB摄像机，结合步骤1采集的环境光照，先计算出物体表面上每一点的漫反射系数，再计算步骤3中聚类而得的每一类镜面反射BRDF的镜面反射系数。

2.根据权利要求1所述基于Kinect设备的交互式材质外观采集方法，其特征在于，所述步骤1包括以下子步骤：

（1.1）将一个镜面球放置于将要采集材质外观的场景中，在球的周围放置使用普通打印机打印的标记，用于实现物体与背景的自动分离；

（1.2）使用Kinect扫描球的几何形状，用Kinect融合来获得镜面球的几何信息；

（1.3）对上述子步骤1.2所得的几何信息，用最小二乘法拟合一个标准球面；

（1.4）把RGB摄像机采集到的图像按照标记的RGB值进行校正，用于补偿曝光时间以及白平衡的变化，再把图像映射到标准球面上，然后通过镜面反射方向来得到环境光照。

3.根据权利要求1所述基于Kinect设备的交互式材质外观采集方法，其特征在于，所述步骤2包括以下子步骤：

（2.1）使用普通打印机打印出四个黑底白色的圆形，将这四个标记放置于将要扫描物体周围的平面上，用卷尺之类的测量工具来保证这四个圆的圆心大致能构成一个矩形；如果将要扫描的物体较小，可以直接把四个圆形打印在一张纸上，并省去使用测量工具确认圆心相对位置的步骤；

（2.2）使用Kinect融合来采集物体的几何信息；

（2.3）用RGB摄像机来标定四个圆形标记的三维位置，以它们所在的支撑平面为基准，把物体从背景中区分开来；

（2.4）在物体表面上随机采点用于后续处理。

4.根据权利要求1所述基于Kinect设备的交互式材质外观采集方法，其特征在于，所述步骤3包括以下子步骤：

（3.1）用Kinect红外摄像机来采集物体反射的红外光图像，找出每个像素在物体表面的对应点，然后根据红外发射器和摄像机的三维位置，计算出局部坐标系下的入射和出射角度，保存起来供后续处理；

（3.2）对于采集到足够多红外信息的物体区域，拟合参数化解析BRDF模型，并按照其镜面反射分量，进行聚类，从而把整个物体分割成几类，每一类都共享同一个镜面反射BRDF；

（3.3）对自动聚类不准确的部分结果，在一个三维喷漆的用户界面中，进行手工调整修正。

5.根据权利要求1所述基于Kinect设备的交互式材质外观采集方法，其特征在于，所述步骤4包括以下子步骤：

（4.1）对于RGB摄像机采集的并经过校正的图像，找出每个像素所对应物体表面的采样点，结合所述步骤1所采集的环境光照，计算出物体表面上每一点的漫反射系数；

（4.2）保持漫反射系数不变，根据RGB摄像机采集的并经过校正的图像，所述步骤1所采集的环境光照，以及所述步骤3所拟合出的参数化镜面反射BRDF的参数，用逆渲染的方法来计算出镜面反射BRDF的对应系数，使得误差的平方和最小。