CN104866861B - 一种基于Kinect设备的材质外观采集方法 - Google Patents
一种基于Kinect设备的材质外观采集方法 Download PDFInfo
- Publication number
- CN104866861B CN104866861B CN201510163379.2A CN201510163379A CN104866861B CN 104866861 B CN104866861 B CN 104866861B CN 201510163379 A CN201510163379 A CN 201510163379A CN 104866861 B CN104866861 B CN 104866861B
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- image
- point
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于Kinect设备的材质外观采集方法，该方法利用单个微软体感设备Kinect来采集某物体的材质外观，最终获得该物体随位置、光照以及观察角度不同而变化的六维外观函数，物体各个位置的法向量和采集物体时周围的环境光照。该方法包括三个步骤：物体几何与RGB图像的采集，对物体法向量、双向反射分布函数（BRDF）、相机方位和环境光照的联合优化和后处理。本发明不使用专业或昂贵的采集设备，只需要普通的Kinect设备，即可采集非平面物体的表面材质与法向量以及被测物体所处的环境光照。
Description
技术领域
本发明涉及材质外观采集技术，尤其涉及一种基于Kinect设备的材质外观采集方法。
背景技术
本发明相关的研究背景简述如下：
根据输入RGB图像进行相机方位优化是一个经典问题。有许多方法都利用了最大化输入图像的一致性来进行优化(B ERNARDINI,F.,MARTIN,I.M.,AND RUSHMEIER,H.2001.High-quality texture reconstruction from multiple scans.IEEETrans.Vis.Comp.Graph.7,4,318–332.CORSINI,M.,DELLEPIANE,M.,GANOVELLI,F.,GHERARDI,R.,FUSIELLO,A.,AND S COPIGNO,R.,2013.Fully automatic registration ofimage sets on approximate geometry,March.)。最近，有一种针对漫反射材质物体的对相机方位进行优化的算法(ZHOU,Q.-Y.,AND KOLTUN,V.2014.Color map optimizationfor 3d reconstruction with consumer depth cameras.ACM Trans.Graph.33,4,1–10.AITTALA,M.,WEYRICH,T.,AND LEHTINEN,J.2013.Practical SVBRDF capture in thefrequency domain.ACM Trans.Graph.32,4(July),110:1–110:12.TUNWATTANAPONG,B.,FYFFE,G.,GRAHAM,P.,B USCH,J.,YU,X.,GHOSH,A.,AND DEBEVEC,P.2013.Acquiringreflectance and shape from continuous spherical harmonic illumination.ACMTrans.Graph.32,4(July),109:1–109:12.)。
对物体表面的双向反射函数(BRDF)的测定，主要依赖于准确可靠的对物体表面反射的重构(LAWRENCE,J.,B EN-ARTZI,A.,DECORO,C.,MATUSIK,W.,PFISTER,H.,RAMAMOORTHI,R.,AND RUSINKIEWICZ,S.2006.Inverse shade trees for non-parametricmaterial representation and editing.ACM Trans.Graph.25,3,735–745.)这些方法都需要主动光源和专业的校准。这一要求对于非专业用户显得很不现实。
使用被动光源的材质采集方法有两类，以下做一介绍。
1.基于样例的材质外观采集方法
在这种方法中，通常不需要对照相机或者光源进行校正，取而代之的是把与物体材质相近的已知BRDF的样本放在物体旁，并一同拍摄照片，通过样本的反射光来估计出物体的材质外观。人们用此思路来把大规模测量的BRDF用一小部分代表元素线性表出；采集人脸的SVBRDF；用两段式方法采集SVBRDF，第一段用专用设备采集较高精度的BRDF代表元素，第二段用照相机拍摄的照片来估计出如何用代表元素来表出一整块平面SVBRDF；还有使用线性光源和一块包含各种不同BRDF的BRDF色板，拍摄照片时把色板放置于物体旁，从而估计出物体的SVBRDF(HERTZMANN,A.,AND SEITZ,S.M.2003.Shape and materials byexample:A photometric stereo approach.In Proc.of CVPR2003,533–540.MATUSIK,W.,PFISTER,H.,BRAND,M.,AND MCMILLAN,L.2003.Efficient isotropic BRDFmeasurement.In Proc.of EGWR 2003,241–247.WEYRICH,T.,MATUSIK,W.,PFISTER,H.,BICKEL,B.,DON-NER,C.,TU,C.,MCANDLESS,J.,LEE,J.,NGAN,A.,JENSEN,H.W.,AND GROSS,M.2006.Analysis of human faces using a measurement-based skin reflectancemodel.ACM Trans.Graph.25,3(July),1013–1024.DONG,Y.,WANG,J.,TONG,X.,SNYDER,J.,LAN,Y.,BEN-EZRA,M.,AND GUO,B.2010.Manifold bootstrapping for SVBRDFcapture.ACM Trans.Graph.29,4(July),98:1–98:10.REN,P.,WANG,J.,SNYDER,J.,TONG,X.,AND GUO,B.2011.Pocket reflectometry.ACM Trans.Graph.30,4(July),45:1–45:10.)。
这些方法都需要知道现存的与被测物体材质相近的材质作为样例。而且，其中一些算法所恢复的SVBRDF局限于样例BRDF的线性子空间。
2.对材质与光照的联合估测
在物体几何已知的情况下，以图像、熵、真实世界的光照的统计等作为约束，可以对物体的材质、所处环境光照进行估测(ROMEIRO,F.,AND ZICKLER,T.2010.Blindreflectometry.In Proc.of ECCV 2010,K.Daniilidis,P.Maragos,and N.Paragios,Eds.,vol.6311,45–58.LOMBARDI,S.,AND NISHINO,K.2012.Reflectance and naturalillumination from a single image.In Proc.of ECCV 2012,A.Fitzgibbon,S.Lazebnik,P.Perona,Y.Sato,and C.Schmid,Eds.,vol.7577,582–595.HABER,T.,FUCHS,C.,B EKAER,P.,S EIDEL,H.P.,GOESELE,M.,AND LENSCH,H.P.A.2009.)。另外，还有方法使用多个方位的图像，通过优化光照的材质来重建物体的几何模型(Relighting objectsfrom image collections.In Proc.of CVPR 2009,627–634.LI,G.,WU,C.,S TOLL,C.,LIU,Y.,VARANASI,K.,DAI,Q.,AND THEOBALT,C.2013.)。也有方法使用已知的几何模型，通过估测点的镜面反射来求解物体表面材质(Capturing relightable human performancesunder general uncontrolled illumination.Computer Graphics Forum 32,2pt3,275–284.PALMA,G.,CALLIERI,M.,DELLEPIANE,M.,AND S COPIGNO,R.2012.A statisticalmethod for SVBRDF approximation from video sequences in general lightingconditions.Comp.Graph.Forum 31,4,1491–1500.)
随着RGB-D摄像机的普及，使用这种设备来进行材质采集的研究也越来越多。人们提出了使用Kinect传感器从一个固定视点交互式的估测双向反射函数(BRDF)的方法(KNECHT,M.,TANZMEISTER,G.,TRAXLER,C.,AND WIMMER,M.2012.Interactive BRDFestimation for mixed-reality applications.Journal of WSCG 20,1(June),47–56.)，该方法使用一个带有鱼眼镜头的单反相机来采集环境光。另外的，还有方法使用Kinect红外发射与接收装置来估测物体材质的粗糙度(WU,H.,AND ZHOU,K.2015.AppFusion:Interactive appearance acquisition using a Kinect sensor.To appear inComputer Graphics Forum)，由于该方法需要实时的与用户进行交互，所以它假设Kinect所得的相机方位即为准确的相机方位。
大多数现存的方法都假设，通过校准后，相机方位和物体的几何模型都是已知并且精确的。这一假设对于低端的RGB-D并不适用。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于Kinect设备的材质外观采集方法，本发明可以在普通桌面电脑上供普通用户使用，来采集各种日常物体随地点、光照和观察角度不同而变化的材质外观。具有快速、易使用、低成本等特点，可以运用于电子商务、游戏和教育等应用中，具有很高的实用价值。
本发明的目的是通过以下技术方案来实现的：一种基于Kinect设备的材质外观采集方法，包括以下步骤：
(1)物体几何与RGB图像的采集：使用Kinect融合方法来采集物体的几何信息，对Kinect RGB摄像机同时拍摄的图像序列进行预处理；
(2)对相机方位、双向反射分布函数(BRDF)、环境光照和物体法向量的联合优化：以物体在环境光照下的渲染结果与拍摄的RGB图像的一致性作为优化目标，交替对相机方位、BRDF、环境光照和物体法向量进行优化直至收敛；
(3)对优化结果进行后处理。
进一步地，所述步骤1包括以下子步骤：
(1.1)使用Kinect融合方法采集物体的几何信息；
(1.2)停止对物体几何信息的更新，并开始通过Kinect上的RGB摄像机采集RGB图像并记录每张图像对应的相机方位；
(1.3)预处理：对于采集到的每张RGB图像进行模糊滤波，将模糊滤波后的图像和原始图像相比来计算其模糊度；在整个RGB图像序列中，选取模糊度最小的前20％并且被测物体处于图像中央的图像作为输入图像序列，然后将其转换为灰度格式；在物体网格上随机采点，作为输入点。
进一步地，所述步骤2包括以下子步骤：
(2.1)初始化：将Kinect融合获得的相机方位沿局部坐标系的x轴平移2.5厘米作为初始相机方位；依据每个点在各个图像上的最小的灰度值对输入点进行聚类；假设每个点都具有完美镜面反射分量，将每个点对应的图像灰度值投射到环境中，从而计算出初始的环境光照；对点的法向量进行平滑处理；
(2.2)优化目标：优化目标如下所示：
其中λI、λS和λC是各个优化目标的权重，j是图像的序号，Tj是从全局坐标系转换到图像Ij对应的相机局部坐标系的4x4变换矩阵，E是环境光照，fr是BRDF，n是物体表面法向量，PI是光度一致性项，即物体的渲染结果与输入图像的差异程度，它被定义为：
这里Ij(x,Tj)代表点x在图像Ij上对应的灰度值，L(ωo；x,E,Tj)代表点x在环境光照E下的渲染结果，ωo为观察方向；
Ps/Pc是几何项，它们只与物体表面法向量的优化相关，代表着物体表面的平滑性与物体法向量的可积性，定义如下：
其中，Rx代表点x的一环邻域，y0,y1是Rx中的直接连通的两点，A(Rx)表示点x的一环邻接点与x构成的三角形环的总面积；
(2.3)相机方位优化：通过高斯牛顿法最小化优化目标中的PI项，来优化每张图像的相机变换矩阵Tj，获得最接近输入图像的物体渲染结果。
(2.4)材质优化：材质优化分为两步，首先依据之前对所有点的聚类结果的每一个类，依据当前估测的相机方位、环境光照和法向量结合输入图像来优化其对应的BRDF；然后，将每个点重新分配到使得该点的渲染结果和图像的欧氏距离最小的类中；
(2.5)环境光照优化：根据当前估测的相机参数和每个点的BRDF、法向量，依据通用渲染方程，并利用环境光照在哈尔小波域上的稀疏性，使用稀疏最小二乘求解器来解出环境光照在哈尔小波域上的系数；最后，将小波域上的结果变换回空间域上；
(2.6)法向量优化：使用高斯牛顿法最小化目标函数来优化更新法向量；
(2.7)交替进行步骤(2.3)-(2.6)，直至目标函数收敛或者用户指定的循环次数已经达到。
进一步地，所述步骤3具体为：将原始的RGB图像作为输入，重新计算每个聚类的BRDF的RGB三通道版本，并通过求解一个非负的最小二乘问题，将每个点的材质表示为聚类BRDF的线性组合，最终获得随空间变化不同聚类BRDF权重的材质贴图以及法向量贴图，可以用于全新视点和光照下的渲染。
本发明的有益效果是：低成本、简单、易用，普通使用者不需要空间全向反射计等昂贵的专业设备，也不需要受过专业的材质采集训练，只使用单个微软体感设备Kinect，在普通的桌面电脑上，即可采集物体的随位置、光照以及观察角度不同而变化的材质外观。本发明和之前的方法相比，操作简单，并且考虑到了Kinect的不准确性并进行优化，从而使结果更加准确。从用户角度看，本发明提出的材质扫描方法和已有的Kinect融合几何扫描方法相似，从而降低了用户的入门学习难度，拥有非常好的用户体验。
附图说明
图1是本发明使用的环境光照的参数化与预计算的说明图；
图2是使用本发明采集的物体材质外观在新光照条件和新视角下的渲染图。
具体实施方式
本发明的核心是用Kinect采集物体的材质外观。该方法主要分为以下三个步骤：物体几何与RGB图像的采集，对相机方位、双向反射分布函数(BRDF)、环境光照和物体法向量的联合优化，对优化结果的后处理。具体来说，包括以下步骤：
1.物体几何与RGB图像的采集：使用Kinect来获取物体的几何与RGB图像。首先，使用Kinect融合方法来获取物体的几何信息；在几何信息获取结束后，结束对物体几何的更新，并开始拍摄物体的RGB图像，记录图像和Kinect融合所得的相机方位。当获取足够多的RGB图像时，结束Kinect融合。其次，从获取的图像中选取较为清晰并且被测物体处于图像中央区域的图像，并将其转换为灰度图作为输入。在物体网格上随机采点，所得点作为输入点。另外，由于深度不连续处和掠射角处的点具有较大的不可靠性，所以，在接下来的优化中，排除这些点。
2.对相机方位、双向反射分布函数(BRDF)、环境光照和物体法向量的联合优化：这一部分的输入是一组从Kinect中获得的图像{Ij}和一组从被测物体上采样所得的点{x}。本发明的目标是估算物体的表面材质，使得物体的渲染结果最为接近图像中的物体。由于物体的渲染结果和双向反射函数(BRDF)fr，环境光照E，相机方位和物体表面法向量这些未知量有关，因此采用一个联合优化的策略来优化这四个因素。优化的目标如下：
其中，λI、λS和λC是各个优化目标的权重，选取λI＝1,λS＝6,λC＝6可获得较好的效果。PI是光度一致性项，即物体的渲染结果与输入图像的差异程度，它被定义为：
Ps/Pc是几何项，它们只与物体表面法向量的优化相关(具体定义见2.6)。Xj是图像Ij中可见的点。Tj是4×4的相机外部矩阵，它可以将世界坐标系下的点x转化到与图像Ij相关的局部坐标系下，ωo为观察方向。
优化目标涉及到多个变量。为了最小化这一目标函数，循环依次优化相机参数{Tj}，材质fr，环境光照E和物体表面法向量n。在每一步中，通过估测某个变量并固定其他变量来最小化全局目标函数。
全局优化目标是一个形式为∑iri 2的非线性的最小二乘问题。可以通过高斯牛顿法来最小化目标函数。具体来说，假设θ是当前步骤需要优化的变量。在每个循环中，θ可以如下进行更新:
θk+1＝θk+Δθ
这里Δθ是如下的线性系统的解：
Jr TJrΔθ＝-Jr Tr
这里r＝(r0,r1,...)T是剩余向量，Jr是它的雅可比矩阵。
2.1对L(ωo；x,E,Tj)的快速计算:L代表着物体表面某点x在ωo方向上的出射亮度。可以通过以下公式来计算：
L(ωo；x)＝∫ΩE(ωi)fr(ω'i,ω'o；x)(n(x)·ωi)+dωi
这里Ω是上半球，E代表环境光照，ωi是光线方向，fr是随空间位置变化的各向同性的双向反射函数(BRDF)，n是物体法向量。
将环境光照E参数化到两个分辨率为256×256的正方形上，每个半球对应一个正方形(如图1所示)。
与之前许多实时渲染的工作类似，将一个出射方向ω'o上的双向反射函数表示为一个漫反射项和一个镜面反射项之和的形式：
这里ρd是漫反射率，ρS是镜面反射率，α是一个非负的维度。G是一个类似的高斯的冯米塞斯费舍尔(vMF)概率分布函数冯米塞斯费舍尔(vMF)概率分布函数，它被定义为：
这里κ是宽度的倒数，μ是中央方向。通过使用冯·米塞斯-费舍尔(von Mises-Fisher)概率分布函数,只需要预计算并存储一些一些离散的{α(ω'o),κ(ω'o),μ(ω'o)}，就可以紧凑的表示大范围的双向反射函数(BRDF)。
更重要的是，使用vMF概率分布函数可以高效的渲染环境光照下的物体。首先预计算环境光照的卷积和余弦/vMF部分：
它们代表了漫反射响应函数Ed(n)和镜面反射响应函数ES(κ,μ)。对于κ，将它离散化为κ＝2,22,...,214。
至此，对物体表面出射亮度的计算即可转化为(公式里的x被省略)：
L(ωo)＝ρdEd(n)+ρSα(ω'o)ES(κ(ω'o),μ(ω'o))
2.2初始化：将Kinect融合获得的相机方位沿局部坐标系的x轴平移2.5厘米作为初始相机方位。这是由于Kinect的IR接收器与RGB相机大约相距2.5厘米。
对于物体材质，假设物体为漫反射材质，并将每个点在各个图像中的采样的灰度最小值作为该点的漫反射率。然后，依据每个点的漫反射率对所有点进行聚类，作为初始的点集的聚类。
对于环境光照，假设每个物体的材质均具有一个反射率为1的镜面反射分量，依据之前计算的每个点的漫反射率，将每个点在各个图像上的采样的镜面反射部分投影到环境光照中，作为初始环境光照。
2.3相机方位优化：相机方位{Tj}决定了每张输入图像中的每个像素点与物体上顶点的对应关系，同时也决定了物体在环境光照下的渲染结果L(ωo；x,E,Tj)。由于每张图像的相机方位都彼此独立，可以每次只优化一张图像的相机方位。具体的，对于相机方位为优化这一步，优化全局目标等价于优化以下函数：
为了求得Ij(x,Tj)，首先根据相机的内部参数将x转换到局部坐标系下，得到Tjx，然后将点Tjx投影到图像平面上，然后可以通过对图像像素的双线性插值得到Ij(x,Tj)。L可以根据当前估算出的结果，依据之前介绍的方法来计算。
将ΔT参数化为一个6维向量：
这里(aj,bj,cj)T代表平移，(αj,βj,γj)T代表角速度。在每个循环中，都会计算出{ΔT}并且更新{Tj}；
2.4材质优化：材质与物体的渲染结果L(ωo；x)相关。通常，使用一个6维函数SVBRDF来表示物体的材质，该函数有巨大的自由度。为了使材质优化变得可行，假设每个物体的材质只由有限种的镜面BRDF组成。这些BRDF可以进行预计算，并使用vMF来表示。至此，对fr的优化就转换为了优化ρd和ρs，并从所有预计算好的BRDF中选择最合适的{α(ω'o),κ(ω'o),μ(ω'o)}。在这里，使用256种各向同性的Ward模型作为镜面反射的双向反射函数(BRDF)，它们的粗糙度取0.007到0.4。
为了进一步的约束未知的材质，假在优化中，每种材质fr(x)都仅属于k种双向反射函数中的一种。这里k是一个由用户指定的常量，代表用户所测物体的材质的种类。这样就做到了基于双向反射函数将输入点集X就被分为了k个聚类：X＝∪lMl
至此，材质优化在每个循环中被分为两步：为每个点集的聚类Ml，计算最合适的双向反射函数(BRDF)；将每个点重新分配到最为合适的点集的聚类中。
其中，在第一步中，对每个点集的聚类，最小化以下的目标函数：
这里，ml代表预计算的镜面双向反射函数的索引。为了找到最优的ml，首先遍历所有的预计算的镜面双向反射函数。对于给定的ml，ρd,l和ρs,l可以通过计算以下的非负的线性最小二乘问题求得：
最终，选取使得上面公式取到最小的{ρd,l,ρs,l,ml}作为该聚类的最优材质。
第二步中，需要为每一个点x选择最优的材质。循环所有的材质，并选取可以最小化下面的公式的材质作为该点的材质。
2.5环境光照优化：和材质类似，环境光E同样会影响物体的渲染结果。从全局优化目标中推导出关于环境光照优化的目标函数：
为了约束环境光照巨大的自由度，引入一个新的变量，被测镜面响应函数并将它和Ed,Es一同作为估测变量使用，然后分三步进行优化。
具体的，首先固定Ed和E，并通过图像测度来计算
事实上，由于不同的点有可能投影到相同的环境光的方向上，被当做一个加权平均数来计算。这里，使用ρs作为权重。
接下来，对E进行优化使其最适合于被测镜面响应函数这一优化可以通过最小化以下目标函数来实现：
由于积分运算符是线性的，上面的目标函数本质上是一个线性最小二乘问题。将这一目标函数改写为其中，e＝(E(ωi,0),E(ωi,0),...)T,G是一个矩阵，定义为Gjk＝G(ωi,j；κk,μk)。这里ωi,j是光照方向ωi的离散化表示。利用矩阵G在哈尔小波域中的稀疏性，采用现有的迭代求解稀疏最小二乘的方法来高效的求解E。由于E和G都被参数化到两个正方形上，可以把它们都变换到哈尔小波域上表示。这样，优化目标就变成了:
这里Et和Gt是小波系数，Ψt是基函数。首先保留99.5％的能量来对{Gt}进行预计算。矩阵G在小波域上只有几百兆，这不光方便了存储，同时也极大提高了计算效率。在计算得到{Et}后，小波系数被重新变换到空间域上从而得到环境光照E。
2.6法向量优化
法向量{n(x)}同样与渲染结果相关。为了约束法向量的过高的自由度，除了与图像的一致性外，还加入平滑性PS和可积性PC来约束法向量的自由度。PS和PC定义如下：
对于法向量n(x)进行逐点的优化。对于每个点x，目标函数如下：
其中，Rx代表点x的一环邻接点，y0,y1是Rx中的直接连通的两点，A(Rx)表示点x的一环邻接点与x构成的三角形面积。
将法向量n在局部坐标系下进行参数化，将法向量n表示为一个2维向量(u,v)T，使得在每次迭代中，通过计算Δu和Δv来更新相应的法向量n。
3.对优化结果进行后处理：为了将所得的灰度图转换为RGB图像，将原始的RGB图像作为输入，重新计算每个点集的聚类的RGB的双向反射函数，并通过求解一个非负的最小二乘问题，将每个点的材质表示为多个双向反射函数的线性组合。最终，获得了包括每个点的法向量与材质的物体网格，可以用于不同视点和光照下的渲染。
实施例
在一台配备Intel i7 4790K CPU的台式计算机实现了本发明的实施实例。实施中使用具体实施方式中提及的参数设置，得到了附图2中的结果。
用大小以及材质不同的各种物体来测试本方法的原型系统。结果表明，本发明对球形的多种材质的圣诞球、镜面反射区域较大的茶壶、法向量复杂的皮包，都可以得到满意的结果。所需采集处理时间平均为40分钟。
Claims (3)
1.一种基于Kinect设备的材质外观采集方法，其特征在于，包括以下步骤：
(1)物体几何与RGB图像的采集：使用Kinect融合方法来采集物体的几何信息，对Kinect RGB摄像机同时拍摄的图像序列进行预处理；
(2)对相机方位、双向反射分布函数BRDF、环境光照和物体法向量的联合优化：交替对相机方位、BRDF、环境光照和物体法向量进行迭代求解，求解的目标是在当前环境光照下，按照当前相机方位渲染出的物体图片和实拍RGB图像之间的差异最小化；该步骤包括以下子步骤：
(2.1)初始化：将Kinect融合获得的相机方位沿局部坐标系的x轴平移2.5厘米作为初始相机方位；依据每个点在各个图像上的最小的灰度值对输入点进行聚类；假设每个点都具有完美镜面反射分量，将每个点对应的图像灰度值投射到环境中，从而计算出初始的环境光照；对点的法向量进行平滑处理；
(2.2)优化目标：优化目标如下所示：
<mrow>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mrow>
<mo>{</mo>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
<mo>}</mo>
<mo>,</mo>
<msub>
<mrow>
<mo>{</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mo>,</mo>
<mi>n</mi>
<mo>}</mo>
</mrow>
<mi>x</mi>
</msub>
<mo>,</mo>
<mi>E</mi>
</mrow>
</munder>
<msub>
<mi>&lambda;</mi>
<mi>I</mi>
</msub>
<msub>
<mi>P</mi>
<mi>I</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>S</mi>
</msub>
<msub>
<mi>P</mi>
<mi>S</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>C</mi>
</msub>
<msub>
<mi>P</mi>
<mi>C</mi>
</msub>
</mrow>
其中λI、λS和λC是各个优化目标的权重，j是图像的序号，Tj是从全局坐标系转换到图像Ij对应的相机局部坐标系的4x4变换矩阵，E是环境光照，fr是BRDF，n是物体表面法向量，PI是光度一致性项，即物体的渲染结果与输入图像的差异程度，它被定义为：
<mrow>
<msub>
<mi>P</mi>
<mi>I</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>j</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>&Element;</mo>
<msub>
<mi>X</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&omega;</mi>
<mi>o</mi>
</msub>
<mo>;</mo>
<mi>x</mi>
<mo>,</mo>
<mi>E</mi>
<mo>,</mo>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
这里Ij(x,Tj)代表点x在图像Ij上对应的灰度值，L(ωo；x,E,Tj)代表点x在环境光照E下的渲染结果，ωo为观察方向；
Ps/Pc是几何项，它们只与物体表面法向量的优化相关，代表着物体表面的平滑性与物体法向量的可积性，定义如下：
<mrow>
<msub>
<mi>P</mi>
<mi>S</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mi>y</mi>
<mo>&Element;</mo>
<msub>
<mi>R</mi>
<mi>x</mi>
</msub>
</mrow>
</msub>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mi>y</mi>
<mo>&Element;</mo>
<msub>
<mi>R</mi>
<mi>x</mi>
</msub>
</mrow>
</msub>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msub>
<mi>P</mi>
<mi>C</mi>
</msub>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mi>x</mi>
</munder>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<mi>A</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>R</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mfrac>
<munder>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>&Element;</mo>
<msub>
<mi>R</mi>
<mi>x</mi>
</msub>
</mrow>
</munder>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&CenterDot;</mo>
<mfrac>
<mrow>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>y</mi>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，Rx代表点x的一环邻域，y0,y1是Rx中的直接连通的两点，A(Rx)表示点x的一环邻接点与x构成的三角形环的总面积；
(2.3)相机方位优化：通过高斯牛顿法最小化优化目标中的PI项，来优化每张图像的相机变换矩阵Tj，获得最接近输入图像的物体渲染结果；
(2.4)材质优化：材质优化分为两步，首先依据之前对所有点的聚类结果的每一个类，依据当前估测的相机方位、环境光照和法向量结合输入图像来优化其对应的BRDF；然后，将每个点重新分配到使得该点的渲染结果和图像的欧氏距离最小的类中；
(2.5)环境光照优化：根据当前估测的相机参数和每个点的BRDF、法向量，依据通用渲染方程，并利用环境光照在哈尔小波域上的稀疏性，使用稀疏最小二乘求解器来解出环境光照在哈尔小波域上的系数；最后，将小波域上的结果变换回空间域上；
(2.6)法向量优化：使用高斯牛顿法最小化目标函数来优化更新法向量；
(2.7)交替进行步骤(2.3)-(2.6)，直至目标函数收敛或者用户指定的循环次数已经达到
(3)对优化结果进行后处理。
2.根据权利要求1所述基于Kinect设备的材质外观采集方法，其特征在于，所述步骤(1)包括以下子步骤：
(1.1)使用Kinect融合方法采集物体的几何信息；
(1.2)停止对物体几何信息的更新，并开始通过Kinect上的RGB摄像机采集RGB图像并记录每张图像对应的相机方位；
(1.3)预处理：对于采集到的每张RGB图像进行模糊滤波，将模糊滤波后的图像和原始图像相比来计算其模糊度；在整个RGB图像序列中，选取模糊度最小的前20％并且被测物体处于图像中央的图像作为输入图像序列，然后将其转换为灰度格式；在物体网格上随机采点，作为输入点。
3.根据权利要求1所述基于Kinect设备的材质外观采集方法，其特征在于，所述步骤(3)具体为：将原始的RGB图像作为输入，重新计算每个聚类的BRDF的RGB三通道版本，并通过求解一个非负的最小二乘问题，将每个点的材质表示为聚类BRDF的线性组合，最终获得随空间变化不同聚类BRDF权重的材质贴图以及法向量贴图，可以用于全新视点和光照下的渲染。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510163379.2A CN104866861B (zh) | 2015-04-08 | 2015-04-08 | 一种基于Kinect设备的材质外观采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510163379.2A CN104866861B (zh) | 2015-04-08 | 2015-04-08 | 一种基于Kinect设备的材质外观采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104866861A CN104866861A (zh) | 2015-08-26 |
| CN104866861B true CN104866861B (zh) | 2018-01-30 |
Family
ID=53912682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510163379.2A Active CN104866861B (zh) | 2015-04-08 | 2015-04-08 | 一种基于Kinect设备的材质外观采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104866861B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056658B (zh) * | 2016-05-23 | 2019-01-25 | 珠海金山网络游戏科技有限公司 | 一种虚拟对象渲染方法及装置 |
| CN108447085B (zh) * | 2018-02-11 | 2022-01-04 | 浙江大学 | 一种基于消费级rgb-d相机的人脸视觉外观恢复方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819864A (zh) * | 2012-08-14 | 2012-12-12 | 北京航空航天大学 | 基于光度图的几何与表面材质的重建方法 |
| CN103035025A (zh) * | 2012-12-28 | 2013-04-10 | 浙江大学 | 基于brdf实测数据的材质高真实感渲染算法 |
| CN103247070A (zh) * | 2013-04-22 | 2013-08-14 | 浙江大学 | 一种基于预计算转移张量的交互重光照真实感渲染方法 |
| CN103955958A (zh) * | 2014-04-11 | 2014-07-30 | 浙江大学 | 一种基于Kinect设备的交互式材质外观采集方法 |
-
2015
- 2015-04-08 CN CN201510163379.2A patent/CN104866861B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819864A (zh) * | 2012-08-14 | 2012-12-12 | 北京航空航天大学 | 基于光度图的几何与表面材质的重建方法 |
| CN103035025A (zh) * | 2012-12-28 | 2013-04-10 | 浙江大学 | 基于brdf实测数据的材质高真实感渲染算法 |
| CN103247070A (zh) * | 2013-04-22 | 2013-08-14 | 浙江大学 | 一种基于预计算转移张量的交互重光照真实感渲染方法 |
| CN103955958A (zh) * | 2014-04-11 | 2014-07-30 | 浙江大学 | 一种基于Kinect设备的交互式材质外观采集方法 |
Non-Patent Citations (2)
| Title |
|---|
| Efficient Isotropic BRDF Measurement;W.Matusik 等;《Eurographics Symposium on Rendering，2003》;20030627;241－247 * |
| Shape and Spatially-Varying BRDFs From Photometric Stereo;Dan B Goldman 等;《Computer Vision,2005,ICCV 2005》;20051020;341-348 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104866861A (zh) | 2015-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104952063B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
| CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| Lensch et al. | Image-based reconstruction of spatially varying materials | |
| Bernardini et al. | The 3D model acquisition pipeline | |
| US6903738B2 (en) | Image-based 3D modeling rendering system | |
| Patow et al. | A survey of inverse rendering problems | |
| Debevec et al. | Estimating surface reflectance properties of a complex scene under captured natural illumination | |
| CN107525588A (zh) | 一种基于gpu的双相机光谱成像系统的快速重构方法 | |
| Oxholm et al. | Shape and reflectance estimation in the wild | |
| JP2004133888A (ja) | ３ｄオブジェクトをモデル化する方法 | |
| JP2004252935A (ja) | ３ｄオブジェクトをモデル化する方法 | |
| US20230027890A1 (en) | Systems and methods for physically-based neural face shader via volumetric lightmaps | |
| Yu et al. | Outdoor photometric stereo | |
| CN104866861B (zh) | 一种基于Kinect设备的材质外观采集方法 | |
| CN103955958B (zh) | 一种基于Kinect设备的交互式材质外观采集方法 | |
| Liao et al. | Indoor scene reconstruction using near-light photometric stereo | |
| Walton et al. | Synthesis of environment maps for mixed reality | |
| JP2004164571A (ja) | ３ｄオブジェクトをモデル化する方法 | |
| Schlick et al. | A progressive ray-tracing-based radiosity with general reflectance functions | |
| Robles-Kelly et al. | Estimating the surface radiance function from single images | |
| MacDonald et al. | Modelling the appearance of heritage metallic surfaces | |
| Boss et al. | Single image brdf parameter estimation with a conditional adversarial network | |
| Ngan | Acquisition and modeling of material appearance | |
| Lee et al. | Evaluation of synthetic data for deep learning stereo depth algorithms on embedded platforms | |
| Zheng et al. | An extended photometric stereo algorithm for recovering specular object shape and its reflectance properties |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |