CN102819864B - 基于光度图的几何与表面材质的重建方法 - Google Patents

Abstract

本发明提供一种基于光度图的几何与表面材质的重建方法，该方法包括如下步骤：（1）材质分割，构造初始化材质权重图，估计Diffuse Albedo。（2）估计表面法向量图。（3）使用Alternating-Constrained-Least-Square方法迭代求解法向量和构建BRDF（bidirectional reflectance distribution function）材质基。（4）增强深度场。以法向量图为基础，通过解Poisson方程得到最小二乘的表面深度信息。本发明可以可靠的从一组已知光照条件的图片序列中，自动恢复出图中物体的不同材质区域、材质属性，以及表面深度信息，对其快速的进行三维重建。

Description

基于光度图的几何与表面材质的重建方法

技术领域

本发明属于计算机虚拟现实的技术领域，具体地说是涉及一种基于光度图的几何与表面材质的重建方法，其从单视点下拍摄的已知光源的图片序列中重建物体表面的法向量、BRDF(Bidirectional Reflectance Distribution Function)材质基和权重图，该方法可以用于重建三维物体的几何和表面材质。

背景技术

近些年来从图片序列中重建真实材质组成的场景一直吸引着研究者们的目光。重建真实场景问题的核心是如何构建一个模型来恢复整个光场，这意味着可以预测任意给定的光照条件下物体的反射形态。通常解决这类问题的方法包含两个步骤：第一，使用图形学中的几何方法来恢复物体的三维形状以及表面的法向量朝向；第二，标定光源，在不同光源下采集照片，然后选择一个BRDF模型，优化模型参数使其匹配采集数据，参见Herbort S,C:An introduction to image-based 3D surface reconstruction and a survey of photometricstereo methods.3D Res 2011,02(03004):1–18。这类方法往往需要使用特殊的仪器，例如三维扫描仪或者矩阵光照，因此代价非常昂贵，参见P.Fechteler,P.Eisert,J.Rurainsky(2007)Fast and high resolution 3d face scanning,ICIP'07,3:81–84,doi:http://dx.doi.org/10.1109/ICIP.2007.4379251。并且这类方法往往需要一个匹配过程，来将照片上的每一个像素与三维模型上的点一一对应起来。与几何方法相反，立体光度视觉场提供了一个更加简洁的解决方法，它仅仅需要一组研究者已知光照条件的照片。

但是，光度图方法的效果对漫反射初值的估计和表面材质的划分有着非常高的要求。初始的漫反射值用于预测特定光照条件下的初始法向量图，和基础BRDF材质基。表面材质的划分用于提供一个基础材质的初始权重图。光度图方法的第二个问题是，当每个像素上基础材质的权重可以为任意时，物体表面的法向量时高度缺乏约束，参见H.P.A.Lensch,J.Kautz,M.Goesele,W.Heidrich,and H.P.Seidel.Image-based reconstruction of spatialappearance and geometric detail.ACM Trans.Graph.,22(2):234–257,2003。这将导致法向量图的估计十分困难，并且很容易使整个算法的优化过程收敛到一个错误的局部解中。

在早期的研究工作中，Woodham(参见R.Woodham.Photometric method for determiningsurface orientation from multiple images.Optical Engineering,19(1):139–144,January 1980.)和Silver(参见W.M.Silver.Determining Shape and Reflectance Using Multiple Images.Master’sthesis,MIT,1980.)提出了强烈的假设，关于使用特别的BRDF知识或者简单的参数化模型(通常是Lambertian模型，参见Ngan,A.,Durand,F.,and Matusik,W.2005.Experimentalanalysis of brdf models.In Eurographics Symposium on Rendering,117--126.)来重建物体表面。

Hertzmann和Seitz(参见A.Hertzmann and S.M.Seitz.Shape and materials by example:Aphotometric stereo approach.In CVPR,2003，A.Hertzmann and S.M.Seitz.Example-basedphotometric stereo:Shape reconstruction with general,varying brdfs.PAMI,27(8):1254–1264,2005.)提出了一种不同的想法，他们使用一种与真实物体具有相似反射属性的参考物体，并把参考物体放置到场景中，与真实物体一起拍摄。他们提出的这种思想的基本理念被称为方向一致性，就是说在特定的情况下，在照片上，具有相同表面朝向的两个点具有相同或者相似的反射表现。这个理念非常的简洁和有效，并且对任意BRDF都适用，但是需要与目标物体材质一样的参考物体。这种方法对空间分布的BRDF也能很好的处理，它假设物体表面上每一个点都是一组基础参考材质的线性组合。

沿着物体表面的每一个点的反射属性可以用一组基础BRDF材质的线性组合来表示这种观点，Goldman(参见D.Goldman et al.Shape and spatially-varying brdfs from photometricstereo.In ICCV,2005.)迭代的依次求解基础BRDF基和表面法向量朝向，以此来摆脱对参考材质的依赖。他们的方法假设每种材质都使用各向同性的Ward模型，模型的参数是估计的。为了准确的估计表面的法向量，Goldman提出了一种离散搜索的方法来从渲染的虚拟材质球上搜索合适的法向量。

除此之外，新的模型也被逐渐引入光度图方法中。Alldrin提出一种崭新的二值各向异性模型用于采集通用的非参数化表面，参见N.Alldrin,T.Zickler,and D.Kriegman,Photometric stereo with non-parametric and spatially-varying reflectance.In Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition(CVPR),2008.。Higo描述了一种光度图方法来采集非Lambertian漫反射现象，参见Higo,T.,Matsushita Y.,et al.:Consensusphotometric stereo.In:IEEE International Conference on Computer Vision and PatternRecognition(2010)。

发明内容

本发明要解决的技术问题为：克服现有技术的不足，提供一种基于光度图方法的几何与表面材质的重建方法，该方法从已知光照情况的一组照片序列中重建目标物体的几何与材质基，重建速度快，且重建结果逼真准确。

本发明解决上述技术问题的技术方案为：一种基于光度图的几何与表面材质的重建方法，从已知光照情况的一组照片序列中恢复几何与材质基的过程，其特征在于步骤如下：

步骤(1)、对所述照片序列中的像素，利用RGB颜色空间到HSV颜色空间的变换，对像素的颜色值聚类；

步骤(2)、选择不同光照下同一像素空间中最合适的点，进行材质划分，构造初始化材质权重图，估计初始漫反射材质属性(Diffuse Albedo)；

步骤(3)、保持步骤(2)得到的权重图和Diffuse Albedo不变，使用漫反射的颜色值作为阈值过滤掉高光的像素；

步骤(4)、使用Brute-Force方法列举所有的光源组合，利用Woodham的Lambertian-Photometric-Stereo方法计算表面朝向，然后选择Root-Mean-Square误差最小的结果作为初始的法向量；使用Alternating-Constrained-Least-Square方法迭代求解法向量和构建BRDF材质基；

步骤(5)、固定步骤(1)、步骤(4)得到的法向量和权重图，利用Levenberg-Marguardt方法优化每一种材质的BRDF模型；

步骤(6)、固定步骤(5)得到的BRDF的材质基，使用离散搜索方法，将法向量的自由度约束到一维，根据BRDF材质基，在渲染不同光照下的材质球图片上，搜索最合适的法向量和材质权重；若步骤(6)得到的法向量方向已经收敛，则重新将法向量自由度释放为三维，使用Levenberg-Marguardt方法优化法向量和材质权重；

步骤(7)、增强深度场：以步骤(6)得到的法向量图为基础，通过解Poisson方程得到最小二乘误差的表面深度信息。

进一步的，所述步骤(1)中颜色空间的变换方法，其步骤为：每一个像素进行颜色空间转换时，对于照片上的每一个像素ρ，首先同时计算该像素所在位置的n种光照情况下的像素集合P，将其颜色值从RGB颜色空间P_RGB转换到HSV颜色空间P_HSV，然后剔除V通道上的能量，使用参数(H,S)进行聚类，得到一张深度为n的HSV空间颜色图。

进一步的，所述的步骤(2)中估计初始Diffuse Albedo，其步骤为：高光的像素ρ往往在H和V通道上有更大的能量，第一重搜索中，搜索该点的像素集合P中H通道能量最小的点，得到点集P’，则此点集中的像素都不是高光点；其次，在该点集P’中，搜索V通道上能量最大的点，则此点不是阴影点；同一种材质的像素，在非高光和非阴影时，H和S通道值相似，此时利用步骤(1)中HSV空间颜色图，设置合适阈值，进行材质分割，生成多材质权重图；用同一种材质的HSV空间颜色值的平均值，作为该材质的颜色初始值。

进一步的，所述的步骤(4)具体为：使用一种Brute-Force方法，对于照片上某一位置的像素ρ_i，列举所有可能的光照组合L，对于每一种光照情况L_j，利用Woodham的光度图方法，计算其法向量n_i，j，将n_i，j代入BRDF模型中，计算其与P集合的最小二乘误差e_i，j，最终得到像素ρ_i的误差集合E_i，选择E_i中最小的E_min，将E_min对应的n_i，j作为法向量的初值，避免了光源方向线性相关以及高光和阴影引起的误差。

本发明的原理在于：

基于光度图的几何与表面材质的重建方法。(1)材质分割，构造初始化材质权重图，估计Diffuse Albedo。利用RGB颜色空间到HSV颜色空间的变换，对像素的颜色值聚类，然后选择不同光照下同一像素空间中最合适的点，进行材质划分和初始Diffuse Albedo估计。(2)估计表面法向量图。保持第一步得到的权重图和漫反射材质属性不变，使用漫反射的颜色值作为阈值过滤掉高光的像素。使用Brute-Force方法列举所有的光源组合，利用Woodham的Lambertian-Photometric-Stereo方法计算表面朝向，然后选择Root-Mean-Square误差最小的结果作为初始的法向量。(3)使用Alternating-Constrained-Least-Square方法迭代求解法向量和构建BRDF(Bidirectional Reflectance Distribution Function)材质基。固定法向量和权重图，利用Levenberg-Marguardt方法优化每一种材质的BRDF模型；固定BRDF的材质基，使用离散搜索方法，将法向量的自由度约束到一维，根据BRDF材质基，在渲染不同光照下的材质球图片上，搜索最合适的法向量和材质权重；若得到的法向量方向已经收敛，则重新将法向量自由度释放为三维，使用Levenberg-Marguardt方法优化法向量和材质权重。(4)增强深度场。以法向量图为基础，通过解Poisson方程得到最小二乘的表面深度信息。本发明可以可靠的从一组已知光照条件的图片序列中，自动恢复出图中物体的不同材质区域、材质属性，以及表面深度信息，对其快速的进行三维重建。

本发明与现有技术相比的优点在于：

(1)、本发明基于立体光度视觉理论，从单视点下的照片序列中恢复物体的几何与表面反射属性，利用RGB颜色空间与HSV颜色空间的性质，通过颜色空间转换，材质划分计算速度快，材质BRDF模型重建可靠性高。

(2)、发明一种两重形态的物体表面朝向计算算法，根据人类观察习惯，在优化的不同阶段自动变化优化方法。使用离散搜索的方法，将法向量的自由度约束到一维，根据BRDF材质基，在渲染不同光照下的材质球图片上，搜索最合适的法向量和材质权重；若得到的法向量方向已经收敛，则重新将法向量自由度释放为三维，使用Levenberg-Marguardt方法优化法向量和材质权重。最大程度提高了结果的可靠性。

(3)、本发明通过在几何初始化时的Bruit-Force算法，提高了初始结果的准确性，是一种快速的表面几何重建算法，进一步提高了目标物体重建的可靠性。

附图说明

图1为本发明方法的流程图；

图2为本发明中颜色空间变化算法的示意图；

图3为本发明中双重形态优化算法的示意图；

图4为本发明总体效果示意图；

图5为本发明的细节展示效果示意图。

具体实施方式

如图1所示，本发明为基于光度图的几何与表面材质的重建方法，从已知光照情况的一组照片序列中恢复几何与材质基的过程，其特征在于步骤如下：

(1)、首先，对图片序列中的像素，利用RGB颜色空间到HSV颜色空间的变换，对像素的颜色值聚类。每一个像素进行颜色空间转换时，对于照片上的每一个像素ρ，首先同时计算该像素所在位置的n种光照情况下的像素集合P，将其颜色值从RGB颜色空间P_RGB转换到HSV颜色空间P_HSV，方法参见D.Goldman et al.Shape and spatially-varying brdfs fromphotometric stereo.In ICCV,2005。然后剔除V通道上的能量，使用参数(H,S)进行聚类，得到一张深度为n的HSV空间颜色图。

(2)、选择不同光照下同一像素空间中最合适的点，进行材质划分，构造初始化材质权重图，估计初始Diffuse Albedo。高光的像素ρ往往在H和V通道上有更大的能量，第一重搜索中，搜索该点的像素几何P中H通道能量最小的点，得到点集P’，则此点集中的像素都不是高光点；其次，在该点集P’中，搜索V通道上能量最大的点，则此点不是阴影点。同一种材质的像素，在非高光和非阴影时，H和S通道值相似，此时利用步骤(1)中HSV空间颜色图，设置合适阈值，进行材质分割，生成多材质权重图；用同一种材质的HSV空间颜色值的平均值，作为该材质的颜色初始值。

(3)、保持(2)得到的权重图和漫反射材质属性不变，使用漫反射的颜色值作为阈值过滤掉高光的像素。

(4)、使用Brute-Force方法列举所有的光源组合，利用Woodham的Lambertian-Photometric-Stereo方法计算表面朝向(参见R.Woodham.Photometric method fordetermining surface orientation from multiple images.Optical Engineering,19(1):139–144,January 1980.)，然后选择Root-Mean-Square误差最小的结果作为初始的法向量。该方法避免了光源方向线性相关以及高光和阴影引起的误差，其步骤为：对于照片上某一位置的像素ρ_i，列举所有可能的光照组合L，对于每一种光照情况L_j，利用Woodham的光度图方法，计算其法向量n_i，j，计算法向量的方法如下：假设照片上第i个点在第j盏灯下的反射模型为e_i，j＝σ_i，jmax{0，n′_il_j}，其中σ_i，j是反射属性，即漫反射diffuse，假设已知的三盏灯的朝向构成向量为l₁＝[l₁，x，l₁，y，l₁，z]′,l₂＝[l₂，x，l₂，y，l₂，z]′,l₃＝[l₃，x，l₃，y，l₃，z]′，假设σ_i为σ_i，j的统一漫反射属性，则反射模型为E_i＝σ_imax{0，Ln′_i}，那么σ_in′_i＝L^-1E₁，即将n_i，j代入BRDF模型中，计算其与P集合的最小二乘误差e_i，j，最终得到像素ρ_i的误差集合E_i，选择E_i中最小的E_min，将E_min对应的n_i，j作为法向量的初值。

使用Alternating-Constrained-Least-Square方法(参见N.Alldrin,T.Zickler,and D.Kriegman,Photometric stereo with non-parametric and spatially-varying reflectance.InProceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2008.)迭代求解法向量和构建BRDF材质基的过程如步骤(5)、(6)。

(5)、固定(1)、(4)步骤得到的法向量和权重图，利用Levenberg-Marguardt方法最小化本反射模型与采集数据的L2误差。假设k为BRDF材质基中材质的数量，则可以用带约束的最小二乘LM方法来优化如下的目标公式使服从x_i，d≥0。x_i∈R^d是一个向量将第k个BRDF基的第i个参数进行编码。

(6)、使用一种两重形态的物体表面朝向计算算法，根据人类观察习惯，在优化的不同阶段自动变化优化方法。固定步骤(5)得到的BRDF的材质基，首先预处理每种材质的BRDF模型，使用离散采用的方法将BRDF值绘制在一个虚拟的球上，得到k个BRDF材质在n个灯下的球图片。这种离散搜索方法，将法向量的自由度约束到一维，根据BRDF材质基，在渲染不同光照下的材质球图片上，搜索最合适的法向量和材质权重。假设表示第m种材质球在第j种光照条件下的反射现象，n为光源的个数，则此步骤中我们需要优化目标公式此步骤的目的是同时优化法向量和材质权重，方法是在所有可能的材质球上搜索合适的法向量。当在第m种材质球上遇到反射模型和采集数据的L2误差最小的法向量，则认为此法向量是最合适的，同时把该点的材质权重分布改为第m种材质。步骤(6)得到的法向量方向已经收敛，则在此步骤中重新将法向量自由度释放为三维，使用Levenberg-Marguardt方法优化法向量和材质权重，目标公式如为服从于0≤w_i≤1，其中项Q_w＝||Σ|w_i|-1||²将材质权重的绝对值的和约束为1，最大程度提高了结果的可靠性。如果超过3中以上的BRDF材质基中材质线性相关，则每个像素的材质权重分布不是唯一的。当这种情况出现时，算法将优先使用较少的材质数量来组合权重。算法设定了root-mean-square误差的下限，当某个像素的权重在单材质下误差低于下限时，不会继续使用多材质的组合来组合权重，而是权重固定为单一材质。

(7)、增强深度场。以(6)步骤得到的法向量图为基础，通过解Poisson方程得到最小二乘误差的表面深度信息。对于某一点的法向量{n_x，n_y，n_z}，算法优化高度场z(x，y)，参见D.A.Forsyth and J.Ponce.Computer Vision:A Modern Approach.Prentice Hall,2003.和E.Trucco and A.Verri.Introductory Techniques for 3-D Computer Vision.Prentice Hall,1998.。通过最小化公式 $\mathrm{\ψ}\left(z\right)={\mathrm{\Σ}}_{x,y}{(n_z\frac{\∂z(x,y)}{\∂x}+n_x)}^2+{\left(n_z\frac{\∂z(x,y)}{\∂y}{n}_y\right)}^2,$ 公式中使用近似值 $\frac{\∂z(x,y)}{\∂x}=(z(x+1,y)-z(x,y)),\frac{\∂z(x,y)}{\∂y}=(z(x,y+1)-z(x,y)).$

本发明所述的颜色空间变化相关算法效果如图2所示，图2上部是采集的整体图片，下部左边是分析的区域，分辨率为150*150，光源数量为36，共计像素810000个。可以看出经过颜色空间变化后，下部中间图片已经能够明显的用不同颜色区分不同材质，而下部右侧图片则通过颜色的深浅反映了不同材质的分布情况。

双重形态求解法向量相关算法的求解效果如图3所示。图3左侧图片是通过初始化算法后生成的初始化法向量图，通过RGB三种颜色对法向量在笛卡尔坐标系下的值进行了编码，已经初步反映了物体的表面朝向。使用离散搜索方法进行求解后，效果如图3中部图片，法向量过度变得平滑，算法开始收敛。使用LM优化，将法向量的自由度重新释放回3个维度后，法向量求解结果进一步准确。

如图4所示，采集的贝壳图片序列包括36张不同光源下的照片，分辨率为200*150，像素总计1080000。经过RGB颜色空间到HSV空间的变换算法求解初始漫反射值和权重，带约束的最小二乘优化方法求解BRDF材质基、法向量以及权重图后，得到优化的法向量图如左下图所示。根据法向量图恢复出的深度信息如右下图所示。最终恢复结果(右上)与原图(左上)对比，准确的恢复出了棱角的细节和阴影。如图5所示，贝壳恢复的细节从左至右为真实图片，重建图片和深度图片以及细节的对比。

总之，本发明可以可靠的自动配准多幅深度图像，通过搜索一致圈，去掉错误配准，得到一致的配准结果。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于光度图的几何与表面材质的重建方法，包括从已知光照情况的一组照片序列中恢复几何与材质基的过程，其特征在于步骤如下：

步骤(1)、对所述照片序列中的像素，利用RGB颜色空间到HSV颜色空间的变换，对像素的颜色值聚类；

所述步骤(1)中颜色空间的变换方法，其步骤为：每一个像素进行颜色空间转换时，对于照片上的每一个像素ρ，首先同时计算该像素所在位置的n种光照情况下的像素集合P，将其颜色值从RGB颜色空间P_RGB转换到HSV颜色空间P_HSV，然后剔除V通道上的能量，使用参数(H,S)进行聚类，得到一张深度为n的HSV空间颜色图；

步骤(2)、选择不同光照下同一像素空间中最合适的点，进行材质划分，构造初始化材质权重图，估计初始漫反射材质属性；

所述的步骤(2)中估计初始漫反射材质属性，其步骤为：高光的像素ρ往往在H和V通道上有更大的能量，第一重搜索中，搜索该点的像素集合P中H通道能量最小的点，得到点集P’，则此点集中的像素都不是高光点；其次，在该点集P’中，搜索V通道上能量最大的点，则此点不是阴影点；构造初始化材质权重图：同一种材质的像素，在非高光和非阴影时，H和S通道值相似，此时利用步骤(1)中HSV空间颜色图，设置合适阈值，进行材质分割，生成多材质权重图；用同一种材质的HSV空间颜色值的平均值，作为该材质的颜色初始值；

步骤(3)、保持步骤(2)得到的权重图和漫反射材质属性不变，使用漫反射的颜色值作为阈值过滤掉高光的像素；

步骤(4)、使用Brute-Force方法列举所有的光源组合，利用Woodham的Lambertian-Photometric-Stereo方法计算表面朝向，然后选择Root-Mean-Square误差最小的结果作为初始的法向量；使用Alternating-Constrained-Least-Square方法迭代求解法向量和构建BRDF材质基；

所述的步骤(4)具体为：使用一种Brute-Force方法，对于照片上某一位置的像素ρ_i，列举所有可能的光照组合L，对于每一种光照情况L_j，利用Woodham的光度图方法，计算其法向量n_i，j，将n_i，j代入BRDF模型中，计算其与P集合的最小二乘误差e_i，j，最终得到像素ρ_i的误差集合E_i，选择E_i中最小的E_min，将E_min对应的n_i，j作为法向量的初值，避免了光源方向线性相关以及高光和阴影引起的误差；

步骤(5)、固定步骤(1)、步骤(4)得到的法向量和权重图，利用Levenberg-Marguardt方法最小化本反射模型与采集数据的L2误差；

步骤(6)、固定步骤(5)得到的BRDF的材质基，使用离散搜索方法，将法向量的自由度约束到一维，根据BRDF材质基，在渲染不同光照下的材质球图片上，搜索最合适的法向量和材质权重；若步骤(6)得到的法向量方向已经收敛，则重新将法向量自由度释放为三维，使用Levenberg-Marguardt方法优化法向量和材质权重；

步骤(7)、增强深度场：以步骤(6)得到的法向量图为基础，通过解Poisson方程得到最小二乘误差的表面深度信息。