CN104778749B - 基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法 - Google Patents

Abstract

本发明公开了一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法。方法包括：对非朗伯物体的每一像素，提取出其在不同光源方向下的归一化强度，并对强度进行分组，利用分组稀疏的方法来实现高光检测，并最终完成法向恢复和三维重建。本发明充分利用了光源方向的结构信息，可以使用相对较少的光源数目实现复杂非朗伯物体的重建，从而可以以较低成本和较少的采集时间来实现具有不同反射特性的物体的重建。

Description

基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法

技术领域

本发明涉及用光度立体视觉技术恢复场景表面法向，可以在光源数量相对较少而待重建物体高光很强的情况下取得理想结果。

背景技术

光度立体视觉具有非接触，精度较高，对物体表面可以更好地恢复细节的特点。因此一直都是比较热门的研究方向并具有巨大的应用潜力。典型的光度立体视觉系统包括一个摄像机和若干个光源。在理想朗伯反射条件下，图像中像素点的强度满足：

其中ρ为场景表面反射率同相机相关的线性比例的乘积，n为场景表面法向，s为光源强度，l为光源方向。在数据采集过程中，光源依次点亮，相机采集不同光照方向下得到的图像，这样对于每一个像素就得到了一系列不同光照方向下的强度向量结合求得的光源方向和光源强度就可以恢复场景表面法向。

R.J.Woodham在文献【“Photometric method for determining surfaceorientation from multiple images,”Optical Engineering 19(1),139–144(1980).】中首次提出光度立体视觉技术来实现物体三维恢复，然而在该文献中物体表面反射仅仅假设为理想朗伯。对于实际的物体表面，往往会同时出现阴影和高光两种影响因素，其中阴影因具有较低的强度而相对容易判断。而受到物体自身颜色和法向等因素影响，高光和漫反射在强度上就较难区分。S.Ikehata,等人在文献【Robust photometric stereo usingsparse regression,”in Proceedings of IEEE Conference on Computer Vision andPattern Recognition,318–325,IEEE(2012).】中提出了基于高光分布稀疏的假设，给出了两种方法来求解稀疏模型，即基于一次模惩罚和利用稀疏贝叶斯学习的方法。其中利用贝叶斯学习的方法可以更好地近似稀疏模型，该方法对具有高光的物体取得了较好的结果。然而该文献中的方法并没有利用光源的结构信息，也没有利用反射的自身特性，因此需要使用的光源数量较多，当光源较少而物体本身具有较强的高光时则不能得到满意结果。

发明内容

本发明的目的在于针对现有光度立体视觉技术对强高光物体重建需要较多数量光源的问题，提供了一种对光源进行特殊排布并应用分组稀疏思想来实现光度立体视觉的方法。

本发明的目的是通过以下技术方案来实现的：一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法，该方法包括以下步骤：

(1)构建三维成像系统：所述三维成像系统包括摄像机、2M个光源和计算机，其中M＞3，摄像机与计算机相连，光源均匀分布在两个同心圆上，每个同心圆包含M个光源，摄像机位于同心圆圆心，摄像机视线与光源平面垂直；

(2)标定光源方向和强度，记光源方向矩阵为l_i为第i个光源归一化后的光源方向；

(3)将每个光源依次点亮并采集图像，最终采集得到2M个图像，利用步骤(2)标定的光源强度对采集的图像序列进行归一化，即对第i张图像除以第i个光源的光源强度s_i，最终得到2M张归一化后的图像；

(4)重建中，对每个像素进行处理，提取出每个像素在不同光源方向对应的归一化强度，得到强度向量强度向量O满足：

o＝L^Tn+e (1)

其中e为高光分量，n为场景表面法向；

(5)建立基于稀疏假设的优化模型，具体包括以下子步骤：

(5.1)根据光源排布将平面圆等分成M个扇形区间，每个光源落在扇形区间的对称轴上，利用强度向量o判断法向所处的区间；

(5.2)利用步骤(5.1)中得到的法向区间，推导出所有可能的高光组合每一个高光组合满足：对于共圆的M个光源，同法向区间接近的光源优先成为高光；

(5.3)对步骤(5.2)得到的所有可能的高光组合，去掉冗余组合得到最优的分组使其满足其中为的任意子集；

(5.4)利用步骤(5.3)得到的最优的分组建立优化模型：

其中Ω(e)为高光分量基于稀疏假设的惩罚项，为分组G中的第j个元素所对应的惩罚权值，e_j为第j个光源所对应的高光分量；

(6)求解步骤(5)得到的优化模型，得到法向结果：

(7)对所有像素重复步骤(4)-(6)得到所有像素的法向结果，并进行重建，最终得到物体的三维结构。

本发明的有益效果是，本发明在系统设计中使用了相对较少的光源数量，这样可以节省系统的搭建成本以及数据采集时间；本发明可以实现对表面反射具有较强高光的物体的高精度重建，有更广泛的应用范围。

附图说明

图1为本发明所用的光度立体视觉系统图；

图2为本发明确定强度向量分组的基本原理图；

图3为本发明实施例1对仿真数据进行重建的误差，三条曲线分别代表基于朗伯假设的方法，基于贝叶斯学习的方法和本发明方法；

图4为本发明实施例2的重建结果图；其中，(a)为待重建物体在自然条件下的照片；(b)为基于朗伯假设的重建结果图，(c)为基于贝叶斯学习的方法重建结果图：(d)为利用本发明方法得到的重建结果图。

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

本发明的系统图如图1，以M＝6即12个光源为例。数据采集过程中12个光源依次点亮，摄像机采集得到12张不同光源方向下的图像。在光源已完成标定的情况下，可以对得到的12张图像根据光源强度进行归一化。然后对图像中的每一个像素分别进行求解。对于图像上一待求解法向的像素，先在图像序列中提取出该像素所对应的强度向量o，根据强度向量的关系确定分组方式，建立基于分组稀疏的优化模型，通过求解优化方程得到最终法向n。在得到法向之后进一步实现三维重建。图2是分组关系确定方法示意图。本发明方法的具体步骤如下：

1、构建光度立体视觉成像系统，包括摄像机、2M个点光源和计算机。计算机用来采集摄像机数据。光源所确定平面与摄像机视线垂直，摄像机位于同心圆圆心。作为优选取M＝6。

2、标定光源方向和强度得到光源方向矩阵和光源强度向量

作为优选，本发明采用H.L.Shen和Yue Cheng在【Calibrating light sources byusing a planar mirror.Journal of Electronic Imaging,20(1),2011.】中的方法实现光源标定。

3、将每个光源依次点亮，得到不同光源方向下的图像。利用步骤2标定的光源强度对采集的图像序列进行归一化，即对第i张图像除以第i个光源的光源强度s_i。这样得到12张归一化后的强度图像。

4、对一待求解的像素点提取出图像序列中相对应的归一化强度向量o，则需要计算的法向n满足：

o＝L^Tn+e (1)

其中e为高光补偿项，对朗伯表面而言其数值为零，出现高光时其数值为一较大的非零值。特别地，高光分布具有一定的物理特性。定义光源方向和视线角分线为h，根据光照反射模型当且仅当h和n的夹角较小的时候可能出现高光，即

e＝f(h^Tn)(l^Tn) (2)

这里l为对应的光源方向，f(·)为一单调增函数，根据高光的这种性质结合特殊的光源分布，可以对每一像素的归一化强度向量根据其强度关系应用分组稀疏的方法来进行高光检测。

5、建立基于稀疏假设的优化模型，具体包括以下子步骤：

5.1、根据光源排布将平面圆等分成M个扇形区间，每个光源落在扇形区间的对称轴上，利用观测强度o判断法向所处的区间；

图2为12个光源在二维平面上的分布图，按照图1中的系统结构，光源方向l，角分线h也将同图2的光源方向排布相似，以两个同心圆的方式进行排布。根据这个特性结合公式(2)可以将二维平面空间分成图2中的6个区间，每个区间包含了两个光源，当法向落在某一区间中，该区间中所对应的两个光源下的强度分别为各自所在圆中6个光源所对应的强度的最大值。因此可以反过来通过强度来初步确定法向范围。作为优选，本发明分别计算每个区间中两个光源所对应的强度的乘积，得到6个乘积值，最大的乘积值所对应的区间即为法向分布区间。

5.2、利用步骤5.1中得到的法向区间，推导出所有可能的高光组合每一个高光组合满足：对于共圆的M个光源，同法向区间接近的光源优先成为高光；

根据公式(2)，对于共圆的M个光源，同法向区间接近的光源其角分线h同法向的夹角也较小，因此优先成为高光，即对于法向同光源角分线夹角而言当且仅当较小夹角所对应的光源全部为高光时，更大夹角的所对应的光源才可能为高光

5.3、对步骤5.2得到的所有可能的高光组合去掉冗余组合得到最优的分组使其满足

作为优选，本发明选择R.Jenatton等人在【Structured variable selectionwith sparsityinducing norms.Technical Report 0904.3523,arXiv,2009】中给出的方法。

5.4、利用得到的高光分组建立优化模型

其中Ω(e)为高光分量基于稀疏假设的惩罚项，为分组G中的第j个元素所对应的惩罚权值，作为优选取|·|表示集合的元素个数。e_j为第j个光源所对应的高光分量。

6、求解步骤5得到的优化模型，得到法向结果：

将该优化问题转化为二次锥优化问题进行非线性求解，得到该像素下的法向n。

7、对每一个像素重复4-6得到全部的法向结果，并进行重建，得到物体的三维结构。

作为优选，本发明采用Y.Cheng和H.L.Shen.在【Robust surface reconstructionfrom gradient fields.Electronics Letters,48(7):375–376,2012.】中的方法实现表面法向恢复。

本发明的有益效果是提供了一个新的基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法。现有的光度立体视觉方法中或者仅仅能对朗伯物体表面重建，或者需要较多的光源才能对反射特性较为复杂的物体进行重建。本发明由于充分利用高光的反射特性和光源的结构信息，可以在使用相对较少的光源的条件下实现对不同物体的法向恢复。

实施例1

如图3所示，对利用本发明方法实现的法向恢复精度同现有方法在仿真数据上进行对比，两种方法为基于朗伯假设的方法和使用贝叶斯学习的方法。仿真数据选择W.Matusik等人在【A data-driven reflectance model,ACM Transactions on Graphics22(3),759–769(2003).】中给出的MERL数据库中的100个材质利用Cook Torrance模型进行拟合。利用绘制后的图像进行法向恢复，同真实法向进行对比，计算角度误差。重建误差按照本发明中的误差由小到大进行重新排序，对绝大多数材质而言本发明方法优于传统方法。

实施例2

如图4所示，对一实际场景利用本发明方法实现三维重建并同传统方法进行对比。其中，(a)为待重建物体在自然条件下的照片；(b)为基于朗伯假设的重建结果图，(c)基于贝叶斯学习的方法重建结果图：(d)为利用本发明方法得到的重建结果图。从原始照片上可以发现该物体高光光斑较宽，具有较强的高光，因此基于朗伯假设的方法在高光处产生了很大的不合理偏置，而即使采用贝叶斯学习的方法进行高光检测也依然存在较大的不连续，而本发明的方法则得到了较为光滑的重建结果，和真实情况更加吻合。

以上仅为本发明具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims (1)

1.一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法，其特征在于，该方法包括以下步骤：

(1)构建三维成像系统：所述三维成像系统包括摄像机、2M个光源和计算机，其中M＞3，摄像机与计算机相连，光源均匀分布在两个同心圆上，每个同心圆包含M个光源，摄像机位于同心圆圆心，摄像机视线与光源平面垂直；

(2)标定光源方向和强度，记光源方向矩阵为l_i为第i个光源归一化后的光源方向；

(3)将每个光源依次点亮并采集图像，最终采集得到2M个图像，利用步骤(2)标定的光源强度对采集的图像序列进行归一化，即对第i张图像除以第i个光源的光源强度s_i，最终得到2M张归一化后的图像；

(4)重建中，对每个像素进行处理，提取出每个像素在不同光源方向对应的归一化强度，得到强度向量强度向量O满足：

o＝L^Tn+e (1)

其中e为高光分量，n为场景表面法向；

(5)建立基于稀疏假设的优化模型，具体包括以下子步骤：

(5.1)根据光源排布将平面圆等分成M个扇形区间，每个光源落在扇形区间的对称轴上，利用强度向量o判断法向所处的区间；

(5.2)利用步骤(5.1)中得到的法向区间，推导出所有可能的高光组合每一个高光组合满足：对于共圆的M个光源，同法向区间接近的光源优先成为高光；

(5.3)对步骤(5.2)得到的所有可能的高光组合，去掉冗余组合得到最优的分组使其满足其中为的任意子集；

(5.4)利用步骤(5.3)得到的最优的分组建立优化模型：

$\underset{e,n}{min}\left|\right|L^{T}n-o-e|{|}_2^2+\mathrm{\Ω}\left(e\right)---\left(2\right)$

其中Ω(e)为高光分量基于稀疏假设的惩罚项， 为分组G中的第j个元素所对应的惩罚权值，e_j为第j个光源所对应的高光分量；

(6)求解步骤(5)得到的优化模型，得到法向结果：

$n=\arg \underset{e,n}{min}\left|\right|L^{T}n-o-e|{|}_2^2+\mathrm{\Ω}\left(e\right)---\left(3\right)$

(7)对所有像素重复步骤(4)-(6)得到所有像素的法向结果，并进行重建，最终得到物体的三维结构。