CN105608734A - 一种三维图像信息采集装置及其图像重建方法 - Google Patents

Abstract

本发明涉及三维摄像技术领域，具体涉及一种三维图像信息采集装置及其图像重建方法，本发明图像信息采集装置包括：一镜面，所述镜面的中设有第一区域，所述第一区域的中部设有第一摄像头，所述镜面上设有第一光源，所述第一光源的数量为四个以上，其分布于第一区域的外边缘上，且每个第一光源均为LED灯，所述第一摄像头用于对第一光源所发出的光信号进行采集；所述第一光源与第一摄像头均与控制单元相接，所述控制单元用于控制每个第一光源的在预定时间进行开关和控制第一摄像头在对应的时间内进行工作。本发明整体结构简单、速度快、工作稳定、精度高、体积小巧，能够为普通消费者所接受，具有广阔的市场前景。

Description

一种三维图像信息采集装置及其图像重建方法

技术领域

本发明涉及三维摄像技术领域，具体涉及一种三维图像信息采集装置及一种应用该三维图像信息采集装置的图像重建方法。

背景技术

随着各种支持3D输出和显示的终端产品的出现，对于3D内容的需求急剧增加，以三维人脸信息采集为例，获得人脸3D模型后，可进行虚拟动画设计、虚拟化妆、整容设计等诸多用途。而现有的3D人脸数据采集方式主要以3D扫描，如激光扫描，结构光扫描技术为主，相关产品结构较为复杂，虽然能够得到精确的三维信息，但其硬件成本和操作方法是普通用户难以承受和不易掌握的，因此需要一种低成本的、快速的、易用的3D人脸采集装置。

为此，人们提出了一种基于光度学的精确三维重建方法，光度学是3D视觉中的一种技术手段，其基本原理是通过不同方向的光源照射，通过相机拍摄，分析不同照射角度下物体的明暗信息变化恢复出表面的三维法向信息，进而得到表面三维形状，现有的光度学3D重建方法均采用了点光源或者平行光源的假设，即不考虑光源自身的发光特性，当物体距离光源较远或者光源本身符合平行光或者点光源特性时，现有方法可取得较好的3D重建效果，但这对光源自身要求较高，且为获得平行光，光源本身需要较大的体积，如采用LED阵列装置；其不能实现近距离的3D图像重建，装置整体体积较大，生产成本较高，使用也不方便。

发明内容

为克服上述缺陷，本发明的目的即在于提供一种三维图像信息采集装置及其图像重建方法。

本发明的目的是通过以下技术方案来实现的：

本发明是一种三维图像信息采集装置及方法，包括：一镜面，所述镜面的中设有第一区域，所述第一区域的中部设有第一摄像头，所述镜面上设有第一光源，所述第一光源的数量为四个以上，其分布于第一区域的外边缘上，且每个第一光源均为LED灯，所述第一摄像头用于对第一光源所发出的光信号进行采集；所述第一光源与第一摄像头均与控制单元相接，所述控制单元用于控制每个第一光源的在预定时间进行开关和控制第一摄像头在对应的时间内进行工作。

进一步，所述第一区域的中部还设有第二摄像头，所述第一区域的外边缘上还设有一个以上的第二光源，所述第二摄像头用于对第二光源所发出的光信号进行采集。

进一步，所述第一光源为红外LED灯，所述第一摄像头为红外摄像头。

进一步，所述第二光源为白光LED灯，所述第二摄像头为可见光摄像头。

进一步，所述第一区域为圆形，且第一、第二光源均匀的分布在其圆周的外侧上。

本发明一种应用如上所述的三维图像信息采集装置的图像重建方法，包括：

对第一摄像头的固有参数进行标定，并对第一光源的主光轴的方向进行估计，从而得到第一光源坐标；

根据第一光源的固有参数，建立发光坐标模型；

在将待成像物移至镜面前之后，依次控制每一个第一光源点亮并在预定时长后熄灭，并在第一光源点亮时，第一摄像头采集经过待成像物反射后的图像信息，得到与第一光源数量相等的图像信息；

将所有图像信息代入第一光源坐标中，得到原始三维图像数据；

根据发光坐标模型，对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据。

进一步，所述依次控制每一个第一光源点亮并在预定时长后熄灭，并在第一光源点亮时，第一摄像头采集相应的图像信息之后包括：

控制所有第二光源一同点亮，并在第二光源点亮时，第二摄像头采集经过待成像物反射后的图像信息，得到图像中每个坐标点的色彩信息。

进一步，所述对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据之后包括：

将图像中每个坐标点的色彩信息添加至重建后三维图像数据中，使其成为最终三维图像数据。

进一步，所述将待成像物移至镜面前包括：

将待成像物移至镜面前，并使待成像物在镜面中图像完全处于镜面的第一区域中。

进一步，所述根据发光坐标模型，对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据包括：

获取原始三维图像数据中每个坐标点的入射光方向和强度信息，将发光坐标模型中每个坐标点的入射光方向和强度信息与原始三维图像数据中每个坐标点进行迭代，得到重建后三维图像数据。

本发明提出了一种基于光度学的精确三维图像信息采集装置及方法，其不需要采用体积较大、距离较远的平行光源，即可完成精确的3D图像信息重建，从而实现整个装置的小型化，满足桌面式3D信息采集的需要。整体结构简单、速度快、工作稳定、精度高、体积小巧的显著优势，可用于人脸、个人物品的快速3D数字化，成本低，能够为普通消费者所接受，具有广阔的市场前景。

附图说明

为了易于说明，本发明由下述的较佳实施例及附图作详细描述。

图1为本发明图像信息采集装置的整体结构示意图；

图2为本发明中LED发光模型——g随半角变化示意图；

图3为本发明图像重建方法中的重建方案示意图；

图4为本发明图像重建方法中的工作流程示意图；

图5为本发明图像重建方法中的重建所得坐标与实际坐标转换关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明是一种三维图像信息采集装置，包括：

一镜面1，所述镜面1的中设有第一区域2，所述第一区域2的中部设有第一摄像头，所述镜面1上设有第一光源3，所述第一光源3的数量为四个以上，其分布于第一区域2的外边缘上，且每个第一光源3均为LED灯，所述第一摄像头用于对第一光源3所发出的光信号进行采集；所述第一光源3与第一摄像头5均与控制单元相接，所述控制单元用于控制每个第一光源3的在预定时间进行开关和控制第一摄像头5在对应的时间内进行工作。

进一步，所述第一区域2的中部还设有第二摄像头6，所述第一区域2的外边缘上还设有一个以上的第二光源4，所述第二摄像头6用于对第二光源4所发出的光信号进行采集。

进一步，所述第一光源3为红外LED灯，所述第一摄像头5为红外摄像头。除了红外LED灯外，第一光源3还可以采用近紫外光源，红光，绿光，蓝光，白光等光源，本发明优先采用红外LED灯是因为其可提高整个系统对于环境光线干扰的稳定性，并且可避免可见闪光对人眼的刺激，利于人脸成像。

进一步，所述第二光源4为白光LED灯，所述第二摄像头6为可见光摄像头。第二光源4用于彩色信息的拍摄补光，如果环境光线充分，可选择不打开，而直接以环境光线拍摄。

进一步，所述第一区域2为圆形，且第一、第二光源3、4均匀的分布在其圆周的外侧上。

下面以一具体的实施例对该三维图像信息采集装置的工作过程进行描述：

用户调整待成像物7姿态和位置，使得其图像大致处于该第一区域2中时，即可进行3D拍摄，待成像物7可包括人脸、物品等；然后控制模块控制红外LED灯3依次点亮和熄灭，红外LED灯3的同时输出第一相机触发信号，由红外摄像头5拍摄此光源照射下的待成像物7，如采用6个红外LED灯，则拍摄6次；完成后，有控制模块控制可见光白光LED灯4全部点亮，对待成像物7进行均匀的照射，通过触发可见光摄像头6拍摄彩色图像。本发明可用于人像和物品的三维立体成像，使用简单便捷。

本发明方案中使用到的几个重要模型：

1)朗伯反射模型：【模型1】

其中I_r表示反射光强，l表示光源出射方向，|L|表示光源出射光强，d表示出射点到入射点的距离，n则表示物体表面法向。三维建模过程中，朗伯模型是一种常用的反射模型，本发明亦以此为例进行说明。

2)LED光源的发光模型：I_θ＝I₀cos^g-1θ【模型2】

其中I₀表示主光轴上的出射光强，I_θ表示为各出射方向l与主光轴成θ夹角方向的出射光强，那么θ＝arccos(l_main*l)，不同规格的LED其模型亦不同，本发明以此模型为实例进行说明。其中g随LED有效半角的变化而变化,g随有效半角变化趋势如图2所示：

3)本发明提出的结合朗伯模型和LED发光模型的复合模型【模型3】结合朗伯模型与LED发光模型I_θ＝I₀cos^g-1θ。于是，当出射光与主光轴方向的夹角为θ时，那么，进而 $I_r=I_0{\left(l_{main}*l\right)}^{g-1})*\frac{l*n}{d^2}$

本发明方案中使用的几个重要方法：

1)图像坐标转换为相机坐标(也即本例的世界坐标)算法【算法1】假设已知某物体点在图像中的像素坐标为(u,v)以及相机焦距f，并且该物体点距离相机平面Z0平面的距离为Dist。那么根据相机透视成像模型：其中k在一定z向距离范围内可假设为一个常数，即在图像中像素距离与实际物理距离的放大倍数，假设该物体点对应相机坐标系的空间坐标为(x_o，y_o，z_o)。

2)计算物体各点入射光方向【算法2】与光源到物体各点距离【算法3】假设物体表面每点的坐标为,已知每个光源的坐标为那么每个点的入射光方向为 $L=(x_o-x_l^j,y_o-y_l^j,z_o-z_l^j),$ 归一化后得到单位方向向量【算法2】。对L取模可以得到距离d＝|L|【算法3】。各参数在系统中如图3所示。

请参看图4至图5，本发明一种应用如上所述的三维图像信息采集装置的图像重建方法，包括：

401.标定摄像头，估计主光轴

对第一摄像头的固有参数进行标定，并对第一光源的主光轴的方向进行估计，从而得到第一光源坐标；摄像头标定参数主要是焦距f，中心点u0,v0以及畸变参数，有了摄像头标定参数，我们才好建立图像坐标系，有了焦距，我们才好估算实际距离,

a)首先对相机内部参数进行标定，采用常规方法可获取相机的内部参数，如焦距F，中心点位置等参数。

b)如图3，以相机坐标系为世界坐标系，以相机光心为世界坐标系原点，假设单个LED灯主光轴上的出射光强为I₀，根据LED在装置上与相机的相对位置(初始假设LED主光轴方向垂直于LED封装平面，而LED模块在整个装置上的姿态、角度是可调和可测量的)，可估测出所有LED相对于相机的大致空间坐标主光轴方向j表示第j个LED。

c)光源坐标及主光轴方向计算与优化：

使用一个具有朗伯反射特性的平面物体(如白纸),将其放置在相机前方,姿态垂直于相机光轴,假设该平面与相机Z0平面的距离为Dist。依次控制LED灯明灭，并利用相机模块拍摄该平面在不同LED照射下的图像,得到图像I^j(u,v)。

使用以上提及的像素坐标到世界坐标系转换法【算法1】，可求得图像中每个像素点对应的空间坐标(x_o,y_o,z_o)。分别利用光源方向计算法【算法2】与光源物体距离算法【算法3】，计算每个像素点的光源方向l与该点到光源的距离d。

将以上估计与计算所得的主光轴方向和各点入射方向l与距离d代入光源方向复合模型【模型3】，可估计该平面法向n。

由于已知实验目标为平面，即其上各点法向均相同，当平面垂直于相机光轴时，其法向均指向相机光轴方向的Z的反方向，因此，我们可设置一个最小化能量方程(可对各点法向n做偏差积分)，以初始估计参数为待优化参数，以法向计算均方差最小为目标值，不断对上述初始估计参数进行优化。当能量方程最小化时表示所求平面最接近于真实平面。此时估计所得各值接近真实值。

其中，待估计参数有，各LED空间坐标LED主光轴方向

402.建立发光坐标模型

根据第一光源的固有参数，建立发光坐标模型；具体根据所采用的LED型号规格说明，由LED发光半角值建立发光坐标模型。

403.获得多组图像信息

将待成像物移至镜面前，并使待成像物在镜面中图像完全处于镜面的第一区域中，在待成像物的图像处于第一区域之后，依次控制每一个第一光源点亮并在预定时长后熄灭，并在第一光源点亮时，第一摄像头采集经过待成像物反射后的图像信息，得到与第一光源数量相等的图像信息；

下面以6组第一光源为例，进一步对其采集过程进行描述，具体为：通过控制模块控制6个红外LED灯顺序亮灭，每个灯点亮的同时，触发第一摄像头进行拍摄，这样可以获取6张分别有6个红外LED照射下的图片，假设物体在这个拍摄时间内保持不动(拍摄6张照片约0.2-0.3秒，因此这个假设是合理的，即使物体有些许晃动，对整个计算效果影响也不大)，那么每个物体点P(u,v)，我们可以得到其6个不同的亮度值，Ii(i＝1-6，i表示图像编号)，在标定步骤中，每个物体点/图像点，我们已经大致估计出其入射光方向值，Li(i＝1-6,i表示光源序号，等同于图像序号),入射光的强度值Ei，假设物体表面符合最简单的朗伯漫反射特性，我们就可以获得Ii＝Ei.k.n.Li，其中n表示法向，有2个未知数待求，我们有6组已知数据，因此可以简单的使用线性优化等方法求解法向值n。

404.获取色彩信息

在第一摄像头采集相应的图像信息之后，控制所有第二光源一同点亮，并在第二光源点亮时，第二摄像头采集经过待成像物反射后的图像信息，得到图像中每个坐标点的色彩信息。

405.生成原始三维图像数据

将所有图像信息代入第一光源坐标中，得到原始三维图像数据；

406.对三维图像数据迭代重建

根据发光坐标模型，对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据。在原始三维图像数据中只是大致估计出入射光的方向和强度，因为LED发光模型中，每个点的入射光方向和强度是与该点在空间中相对于光源的位置和角度相关的，同样也是和距离相关的，我们是无法预知每个点距离的，因此在步骤404中，我们采用的是平面近似的方法，即将目标物体假设近似为一个平面，从而大致估计出该参数，为了提高重建的精度，同时亦是考虑到物体表面可能存在较大的高低起伏，假设为平面就不太合理了，因此引入了迭代优化步骤，在步骤404中，虽然我们难以精确的求解出物体的高度值，但可以大致估计出，在此基础上，将3中求出的大致3D信息再用回到LED模型中，对每个图像点的入射光方向和强度进行迭代计算，直到迭代条件终止，达到进一步提高恢复的法向精度的目的。

下面对三维法向的重建的方法进行详细的描述：

a)首先将待测物体表面每点到相机Z0平面的距离初始化为Dist(即将物体摆放在预先标定距离附近，且先不考虑物体本身高低变化的影响)。那么根据像素坐标与相机坐标的关系【算法1】，可将物体表面坐标初始化为(ku,kv,Dist)。

b)根据步骤1中优化所得参数，LED空间坐标LED主光轴方向分别利用光源方向计算法【算法2】与光源物体距离算法【算法3】，计算每点的中光源方向l与该点到光源的距离d。

c)结合步骤2中计算所得的主光轴方向和b)中初始计算的各点入射光方向l与距离d，代入光源方向复合模型【模型3】，可对物体表面每个点的法向n进行初始估计。

d)根据初始估计的法向值，通过表面积分策略，可获得物体各点的相对三维形状(u,v,Z_dep),其中Z_dep表示物体各点相对于参考平面的深度信息。

e)将所求相对坐标转换为真实三维坐标

如图5所示，Z_dep显然不是一个真实深度信息，即(u,v,Z_dep)并不能反映物体真实大小，它只能反映出物体的相对形状。假设该点的真实深度信息为Z_real,那么物体的与真实形状可表示为(x,y,Z_real)。它与(u,v,Z_dep)存在一个缩放关系，缩放因子

同时，由于该点的真实深度信息为Z_real,那么根据本发明中Z_real的定义，该点三维坐标(x′_o,y′_o,z′_o)可表示为(x,y,Z_real+Dist)。由【算法1】可知，该空间坐标与像素坐标的关系可表示为

显然k₁＝k₂,存在关系如此可求得物体各点真实坐标(x′_o,y′_o,z′_o)

f)将e)步骤中所求三维坐标(x′_o,y′_o,z′_o)重新代入(b)～(e)进行迭代计算,直至距离z的变化趋于一个稳定的较小给定误差范围，迭代条件收敛。

g)根据迭代所得的最终三维法向信息，通过表面积分策略，可获取最终的精确的物体三维模型信息。

407.生成最终三维图像数据

在得到重建后三维图像数据之后，将图像中每个坐标点的色彩信息添加至重建后三维图像数据中，使其成为最终三维图像数据。由于第一、第二摄像头距离很近，因此不存在明显时差，我们可以简单的假设可见光图像的图像坐标和红外坐标是1-1对应的，或者给予简单的图像位移操作，就可以把彩色图像精确的映射到3D模型上，从而获取彩色3D模型。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维图像信息采集装置，其特征在于，包括：一镜面，所述镜面的中设有第一区域，所述第一区域的中部设有第一摄像头，所述镜面上设有第一光源，所述第一光源的数量为四个以上，其分布于第一区域的外边缘上，且每个第一光源均为LED灯，所述第一摄像头用于对第一光源所发出的光信号进行采集；所述第一光源与第一摄像头均与控制单元相接，所述控制单元用于控制每个第一光源的在预定时间进行开关和控制第一摄像头在对应的时间内进行工作。

2.根据权利要求1所述的三维图像信息采集装置，其特征在于，所述第一区域的中部还设有第二摄像头，所述第一区域的外边缘上还设有一个以上的第二光源，所述第二摄像头用于对第二光源所发出的光信号进行采集。

3.根据权利要求2所述的三维图像信息采集装置，其特征在于，所述第一光源为红外LED灯，所述第一摄像头为红外摄像头。

4.根据权利要求3所述的三维图像信息采集装置，其特征在于，所述第二光源为白光LED灯，所述第二摄像头为可见光摄像头。

5.根据权利要求4所述的三维图像信息采集装置，其特征在于，所述第一区域为圆形，且第一、第二光源均匀的分布在其圆周的外侧上。

6.一种应用如权利要求1所述的三维图像信息采集装置的图像重建方法，其特征在于，包括：

对第一摄像头的固有参数进行标定，并对第一光源的主光轴的方向进行估计，从而得到第一光源坐标；

根据第一光源的固有参数，建立发光坐标模型；

在将待成像物移至镜面前之后，依次控制每一个第一光源点亮并在预定时长后熄灭，并在第一光源点亮时，第一摄像头采集经过待成像物反射后的图像信息，得到与第一光源数量相等的图像信息；

将所有图像信息代入第一光源坐标中，得到原始三维图像数据；

根据发光坐标模型，对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据。

7.根据权利要求6所述的图像重建方法，其特征在于，所述依次控制每一个第一光源点亮并在预定时长后熄灭，并在第一光源点亮时，第一摄像头采集相应的图像信息之后包括：

控制所有第二光源一同点亮，并在第二光源点亮时，第二摄像头采集经过待成像物反射后的图像信息，得到图像中每个坐标点的色彩信息。

8.根据权利要求7所述的图像重建方法，其特征在于，所述对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据之后包括：

将图像中每个坐标点的色彩信息添加至重建后三维图像数据中，使其成为最终三维图像数据。

9.根据权利要求8所述的图像重建方法，其特征在于，所述将待成像物移至镜面前包括：

将待成像物移至镜面前，并使待成像物在镜面中图像完全处于镜面的第一区域中。

10.根据权利要求9所述的图像重建方法，其特征在于，所述根据发光坐标模型，对原始三维图像数据中相对应位置的数据进行迭代重建，得到重建后三维图像数据包括：

获取原始三维图像数据中每个坐标点的入射光方向和强度信息，将发光坐标模型中每个坐标点的入射光方向和强度信息与原始三维图像数据中每个坐标点进行迭代，得到重建后三维图像数据。