CN106500626A - 一种手机立体成像方法及三维成像手机 - Google Patents

Abstract

一种手机立体成像方法及三维成像手机。手机采用包括拍摄模块的手机，所述方法是在所述手机上加装一投影仪并对拍摄模块和投影仪进行内外参数标定，所述投影仪产生条纹图像并将条纹图像投射到待由手机拍摄的对象上；再用所述手机拍摄待由手机拍摄的对象并得到被摄对象的条纹图像，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。所述三维成像手机还包括标定模块和投影仪，投影仪用于产生条纹图像并将条纹图像投射到待由手机拍摄的对象上，所述摄像机(2)用于拍摄并得到被摄对象的条纹图像，主处理器获取被摄对象的条纹图像并调取摄像机和投影仪的内外参数，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。

Description

一种手机立体成像方法及三维成像手机

技术领域

本发明涉及一种成像方法和成像装置，尤其涉及一种一种手机立体成像方法及三维成像手机。

背景技术

结构光测量技术具有非接触，精度高，测量速度快等优点，可用于三维模型重建、工业环境中的尺寸和形位参数的检测等，因此在虚拟现实、实物仿形、工业制造与检测、质量控制、医学整形和美容、文物保护等诸多领域都有着广阔的应用前景。

传统的单目光栅三维测量系统在对物体进行轮廓扫描时，处理耗时较长，且系统设备复杂不易携带，而手机平台上都装有摄像机，且能够安装有微型投影仪，但是目前没有手机装置可以利用这两个设备进行快速的三维测量。

发明内容

技术问题：本发明提供一种能够在手机上进行立体成像的手机立体成像方法及三维成像手机，能够实现对被测物体进行快速三维扫描的目的，简单便捷。

技术方案：本发明的技术方案如下：

本发明所述的一种手机立体成像方法，所述手机采用包括拍摄模块的手机，在所述手机上加装一投影仪并对拍摄模块和投影仪进行内外参数标定，所述投影仪产生条纹图像并将条纹图像投射到待由手机拍摄的对象上；再用所述手机拍摄待由手机拍摄的对象并得到被摄对象的条纹图像，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。

本发明所述的一种三维成像手机，所述三维成像手机为带有摄像机和主处理器的智能手机，所述三维成像手机还包括标定模块和投影仪，所述标定模块用于对摄像机和投影仪的内外参数进行标定，所述投影仪用于产生条纹图像并将条纹图像投射到待由手机拍摄的对象上，所述摄像机用于拍摄被投影后的被摄对象并得到被摄对象的条纹图像，所述主处理器获取被摄对象的条纹图像并调取摄像机和投影仪的内外参数，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。

与现有技术相比，本发明具有如下优点：

本发明可以利用手机平台对待测物体进行快速准确地三维轮廓测量，并通过屏幕显示出建立的三维轮廓模型：首先利用平面模板法标定投影仪和摄像机，获取内外参数。再利用投影仪投射光栅条纹，利用相位法得到的绝对相位值以及标定信息获得待测物体表面的三维点云信息，必要时还可以对于生成的点云数据进行网格化处理以及纹理映射操作，最终在屏幕上进行三维模型展示。

(1)本发明将传统复杂的单目三维测量系统嵌入手机平台中，使得三维模型的获取更加快捷，节省时间，即达到对测量物体实时扫描的功能，又可以方便携带；

(2)本发明在标定的过程中，由于摄像机和投影仪的位置已经在手机上固定，摄像机、投影仪的相对位置关系不变，所以只需要对三维测量系统进行一次标定，就可以进行反复的三维轮廓测量，降低了操作的复杂度，又保持较高的精度，满足在日常生活中运用的要求。

(3)本发明在三维建模可视化的过程中所提出的方法得到的结果都能较好地反应出物体表面的颜色、亮度等细节特征，三维实体可视化建模系统能够针对原始点云有效、准确、快速地构建出三维实体模型，得到的实体模型接近实物原型，符合视觉感受。

具体实施方式

实施例1

一种手机立体成像方法，所述手机采用包括拍摄模块的手机，其特征在于，在所述手机上加装一投影仪并对拍摄模块和投影仪进行内外参数标定，所述投影仪产生条纹图像并将条纹图像投射到待由手机拍摄的对象上；再用所述手机拍摄待由手机拍摄的对象并得到被摄对象的条纹图像，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。本实施例还可以进一步采取以下优化技术措施：

所述摄像机和投影仪的内外参数标定采用如下方法：建立图像坐标与世界坐标系的关系：将标定板放置于测量范围内的任意位置，用摄像机获得标定板的图像，得到标定板上各标定点P_i的像点坐标其中i为标定点的个数，k为标定板上的标定点总数，用投影仪在标定板上分别投射水平和垂直方向上的四步相移光栅条纹以及灰阶码条纹，利用相位法求解出图像上各标定点P_i在水平和垂直方向上的绝对相位值，进而计算出对应于投影仪数字微反射镜(DMD)的标定点Q_i的像点坐标P_i和Q_i对应的世界坐标系均为遍历图像各点，得到一组对应信息，将标定板放置于8个不同位置，获得各方位下的各组坐标对应信息，最终计算出摄像机和投影仪的内外参数。

获取被摄对象的三维信息采用如下方法：用投影仪在物体表面投影垂直方向上的相移光栅条纹和灰阶码条纹，使用相位法得到相移光栅条纹和灰阶码条纹图像上各个像点(u_c,v_c)在垂直方向上的绝对相位值θ₁，从而计算出所述像点在投影仪DMD上的对应像点横坐标u_p，根据(u_c,v_c)、u_p以及摄像机和投影仪的内外参数，解出对应物点的世界坐标系的三维坐标(X_w,Y_w,Z_w)，得到物体的轮廓信息。

实施例2

一种三维成像手机，所述三维成像手机为带有摄像机2和主处理器3的智能手机，所述三维成像手机还包括标定模块3和投影仪4，所述标定模块用于对摄像机和投影仪的内外参数进行标定，所述投影仪用于产生条纹图像并将条纹图像投射到待由手机拍摄的对象上，所述摄像机2用于拍摄被投影后的被摄对象并得到被摄对象的条纹图像，所述主处理器3获取被摄对象的条纹图像并调取摄像机和投影仪的内外参数，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。本实施例还可以进一步采取以下优化技术措施：

在标定模块3中，建立图像坐标与世界坐标系的关系：将标定板放置于测量范围内的任意位置，用摄像机获得标定板的图像，得到标定板上各标定点P_i的像点坐标其中i为标定点的个数，k为标定板上的标定点总数，用投影仪在标定板上分别投射水平和垂直方向上的四步相移光栅条纹以及灰阶码条纹，利用相位法求解出图像上各标定点P_i在水平和垂直方向上的绝对相位值，进而计算出对应于投影仪数字微反射镜(DMD)的标定点Q_i的像点坐标P_i和Q_i对应的世界坐标系均为遍历图像各点，得到一组对应信息，将标定板放置于8个不同位置，获得各方位下的各组坐标对应信息，最终计算出摄像机和投影仪的内外参数。

所述投影仪4用于在被摄对象表面投影垂直方向上的相移光栅条纹和灰阶码条纹，所述摄像机2用于拍摄被投影了相移光栅条纹和灰阶码条纹的被摄对象并得到相移光栅条纹图像和灰阶码条纹图像，所述主处理器3使用相位法得到相移光栅条纹和灰阶码条纹图像上各个像点(u_c,v_c)在垂直方向上的绝对相位值θ₁，从而计算出所述像点在投影仪DMD上的对应像点u_p，再根据(u_c,v_c)、u_p以及摄像机和投影仪的内外参数，解出对应物点的世界坐标系的三维坐标(X_w,Y_w,Z_w)，得到被摄对象的轮廓信息。

下面参照附图，对本发明具体实施方案作出更为详细的描述：

如图1，本发明的系统包括一台装有摄像机和投影仪的手机平台，摄像机通过存储器与手机中的处理芯片相连接，同时，投影仪和显示屏幕直接与处理芯片相连，投影仪和摄像机之间的位置关系已经在手机制作时固定，标定时标定板的位置无严格的要求。

如图2是基于本发明的系统平台下获取物体三维信息的模块图。

如图3，Ω_w(X_w-Y_w-Z_w)、Ω_c(x_c-y_c-z_c)、Ω_p(x_p-y_p-z_p)分别表示世界坐标系，摄像机坐标系和投影仪坐标系，o_c-u_c-v_c表示摄像机成像平面，o_p-u_p-v_p表示投影仪成像平面，世界坐标系以标定板中心点为原点O_w，水平方向和垂直方向分别为X_w和Y_w轴，Z_w轴垂直于标定板所在平面，满足右手坐标系法则。

如图4是该发明的具体步骤流程图。

如图5是手机的硬件结构图。

该发明的具体步骤如下：

步骤1：对手机三维扫描系统进行标定，获取投影仪与CCD摄像头的几何以及光学参数，从而建立起图像坐标系与世界坐标系的关系，具体步骤为：

步骤1.1：将带有三维坐标已知的白色圆形标志点的标定板放置于摄像机，任意放置，用摄像机获得标定板的图像并存储，对图像进行二值化操作，采用Canny算子对圆形进行像素级边缘定位后再进行亚像素级边缘定位，并采用最小二乘法求得各圆的圆心坐标，设摄像机图像中标定板上各标定点P_i的像点坐标为其中i为标定点的个数，k为标定板上的标定点总数，则在世界坐标系中对应的坐标为

步骤1.2：利用计算机生成四幅数字正弦光栅图，两相邻图间的相移为2π/4，然后投影至标定板表面并通过摄像机拍摄各条纹图，设(u,v)为图像上某一点的像素坐标，I′(u,v)为条纹光强的背景值，I″(u,v)为调制强度，2πn/4为序列投影正弦光栅条纹的初始相位，φ(u,v)是待求的主值相位，将四幅正弦光栅图分别表示为：

I_n(u,v)＝I′(u,v)+I″(u,v)cos[φ(u,v)+2πn/4] (1)

其中n＝0,1,2,3，I_n(u,v)为第n幅图像(u,v)处的灰度值，解得相位主值φ(u,v)为：

其值域为[-π,+π)；

利用投影仪在标定板上投射水平和垂直四步相移光栅条纹，并通过摄像机同步拍摄获取图像解得水平和垂直光栅图像的主值相位场φ₁(u,v)和φ₂(u,v)。

步骤1.3：利用格雷编码的光栅图计算光栅阶次k(u,v)：通过逐步二分的方法生成七幅格雷编码的光栅图，再分别投射到标定板上，然后计算每个点的条纹阶数k(u,v)，则由φ₁(u,v)和φ₂(u,v)解得的水平和垂直光栅图像的主值相位分布θ₁(u,v)、θ₂(u,v)分别为：

θ₁(u,v)＝φ₁(u,v)+2k(u,v)π (3)

θ₂(u,v)＝φ₂(u,v)+2k(u,v)π (4)

步骤1.4：计算CCD图像中各表定点P_i(i＝1,2,…,k)点在投影仪DMD图像中对应的像素点Q_i的坐标其对应的世界坐标为

其中N为光栅图像的条纹周期数，W₁、W₂分别为投影仪在水平和竖直方向上的分辨率。

步骤1.5：将标定板任意变换八次位置，获得每种位置下的标志点坐标对应信息，由各标定点的像素坐标和世界坐标，根据下式采用最小二乘法求得摄像机的内外参数；

其中，s_c是摄像机的比例因子，为摄像机的内参矩阵，[R_cT_c]为摄像机的外参数矩阵；

由投影仪DMD中标志点的像素坐标及其在世界坐标系中的坐标，根据下式采用最小二乘法求得投影仪的内外参数；

其中，s_p是投影仪的比例因子，为投影仪的内参矩阵，为投影仪的外参数矩阵；

步骤2：采用四步正弦光栅相移算法和格雷码相结合的方法，计算待测物体表面的绝对相位分布：

与步骤1.2，1.3类似，在待测物体表面投射垂直方向上的四步相移光栅条纹，并通过摄像机同步拍摄获取图像解得主值相位。利用垂直方向上的格雷编码的光栅图计算光栅阶次得到待测物体表面的垂直方向上的绝对相位场，设摄像机图像解得绝对相位场中任意一点x₁(u_c,v_c)，利用式(5)求得该像素点在投影仪DMD中对应的像素点x₂的横坐标为u_p；

步骤3：根据步骤1中的标定参数，获得物体表面的三维点云数据；

通过步骤2的匹配已经获得对应点x₁(u_c,v_c)和x₂的横坐标为u_p，根据步骤1已经获得的摄像机和投影仪的内外参矩阵A_c[R_cT_c]和计算出摄像机和投影仪的投影矩阵M_c和M_p，其中M_c和M_p均为3×4矩阵，

M_c＝A_c[R_cT_c] (9)

则有：

通过上式即可得到待测物体的三维坐标(X_w,Y_w,Z_w)。由图像上各点生成的三维坐标组成的集合构成了待测物体表面轮廓的点云数据。

步骤4：对待测物体表面轮廓的点云数据进行三角网格化以得到实体模型的轮廓特征，然后利用纹理映射技术将纹理映射到模型表面，使得重画的三维模型更接近实物模型，最终在屏幕上进行人脸的三维模型展示。

步骤4.1：利用快速排序算法将所有点云数据分别根据X_w坐标和Y_w坐标升序排列，并将升序排列后的数据点按顺序分组，每组的个数根据经验值取200个，保留每组中X_w和X_w坐标最大值和最小值的数据点；

步骤4.2：采用抛物面拟合法来估算所有非边界点的曲率，根据曲率对点云进行粗分组，并计算每组的曲率平均值后构造点云模型的模糊集，计算最小模糊熵从而得到最佳曲率划分阈值，最后根据划分的结果对数据点进行不同程度的稀释。

步骤4.3：利用圆柱面投影法，将精简后的点云投影到二维空间，得到一组二维数据点，并根据步骤4.1所得的边界点的数据点找出各自对应的二维点。根据所有二维数据点，构建点表PList，其中包含投影后得到的二维点的坐标、序号及点边界标识，对PList中任意一点，若该点为边界点则点边界标识为1，否则为0，序号则表示该点在点表PList中的位置顺序；取出点表中首个点，找到与其最邻近的点构成一条边并存入边表中作为其初始值。三角形表初始为空。

步骤4.4：从边表中取出一条边，从点表PList中找到符合Delaunay三角剖分准则的数据点，进而构建三角形。若该三角形的顶点均为边界点，且三角形存在一条边的长度与其临近的三角形边长均值的k倍，则判定该三角形无效，否则就判定构造的三角形有效并将该它存入三角形表TList，更新点表PList和边表SList后将SList中达到最大使用次数的边删除。

步骤4.5：判断边表SList中边数量是否为零，若不是则跳转至步骤4.4继续构造三角形，否则根据映射关系将三角形表TList内的三角形映射回三维空间，得到三维实体模型。

步骤4.6：对三维物体表面上的任意一点(X_w,Y_w,Z_w)都计算出对应的二维参数化的纹理值坐标(u,v)，根据该二维参数值(u,v)生成三维物体图形上坐标为(X_w,Y_w,Z_w)点的最终纹理图案。

Claims (6)

1.一种手机立体成像方法，所述手机采用包括拍摄模块的手机，其特征在于，在所述手机上加装一投影仪并对拍摄模块和投影仪进行内外参数标定，所述投影仪产生条纹图像并将条纹图像投射到待由手机拍摄的对象上；再用所述手机拍摄待由手机拍摄的对象并得到被摄对象的条纹图像，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。

2.根据权利要求1所述的基于三维测量的手机立体成像方法，其特征在于，摄像机和投影仪的内外参数标定采用如下方法：建立图像坐标与世界坐标系的关系：将标定板放置于测量范围内的任意位置，用摄像机获得标定板的图像，得到标定板上各标定点P_i的像点坐标其中i为标定点的个数，k为标定板上的标定点总数，用投影仪在标定板上分别投射水平和垂直方向上的四步相移光栅条纹以及灰阶码条纹，利用相位法求解出图像上各标定点P_i在水平和垂直方向上的绝对相位值，进而计算出对应于投影仪数字微反射镜(DMD)的标定点Q_i的像点坐标P_i和Q_i对应的世界坐标系均为遍历图像各点，得到一组对应信息，将标定板放置于8个不同位置，获得各方位下的各组坐标对应信息，最终计算出摄像机和投影仪的内外参数。

3.根据权利要求2所述的基于三维测量的手机立体成像方法，其特征在于，获取被摄对象的三维信息采用如下方法：用投影仪在物体表面投影垂直方向上的相移光栅条纹和灰阶码条纹，使用相位法得到相移光栅条纹和灰阶码条纹图像上各个像点(u_c,v_c)在垂直方向上的绝对相位值θ₁，从而计算出所述像点在投影仪DMD上的对应像点横坐标u_p，根据(u_c,v_c)、u_p以及摄像机和投影仪的内外参数，解出对应物点的世界坐标系的三维坐标(X_w,Y_w,Z_w)，得到物体的轮廓信息。

4.一种实现权利要求1所述手机立体成像方法的三维成像手机，所述三维成像手机为带有摄像机(2)和主处理器(3)的智能手机，其特征在于，所述三维成像手机还包括标定模块(3)和投影仪(4)，所述标定模块用于对摄像机和投影仪的内外参数进行标定，所述投影仪用于产生条纹图像并将条纹图像投射到待由手机拍摄的对象上，所述摄像机(2)用于拍摄被投影后的被摄对象并得到被摄对象的条纹图像，所述主处理器(3)获取被摄对象的条纹图像并调取摄像机和投影仪的内外参数，求出被摄对象的相位信息，获取被摄对象的三维信息并显示于手机。

5.根据权利要求4所述的三维成像手机，其特征在于，在标定模块(3)中，建立图像坐标与世界坐标系的关系：将标定板放置于测量范围内的任意位置，用摄像机获得标定板的图像，得到标定板上各标定点P_i的像点坐标其中i为标定点的个数，k为标定板上的标定点总数，用投影仪在标定板上分别投射水平和垂直方向上的四步相移光栅条纹以及灰阶码条纹，利用相位法求解出图像上各标定点P_i在水平和垂直方向上的绝对相位值，进而计算出对应于投影仪数字微反射镜(DMD)的标定点Q_i的像点坐标P_i和Q_i对应的世界坐标系均为遍历图像各点，得到一组对应信息，将标定板放置于8个不同位置，获得各方位下的各组坐标对应信息，最终计算出摄像机和投影仪的内外参数。

6.根据权利要求5所述的三维成像手机，其特征在于，所述投影仪(4)用于在被摄对象表面投影垂直方向上的相移光栅条纹和灰阶码条纹，所述摄像机(2)用于拍摄被投影了相移光栅条纹和灰阶码条纹的被摄对象并得到相移光栅条纹图像和灰阶码条纹图像，所述主处理器(3)使用相位法得到相移光栅条纹和灰阶码条纹图像上各个像点(u_c,v_c)在垂直方向上的绝对相位值θ₁，从而计算出所述像点在投影仪DMD上的对应像点u_p，再根据(u_c,v_c)、u_p以及摄像机和投影仪的内外参数，解出对应物点的世界坐标系的三维坐标(X_w,Y_w,Z_w)，得到被摄对象的轮廓信息。