CN103942830B - 直接利用存在非线性误差的相位实现场景三维重建的方法 - Google Patents

Abstract

本发明公开了一种直接利用存在非线性误差的相位进行场景三维重建的方法。方法包括：对每一给定的绝对相位值，计算场景区域内不同深度下具有该相位值的空间点的三维坐标，进行曲面拟合。重建时根据待重建空间点的相位值查找到对应的曲面方程，将此方程同摄像机图像像素坐标所确定的视线方程联立，求解得到该空间点的三维坐标，从而实现场景三维重建。本发明直接利用存在非线性误差的相位进行三维重建，避免了相位矫正方法中因假设的模型和投影仪实际响应情况不符所出现的误差，从而提高了重建精度。

Description

直接利用存在非线性误差的相位实现场景三维重建的方法

技术领域

本发明涉及相位法三维轮廓术，尤其涉及一种直接利用受投影仪强度非线性响应影响而存在非线性误差的相位实现场景三维重建的方法。

背景技术

相位法三维轮廓术具有非接触，精度较高，对物体表面反射率变化不敏感等优势，因此在工业检测，文物、人体测量等领域得到广泛应用。典型的三维重建系统包括一个工业摄像机和一个结构光条纹投射装置。其中投影仪因其方便灵活成本较低等优点而被广泛当作投射装置。传统的相位法三维轮廓术包括两个重要步骤：相位计算和系统标定。相位计算得到图像中每个像素的相位值；系统标定实现相位到三维坐标的转换。

对横向条纹，计算机生成的投射条纹强度满足：

$I_k^p(u_p,v_p)=a+bcos(2{\mathrm{\πf}}_0{u}_p+{\mathrm{\δ}}_k);$

其中，(u_p，v_p)^T为投影仪图像像素坐标，a是条纹平均强度，b是调制强度，f₀是载频，δ_k是相移，对于三相移系统，其值为理想条件下，摄像机和投影仪强度响应不存在任何非线性，可以直接通过图像强度I_k求得包裹相位

$\widehat{\mathrm{\φ}}=arctan\left(\frac{\sqrt{3}(I_1-I_3)}{2I_2-I_1-I_3}\right);$

对包裹相位进行展开得到绝对相位φ，由φ＝2πf₀u_p将相位转换到投影仪像素坐标，根据投影仪的透视模型进一步计算出空间点的三维坐标。

现有方法中都是先通过相位来确定投影仪图像像素坐标或其差值，通过投影仪图像像素坐标进一步计算空间点的三维坐标。这就要求计算出的绝对相位同投影仪像素坐标满足理想的线性关系，否则就会影响到三维重建结果。

然而商用数字投影仪为了得到更好的视觉效果其强度响应通常具有非线性，即如果投影仪产生的条纹为理想正弦图像，实际投射的条纹图像则存在高次谐波：

$I_k^d(u_p,v_p)=a_0+{\mathrm{\Σ}}_{n=1}^{\mathrm{\∞}}{b}_{n}cos\left(n\right(\mathrm{\φ}+{\mathrm{\δ}}_k\left)\right)$

其中a₀代表直流分量，b_n代表第n次谐波，其数值在理论上可以通过对非线性响应函数做级数展开得到。为解决投影仪的非线性响应问题，Song Zhang在文献【Phase errorcompensation for a 3-D shape measurement system based on the phase-shiftingmethod,Optical Engineering,2007,46(6):063601.】中给出了基于LUT的相位补偿方法。然而，投影仪为了保证可以产生足够的光强而采用较大的光圈，因此其单一像素发射的光线经过镜头后不能理想聚焦而产生模糊，影响到相邻像素，且一般地，点扩散函数在不同深度下不尽相同，从而影响到相位补偿的方法。

发明内容

本发明的目的在于针对现有技术预先对投影仪非线性进行矫正时，如果投影仪非线性响应模型较复杂，矫正将出现误差的问题，提供了一种直接利用存在非线性误差的相位实现场景三维重建的方法。

本发明的目的是通过以下技术方案来实现的：一种直接利用存在非线性误差的相位进行场景三维重建的方法，其特征在于，该方法首先由摄像机、投影仪和计算机构建三维重建系统并标定摄像机内参数；然后在有效的绝对相位范围内，获取场景区域中不同深度下空间点的三维坐标，将具有相同的存在非线性误差的绝对相位值的空间点分为一组，对每组坐标分别进行曲面拟合，构建相位-曲面对应关系；重建时，计算摄像机图像中每一像素点的绝对相位值，查找到摄像机图像中每一像素点的绝对相位值下对应的曲面方程，将此方程同摄像机图像像素坐标所确定的视线方程联立，求解得到场景区域中不同深度下空间点的三维坐标。从而实现场景三维重建。

具体来说，该方法包括以下步骤：

(1)构建三维成像系统，包括摄像机、投影仪和两个计算机，摄像机与第一计算机相连，投影仪和第二计算机相连。

(2)标定摄像机的内参数矩阵K。

(3)在场景中放置一红蓝棋盘格靶标，投影仪投射红色背景图像到红蓝棋盘格靶标上。

(4)计算机生成三幅灰度正弦条纹图像和一幅中心线图像，投影仪将灰度正弦条纹图像依次投射到红蓝棋盘格靶标上，摄像机采集红蓝棋盘格靶标的灰度图像。

(5)在场景区域内移动红蓝棋盘格靶标，重复Q次步骤(3)和步骤(4)，其中Q≥1。

(6)计算不同位置下红蓝棋盘格靶标上每个点的绝对相位，计算出的相位未经矫正，具有非线性。对不同位置下红蓝棋盘格靶标进行摄像机外参数标定，计算红蓝棋盘格靶标上各点的世界坐标。

(7)将所有深度下的绝对相位范围区间取交集得到有效绝对相位区间，将有效绝对相位区间等分成M个子区间。将绝对相位落入相同子区间的空间点分成一组，分别进行曲面拟合。

(8)对场景进行重建，分别投射步骤(4)中产生的正弦投射条纹和中心线图像。采用公式(4)的方法分别计算每一空间点的绝对相位值。根据绝对相位值确定等相位曲面，求解三维坐标点，从而实现场景三维重建。

本发明的有益效果是，本发明直接采用存在非线性误差的相位进行三维重建，直接拟合场景中具有相等绝对相位值的空间点所组成的曲面，避免了因相位矫正不准确所带来的误差。本发明对投影仪、相机、靶标位置要求均较为宽松，不需要严格的垂直或平行限制。

附图说明

图1为本发明计算空间点三维坐标的基本模型原理图；

图2为本发明求解等相位空间点三维坐标的方法示意图；

图3为本发明实施例1的重建结果图；其中，(a)为待重建物体图像；(b)为传统方法中未经相位矫正的重建结果图，(c)为传统方法中采用相位补偿方法的重建结果图：(d)为利用本发明方法得到的重建结果图；

图4为本发明实施例2的重建结果图；其中，(a)为待重建物体图像；(b)为传统方法中未经相位矫正的重建结果图，(c)为传统方法中采用相位补偿方法的重建结果图：(d)为利用本发明方法得到的重建结果图；

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

本发明的基本原理如图1，以投射三步相移正弦条纹图像为例。对于场景中待重建的空间点，其对应到CCD图像上的像素坐标为(u^c，v^c)^T，绝对相位值为φ^o。本发明将场景中空间点视为由绝对相位确定的曲面与摄像机视线的交点。摄像机视线方程由CCD图像像素坐标和相机内外参数所确定：

$s\left(\begin{array}{c}{u}^c\\ v^c\\ 1\end{array}\right)=K(R,t)\left(\begin{array}{c}{x}^w\\ y^w\\ z^w\\ 1\end{array}\right)---\left(1\right)$

其中，s为比例因子，K为摄像机内参，R和t分别为相机的旋转矩阵和平移矩阵，二者构成摄像机外参，(x^w，y^w，z^w)^T为空间点的三维坐标。

绝对相位所确定的曲面采用坐标拟合的方法获得。鉴于场景区域深度变化范围一般较小，本发明对空间点三维坐标进行平面拟合，对于绝对相位为φ^o的空间点其三维坐标(x^w，y^w，z^w)^T满足：

A(φ^o)x^w+B(φ^o)y^w+C(φ^o)z^w＝1 (2)

其中A，B，C三个系数确定了拟合平面的空间位置。联立方程(1)(2)即可求得空间点的三维坐标。

图2是优选实施方案示意图，具体步骤如下：

1、构建三维成像系统，包括摄像机、投影仪和两个计算机，摄像机与第一计算机相连，投影仪和第二计算机相连。确保场景在摄像机视野和投影仪投射范围内，投影仪和摄像机相对位置不要求严格平行或垂直。

2、标定摄像机的内参数矩阵K。

作为优选，本发明所有步骤中的摄像机参数标定采用Zhengyou Zhang在文献【AFlexible New Technique for Camera Calibration,IEEE Trans.PAMI，2000，22(11)：1330-1334】中的方法。

3、在场景中放置一红蓝棋盘格靶标，投影仪投射红色背景图像到棋盘格靶标上。

在摄像机采集的灰度图像中，因红色棋盘格的反射光强较大，蓝色棋盘格的反射光强较弱，从而得到同拍摄黑白靶标相同的效果，因此该图像也可以采用步骤2中的方法进行标定。

4、计算机生成三幅灰度正弦条纹图像和一幅中心线图像，投影仪将灰度正弦条纹图像依次投射到红蓝棋盘格靶标上，摄像机采集红蓝棋盘格靶标的灰度图像。

计算机生成的正弦条纹表达式为：

$I_k^p(u_p,v_p)=110+60cos(\frac{\mathrm{\π}}{20}{u}_p+{\mathrm{\δ}}_k)---\left(3\right)$

其中，u_p为投影仪图像像素的横坐标，v_p为投影仪图像像素的纵坐标，δ_k为相移，k为1、2、3；中心线图像由一条白色纵向条纹和黑色背景组成，用于计算绝对相位。因红蓝两色对灰度条纹的反射率相近，摄像机采集的灰度图像在相同光强的条件下，红蓝两色灰度相近，从而避免了黑白靶标中黑色靶标反射率过低的问题。

5、在场景区域内移动红蓝棋盘格靶标，重复Q次步骤(3)和步骤(4)，其中Q≥1。Q为自然数，作为优选，本发明取Q＝5。

6、计算不同位置下靶标上每个点的绝对相位。对不同位置下靶标进行摄像机外参数标定，计算靶标上各点的世界坐标。

由于投影仪非线性响应、离焦等现象导致投影仪实际投射到物体中的强度与计算机生成的强度出现偏差，记摄像机实际采集的图像强度为CCD图像中包裹相位为：

${\widehat{\mathrm{\φ}}}^o=arctan\left(\frac{\sqrt{3}(I_1^o-I_3^o)}{2I_2^o-I_1^o-I_3^o}\right)---\left(4\right)$

其中分别表示第1、2、3幅图像强度；对包裹相位进行展开。计算中心线图像中中心线的相位均值，将展看后的绝对相位减去中心线相位均值得到绝对相位φ^o。

以第一个靶标位置建立世界坐标系，不失一般性此时靶标在平面z₁＝0处，标定其外参得到旋转矩阵R₁，平移矩阵t₁。则靶标在CCD图像中的像素坐标和对应的空间点三维坐标满足，

$K(R_1,t_1)\left(\begin{array}{c}{x}_1^w\\ y_1^w\\ 0\\ 1\end{array}\right)=s\left(\begin{array}{c}{u}_1^c\\ v_1^c\\ 1\end{array}\right)---\left(5\right)$

求解方程(5)得到空间点三维坐标其中s为比例因子。

对第i个位置下的靶标，其旋转矩阵和平移矩阵分别为R_i，t_i，在以此靶标位置建立的世界坐标系下的三维坐标满足，

$K(R_i,t_i)\left(\begin{array}{c}\widetilde{x_i^w}\\ \widetilde{y_i^w}\\ 0\\ 1\end{array}\right)=s\left(\begin{array}{c}{u}_i^c\\ v_i^c\\ 1\end{array}\right)---\left(6\right)$

求解方程(6)得到计算在摄像机坐标系下的三维坐标，

$\left(\begin{array}{c}{x}_i^c\\ y_i^c\\ z_i^c\end{array}\right)=R_i\left(\begin{array}{c}\widetilde{x_i^w}\\ \widetilde{y_i^w}\\ 0\end{array}\right)+t_i---\left(7\right)$

将摄像机坐标系下的坐标转化到以第一个靶标位置建立的世界坐标系下，

$\left(\begin{array}{c}{x}_i^w\\ y_i^w\\ z_i^w\end{array}\right)=R_1^{-1}(\left(\begin{array}{c}{x}_i^c\\ y_i^c\\ z_i^c\end{array}\right)-t_1)---\left(8\right)$

这样得到的所有空间点的三维坐标都转化到了相同的世界坐标系下。

7、将所有深度下的绝对相位范围区间取交集得到有效绝对相位区间，等分成M个子区间。将绝对相位落入相同子区间的空间点分成一组，分别进行曲面拟合。

M为自然数，作为优选，取M＝200。取每个子区间的绝对相位均值作为该子区间的相位值，记在相位区间下的空间点坐标矩阵对这些三维坐标分别进行平面拟合，

$P_k\left(\begin{array}{c}A\left({\mathrm{\φ}}_k^o\right)\\ B\left({\mathrm{\φ}}_k^o\right)\\ C\left({\mathrm{\φ}}_k^o\right)\end{array}\right)=I---\left(9\right)$

其中，为空间点坐标矩阵，I为和P_k行数相同的列向量，各个元素均为1，分别用最小二乘求解每组系数值得到，

$\left(\begin{array}{c}A\left({\mathrm{\φ}}_k^o\right)\\ B\left({\mathrm{\φ}}_k^o\right)\\ C\left({\mathrm{\φ}}_k^o\right)\end{array}\right)={\left(P_k^T{P}_k\right)}^{-1}{P}_k^T---\left(10\right)$

其中，均为系数序列；

8、对场景进行重建，分别投射步骤4中产生的正弦投射条纹和中心线图像。采用公式4的方法分别计算每一空间点的绝对相位值。根据绝对相位值确定等相位曲面，求解三维坐标点，从而实现场景三维重建。

对于CCD图像像素坐标为(u^c，v^c)^T的空间点其对应的世界坐标(x^w，y^w，z^w)^T满足关系：

$s\left(\begin{array}{c}{u}^c\\ v^c\\ 1\end{array}\right)=K(R_1,t_1)\left(\begin{array}{c}{x}^w\\ y^w\\ z^w\\ 1\end{array}\right)---\left(11\right)$

记该空间点(x^w，y^w，z^w)^T对应的绝对相位为φ^o并分别对步骤7中得到的系数序列进行三次样条插值得到该相位值φ^o下的系数A(φ^o)，B(φ^o)，C(φ^o)，则该空间点(x^w，y^w，z^w)^T坐标满足：

A(φ^o)x^w+B(φ^o)y^w+C(φ^o)z^w＝1 (12)

联立方程(11)(12)求解得出待重建空间点的三维坐标。

本发明的有益效果是提供了一个新的直接利用存在非线性误差的相位实现三维重建的方法，避免了相位矫正的过程，从而避免因相位矫正过程所带来的误差。现有的方法中为实现三维重建，需要得到准确的相位值以匹配到投影仪像素坐标或坐标的差。而由于投影仪的强度非线性响应，计算出的相位存在非线性误差。为解决此问题，现有的方法主要包括两大类：预先对投影仪非线性进行矫正和对存在非线性误差的相位进行补偿。其中预先矫正投影仪的方法假设了投影仪强度响应的指数模型，当实际的投影仪响应和假设不符时，就会出现误差。而相位补偿的方法会受到投影仪离焦的影响，在不同深度下实际需要补偿的相位并不完全相同，并且这种偏差随条纹载频增加而增加。本发明没有去匹配投影仪图像像素坐标，直接用绝对相位值对应到空间曲面，这样就不要求绝对相位值随投影仪图像像素坐标具有线性关系，从而可以直接利用存在非线性误差的相位实现三维重建，对于投影仪非线性响应情况更为复杂时仍然适用，增加了方法的适用范围。本发明对系统限制较少，投影仪、相机、靶标位置要求均较为宽松，不需要严格的垂直或平行限制。

实施例1

以下利用本发明方法实现三维重建并同传统方法进行对比，其中，(a)为待重建物体；(b)为传统方法中未经相位矫正的重建结果图，(c)为传统方法中采用相位补偿方法的重建结果图：(d)为利用本发明方法得到的重建结果图。受到投影仪非线性强度响应的影响，图(b)重建的结果出现了严重的波纹。经过相位矫正之后图(c)得到了较好的结果，但是受到投影仪离焦的影响，相位补偿方法依然不能完全消除波纹。作为对比图(d)得到了更好的结果。

实施例2

以下对另一场景利用本发明方法实现三维重建并同传统方法进行对比，其中，(a)为待重建物体；(b)为传统方法中未经相位矫正的重建结果图，(c)为传统方法中采用相位补偿方法的重建结果图：(d)为利用本发明方法得到的重建结果图。同实施例1类似，本发明同样得到了优于其他方法的结果。

以上仅为本发明具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims (1)

1.一种直接利用存在非线性误差的相位进行场景三维重建的方法，其特征在于，该方法首先由摄像机、投影仪和计算机构建三维重建系统并标定摄像机内参数；然后在有效的绝对相位范围内，获取场景区域中不同深度下空间点的三维坐标，将具有相同的存在非线性误差的绝对相位值的空间点分为一组，对每组坐标分别进行曲面拟合，构建相位-曲面对应关系；重建时，计算摄像机图像中每一像素点的绝对相位值，查找到摄像机图像中每一像素点的绝对相位值下对应的曲面方程，将此方程同摄像机图像像素坐标所确定的视线方程联立，求解得到场景区域中不同深度下空间点的三维坐标；从而实现场景三维重建；该方法包括以下步骤：

(1)构建三维成像系统，包括摄像机、投影仪和两个计算机，摄像机与第一计算机相连，投影仪和第二计算机相连；

(2)标定摄像机的内参数矩阵K；

(3)在场景中放置一红蓝棋盘格靶标，投影仪投射红色背景图像到棋盘格靶标上；

(4)计算机生成三幅灰度正弦条纹图像和一幅中心线图像，投影仪将灰度正弦条纹图像依次投射到红蓝棋盘格靶标上，摄像机采集红蓝棋盘格靶标的灰度图像；

计算机生成的正弦条纹表达式为：

$I_k^p(u_p,v_p)=110+60cos(\frac{\mathrm{\π}}{20}{u}_p+{\mathrm{\δ}}_k)---\left(3\right)$

其中，u_p为投影仪图像像素的横坐标，v_p为投影仪图像像素的纵坐标，δ_k为相移，中心线图像由一条白色纵向条纹和黑色背景组成，用于计算绝对相位；k为1、2、3；

(5)在场景区域内移动红蓝棋盘格靶标，重复Q次步骤(3)和步骤(4)，其中Q≥1；

(6)计算不同位置下靶标上每个点的绝对相位；对不同位置下靶标进行摄像机外参数标定，计算靶标上各点的世界坐标；

记摄像机实际采集的图像强度为CCD图像中包裹相位为：

${\widehat{\mathrm{\φ}}}^o=\arctan \left(\frac{\sqrt{3}\left(I_1^o-I_3^o\right)}{2I_2^o-I_1^o-I_3^o}\right)---\left(4\right)$

其中分别表示第1、2、3幅图像强度；对包裹相位进行展开；计算中心线图像中中心线的相位均值，将展开后的绝对相位减去中心线相位均值得到绝对相位φ^o，计算出的相位未经矫正，具有非线性；

以第一个靶标位置建立世界坐标系，靶标在平面z₁＝0处，标定其外参得到旋转矩阵R₁，平移矩阵t₁；则靶标在CCD图像中的像素坐标和对应的空间点三维坐标满足，

$K(R_1,t_1)\left(\begin{array}{c}{x}_1^w\\ y_1^w\\ 0\\ 1\end{array}\right)=s\left(\begin{array}{c}{u}_1^c\\ v_1^c\\ 1\end{array}\right)---\left(5\right)$

求解方程(5)得到空间点三维坐标其中s为比例因子；

对第i个位置下的靶标，其旋转矩阵和平移矩阵分别为R_i，t_i，在以此靶标位置建立的世界坐标系下的三维坐标满足，

求解方程(6)得到计算在摄像机坐标系下的三维坐标，

将摄像机坐标系下的坐标转化到以第一个靶标位置建立的世界坐标系下，

$\left(\begin{array}{c}{x}_i^w\\ y_i^w\\ z_i^w\end{array}\right)=R_1^{-1}\left(\left(\begin{array}{c}{x}_i^c\\ y_i^c\\ z_i^c\end{array}\right)-t_1\right)---\left(8\right)$

这样得到的所有空间点的三维坐标都转化到了相同的世界坐标系下；

(7)将所有深度下的绝对相位范围区间取交集得到有效绝对相位区间，将有效绝对相位区间等分成M个子区间；将绝对相位落入相同子区间的空间点分成一组，分别进行平面拟合；

取每个子区间的绝对相位均值作为该子区间的相位值，记在相位区间下的空间点坐标矩阵对这些三维坐标分别进行平面拟合，

$P_k\left(\begin{array}{c}A\left({\mathrm{\φ}}_k^o\right)\\ B\left({\mathrm{\φ}}_k^o\right)\\ C\left({\mathrm{\φ}}_k^o\right)\end{array}\right)=I---\left(9\right)$

其中，为空间点坐标矩阵，I为和P_k行数相同的列向量，各个元素均为1，分别用最小二乘求解每组系数值得到，

$\left(\begin{array}{c}A\left({\mathrm{\φ}}_k^o\right)\\ B\left({\mathrm{\φ}}_k^o\right)\\ C\left({\mathrm{\φ}}_k^o\right)\end{array}\right)={\left(P_k^T{P}_k\right)}^{-1}{P}_k^T---\left(10\right)$

其中，均为系数序列；

(8)对场景进行重建，分别投射步骤(4)中产生的正弦投射条纹和中心线图像；采用公式(4)的方法分别计算每一空间点的绝对相位值；根据绝对相位值确定等相位曲面，求解三维坐标点，从而实现场景三维重建；

对于CCD图像像素坐标为(u^c，v^c)^T的空间点其对应的世界坐标(x^w，y^w，z^w)^T满足关系：

$s\left(\begin{array}{c}{u}^c\\ v^c\\ 1\end{array}\right)=K(R_1,t_1)\left(\begin{array}{c}{x}^w\\ y^w\\ z^w\\ 1\end{array}\right)---\left(11\right)$

记该空间点(x^w，y^w，z^w)^T对应的绝对相位为φ^o并分别对步骤(7)中得到的系数序列进行三次样条插值得到该相位值φ^o下的系数A(φ^o)，B(φ^o)，C(φ^o)，则该空间点(x^w，y^w，z^w)^T坐标满足：

A(φ^o)x^w+B(φ^o)y^w+C(φ^o)z^w＝1 (12)

联立方程(11)(12)求解得出待重建空间点的三维坐标。