CN103994732B - 一种基于条纹投影的三维测量方法 - Google Patents

Abstract

本发明提供一种基于条纹投影的三维测量方法。首先通过标定摄像机，计算相关参数，利用得到的参数矫正被畸变扭曲的正弦条纹图；然后，利用这些无畸变的条纹计算每个待测点的深度坐标，最后根据这些计算得到的深度坐标以及标定的相关参数，结合小孔成像模型，得到无畸变的三维空间坐标。本发明解决了动态实时测量过程中镜头畸变影响测量结果精度的问题，降低了测量误差，提高了测量精度。

Description

一种基于条纹投影的三维测量方法

技术领域

本发明属于光学测量技术领域，具体涉及一种基于条纹投影的三维测量方法。

背景技术

三维形貌测量在工业制造、快速逆向工程、质量监控、生物医学等领域发挥着重要的作用。由于光学三维测量具有非接触的测量特性，其受到了广泛的关注。在现有的光学三维测量中，常用的技术有双目视觉法、飞行时间法、条纹投影法等等。双目视觉法为被动式测量方法，其优点在于不需要人为主动干预，利用不同角度的拍摄图像以及被测物表面特性就可以恢复被测表面；但是由于需要匹配被测表面上的特征点，所以对于表面均一无明显特征的物体，这种方法很难建立两个摄像机之间的匹配关系，从而很难实施测量。飞行时间法也是常用的测量方法，但是该方法的测量结果精度较低，且在测量近距离物体时测量准确度差。条纹投影法是利用生成的条纹对被测物表面进行编码，然后利用摄像机来拍摄这些包含了被测物表面信息的条纹，通过使用一定的解码方法，来实现物体表面轮廓获取；利用该方法的好处在于其对环境光和物体表面反射率不敏感，测量的分辨率高，测量结果准确。随着投影装置和摄像机的发展，条纹投影法越来越多地被应用于动态实时的三维测量中。

然而，在现有的基于条纹投影的动态实时三维测量系统中，人们通常很少关注摄像机镜头畸变给测量结果带来的影响。但是在实际应用中，由于设计、生产、组装等一系列过程的不完美造成的镜头畸变确实降低了测量结果的精度，而且这种精度的降低对结果造成了明显的影响，并不能被简单地忽视。尽管更换更高质量的镜头能一定程度的解决这一问题，但是这一做法也不可避免的增加了整个系统的成本，所以目前十分缺乏一种能排除镜头畸变干扰的动态实时三维测量方法。

发明内容

本发明的目的在于提供一种基于条纹投影的三维测量方法，解决了动态实时测量过程中镜头畸变影响测量结果精度的问题，降低了测量误差，提高了测量精度。

为了解决上述技术问题，本发明提供一种基于条纹投影的三维测量方法，包括以下步骤：

步骤一：对摄像机参数进行标定，包括确定摄像机的畸变系数矩阵Kc、内部参数矩阵A和外部参数矩阵E；

所述畸变系数矩阵Kc如公式(1)所示，

Kc＝[k₁,k₂,k₃,k₄] (1)

公式(1)中，k₁和k₂为径向畸变系数，k₃和k₄为切向畸变系数；

所述内部参数矩阵A如公式(2)所示，

$A=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

公式(2)中，f_u为水平焦距，f_v为垂直焦距，u₀为摄像机像平面上主点的横坐标，v₀为摄像机像平面上主点的纵坐标；

所述外部参数矩阵E如公式(3)所示，

$E=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]---\left(3\right)$

公式(3)中，[r_ij]表示旋转矩阵，且i,j＝1,2,3，[t₁,t₂,t₃]^T为平移矩阵；

步骤二：使用投影仪向待测物投射正弦条纹图用摄像机拍摄被待测物表面轮廓调制的正弦条纹图，使用公式(4)所示方法对拍摄的正弦条纹图进行畸变矫正，

img_rect(u,v)＝img_dist(u_d,v_d) (4)

公式(4)中，img_rect(u,v)为矫正后图像，(u,v)为矫正后的图像坐标，img_dist(u_d,v_d)为矫正前的图像，(u_d,v_d)为矫正前的图像坐标，在获得矫正前的图像坐标(u_d,v_d)后，采用双线性插值的方法计算矫正前的图像img_dist(u_d,v_d)，且u_d和v_d的计算方式如公式(5)所示，

$\{\begin{array}{c}{u}_d=\[x_n(1+k_1{r_n}^2+k_2{r_n}^4)+2k_3{x}_n{y}_n+k_4(2x_n^2+r_n^2)\]f_u+u_0\\ v_d=\[y_n(1+k_1{r_n}^2+k_2{r_n}^4)+k_3(2y_n^2+r_n^2)+2k_4{x}_n{y}_n\]f_v+v_0\end{array}---\left(5\right)$

公式(5)中，参数x_n和y_n的计算方式如公式(6)所示，且r_n ²＝x_n ²+y_n ²，

$\left\{\begin{array}{c}{x}_n=\frac{u-u_0}{f_u}\\ y_n=\frac{v-v_0}{f_v}\end{array}\right.---\left(6\right);$

所述正弦条纹图的光强分布如公式(7)所示，

$I_n^p(x,y)=A^p(x,y)+B^p(x,y)cos\[2\mathrm{\π}x/\mathrm{\λ}+2\mathrm{\π}n/N\]---\left(7\right)$

公式(7)中，(x,y)为投影仪坐标，A^p为直流分量，B^p为振幅，λ为正弦波波长，n为相移数，N为相移步数；

步骤三：计算待测物表面上每个待测点对应的三维空间深度坐标；

步骤四：根据标定得到的摄像机参数以及步骤三中计算得到的三维空间深度坐标，求解三维空间平面坐标；最后综合每个待测点的三维空间深度坐标与平面坐标，得到完整的三维空间坐标。

本发明与现有技术相比，其显著优点在于：(1)本发明考虑了镜头畸变问题，并提供了相应的畸变矫正方法，经矫正后，测量结果的误差减小，结果精度提高；(2)本发明采用了相移法来恢复相位，抗环境干扰能力强，测量的相位准确，从而保证了最终三维空间坐标的精确性。

附图说明

图1为本发明一种基于条纹投影的三维测量方法的流程示意图。

图2是本发明实验中使用的黑白双目标定板实物图。

图3是本发明实验中使用现有技术中未进行畸变矫正的方法获得的测量结果图。

图4是本发明实验中使用本发明方法进行畸变矫正后的无畸变测量结果。

图5是本发明实验中未进行畸变所测量的每个圆心位置与实际位置的差异比较图。

图6是本发明实验中进行畸变矫正后测量的每个圆心位置与实际位置的差异比较图。

图7是本发明实验中对标准块进行测量时，未进行畸变矫正的测量结果分布图。

图8是本发明实验中对标准块进行测量时，进行畸变矫正后的测量结果分布图。

具体实施方式

本发明一种基于条纹投影的三维测量方法，首先通过标定摄像机，计算相关参数，利用得到的参数矫正被畸变扭曲的正弦条纹图；然后，利用这些无畸变的条纹计算每个待测点的深度坐标，最后根据这些计算得到的深度坐标以及标定的相关参数，结合小孔成像模型，得到无畸变的三维空间坐标。具体过程如图1所示，包括以下步骤：

步骤一：对摄像机参数进行标定，包括确定摄像机的畸变系数矩阵Kc、内部参数矩阵A和外部参数矩阵E，

所述畸变系数矩阵Kc如公式(1)所示，

Kc＝[k₁,k₂,k₃,k₄] (1)

公式(1)中，k₁和k₂为径向畸变系数，k₃和k₄为切向畸变系数；

所述内部参数矩阵A如公式(2)所示，

$A=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

公式(2)中，f_u为水平焦距，f_v为垂直焦距，u₀为摄像机像平面上主点的横坐标，v₀为摄像机像平面上主点的纵坐标；

所述外部参数矩阵E如公式(3)所示，

$E=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]---\left(3\right)$

公式(3)中，[r_ij]表示旋转矩阵，且i,j＝1,2,3，[t₁,t₂,t₃]^T为平移矩阵。

本步骤对摄像机进行标定的更详细的方法可以参见文献《A flexible new techniquefor camera calibration》(作者Zhengyou Zhang)所述的摄像机标定方法。

步骤二：使用标定获得的摄像机参数矫正摄像机拍摄的正弦条纹图。

使用投影仪向待测物投射正弦条纹图其光强分布如公式(4)所示，

$I_n^p(x,y)=A^p(x,y)+B^p(x,y)cos\[2\mathrm{\π}x/\mathrm{\λ}+2\mathrm{\π}n/N\]---\left(4\right)$

公式(4)中，(x,y)为投影仪坐标，A^p为直流分量，B^p为振幅，且A^p(x,y)＝B^p(x,y)＝127.5，λ为正弦波波长，n为相移数，N为相移步数。

然后，用摄像机拍摄被待测物表面轮廓调制的正弦条纹图，使用公式(5)所示方法对拍摄的正弦条纹图进行畸变矫正，

img_rect(u,v)＝img_dist(u_d,v_d) (5)

公式(5)中，img_rect(u,v)为矫正后图像，(u,v)为矫正后的图像坐标，img_dist(u_d,v_d)为矫正前的图像，(u_d,v_d)为矫正前的图像坐标，且u_d和v_d的计算方式如公式(6)所示，

$\{\begin{array}{c}{u}_d=\[x_n(1+k_1{r_n}^2+k_2{r_n}^4)+2k_3{x}_n{y}_n+k_4(2x_n^2+r_n^2)\]f_u+u_0\\ v_d=\[y_n(1+k_1{r_n}^2+k_2{r_n}^4)+k_3(2y_n^2+r_n^2)+2k_4{x}_n{y}_n\]f_v+v_0\end{array}---\left(6\right)$

公式(6)中，参数x_n和y_n的计算方式如公式(7)所示，且r_n ²＝x_n ²+y_n ²，

$\left\{\begin{array}{ccc}\begin{array}{c}{x}_n=\frac{u-u_0}{f_u}\\ y_n=\frac{v-v_0}{f_v}\end{array}& and& {r_n}^2={x_n}^2+{y_n}^2\end{array}\right.---\left(7\right)$

由于经过上述计算后获得的矫正前的图像坐标(u_d,v_d)可能为带有小数的坐标，所以采用双线性插值的方法来计算矫正前的图像img_dist(u_d,v_d)。

步骤三：计算待测物表面上每个待测点对应的三维空间深度坐标。

假设待测点的三维空间坐标为(x_w,y_w,z_w)，其中x_w、y_w平面坐标，z_w为深度坐标，使用矫正后的正弦条纹图img_rect(u,v)计算深度z_w的方法如公式(8)所示，

$z_w=\frac{1+c_1\mathrm{\Φ}+(c_2+c_3\mathrm{\Φ})u+(c_4+c_5\mathrm{\Φ})v+(c_6+c_7\mathrm{\Φ})u^2+(c_8+c_9\mathrm{\Φ})v^2}{d_0+d_1\mathrm{\Φ}+(d_2+d_3\mathrm{\Φ})u+(d_4+d_5\mathrm{\Φ})v+(d_6+d_7\mathrm{\Φ})u^2+(d_8+d_9\mathrm{\Φ})v^2}---\left(8\right)$

公式(8)中，c₁～c₉和d₀～d₉为待确定的参数，Φ为使用矫正后的正弦条纹图结合相移法解得的绝对相位，Φ的计算方法可参考文献(“High-speed three-dimensionalshape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulationfringe projection”作者：Chao Zuo等)。

其次，为确定这些参数，采用最小二乘法计算，如公式(9)所示，

$E=\underset{n=1}{\overset{m}{\Σ}}{\left(z_n\right(u,v)-z_n^{\′}(u,v\left)\right)}^2---\left(9\right)$

公式(9)中，z_n为利用深度公式计算出的某个像素点的深度，z′_n为该像素点对应的真实深度，E为误差。

步骤四：根据标定得到的摄像机参数以及步骤三中计算得到的三维空间深度坐标，求解三维空间平面坐标；最后综合每个待测点的三维空间深度坐标与平面坐标，得到完整的三维空间坐标。

计算每个待测点对应的三维空间平面坐标(x_w,y_w)。由于每个待测点的深度坐标z_w，在步骤三中已求出，所以在此基础上，使用公式(10)所示的摄像机小孔成像模型，可将每个待测点的平面坐标(x_w,y_w)求出，

$\left\{\begin{array}{c}\frac{r_{11}{x}_w+r_{12}{y}_w+r_{13}{z}_w+t_1}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_3}=\frac{u-u_0}{f_u}\\ \frac{r_{21}{x}_w+r_{22}{y}_w+r_{23}{z}_w+t_2}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_3}=\frac{v-v_0}{f_v}\end{array}\right.---\left(10\right)$

公式(10)中，r_ij(i,j＝1,2,3)表示旋转矩阵参数，t₁,t₂,t₃为平移矩阵参数。

综合待测点的三维空间深度坐标与平面坐标，得到空间完整的三维坐标(x_w,y_w,z_w)，从而建立三维模型。

本发明的有益效果可以通过以下实验进一步说明：

为测试本发明所述的方法，搭建了实时动态条纹投影三维测量系统，系统包括黑白高速CCD相机(AVT GE 680)，投影仪(TI DLP Light Crafter DMD)以及一台用于数据处理的计算机。将相机与投影仪同步后，系统的测量速度为120帧每秒。为体现本发明所述方法对测量结果精度的提高，测量了一块黑白双目标定板,实物如图2所示。图3为使用现有技术中未进行畸变矫正的方法获得的测量结果。从图3中可以明显看出左下方的圆点已经在畸变的作用下偏离了正确的位置。图4为使用本发明方法进行畸变矫正后的无畸变测量结果，可以看出由于对畸变进行了矫正，原来偏离的点已经回到了正确的位置。图5和图6分别显示了畸变矫正前后测量的每个圆心位置与实际位置的差异，其中可发现经过矫正，测量的精度得到了提高。

此外本实验还测量了一块高度不变的标准块，矫正前后的测量结果分布如图7和图8所示，从图7和图8可以看出，矫正前(标准差为0.836mm)，测量的平面存在起伏，不够平整；而经矫正后(标准差为0.127mm)，原有的起伏得以去除，测量误差大大减小。

Claims (3)

1.一种基于条纹投影的三维测量方法，其特征在于，包括以下步骤：

步骤一：对摄像机参数进行标定，包括确定摄像机的畸变系数矩阵Kc、内部参数矩阵A和外部参数矩阵E；

所述畸变系数矩阵Kc如公式(1)所示，

Kc＝[k₁,k₂,k₃,k₄] (1)

公式(1)中，k₁和k₂为径向畸变系数，k₃和k₄为切向畸变系数；

所述内部参数矩阵A如公式(2)所示，

$A=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

公式(2)中，f_u为水平焦距，f_v为垂直焦距，u₀为摄像机像平面上主点的横坐标，v₀为摄像机像平面上主点的纵坐标；

所述外部参数矩阵E如公式(3)所示，

$E=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]---\left(3\right)$

公式(3)中，[r_ij]表示旋转矩阵，且i,j＝1,2,3，[t₁,t₂,t₃]^T为平移矩阵；

步骤二：使用投影仪向待测物投射正弦条纹图用摄像机拍摄被待测物表面轮廓调制的正弦条纹图，使用公式(4)所示方法对拍摄的正弦条纹图进行畸变矫正，

img_rect(u,v)＝img_dist(u_d,v_d) (4)

公式(4)中，img_rect(u,v)为矫正后图像，(u,v)为矫正后的图像坐标，img_dist(u_d,v_d)为矫正前的图像，(u_d,v_d)为矫正前的图像坐标，在获得矫正前的图像坐标(u_d,v_d)后，采用双线性插值的方法计算矫正前的图像img_dist(u_d,v_d)，且u_d和v_d的计算方式如公式(5)所示，

$\left\{\begin{array}{c}{u}_d=\[x_n(1+k_1{r_n}^2+k_2{r_n}^4)+2k_3{x}_n{y}_n+k_4(2x_n^2+r_n^2)\]f_u+u_0\\ v_d=\[y_n(1+k_1{r_n}^2+k_2{r_n}^4)+k_3(2y_n^2+r_n^2)+2k_4{x}_n{y}_n\]f_v+v_0\end{array}\right.---\left(5\right)$

公式(5)中，参数x_n和y_n的计算方式如公式(6)所示，且r_n ²＝x_n ²+y_n ²，

$\left\{\begin{array}{c}{x}_n=\frac{u-u_0}{f_u}\\ y_n=\frac{v-v_0}{f_v}\end{array}\right.---\left(6\right);$

所述正弦条纹图的光强分布如公式(7)所示，

$I_n^p(x,y)=A^p(x,y)+B^p(x,y)cos\[2\mathrm{\π}x/\mathrm{\λ}+2\mathrm{\π}n/N\]---\left(7\right)$

公式(7)中，(x,y)为投影仪坐标，A^p为直流分量，B^p为振幅，λ为正弦波波长，n为相移数，N为相移步数；

步骤三：计算待测物表面上每个待测点对应的三维空间深度坐标；

步骤四：根据标定得到的摄像机参数以及步骤三中计算得到的三维空间深度坐标，求解三维空间平面坐标；最后综合每个待测点的三维空间深度坐标与平面坐标，得到完整的三维空间坐标。

2.如权利要求1所述的基于条纹投影的三维测量方法，其特征在于，在步骤三中，假设待测点的三维空间坐标为(x_w,y_w,z_w)，其中x_w、y_w平面坐标，z_w为深度坐标，使用矫正后的正弦条纹图img_rect(u,v)计算深度z_w的方法如公式(8)所示，

$z_w=\frac{1+c_1\mathrm{\Φ}+(c_2+c_3\mathrm{\Φ})u+(c_4+c_5\mathrm{\Φ})v+(c_6+c_7\mathrm{\Φ})u^2+(c_8+c_9\mathrm{\Φ})v^2}{d_0+d_1\mathrm{\Φ}+(d_2+d_3\mathrm{\Φ})u+(d_4+d_5\mathrm{\Φ})v+(d_6+d_7\mathrm{\Φ})u^2+(d_8+d_9\mathrm{\Φ})v^2}---\left(8\right)$

公式(8)中，c₁～c₉和d₀～d₉为待确定的参数，Φ为使用矫正后的正弦条纹图结合相移法解得的绝对相位。

3.如权利要求2所述的基于条纹投影的三维测量方法，其特征在于，在步骤四中使用公式(9)所示方法计算每个待测点的平面坐标(x_w,y_w)，

$\left\{\begin{array}{c}\frac{r_{11}{x}_w+r_{12}{y}_w+r_{13}{z}_w+t_1}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_3}=\frac{u-u_0}{f_u}\\ \frac{r_{21}{x}_w+r_{22}{y}_w+r_{23}{z}_w+t_2}{r_{31}{x}_w+r_{32}{y}_w+r_{33}{z}_w+t_3}=\frac{v-v_0}{f_v}\end{array}\right.---\left(9\right)$

公式(9)中，r_ij(i,j＝1,2,3)表示旋转矩阵参数，t₁,t₂,t₃为平移矩阵参数。