CN100520285C - 投射多频光栅的物体表面三维轮廓的视觉测量方法 - Google Patents

Abstract

本发明属于物体表面三维轮廓测量领域。其主要技术特征包括：1)通过向物体表面投射不同频率的光栅，获得多个相位图；2)采用频率合成方法，展开相位图，从而获得高精度的展开相位；3)利用展开的相位与外极线匹配对应点，计算物体表面的三维轮廓；4)为使计算结果更可靠，采用调制度作为展开相位的可靠性依据，对调制度小于设定阈值的相位进行掩模处理。本发明具有结构简单、非接触、高精度、高速度、易于实现的特点。

Description

投射多频光栅的物体表面三维轮廓的视觉测量方法

技术领域

物体表面三维轮廓测量技术领域

背景技术

采用计算机视觉测量物体轮廓技术是目前三维测量的研究热点，它具有结构简单、非接触、高速度、高精度和高可靠性的优点。可广泛地应用于航空航天、机械制造、医疗诊断、计算机辅助设计与制造、逆向工程设计、虚拟现实和三维动画制作等领域。

用二维光学图像恢复物体的三维几何信息，主要有两方面的技术难点：一是光学图像的灰度虽然反映了三维物体的几何信息，但又与物体的材料、纹理、光源等其它许多因素有关，因此，由二维图像恢复物体三维几何形状是一个具有多解性的反问题；二是用多幅二维图像恢复三维信息，必须解决点的“对应”问题，即确定多幅图像间特征点之间的对应关系，这也是一个多解问题。

通过将具有正弦分布的光栅投射到被测物体的表面，由摄像机采集由于物体表面的起伏使光栅条纹发生畸变的图像，通过相位移动技术，获取与物体高度相关的相位信息。这项技术为解决用二维光学图像恢复物体的三维几何信息的多解性问题提供了条件。然而，投射光栅条纹提取的相位在-π与π之间折叠，存在着2π折叠问题，需要进行相位展开才能得到真实相位。对于理想的简单相位图，相位展开十分简单，在展开方向上，比较两个相邻点的相位，如果两者的相位差大于-π，则后一点加上2π，如果两者的相位差大于π，则后一点减去2π。但是，如果物体表面的变化也使得两个相邻点的相位变化大于π，则相位展开无法进行。因此相位展开成为制约三维测量技术应用的一个瓶颈问题。

专利(CN1203292C)通过Gray编码，将测量区域分割成2^N个条形区域，再利用多步相移测量技术获得每个区域的相位，两者的组合避开了相位展开问题，而且，只要根据相位和外极线的约束就能够解决左右图像上像点的“对应”问题。但是，这种方法会由于马赫范得效应(Mach Band Effect)会产生错误的编码，并且这种方法对于测量环境要求高，噪声敏感。

一种称作双频轮廓术的方法，首先在全场投射只用一个条纹的光栅，则测量范围内所有像点的展开相位与折叠相位相同，分布在-π与π之间，无须展开；然后投射有多个条纹的光栅，由多条纹光栅获得的相位存在2π折叠问题，以单条纹光栅的相位为参考，利用相位与高度的关系确定多条纹光栅相位展开时的增减2π的数目。由于单条纹相位中含有较大的噪声，在以它为参考直接展开多条纹光栅相位时，会产生较大误差。还有一些采用多个光栅的投影方案，如光栅条纹指数递增方案(f＝1，2，4，8，16，32，64，128)，需要投射的光栅数目较多。

发明内容

通过向物体表面投射三个(或多个)频率的光栅，由安装在投影机两侧的摄像机拍摄被物体表面调制的光栅条纹，采用一种新的相位展开技术，计算左、右摄像机拍摄图像上的每一点的相位，以相位值和立体视觉中的外极线作为约束，实现左、右两幅图像上的点的唯一匹配，进而求出物体表面各点的三维坐标。它包括如下步骤：

(1)计算机生成虚拟光栅，其中包括三组相移光栅，利用投影仪将生成的光栅投射到物体上；

(2)利用两台摄像机采集物体上的条纹图像，并保存在计算机的内存中；

(3)对每一个摄像机拍摄的图像采用新的相位展开技术进行处理，得到图像上每一点的相位值；两个摄像机拍摄的图像上，对应在物体表面上同一点的相位值是相等的，因此，可用相位值作为对应点的匹配的依据。

(4)对两个摄像机进行定标，得到摄像机的内部参数即相对于世界坐标的外部参数：

(5)根据相位和外极线对每一点进行三维重构，计算物体表面点的三维坐标：

1、投射三个(或多个)频率的光栅，三个光栅的频率之间具有如下特征：

(1)三个光栅都具有较高的频率，使测量的相位具有较高的精度，按照频率从高到低三个光栅的频率分别为f₁、f₂、f₃；

(2)光栅频率的关系：f₁-2f₂+f₃≤1

(3)投射光栅，物体表面的光强可表示为：

$I_i^j(x,y)=R(x,y)\{A(x,y)+B(x,y)\cos (\mathrm{\φ}(x,y)+{\mathrm{\φ}}_j)\}$

其中R(x，y)表示物体表面的反射率，A(x，y)表示背景光强，B(x，y)表示条纹光强幅值，φ(x，y)表示条纹相位，i＝1，2，3，对应频率f₁、f₂、f₃，j＝1，2，3，4对应相移角度φ_j为分别为0、

(4)频率f₁、f₂、f₃的对应相位φ₁(x，y)、φ₂(x，y)、φ₃(x，y)分别计算如下：

${\mathrm{\φ}}_i(x,y)={\mathrm{tg}}^{-1}\frac{I_i^4(x,y)-I_i^2(x,y)}{I_i^1(x,y)-I_i^3(x,y)}={\mathrm{tg}}^{-1}\frac{{\mathrm{\ΔI}}_i^{42}(x,y)}{{\mathrm{\ΔI}}_i^{13}(x,y)},i=\mathrm{1,2,3}$

ΔI⁴²(x，y)＝I⁴(x，y)-I²(x，y)，ΔI¹³(x，y)＝I¹(x，y)-I³(x，y)

2、采用合成频率技术展开相位；

(1)在计算机中，由光栅1和2合成频率为f₁₂(f₁₂＝f₁-f₂)的光栅，其相位为φ₁₂(x，y)；由光栅2和3合成频率为f₂₃(f₂₃＝f₂-f₃)的光栅，其相位为φ₂₃(x，y)，由光栅1和3合成频率为f₁₃(f₁₃＝f₁-f₃)的光栅，其相位为φ₁₃(x，y)，其相位的计算方法如下：

${\mathrm{\φ}}_{\mathrm{ij}}(x,y)={\mathrm{tg}}^{-1}\frac{{\mathrm{\ΔI}}_i^{42}(x,y)}{{\mathrm{\ΔI}}_i^{13}(x,y)}-{\mathrm{tg}}^{-1}\frac{{\mathrm{\ΔI}}_j^{42}(x,y)}{{\mathrm{\ΔI}}_j^{13}(x,y)}={\mathrm{tg}}^{-1}\frac{{\mathrm{\ΔI}}_i^{42}(x,y){\mathrm{\ΔI}}_j^{13}(x,y)-{\mathrm{\ΔI}}_i^{13}(x,y){\mathrm{\ΔI}}_j^{42}(x,y)}{{\mathrm{\ΔI}}_i^{13}(x,y){\mathrm{\ΔI}}_j^{13}(x,y)+{\mathrm{\ΔI}}_i^{42}(x,y){\mathrm{\ΔI}}_j^{42}(x,y)}$

i＝1，2，3，j＝1，2，3，i<j

(2)由光栅1、2和3合成频率为f₁₂₃(f₁₂₃＝f₁-2f₂+f₃)的光栅，其相位φ₁₂₃(x，y)计算方法如下：

${\mathrm{\&phi;}}_{123}(x,y)={\mathrm{tg}}^{-1}\frac{{\mathrm{\&Delta;I}}_1^{42}(x,y){\mathrm{\&Delta;I}}_2^{13}(x,y)-{\mathrm{\&Delta;I}}_1^{13}(x,y){\mathrm{\&Delta;I}}_2^{42}(x,y)}{{\mathrm{\&Delta;I}}_1^{13}(x,y){\mathrm{\&Delta;I}}_2^{13}(x,y)+{\mathrm{\&Delta;I}}_1^{42}(x,y){\mathrm{\&Delta;I}}_2^{42}(x,y)}$

${-\mathrm{tg}}^{-1}\frac{{\mathrm{\&Delta;I}}_2^{42}(x,y){\mathrm{\&Delta;I}}_3^{13}(x,y)-{\mathrm{\&Delta;I}}_2^{13}(x,y){\mathrm{\&Delta;I}}_3^{42}(x,y)}{{\mathrm{\&Delta;I}}_2^{13}(x,y){\mathrm{\&Delta;I}}_3^{13}(x,y)+{\mathrm{\&Delta;I}}_2^{42}(x,y){\mathrm{\&Delta;I}}_3^{42}(x,y)}$

(3)根据f₁-2f₂+f₃≤1的频率关系，频率为f₁₂₃的光栅在摄像机的可视范围内只有一个条纹，它的相位不存在2π折叠问题，即展开相位与折叠相位相等

因此，可将它作为其它相位展开的参考相位；

(4)计算频率f₁₂、f₂₃、f₁₃的展开相位，以展开φ₁₃(x，y)为例：

(5)再以相位

为参考，计算光栅f₁、f₂、f₃的展开相位，以φ₁(x，y)为例

(6)为提高相位的可靠性，对展开相位进行进一步的处理，如用φ₁(x，y)、φ₂(x，y)、φ₃(x，y)投票方法提高相位的可靠性，或采用调制度技术提高相位的可靠性。

3、对两个摄像机进行定标，得到摄像机的内部参数及相对于世界坐标的外部参数；

(1)将两台摄像机安装在投影仪两侧，使之对称于投影仪的光轴；

(2)由投影仪向一定距离的平面垂直投射十字光标，调整摄像机的角度，至两个摄像机的中心线与十字光标的竖线重合；

(3)采用张正友的平面定标方法或其它定标方法为摄像机定标，确定摄像机内、外参数；摄像机的内参数有f⁽ⁱ⁾、

dx⁽ⁱ⁾、dy⁽ⁱ⁾，摄像机的外参数有R⁽ⁱ⁾、T⁽ⁱ⁾，i＝1，2

f⁽ⁱ⁾：镜头焦距长度，i为摄像机编号；

摄像机的图像坐标系的原点在像素坐标系中的像素坐标；

dx⁽ⁱ⁾、dy⁽ⁱ⁾；在x和y方向上相邻像素之间距离；

R⁽ⁱ⁾：旋转矩阵， $R^{\left(j\right)}=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right];$

T⁽ⁱ⁾：平移向量，T^(j)＝[T_x T_y T_z]；

(4)空间任何一点P(X_w，Y_w，Z_w)，在图像上的投影位置p(u，v)，由摄像机内、外参数构成的投影矩阵确定： $M^{\left(i\right)}=M_1^{\left(i\right)}{M}_2^{\left(i\right)},$ i＝1，2，i为摄像机编号，投影矩阵M为3*4的矩阵，其中：

$M_1^{\left(i\right)}=\left[\begin{array}{ccc}{f}^{\left(i\right)}/{\mathrm{dx}}^{\left(i\right)}& 0& u_0^{\left(i\right)}\\ 0& f^{\left(i\right)}/{\mathrm{dy}}^{\left(i\right)}& v_0^{\left(i\right)}\\ 0& 0& 1\end{array}\right],$ $M_2^{\left(i\right)}=\left[\begin{array}{cc}{R}^{\left(i\right)}& T^{\left(i\right)}\\ 0^T& 1\end{array}\right],$ $M^{\left(i\right)}=\left[\begin{array}{cccc}{m}_{11}^{\left(i\right)}& m_{12}^{\left(i\right)}& m_{13}^{\left(i\right)}& m_{14}^{\left(i\right)}\\ m_{21}^{\left(i\right)}& m_{22}^{\left(i\right)}& m_{23}^{\left(i\right)}& m_{24}^{\left(i\right)}\\ m_{31}^{\left(i\right)}& m_{32}^{\left(i\right)}& m_{33}^{\left(i\right)}& m_{34}^{\left(i\right)}\end{array}\right]$

4、以相位值和立体视觉中的外极线作为约束，实现左、右摄像机拍摄的图像上的点的匹配；

(1)基础矩阵F(Fundamental Matrix)

$F={\left[m\right]}_{\&times;}{M}_1^{\left(2\right)}{M}_1^{\left(1\right)}$

其中， $m=m_1^{\left(2\right)}-m_1^{\left(2\right)}{m}_1^{\left(1\right)-1}{m}_1^{\left(1\right)},$ $M_1^{\left(i\right)}=\left[\begin{array}{ccc}{m}_{11}^{\left(i\right)}& m_{12}^{\left(i\right)}& m_{13}^{\left(i\right)}\\ m_{21}^{\left(i\right)}& m_{22}^{\left(i\right)}& m_{23}^{\left(i\right)}\\ m_{31}^{\left(i\right)}& m_{32}^{\left(i\right)}& m_{33}^{\left(i\right)}\end{array}\right],$ $m_1^{\left(i\right)}=\left[\begin{array}{c}{m}_{14}^{\left(i\right)}\\ m_{24}^{\left(i\right)}\\ m_{34}^{\left(i\right)}\end{array}\right],$ i＝1，2，i为摄像机编号，[m]_x为m的反对称矩阵

(2)空间任何一点的齐次坐标P(X_w，Y_w，Z_w，1)，在两台摄像机图像上的投影的齐次坐标分别为p₁(u₁，v₁，1)、p₂(u₂，v₂，1)；则有 $p_2^T{\mathrm{Fp}}_1=0,$ 它给出了p₁和p₂必须满足的关系，在给定p₁的情况下，它是一个关于p₂的线性方程，即摄像机2拍摄的图像上的外极线方程；反之，在给定p₂的情况下，它是一个关于p₁的线性方程，即摄像机1拍摄的图像上的外极线方程，

(3)由摄像机1拍摄的图像上一点p₁(u₁，v₁)，计算其在2摄像机拍摄图像上的外极线方程参数，并在外极线上寻找与p₁点相位值相等的点p₂(u₂，v₂)，p₁与p₂就是一对匹配点；

5、利用匹配的对应点，计算物体表面的三维坐标；

(1)已知p₁(u₁，v₁)，p₂(u₂，v₂)为空间同一点的对应点，以及投影矩阵M⁽ⁱ⁾，于是可以得到关于空间点P(X_w，Y_w，Z_w)的坐标的4个线性方程：

$(u_1{m}_{31}^{\left(1\right)}-m_{11}^{\left(1\right)})X_w+(u_1{m}_{32}^{\left(1\right)}-m_{12}^{\left(1\right)})Y_w+(u_1{m}_{33}^{\left(1\right)}-m_{13}^{\left(1\right)})Z_w=m_{14}^{\left(1\right)}-u_1{m}_{34}^{\left(1\right)}$

$(u_1{m}_{31}^{\left(1\right)}-m_{21}^{\left(1\right)})X_w+(v_1{m}_{32}^{\left(1\right)}-m_{22}^{\left(1\right)})Y_w+(v_1{m}_{33}^{\left(1\right)}-m_{23}^{\left(1\right)})Z_w=m_{24}^{\left(1\right)}-v_1{m}_{34}^{\left(1\right)}$

$(u_2{m}_{31}^{\left(2\right)}-m_{11}^{\left(2\right)})X_w+(u_2{m}_{32}^{\left(2\right)}-m_{12}^{\left(2\right)})Y_w+(u_2{m}_{33}^{\left(2\right)}-m_{13}^{\left(2\right)})Z_w=m_{14}^{\left(2\right)}-u_2{m}_{34}^{\left(2\right)}$

$(v_2{m}_{31}^{\left(2\right)}-m_{21}^{\left(2\right)})X_w+(v_2{m}_{32}^{\left(2\right)}-m_{22}^{\left(2\right)})Y_w+(v_2{m}_{33}^{\left(2\right)}-m_{23}^{\left(2\right)})Z_w=m_{24}^{\left(2\right)}-v_2{m}_{34}^{\left(2\right)}$

选择其中3个方程求解或用最小二乘方法对4个方程求最优解，就可以计算出P(X_w，Y_w，Z_w)的坐标值；

6、采用计算机、投影仪和两台摄像机组成测量系统。

附图说明

图1是本发明硬件组成的示意图。系统由一个投射光栅的投影仪，以及位于投影仪两侧的两台CCD摄像机，以及一台计算机组成。

图2是软件处理流程的总体框图。

图3是投射光栅与采集图像的流程图。

图4是由图像计算相位的流程图。

图5是由摄像机标定参数与相位数据计算对应点的流程图。

图6是由对应点数据计算三维坐标的流程图。

图7是应用本发明对一个鼠标进行测量，对获得的三维数据进行显示的图形。

具体实施方式

本发明提出的一种光学三维测量方法和系统的实施例说明如下：

本实施例的测量系统如图1所示，系统由摄像机1、2，投影仪3，计算机4等组成，计算机为P42.8GHz，两架WATEC的WAT 902H黑白CCD工业摄像机，两块嘉恒公司的M10A的OK系列采集卡，两个国产的GDS 35镜头，HP vp6315投影仪。

1)利用计算机生成虚拟三组相移光栅的条纹数分别为120，116，113，利用投影仪将光栅投射到物体上；

2)两台CCD摄像机采集图像，并保存在计算机中；

3)对每一个摄像机拍摄的12幅图像分别进行处理，得到每个点的相位值；

4)为使计算结果更可靠，采用调制度作为展开相位的可靠性依据，对调制度小于设定阈值的相位进行掩模处理。

5)采用张正友定标方法；对摄像机定标，获得摄像机内、外参数，以及镜头的畸变系数；

6)计算基础矩阵；

7)根据外极线方程和相位值确定匹配点对；

8)计算三维坐标。

Claims (5)

1、投射多频光栅的物体表面三维轮廓的视觉测量方法，其特征在于：通过向物体表面投射三个或三个以上频率的光栅，由安装在投影机两侧的摄像机拍摄被物体表面调制的条纹，采用合成频率的相位展开技术，计算左、右摄像机拍摄图像上的每一点的相位，以相位值和外极线作为约束，实现左、右两幅图像上的点的匹配，进而求出物体表面各点的三维坐标，具体包括如下步骤，

(1)计算机生成虚拟光栅，其中包括三个或三个以上相移光栅，利用投影仪将生成的光栅投射到物体上；

(2)利用两台摄像机采集物体上的条纹图像，并保存在计算机的内存中；

(3)对每一个摄像机拍摄的图像进行合成频率的相位展开处理，处理后得到图像上每一点的相位值，在两个摄像机拍摄的图像上，根据对应在物体表面上同一点的相位值相等的原则，依据相位值作为对应点的匹配依据；

(4)对两个摄像机进行定标，得到摄像机的内部参数和相对于世界坐标的外部参数以及镜头的畸变系数；

(5)根据相位和外极线寻找对应的匹配点，构成对应点对；

(6)由对应点对计算出被测物体表面点的三维坐标。

2、根据权利要求1所述的测量方法，其特征在于；投射三个频率的光栅，三个光栅的频率之间具有如下特征：

(1)三个光栅都具有较高的频率，使测量的相位具有较高的精度，按照频率从高到低三个光栅的频率分别为f₁、f₂、f₃，相位分别为φ₁(x，y)、φ₂(x，y)、φ₃(x，y)，

(2)光栅频率的关系：f₁-2f₂+f₃≤1。

3、根据权利要求1所述的测量方法，其特征在于；所述合成频率的相位展开处理由下列步骤实现；

(1)在计算机中，由光栅1和2合成频率f₁₂，f₁₂＝f₁-f₂，相位φ₁₂(x，y)；

(2)在计算机中，由光栅2和3合成频率f₂₃，f₂₃＝f₂-f₃，相位φ₂₃(x，y)；

(3)在计算机中，由光栅3和1合成频率为f₁₃，f₁₃＝f₁-f₃，相位φ₁₃(x，y)；

(4)在计算机中，由光栅1、2和3合成等效频率f₁₂₃，f₁₂₃＝f₁-2f₂+f₃，相位φ₁₂₃(x，y)；

(5)合成频率为f₁₂₃的光栅在摄象机的可视范围内构成一个条纹，故

，合成频率为f₁₂₃作为φ₁₂x，y)、φ₂₃(x，y)、φ₁₃(x，y)相位展开的依据；

(6)展开频率f₁₃相位的步骤如下：

展开f₁₂、f₂₃相位的步骤与f₁₃的展开步骤相同；

(7)再以

为参考，展开频率f₁的相位步骤如下：

展开f₂、f₃相位的步骤与f₁的展开步骤相同(；

(8)由

投票或用调制度作为展开相位的可靠性依据，对调制度小于设定阈值的相位进行掩模处理。

4、据权利要求1所述的测量方法，其特征在于；对两个摄像机进行定标，得到摄像机的内部参数即相对于世界坐标的外部参数，具体步骤如下：

(1)将两台摄像机安装在投影仪两侧，使之对称于投影仪的光轴；

(2)由投影仪向一定距离的平面垂直投射十字光标，调整摄像机的角度，至两个摄像机的中心线与十字光标的竖线重合；

(3)采用平面定标方法确定摄像机内、外参数。

5、根据权利要求1所述的测量方法，其特征在于；所述的投影仪由电移台、光栅片和光源组成的光栅投射仪。

Images