CN106556356A - 一种多角度三维轮廓测量系统及测量方法 - Google Patents

Abstract

本发明公开了一种多角度三维轮廓测量系统及测量方法，1)通过立体标定技术，获得三个区域重建出模型的坐标变换关系，用于点云的拼接；2)投影编码的结构光，采集经被测物体调制的结构光图片；3)匹配求视差；4)三维重建，获得被测物体的正表面和左右两侧面的三维轮廓；5)点云低精度拼接，得到被测物的低精度的多角度三维轮廓；6)用ICP进行高精度拼接，最终得到被测物的高精度的多角度三维轮廓。本发明可以在被测物体和测量角度固定的条件下，得到被测物体的360度的精确三维模型，系统装置结构简单，测量精度高，视场大，速度快。

Description

一种多角度三维轮廓测量系统及测量方法

技术领域：

本发明属于光学检测领域，涉及一种三维轮廓的多角度光学检测系统及检测方法，特别是一种大景深、多角度、大视场的结构光三维测量方法。

背景技术：

三维扫描技术应用越来越广泛，为了实现物体快速精确的三维测量，通常采用多摄像机拍摄的立体视觉方法和条纹投影的结构光方法。传统的相移轮廓术法能够测量任何曲面形状的物体，测量范围广，但该方法存在标定困难，反射率问题；双目立体视觉法测量系统简单但是存在匹配困难的问题。若将这两种方法结合起来，利用相移轮廓术法测量出的绝对相位值辅助立体视觉法进行特征匹配，不仅解决了立体视觉“匹配难”的问题，而且还简化了系统结构，提高测量精度。

目前，由于双目立体视觉测量系统相机夹角的限制，只能得到一个物体90度以内的精确三维模型。在实际使用中，通常需要对同一测量对象进行多次不同角度的测量，再将得到的三维轮廓模型进行拼接，费时费力。

发明内容：

本发明的目的在于克服上述现有技术的缺点，提供一种多角度三维测量系统及测量方法，该装置采用激光MEMS(Micro-electromechanical Systems)投影装置来提高投影景深；采用两面反射镜来提高测量范围；采用一个或多个相机来捕捉视场范围内的变形条纹图，使用单目或双目立体视觉匹配重建模型；通过自由拼接方法的到多角度融合模型。本发明可以在被测物体和测量角度固定的条件下，得到被测物体的360度的精确三维模型，测量精度高，视场大，速度快。

本发明的目的是通过以下技术方案来解决的：

一种多角度三维轮廓测量系统，系统由一个或多个相机、一台激光MEMS投影装置和两面反射镜组成，激光MEMS投影装置放置在被测物体正上方，反射镜对称放置在被测物体两侧并与被测物成一定夹角，使被测物体的左右两侧面在反射镜中成像，相机通过左右两反射镜采集到被测物体的左右两侧面，同时也采集到被测物体的正表面，即采集到被测物体的360度的轮廓特征；将激光MEMS投影装置的投影视场分为A区域、B区域和C区域三个区域，A区域为激光MEMS投影装置投射在右反射镜上的视场，B区域为投射在被测物体正表面的视场，C区域为投射在左反射镜上的视场。编码的结构光依次投射在投影视场的三个区域内并通过相机采集图片，根据结构光三维测量技术实现多角度快速扫描、三维重建和拼接。

两面反射镜的夹角为60度到150度；镜面的高度为0.01米到1米；被测物体中心到相机光心的距离为0.01米到1米。

所述的多角度三维轮廓测量系统的测量方法，按照如下步骤：

1)通过立体标定技术，获得三个区域重建出模型的坐标变换关系，用于点云的拼接；

三维点云拼接的实质就是空间坐标变换，以A区域、B区域重建的到的三维点云拼接为例，设点云A内任意一点的坐标为P_a(x_a,y_a,z_a)，点云B内任意一点的坐标为P_b(x_b,y_b,z_b)，则A，B内对应点满足如下关系：

P_a＝RP_b+T

所以,A，B之间的坐标变换可以通过R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T中的六个参数来描述，α，β，γ分别为绕x，y，z轴旋转的欧拉角，先后以x，y，z旋转进行坐标变换；

设P_a(x_a,y_a,z_a)和P_b(x_b,y_b,z_b)对应的齐次坐标为p_a(x_a,y_a,z_a,1)和p_b(x_b,y_b,z_b,1)，则写成：

p_a＝Mp_b，其中，

通过基于特殊编码的立体标定块完成对点云之间坐标变换矩阵的M的求解；

首先，建立基于特殊编码的立体标定块，基于特殊编码的立体标定块是在标准正方体块六个面上印有标准的棋盘格标定板图案，标定板图案上方印有编码用标准圆图案，用于区分每个面；对于立体标定板上棋盘格标定板的角点，通过测量其对应点的坐标变换矩阵T₁，其两个面上对应点满足p_ac＝T₁p_bc，其中p_ac与p_bc为重建的标定板的角点对应的齐次坐标是形式；

通过重建立体标定块上角点完成对不同区域测量点云模型的拼接；以A区域重建的标定板为基准，其与B区域重建的标定板对应点坐标满足p_a＝M₁T₁p_b，M₁是不同区域对应点之间的坐标变换矩阵；通过图像识别技术区分不同的标定板面，测量出T₁，而p_a与p_b我们可以通过双目测量原理重建得到其坐标，通过求解非线性方程组求得M₁；则可求两个模型之间拼接的坐标变换矩阵M＝M₁T₁；

2)投影编码的结构光，采集经被测物体调制的结构光图片；

3)匹配求视差；

4)三维重建，获得被测物体的正表面和左右两侧面的三维轮廓；

5)点云低精度拼接，得到被测物的低精度的多角度三维轮廓；

只要知道坐标变换矩阵M，便可以进行点云的低精度拼接。在步骤一中已经求出坐标变换矩阵M，因此，直接使用坐标变换矩阵M对点云数据进行坐标变换，便可以完成被测物体的低精度的多角度三维轮廓拼接。

6)用ICP(interative closed point)进行高精度拼接，最终得到被测物的高精度的多角度三维轮廓。

本发明的有益效果在于：本发明通过自由拼接方法的到多角度融合模型。本发明可以在被测物体和测量角度固定的条件下，得到被测物体的360度的精确三维模型，测量精度高，视场大，速度快。

附图说明：

图1为本发明的系统结构图；

图2激光MEMS投影装置的视场；

图3激光MEMS投影装置的视场的俯视图；

图4立体标定块；

图5投影视场的A区域；

图6投影视场的B区域；

图7投影视场的C区域；

图8相机采集被测物体在右反射镜中成的像；

图9相机采集被测物体正表面的图片；

图10相机采集被测物体在左反射镜中成的像；

图11相机三次分别采集被测物体的轮廓范围；

图12实例分析；

其中：其中，1为左侧反射镜；2为右侧反射镜；3为被测物体；4为相机；5为激光MEMS投影装置；A为激光MEMS投影装置投影视场的A区域；B为激光MEMS投影装置投影视场的B区域；C为激光MEMS投影装置投影视场的C区域。

具体实施方式：

下面结合附图对本发明做进一步详细描述：

参见图1-12，一种多角度三维测量系统，系统由一个或多个相机、一台激光MEMS(Micro-electromechanical Systems)投影装置和两面反射镜组成，激光MEMS投影装置放置在被测物体正上方，反射镜对称放置在被测物体两侧并与被测物成一定夹角，使被测物体的左右两侧面在反射镜中成像，相机可以通过左右两反射镜采集到被测物体的左右两侧面，同时也可以采集到被测物体的正表面，即可以采集到被测物体的360度轮廓特征。将激光MEMS投影装置的投影视场分为A、B、C三个区域，A区域为激光MEMS投影装置投射在右反射镜上的视场，B区域为投射在被测物体正表面的视场，C区域为投射在左反射镜上的视场。编码的结构光依次投射在投影视场的三个区域内并通过相机采集图片，根据结构光三维测量技术实现多角度快速扫描、三维重建和拼接。

图1中，1为左侧反射镜；2为右侧反射镜；3为被测物体；4为相机；5为激光MEMS投影装置。

图2中，A为激光MEMS投影装置投影视场的A区域；B为激光MEMS投影装置投影视场的B区域；C为激光MEMS投影装置投影视场的C区域。

具体测量步骤如下：

步骤1、通过立体标定技术，获得三个区域重建出模型的坐标变换关系，用于点云的拼接。

三维点云拼接的实质就是空间坐标变换，以A、B区域重建的到的三维点云拼接为例，设点云A内任意一点的坐标为P_a(x_a,y_a,z_a)，点云B内任意一点的坐标为P_b(x_b,y_b,z_b)，则A，B内对应点满足如下关系：

P_a＝RP_b+T

所以,A，B之间的坐标变换可以通过R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T中的六个参数来描述，α，β，γ分别为绕x，y，z轴旋转的欧拉角，先后以x，y，z旋转进行坐标变换；

设P_a(x_a,y_a,z_a)和P_b(x_b,y_b,z_b)对应的齐次坐标为p_a(x_a,y_a,z_a,1)和p_b(x_b,y_b,z_b,1)，则可以写成：

p_a＝Mp_b，其中，

我们可以通过基于特殊编码的立体标定块完成对电云之间坐标变换矩阵的M的求解。首先，基于特殊编码的立体标定块如图4所示，在标准正方体块六个面上印有标准的棋盘格标定板图案，标定板图案上方印有编码用标准圆图案，用于区分每个面(如面1有一个圆，面2有两个圆……)。

对于立体标定板上棋盘格标定板的角点，我们可以准确通过测量其对应点的坐标变换矩阵T₁，其两个面上对应点也满足p_ac＝T₁p_bc，其中p_ac与p_bc为重建的标定板的角点对应的齐次坐标是形式。

因此，我们可以通过重建立体标定块上角点完成对不同区域测量点云模型的拼接。以A区域重建的标定板为基准，其与B区域重建的标定板对应点坐标满足p_a＝M₁T₁p_b，M₁是不同区域对应点之间的坐标变换矩阵。我们可以通过图像识别技术区分不同的标定板面，测量出T₁，而p_a与p_b我们可以通过双目测量原理重建得到其坐标，通过求解非线性方程组求得M₁。则可求两个模型之间拼接的坐标变换矩阵M＝M₁T₁。

步骤2、利用激光MEMS投影装置分别投影编码的结构光在A、B、C三个区域，单目或双目相机采集经被测物体调制的结构光图片。

首先，将编码结构光投射在投影视场的A区域，如图5所示，并用相机采集右侧反射镜面内，经被测物体右侧表面调制的结构光，如图8所示。被测物体的A₁，A₂两点分别对应反射镜中所成像的A₁₁,A₂₂两点，即相机可以采集到经被测物体圆弧范围内的轮廓调制的结构光图片，根据结构光三维测量技术其原理可得到被测物体圆弧范围内的轮廓。

其次，将编码结构光投射在投影视场的B区域，如图6所示，并用相机采集经被测物体正表面调制的结构光，如图9所示。相机采集经被测物体圆弧范围内的轮廓调制的结构光图片，根据结构光三维测量技术其原理可得到被测物体圆弧范围内的轮廓。

最后，将编码结构光投射在投影视场的C区域，如图7所示，并用相机采集左侧反射镜面内，经被测物体左侧表面调制的结构光，如图10所示。被测物体的C₁，C₂两点分别对应反射镜中所成像的C₁₁,C₂₂两点，即相机可以采集到经被测物体圆弧范围内的轮廓调制的结构光图片，根据结构光三维测量技术其原理可得到被测物体圆弧范围内的轮廓。

图11为相机三次分别采集被测物体的轮廓范围，相机第一次采集被测物体圆弧范围内的轮廓；第二次采集被测物体圆弧范围内的轮廓；第三次采集被测物体圆弧范围内的轮廓；根据结构光三维测量技术重建出各弧度范围内的三维轮廓进而完成拼接，得到被测物体360度视角的完整三维模型。

步骤3、匹配求视差。

在左右两相机拍摄的经被测物体调制的结构光图中，每一点都对应特定的绝对相位值，结合绝对相位和几何极线约束，快速的实现左图像、右图像对应点的亚像素匹配，经过亚像素匹配之后，就从左右两幅绝对相位图中得到各个点的视差d_w。

步骤4、三维重建，获得被测物体的正表面和左右两侧面的三维轮廓；

根据获取的视差图，利用步骤1得到单目或双目系统内外参数，利用单目或双目立体视觉重构出空间点的三维坐标；例如双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息；由步骤3求出的视差d_w带入(1.1)式就能重构出空间点的三维坐标；由三角关系可得P的三维世界空间坐标：

式中f是主距，b是基线长度；一空间点P的世界坐标为(x^w,y^w,z^w)，P在左、右摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)。

步骤5、点云低精度拼接，得到被测物的低精度的多角度三维轮廓；

低精度拼接原理：上述方案三维重建是在左相机坐标系下完成的，得到的点云数据也是基于左相机的相机坐标系的。A、C区域重建后的模型是通过镜面呈的像，所以在对A、B、C三个区域分别进行模型重建后得到的点云数据并不在同一个世界坐标系下，这时便需要对重建得到的点云数据进行拼接。

因此，只要知道坐标变换矩阵M，便可以进行点云的低精度拼接。在步骤一中已经求出坐标变换矩阵M，因此，直接使用坐标变换矩阵M对点云数据进行坐标变换，便可以完成被测物体的低精度的多角度三维轮廓拼接。

步骤6、用ICP(interative closed point)进行高精度拼接，最终得到被测物的高精度的多角度三维轮廓。

实例分析：

如图12所示，反射镜长度为240mm；两面反射镜的夹角为90°；被测物体直径为100mm；相机光心与被测物体中心之间的距离O₁O₂＝500mm；被测物体中心与两反射镜夹角中心的距离O₂O₃＝120mm；被测物体中心O₂在反射镜中成的像为O₂₂；过O₁点反射镜中物体所成像的切线，切点分别为A₁₁和A₂₂，分别对应于被测物体的A₁与A₂点；此时，∠O₃O₁A₂₂＝15.5°；故所需相机的视场角要大于31°；O₂O₂₂的水平距离与O₂O₃相等为120mm；故所需相机的景深要大于120mm。

θ＝2arctan(h/2f) \*MERGEFORMAT(1.2)

其中，h--相机CCD大小；ΔL₁--前景深；ΔL₂--后景深；f--镜头焦距；F--镜头的拍摄光圈值；δ--容许弥散斑直径；L--对焦距离，也就是物距；

选取某种工业相机，其相关参数为h＝1/2”；f＝8mm；F＝2.5；δ＝5.8μm；L＝500mm；带入式(1.2)和(1.3)，得

视场角θ＝76.8°，大于31°，故视场角满足要求。

景深ΔL＝238.82mm，大于120mm，故景深满足要求。

因此，上述的几何结构可以实现被测物体的360度三维重建，这种几何结构下所能测量的物体的最大直径为100mm。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，仍属于本发明技术方案的范围内。

Claims (3)

1.一种多角度三维轮廓测量系统，其特征在于，系统由一个或多个相机、一台激光MEMS投影装置和两面反射镜组成，激光MEMS投影装置放置在被测物体正上方，反射镜对称放置在被测物体两侧并与被测物成一定夹角，使被测物体的左右两侧面在反射镜中成像，相机通过左右两反射镜采集到被测物体的左右两侧面，同时也采集到被测物体的正表面，即采集到被测物体的360度的轮廓特征；将激光MEMS投影装置的投影视场分为A区域、B区域和C区域三个区域，A区域为激光MEMS投影装置投射在右反射镜上的视场，B区域为投射在被测物体正表面的视场，C区域为投射在左反射镜上的视场。编码的结构光依次投射在投影视场的三个区域内并通过相机采集图片，根据结构光三维测量技术实现多角度快速扫描、三维重建和拼接。

2.基于权利要求1所述的多角度三维轮廓测量系统，其特征在于，两面反射镜的夹角为60度到150度；镜面的高度为0.01米到1米；被测物体中心到相机光心的距离为0.01米到1米。

3.基于权利要求1所述的多角度三维轮廓测量系统的测量方法，其特征在于，按照如下步骤：

1)通过立体标定技术，获得三个区域重建出模型的坐标变换关系，用于点云的拼接；

三维点云拼接的实质就是空间坐标变换，以A区域、B区域重建的到的三维点云拼接为例，设点云A内任意一点的坐标为P_a(x_a,y_a,z_a)，点云B内任意一点的坐标为P_b(x_b,y_b,z_b)，则A，B内对应点满足如下关系：

P_a＝RP_b+T

所以,A，B之间的坐标变换可以通过R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T中的六个参数来描述，α，β，γ分别为绕x，y，z轴旋转的欧拉角，先后以x，y，z旋转进行坐标变换；

$R=R\left(\begin{array}{ccc}\mathrm{\α},& \mathrm{\β},& \mathrm{\γ}\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -sin\mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right)\left(\begin{array}{ccc}cos\mathrm{\β}& 0& sin\mathrm{\β}\\ 0& 1& 0\\ -sin\mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{ccc}cos\mathrm{\γ}& -cos\mathrm{\γ}& 0\\ sin\mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right)$

设P_a(x_a,y_a,z_a)和P_b(x_b,y_b,z_b)对应的齐次坐标为p_a(x_a,y_a,z_a,1)和p_b(x_b,y_b,z_b,1)，则写成：

p_a＝Mp_b，其中，

通过基于特殊编码的立体标定块完成对点云之间坐标变换矩阵的M的求解；

首先，建立基于特殊编码的立体标定块，基于特殊编码的立体标定块是在标准正方体块六个面上印有标准的棋盘格标定板图案，标定板图案上方印有编码用标准圆图案，用于区分每个面；对于立体标定板上棋盘格标定板的角点，通过测量其对应点的坐标变换矩阵T₁，其两个面上对应点满足p_ac＝T₁p_bc，其中p_ac与p_bc为重建的标定板的角点对应的齐次坐标是形式；

通过重建立体标定块上角点完成对不同区域测量点云模型的拼接；以A区域重建的标定板为基准，其与B区域重建的标定板对应点坐标满足p_a＝M₁T₁p_b，M₁是不同区域对应点之间的坐标变换矩阵；通过图像识别技术区分不同的标定板面，测量出T₁，而p_a与p_b我们可以通过双目测量原理重建得到其坐标，通过求解非线性方程组求得M₁；则可求两个模型之间拼接的坐标变换矩阵M＝M₁T₁；

2)投影编码的结构光，采集经被测物体调制的结构光图片；

3)匹配求视差；

4)三维重建，获得被测物体的正表面和左右两侧面的三维轮廓；

5)点云低精度拼接，得到被测物的低精度的多角度三维轮廓；

6)用ICP进行高精度拼接，最终得到被测物的高精度的多角度三维轮廓。