CN104567727A - 立体靶标及对线结构光轮廓传感器的全局统一校准方法 - Google Patents

Abstract

本发明公开了一种立体靶标，所述立体靶标为一立体方环形状，所述立体方环的每个边上各有38个均匀锯齿形状凹槽，立体方环每个侧边的中心位置设置有一个缺齿；所述锯齿形状凹槽的横截面为等腰三角形；以及一种利用立体靶标实现的对线结构光轮廓传感器的全局统一校准方法，该方法包括以下步骤：设计符合视场范围的靶标以及选定对应的二维精密平移台。然后搭建四套线结构传感器轮廓测量系统，结合二维精密平移台在不同的位置同时拍摄靶标上的光条图像。根据提出的校准方法，对采集的图像进行处理计算，按下列过程顺序完成：特征点提取，摄像机标定，坐标系统一，即可完成整个系统的校准。

Description

立体靶标及对线结构光轮廓传感器的全局统一校准方法

技术领域

本发明涉及一种结构光三维视觉检测技术，特别是涉及一种线结构光轮廓传感器全局统一校准方法。

背景技术

结构光三维视觉测量技术，具有视觉测量的非接触、速度快、自动化程度高，柔性好等优点。结构光三维视觉基于光学三角法原理，通过计算采集图像的各种光模式特征点的偏移信息反算出被测物体的表面轮廓。光学投射器投射确定的光模式，使得结构光图像信息易于提取，因而测量精度较高，广泛应用于各种工业产品的在线检测。

典型的线结构光视觉传感器，由一个线结构光激光器和配套的相机组成。通过激光器垂直入射被测物表面，相机以倾斜拍摄的方式，获取激光平面与被测物表面相交激光光条图像。通过视觉测量模型，将激光光条中心的图像坐标转换为被测物表面轮廓的二维坐标。当被测物运动或线结构光传感器做相对运动时，就能得到被测物表面的三维形貌。但是单套视觉传感器视场有限，往往只能获取被测物表面某一局部的轮廓信息，无法对被测物360°范围进行全方位测量。

在实际应用中，为了实现对被测物表面轮廓360°范围的全方位测量，以及解决复杂截面轮廓被测物的表面测量，往往在测量系统中引入多套视觉传感器多方位、多角度的拍摄被测物表面信息，最后通过图像拼接的方式，形成被测物在测量某一瞬间的完整截面轮廓。当扫描测量时，能够获取被测物360°范围整体形貌信息。但多套传感器同时测量的方式引入了标定的复杂性及多测量坐标系全局统一问题。单套视觉传感器标定及测量坐标系全局统一，需要对分布在各套传感器相机视场中的特征点以及不同相机视场中特征点之间相互转换关系。这些特征点可以通过建立三维立体靶标的方式实现和获得。但三维立体靶标加工困难，成本高，精度也难保证，如果采用Zhang摄像机标定，还需要同时对光平面方程进行标定。标定过程较为复杂，精度难以达到预期效果。

绝大多数情况下，采用四套视觉传感器即可完成对复杂截面轮廓360°范围内测量。

发明内容

为了克服上述现有技术，本发明提出了一种立体靶标及其对线结构光轮廓传感器全局统一校准方法，设计了一种立体的锯齿靶标，并根据靶标特性，将激光光平面与立体靶标齿顶的交点作为特征点，通过二维精密平移台，使得特征点分布于整个测量空间；以及实现了对线结构光轮廓传感器全局统一校准。

本发明的一种立体靶标，所述立体靶标为一立体方环形状，所述立体方环的每个边上各有38个均匀锯齿形状凹槽，立体方环每个侧边的中心位置设置有一个缺齿；所述锯齿形状凹槽的横截面为等腰三角形。

本发明的一种线结构光轮廓传感器测量系统，该系统包括立体靶标和四个支架；每个支架上设置有一个激光器和一个摄像机；所述四个激光器的光平面调整为共面，每个摄像机设置为各正对立体靶标的一个缺齿，激光器发出的光条与锯齿的交线包含于摄像机的视场中；还包括一个二维精密平移台，立体靶标被该二维精密平移台驱动实现平移。

本发明的一种线结构光轮廓传感器的全局统一校准方法，该方法包括以下步骤：

步骤1、将四个激光器7的光平面调整为共面，将立体靶标四个面上的锯齿各对应一个摄像机6，其中：光条与锯齿的交线包含于摄像机的视场中，每一摄像机6设置为正对立体靶标的每个缺齿；

步骤2、选定符合视场范围的立体靶标以及对应的二维精密平移台，二维精密平移台驱动立体靶标平移，激光器发射的激光光条与锯齿齿顶相交的点形成特征点；所述特征点的提取算法包括自动阈值分割、光条中心提取、角点提取和角点亚像素提取；

步骤3、对摄像机进行编号并设定测量坐标系，任选其中一个摄像机设定为0号摄像机，按照逆时针的顺序依次编号为1号、2号、3号；以激光器的光平面作为测量坐标系的O_wiX_wiY_wi(i＝0,1,2,3)平面，以光平面与立体靶标每个面上缺齿的中心相交位置处作为测量坐标系的原点O_wi(i＝0,1,2,3)，O_wiX_wi(i＝0,1,2,3)轴方向沿靶标锯齿分布，与正方形的边长平行，O_wiZ_wi(i＝0,1,2,3)为激光光平面的法向量；

步骤4、二维精密平移台的两个自由度分别沿0号、2号坐标系的Y轴和1号、3号坐标系的Y轴移动，每隔5mm，四个相机同时采集一幅光条图像，平移台从0移动到25mm，使得标定特征点布满整个测量空间；

步骤5、利用靶标设计中特征点拓扑关系确定方法，对四个相机采集到的靶标光条图像进行处理，将得到特征点的(u,v)-(x,y,0)序列对，利用公式(2)、(3)，通过RAC两步法可以求解最优化的模型参数解；

步骤6、设R_k0、T_k0为靶标第一个标定位置时第k(k＝1、2、3)靶标坐标系到坐标系O_w0-X_w0Y_w0Z_w0转换时的旋转矩阵和平移向量，由靶标面间几何关系可知:

$\begin{array}{cc}{R}_{10}=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]& T_{10}=\left[\begin{array}{c}80\\ 80\\ 0\end{array}\right]\end{array}$

$\begin{array}{cc}{R}_{20}=\left[\begin{array}{ccc}-1& 0& 0\\ 0& -1& 0\\ 0& 0& 1\end{array}\right]& T_{20}=\left[\begin{array}{c}0\\ 160\\ 0\end{array}\right]\end{array}---\left(4\right)$

$\begin{array}{cc}{R}_{30}=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 1\end{array}\right]& T_{30}=\left[\begin{array}{c}-80\\ 80\\ 0\end{array}\right]\end{array}$

由此通过R_k0、T_k0(k＝1,2,3)可以计算得出被测物截面轮廓在在坐标系O_w0-X_w0Y_w0Z_w0下的坐标，到此完成了对整个系统的校准及测量坐标系的全局统一。

：

。

与现有技术相比，本发明设计的立体靶标只需要保证相邻齿顶间和相邻齿根间距离的精度，极大的降低了靶标加工的难度。一般来说，通过线切割技术，可以实现0.01mm的加工精度。利用设计靶标，在完成单个轮廓传感器校准的同时，能够实现对四套轮廓传感器坐标系的全局统一，并能够应用于工业现场。

附图说明

图1为本发明的立体靶标结构立体示意图；

图2为立体靶标的横向截面示意图；

图3为靶标特征点范围；

图4为靶标特征提取效果示意图：(a)、采集的靶标图像；(b)、特征点提取；

图5为线结构光轮廓传感器全局统一校准方法的架构示意图；

图6为摄像机与靶标相对位置；

图7为矩形平板轮廓测量实例示意图；8、待测矩形平板。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明，但本发明的实施范围并不局限于此。

如图1所示，为本发明所设计的锯齿立体靶标模型示意图。

如图2所示，为靶标横截面结构示意图。

1、立体靶标

本发明的立体靶标为一立体方环形状，靶标四个边的每个边上各有38个均匀锯齿形状凹槽，沿方形边长对称分布；同时在靶标加工时，正方形每个边上中心位置会有一个缺齿，其目的是为了确定虚拟原点，方便在四个坐标系统一时特征点拓扑关系的推演。立体靶标的横截面为一个160mm×160mm的正方环形，锯齿对应的截面形状为等腰直角三角形，其底边长为4mm，斜边上的高为2mm，使得每一个正方形边上的锯齿个数准确可控。正方形边长160mm，结合选择的二维精密平移台单自由度行程25mm，可以保证激光光条与锯齿齿顶相交形成的特征点于靶标横截面的分布如图3所示。因此可以保证对被测物截面轮廓包围于特征点分布区域的被测物截面尺寸进行精密测量。

如图4所示，为本发明的特征点拓扑关系提取过程。

为实现对采集的靶标图像4(a)的自动处理，根据靶标特征，设置如下的图像处理算法：包括自动阈值分割、光条中心提取、角点提取和角点亚像素提取。处理结果如图4(b)所示，光条4与锯齿顶端5相交的特征点已标出。完成了对靶标特征点的提取后便获取了特征点的图像像素坐标(u,v)，需要根据靶标设计参数确定每一个特征点的在靶标坐标系下的坐标(x,y)，即对靶标特征点进行拓扑定位。

特征点在靶标坐标系下的y坐标，由二维精密平移台每次移动的距离确定。平移台由0开始，每隔5mm作为一个平移位置，直至移动到25mm。则在每个平移位置下，特征点y坐标为0mm，±5mm，±10mm，±15mm，±20mm，±25mm(正负号取决于平移台移动方向与坐标系y轴正向是否相同，相同为正，否则为负)。

特征点在靶标坐标系下x坐标的确定。首先把特征点按照其图像坐标u值从小到大进行排序，然后判断排序后相邻两个特征点u值相减的大小(用“后面”特征点的u值减“前面”特征点的u值，这样能保证得到的结果非负)，其中u值相减结果最大的两个点即为距离虚拟原点最近的两个点(虚拟原点是靶标正方形每个边上“缺齿”的中心位置)。对这两个点u值做加权平均即可得到虚拟原点的u值，同时，这两个点u值之差的一半还可以作为实际相邻两个锯齿间距在图像上的参考值reference。虚拟原点的u值确定后，用每个特征点的u值与虚拟原点u值之差(带正负号)除以上面得到reference然后四舍五入取整，可以得到靶标特征点x轴的拓扑坐标……-3，-2，-1，0，+1，+2，+3……，最后对应的拓扑坐标再乘以设计尺寸4mm(两个锯齿齿顶间距)即可得到靶标坐标系特征点的x坐标。

2、利用上述立体靶标实现线结构光轮廓传感器的全局统一校准方法

(1)摄像机的理想透视变换模型

根据小孔成像原理，很容易得到物空间世界坐标系下一点(X_w,Y_w,Z_w)和计算机图像的二维坐标(u,v)的理想变换模型。

$s\left[\begin{array}{c}u\\ c\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\left(s_x{d}_x\right)}^{-1}& 0& u_0\\ 0& d_y^{-1}& v_0\\ 0& 0& 0\end{array}\right]\·\begin{array}{c}\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& f\end{array}\right]\·\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_x\\ r_4& r_5& r_6& t_y\\ r_7& r_8& r_9& t_z\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)\end{array}$

其中(u₀,v₀)为光学中心在计算机图像坐标系下的二维坐标， $R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 为旋转矩阵； $T=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 为平移矢量，f为摄像机焦距，d_x和d_y分别为CCD光敏单元在X方向(水平方向)和Y方向(垂直方向)上相邻光敏单元中心间距。s_x为比例系数。

对于确定的线结构光传感器，其激光平面在测量和标定过程中“静止不变”，因此Z_w＝0。同时考虑摄像机镜头径向畸变，则实际的摄像机模型为：

$\left\{\begin{array}{c}{x}_d=s_x{d}_x(u-u_0)\\ y_d=d_y(v-v0)\\ f\·\frac{r_1{X}_w+r_2{Y}_w+t_x}{r_7{X}_w+r_8{Y}_w+t_z}=x_d(1+k_1{r}^2)\\ f\·\frac{r_4{X}_w+r_5{Y}_w+t_y}{r_7{X}_w+r_8{Y}_w+t_z}=y_d(1+k_1{r}^2)\end{array}\right.---\left(2\right)$

式中，(x_d,y_d)为像平面上实际像点，k₁为畸变模型参数。

摄像机标定模型中应用最广泛的是Tsai标定模型，Tsai标定模型是基于径向约束(RAC)的标定方法。假设空间中存在一组非共面特征点，世界坐标为(X_wi,Y_wi,Z_wi)，对应的图像坐标为(u_i,v_i)，将控制点对代入摄像机数学模型，则

$\left[\begin{array}{ccccccc}{X}_{\mathrm{wi}}{y}_{\mathrm{di}}& Y_{\mathrm{wi}}{y}_{\mathrm{di}}& Z_{\mathrm{wi}}{y}_{\mathrm{di}}& y_{\mathrm{di}}& -X_{\mathrm{wi}}{x}_{\mathrm{di}}& -Y_{\mathrm{wi}}{x}_{\mathrm{di}}& -X_{\mathrm{wi}}{x}_{\mathrm{di}}\end{array}\right]\·\left[\begin{array}{c}{t}_y^{-1}{r}_1{s}_x\\ t_y^{-1}{r}_2{s}_x\\ t_y^{-1}{r}_3{s}_x\\ t_y^{-1}{t}_x{s}_x\\ t_y^{-1}{r}_4\\ t_y^{-1}{r}_5\\ t_y^{-1}{r}_6\end{array}\right]=x_{\mathrm{id}}---\left(3\right)$

结合正交矩阵的约束条件，通过最小二乘法求解方程(3)，可以得到R和T的分量r₁～r₉、t_x、t_y以及s_x的解；然后把所得到的参数代入(2)式，采用迭代法可求出其他参数的最终精确解。

(2)校准方法

四套线结构光传感器测量被测物截面轮廓尺寸系统模型如图5所示。

在校准过程中，调整四个激光器7的光平面共面，立体靶标四个面上的锯齿各对应一个摄像机6，让光条与锯齿的交线包含于摄像机的视场中。

摄像机与靶标相对位置如图6所示。对摄像机进行编号并设定测量坐标系，任选其中一个摄像机设定为0号摄像机，按照逆时针的顺序依次编号为1号、2号、3号；以激光器的光平面作为测量坐标系的O_wiX_wiY_wi(i＝0,1,2,3)平面，以光平面与立体靶标每个面上缺齿的中心相交位置处作为测量坐标系的原点O_wi(i＝0,1,2,3)，O_wiX_wi(i＝0,1,2,3)轴方向沿靶标锯齿分布与正方形的边长平行，O_wiZ_wi(i＝0,1,2,3)为激光光平面的法向量，建立如图6所示的右手坐标系。

标定时，二维精密平移台的两个自由度分别沿0号、2号坐标系的Y轴和1号、3号坐标系的Y轴移动，每隔5mm，四个相机同时采集一幅光条图像，平移台从0移动到25mm，使得标定特征点布满整个测量空间。

利用靶标设计中特征点拓扑关系确定方法，对四个相机采集到的靶标光条图像进行处理，将得到特征点的(u,v)-(x,y,0)序列对，利用公式(2)、(3)，通过RAC两步法可以求解最优化的模型参数解。

(3)坐标系统一

坐标系之间的转换可以通过两坐标系之间的旋转矩阵R和平移矩阵T来完成。根据立体靶标设计，四个靶标面之间具有严格的几何关系，它们中相邻两个靶标面相互垂直，每个靶标面上锯齿分布相同，因此在不考虑Z_w轴方向时，O_wi-X_wiY_wi(i＝0、1、2、3)在同一平面里。设R_k0、T_k0为靶标第一个标定位置时第k(k＝1、2、3)靶标坐标系到坐标系O_w0-X_w0Y_w0Z_w0转换时的旋转矩阵和平移向量，由靶标面间几何关系可知:

$\begin{array}{cc}{R}_{10}=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]& T_{10}=\left[\begin{array}{c}80\\ 80\\ 0\end{array}\right]\end{array}$

$\begin{array}{cc}{R}_{20}=\left[\begin{array}{ccc}-1& 0& 0\\ 0& -1& 0\\ 0& 0& 1\end{array}\right]& T_{20}=\left[\begin{array}{c}0\\ 160\\ 0\end{array}\right]\end{array}---\left(4\right)$

$\begin{array}{cc}{R}_{30}=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 1\end{array}\right]& T_{30}=\left[\begin{array}{c}-80\\ 80\\ 0\end{array}\right]\end{array}$

由此通过R_k0、T_k0(k＝1,2,3)可以计算得出被测物截面轮廓在在坐标系O_w0-X_w0Y_w0Z_w0下的坐标，到此完成了对整个系统的校准及测量坐标系的全局统一。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

(一)最佳实施方式

根据测量范围，根据图3所示标定时靶标特征点分布，设计符合视场范围的靶标以及选定对应的二维精密平移台。然后按照图4所示系统结构搭建四套线结构传感器轮廓测量系统，结合二维精密平移台在不同的位置同时拍摄靶标上的光条图像。根据提出的校准方法，对采集的图像进行处理计算，按下列过程顺序完成：特征点提取，摄像机标定，坐标系统一，即可完成整个系统的校准。测量时，通过提取光条特征点，结合实际摄像机模型(公式(2))即可反算出被测物体截面轮廓尺寸。

通过本方案，对一矩形平板轮廓进行了测量，其轮廓显示如图7所示。该矩形平板的两个长边之间的标称距离为160mm，通过本测量方案，实际测的数据为159.943mm。

Claims (3)

1.一种立体靶标，其特征在于，所述立体靶标为一立体方环形状，所述立体方环的每个边上各有38个均匀锯齿形状凹槽，立体方环每个侧边的中心位置设置有一个缺齿；所述锯齿形状凹槽的横截面为等腰三角形。

2.一种线结构光轮廓传感器测量系统，其特征在于，该系统包括立体靶标和四个支架；每个支架上设置有一个激光器和一个摄像机；所述四个激光器的光平面调整为共面，每个摄像机设置为各正对立体靶标的一个缺齿，激光器发出的光条与锯齿的交线包含于摄像机的视场中；还包括一个二维精密平移台，立体靶标被该二维精密平移台驱动实现平移。

3.一种对线结构光轮廓传感器的全局统一校准方法，其特征在于，该方法包括以下步骤：

步骤(1)、将四个激光器7的光平面调整为共面，将立体靶标四个面上的锯齿各对应一个摄像机6，其中：光条与锯齿的交线包含于摄像机的视场中，每一摄像机6设置为正对立体靶标的每个缺齿；

步骤(2)、选定符合视场范围的立体靶标以及对应的二维精密平移台，二维精密平移台驱动立体靶标平移，激光器发射的激光光条与锯齿齿顶相交的点形成特征点；所述特征点的提取算法包括自动阈值分割、光条中心提取、角点提取和角点亚像素提取；

步骤(3)、对摄像机进行编号并设定测量坐标系，任选其中一个摄像机设定为0号摄像机，按照逆时针的顺序依次编号为1号、2号、3号；以激光器的光平面作为测量坐标系的O_wiX_wiY_wi(i＝0,1,2,3)平面，以光平面与立体靶标每个面上缺齿的中心相交位置处作为测量坐标系的原点O_wi(i＝0,1,2,3)，O_wiX_wi(i＝0,1,2,3)轴方向沿靶标锯齿分布，与正方形的边长平行，O_wiZ_wi(i＝0,1,2,3)为激光光平面的法向量；

步骤(4)、二维精密平移台的两个自由度分别沿0号、2号坐标系的Y轴和1号、3号坐标系的Y轴移动，每隔5mm，四个相机同时采集一幅光条图像，平移台从0移动到25mm，使得标定特征点布满整个测量空间；

步骤(5)、利用靶标设计中特征点拓扑关系确定方法，对四个相机采集到的靶标光条图像进行处理，将得到特征点的(u,v)-(x,y,0)序列对，通过RAC两步法可以求解最优化的模型参数解，即；

第一步：求实际的摄像机模型：

$\left\{\begin{array}{c}{x}_d=s_x{d}_x(u-u_0)\\ y_d=d_y(v-v_0)\\ f\·\frac{r_1{X}_w+r_2{Y}_w+t_x}{r_7{X}_w+r_8{Y}_w+t_z}=x_d(1+k_1{r}^2)\\ f\·\frac{r_4{X}_w+r_5{Y}_w+t_y}{r_7{X}_w+r_8{Y}_w+t_z}=y_d(1+k_1{r}^2)\end{array}\right.---\left(1\right)$

式中，(x_d,y_d)为像平面上实际像点，k₁为畸变模型参数；

第二步：假设空间中存在一组非共面特征点，世界坐标为(X_wi,Y_wi,Z_wi)，对应的图像坐标为(u_i,v_i)，将控制点对代入摄像机数学模型，则

$\left[\begin{array}{ccccccc}{X}_{\mathrm{wi}}{y}_{\mathrm{di}}& Y_{\mathrm{wi}}{y}_{\mathrm{di}}& Z_{\mathrm{wi}}{y}_{\mathrm{di}}& y_{\mathrm{di}}& -X_{\mathrm{wi}}{x}_{\mathrm{di}}& -Y_{\mathrm{wi}}{x}_{\mathrm{di}}& -X_{\mathrm{wi}}{x}_{\mathrm{di}}\end{array}\right]\·\left[\begin{array}{c}{t}_y^{-1}{r}_1{s}_x\\ t_y^{-1}{r}_2{s}_x\\ t_y^{-1}{r}_3{s}_x\\ t_y^{-1}{t}_x{s}_x\\ t_y^{-1}{r}_4\\ t_y^{-1}{r}_5\\ t_y^{-1}{r}_6\end{array}\right]=x_{\mathrm{di}}---\left(2\right);$

步骤(6)、设R_k0、T_k0为靶标第一个标定位置时第k(k＝1、2、3)靶标坐标系到坐标系O_w0-X_w0Y_w0Z_w0转换时的旋转矩阵和平移向量，由靶标面间几何关系可知:

$R_{10}=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],T_{10}=\left[\begin{array}{c}80\\ 80\\ 0\end{array}\right]$

$R_{20}=\left[\begin{array}{ccc}-1& 0& 0\\ 0& -1& 0\\ 0& 0& 1\end{array}\right],T_{20}=\left[\begin{array}{c}0\\ 160\\ 0\end{array}\right]---\left(3\right)$

$R_{30}=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 1\end{array}\right],T_{30}=\left[\begin{array}{c}-80\\ 80\\ 0\end{array}\right]$

由此通过R_k0、T_k0(k＝1,2,3)可以计算得出被测物截面轮廓在在坐标系O_w0-X_w0Y_w0Z_w0下的坐标，到此完成了对整个系统的校准及测量坐标系的全局统一。