CN102980528A

CN102980528A - 无位姿约束线激光单目视觉三维测量传感器参数标定方法

Info

Publication number: CN102980528A
Application number: CN2012104737944A
Authority: CN
Inventors: 习俊通; 李凌旻; 王振兴; 陈晓波
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2012-11-21
Filing date: 2012-11-21
Publication date: 2013-03-20
Anticipated expiration: 2032-11-21
Also published as: CN102980528B

Abstract

无位姿约束线激光单目视觉三维测量传感器参数标定方法，属于光学测量和机械工程技术领域。本发明在提取基础数据后，根据靶标特征点的成像点所构成向量簇叉积方向集合在任意拍摄位姿下的不变性，对成像点排序，建立靶标特征点与其成像点的对应关系；由光刀中心点集拟合直线与靶标特征点的成像点所构成四边形求交，提取光平面特征点，并根据交比不变原理计算其三维坐标。最优化拟合计算单目摄像机内外参数及线激光投射器光平面参数，实现线激光单目视觉三维测量传感器参数的精确标定。标定时，靶标可完全自由移动或旋转，摆放位姿无约束，两部分参数的标定共用同一组标定图像，在保证三维测量传感器标定精度的同时简化了标定步骤。

Description

无位姿约束线激光单目视觉三维测量传感器参数标定方法

所属技术领域：

本发明涉及一种线激光单目视觉三维测量传感器的标定方法，特别是一种无位姿约束的单目视觉三维测量传感器参数标定方法。属于光学测量和机械工程技术领域。

背景技术：

典型的线激光单目视觉三维测量传感器由线激光投射器和单目摄像机组成，其参数包括单目摄像机内外参数：等效焦距、主点坐标、由靶标坐标系到单目摄像机坐标系的变换矩阵；线激光投射器光平面参数：即线激光光平面方程的参数。

传统的线激光单目视觉三维测量传感器的标定方法，包括拉丝法、锯齿靶法以及三维靶标法等。但是这些方法中所用靶标制作相对复杂，且标定操作受到标定参照物的限制。已有技术中，V.Niola et al.在论文A method for the calibration ofa 3-D laser scanner（Robotics and Computer-Integrated Manufacturing,2011,27:479-484）中提出的标定方法，标定时需要机械平台控制靶标精确移动，既容易引入机械误差，又限制了标定操作的自由度；F.Zhou、G.Zhang在论文Completecalibration of a structured light stripe vision sensor through planar target of unknownorientations（Image and Vision Computing，2005，23(1)：59-67）中提出了一种基于自由移动平面靶标的标定方法，该方法虽然避免了标定时需要控制靶标位移而引入的机械误差，但当方形棋盘靶标绕其所在平面的法向量旋转角度稍大时，靶标方格的行与列的辨识会出现二义性，导致交比不变原理中靶标特征点与其成像点的对应关系出错，无法正确标定光平面；因此，在移动靶标时，仍需避免靶标绕其所在平面的法向量旋转，靶标的摆放位姿并非完全自由，操作仍受到较大限制。

发明内容：

本发明针对现有标定方法中靶标的移动需要精密机械控制或可自由移动靶标的摆放位姿受约束等不足，提出一种靶标可自由移动且摆放位姿无约束的新标定方法。该标定方法提取标定图像中的光刀中心点集及靶标特征点的成像点作为三维测量传感器标定的基础数据；根据靶标特征点的成像点所构成的向量簇叉积集合在任意拍摄位姿下的不变性，对靶标特征点的成像点进行排序，从而建立靶标特征点与其成像点的一一对应关系；由光刀中心点集拟合直线与靶标特征点的成像点所构成四边形求交，提取图像中的光平面特征点，并根据交比不变原理计算其三维坐标。由上述全部数据信息，最优化拟合计算单目摄像机的内外参数及线激光投射器的光平面参数，从而实现线激光单目视觉三维测量传感器参数的精确标定。具体标定步骤如下：

1）制作平面靶标。以白色为底色制作平面靶标，靶标上分布四个黑色标志圆图案，这四个黑色标志圆图案均在设定的靶标坐标系内；其中一个大直径标志圆的形心为A，三个相同直径的小直径标志圆的形心分别为B、C、D，四个标志圆形心的相对位置如下：以形心A为基准，形心B位于形心A正右方，形心C位于形心A右上方，形心D位于形心A正上方，这4个形心就是标定三维测量传感器的靶标特征点。

2）获取三维测量传感器标定所需图像。将靶标置于线激光单目视觉三维测量传感器的测量场景中，开启线激光投射器，投射线激光光刀至靶标上，通过移动或旋转任意改变靶标位姿，用单目摄像机拍摄包含靶标特征点及线激光光刀

的K幅标定图像，K≥2。

3）三维测量传感器标定基础数据的获取。

根据步骤2）中已获得的标定图像中，提取4个标志圆图像的形心a、b、c、d；在像素行方向上采用灰度质心法提取光刀图像

每一行的光刀中心点，由所有这些光刀中心点构成光刀中心点集，其中形心a、b、c、d即为靶标特征点在单目摄像机成像平面中的二维成像点；通过在靶标平面上定义靶标坐标系，设定4个靶标特征点A、B、C、D在靶标坐标系中的三维坐标，靶标坐标系定义如下：以大直径标志圆的形心A为原点，大直径标志圆形心A水平指向小直径标志圆形心B的方向作为U轴方向，大直径标志圆形心A竖直指向小直径标志圆形心D的方向作为V轴方向，W轴方向满足右手法则，垂直于靶标所在平面并向外；将光刀中心点集、形心a、b、c、d的二维坐标以及靶标坐标系下形心A、B、C、D的三维坐标作为三维测量传感器标定的基础数据。

4）三维测量传感器标定全部数据信息的获取。

在获取了三维测量传感器标定基础数据的基础上，依次对每一幅自由位姿的标定图像，计算靶标坐标系下三维靶标特征点与其二维成像点的一一对应关系，以及光平面特征点在靶标坐标系下的三维坐标，从而构成三维测量传感器标定所需全部数据信息。

4.1）三维靶标特征点与其二维成像点一一对应关系的获取。

在获取了单目摄像机参数标定基础数据的基础上，针对每一幅标定图像，将成像面积最大的标志圆所包含靶标特征点的二维成像点a与靶标坐标系中大直径标志圆的三维形心点A对应；并在标定图像中，以点a为始点，逆时针方向依次以其余三个小直径标志圆所包含靶标特征点的二维成像点b、c、d为终点作向量，则得到向量簇：

逐一计算向量簇V中的向量叉积并判断其方向，有：

对于向量

\overset{&RightArrow;}{b} : \{\begin{matrix} (\overset{&RightArrow;}{b} \times \overset{&RightArrow;}{c}) \cdot \overset{&RightArrow;}{k} < 0 \\ (\overset{&RightArrow;}{b} \times \overset{&RightArrow;}{d}) \cdot \overset{&RightArrow;}{k} < 0 \end{matrix},

两项均为负，

对于向量

\overset{&RightArrow;}{c} : \{\begin{matrix} (\overset{&RightArrow;}{c} \times \overset{&RightArrow;}{b}) \cdot \overset{&RightArrow;}{k} > 0 \\ (\overset{&RightArrow;}{c} \times \overset{&RightArrow;}{d}) \cdot \overset{&RightArrow;}{k} < 0 \end{matrix},

两项一正一负，

对于向量

\overset{&RightArrow;}{d} : \{\begin{matrix} (\overset{&RightArrow;}{d} \times \overset{&RightArrow;}{b}) \cdot \overset{&RightArrow;}{k} > 0 \\ (\overset{&RightArrow;}{d} \times \overset{&RightArrow;}{c}) \cdot \overset{&RightArrow;}{k} > 0 \end{matrix},

两项均为正，

其中

为摄像机成像平面法向量，且满足右手法则。以“+”代表正，“-”代表负，则上述计算结果可写成集合

称作向量簇V的叉积方向集合。由透射投影性质可知：集合S具有不变性，即无论靶标如何旋转或移动，集合S始终保持不变。根据这一性质，即可将这三个小直径标志圆所包含靶标特征点的二维成像点b、c、d与其在靶标坐标系下的三维形心点B、C、D依次对应，从而确定了所有4个三维靶标特征点与其二维成像点的一一对应关系。

4.2）光平面特征点在靶标坐标系下三维坐标的获取。

获得4个靶标特征点的二维成像点a、b、c、d所围成的四边形；计算获得直线与直线

的交点e以及直线

与直线

的交点f的坐标。同样地，在靶标坐标系中计算获得直线

与直线

的交点E以及直线

与直线

的交点F 的坐标。在图像中，最小二乘法拟合四边形abcd内的光刀中心点集得到光刀中心点集拟合直线

获取直线

与四边形abcd的两个交点，即图像中的光平面特征点p、q。运用图像中的点p、q，点a、b、c、d、e、f及其在靶标坐标系下对应的三维坐标点，根据交比不变原理，即可计算得到点p、q在靶标坐标系下的三维坐标点P、Q，其W坐标均为0。

5）单目摄像机内外参数的标定。

定义单目摄像机坐标系如下：以单目摄像机镜头光心O为原点，单目摄像机镜头光轴为Z轴，像素行方向为X轴，像素列方向为Y轴。由三维靶标特征点坐标及其对应二维成像点坐标，采用张正友的平板标定算法对单目摄像机内外参数进行线性求解后，通过Levenberg-Marquardt非线性优化，使靶标特征点在单目摄像机成像平面上的投影误差的平方和最小，即优化标定得到单目摄像机所有内外参数：内部参数为单目摄像机X轴方向、Y轴方向等效焦距f_X=f/D_X、f_Y=f/D_Y以及主点坐标(C_X,C_Y)，其中D_X、D_Y为单目摄像机行像素、列像素间距，f为单目摄像机实际焦距，外部参数为K个由靶标坐标系到单目摄像机坐标系的变换矩阵H。

6）线激光投射器光平面参数的标定。

通过光平面特征点在靶标坐标系下的三维坐标左乘相应的变换矩阵H，将所有K幅标定图像共计2K个光平面特征点统一变换到摄像机坐标系下，由这2K个光平面特征点在摄像机坐标系下的坐标，运用最小二乘法，以点到面的距离为目标函数：

f (t, u, v, w) = Σ_{i = 1}^{2 K} D_{i}^{2}, D_{i} = \frac{| {tx}_{i} + {uy}_{i} + {vz}_{i} + w |}{\sqrt{t^{2} + u^{2} + v^{2}}}

其中，x_i、y_i、z_i为单目摄像机坐标系下第i个光平面特征点的三维坐标，D_i为第i个光平面特征点到拟合所得光平面的距离，t、u、v、w即为线激光投射器光平面参数，使目标函数最小，拟合平面，得到单目摄像机坐标系下线激光光平面方程tx_i+uy_i+vz_i+w=0，从而实现线激光投射器光平面参数的标定。

本发明的有益效果：

本发明在标定线激光单目视觉三维测量传感器参数时，所设计的平面靶标可以完全自由地移动或旋转，摆放位姿没有约束，标定操作简便，且传感器的单目摄像机参数和线激光投射器光平面参数的标定可共用同一组标定图像，不需要为两部分参数的标定各自拍摄图像，在保证三维测量传感器标定精度的同时简化了标定步骤，对线激光单目视觉三维测量传感器的现场在线标定具有重要的意义和实用价值。

附图说明：

图1本发明线激光单目视觉三维测量传感器标定方法流程框图

图2本发明平面靶标示意图

图3本发明靶标特征点的二维成像点向量簇示意图

图4本发明光平面特征点在靶标坐标系下的三维坐标获取示意图

具体实施方式：

下面结合附图对本发明的具体实施做进一步描述。

本发明方法标定的三维测量传感器为用于工业生产流水线在线检测的线激光单目视觉三维测量传感器。该传感器包括单目摄像机和线激光投射器。

如图1、图2、图3、图4所示，本发明标定方法的具体实施步骤如下：

1）制作平面靶标。以白色为底色制作平面靶标，靶标尺寸为40×40mm，靶标上按所标识位置分布四个黑色标志圆图案，一个大直径标志圆的直径为5mm，三个相同直径的小直径标志圆的直径为3mm；形心B位于形心A正右方16mm处，形心D位于形心A正上方16mm处，定义靶标坐标系如下：以大直径标志圆的形心A为原点，大直径标志圆形心A水平指向小直径标志圆形心B的方向作为U轴方向，大直径标志圆形心A竖直指向小直径标志圆形心D的方向作为V轴方向，W轴方向满足右手法则，垂直于靶标所在平面并向外；形心C位于形心A右上方，且距离U轴和V轴各10mm处，则在靶标坐标系下，形心A坐标为（0mm，0mm，0mm），形心B坐标为（16mm，0mm，0mm），形心C坐标为（10mm，10mm，0mm），形心D坐标为（0mm，16mm，0mm）；这4个形心就是标定三维测量传感器的靶标特征点。

2）获取三维测量传感器标定所需图像。将靶标置于线激光单目视觉三维测量传感器的测量场景中，开启线激光投射器，投射线激光图案至靶标上，通过移动或旋转任意改变靶标位姿，用单目摄像机拍摄包含靶标特征点及线激光光刀

的K幅标定图像，K≥2。

3）三维测量传感器标定基础数据的获取。

根据步骤2）中已获得的标定图像中，提取4个标志圆图像的形心a、b、c、d，在像素行方向上采用灰度质心法提取光刀图像每一行的光刀中心点，由所有这些光刀中心点构成光刀中心点集，其中形心a、b、c、d即为靶标特征点在单目摄像机成像平面中的二维成像点；将光刀中心点集、形心a、b、c、d的坐标以及靶标坐标系下形心A、B、C、D的坐标：A（0mm，0mm，0mm）、B（16mm，0mm，0mm）、C（10mm，10mm，0mm）、D（0mm，16mm，0mm）作为三维测量传感器标定的基础数据。

4）三维测量传感器标定全部数据信息的获取。

4.1）三维靶标特征点与其二维成像点一一对应关系的获取。

逐一计算向量簇V中的向量叉积并判断其方向，有：

对于向量

\overset{&RightArrow;}{b} : \{\begin{matrix} (\overset{&RightArrow;}{b} \times \overset{&RightArrow;}{c}) \cdot \overset{&RightArrow;}{k} < 0 \\ (\overset{&RightArrow;}{b} \times \overset{&RightArrow;}{d}) \cdot \overset{&RightArrow;}{k} < 0 \end{matrix},

两项均为负，

对于向量

\overset{&RightArrow;}{c} : \{\begin{matrix} (\overset{&RightArrow;}{c} \times \overset{&RightArrow;}{b}) \cdot \overset{&RightArrow;}{k} > 0 \\ (\overset{&RightArrow;}{c} \times \overset{&RightArrow;}{d}) \cdot \overset{&RightArrow;}{k} < 0 \end{matrix},

两项一正一负，对于向量

\overset{&RightArrow;}{d} : \{\begin{matrix} (\overset{&RightArrow;}{d} \times \overset{&RightArrow;}{b}) \cdot \overset{&RightArrow;}{k} > 0 \\ (\overset{&RightArrow;}{d} \times \overset{&RightArrow;}{c}) \cdot \overset{&RightArrow;}{k} > 0 \end{matrix},

两项均为正，

其中

4.2）光平面特征点在靶标坐标系下三维坐标的获取。

获得4个靶标特征点的二维成像点a、b、c、d所围成的四边形；计算获得直线

与直线的交点e以及直线

与直线

的交点f的坐标。同样地，在靶标坐标系中计算获得直线

与直线

的交点E以及直线

与直线

的交点F的坐标。在图像中，最小二乘法拟合四边形abcd内的光刀中心点集得到光刀中心点集拟合直线

获取直线

与四边形abcd的两个交点，即图像中的光平面特征点p、q。运用图像中的点p、q，点a、b、c、d、e、f及其在靶标坐标系下对应的三维坐标点，根据交比不变原理，即可计算得到点p、q在靶标坐标系下的三维坐标点P、Q，其W坐标均为0

5）单目摄像机内外参数的标定。

经过摄像机内外参数的标定后，获得三维测量传感器中摄像机参数如下：

单目摄像机内部参数：

X轴方向等效焦距：f_X=2177.58像素

Y轴方向等效焦距：f_Y=2181.59像素

主点坐标：(C_X,C_Y)=(325.664像素,261.189像素)

单目摄像机外部参数：

共有K个靶标坐标系到单目摄像机坐标系的变换矩阵H（K≥2），且随着靶标摆放位姿不同而改变，因此，此处仅列举其中之一：

H = [\begin{matrix} - 0.2302 & - 0.9519 & 0.2022 & 21.4109 \\ 0.9727 & - 0.2185 & 0.0787 & - 11.7671 \\ - 0.0308 & 0.2148 & 0.9762 & 110.855 \\ 0 & 0 & 0 & 1 \end{matrix}]

6）线激光投射器光平面参数的标定。

f (t, u, v, w) = Σ_{i = 1}^{2 K} D_{i}^{2}, D_{i} = \frac{| {tx}_{i} + {uy}_{i} + {vz}_{i} + w |}{\sqrt{t^{2} + u^{2} + v^{2}}}

经过线激光投射器光平面参数标定，获得三维测量传感器中线激光投射器光平面参数如下：

在单目摄像机坐标系下的线激光光平面方程：

-0.00286x_c-1.019y_c-0.877z_c+100=0 。

Claims

1.一种无位姿约束线激光单目视觉三维测量传感器参数标定方法，其特征在于本发明的标定方法包括如下步骤：

1）制作平面靶标：以白色为底色制作平面靶标，靶标上分布四个黑色标志圆图案，这四个黑色标志圆图案均在设定的靶标坐标系内；其中一个大直径标志圆的形心为A，三个相同直径的小直径标志圆的形心分别为B、C、D，四个标志圆形心的相对位置如下：以形心A为基准，形心B位于形心A正右方，形心C位于形心A右上方，形心D位于形心A正上方，这4个形心就是标定三维测量传感器的靶标特征点；

2）拍摄三维测量传感器标定所需图像：将靶标置于线激光单目视觉三维测量传感器的测量场景中，开启线激光投射器，投射线激光图案至靶标上，通过移动或旋转任意改变靶标位姿，用单目摄像机拍摄包含靶标特征点及线激光光刀

的K幅标定图像，K≥2；

3）三维测量传感器标定基础数据的获取：

根据步骤2）中已获得的标定图像中，提取4个标志圆图像的形心a、b、c、d,在像素行方向上采用灰度质心法提取光刀图像

每一行的光刀中心点，由所有这些光刀中心点构成光刀中心点集，其中形心a、b、c、d即为靶标特征点在单目摄像机成像平面中的二维成像点，将光刀中心点集、形心a、b、c、d的二维坐标以及靶标坐标系下形心A、B、C、D的三维坐标作为三维测量传感器标定的基础数据；

4）三维测量传感器标定全部数据信息的获取：

在获取了三维测量传感器标定基础数据的基础上，依次对每一幅自由位姿的标定图像，计算靶标坐标系下三维靶标特征点与其二维成像点的一一对应关系，以及光平面特征点在靶标坐标系下的三维坐标，从而构成三维测量传感器标定所需全部数据信息；

4.1）三维靶标特征点与其二维成像点一一对应关系的获取：

针对每一幅标定图像，将成像面积最大的标志圆所包含靶标特征点的二维成像点a与靶标坐标系中大直径标志圆的三维形心点A对应，并在标定图像中，以点a为始点，逆时针方向依次以其余三个小直径标志圆所包含靶标特征点的二维成像点b、c、d为终点作向量，则得到向量簇：

逐一计算向量簇V中的向量叉积并判断其方向，有：

对于向量

\overset{&RightArrow;}{b} : \{\begin{matrix} (\overset{&RightArrow;}{b} \times \overset{&RightArrow;}{c}) \cdot \overset{&RightArrow;}{k} < 0 \\ (\overset{&RightArrow;}{b} \times \overset{&RightArrow;}{d}) \cdot \overset{&RightArrow;}{k} < 0 \end{matrix},

两项均为负，

对于向量

\overset{&RightArrow;}{c} : \{\begin{matrix} (\overset{&RightArrow;}{c} \times \overset{&RightArrow;}{b}) \cdot \overset{&RightArrow;}{k} > 0 \\ (\overset{&RightArrow;}{c} \times \overset{&RightArrow;}{d}) \cdot \overset{&RightArrow;}{k} < 0 \end{matrix},

两项一正一负，

对于向量

\overset{&RightArrow;}{d} : \{\begin{matrix} (\overset{&RightArrow;}{d} \times \overset{&RightArrow;}{b}) \cdot \overset{&RightArrow;}{k} > 0 \\ (\overset{&RightArrow;}{d} \times \overset{&RightArrow;}{c}) \cdot \overset{&RightArrow;}{k} > 0 \end{matrix},

两项均为正，

其中

为摄像机成像平面法向量，且满足右手法则，以“+”代表正，“-”代表负，则上述计算结果可写成集合

称作向量簇V的叉积方向集合，由透射投影性质可知：集合S具有不变性，即无论靶标如何旋转或移动，集合S始终保持不变，根据这一性质，即可将这三个小直径标志圆所包含靶标特征点的二维成像点b、c、d与其在靶标坐标系下的三维形心点B、C、D依次对应，从而确定了所有4个三维靶标特征点与其二维成像点的一一对应关系；

4.2）光平面特征点在靶标坐标系下三维坐标的获取：

获得4个靶标特征点的二维成像点a、b、c、d所围成的四边形，计算获得直线

与直线

的交点e以及直线

与直线

的交点f的坐标，同样地，在靶标坐标系中计算获得直线

与直线

的交点E以及直线

与直线

的交点F的坐标，在图像中，最小二乘法拟合四边形abcd内的光刀中心点集得到光刀中心点集拟合直线

获取直线

与四边形abcd的两个交点，即图像中的光平面特征点p、q，运用图像中的点p、q，点a、b、c、d、e、f及其在靶标坐标系下对应的三维坐标点，根据交比不变原理，即可计算得到点p、q在靶标坐标系下的三维坐标点P、Q，其W坐标均为0；

5）单目摄像机内外参数的标定：

定义单目摄像机坐标系如下：以单目摄像机镜头光心O为原点，单目摄像机镜头光轴为Z轴，像素行方向为X轴，像素列方向为Y轴，由三维靶标特征点坐标及其对应二维成像点坐标，采用张正友的平板标定算法对单目摄像机内外参数进行线性求解后，通过Levenberg-Marquardt非线性优化，使靶标特征点在单目摄像机成像平面上的投影误差的平方和最小，即优化标定得到单目摄像机所有内外参数：内部参数为单目摄像机X轴方向、Y轴方向等效焦距f_X=f/D_X、f_Y=f/D_Y以及主点坐标(C_X,C_Y)，其中D_X、D_Y为单目摄像机行像素、列像素间距，f为单目摄像机实际焦距，外部参数为K个由靶标坐标系到单目摄像机坐标系的变换矩阵H；

6）线激光投射器光平面参数的标定：

f (t, u, v, w) = Σ_{i = 1}^{2 K} D_{i}^{2}, D_{i} = \frac{| {tx}_{i} + {uy}_{i} + {vz}_{i} + w |}{\sqrt{t^{2} + u^{2} + v^{2}}}

2.根据权利要求1所述的无位姿约束线激光单目视觉三维测量传感器参数标定方法，其特征是所述的步骤1）中，所述的形心B位于形心A正右方16mm处，形心D位于形心A正上方16mm处，所述的靶标坐标系定义如下：以形心A为原点，形心A水平指向形心B的方向作为U轴方向，形心A竖直指向形心D的方向作为V轴方向，W轴方向满足右手法则，垂直于靶标所在平面并向外，形心C位于形心A右上方，且距离U轴和V轴各10mm处，则在靶标坐标系下，形心A坐标为（0mm，0mm，0mm），形心B坐标为（16mm，0mm，0mm），形心C坐标为（10mm，10mm，0mm），形心D坐标为（0mm，16mm，0mm）。

3.根据权利要求1所述的无位姿约束线激光单目视觉三维测量传感器参数标定方法，其特征是所述的步骤1）中，所述的平面靶标为40×40mm的平板，黑色大直径标志圆的直径为5mm，黑色小直径标志圆的直径为3mm。