CN1216273C - 一种结构光视觉传感器的标定方法 - Google Patents

Abstract

本发明属于测量技术领域，涉及对结构光三维视觉检测中传感器标定方法的改进。本方法的步骤是设定靶标——固定传感器——采集图像——提取靶标坐标——投射结构光——提取结构光光条上点的坐标——提取结构光光条上任意一点的坐标，利用双重交比不变式求取该点的三维物坐标——求取R和t——求取a，b，c，d。本方法的标定点精度高、数量可任意多，标定的三个传感器的测量精度高，并适合现场标定。

Description

一种结构光视觉传感器的标定方法

技术领域

本发明属于测量技术领域，涉及对结构光三维视觉检测中传感器标定方法的改进。

背景技术

在诸多的视觉检测方法中，结构光三维视觉检测广泛地应用于工件的完整性、表面平整度的测量；微电子器件(IC芯片、PC板、BGA)等的自动检测；软质、易碎零部件的检测；各种模具三维形状的检测；机器人的视觉导引等。结构光视觉检测技术以其大量程、大视场、测量速度快、光条图像易于提取及较高精度等特点在工业环境中得到了愈来愈广泛的应用。结构光视觉传感器模型参数的有效标定方法一直是一个重要的研究内容。目前主要有以下方法：一是锯齿靶法。段发阶等在文章“一种新型线结构光传感器结构参数标定方法”(仪器仪表学报，Vol.21No.1，2000)及刘凤梅等在文章“利用齿形靶标标定线结构光传感器结构参数的新方法”(计量技术，No7.pp.3～6，1999)中陈述了这种方法。该方法的原理见图1。该方法主要是让光平面投射到锯齿状的靶标上，从而在齿棱上形成一些亮点作为标定点。此种方法存在如下问题：一是且因齿棱易反光，造成像点的提取精度较低。二是因亮点本身表现的一种光强分布，用电子经纬仪在空间中瞄准的亮点与图像中的亮点很难严格对应。三是因齿棱有限，获取的标定点数目少。另一种方法是一次交比不变法。1995年，清华大学的徐光祐等在文章“一种新的基于结构光的三维视觉系统标定方法”(计算机学报，Vol.18 No.6，1995)提出了利用一次交比不变性原理来获取标定点的方法，但是实现过于麻烦。1999年，D.Q.HUYNH在文章“线结构光系统的标定：一种新颖的方法”(Calibration a Structured Light Stripe System：A Novel Approach)，计算机视觉国际期刊，第33卷，第1期，73～86页，1999年(InternationalJournal of Computer Vision，Vol.33 No.1，pp.73～86，1999)也提出了一种利用一次交比不变性原理的标定点获取方法，该方法使用了4组非共面点，每组3点且共线，由这些12个点利用一次交比不变性获取光平面上的4个点的三维坐标用于线结构光视觉传感器的标定。但这两者共同的问题是标定点数量还较少，因此标定精度还有待提高

发明内容

本发明所要解决的技术问题是：提供一种精度高，适合现场标定的结构光视觉传感器标定方法，进一步提高其标定精度，改善其工程化应用的便捷性。

本发明的技术解决方案是：一种结构光视觉传感器的标定方法，其特征在于，

(1)设定靶标，靶标由两个平面组成，其夹角θ为45°≤θ≤135°，两个靶标面上有预先设置的特征点，靶标面为下述结构之一：

A、靶标甲，在靶标面上有两列三行凸起的黑色的矩形块，每行中矩形块的数量为2～100个，矩形块的间距为10～200mm，每个矩形块的四个顶点为特征点；

B、靶标乙，在靶标面上有成矩阵排列的圆孔，圆孔的行数和列数为3～100个，采用圆孔的中心作为特征点；

C、靶标丙，在靶标面上有成矩阵排列的十字叉丝，十字叉丝行数和列数为3～100个，以十字叉丝的交叉点作为特征点；

(2)将传感器与靶标相距一定距离固定好，应保证传感器中激光器发射的光平面与两个靶标面相交；

(3)打开传感器中CCD摄像机的电源，采集标定靶标的一幅图像，存储到计算机中；

(4)对于靶标甲，提取靶标上黑色方块的所有顶点的二维像坐标(X_i，Y_i)及其对应的三维物坐标(x_wi，y_wi，z_wi)，存储到计算机中；

(5)打开激光器的电源，使投射的结构光光平面与靶标两个平面相交形成两条结构光光条；

(6)提取结构光光条5与靶标体上黑色方块边缘的交点的二维像坐标(X_Li，Y_Li)，利用一次交比式r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)计算像坐标(X_Li，Y_Li)所对应的三维物坐标(x_wLi，y_wLi，z_wLi)并存储，式中r(A_i，B_i，C_i，D_i)表示A_i，B_i，C_i，D_i四点的交比，r′(A_i′，B_i′，C_i′，D_i′)表示A_i′，B_i′，C_i′，D_i′四点的交比；(7)在结构光光条上任意取一点，提取其像坐标(X_Li，Y_Li)，结合一次交比求得的三维物坐标(x_wLi，y_wLi，z_wLi)，利用双重交比不变式r(D₁，D₂，D₃，D₄)＝r′(D₁′，D₂′，D₃′，D₄′)来求取该点的三维物坐标并存储；

(8)重复(7)的工作，可以得到所需的任意数量的结构光光平面上点的三维物坐标及其对应的二维像坐标；

(9)利用(4)中获取的顶点，对式

$\left[\begin{array}{c}\mathrm{\ω}\·X\\ \mathrm{\ω}\·Y\\ \mathrm{\ω}\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

进行标定，获得R和t，式中ω表示一比例常数，f表示CCD摄像机的有效焦距，R为3×3的旋转矩阵，t为3×1的平移矢量；

(10)利用(6)、(7)、(8)中获取的结构光光平面上的点对下式a·x_w+b·y_w+c·z_w+d＝0进行标定，获得a，b，c，d，式中(a，b，c，d)表示光平面方程的系数及常数项。

本发明方法的优点是：本方法基于双重交比不变原理，对结构光视觉传感器进行标定，与现有的结构光视觉传感器的标定方法相比，本方法的标定点精度高、数量可任意多，标定的三个传感器的测量精度高分别可达0.1453mm、0.1524mm和0.1496mm。本方法适合现场标定。

附图说明

图1是现有的锯齿靶法原理示意图。图中，1是锯齿靶，2是激光投射器，3是CCD摄像机。

图2是交比不变原理示意图。

图3是本发明方法一种标定靶标结构示意图。图中4是标定靶标体，5是结构光光条。

图4是本发明方法第二种标定靶标结构示意图。图中6是标定靶标体，7是结构光光条。

图5是本发明方法第三种标定靶标结构示意图。图中8是标定靶标体，9是结构光光条。

图6是结构光视觉传感器的实物图，图中10是传感器壳体，11是CCD视窗，12是激光器出射口。

具体实施方式

下面对本发明方法做进一步详细说明。本发明方法首次基于双重交比不变原理，对结构光视觉传感器进行了标定。本方法能够获得结构光光平面上所需任意数量的高精度的三维物点坐标，用于传感器的标定。首先简要说明双重交比不变的原理。在透视投影变换下，长度以及长度之间的比率是可以改变的，但两个关于长度的比率之间的比值具有不变性。如图2所示，平面π1上有三条非重合直线A_iB_iC_i(i＝1，2，3)，直线D₁D₂D₃与这三条直线分别交于点D₁、D₂、D₃。通过透视投影中心o，它们在平面π2上的像分别为A_i′B_i′C_i′和D₁′D₂′D₃′。根据透视投影定理，直线经过透视投影变换仍然为直线。因此点A_i′、B_i′、C_i′、D_i′(i＝1，2，3)共线。共线四点的交比定义为： $r(A,B,C,D)=\frac{\mathrm{AC}}{\mathrm{CB}}/\frac{\mathrm{AD}}{\mathrm{DB}}---\left(1\right)$

根据透视投影变换下交比不变原理，有下式成立：

r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)    (2)

在点A_i、B_i、C_i的坐标及点A_i′、B_i′、C_i′、D_i′的坐标已知的条件下，利用式(2)可获得D_i的坐标。这样可分别获得点D₁、D₂、D₃的坐标。

在直线D₁D₂D₃上任取一点D₄，对应O点的透视投影点为D₄′。再次利用交比不变原理，有：

r(D₁，D₂，D₃，D₄)＝r′(D₁′，D₂′，D₃′，D₄′)    (3)

由式(2)一次交比不变可获得点D₁，D₂，D₃的坐标，在其对应的像点D₁′，D₂′，D₃′的坐标及点D₄′的坐标已知的条件下，则再次利用交比不变式(3)可求出D₄的坐标。依此类推，可获取直线D₁D₂D₃上任意一点的坐标。本文把交比的上述特性称为双重交比不变性。

结构光视觉传感器的数学模型。

结构光视觉传感器的数学的透视投影模型由两部分组成：摄像机的透视投影成像模型和结构光光平面方程。

根据摄像机针孔成像原理及透视投影变换原理，摄像机的透视投影成像模型可描述如下：

$\left[\begin{array}{c}\mathrm{\ω}\·X\\ \mathrm{\ω}\·Y\\ \mathrm{\ω}\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(4\right)$

其中 $R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 为旋转矩阵， $t=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 为平移矢量，ω为比例因子，是一常数。

光平面方程的方程可描述为：a·x_w+b·y_w+c·z_w+d＝0  (5)

式(4)和式(5)构成了结构光视觉传感器一完整的数学模型。根据这一模型，结构光视觉传感器的标定分为两步：一是摄像机成像模型参数R和t的标定，二是结构光光平面方程的标定。求解式(4)中的R和t至少需要6个非共面的三维世界点及其对应的二维像点；确定式(5)至少需要光平面上的3个非共线的三维物点。为了提高标定的精度，往往需要获取更多的高精度标定点。

本发明方法的具体步骤如下：

(1)设定靶标，靶标由两个平面组成，其夹角θ为45°≤θ≤135°，两个靶标面上有预先设置的特征点，靶标面为下述结构之一：

A、靶标甲，在靶标面上有两列三行凸起的黑色的矩形块，每行中矩形块的数量为2～100个，矩形块的间距为10～200mm，每个矩形块的四个顶点为特征点；

B、靶标乙，在靶标面上有成矩阵排列的圆孔，圆孔的行数和列数为3～100个，采用圆孔的中心作为特征点；

C、靶标丙，在靶标面上有成矩阵排列的十字叉丝，十字叉丝的行数和列数为3～100个，以十字叉丝的交叉点作为特征点；

(2)将传感器与靶标相距一定距离固定好，应保证传感器中激光器发射的光平面与两个靶标面相交；

(3)打开传感器中CCD摄像机的电源，采集标定靶标的一幅图像，存储到计算机中；

(4)对于靶标甲，提取靶标上黑色方块的所有顶点的二维像坐标(X_i，Y_i)及其对应的三维物坐标(x_wi，y_wi，z_wi)存储到计算机中；

(5)打开激光器的电源，使投射的结构光光平面与靶标两个平面相交形成两条结构光光条；

(6)提取结构光光条5与靶标体上黑色方块边缘的交点的二维像坐标(X_Li，Y_Li)，利用一次交比式r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)计算像坐标(X_Li，Y_Li)所对应的三维物坐标(x_wLi，Y_wLi，z_wLi)并存储，式中r(A_i，B_i，C_i，D_i)表示A_i，B_i，C_i，D_i四点的交比，r′(A_i′，B_i′，C_i′，D_i′)表示A_i′，B_i′，C_i′，D_i′四点的交比；

(7)在结构光光条上任意取一点，提取其像坐标(X_Li，Y_Li)，结合一次交比求得的三维物坐标(x_wLi，Y_wLi，z_wLi)，利用双重交比不变式r(D₁，D₂，D₃，D₄)＝r′(D₁′，D₂′，C₃′，D₄′)来求取该点的三维物坐标并存储；

(8)重复(7)的工作，可以得到所需的任意数量的结构光光平面上点的三维物坐标及其对应的二维像坐标；

(9)利用(4)中获取的顶点，对式

$\left[\begin{array}{c}\mathrm{\ω}\·X\\ \mathrm{\ω}\·Y\\ \mathrm{\ω}\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

进行标定，获得R和t，式中ω表示一比例常数，f表示CCD摄像机的有效焦距，R为3×3的旋转矩阵，t为3×1的平移矢量；

(10)利用(6)、(7)、(8)中获取的结构光光平面上的点对下式a·x_w+B·y_w+c·z_w+d＝0进行标定，获得a，b，c，d，式中(a，b，c，d)表示光平面方程的系数及常数项。

实施例

实际设计的结构光视觉传感器的实物如图6所示。10为传感器的壳体，11为CCD观察景物的窗口，12为激光器的出射口。传感器中CCD和激光器的位置不同，其参数也不同。

按照上面叙述的步骤，利用图3所示的靶标(θ＝90°)对三个具体的传感器进行了标定。

传感器一：

·摄像机透视投影成像模型参数

$R=\left[\begin{array}{ccc}0.135832& 0.171788& 0.975725\\ 0.843045& -0.537361& -0.022753\\ 0.520408& 0.825670& -0.217816\end{array}\right]t=\left[\begin{array}{c}-61.97129\\ 8.464447\\ 601.586335\end{array}\right]$

·结构光平面方程系数

[a b c d]＝[-0.000769 0.056868 -0.584231 10.404217]。

该标定的传感器重构三维物坐标的重复性测试误差分别为：

${3\mathrm{\σ}}_{x_w}=0.021\mathrm{mm}$      ${3\mathrm{\σ}}_{y_w}=0.0345\mathrm{mm}$      $3{\mathrm{\σ}}_{z_w}=0.0033\mathrm{mm}$ 测量空间中两点间距离的RMS误差为：E_RMS＝0.1453mm。

传感器二：

·摄像机透视投影成像模型参数：

$R=\left[\begin{array}{ccc}0.212029& 0.151030& 0.965522\\ 0.713005& -0.699573& -0.047147\\ 0.668332& 0.698418& -0.256015\end{array}\right]$

$t=\left[\begin{array}{c}-68.096325\\ 6.559659\\ 609.599409\end{array}\right]$

·结构光平面方程系数

[a b c d]＝[-0.008481 0.022128 -0.271455 7.8725557]。

该标定的传感器重构三维物坐标的重复性测试误差分别为：

${3\mathrm{\σ}}_{x_w}=0.027\mathrm{mm}$      $3{\mathrm{\σ}}_{y_w}=0.0445\mathrm{mm}$      ${3\mathrm{\σ}}_{z_w}=0.0036\mathrm{mm}$

测量空间中两点间距离的RMS误差为：E_RMS＝0.1524mm

传感器三：

·摄像机透视投影成像模型参数

$R=\left[\begin{array}{ccc}0.308163& 0.227037& -0.923907\\ -0.665353& 0.745312& -0.038520\\ -0.679944& -0.626832& -0.380535\end{array}\right]$

$t=\left[\begin{array}{c}47.889089\\ 0.686364\\ 583.643174\end{array}\right]$

·结构光平面方程系数

[a b c d]＝[-0.013647 -0.013292 -0.1907611 9.329410]。

该标定的传感器重构三维物坐标的重复性测试误差分别为：

${3\mathrm{\σ}}_{x_w}=0.032\mathrm{mm}$      ${3\mathrm{\σ}}_{y_w}=0.0313\mathrm{mm}$      ${3\mathrm{\σ}}_{z_w}=0.00428\mathrm{mm}$

测量空间中两点间距离的RMS误差为：E_RMS＝0.1496mm。

Claims (1)

1、一种结构光视觉传感器的标定方法，其特征在于，

(1)设定靶标，靶标由两个平面组成，其夹角θ为45°≤θ≤135°，两个靶标面上有预先设置的特征点，靶标面为下述结构：在靶标面上有两列三行凸起的黑色的矩形块，每行中矩形块的数量为2～100个，矩形块的间距为10～200mm，每个矩形块的四个顶点为特征点；

(2)将传感器与靶标相距一定距离固定好，应保证传感器中激光器发射的光平面与两个靶标面相交；

(3)打开传感器中CCD摄像机的电源，采集标定靶标的一幅图像，存储到计算机中；

(4)对于靶标甲，提取靶标上黑色方块的所有顶点的二维像坐标(X_i，Y_i)及其对应的三维物坐标(x_wi，y_wi，z_wi)，存储到计算机中；

(5)打开激光器的电源，使投射的结构光光平面与靶标两个平面相交形成两条结构光光条；

(6)提取结构光光条5与靶标体上黑色方块边缘的交点的二维像坐标(X_Li，Y_Li)，利用一次交比式r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)计算像坐标(X_Li，Y_Li)所对应的三维物坐标(x_wLi，y_wLi，z_wLi)并存储，式中r(A_i，B_i，C_i，D_i)表示A_i，B_i，C_i，D_i四点的交比，r′(A_i′，B_i′，C_i′，D_i′)表示A_i′，B_i′，C_i′，D_i′四点的交比；

(7)在结构光光条上任意取一点，提取其像坐标(X_Li，Y_Li)，结合一次交比求得的三维物坐标(x_wLi，y_wLi，z_wLi)，利用双重交比不变式r(D₁，D₂，D₃，D₄)＝r′(D₁′，D₂′，D₃′，D₄′)来求取该点的三维物坐标并存储；

(8)重复(7)的工作，可以得到所需的任意数量的结构光光平面上点的三维物坐标及其对应的二维像坐标；

(9)利用(4)中获取的顶点，对式 $\left[\begin{array}{c}\mathrm{\ω}\·X\\ \mathrm{\ω}\·Y\\ \mathrm{\ω}\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\·\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$ 进行标定，获得R和t，式中ω表示一比例常数，f表示CCD摄像机的有效焦距，R为3×3的旋转矩阵，t为3×1的平移矢量；

(10)利用(6)、(7)、(8)中获取的结构光光平面上的点对下式a·x_w+b·y_w+c·z_w+d＝0进行标定，获得a，b，c，d，式中(a，b，c，d)表示光平面方程的系数及常数项。

Images