CN108981608B - 一种新型线结构光视觉系统及标定方法 - Google Patents

Abstract

本发明公开了一种新型线结构光视觉系统及标定方法，包括激光发射器、相机及标定板，首先线结构光打在标定板上，并通过相机采集足量包含靶标在内的标定图像，分别计算得到激光反射平面靶标平面方法，再根据提出的三面共线条件求解激光平面的方程表达式，完成激光平面的标定。本发明方法简单、易于实施，具有较高的工程应用价值。

Description

一种新型线结构光视觉系统及标定方法

技术领域

本发明涉及激光视觉领域，具体涉及一种新型线结构光视觉系统及标定方法。

背景技术

激光视觉是近几年来新兴的一种机器视觉检测方式，激光视觉系统是指结合激光和工业相机，将激光打在待测物表面，通过相机拍摄表面的光斑并进行相应图像处理以获取对象三维信息的一类系统。此类系统结合了相机非接触式测量、全局信息丰富以及激光单色性好、亮度准直度高、光斑图样清晰、抗干扰能力强这两者的优点，在工业生产检测领域愈发展现出其巨大的潜力。

其中由线结构光(由激光束透过一种特殊的圆柱体棱镜分光而成，形状为一张很薄的激光平面，打在对象表面的光斑呈线条纹状)和单目相机组成的线结构光视觉检测系统以其非接触、精度高、抗干扰能力强等特点，在三维形貌测量和逆向工程等领域中的应用日益广泛。而系统标定是非常关键的环节，其标定结果的精度将直接影响后续图像处理和信息获取的准确性，同时也是建立三维检测模型，搭建视觉系统的基础。因此，标定方法的研究具有重要意义，做好相机标定，提高标定精度是研究工作的重点所在。

线结构光视觉系统的标定主要包括单目相机成像模型标定和激光平面方程标定两部分。目前对于相机标定方法的研究相对比较成熟，常用的方法有张正友标定法。然而关于激光平面的标定目前尚未有比较统一的方法，相关研究并不完善，是现今激光视觉研究的重点所在。当前提出的很多方法是基于共线点成像的交比不变性，根据空间平行直线成像的消隐点性质，或者基于一些特殊的几何图形位置与关系来标定激光平面方程。这些方法仅使用光条直线上有限的控制点作为激光平面的拟合要素，所使用的投影几何性质也很不直观，不但计算量大、求解不方便，而且标定结果误差可能较大。由此可见，在激光平面的标定方法上尚且具有很大的改进空间。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种新型线结构光视觉系统及标定方法。该方法借助一块具有一定精度的标定板，基于提出的三面共线条件，通过适当的图像处理方案来完成实现。

本发明采用如下技术方案：

一种新型线结构光视觉系统，包括激光发射器、导轨、相机及标定板，所述标定板在激光发射器的前方，标定板在相机的视野范围内，相机在导轨上移动。

所述标定板为棋盘格。

所述激光发射器发射的线结构光位于标定板的靶标平面上。

一种新型线结构光视觉系统的标定方法，包括如下步骤：

第一步，开启视觉系统中的相机和激光发射器，用相机采集至少20张线结构光打在标定板上的图片；

第二步，采用张氏标定法进行相机标定，获得相机的成像模型，并且对标定图像进行畸变校正，得到校正图像；

第三步，利用校正图像进行激光条纹直线拟合，得到像素坐标系下的拟合方程；

第四步，将像素坐标系下的拟合方程投影到相机坐标系得到线结构光反射平面的表达式；

第五步，利用张氏标定法中标定板平面为世界坐标系下z_w＝0条件的平面，求出相机坐标系下的靶标平面方程；

第六步，利用三面共线条件列出激光平面方程参数的矩阵方程，并用最小二乘法求解，得到激光平面方程，完成激光平面的标定。

所述第五步中，张氏标定法中，相机坐标系(x,y,z)，世界坐标系(x_w,y_w,z_w)，则相机坐标系下的靶标平面方程：

A₁x+B₁y+C₁z+D₁＝0

其中，A₁、B₁、C₁、D₁为待求的方程系数。

所述三面共线条件指的是空间中任意三个不同的平面具有共同交线，其三个面为目标平面、激光平面及感光平面，得到激光平面方程：

X＝(A,B,C)^T＝(K^TK)^-1K^TY，

其中，

i为表示第i张图片，n为图片的总数。

所述相机采集20-30张图片。

本发明的有益效果：

(1)不使用激光平面上有限的标定点作为激光平面的拟合特征，省去了标定点求解的繁琐性和误差累计；

(2)将光条直线本身作为激光平面的拟合特征，由于光条直线拟合本身精度较高，因此可以更好的提升激光平面参数的求解精度；

(3)整个过程只需要额外借助一块标定板就能完成，操作便捷，易于实施。

附图说明

图1是本发明的工作流程图；

图2是本发明的新型线结构光视觉系统结构图；

图3是本发明的模型示意图；

图4是本发明的标定板示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1及图2所示，一种新型线结构光视觉系统，下述中目标平面即为靶标平面，感光平面即为CCD相机芯片感光成像平面，包括激光发射器2、导轨4、相机3及标定板1，所述标定板1在激光发射器的前方，标定板在相机的视野范围内，相机在导轨上移动。如图4所示，本实施例中标定板为棋盘格，激光发射器发射的线结构光位于标定板的靶标平面上。

应用该系统的标定方法，包括相机标定和激光平面标定两部分，其中相机标定采用张正友标定法，激光平面标定借助标定板，基于提出的三面共线条件，完成激光平面标定。

具体方法包括如下步骤：

第一步，开启视觉系统中的相机和激光发射器，用相机采集20-30张线结构光打在标定板上的图片，是将标定板摆放成不同位置不同姿态进行采集。

第二步，采用张氏标定法进行相机标定，获得相机的成像模型，并且对标定图像进行畸变校正，得到校正图像。

该系统的模型包括相机的成像模型和激光平面方程模型。

模型示意图如图3所示，图中O-XYZ为相机坐标系。激光发射器打出激光平面，照射在目标平面上形成激光条纹MN，其反射光透过镜头在相机的感光平面上成像为mn，同时光条上的一点P的成像为点p。相机模型一般可以假设为针孔成像模型，即点P的世界坐标(x_w,y_w,z_w)、相机坐标(x,y,z)以及其成像点p的像素坐标(u,v)之间存在如下转换关系：

式中，f_u和f_v分别u轴和v轴上的归一化焦距，(u₀,v₀)是光心O的像素坐标，R和t分别为旋转矩阵和平移矩阵；其中f_u、f_v、u₀、v₀称为相机内部参数，矩阵R和向量t称为相机外部参数。

激光平面模型即为其在相机坐标系下的平面方程表达式，假设为：

Ax+By+Cz+D＝0 (2)

式中A、B、C、D为待求的方程系数。当相机模型和激光平面模型都确定后，便可得到线结构光视觉系统的整体模型，完成系统的标定和搭建。

第三步，利用校正图像进行激光条纹直线拟合，得到像素坐标系下的拟合方程；

第四步，将像素坐标系下的拟合方程投影到相机坐标系得到线结构光反射平面的表达式；

第五步，利用张氏标定法中标定板平面为世界坐标系下z_w＝0条件的平面，求出相机坐标系下的靶标平面方程；

第六步，利用三面共线条件列出激光平面方程参数(A,B,C)的矩阵方程，并用最小二乘法求解，得到激光平面方程，完成激光平面的标定。

三面共线条件指的是空间中任意三个不同的平面具有共同交线所需满足的数学条件。假设空间中任意三个不同平面的表达式为A₁x+B₁y+C₁z+D₁＝0、A₂x+B₂y+C₂z+D₂＝0和A₃x+B₃y+C₃z+D₃＝0，且相互之间不平行。若以上三面共线，则线上所有空间点都满足这三个平面方程，即下列方程组：

有无穷多实数解。令A＝(A₁,A₂,A₃)^T，B＝(B₁,B₂,B₃)^T，C＝(C₁,C₂,C₃)^T，D＝(-D₁,-D₂,-D₃)^T，由线性代数的知识可知，线性方程组有解意味着系数矩阵的秩等于增广矩阵的秩，于是r(A,B,C)＝r(A,B,C,D)≤3；若r(A,B,C)＝r(A,B,C,D)＝1，则方程组的三个平面方程表达式一致，显然与三个不同平面的假设矛盾；若r(A,B,C)＝r(A,B,C,D)＝3，则方程组有唯一解，不满足无穷多解的要求，因此矩阵的秩满足下式：

r(A,B,C)＝r(A,B,C,D)＝2 (4)

视向量D为常向量，从而以下矩阵行列式满足：

|A,B,D|＝|B,C,D|＝|A,C,D|＝0 (5)

将式(5)展开可得：

式(6)即为空间中任意三面共线的一般条件，且由上面的讨论可知，方程组的秩为2，即其中有一个方程冗余。

在张氏标定法中，靶标平面被假设为世界坐标系下z_w＝0的平面，而相机坐标系与世界坐标系的转换关系如式(1)所示。注意到矩阵R为正交矩阵，对式(1)稍作变形可得下式：

式中的R和t可根据张氏标定法求得；将矩阵方程展开，然后利用z_w＝0条件，很容易得到关于(x,y,z)的一次方程，设为：

A₁x+B₁y+C₁z+D₁＝0 (8)

由此求得靶标平面在相机坐标系下的表达式。

根据相机成像模型，像面上的直线对应空间中的某平面，而光条直线对应的显然是激光反射平面。提取靶标平面上的激光条纹，并对其进行直线拟合，可以得到其在像素坐标系下的表达式，设为：

au+bv+c＝0 (9)

将式(1)代入可得：

化简式(10)，容易得到以下关于(x,y,z)的一次方程：

A₂x+B₂y+C₂z＝0 (11)

其中A₂＝af_u,B₂＝bf_v,C₂＝au₀+bv₀+c，由此求得光反射平面在相机坐标系下的表达式。

由于激光平面不通过相机坐标系原点O，因此可设式(2)中D＝1；根据上述三面共线条件公式(6)，再结合式(8)、式(11)和式(2)的形式可令式(6)中的D₂＝0以及(A₃,B₃,C₃,D₃)＝(A,B,C,1)，从而得到以下关于(A,B,C)的方程组：

由于式(12)中的三个方程同样有一个冗余，故取其前两项用以计算；假设共拍摄了n张不同姿态的标定图片，令X＝(A,B,C)^T，则可以得到以下矩阵方程：

KX＝Y (13)

式中：

上标i代表第i张图的相关参数，通过最小二乘法求解可得(A,B,C)的值：

X＝(A,B,C)^T＝(K^TK)^-1K^TY (14)

由此完成激光平面的标定。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种新型线结构光视觉系统的标定方法，视觉系统包括激光发射器、导轨、相机及标定板，所述标定板在激光发射器的前方，标定板在相机的视野范围内，相机在导轨上移动；

其特征在于，包括如下步骤：

第一步，开启视觉系统中的相机和激光发射器，用相机采集至少20张线结构光打在标定板上的图片；

第二步，采用张氏标定法进行相机标定，获得相机的成像模型，并且对标定图像进行畸变校正，得到校正图像；

第三步，利用校正图像进行激光条纹直线拟合，得到像素坐标系下的拟合方程；

第四步，将像素坐标系下的拟合方程投影到相机坐标系得到线结构光反射平面的表达式；

第五步，利用张氏标定法中标定板平面为世界坐标系下z_w＝0条件的平面，求出相机坐标系下的靶标平面方程；

第六步，利用三面共线条件列出激光平面方程参数的矩阵方程，并用最小二乘法求解，得到激光平面方程，完成激光平面的标定。

2.根据权利要求1所述的标定方法，其特征在于，所述标定板为棋盘格。

3.根据权利要求1所述的标定方法，其特征在于，所述激光发射器发射的线结构光位于标定板的靶标平面上。

4.根据权利要求1所述的标定方法，其特征在于，第五步中，张氏标定法中，相机坐标系(x,y,z)，世界坐标系(x_w,y_w,z_w)，则相机坐标系下的靶标平面方程：

A₁x+B₁y+C₁z+D₁＝0

其中，A₁、B₁、C₁、D₁为待求的方程系数。

5.根据权利要求4所述的标定方法，其特征在于，三面共线条件指的是空间中任意三个不同的平面具有共同交线，其三个面为目标平面、激光平面及感光平面，得到激光平面方程：

X＝(A,B,C)^T＝(K^TK)^-1K^TY，

其中，

i为表示第i张图片，n为图片的总数。

6.根据权利要求1所述的标定方法，其特征在于，所述相机采集20-30张图片。

Images