CN113554708A - 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法 - Google Patents

Abstract

本发明提出了一种基于单圆柱目标的线结构光系统完整标定方法。校准过程如下：将圆柱形目标放置至少一次，并用激光投影仪的光带照亮。视觉传感器采集目标图像，提取出圆柱目标的激光条纹和轮廓图像。根据圆柱目标的轮廓特征和共线矢量的定义，利用提取的轮廓图像求解摄像机的内部参数。由于线结构光平面和圆柱目标在圆柱直径投影方向上的交线是一个标准圆，因此在摄像机坐标系上建立了光平面方程。在复杂的工业环境下，采用传统的张氏定标方法在不同位置拍摄多幅棋盘图像是不合适的，而且由于圆柱目标的轮廓特性，可以同时进行摄像机定标和线结构定标。本发明提出方法不需要依赖多幅图像的约束，操作简单，满足工业三维测量技术的要求。

Description

一种基于单圆柱靶标的线结构光视觉传感器的完全标定法

技术领域

本发明属于摄像机三维成像与检测技术领域，具体涉及一种通过3D圆柱靶标同时进行摄像机标定及线结构光平面标定以实现在复杂工业环境实时检测的视觉检测方法。

背景技术

目前，视觉测量系统的标定方法很多，但大多都是在实验室内进行的。随着科学技术的进步，工业生产逐渐从手工流水线生产向全自动化生产转型，工业检测领域对测量速度与测量精度也提出了更高要求。越来越多实际测量场合需要非接触式测量，推动了视觉测量技术的测量场合由实验室转向复杂的工业生产环境的研究。由实验室到实际应用的尚有许多难题需要解决，例如需要提高测量系统的测量范围以及对更加复杂的物体表面的检测能力等。另外，需要根据实际测量场合选择方便适合的标定方法，因为不同的标定方法对三维测量系统的影响不同，不合适的标定方法容易导致标定精度过低从而降低了三维测量的可靠性。除此之外，线性、智能、灵活的测量系统也一直备受业界关注。目前，视觉测量系统的标定方法很多，但大多标定方法需要复杂的算法，参数繁杂且相互关联，测量过程的可靠性依赖于严格的标定环境，另外复杂的算法校准时间过长。因此传统视觉测量方法大多不能满足工业现场对测量系统提出的频繁校准和快速方便校准的要求。多年来，人们做了大量的相关研究，通过对三维传感器系统的精心设计，优化各种系统参数，做好系统标定，可以使测量系统的测量精度提高一个数量级，但总的来说，测量系统的搭建仍然存在实际应用中特定条件的制约，并且复杂的标定流程使得测量系统在工业生产的可操作性不强。

在摄像机标定阶段，传统的摄像机内参的标定主要是采用二维共面点标定靶标或三维标定靶标，二维共面点标定靶标加工简单，但一幅图像不足以获得所有摄像机参数，需要多幅不同角度位置的图像求取，因此需要获取不同图像之间的位置关系进行非线性求解。三维标定靶标加工难度虽大于二维靶标，在一定的条件下只需要一幅图像就可以求出摄像机全部内外参数，此方法适用于工业测量。在线结构光标定阶段，根据标定靶标的类型分为：一维靶标、二维靶标、三维靶标以及虚拟靶标。对于一维靶标和二维靶标通常需要获取多个角度下的不同位姿视图才能完成结构光标定，其中，一维靶标主要是针对大视场的现场标定。三维靶标，利用靶标自身提供的几何信息，在单幅视图下完成光平面标定。虚拟靶标借助运动的相对性，控制结构光视觉传感器做平移运动即可完成光平面标定。虽然无需使用额外的靶标即可进行标定，但依赖传感器的运动信息。

由此可见，在基于三维靶标的线结构光视觉传感器测量系统上的标定方法上尚且具有很大的改进空间及应用前进。

发明内容

本发明提出了一种利用单圆柱3D靶标外轮廓特性同时进行摄像机标定及线结构光平面标定的标定新方法。增加现有复杂工业环境标定的实时性与简便性，实现单幅图像的同时标定要求。本发明通过如下技术方案实现：

1. 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法，包括：

激光发射器、摄像机、三角架及三维靶标，所述三维靶标在激光发射器的前方，三维靶标在摄像机视野范围内，摄像机固定在三角架上。

所述三维靶标为圆柱靶标。

所述激光发射器发射的线结构光位于单圆柱靶标的横截面上。

所述激光发射器发射的线结构光与单圆柱靶标横截面上的交线于轴向投影为标准圆形于径向投影为椭圆形。

所述相机标定过程对应的转换函数可以表示为：

(1)

其中，ρ为非零尺度因子；A为摄像机内部参数矩阵，只与摄像机内部参数有关，u ₀和v ₀表示摄像机光心坐标，a _x 和a _y 分别为图像在u和v轴上的归一化焦距；R是图像平面的旋转矩阵，t为三维平移向量；M为摄像机外部参数矩阵，由摄像机对世界坐标系的方位决定的。

将世界坐标系建立在摄像机坐标系下，O _c -X _c Y _c Z _c 表示摄像机坐标系。

(2)

2. 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法，其特征在于，包括如下步骤。

第一步：圆柱靶标放置在合适的位置，摄像机捕获圆柱靶标的边缘信息及线结构光视觉传感器与圆柱靶标相交处的光条纹。值得注意的是，由于圆柱靶标特有的几何特征，此时圆柱靶标的任何位置都是被允许的，只需将圆柱靶标与外界环境的颜色区隔开即可。

第二步：通过共线向量外积之模为零，圆柱的对称性的距离约束，对摄像机进行畸变参数求解，再利用圆柱靶标边缘深度信息求解摄像机焦距。获得摄像机内部参后对图片进行畸变校正。

第三步：提取畸变矫正后的光中心条纹，求解空间圆锥方程，利用投影性质结合圆柱靶标信息求得光平面方程。

根据Fitzgibbon提出的单除式镜头畸变模型，将理想成像点记作(u _p , v _p )，经过镜头畸变的点记作(u _d , v_d)，两者之间存在如下关系：

(3)

其中(u ₀, v ₀)为畸变中心，

，系数k ₁ 表示镜头的一阶径向畸变。

对于非线性摄像机镜头畸变校正，可以在进行标定之前就利用给定场景的可获取的信息对摄像机的镜头畸变经行求解。

根据几何知识，若两个向量共线，则它们的外积为零向量。因此，对于直线上任意两点构成的向量，由于共线，其外积之模为零。从这个意义上来说，共线向量外积的模可以作为畸变测度，对镜头畸变进行校正。针对选取的标定靶标可以在标定图像上可以提取到2条直线的特征点，每条直线上有N _n (n=1,2)个特征点。考察相邻两个特征点P _i 和P _i+1 构成的向量P _i P _i+1 ，P _i 为理想成像点。按照此法构造的向量序列，取相邻两个向量做叉乘运算并计算其模，得到：

(4)

根据圆柱的对称性，对称点之间的距离相等。针对选取的标定靶标可以在标定图像上提取到2条曲线的特征点。将每条曲线都分成对称的两部分，每个部分上有N _m (m=1,2,3,4)个特征点。根据对应的特征点D _m,j (j=1,2,…,N _m ) （其中D _m,j 为摄像机坐标系下的空间坐标）的距离约束，可以得到：

(5)

根据透视投影模型化简可得：

(6)

其中dx和dy分别表示每一个像素在x轴和y轴方向的物理尺寸；

为了克服噪声的影响，对边缘进行曲线拟合，通常采用的曲线圆形为二次曲线。将畸变模型，即(3)式代入(4)、(6)式。

摄像机一阶径向畸变系数k ₁和镜头畸变中心(u ₀, v ₀)的参数估计算法的具体实施步骤如下：

（1）确定畸变系数和畸变中心的范围。设

为畸变中心到图像边缘距离的最大值，可得k ₁的范围为

。设图像大小为w×h(w和h分别为图像的长和宽)，畸变中心一般位于图像中心附近0.1w×0.1h大小的矩形区域内，得

,

。

（2）采用Zernike矩提取圆柱靶标边缘轮廓的亚像素特征，获得原始畸变图像的边缘亚像素点。由于结构光条纹对图像边缘提取有一定的影响，本发明结合镜头畸变模型，对所选标定靶标在标定图像上提取到的2条直线的特征点进行二次曲线拟合。

（3）根据上述畸变参数k ₁, u ₀, v ₀的取值范围，分别选择相应的步长Δk ₁, Δu ₀,Δv ₀，得到畸变参数组合

其中

,

,

,

,

,

；对式中每种系数组合

计算边缘图像的校正。

（4）利用非线性优化对上述各种系数组合进行搜索，获得最优解，此时对应的参数即为最佳值。

对图像完整畸变校正后，可根据圆柱靶标的几何信息求得图像焦距。将上述选取的标定靶标上提取的两条直线的特征点畸变校正后依然有N _n (n=1,2)个特征点。由于圆柱靶标可能不是完全水平放置，本发明建立一个绕摄像机坐标系z轴旋转θ度的新坐标系，将所获靶标图像旋转成为完全垂直于水平面的图像。根据刚体变换的性质可以得到：

(7)

利用透视投影模型可以得到：

(8)

k为焦距与圆柱中心轴的深度比，即k=f/z ₁；d为圆柱靶标的高；x ₁为圆柱靶标点P _3,4在摄像机坐标系上x轴的位置；y ₁为圆柱靶标点P _3,4在摄像机坐标系上y轴的位置。

利用非线性最小二乘算法求得x ₁, y ₁, k。畸变校正后拟合的出的曲线为椭圆且在xoz平面上的投影为标准圆形，

可得：

(9)

根据拟合的椭圆性质可得：

(10)

其中，s为任意不为零的比例尺度，t ₁ 为圆柱靶标圆心的x轴信息且t ₁ =x ₁ +Rx，t ₂为圆柱靶标圆心的z轴信息，Rx为圆柱靶标的半径信息。根据式（10）即可求得归一化焦距a _x 、a _y 。

光平面方程求解过程中，相机坐标系(x, y, z)，世界坐标系(x _w ,y _w ,z _w )，则相机坐标系下的靶标平面方程：

(11)

其中a, b, c, d表示光平面方程的四个参数。

3根据Steger算法对图像平面的中心条纹进行提取。利用得到的中心条纹进行椭圆拟合得到C。

圆柱靶标相交，形成一个三维空间下的椭圆锥。根据摄像机模型，将光条纹中心拟合的椭圆带入式(2)，可得：

(12)

其中

，假设线结构光平面方程为：y=ax+cz+d，即可求得线结构光与圆柱靶标的交线在xoz面上的投影方程。

(13)

由于椭圆锥在xoz平面上的上的投影线为圆形得到：

(14)

其中，s为任意不为零的比例尺度。根据性质可求得a, c, d 。故在摄像机坐标系上建立光平面方程，光平面方程的系数为:

(15)

本发明根据复制工业环境测量需求，提出了一种基于单圆柱靶标的线结构光视觉传感器的完全标定法。本发明所述完全标定法具有如下优点：

(1) 本发明所采用圆柱靶标易于加工，加工精度高，在摄像机内参标定上，圆柱靶标也具有一定优势。

(2) 本发明仅用一幅标定图像便可以完成光平面标定过程，针对摄像机三维测量对标定现场环境要求较高且对中间标定参数的把控十分严格，本发明提出的两种方法标定过程简单，所需标定时间较短，因此满足工业生产越来越强调实时性、在线性的需求。

附图说明

图1线结构光视觉传感器目标模型。

图2线结构光投射到圆柱靶标的光条纹。

图3图像处理后的光条纹。

图4对称点之间的标定原理。

图5拟合的椭圆。

具体实施方式

结合附图对本发明的具体实施作详细叙述

如图1所示，一种基于单圆柱3D靶标的线结构光视觉传感器的标定系统，包括以下四部分：一个直径为100 mm，精度为0.02 mm的圆柱3D靶标1。一个单线激光投影仪2，一个具有BFS-U3-23S3C-C（分辨率1920像素x 1200像素）和约1200 mm测量距离的CCD相机3。一个三角架4。所述圆柱靶标在激光发射器的前方，三维圆柱靶标在摄像机视野范围内，摄像机固定在三角架上。如图2所示，所述激光发射器发射的线结构光与单圆柱靶标横截面上的交线于轴向投影为标准圆形于径向投影为椭圆形。应用该系统的标定方法，如图2所示，将世界坐标系与相机坐标系建立在相同位置，相机标定和激光平面标定可以同时进行。

本发明实施方式如下：线结构光视觉传感器由照相机和激光投影仪组成并使用具有BFS-U3-23S3C-C（分辨率1920像素x 1200像素）和约1200 mm的测量距离的CCD相机拍摄圆柱靶标上由激光投影仪投射的激光条纹，如图1所示。

本实施提出的校准方法用于校准结构化的视觉传感器。将圆柱靶标放置在线结构光学视觉传感器前面。圆柱靶标的直径为100毫米，精度为0.02毫米。用于该校准的图像如图3所示。

根据圆柱的对称性，对称点之间的距离相等。针对选取的标定靶标可以在标定图像上提取到2条曲线的特征点。将每条曲线都分成对称的两部分，每个部分上有N _m (m=1,2,3,4)个特征点。标定原理如图4所示，（图中以4个点为例），根据对应的特征点D _m,j (j=1,2,…,N _m ) （其中D _m,j 为摄像机坐标系下的空间坐标）的距离约束，可以得到：

(16)

摄像机一阶径向畸变系数k ₁和镜头畸变中心(u ₀, v ₀)的参数估计算法的具体实施步骤如下：

（1）确定畸变系数和畸变中心的范围。设

为畸变中心到图像边缘距离的最大值，可得k ₁的范围为

。设图像大小为w×h(w和h分别为图像的长和宽)，畸变中心一般位于图像中心附近0.1w×0.1h大小的矩形区域内，得

,

。

（2）采用Zernike矩提取圆柱靶标边缘轮廓的亚像素特征，获得原始畸变图像的边缘亚像素点。由于结构光条纹对图像边缘提取有一定的影响，本发明结合镜头畸变模型，对所选标定靶标在标定图像上提取到的2条直线的特征点进行二次曲线拟合。

（3）根据上述畸变参数k ₁, u ₀, v ₀的取值范围，分别选择相应的步长Δk ₁, Δu ₀,Δv ₀，得到畸变参数组合

其中

,

,

,

,

,

；对式中每种系数组合

计算边缘图像的校正。

（4）利用非线性优化对上述各种系数组合进行搜索，获得最优解，此时对应的参数即为最佳值。

对图像完整畸变校正后，可根据圆柱靶标的几何信息求得图像焦距。将上述选取的标定靶标上提取的两条直线的特征点畸变校正后依然有N _n (n=1,2)个特征点。由于圆柱靶标可能不是完全水平放置，本发明建立一个绕摄像机坐标系z轴旋转θ度的新坐标系，将所获靶标图像旋转成为完全垂直于水平面的图像。根据刚体变换的性质可以得到：

(17)

利用透视投影模型可以得到：

(18)

k为焦距与圆柱中心轴的深度比，即k=f/z ₁；d为圆柱靶标的高；x ₁为圆柱靶标点P _3,4在摄像机坐标系上x轴的位置；y ₁为圆柱靶标点P _3,4在摄像机坐标系上y轴的位置。

利用非线性最小二乘算法求得x ₁, y ₁, k。畸变校正后拟合的出的曲线为椭圆且在xoz平面上的投影为标准圆形，可得：

(19)

根据拟合的椭圆性质可得：

(20)

其中，s为任意不为零的比例尺度，t ₁ 为圆柱靶标圆心的x轴信息且t ₁ =x ₁ +Rx，t ₂为圆柱靶标圆心的z轴信息，Rx为圆柱靶标的半径信息。根据式（20）即可求得归一化焦距a _x 、a _y 。

根据Steger算法对图像平面的中心条纹进行提取。利用得到的中心条纹进行椭圆拟合得到C。拟合的椭圆如图5所示：

线结构光平面与圆柱靶标相交，形成一个三维空间下的椭圆锥。根据摄像机模型，将光条纹中心拟合的椭圆带入式(2)，可得：

(21)

其中

，假设线结构光平面方程为：y=ax+cz+d，即可求得线结构光与圆柱靶标的交线Qt在xoz面上的投影方程。

(22)

由于椭圆锥在xoz平面上的上的投影线为圆形得到：

(23)

其中，s为任意不为零的比例尺度。根据性质可求得a, c, d 。故在摄像机坐标系上建立光平面方程，光平面方程的系数为:

(24)

本实施方案所得到摄像机的内参矩阵为

,镜头的一阶径向畸变系数k ₁=-5e-07，光平面方程为：y=0.2041x+0.1041z-130.1858。校准精度由[u ₀ , v ₀ , k ₁ , f, a, c, d ]的相对误差来评估。

上述实施例为本发明较佳的实施方式，所述完全标定法，适当减小圆柱靶标直径有助于提高摄像机标定精度，但通过无限减小圆柱直径对标定精度的提升有限，当视野范围与圆筒直径之比约为 4.93(375mm/76mm)时，标定精度较好。

Claims (4)

1.一种基于单圆柱靶标的线结构光视觉传感器的完全标定法，其特征在于，包括：激光发射器、摄像机、三角架及三维圆柱靶标，所述圆柱靶标在激光发射器的前方，三维靶标在摄像机视野范围内，摄像机固定在三角架上。

2.应用权利要求1项所述的一种基于单圆柱靶标的线结构光视觉传感器的完全标定法，其特征在于，包括如下步骤：

第一步：圆柱靶标放置在合适的位置，摄像机捕获圆柱靶标的边缘信息及线结构光视觉传感器与圆柱靶标相交处的光条纹；值得注意的是，由于圆柱靶标特有的几何特征，此时圆柱靶标的任何位置都是被允许的，只需将圆柱靶标与外界环境的颜色区隔开即可；

第二步：通过共线向量外积之模为零，圆柱的对称性的距离约束，对摄像机进行畸变参数求解，再利用圆柱靶标边缘深度信息求解摄像机焦距；获得摄像机内部参后对图片进行畸变校正；

第三步：提取畸变矫正后的光中心条纹，求解空间圆锥方程，利用投影性质结合圆柱靶标信息求得光平面方程。

3.根据权利要求2所述的标定方法，其特征在于，第二步中，解摄像机畸变参数过程中，理想成像点记录为（u _p, v _p），透镜畸变点记录为（u _d, v _d），它们之间的关系如下：

(1)

其中（u ₀, v ₀）是畸变中心，系数k ₁表示透镜的一阶径向畸变；

对于非线性摄像机镜头畸变校正，可以利用标定前给定场景的可用信息来解决摄像机镜头畸变问题；对于由直线上任意两点组成的向量，由于共线性，外积的模为零；对于定标目标，可以在定标图像上提取两条线的特征点，每条线都有N _n（n=1,2）个特征点；本要求中P _i是理想的成像点，P _i P _i+1由两个相邻特征点P _i和P _i+1构成的矢量；计算模以求解：

(2)

在标定图像上提取两条曲线的特征点作为标定目标；将每条曲线分成两个对称部分，每个部分上有N _m（m=1,2,3,4）特征点；根据对应的特征点D _{m, j} （j=1,2，…，N _m）（其中D _{m, j} 是相机坐标系中的空间坐标）；可以获得坐标的距离约束：

(3)

摄像机一阶径向畸变系数k ₁和镜头畸变中心(u ₀, v ₀)的参数估计算法的具体实施步骤如下：

（1）确定畸变系数和畸变中心的范围；设

为畸变中心到图像边缘距离的最大值，可得k ₁的范围为

；设图像大小为w×h (w和h分别为图像的长和宽)，畸变中心一般位于图像中心附近0.1w×0.1h大小的矩形区域内，得

，

；

（2）采用Zernike矩提取圆柱靶标边缘轮廓的亚像素特征，获得原始畸变图像的边缘亚像素点。由于结构光条纹对图像边缘提取有一定的影响，本发明结合镜头畸变模型，对所选标定靶标在标定图像上提取到的2条直线的特征点进行二次曲线拟合；

（3）根据上述畸变参数k ₁, u ₀, v ₀的取值范围，分别选择相应的步长Δk ₁, Δu ₀, Δv ₀，得到畸变参数组合

其中

，

，

，

，

，

；对式中每种系数组合

计算边缘图像的校正；

（4）利用非线性优化对上述各种系数组合进行搜索，获得最优解，此时对应的参数即为最佳值；

对图像完整畸变校正后，可根据圆柱靶标的几何信息求得图像焦距；将上述选取的标定靶标上提取的两条直线的特征点畸变校正后依然有N _n (n=1,2)个特征点；由于圆柱靶标可能不是完全水平放置，本发明建立一个绕摄像机坐标系z轴旋转θ度的新坐标系，将所获靶标图像旋转成为完全垂直于水平面的图像；根据刚体变换的性质可以得到：

(4)

利用透视投影模型可以得到：

(5)

k为焦距与圆柱中心轴的深度比，即k=f/z ₁；d为圆柱靶标的高；x ₁为圆柱靶标点P _3,4在摄像机坐标系上x轴的位置；y ₁为圆柱靶标点P _3,4在摄像机坐标系上y轴的位置；

利用非线性最小二乘算法求得x ₁, y ₁, k。畸变校正后拟合的出的曲线为椭圆且在xoz平面上的投影为标准圆形，

可得：

(6)

根据拟合的椭圆性质可得：

(7)

其中，s为任意不为零的比例尺度，t ₁ 为圆柱靶标圆心的x轴信息且t ₁ =x ₁ +Rx，t ₂为圆柱靶标圆心的z轴信息，Rx为圆柱靶标的半径信息；根据式（7）即可求得归一化焦距a _x 、a _y 。

4.根据权利要求2所述的标定方法，所述光平面的参数的计算方法，其特征在于，第三步中，光平面方程求解过程中，相机坐标系(x, y, z)，世界坐标系(x_w ,y_w ,z_w )，则相机坐标系下的靶标平面方程：

(8)

其中a, b, c, d表示光平面方程的四个参数；

线结构光平面与圆柱靶标相交，形成一个三维空间下的椭圆锥；根据摄像机模型，将光条纹中心拟合的椭圆可由下式表示：

(9)

可求得线结构光与圆柱靶标的交线在xoz面上的投影方程：

(10)

Images