CN107218904A - 一种基于锯齿靶标的线结构光视觉传感器标定方法 - Google Patents

Abstract

本发明公开一种基于锯齿靶标的线结构光视觉传感器标定方法，包括：在摄像机不带滤光片的情况下，对线结构光视觉传感器中的摄像机进行标定；在摄像机镜头前装好滤光片，摄像机拍摄带有光条的锯齿靶标图像，获取光条与靶标齿形边缘交点的图像坐标，即为特征点图像坐标，基于交比不变性求解特征点在摄像机坐标系下的三维坐标；考虑滤光片折射模型，通过非线性优化方法解出滤光片参数及优化后的摄像机坐标系下的特征点三维坐标；将靶标移动两次以上，获取靶标所有位置特征点在摄像机坐标下的三维坐标，拟合这些三维坐标点求解光平面方程，完成标定；本发明适合在现场复杂光线环境，甚至在摄像机带有滤光片情况下完成线结构视觉传感器标定。

Description

一种基于锯齿靶标的线结构光视觉传感器标定方法

技术领域

本发明涉及传感器标定的技术领域，具体涉及一种基于锯齿靶标的线结构光视觉传感器标定方法。

背景技术

结构光三维视觉测量在工业环境中可以实现大量程、非接触、快速、高精度测量，因此得到广泛的应用。线结构光法和光栅结构光法是由激光器和摄像机组成视觉传感器，可以用于测量复杂环境下的物体三维形貌。

线结构光视觉传感器标定过程包括摄像机内部参数标定和光平面参数标定。其中关于摄像机内部参数标定这方面的研究很多，因此重点讨论光平面参数标定过程。关于光平面参数的标定方法有许多方法。如Dewar的“拉丝法”，配合双经纬测量在细丝上光点的三维坐标，再通过拟合多个光点确定光平面方程。现在标定方法多采用自由移动的三维、二维、一维或球靶标完成光平面标定。其中，采用三维靶标的标定方法，通过靶标上已知精确坐标的至少三个共线点，利用交比不变性获得结构光光条与该已知三点所在直线的交点的坐标，从而获得较高精度的光平面标定点；采用平面靶标的标定方法，可以通过交比不变性获得平面靶标上的光平面标定点，经过多次移动平面靶标获得大量光平面标定点，通过拟合光平面标定点获得光平面方程；采用一维靶标的标定方法，通过一维靶标特征点之间的距离约束求解出光平面与一维靶标交点的三维坐标，经过拟合多个交点的三维坐标求解光平面方程；采用双圆柱靶标的标定方法，通过光条在圆柱上的椭圆光条信息，求解出光平面方程。还有基于球靶标的标定方法，通过球轮廓信息和光条轮廓信息求解出光平面方程。

但是，现有主要的线结构光视觉传感器标定方法都需要结合靶标上特征点与光条图像信息来计算光平面方程。由于激光器功率比较强，很难同时将靶标上特征点和光条图像信息拍摄清晰，尤其在现场光线强弱不均等复杂光线环境下更难同时获得清晰图像。尤其是摄像机配有滤光片时，甚至无法拍摄到靶标的特征点图像。

发明内容

基于以上背景，本发明的主要目的在于提供一种基于锯齿靶标的线结构光视觉传感器标定方法，能够在现场复杂光线环境的情况下尤其是摄像机配有滤光片时实现快速高精度标定。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于锯齿靶标的线结构光视觉传感器标定方法，该方法包括：

a、在摄像机不带滤光片的情况下，对线结构光视觉传感器中的摄像机进行标定；

b、在摄像机镜头前装好滤光片，摄像机拍摄带有光条的锯齿靶标图像，获取光条与靶标齿形边缘的交点的图像坐标，即为特征点图像坐标，基于交比不变性求解特征点在摄像机坐标系下的三维坐标；

c、考虑滤光片折射模型，通过非线性优化方法解出滤光片参数及优化后的摄像机坐标系下的特征点三维坐标。

d、将靶标移动两次以上，获取靶标所有位置特征点在摄像机坐标下的三维坐标，拟合这些三维坐标点求解光平面方程。

步骤a中在摄像机不带滤光片的情况下，对线结构光视觉传感器中的摄像机进行标定，采用张正友方法标定摄像机内部参数及镜头二阶径向畸变系数

步骤b中光条与靶标齿形边缘的交点的图像坐标步骤如下：

(1)提取拍摄光条图像中所有光条中心的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心的无畸变图像坐标；

(2)拟合图像中不同方向光条的中心，获得多个直线方程，计算相邻主线与折线的交点，即为特征点图像坐标。

步骤b中基于交比不变性求解特征点在摄像机坐标系下的三维坐标具体方法如下：

(I)由交比不变性求出特征点在靶标坐标系下的三维坐标；

(II)结合摄像机内参，根据特征点在摄像机坐标系的方向矢量量与特征点之间的实际距离，求解出特征点在摄像机坐标系下的三维坐标；

步骤c中考虑滤光片折射模型，通过非线性优化方法解出滤光片参数，主要方法为通过之前求出的特征点在摄像机坐标系下的三维坐标与图像坐标，结合现有滤光片折射模型，计算出滤光片参数。

步骤c中求解摄像机坐标系下特征点的优化三维坐标，结合求解出的滤光片参数，通过Levenberg-Marquardt非线性优化方法求特征点三维坐标最优解。

步骤d中拟合求解光平面方程，采用最小二乘拟合法获得最终的光平面方程。

本发明与现有技术相比的优点在于：

本发明提出一种采用可以自由移动锯齿靶标实现线结构视觉传感器标定的新方法，在带有滤光片的情况下，仅依靠照射在靶标上的光条图像信息，就可以实现线结构视觉传感器标定，不需要靶标上的特征点的图像提取。并且靶标为长条形，可以随着视场的增大，增加长度，可以适合大视场的标定。此标定方法适合在现场复杂光线环境，摄像机带有滤光片的情况下完成线结构视觉传感器标定。

附图说明

图1为本发明基于锯齿靶标的线结构光视觉传感器标定方法流程图；

图2为线结构光视觉传感标定示意图；

图3为通过交比不变性计算出特征点在摄像机坐标系下三维坐标。

具体实施方式

本发明的基本思想是：基于交比不变求解出光条与靶标锯齿边缘交点即特征点在摄像机坐标系下的三维坐标初解，并加入滤光片模型，通过优化求解出光平面方程，即实现线结构光视觉传感器的标定。

下面以一个摄像机和一个线激光器组成的线结构光视觉传感器为例，对本发明作进一步详细说明。

如图1所示，本发明基于锯齿靶标的线结构光视觉传感器标定方法主要包括以下步骤：

步骤11：在不带滤光片的情况下，对线结构光视觉传感器中的摄像机进行标定。

这里对视觉传感器的摄像机进行标定即求解摄像机的内部参数，具体求解方法在张正友的文章“A flexible new technique for camera calibration[R].MicrosoftCorporation,NSR-TR-98-71,1998”中有详细描述。

步骤12：在摄像机前装好滤波片，使得线激光器投射的光平面和锯齿靶标相交，摄像机拍摄带有光条的锯齿靶标图像。

如图2所示，设O_cx_cy_cz_c为摄像机坐标系，O_ux_uy_u为图像坐标系，π为光平面，光平面方程可表示为ax+by+cz+d＝0，其中

步骤13：提取特征点图像坐标，即光条与靶标齿形边缘的交点。

这里，具体包括以下步骤：

步骤131：提取拍摄光条图像中所有光条中心点的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心点的无畸变图像坐标。

具体提取光条中心方法采用Steger所述的“Unbiased extraction ofcurvilinear structures”方法，校正方法在张广军编著的“张广军.机器视觉:科学出版社”中有详细描述。以下所述光条中心的图像坐标均为经过畸变校正后的无畸变图像坐标。

步骤132：拟合处于不同直线方向的光条中心点，具体拟合直线方法采用最常用的最小二乘法进行拟合。

步骤133：计算相邻不同方向直线交点，即为特征点图像坐标。

靶标加工如图2所示，灰色部分为如屋脊般的凸起，白色部分为平面，与灰色部分的最底面相平，所以激光与靶标相交结果如图2红线所示，计算相邻灰色部分的光条拟合直线与白色平面的光条拟合直线的交点，即为特征点图像坐标。

步骤14：基于交比不变性求解特征点在靶标坐标系下的三维坐标。

如图3所示，O_cx_cy_cz_c为摄像机坐标系，O_tx_ty_tz_t为靶标坐标系。π为光平面。在条形靶标坐标系下光平面与靶标交点坐标依次为A＝[x_A,y_A,1]、B＝[x_B,y_B,1]、C＝[x_C,y_C,1]、D＝[x_D,y_D,1]、E＝[x_E,y_E,1]、F＝[x_F,y_F,1]。A、B、C、D、E、F在摄像机图像上的成像点分别为a＝[u_a,v_a,1]、b＝[u_b,v_b,1]、c＝[u_c,v_c,1]、d＝[u_d,v_d,1]、e＝[u_e,v_e,1]、f＝[u_f,v_f,1]。

采用步骤13中的方法获得a、b、c、d、e、f在图像坐标系下的图像坐标，根据交比不变性可知：

其中光条与靶标的交点A、C、E点在条形靶标坐标系下的y方向分量y_A,y_C,y_E已知，x方向分量x_A,x_C,x_E未知；光条与靶标的交点B点在条形靶标坐标系下的x方向分量x_B已知，y方向分量y_B未知。根据式1可得下式：

由于a、b、c、e已经提取出来，故根据式就可以求解B点在靶标坐标系下的y方向分量值y_B。因为B点在靶标坐标系下的x方向分量值x_B已知，故B点在条形靶标坐标系下的坐标[x_B,y_B]就求解出来了。

根据以上算法依次求解出D、F在靶标坐标系下坐标。同理采用以上方法，根据B、D、F也可以求解出A、C、E点在靶标坐标系下坐标。至此，就可以全部求解出A、B、C、D、E、F在靶标坐标系O_tx_ty_tz_t下坐标。

步骤15：结合图像点与摄像机内参，求解特征点在摄像机坐标下的三维坐标的初解。

设特征点在摄像机坐标系下三维坐标依次为

根据摄像机模型，A和B点可得：

其中(K^-1a)_k是向量K^-1a中的第k个元素,k＝1,2,3.

在摄像机坐标系下,A和B两点的矢量方向d_AB＝[d_x,d_y,d_z]^T可以表示如下

其中d_AB＝K^-1v/||K^-1v||，v是光条空间直线在摄像机图像中的消隐点。设共线点A、B、C的简比为SR(A,B；C)＝S，共线点A、B、C和V_∞的交比也为S,即CR(A,B；C,V_∞)＝S。其中V_∞为光条空间直线的无穷远点。根据交比不变性CR(a,b；c,v)＝S可以求解v。

联合式(3)和(4)可得：

式中D_AB表示AB两点之间距离,可由A、B在靶标坐标系下的坐标计算可得。

通过式(5)我们可以求解出再将带入式(3)可以的得到 至此就可以求解出A,B在摄像机坐标系下三维坐标。同理我们可以求解出其余C,D,E,F点在摄像机坐标系下三维坐标。

步骤16：考虑滤光片折射模型，通过非线性优化方法解出滤光片参数及优化后的摄像机坐标系下的特征点三维坐标。

步骤161：滤波片模型采用Amit Agrawal“A Theory of Multi-Layer FlatRefractive Geometry”中第四部分提供的方法进行实现，通过文中的方法求解出滤光片模型的参数λ，

步骤162：通过最终通过优化后的模型解算出新的摄像机坐标系下特征点的三维坐标，优化函数如式(6)所示：

式中，为第i次靶标摆放位置上的第j个特征点的三维坐标，λ为滤波片参数。AFP是步骤161文章的第五部分所提到的方法，为加入滤波片参数后得到的对应于特征点的图像坐标，p_ij为步骤133中提取到的对应于特征点的图像坐标，M为靶标摆放次数，N为每个摆放位置提取的特征点个数。

步骤17：通过拟合求得光平面方程，完成标定

将齿条靶标在摄像机前摆放2次以上，就可以得到多个非共线光平面特征点在摄像机坐标系下的坐标，通过最小二乘法平面拟合就可以求解光平面方程ax+by+cz+d＝0。

Claims (7)

1.一种基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于实现步骤如下：

步骤a、在摄像机不带滤光片的情况下，对线结构光视觉传感器中的摄像机进行标定；

步骤b、在摄像机镜头前装好滤光片，摄像机拍摄带有光条的锯齿靶标图像，获取光条与靶标齿形边缘的交点的图像坐标，即为特征点图像坐标，基于交比不变性求解特征点在摄像机坐标系下的三维坐标；

步骤c、考虑滤光片折射模型，通过非线性优化方法解出滤光片参数及优化后的摄像机坐标系下的特征点三维坐标；

步骤d、将靶标移动两次以上，获取靶标所有位置特征点在摄像机坐标下的三维坐标，拟合这些三维坐标点求解光平面方程。

2.根据权利要求1所述的基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于：步骤a中在摄像机不带滤光片的情况下，对线结构光视觉传感器中的摄像机进行标定，采用张正友方法标定摄像机内部参数及镜头二阶径向畸变系数。

3.根据权利要求1所述的基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于：步骤b中光条与靶标齿形边缘的交点的图像坐标方法如下：

(1)提取拍摄光条图像中所有光条中心的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心的无畸变图像坐标；

(2)拟合图像中不同方向光条的中心，获得多个直线方程，计算相邻主线与折线的交点，即为特征点图像坐标。

4.根据权利要求1所述的基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于：步骤b中基于交比不变性求解特征点在摄像机坐标系下的三维坐标具体方法如下：

(I)由交比不变性求出特征点在靶标坐标系下的三维坐标；

(II)结合摄像机内参，根据特征点在摄像机坐标系的方向矢量量与特征点之间的实际距离，求解出特征点在摄像机坐标系下的三维坐标。

5.根据权利要求1所述的基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于：步骤c中考虑滤光片折射模型，通过非线性优化方法解出滤光片参数，主要方法为通过之前求出的特征点在摄像机坐标系下的三维坐标与图像坐标，结合现有滤光片折射模型，计算出滤光片参数。

6.根据权利要求1所述的基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于：步骤c中求解摄像机坐标系下特征点的优化三维坐标，结合求解出的滤光片参数，通过Levenberg-Marquardt非线性优化方法求特征点三维坐标最优解。

7.根据权利要求1所述的基于锯齿靶标的线结构光视觉传感器标定方法，其特征在于：步骤d中拟合求解光平面方程，采用最小二乘拟合法获得最终的光平面方程。