CN104848801B - 一种基于平行双圆柱靶标的线结构光视觉传感器标定方法 - Google Patents

Abstract

本发明公开了一种基于平行双圆柱靶标的线结构光视觉传感器标定方法，包括：采用自由移动的平行双圆柱靶标，将靶标在合适位置摆放至少1次，线结构光视觉传感器拍摄靶标上的激光光条图像；提取光条图像中心点，拟合图像中光条的椭圆图像；基于透视投影变换建立两个空间椭圆与其图像之间对应方程；以椭圆短轴与圆柱直径相同为约束条件，求解光平面方程；通过非线性优化方法得到光平面方程的最优解；本发明适合在现场复杂光线环境，甚至在摄像机带有滤光片的情况下完成线结构视觉传感器标定；尤其适合在狭窄空间，或不同角度多个线结构光视觉传感器的现场快速高精度标定。

Description

一种基于平行双圆柱靶标的线结构光视觉传感器标定方法

技术领域

本发明涉及传感器标定技术，具体涉及一种基于平行双圆柱靶标的线结构光视觉传感器标定方法。

背景技术

结构光三维视觉测量以其大量程、非接触、快速、较高精度等特点，近年来在工业环境中得到了广泛的应用。线结构光法和光栅结构光法采用激光器和摄像机结合构建三维视觉传感器，适合复杂环境的物体三维形貌测量。

线结构光视觉传感器标定过程都包括摄像机内部参数标定和光平面参数标定两个方面。关于摄像机内部参数标定的文献很多，因此重点讨论光平面参数标定过程。关于光平面参数的标定方法有许多方法。如Dewar的“拉丝法”，配合双经纬测量在细丝上光点的三维坐标，在通过拟合多个光点确定光平面方程。现在标定方法多采用自由移动的三维、二维、一维或球靶标完成光平面标定。其中，采用三维靶标的标定方法，通过靶标上已知精确坐标的至少三个共线点，利用交比不变性获得结构光光条与该已知三点所在直线的交点的坐标，从而获得较高精度的光平面标定点；采用平面靶标的标定方法，可以通过交比不变性获得平面靶标上的光平面标定点，经过多次移动平面靶标获得大量光平面标定点，通过拟合光平面标定点获得光平面方程；采用一维靶标的标定方法，通过一维靶标特征点之间的距离约束求解出光平面与一维靶标交点的三维坐标，经过拟合多个交点的三维坐标求解光平面方程；还有基于球靶标的标定方法，通过球轮廓信息和光条轮廓信息求解出光平面方程。

但是，现有主要的线结构光视觉传感器标定方法都需要结合靶标上特征点与光条图像信息来计算光平面方程。由于激光器功率比较强，很难同时将靶标上特征点和光条图像信息拍摄清晰，尤其在现场光线强弱不均等复杂光线环境下更难同时获得清晰图像。尤其是摄像机配有滤光片时，甚至无法拍摄到靶标的特征点图像。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于平行双圆柱靶标的线结构光视觉传感器标定方法，能够在现场复杂光线环境的情况下实现快速高精度标定。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于平行双圆柱靶标的线结构光视觉传感器标定方法，该方法包括：

a、对线结构光视觉传感器中的摄像机进行标定，将平行双圆柱靶标在合适位置摆放1次，拍摄靶标上的激光光条图像；提取光条图像中心点，拟合图像中光条的椭圆图像；

b、基于透视投影变换建立两个空间椭圆与其图像之间对应方程；以椭圆短轴与双圆柱靶标直径相同为约束条件，求解光平面方程；

c、将靶标在合适位置摆放多次，通过非线性优化方法得到光平面方程的最优解。

步骤a中提取光条图像中心点，拟合光条图像中光条的椭圆图像的实现步骤如下：

(1)提取拍摄光条图像中所有光条中心的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心的无畸变图像坐标；

(2)利用两条光条的无畸变图像坐标，拟合光条的椭圆图像。

步骤b中基于透视投影变换建立两个空间椭圆与两个椭圆图像之间对应方程具体如下：

(1)由拟合椭圆图像可以求得两个椭圆图像的参数矩阵；

(2)由双圆柱靶标的几何参数设定空间椭圆的参数矩阵；

(3)根据摄像机透视投影变换建立两个椭圆图像的参数矩阵和空间椭圆的参数矩阵的关系。

步骤b中以椭圆短轴与直径相同为约束条件，求解光平面方程过程为：

(1)把椭圆短轴与直径相同为约束条件代入步骤b中建立的两个空间椭圆与图像椭圆之间的对应方程；

(2)结合透视投影变换中旋转矩阵的性质求解出空间椭圆坐标系与图像椭圆坐标系之间的旋转矩阵及平移矢量；

(3)根据旋转矩阵及平移矢量求解光平面方程。

步骤c中通过非线性优化方法得到光平面方程的最优解，采用Levenberg-Marquardt非线性优化方法求解旋转矩阵和平移向量在最大似然准则下的最优解。

本发明与现有技术相比的优点在于：本发明提出一种采用可以自由移动双平行圆柱靶标实现线结构视觉传感器标定的新方法，仅需将双平行圆柱靶标摆放一次，通过光条图像信息实现线结构视觉传感器标定。该方法只需把靶标自由摆放一次，在不需要辅助设备的条件下，仅依靠照射在靶标上的光条图像信息，就可以实现线结构视觉传感器标定，适合在现场复杂光线环境，甚至在摄像机带有滤光片的情况下完成线结构视觉传感器标定。由于圆柱靶标易于加工且可以达到高精度，同时因圆柱靶标的形状特性，所以本发明尤其适合在狭窄空间，或不同角度多个线结构光视觉传感器的现场快速高精度标定。

附图说明

图1为本发明基于平行双圆柱靶标的线结构光视觉传感器标定方法流程图；

图2为线结构光视觉传感标定示意图；

图3为实施例中线结构光视觉传感标定实物图；

图4为线结构光视觉传感器的摄像机拍摄的靶标图像。

具体实施方式

本发明的基本思想是：基于透视投影变换建立两个空间椭圆与其图像之间对应方程，以椭圆短轴与圆柱直径相同为约束条件，求解出光平面方程，即实现线结构光视觉传感器的标定。

下面结合具体实施例及由一个摄像机和一个线激光器组成的线结构光视觉传感器为例，对本发明作进一步详细说明。

如图1所示，本发明基于平行双圆柱靶标的线结构光视觉传感器标定方法主要包括以下步骤：

步骤11：对线结构光视觉传感器中的摄像机进行标定。

这里，对视觉传感器的摄像机进行标定即求解摄像机的内部参数，具体求解方法在张正友的文章“A flexible new technique for camera calibration[R].MicrosoftCorporation，NSR-TR-98-71，1998”中有详细描述。

步骤12：将可以自由移动的平行双圆柱靶标在线结构光视觉传感器前摆放至少1次，使得线激光器投射的光平面和两个圆柱相切，且摄像机能拍摄到两个图像光条。线结构光视觉传感器拍摄靶标上的光条图像。

这里，线结构光视觉传感器由一个摄像机和一个线激光器组成，图2为实施例中线结构光视觉传感器示意图。其中，Q₁和Q₂表示光平面和靶标相切确定的两个空间椭圆；C₁和C₂表示两个空间椭圆Q₁和Q₂在图像平面上的像；O_w1x_w1y_w1z_w1为以Q₁的长轴为y轴，短轴为的x轴，圆心为空间椭圆中心建立的Q₁坐标系，O_w2x_w2y_w2z_w2为以Q₂的长轴为y轴，短轴为的x轴，圆心为空间椭圆中心建立的Q₂坐标系；O_cx_cy_cz_c表示摄像机坐标系。

步骤13：提取光条图像中心点，拟合图像中光条的椭圆图像。

这里，具体包括以下步骤：

步骤131：提取拍摄光条图像中所有光条中心的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心的无畸变图像坐标。

具体提取光条中心方法采用Steger所述的“An unbiased detector ofcurvilinear structures”方法，校正方法在张广军编著的“张广军.机器视觉:科学出版社”中有详细描述。以下所述光条中心的图像坐标均为经过畸变校正后的无畸变图像坐标。

步骤132：对提取的两条光条图像中心点，通过椭圆拟合确定C₁和C₂，具体椭圆拟合方法可采用A.W.Fitzgibbon所述的“Direct Least Squares Fitting of Ellipses”方法。

步骤14：基于透视投影变换建立两个空间椭圆与其图像之间的对应方程。

这里，将Q₁的长轴定为O_w1x_w1y_w1z_w1的y轴，短轴定为的x轴，圆心定为空间椭圆中心，类似方法可以获得Q₂的坐标系O_w2x_w2y_w2z_w2。通过分析光平面与双平行圆柱相切的空间几何关系可以得：两个空间椭圆Q₁和Q₂大小完全相同；两个空间椭圆Q₁和Q₂的短轴都为圆柱靶标直径d；两个空间椭圆Q₁和Q₂的长、短轴平行。Q₁、Q₂为光平面与靶标相交得到的两个空间椭圆的表达式，C₁、C₂为其在摄像机图像中的像。C₁、C₂与Q₁、Q₂都为3×3矩阵，具体表示如式1和2。

C₁、C₂为摄像机图像中的两个椭圆图像的系数矩阵。

式中[u_j v_j 1]为第j个椭圆图像上点在图像坐标系下齐次坐标。

式中[x_j y_j 1]为第j个空间椭圆上点在O_wjx_wjy_wj坐标系下坐标。由上述分析知，其中，a为光平面与靶标相交所得两个空间椭圆的长轴，两个空间椭圆的长轴相等；b为短轴，大小为靶标的圆柱半径，为已知量。

根据摄像机线型模型可知，

式中ρ为比例系数，K为摄像机内参矩阵。R_j为O_wjx_wjy_wjz_wj到O_cx_cy_cz_c的旋转矩阵，R_j＝[r_1j r_2j r_3j]。由于两个空间椭圆Q₁和Q₂长、短轴平行可知，O_w1x_w1y_w1z_w1与O_w2x_w2y_w2z_w2的坐标轴完全平行，因此R₁＝R₂＝[r₁ r₂ r₃]。t_j为O_wjx_wjy_wjz_wj到O_cx_cy_cz_c的平移矢量。

将式(3)代入式(1)可得：

因此结合式(2)和式(4)可知：

ρ_jQ_j＝M^TK^TC_jKM (5)

式中ρ_j为非零比例系数。

将式(5)展开，可以得到C₁、C₂与Q₁、Q₂之间关系方程，如式(6)：

式中W_j＝K^TC_jK

步骤15：以椭圆短轴与圆柱直径相同为约束条件求解光平面方程初解。

这里，根据步骤14得出的空间椭圆与其图像之间的对应方程式(6)，分解可以得到式(7)：

将式(7)中的前六个式子联立，再结合r₁、r₂的单位正交特性可得：

将式(7)中后6式联立，如式(9)，即可求解出可得t₁和t₂。

由于O_w1x_w1y_w1z_w1建立在光平面上，因此在摄像机坐标系下的光平面方程的4个系数(a，b，c，d)的初始解可由式(10)求得：

其中，R₁，t₁为O_w1x_w1y_w1z_w1到O_cx_cy_cz_c的旋转矩阵及平移矢量。

步骤15：通过非线性优化方法求得光平面方程的最优解，完成标定

这里，将双平行圆柱靶标摆放多次时，利用最大似然准则对光平面方程进行优化，得到光平面方程在最大似z_ji(m)然准则下的最优解。

设第i次摆放位置，椭圆1和2上的第m个点的无畸变图像齐次坐标分别为和根据式(12)分别求解出p_1i(m)和p_2i(m)在O_w1x_w1y_w1z_w1下坐标P_1i(m)＝[x_1i(m),y_1i(m),z_1i(m),1]^T和P_2i(m)＝[x_2(m),y_2(m),z_2(m),1]^T。

式中ρ_j为非零比例系数，z_ji(m)表示点p_1i(m)和p_2i(m)的z坐标，K为摄像机内参矩阵，(R₁ t₁)为O_w1x_w1y_w1到摄像机坐标系的旋转矩阵与平移矢量。

通过式(12)求解出靶标所有摆放位置的光条中心点在O_w1x_w1y_w1z_w1下坐标(这些点的z坐标分量为零，也就是说这些点分布在光平面上)，再椭圆拟合确定Q_1i和Q_2i。由Q_1i和Q_2i可以得到椭圆的长轴半径A_1i和A_2i，短轴半径B_1i和B_2i，及长轴与x轴的夹角和根据每次摆放位置空间椭圆的相同性及长短轴平行性建立以下目标函数

其中α＝(R₁,t₁)，n为标定摆放次数。采用非线性优化方法(例如Levenberg-Marquardt)可求解α在最大似然准则下的最优解，再通过式(10)求解光平面系数(a，b，c，d)。

最后，以一个摄像机和一个线激光器组成的线结构光视觉传感器为例，说明按照本发明的方法进行标定的具体过程。

摄像机配用17mm施耐德光学镜头的Allied Vision Technologies数码摄像机，图像分辨率为1360像素×1024像素。视觉传感器视场约为500mm×400mm，测量距离为700mm左右。激光器采用单线红色激光器，功率为10mw。使用的双平行圆柱靶标结构如图3所示，靶标的圆柱直径为60mm，靶标加工精度为0.02mm。

首先，根据步骤11所述的方法得到摄像机内参标定结果为：

fx＝2733.80；fy＝2733.63；γ＝7×10^-5；u₀＝684.23；v_0＝524.69；k_1＝-0.23；k_2＝0.31。

根据步骤12所述的方法，用摄像机拍摄双平行圆柱靶标图像分别如图4。

根据步骤13～步骤15所述的方法，将双平行圆柱靶标在摄像机前摆放1个位置，根据透视投影变换建立两个空间椭圆与其图像之间的对应方程，以椭圆短轴与圆柱直径相同为约束条件求解出光平面方程初解为：

0.7840x-0.2180y+0.5865z-422.1944＝0

最后，根据步骤16所述的方法求得光平面在最大似然准则下的最优解为：

0.7822x-0.2195y+0.5816z-424.5595＝0

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (5)

1.一种基于平行双圆柱靶标的线结构光视觉传感器标定方法，其特征在于实现步骤如下：

a、对线结构光视觉传感器中的摄像机进行标定，将平行双圆柱靶标在合适位置摆放1次，使得线激光器投射的光平面和两个圆柱相切，且摄像机能拍摄到两个图像光条；拍摄所述平行双圆柱靶标上的激光光条图像，提取光条图像中心点，拟合光条图像中光条的椭圆图像；

b、基于透视投影变换建立两个空间椭圆与两个椭圆图像之间对应方程；以椭圆短轴与平行双圆柱靶标直径相同为约束条件，求解光平面方程；

c、将靶标在线结构光视觉传感器前摆放多次，通过非线性优化方法得到光平面方程的最优解。

2.根据权利要求1所述的基于平行双圆柱靶标的线结构光视觉传感器标定方法，其特征在于：步骤a中提取光条图像中心点，拟合光条图像中光条的椭圆图像的实现步骤如下：

(1)提取拍摄光条图像中所有光条中心的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心的无畸变图像坐标；

(2)利用两条光条的无畸变图像坐标，拟合光条的椭圆图像。

3.根据权利要求1所述的基于平行双圆柱靶标的线结构光视觉传感器标定方法，其特征在于：步骤b中基于透视投影变换建立两个空间椭圆与两个椭圆图像之间对应方程具体如下：

(1)由拟合椭圆图像可以求得两个椭圆图像的参数矩阵；

(2)由双圆柱靶标的几何参数设定空间椭圆的参数矩阵；

(3)根据摄像机透视投影变换建立两个椭圆图像的参数矩阵和空间椭圆的参数矩阵的关系。

4.根据权利要求1所述的基于平行双圆柱靶标的线结构光视觉传感器标定方法，其特征在于：步骤b中以椭圆短轴与平行双圆柱靶标直径相同为约束条件，求解光平面方程过程为：

(1)把椭圆短轴与直径相同为约束条件代入步骤b中建立的两个空间椭圆与两个椭圆图像之间的对应方程；

(2)结合透视投影变换中旋转矩阵的性质求解出空间椭圆坐标系与图像椭圆坐标系之间的旋转矩阵及平移矢量；

(3)根据旋转矩阵及平移矢量求解光平面方程。

5.根据权利要求1所述的基于平行双圆柱靶标的线结构光视觉传感器标定方法，其特征在于：步骤c中通过非线性优化方法得到光平面方程的最优解，采用Levenberg-Marquardt非线性优化方法求解旋转矩阵和平移向量在最大似然准则下的最优解。