CN107255443B - 一种复杂环境下双目视觉传感器现场标定方法及装置 - Google Patents

Abstract

本发明公开了一种复杂环境下双目视觉传感器现场标定方法及装置，利用可自由移动锯齿靶标配合一台与滤光片对应波长的线激光器完成现场快速标定。根据照射在靶标上的光条图像信息确定光条与锯齿靶标形成特征折点的图像坐标，基于交比不变性确定所有折点在靶标坐标系下坐标，结合摄像机内部参数计算出所有靶标特征点在两摄像机坐标系下三维坐标，进而求解出两相机之间外参数初值。最后通过整体非线性优化，求解出两相机之间外参数的精确解。对于解决现场复杂环境下多视觉传感器全局标定问题，具有重要的实际应用价值。

Description

一种复杂环境下双目视觉传感器现场标定方法及装置

技术领域

本发明涉及双目视觉传感器现场标定的技术领域，具体涉及一种复杂环境下双目视觉传感器现场标定方法及装置。

背景技术

复杂环境下视觉测量系统正在被广泛应用，如列车轮对几何尺寸、受电弓、锻造件等在线测量系统。通常情况下，这些视觉测量系统，都会在相机镜头前方安装滤光片，以此保证成像质量，提高测量的稳定性。然而，这造成多个传感器在复杂光照环境下的全局标定变得越来越困难。例如列车轮对几何尺寸在线动态测试仪，是由多组结构光视觉传感器组成，分别安装在车轮在触发位置的不同位置，用于观测被测车轮的不同部位，同时又通过全局标定参数将多个测量结果拼接到一起，最后用于车轮几何尺寸的在线计算。其中，由于每个相机镜头都配备近红外滤光片，直接导致传感器全局标定变的复杂、不方便，严重影响标定效率。实际标定中先摘掉滤光片，用发光靶标，通过帐篷等工具屏蔽现场复杂光线的干扰，或在阴暗的天气条件下，采用发光LED靶标或棋盘格靶标完成相机全局标定，待标定完再装上滤光片，这种方法拆卸耗时、费力，严重影响现场工作效率。同时，由于滤光片多种多样，靶标相对固定，当前并没有一种适合于现场大空间视觉系统标定应用，且不受滤光片干扰的通用型全局标定方法。

当前双目标定方法按照靶标形式可以分为三维靶标，二维靶标，一维靶标，球，平行线、激光跟踪仪等。其中，三维靶标(参见文献([1]Tsai R Y.A versatile cameracalibration technique for high-accuracy 3D machine vision metrology usingoff-the-shelf TV cameras and lenses[M]Radiometry.Jones and BartlettPublishers,Inc.1992.与[2]

J.Geometric Camera Calibration Using CircularControl Points[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,22(10):1066-1077.)、二维靶标(参见文献[3]Zhang Z.A Flexible New Techniquefor Camera Calibration[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2000,22(11):1330-1334.)主要应用在工业现场高精度标定中，但其受空间、机械加工精度的限制；一维靶标(参见文献[4]Liu Z,Zhang G,Wei Z,et al.Novelcalibration method for non-overlapping multiple vision sensors based on 1Dtarget[J].Optics&Lasers in Engineering,2011,49(4):570-577.及文献[5]Zhao Y,LiX,Li W.Binocular vision system calibration based on a one-dimensional target[J].Applied Optics,2012,51(16):3338-3345.以及文献[6]Zhou F.Calibratingbinocular vision sensor with one-dimensional target of unknown motion[J].Journal of Mechanical Engineering,2006,42(6):92-96.)由于其摆放灵活，不受遮挡等优点也被应用在双目标定中。平行线靶标(参见文献[7]Guan J,Deboeverie F,Slembrouck M,et al.Extrinsic Calibration of Camera Networks Using a Sphere[J].Sensors,2015,15(8):18985-19005.及文献[8]Wei Z,Liu X.Vanishing featureconstraints calibration method for binocular vision sensor[J].Optics Express,2015,23(15):18897-914.以及文献[9]Dawson D N,Birchfield S T.An EnergyMinimization Approach to Automatic Traffic Camera Calibration[J].IEEETransactions on Intelligent Transportation Systems,2013,14(14):1095-1108.)可以实现非公共视场标定，也被越来越多应用在大空间视觉传感器标定中，如交通监控视觉传感器标定等；球靶标可实现多视角下全局标定，但由于其轮廓投影容易受噪声干扰，不能满足高精度工业测量需求。以上传统标定方法，由于其必须采集靶标上特征信息，不适用于现场复杂光照环境下，即必须拆卸掉滤光片且无杂光、高光干扰的情况下才能标定。近年来，针对复杂光照环境下视觉测量系统标定问题进行研究的方法不多，多是利用与滤光片波长一致的激光器组合成空间新靶标，实现无需拆卸滤光片，在复杂光照环境的测量现场即可完成结构光或双目系统标定。文献[12](Liu Z,Yin Y,Liu S,et al.Extrinsicparameter calibration of stereo vision sensors using spot laser projector[J].Applied Optics,2016,55(25):7098.)提出利用平行且具有固定距离的两平面，配合点激光，经多次图像积分，完成带有滤光片的双目系统标定。缺点是，靶标体积较大，摆放不方便，需要激光光斑多次成像才能进行标定。文献[13](Liu Z,Yin Y,Wu Q,et al.On-sitecalibration method for outdoor binocular stereo vision sensors[J].Optics&Lasers in Engineering,2016,86:75-82.)提出采用双圆柱，配合线激光，经过至少两次摆放锯齿靶标即可完成带有滤光片相机之间外参标定。缺点是双圆柱尺寸有限，对于大空间标定，则不适用。因此，本发明提出一种利用可自由移动的锯齿靶标配合与相机滤光片波长一致的线激光器完成现场双目系统的快速标定。

发明内容

本发明要解决的技术问题为：现场复杂环境下的视觉测量多为镜头配有滤光片，用以提高采集有效数据的信噪比，保证测量的可靠性与精度。其中，以多结构光视觉传感器为代表的探测技术被广泛应用在工业现场的高精度测量，然而其带有滤光片的多相机全局的标定问题变得困难。尤其是在复杂光照、高震动、恶劣天气，如雾天、太阳反光、强光等因素影响，导致现场标定变得繁琐、耗时，严重影响标定效率。如何实现简单、快速的现场传感器标定是当前复杂环境下视觉测量首要解决的关键问题。

本发明采用的技术方案为：一种复杂环境下双目视觉传感器现场标定方法，该方法包括如下步骤：

步骤1：在摄像机不带滤光片的情况下，采用张正友的平面靶标标定方法求解出待标定相机的内部参数矩阵K₁、K₂及镜头径向畸变系数k₁、k₂；

步骤2：在摄像机镜头前装好滤光片，调整相机之间线激光器，使其与锯齿靶标相交，摄像机拍摄带有光条的锯齿靶标图像，提取光条在锯齿靶折弯处形成的折点，基于交比不变性求解出光条与靶标交点在靶标坐标系下三维坐标，进而得到交点在摄像机坐标系下的三维坐标；

步骤3：将靶标移动两次以上，依据计算得到的靶标所有位置光条与靶标交点的三维坐标以及靶标在空间中方向向量求解两相机之间旋转矩阵，以靶标特征点的已知距离求解出平移向量；

步骤4：考虑图像噪声扰动因素，以靶标特征点在相面反投影误差最小建立目标方程，通过非线性优化得到两相机之间外参数的精确解。

本发明还提供了一种复杂环境下双目视觉传感器现场标定装置，激光器安装在待标定双目视觉传感器中轴线上，具有45°发射扇角，且固定在球台上，方向灵活可调，保证激光平面覆盖两相机公共视场；任意摆放锯齿靶标，使其与激光平面相交，形成一系列“折形”光条，触发两相机同时采集图像；利用锯齿靶标平面加工精度高特性，提取相邻两段光条，并拟合直线方程，求解其交点作为特征点精确坐标；锯齿靶标采取空间平面网格延展特性设计，使得每个锯齿延长线可构造出一个虚拟平面标靶，方便根据交比不变特性求解每个特征点在靶标坐标系下的坐标；依据摄像机模型、靶标方向矢量与直线无穷远点关系，以及特征点之间距离，计算出每个特征点在相机坐标系下的三维坐标；以靶标空间方向矢量为约束，首先计算得出两相机之间旋转矩阵，再利用特征点之间距离信息，求解平移矢量，最后通过特征点反投影误差最小化得到相对方位参数精确解。

本发明的原理在于：双目立体视觉系统具体标定原理如附图2。设O_c1x_c1y_c1z_c1为摄像机1坐标系，O₁x₁y₁为相机1的图像坐标系，O_c2x_c2y_c2z_c2为摄像机2坐标系，O₂x₂y₂为相机2的图像坐标系。π为光平面，光平面方程可表示为ax+by+cz+d＝0，其中

O_tX_tY_tZ_t为靶标坐标系，A、B、C、D、E、F为靶标摆放一次时激光平面与锯齿靶标相交形成的特征点，a₁,b₁,c₁,d₁,e₁,f₁为靶标特征点在相机1成像点，a₂,b₂,c₂,d₂,e₂,f₂为靶标特征点在相机2相面上成像点。R₂₁，t₂₁分别表示相机2到相机1坐标系的旋转矩阵与平移向量。

本发明还提供一种复杂环境下双目视觉传感器现场标定装置，激光器安装在待标定双目视觉传感器中轴线上，具有45°发射扇角，且固定在球台上，方向灵活可调，保证激光平面覆盖两相机公共视场。任意摆放锯齿靶标，使其与激光平面相交，形成一系列“折形”光条，触发两相机同时采集图像；利用锯齿靶标平面加工精度高特性，提取相邻两段光条，并拟合直线方程，求解其交点作为特征点精确坐标；锯齿靶标采取空间平面网格延展特性设计，使得每个锯齿延长线可构造出一个虚拟平面标靶，方便根据交比不变特性求解每个特征点在靶标坐标系下的坐标；依据摄像机模型、靶标方向矢量与直线无穷远点关系，以及特征点之间距离，计算出每个特征点在相机坐标系下的三维坐标；以靶标空间方向矢量为约束，首先计算得出两相机之间旋转矩阵，再利用特征点之间距离信息，求解平移矢量，最后通过特征点反投影误差最小化得到相对方位参数精确解。

本发明与现有技术相比的优点在于：

(1)本发明提出一种借助精密加工的锯齿靶标结合激光器平面共同构造特征点的方式标定双目视觉传感器。同时选用激光器波长与相机滤光片波长一致，有效屏蔽掉户外复杂光照环境的影响，提高标定效率。常规标定方法受现场光照环境影响严重，如低亮度条件下特征点提取误差大，强反光条件下无法提取特征点等不足；

(2)本发明将激光器安装在待标定双目视觉传感器中轴线上，借助球台实现方向灵活可调，保证激光平面覆盖两相机公共视场。任意摆放锯齿靶标，使其与激光平面相交，形成一系列“折形”光条，触发两相机同时采集图像；

(3)本发明充分利用锯齿靶标平面加工精度高特性，提取相邻两段光条，并拟合直线方程，求解其交点作为特征点精确坐标；

(4)本发明中锯齿靶标采取空间平面网格延展特性设计，使得每个锯齿延长线可构造出一个虚拟平面标靶，方便根据交比不变特性求解每个特征点在靶标坐标系下的坐标。具有特征点构造灵活，不受制与靶标尺寸的优点；

(5)本发明依据摄像机模型、靶标方向矢量与直线无穷远点关系，以及特征点之间距离，计算出每个特征点在相机坐标系下的三维坐标；

(6)本发明以靶标空间方向矢量为约束，首先计算得出两相机之间旋转矩阵。再利用特征点之间距离信息，求解出平移矢量。最后通过特征点反投影误差最小化得到相对方位参数精确解。

附图说明

图1为基于锯齿靶标的双目视觉传感器标定流程图；

图2为双目标定原理示意图；

图3为激光平面与锯齿靶形成的特征点在相面上的成像；

图4为通过交比不变性计算出特征点在靶标坐标系下三维坐标；

图5为计算空间直线在图像坐标系下的消隐点。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

本方法首先利用文献[3](Zhang Z.A Flexible New Technique for CameraCalibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,22(11):1330-1334.)方法标定两相机内参数，然后分别提取出激光器与锯齿靶标形成折点的图像坐标；同时，根据图像特征点，利用交比不变性求解特征点在靶标坐标系下坐标值；根据空间直线方向与图像消隐点之间关系，计算出靶标特征点在各个相机坐标系下的三维坐标；进而求解出两相机相对外参数，包括旋转矩阵及平移矢量；最后，通过以靶标特征点反投影误差最小化为目标方程进行非线性优化得到两相机相对方位参数的精确解。

1.靶标特征点提取

激光条照射到锯齿靶标上时，光线会在弯折处弯曲，形成拐点，文中称之为靶标特征点。通常情况下光条在弯折处的最高点处会出现亮斑，直接采用常用Haar角点提取方法，误差较大。我们采用先求解折点两侧光条直线方程，再通过求解两直线段角点的方式获得靶标图像点的精确坐标。如附图3所示，L₁、L₂分别为拐点两侧激光线段，二者交点为p₁。其中光条中心点提取采用Steger[11](Steger C.An Unbiased Detector of CurvilinearStructures[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2002,20(2):113-125.)算法，将多组离散点通过直线拟合方法得到之前方程a_ix+b_iy+c_i＝0(i＝1,2)。此处采用RANSAC[14](Mach C AC.Random Sample Consensus:a paradigm formodel fitting with application to image analysis and automated cartography[C]1981.)直线拟合方法可以有效剔除杂光点的影响，得到激光条与锯齿靶标相交直线的准确解，依据锯齿靶标设计的共面，直角等几何约束信息，可以相对精确的得到锯齿靶标弯折处的角点，有效提高标定精度。

2.求解靶标特征点

在附图4中，O_cx_cy_cz_c为摄像机坐标系，O_tx_ty_tz_t为靶标坐标系。π为光平面。在条形靶标坐标系下光平面与靶标交点坐标依次为A＝[x_A，y_A,1]^T、B＝[x_B，y_B,1]^T、C＝[x_C，y_C,1]^T、D＝[x_D，y_D,1]^T、E＝[x_E，y_E,1]^T、F＝[x_F，y_F,1]^T。A、B、C、D、E、F在摄像机图像上的成像点分别为a＝[u_a,v_a,1]^T、b＝[u_b,v_b,1]^T、c＝[u_c,v_c,1]^T、d＝[u_d,v_d,1]^T、e＝[u_e,v_e,1]^T、f＝[u_f,v_f,1]^T。将锯齿靶标沿直角边沿延长，可以构造出多个共面网格点，形成一平面棋盘格靶标，如附图4所示，每次激光线与锯齿靶相交形成的特征点，完全分布在虚拟平面靶标中。可以看出，相交的特征点在靶标坐标系中的局部坐标，某些点横坐标已知，纵坐标未知，而对于剩余点则横坐标未知，纵坐标已知，因此可以根据交比不变特性将锯齿靶与激光线形成的靶标特征点依次求解出。

采用图像处理方法提取出a、b、c、d、e、f的在摄像机图像坐标系下图像坐标，根据交比不变性可知：

条形靶标的结构尺寸如附图4所示。光条与靶标的交点A、C、E点在条形靶标坐标系下的y方向分量y_A、y_B、y_C已知，x方向分量x_A、x_B、x_C未知；光条与靶标的交点B点在条形靶标坐标系下的x方向分量x_B已知，y方向分量y_B未知。采用图像处理方法提取出a、b、c、d、e、f的在摄像机图像坐标系下图像坐标。根据式1可得下式：

由于a、b、c、e已经通过图像处理方法提取出来，故根据式就可以求解B点在靶标坐标系下的y方向分量值y_B。因为B点在靶标坐标系下的x方向分量值x_B已知，故B点在条形靶标坐标系下的坐标[x_B，y_B]^T就求解出来了。

根据以上算法依次求解出D、F在靶标坐标系下坐标。同理采用以上方法，根据B、D、F也可以求解出A、C、E点在靶标坐标系下坐标。至此，就可以全部求解出A、B、C、D、E、F在平面靶标坐标系O_tx_ty_tz_t下坐标。

3.计算靶标特征点在相机坐标系下的三维坐标

令交比

其中θ为空间点的分量。如附图5所示，V_∞为光条在空间直线的无穷远点，共线点A、B、C的简比为SR(A,B,C)＝S，则SR(A,B,V_∞)＝1，那么共线点A、B、C和V_∞的交比也为S，即CR(A,B；C,V_∞)≈S。根据交比不变性，则有CR(a_i,b_i；c_i,v₁)＝S，至此可以求解直线消隐点v₁。

设光平面与靶标交点在摄像机坐标系下三维坐标依次为

根据摄像机模型，以其中A和B两点为例，则可得：

其中(K^-1a)_k表示向量K^-1a的第k个元素，k＝1,2。

在摄像机坐标系下,A和B两点的矢量方向d_AB＝[d_x,d_y,d_z]^T可以表示如下：

其中d_AB＝K^-1v₁/||K^-1v₁||，v₁是光条空间直线在摄像机图像中的消隐点。

联合式(3)和(4)可得：

式中D_AB表示AB两点之间距离。通过式5我们可以求解出z_A、z_B，再将z_A、z_B带入式3可以的得到x_A、x_B，y_A、y_B。至此就可以求解出A、B在摄像机坐标系下三维坐标。同理我们可以求解出其余C、D、E、F点在摄像机坐标系下三维坐标。

4.求解相对方位参数

4.1计算旋转矩阵R₂₁

令d_1i表示一维靶标确定的空间直线在i位置在相机1坐标系下的的单位向量，d_2i为一维靶标确定的空间直线在i位置在相机2坐标系下的单位向量，此时有：

K_k为第k个相机的内参矩阵，通过文献[3](Zhang Z.A Flexible New Techniquefor Camera Calibration[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2000,22(11):1330-1334.)标定得到。对于每个靶标位置，d_1i与d_2i通过旋转矩阵R₂₁联系起来，表示为：

d_1i＝R₂₁d_2i (7)

而通过上式不能得到R₂₁的唯一解，也就是说靶标摆放一次不能求解旋转矩阵R₂₁。将靶标摆放两次，两组等式可以得到，即表示为：

d_2i通过旋转矩阵R₂₁转换到d_1i，同样的，d_2i×d_2j转换到d_1i×d_1j通过旋转矩阵R₂₁。

(d_1i×d_1j)＝R₂₁(d_2i×d_2j) (8)

合并上式，可以得到：

[d_1i d_1j d_1i×d_1j]＝R₂₁[d_2i d_2j d_2i×d_2j] (9)

当两个一维靶标移动位置不是纯平移是，也就是说d_2i与d_2j不平行，[d_2i d_2j d_2i×d_2j]是满秩的。则R₂₁可以被唯一的求解得到：

R₂₁＝[d_1i d_1j d_1i×d_1j][d_2i d_2j d_2i×d_2j]^-1 (10)

4.2求解平移向量t₂₁

令

为靶标点F在i个位置时在相机1坐标系下的三维坐标。q_Fi与

之间关系表示为：

在靶标i位置时，q_Ai与

的距离可以表示为：

其中，Q_AFi＝q_Ai-R₂₁q_Fi，L_AFi是靶标在i位置时的靶标点A与F之间的距离。

可以选取不同点对，为降低累计误差，提高计算精度，我们选择AF，BE两对距离较远的特征点进行计算，通过相减可得到：

其中，Q_BEi＝q_Bi-R₂₁q_Ei，L_BEi是靶标在i个位置时靶标特征点B与E的空间距离。t₂₁可以通过至少三对点建立如上式的方程组，最后采用最小二乘法得到t₂₁的线性解。

4.3非线性优化

实际使用中，相机内参数已经标定，图像噪声，滤光片等都会影响标定精度。为进一步提高双目视觉系统的标定精度，通过非线性优化方法得到两相机相对方位参数在最大似然准则下的最优解。

令

为靶标在i位置时靶标上点m在传感器上1成像的齐次坐标。

其中，α₁与α₂是非零比例系数。K₁，K₂是相机内参数矩阵，

相机2到相机1转换矩阵。根据摄像机透视投影中共线性约束，以靶标特征点反投影误差最小化代数距离误差建立目标函数。根据上述章节中求解得到的初值，经非线性优化得到其最大似然解。图像特征点经相机镜头畸变校正后，得到靶标特征点反投影特征点代数误差最小。

其中，a＝(r₂₁，t₂₁)，r₂₁＝(r_x，r_y，r_z)^T，t₂₁＝(t_x，t_y，t_z)^T，

表示靶标特征点反投影与图像特征点提取并去除镜头畸变后特征点坐标的距离。M每次靶标形成特征点数量。L表示靶标摆放位置次数。最终采用Levenberg-Marquardt优化方法对上述目标函数进行非线性优化，得到两相机之间相对方位参数的最大似然估计值。

Claims (1)

1.一种复杂环境下双目视觉传感器现场标定方法，其特征在于：该方法利用复杂环境下双目视觉传感器现场标定装置，激光器安装在待标定双目视觉传感器中轴线上，具有45°发射扇角，且固定在球台上，方向灵活可调，保证激光平面覆盖两相机公共视场；任意摆放锯齿靶标，使其与激光平面相交，形成一系列“折形”光条，触发两相机同时采集图像；利用锯齿靶标平面加工精度高特性，提取相邻两段光条，并拟合直线方程，求解其交点作为靶标特征点精确坐标；锯齿靶标采取空间平面网格延展特性设计，使得每个锯齿延长线可构造出一个虚拟平面标靶，根据交比不变特性求解每个靶标特征点在靶标坐标系下坐标；依据摄像机模型、靶标方向矢量与直线无穷远点关系，以及特征点之间的距离，计算出每个特征点在摄像机坐标系下的三维坐标；以靶标空间方向矢量为约束，首先计算得出两相机之间旋转矩阵，再利用特征点之间距离信息，求解平移矢量，最后通过特征点反投影误差最小化得到相对方位参数精确解，该方法包括如下步骤：

步骤1：在摄像机不带滤光片的情况下，采用张正友的平面靶标标定方法求解出待标定相机的内部参数矩阵K₁、K₂及镜头径向畸变系数k₁、k₂；

步骤2：在摄像机镜头前装好滤光片，调整相机之间的线激光器，使其与锯齿靶标相交，摄像机拍摄带有光条的锯齿靶标图像，提取光条在锯齿靶折弯处形成的折点，基于交比不变性求解出光条与靶标交点在靶标坐标系下坐标，结合相机内部参数及靶标特征点之间距离约束，进而得到交点在摄像机坐标系下的三维坐标；

步骤3：将靶标移动两次以上，依据计算得到的靶标所有位置光条与靶标交点在摄像机机坐标系下的三维坐标、靶标特征点在空间中方向向量求解两相机之间的旋转矩阵，进而以靶标特征点的已知距离为约束求解出平移向量；

步骤4：考虑图像噪声扰动因素，以靶标特征点在相面反投影误差最小建立目标方程，通过非线性优化得到两相机之间的外参数的精确解。

Images