CN104197960B - 一种激光跟踪仪视觉导引摄像机的全局标定方法 - Google Patents

Abstract

本发明涉及一种激光跟踪仪视觉导引摄像机的全局标定方法，建立摄像机坐标系、图像坐标系、激光跟踪仪坐标系以及靶标坐标系；将激光光束投射到平面靶标上，并在视觉导引摄像机成像，多次移动靶标获取激光光束在摄像机坐标系下的直线方程；获取激光跟踪仪运动参数，即获得激光光束在激光跟踪仪坐标系下的直线方程；获取多条激光光束方程后，得到摄像机坐标系和激光跟踪仪坐标之间的转换关系。本发明操作简单，利用一平面靶标即可完成标定，不但提高了全局标定的速度，而且不存在由球形反射器反复测量标定物带来的误差，标定结果更加准确。

Description

一种激光跟踪仪视觉导引摄像机的全局标定方法

技术领域

本发明涉及激光跟踪仪测量技术，特别涉及一种激光跟踪仪视觉导引系统的全局标定方法。

背景技术

空间点位置的精密测量在现代工业制造领域广泛应用于位姿测量，质量检测等方面，特别是在大尺寸工件制造和装配领域，如重型机械制造、航空航天制造业、汽车船舶制造业等。激光跟踪仪测量系统作为工业测量系统中的一种便携式三维测量系统，以其大范围(测量直径可达80m)，高精度(μm级)，高数据采集率(3000point/s)，安装快捷，操作简便等特点，广泛应用于大尺寸工件的制造装配领域中。

激光跟踪仪是一个球坐标测量设备，通过将激光光束投射到反射靶标上(通常为一个内置三面正交镜的球形反射器)，由内部干涉仪测量球形反射器到参考点的距离，旋转码盘测量水平方向和竖直方向的旋转角度，从而得到球形反射器的精确空间坐标。但是，由于激光跟踪仪的光学测量特性，其在大尺寸工件的测量中存在着测量目标单一和空间遮挡的问题。

测量目标单一，即单台激光跟踪仪在测量过程中只能跟踪测量一个目标靶标，且当激光光束因故中断，而目标靶标移动出激光投射范围后，激光跟踪仪不能找到目标反射器的位置。为了克服这一缺点，视觉导引系统被应用在激光跟踪仪测量系统中。激光跟踪仪视觉导引系统的主要组成部分为固定在激光跟踪仪旋转测头上的摄像机。在激光跟踪仪测量过程中，通过视觉导引摄像机，快速寻找位于摄像机视场内的一个或多个目标靶标，指引激光跟踪仪将光束投射到目标靶标，实现多个空间位置的快速定位和测量。

空间遮挡是大尺寸工件测量过程中不可避免的问题，特别是对于那些形状复杂的目标工件。迄今为止，有两种典型的方法用于解决这个问题：一种利用单台测量设备通过移动多个位置，以获取大尺度工件上的所有特征点。这种方法虽然能测量所有的目标点，但是在目标点信息融合的过程中，由于测量设备移动而影响坐标统一，使得测量精度降低。同时，在一些特殊的不允许设备移动的场合，这种测量方法具有一定的局限性。因此，出现了利用多站式测量系统对目标进行测量的方式。多站式测量系统利用多台测量设备，对各自测量范围内的目标点进行测量，通过坐标转换将测量数据统一到同一坐标系下。这种测量模式不需要测量设备进行移动，通过预先标定好的各个坐标系间转换关系实现信息的融合，减少了坐标统一过程中的精度损失，可以很好地对大尺寸工件进行测量。

目前，引入视觉导引摄像机的多站式激光跟踪仪测量系统已得到广泛的应用。该系统在克服激光跟踪仪本身的测量缺点的基础上，充分利用激光跟踪仪在测量方面的优势，结合多站式测量系统的数据融合技术，对大型工件进行快速精确的测量。激光跟踪仪测量系统最主要的任务是坐标之间的转换，包括激光跟踪仪视觉导引摄像机坐标系到激光跟踪仪坐标系之间的转换关系，以及各激光跟踪仪站点坐标系之间的转换关系。由于激光跟踪仪多测站之间的转换关系通常以单台激光跟踪仪的转换关系为基础，因此，单台激光跟踪仪视觉导引测量系统的全局校准的精度和效率显得尤为重要。

视觉引导系统常用的标定方法利用便于激光跟踪仪和视觉导引摄像机同时测量的靶标(通常为圆孔靶标，以方便放置球形反射器)，激光跟踪仪测得靶标特征点在激光跟踪仪坐标系下的坐标，全局导引摄像机根据靶标特征点之间的距离约束得到靶标特征点在摄像机坐标系下的坐标，由对应点或者对应坐标系下同名向量之间的关系，求得两坐标系之间的转换矩阵，完成视觉导引摄像机的标定(具体内容见魏振忠“激光跟踪仪视觉导引测量系统的全局校准方法，(仪器仪表学报，30(11),2009,2262-2267))”一文。

但是，传统的激光跟踪仪视觉导引系统的全局标定方法需要的靶标加工较复杂且精度较低，标定过程中需要测量大量靶标特征点的坐标，工作量较大，测量靶标特征点的过程中要求靶标固定不动，而球形反射器测量过程中需要与靶标进行接触，难免会引入一定误差。

发明内容：

本发明技术解决问题：克服现有技术的不足，提供一种激光跟踪仪视觉导引摄像机的全局标定方法，操作简单，摆脱了激光跟踪仪测量过程必需的球形反射器球的约束，利用一平面靶标即可完成标定，不但提高了全局标定的速度，而且不存在由球形反射器反复测量标定物带来的误差，标定结果更加准确。

本发明技术解决方案：一种激光跟踪仪视觉导引摄像机的全局标定方法，该方法包括：建立摄像机坐标系、图像坐标系、激光跟踪仪坐标系以及靶标坐标系；将激光光束投射到平面靶标上，并在视觉导引摄像机成像，多次移动靶标获取激光光束在摄像机坐标系下的直线方程；获取激光跟踪仪运动参数，即获得激光光束在激光跟踪仪坐标系下的直线方程；获取多条激光光束方程后，得到摄像机坐标系和激光跟踪仪坐标之间的转换关系。

具体实现步骤如下：

步骤1：建立视觉导引摄像机的摄像机坐标系、图像坐标系，靶标坐标系以及激光跟踪仪坐标系；

步骤2：获取用于计算激光光束直线的靶标图像，提取靶标图像特征点的坐标，根据所提取的特征点的图像坐标以及对应特征点在靶标坐标系下的坐标，得到图像坐标系xy平面也称为图像平面，到靶标坐标系xy平面称为靶标平面之间的单应关系以及靶标坐标系到摄像机坐标系的转换关系；

步骤3：提取光束直线在靶标上投射光点的图像坐标，由步骤2所述图像坐标系xy平面到靶标坐标系xy平面之间的单应关系，求得投射光点在靶标坐标系下的坐标，再由靶标坐标系到摄像机坐标系的转换关系转换到摄像机坐标系下；

步骤4：多次移动平面靶标，由步骤3中所述方法，得到激光跟踪仪激光光束上多个光点，即激光光束与平面靶标的交点，在摄像机坐标系下的坐标，拟合得到激光光束在摄像机坐标系下的直线方程，同时，此激光光束在激光跟踪仪坐标系下的直线方程由激光跟踪仪参数可得，且激光光束过激光跟踪仪坐标系原点；

步骤5：通过步骤4，获取多条激光跟踪仪激光光束在视觉导引摄像机以及激光跟踪仪坐标系下的方程，根据获得的方程即可得到摄像机坐标系到激光跟踪仪坐标系的转换关系。

所述步骤4中激光光束为任意光束，但，一些特殊限制可以减少标定过程的计算量且不影响标定结果，如将激光光束固定在一俯仰平面内；所述激光光束的数量任意，多条光束使标定结果更加精确；每变换一次激光光束方向，需重复步骤2操作。

步骤2中对获取的激光光束直线的靶标图像包括：由视觉导引摄像机拍摄的平面靶标图像，同时对获取的平面靶标图像进行畸变校正；由摄像机所获取的平面靶标图像包含激光跟踪仪激光光束投射到靶标平面形成的光点图像，以及靶标平面内至少四个非共线特征点。

所述步骤4中多次移动靶标用于获取激光光束与平面靶标交点在摄像机坐标系的坐标，靶标位置数量增多使得激光光束直线在摄像机坐标系下的方程更加精确。

本发明与现有技术相比的优点在于：本发明提供的激光跟踪仪视觉导引摄像机的全局标定方法，摆脱了传统标定方法中对球形反射器的依赖，利用一平面靶标即可完成标定，通过拍摄靶标平面上四个或以上非共线特征点以及光点图像的坐标，无需任何辅助设备即可得到特征点及光点在摄像机坐标系下的坐标，进而由所得到多条光束直线在两个坐标系下的表达完成对视觉导引系统的标定，提高了标定的效率，且操作简单，同时，不会引入由于球形反射器多次重复测量特征点而带来的误差，标定结果更加精确。

附图说明

图1为本发明实现流程图；

图2视觉导引摄像机标定原理示意图；

图3为激光跟踪仪坐标系示意图；

图4为本发明中全局标定靶标图像；

图5本为发明中激光跟踪仪视觉引导系统标定；

图6为本发明中视觉引导摄像机拍摄的靶标标定图像；

图7为本发明中由光斑点拟合空间直线；

图8为本发明中圆孔靶标示意图。

具体实施方式

如图1所示，本发明方法实现步骤如下：

1.建立摄像机坐标系、图像坐标系、靶标坐标系以及激光跟踪仪坐标系。

如图2所示，建立摄像机坐标系O_C-X_CY_CZ_C，其中O为坐标原点，XYZ为三个坐标轴方向，下同；激光跟踪仪坐标系O_T-X_TY_TZ_T，靶标坐标系O_W-X_WY_WZ_W，激光跟踪仪旋转后的坐标系为O_TR-X_TRY_TRZ_TR，为坐标系O_W-X_WY_WZ_W到坐标系O_C-X_CY_CZ_C的旋转矩阵，为坐标系O_W-X_WY_WZ_W到坐标系O_C-X_CY_CZ_C的平移矩阵，为摄像机坐标系O_C-X_CY_CZ_C到坐标系O_TR-X_TRY_TRZ_TR的旋转矩阵，为摄像机坐标系O_C-X_CY_CZ_C到坐标系O_TR-X_TRY_TRZ_TR的平移矩阵。(X_W,Y_W,Z_W,1)^T为点在靶标坐标系O_W-X_WY_WZ_W下的坐标，(X_C,Y_C,Z_C,1)^T为点在摄像机坐标系O_C-X_CY_CZ_C下的坐标。摄像机坐标系O_C-X_CY_CZ_C到激光跟踪仪旋转坐标系O_TR-X_TRY_TRZ_TR之间的转换关系保持不变，亦即全局标定所需求的量。

激光跟踪仪是一个球坐标测量系统，其可建立多种坐标系，如右手笛卡尔坐标系，左手笛卡尔坐标系，极坐标系等。激光跟踪仪默认的坐标系为右手笛卡尔坐标系(如图2)，即X_T轴方向为竖直方向角的转轴方向并指向右侧；Z_T轴方向为水平方位角的转轴方向并指向跟踪仪上方(在本发明中作为激光跟踪仪的坐标系)。

如图3所示，设激光跟踪仪的水平方位角为α，竖直方位角为β，极半径为L，则空间点P在激光跟踪仪坐标系O_T-X_TY_TZ_T的坐标(X_T,Y_T,Z_T)^T可由下式计算得到：

由于激光跟踪仪的光束经过跟踪头上的旋转镜反射后射出，且激光跟踪仪是一个球坐标系统，其坐标原点建立在跟踪头中心，因此激光跟踪仪的光束必定经过激光跟踪仪坐标系的原点。

2.靶标图像信息的提取。由视觉导引摄像机拍摄得到的靶标图像，根据需要进行畸变校正。靶标图像信息包括靶标特征点图像坐标的提取和光斑图像中心坐标的提取。

控制激光跟踪仪光束投射到靶标平面上，并保证在视觉导引摄像机像平面内成像。平面靶标采用棋盘格靶标，如图4所示，棋盘格内单个正方形为17×17mm，精度为0.01mm。对棋盘格角点提取的具体方法见陈大志“A New Sub-Pixel Detector for X-Corner in Camera Calibration Targets[C],WSCG’2005short Papers Proceedings,13^thInternational Conference in Central Europe on Computer Graphic,Visualizationand Computer Vision,2005,Plzen,Czech Republic”一文。通过Hessian矩阵形状算子确定角点像素级坐标，利用二阶泰勒展开对邻域内灰度曲面的鞍点进行计算后得到角点的亚像素位置。

光斑图像中心坐标的提取方法见魏振忠“一种光斑图像中心的亚像素提取方法,光电工程,36(4),pp.7–12(2009).”一文，由Hessian矩阵计算图像灰度分布函数在像素点(X,Y)的变化方向n和变化量Δ，则光斑图像像素级中心满足一下条件：

其中，Hess为Hessian矩阵的标识符，Det为求矩阵行列式运算的标识符，Tr为求迹运算的标识符，λ₁，λ₂为矩阵Hess(I(X,Y))的特征值，I(X,Y)为图像灰度的分布函数。在像素中心的邻域内由灰度分布函数的二阶泰勒展开式确定光斑图像的亚像素中心坐标(x',y')为：

其中，(x,y)为光斑图像的像素级中心，f_x、f_y为图像灰度分布函数在(x,y)处的一阶偏导数，f_xx、f_xy、f_yy、f_yx为图像灰度分布函数在(x,y)处的二阶偏导数。

根据所提取的特征点的图像坐标以及对应特征点在靶标坐标系下的坐标，得到图像坐标系xy平面(称为图像平面)到靶标坐标系xy平面(称为靶标平面)之间的单应关系以及靶标坐标系到摄像机坐标系的转换关系。其中，靶标平面到图像平面之间的射影关系为：

其中，(X_W,Y_W,1)^T为靶标平面上点的齐次坐标，(u,v,1)^T为图像平面上对应点的齐次坐标，H为靶标平面到图像平面的单应矩阵。

由摄像机透视投影模型有：

其中，s为比例因子，f_x为图像坐标系u轴上的归一化焦距，f_y为图像坐标系v轴上的归一化焦距，(u₀,v₀)^T为摄像机的主点像素坐标。

由公式(4)和公式(5)，求得靶标平面到图像平面的单应矩阵H以及坐标系O_W-X_WY_WZ_W到坐标系O_C-X_CY_CZ_C的旋转矩阵和平移矩阵方法具体内容见张正友“Aflexible new technique for camera calibration,IEEE Trans Pattern Anal MachIntell,22(11),pp.1330–1334(2000)”一文。

3.提取光束直线在靶标上投射光点的图像坐标。视觉导引摄像机获取到平面靶标和激光光束光斑中心的图像，由前述方法提取光斑中心的亚像素图像坐标P_i ⁿ，由步骤3中得到的单应矩阵以及坐标系之间的转换关系，得到光斑中心在坐标系O_C-X_CY_CZ_C下的坐标P_Ci：

其中为光斑中心在靶标平面的齐次表示(X_Wi,Y_Wi,1)^T，P_Wi为光斑中心在靶标坐标系O_W-X_WY_WZ_W的齐次坐标(X_Wi,Y_Wi,Z_Wi,1)^T，由于靶标平面为靶标坐标系O_W-X_WY_WZ_W的XY平面，故Z_Wi＝0。

4.视觉导引摄像机坐标系O_C-X_CY_CZ_C到激光跟踪仪旋转坐标系O_TR-X_TRY_TRZ_TR之间的转换关系保持不变。激光跟踪仪光束直线l_n经过空间点P_n，且与靶标平面的交点为P_i ⁿ。设此时激光跟踪仪的水平方位角为α，竖直方位角为β，则由公式(1)得，l_i在坐标系O_T-X_TY_TZ_T的投射方向向量为：

设空间直线l₁在坐标系O_C-X_CY_CZ_C下的空间直线方程l_c1，由图2，靶标位于坐标系O_C-X_CY_CZ_C的Z_C轴的正方向，激光跟踪仪光束在坐标系O_C-X_CY_CZ_C的投射方向向量有以下关系：

其中，为l_c1的方向向量，dot为向量点乘运算符。

为减少计算量，控制激光跟踪仪以水平方位角α不变，竖直方位角转动角度θ的运动方式将光束投射到t(t>1)个不同位置，得到t组l_i在坐标系O_T-X_TY_TZ_T的方向向量和在坐标系O_C-X_CY_CZ_C的直线方程，即

同时，此激光光束在激光跟踪仪坐标系下的直线方程由激光跟踪仪参数可得，且激光光束过激光跟踪仪坐标系原点；

5.视觉导引摄像机摄像机坐标系到激光跟踪仪坐标系之间旋转关系和平移关系的求解

设与坐标系O_C-X_CY_CZ_C相对关系为的坐标系为O_TR-X_TRY_TRZ_TR，则旋转矩阵之间有如下关系：

其中

故与l_cn的方向向量之间存在如下关系：

其中，为坐标系O_C-X_CY_CZ_C到坐标系O_TR-X_TRY_TRZ_TR的旋转矩阵，为坐标系O_TR-X_TRY_TRZ_TR到坐标系O_T-X_TY_TZ_T的旋转矩阵，为直线l_ci的方向向量。由公式(10)和t组由M.D.Shuster和S.D.Oh的文章“Three-Axis Attitude Determination fromVector observations,J.Guidance And Control,4(1),pp.70–77”所述方法以及旋转矩阵和四元数之间的关系(K.P.Horn,“Closed-form solution of absolute orientationusing unit quaternions,Optical Society of America A,vol.4,pp.629-642(1987)”),得到摄像机坐标系到激光跟踪仪坐标系之间的旋转矩阵

对于旋转矩阵的求解，设激光光束直线与靶标平面交点的在视觉导引摄像机坐标系下的坐标为(X_Ci,Y_Ci,Z_Ci,1)^T。由前述激光光束直线在摄像机坐标系下的方程l_C由点和点得到：

其中，[n_x n_y n_z]^T为激光光束直线方程l_C的方向向量。对于光束直线上的点，采用LM非线性优化的方法，由以下方程进行约束以获得直线方程的最优解：

其中，d(P_Ci,l_C)为点P_Ci到直线l_C的距离，进而得到优化过的旋转矩阵。

由前述激光跟踪仪坐标系的特点，激光跟踪仪光束直线l_n为一条过激光跟踪仪坐标系O_TR-X_TRY_TRZ_TR原点的直线。直线l_cn为光束直线l_n在坐标系O_C-X_CY_CZ_C下的表示。任意两条直线的交点P_C0即为激光跟踪仪坐标系原点在摄像机坐标系下的坐标。直线l_cn表示为空间直线的一般形式有：

其中，为由直线标准式确定的直线参数，由于空间直线可以表示为任意两个过直线l_cn空间平面的交线，故其表示形式不唯一。

由公式(13)，利用最小二乘法即求出P_C0。坐标系O_C-X_CY_CZ_C与坐标系O_TR-X_TRY_TRZ_TR之间存在以下关系：

故对于坐标系O_TR-X_TRY_TRZ_TR的原点而言，

验证实验

为了验证该方法的可行性及精度，进行如下相关实验：

如图5所示，实验所用激光跟踪仪为Leica AT901-B，最大测量距离(直径)为80m，测量精度为全量程±15μm，由于实验室距离有限，选用视觉引导摄像机为ImageSourceDFK23G274彩色摄像机，分辨率为1600×1200像素，并配有17mm镜头。摄像机聚焦在5m左右的位置进行标定试验。

实验中，首先通过张正友的方法对摄像机内参进行标定，得到的摄像机的内部参数为f_x＝3994.83，f_y＝3996.08，u₀＝793.99，v₀＝592.79，k₁＝-0.1863，k₂＝0.1992。激光束直线的数量为4，分别为控制激光束投射到点[0 1500 -30]、[0 1500 -60]、[0 1500 0]、[01500 50]，每条激光束直线用15个光斑特征点来拟合，拟合直线如图7所示，将一方格平面靶标置于摄像机视场内，并令激光投射到平面靶标上，由视觉导引摄像机拍摄的靶标图像如图6所示。

为了验证精度，本发明选用一精确加工的圆孔靶标如图8所示，靶标的精度为0.05mm，用视觉导引摄像机在10m范围内拍摄靶标图像，并根据距离约束计算得到靶标圆孔特征点在摄像机坐标系下的坐标，并将其转换到激光跟踪仪坐标系下；用激光跟踪仪球形反射器测量靶标圆孔特征点在激光跟踪仪坐标系下的坐标，将两者之间的坐标进行对比，得到的结果如下表所示：

其中，(X,Y,Z)^T为计算得到的激光跟踪仪坐标系下点的坐标，(X_T,Y_T,Z_T)^T为激光跟踪仪测量点的坐标，Δd为两点之间的距离差值。由上表可以看出，在10m范围内，标定点的RMS误差为1.25mm，由于激光跟踪仪的球形反射器一般为一个三面垂直的1.5in的全棱镜球，当误差小于12.5mm时即可实现快速定位，因此标定结果可以满足激光跟踪仪导引的需求。

本发明未详细阐述部分属于本领域技术人员公知技术。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (1)

1.一种激光跟踪仪视觉导引摄像机的全局标定方法，其特征在于：利用一平面靶标即可完成标定，通过拍摄靶标平面上四个或以上非共线特征点以及光点图像的坐标，无需任何辅助设备即得到特征点及光点在摄像机坐标系下的坐标，进而由所得到多条光束直线在两个坐标系下的表达完成对视觉导引系统的标定，实现步骤如下：

步骤1：建立视觉导引摄像机的摄像机坐标系、图像坐标系，靶标坐标系以及激光跟踪仪坐标系；

步骤2：获取用于计算激光光束直线的靶标图像，提取靶标图像特征点的坐标，根据所提取的特征点的图像坐标以及对应特征点在靶标坐标系下的坐标，得到图像坐标系xy平面也称为图像平面，到靶标坐标系xy平面称为靶标平面之间的单应关系以及靶标坐标系到摄像机坐标系的转换关系；

步骤3：提取光束直线在靶标上投射光点的图像坐标，由步骤2所述图像坐标系xy平面到靶标坐标系xy平面之间的单应关系，求得投射光点在靶标坐标系下的坐标，再由靶标坐标系到摄像机坐标系的转换关系转换到摄像机坐标系下；

步骤4：多次移动平面靶标，由步骤3中所述方法，得到激光跟踪仪激光光束上多个光点，即激光光束与平面靶标的交点，在摄像机坐标系下的坐标，拟合得到激光光束在摄像机坐标系下的直线方程，同时，此激光光束在激光跟踪仪坐标系下的直线方程由激光跟踪仪参数可得，且激光光束过激光跟踪仪坐标系原点；

步骤5：通过步骤4，获取多条激光跟踪仪激光光束在视觉导引摄像机以及激光跟踪仪坐标系下的方程，根据获得的方程即可得到摄像机坐标系到激光跟踪仪坐标系的转换关系；

其中，为摄像机坐标系到激光跟踪仪旋转后的旋转矩阵，为激光跟踪仪旋转后的坐标系到激光跟踪仪坐标系的旋转矩阵，为直线l_ci的方向向量；

所述步骤4中激光光束为任意光束，但一些特殊限制可以减少标定过程的计算量且不影响标定结果，如将激光光束固定在一俯仰平面内；所述激光光束的数量任意，多条光束使标定结果更加精确；每变换一次激光光束方向，需重复步骤2操作；

步骤2中对获取的激光光束直线的靶标图像包括：由视觉导引摄像机拍摄的平面靶标图像，同时对获取的平面靶标图像进行畸变校正；由摄像机所获取的平面靶标图像包含激光跟踪仪激光光束投射到靶标平面形成的光点图像，以及靶标平面内至少四个非共线特征点；

所述步骤4中多次移动靶标用于获取激光光束与平面靶标交点在摄像机坐标系的坐标，靶标位置数量增多使得激光光束直线在摄像机坐标系下的方程更加精确。