CN104897060A - 采用坐标跟踪控制板的大视场全局测量方法 - Google Patents

Abstract

本发明采用坐标跟踪控制板的大视场全局测量方法属于视觉测量领域，涉及一种采用坐标跟踪控制板的大视场全局测量方法。该测量方法采用了安装在转接支架上的坐标跟踪控制板，实现视觉测量设备与激光跟踪仪在具有非共同视场情况下的有效结合，将左右相机内外参数分离标定，建立测量现场的全局坐标系，从而完成基于大视场的全局测量。该方法可以实现对大视场范围内复杂工况下大型零部件快速高精度测量，是一种结合多种光学元器件的测量方式。测量方法视场范围大、效率高、方便测量被测零件遮挡部位，快速完成工业现场大视场的全局测量工作。

Description

采用坐标跟踪控制板的大视场全局测量方法

技术领域

本发明属于视觉测量领域，涉及一种采用坐标跟踪控制板的大视场全局测量方法，该方法可以实现对大视场范围内复杂工况下大型零部件快速高精度测量，是一种结合多种光学元器件的测量方式。

背景技术

随着国家综合实力的不断增长，大型飞机的应用越来越广泛，飞机制造过程中所使用的大型零部件对其制造成型以及装配检测提出很高的要求。现阶段针对航空领域大型零部件测量国内外主要有以下几种方法：机器视觉法、激光跟踪仪测量法、室内GPS测量法、激光雷达测量法以及三坐标测量法等。传统的机器视觉法是通过机器视觉产品获取被测物的图像信息，通过对图像信息的特征进行提取匹配完成测量任务；三坐标测量法是接触式测量，利用测量探头接触被测物从而获取相关的位置信息；激光跟踪仪测量法是利用激光干涉测距原理结合高精度的角度编码装置完成对被测物几何信息的精确测量；室内GPS测量法利用三角测量原理建立坐标系，通过布置信号发射器与一系列的接收装置获取被测物的位置信息；激光雷达测量法是利用激光光束作为雷达工作光束，通过对比发射和反射的光束进而获取被测物的测量信息。

在大型零部件的实际测量过程中，测量的视场范围大，测量的现场环境复杂，单纯利用激光跟踪仪或传统的视觉测量的方式往往会出现被测物相互遮挡等问题，难以实现对大型零部件的整体精确测量。

发明内容

本发明目的是针对航空领域大型飞机零部件生产装配检测中现场环境复杂，测量视场范围大，采用常用的测量方式有一定局限性，难以测量被测物遮挡部位的问题。发明了一种采用坐标跟踪控制板的大视场全局测量方法，将双目相机固定在带有坐标跟踪控制板的三角架上，利用传统视觉方法结合激光跟踪仪完成全局视觉标定，利用坐标变换关系建立全局坐标系，最终实现针对大型零部件的全局精确测量。

本发明采用的技术方案是一种采用坐标跟踪控制板的大视场全局测量方法，其特征是，该测量方法采用了安装在三脚架上的坐标跟踪控制板，实现视觉测量设备与激光跟踪仪在具有非共同视场情况下的有效结合，将左右相机内外参数分离标定，建立测量现场的全局坐标系，从而完成基于大视场的全局测量；方法的具体步骤如下：

第一步安装大视场全局测量系统

1)将控制板靶球1固定在圆形的转盘3上，再将步进电机2安装在转接支架8上，步进电机2的输出端连接转盘3，转盘3、步进电机2和控制板靶球1构成了坐标跟踪控制板；坐标跟踪控制板通过转接支架8安装在相机安装板12中部，相机安装板12安装在三脚架5上；再将左右相机分别安装在相机安装板12的两端；左、右相机4、9和激光跟踪仪6都与计算机7相连接，组成大视场全局测量系统；

第二步测量前准备步骤

1)相机內参数标定

利用张氏标定法结合棋盘格标定板11进行标定，先在棋盘格标定板11的右半部分上下对称安装四个标定板靶球10，并利用激光跟踪仪6结合标定公式(1)进行标定：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(1\right)$

其中[u v 1]^T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[X_w Y_w Z_w 1]^T是棋盘格标定板1上角点的空间三维坐标组成的齐次矩阵(世界坐标)，完成相机內参数标定。

2)确定激光跟踪仪坐标系和左右相机坐标系的变换关系

利用激光跟踪仪6测量标定板靶球10，得到标定板靶球10在激光跟踪仪坐标系O_lXYZ下的空间坐标，结合已知的内外参数矩阵，便可以知道四个靶球在当前相机的世界坐标系O_wXYZ下的坐标，进而得到激光跟踪仪坐标系O_lXYZ和世界坐标系O_wXYZ的位置变换关系，也即为一个旋转平移矩阵X₁＝[R₁ T₁]，由于相机坐标系O_LXYZ和世界坐标系O_wXYZ的关系已知(外参数矩阵)，这样就能得到相机坐标系O_LXYZ与激光跟踪仪坐标系O_lXYZ的位置变换关系，即为旋转平移矩阵X₂＝[R₂ T₂]。

3)确定坐标跟踪控制板坐标系和左右相机坐标系的变换关系

测量坐标跟踪控制板上的控制板靶球1，控制转盘3转动以建立其坐标系O_bXYZ，那么坐标跟踪控制板坐标系O_bXYZ与激光跟踪仪坐标系的位置变换关系也可以知道，即为旋转平移矩阵X₃＝[R₃ T₃]，再结合上面求出的相机坐标系与激光跟踪仪坐标系O_lXYZ的位置变换关系，就可以得到坐标跟踪控制板坐标系O_bXYZ与相机坐标系的位置变换关系，即为旋转平移矩阵X₄＝[R₄ T₄]。

4)建立全局坐标系

进行零件测量时，选择需要的位置同样放置好左、右相4、9，保持左、右相机4、9和坐标跟踪控制板的相对位置不变，在现场放置好激光跟踪仪6，先用激光跟踪仪6测量坐标跟踪控制板上的控制板靶球1的空间位置，同样控制转盘3转动重新建立跟踪控制板坐标系O′_bXYZ，这样就知道坐标系O′_bXYZ到激光跟踪仪坐标系O_lXYZ新的位置变换矩阵X₅＝[R₅ T₅]，由于左右相机相对于坐标跟踪控制板的相对位置无变化，那么坐标跟踪控制板坐标系O′_bXYZ与相机坐标系O_LXYZ和O_RXYZ的位置变换关系也是不变的，这样结合矩阵X₄和X₅就可以快速实现左右相机坐标系O_LXYZ和O_RXYZ到激光跟踪仪坐标系O_lXYZ位置变换，也即为旋转平移矩阵X₆＝[R₆ T₆]，这样就完成了整个视场的全局标定，进而建立了全局测量坐标系。

第三步实际测量过程

将被测物体放置在大视场全局测量系统中，移动三角架5到需要拍摄的位置，激光跟踪仪6向被测物表面投射光条，利用左、右相机4、9进行图像采集；采用Hough变换方法来提取被测物的关键信息，设被测物边缘的参数方程为

ρ＝u_icosθ+v_isinθ (2)

其中，ρ为坐标原点与直线的距离，θ为边缘与图像坐标的轴夹角；u_i、v_i分别是图像中特征点在图像像素坐标系下的坐标值，则可得出空间直线的参数为：

k＝-cotθ (3)

b＝ρ/sinθ (4)

进而可得到轮廓边缘的直线方程：

y＝x(-cotθ_l)+ρ_l/sinθ_l (5)

y＝x(-cotθ_r)+ρ_r/sinθ_r (6)

其中，(ρ_l,θ_l)和(ρ_r,θ_r)分别为左右边缘方程的对应参数，由于光条边缘直线近似平行，故光条宽度D可采用两平行直线间距离公式进行计算：

k＝-(cotθ_l+cotθ_r)/2 (7)

$D=\frac{|{\mathrm{\ρ}}_l/{\mathrm{sin\θ}}_l-{\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l|}{\sqrt{1+k^2}}---\left(8\right)$

其中，k为轮廓边缘的平均斜率，用于计算轮廓间距；最后采用几何中心法确定光条中心；最后，将左右相机拍摄图像的光条中心进行匹配就可以还原被测物的三维形貌，从而完成被测物体的测量。

本发明的效果和益处是：发明了一个固定在相机安装板上可以旋转的坐标跟踪控制板用于大视场全局的标定以及坐标系转换，在传统视觉标定的基础上，结合激光跟踪仪，利用带有激光跟踪仪靶球的棋盘格标定板，将相机的内外参数分离标定，传统标定方法用于在实验室内完成内参数标定以及确定相机和支架上坐标跟踪控制板的位置变换关系，然后在工业测量现场，只需要简单利用激光跟踪仪对坐标跟踪控制板的位置进行确定，进而利用坐标系变换就可以快速完成相机外参数标定工作实现对这个测量视场的全局标定和测量。改进了传统测量方法视场范围小、效率低、难以测量被测零件遮挡部位且必须依赖标定物的缺点，快速完成工业现场大视场的全局测量工作。

附图说明

图1是测量方法实施示意图，其中，1-控制板靶球，2-步进电机，3-转盘，4-左相机，5-三脚架，6-激光跟踪仪，7-计算机，8-转接支架，9-右相机，10-标定板靶球，11-棋盘格标定板，12-相机安装板。

图2是测量过程流程图

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。夲实施例采用坐标跟踪控制板进行全局测量，辅以传统视觉测量设备，并且结合激光跟踪仪完成基于大视场的全局测量。采用的转盘3为直径40mm厚度为3mm的圆形金属板，左、右相机4、9均为Viewworks 2900万像素全画幅工业相机，拍摄帧频为20Hz。

1.测量准备工作

如图1所示：首先，在标定之前根据拍摄的需要将左相机4以及右相机9安装在相机安装板12的两端，调整好拍摄角度后，将相机固定，这时左、右相机4、9相对于三角架5上的坐标跟踪控制板的相对位置关系就固定不变了。完成以上步骤后将激光跟踪仪6放置在合适的位置，使其可以测量到控制板靶球1以及棋盘格标定板11上的标定板靶球10。

2.左右相机內参数标定

利用张氏标定法结合棋盘格标定板11进行标定，先在棋盘格标定板11的右半部分上下对称安装四个标定板靶球10。将棋盘格标定板11放置在相机前方，对左右相机进行对焦，对焦完成后相机的內参数就固定不变了。这时利用传统的张氏标定方法将棋盘格标定板在相机的视场范围内摆放多个位置，并利用左右相机分别拍照，在得到13组照片后，根据公式(1)就可以对左相机4以及右相机9分别进行标定，得到其内参数以及外参数矩阵，通过外参数矩阵就可以实现世界坐标系O_wXYZ到左右相机坐标系O_LXYZ以及O_RXYZ的转换。这样就完成了对左右相机的内参数标定。

3.确定激光跟踪仪坐标系和左右相机坐标系的变换关系

将棋盘格标定板11固定，利用激光跟踪仪6测量棋盘格标定板11上的标定板靶球10，得到标定板靶球在激光跟踪仪坐标系O_lXYZ下的空间坐标，同时我们利用左右相机拍摄棋盘格标定板11，根据已知的内外参数矩阵，便可以知道四个标定板靶球10在当前相机的世界坐标系O_wXYZ下的坐标，根据同一点在不同坐标系的坐标，可以得到激光跟踪仪坐标系O_lXYZ和世界坐标系O_wXYZ的位置变换关系，也即为一个旋转平移矩阵X₁＝[R₁ T₁]，由于相机坐标系O_LXYZ和世界坐标系O_wXYZ的关系已知(外参数矩阵)，这样就能得到相机坐标系O_LXYZ与激光跟踪仪坐标系O_lXYZ的位置变换关系，即为旋转平移矩阵X₂＝[R₂ T₂]。

4.确定坐标跟踪控制板坐标系和左右相机坐标系的变换关系

求得相机与激光跟踪仪的位置变换关系后利用激光跟踪仪6测量坐标跟踪控制板上的控制板靶球1，然后控制步进电机2顺时针旋转90度从而带动控制板靶球1旋转90度，这时激光跟踪仪6会自动追踪靶球的位置，测量旋转后的靶球位置坐标，同理步进电机2再次旋转90度，激光跟踪仪再获得一个位置坐标，通过转盘3上的三个位置可以得到平面内两个正交向量和以这两个向量作为X坐标轴和Y坐标轴，并利用向量乘积得到Z轴的单方向向量利用任意三个点就可以建立坐标跟踪控制板的坐标系O_bXYZ，那么坐标跟踪控制板坐标系O_bXYZ与激光跟踪仪坐标系的位置变换关系也可以知道，即为旋转平移矩阵X₃＝[R₃ T₃]，再结合上面求出的相机坐标系与激光跟踪仪坐标系O_lXYZ的位置变换关系，就可以得到坐标跟踪控制板坐标系O_bXYZ与相机坐标系的位置变换关系，即为旋转平移矩阵X₄＝[R₄ T₄]。

5.建立全局坐标系

完成以上的坐标系变换求解包括左右相机内参数标定，接下来进行零件测量，选择需要的位置同样放置好左、右相机4、9，保持左相机4、右相机9和坐标跟踪控制板的相对位置不变，在现场放置好激光跟踪仪6，先用激光跟踪仪6测量坐标跟踪控制板上的控制板靶球1的空间位置，然后控制步进电机2顺时针旋转90度并带动控制板靶球1旋转，激光跟踪仪6会自动追踪控制板靶球1并测量旋转后的控制板靶球位置坐标，接下来同样再次控制步进电机2顺时针旋转90度，从而利用激光跟踪仪6测量第二次旋转后控制板靶球的空间位置，并根据这三个点确定新的坐标跟踪控制板坐标系O′_bXYZ，这样就知道坐标系O′_bXYZ到激光跟踪仪坐标系O_lXYZ新的位置变换矩阵X₅＝[R₅ T₅]，由于左右相机相对于坐标跟踪控制板的相对位置无变化，那么坐标跟踪控制板坐标系O′_bXYZ与相机坐标系O_LXYZ和O_RXYZ的位置变换关系也是不变的，这样结合矩阵X₄和X₅就可以快速实现左右相机坐标系O_LXYZ和O_RXYZ到激光跟踪仪坐标系O_lXYZ位置变换，也即为旋转平移矩阵X₆＝[R₆ T₆]，这样就完成了整个视场的全局标定，进而建立了全局测量坐标系。

6.完成被测物体全局测量

将被测物体放置在大视场全局测量系统中，测量时，可以将相机的世界坐标系O_wXYZ统一到激光跟踪仪坐标系O_lXYZ下，这样左右相机的外参数也就是相机坐标系到激光跟踪仪坐标系O_lXYZ位置变换，也即为旋转平移矩阵X₆＝[R₆ T₆]。利用左、右相机4、9进行图像采集，通过计算机7对采集图像进行处理，采用Hough变换方法来提取被测物的关键信息，根据公式(2)、(3)、(4)完成对图像特征轮廓的提取，其在左右相机中的对应图像直线方程分别为S₁ ^T和S₂ ^T，再利用几何中心法结合图像特征的点的像素坐标[u v]确定图像二维边缘信息，最后根据上面求解的左右相机内参数矩阵A₁和A₂以及建立的全局坐标系，对左右相机采集的图像特征信息进行匹配便可以实现对被测零件的三维重建，实现了对大型零部件的全局测量。

本发明在传统视觉测量的基础上，采用了一种固定在三角架上可以旋转的坐标跟踪控制板，结合激光跟踪仪，将相机内外参数分离标定，通过建立测量现场的全局坐标系，实现激光跟踪仪与传统视觉测量设备的有效结合，解决了复杂现场的遮挡问题，快速实现工业现场大视场的全局测量工作。

Claims (1)

1.一种采用坐标跟踪控制板的大视场全局测量方法，其特征是，该测量方法采用了安装在转接支架上的坐标跟踪控制板，实现视觉测量设备与激光跟踪仪在具有非共同视场情况下的有效结合，将左右相机内外参数分离标定，建立测量现场的全局坐标系，从而完成基于大视场的全局测量；方法的具体步骤如下：

第一步安装大视场全局测量系统

1)将控制板靶球(1)固定在圆形的转盘(3)上，再将步进电机(2)安装在转接支架(8)上，步进电机(2)的输出端连接转盘(3)，转盘(3)、步进电机(2)和控制板靶球(1)构成了坐标跟踪控制板；坐标跟踪控制板通过转接支架8安装在相机安装板(12)中部，相机安装板(12)安装在三脚架(5)上；再将左、右相机(4、9)分别安装在相机安装板(12)的两端；左、右相机(4、9)和激光跟踪仪(6)都与计算机(7)相连接，组成大视场全局测量系统；

第二步测量前准备步骤

1)相机內参数标定

利用张氏标定法结合棋盘格标定板(11)进行标定，先在棋盘格标定板(11)的右半部分上下对称安装四个标定板靶球(10)，并利用激光跟踪仪(6)结合标定公式(1)进行标定：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\\ 1\end{array}\right]---\left(1\right)$

其中[u v 1]^T是拍摄棋盘格标定板角点图像的二维像素坐标组成的齐次矩阵，[X_w Y_w Z_w 1]^T是棋盘格标定板1上角点的空间三维坐标组成的齐次矩阵(世界坐标)，完成相机內参数标定。

2)确定激光跟踪仪坐标系和左右相机坐标系的变换关系

利用激光跟踪仪(6)测量标定板靶球(10)，得到标定板靶球(10)在激光跟踪仪坐标系O_lXYZ下的空间坐标，结合已知的内外参数矩阵，便可以知道四个标定板靶球在当前相机的世界坐标系O_wXYZ下的坐标，进而得到激光跟踪仪坐标系O_lXYZ和世界坐标系O_wXYZ的位置变换关系，也即为一个旋转平移矩阵X₁＝[R₁ T₁]，由于相机坐标系O_LXYZ和世界坐标系O_wXYZ的关系已知(外参数矩阵)，这样就能得到相机坐标系O_LXYZ与激光跟踪仪坐标系O_lXYZ的位置变换关系，即为旋转平移矩阵X₂＝[R₂ T₂]。

3)确定坐标跟踪控制板坐标系和左右相机坐标系的变换关系

测量坐标跟踪控制板上的控制板靶球(1)，控制转盘(3)转动以建立其坐标系O_bXYZ，那么坐标跟踪控制板坐标系O_bXYZ与激光跟踪仪坐标系的位置变换关系也可以知道，即为旋转平移矩阵X₃＝[R₃ T₃]，再结合上面求出的相机坐标系与激光跟踪仪坐标系O_lXYZ的位置变换关系，就可以得到坐标跟踪控制板坐标系O_bXYZ与相机坐标系的位置变换关系，即为旋转平移矩阵X₄＝[R₄ T₄]。

4)建立全局坐标系

进行零件测量时，选择需要的位置同样放置好左、右相机(4、9)，保持左右相机和坐标跟踪控制板的相对位置不变，在现场放置好激光跟踪仪(6)，先用激光跟踪仪测量坐标跟踪控制板上的控制板靶球(1)的空间位置，同样控制转盘转动重新建立跟踪控制板坐标系O′_bXYZ，这样就知道坐标系O′_bXYZ到激光跟踪仪坐标系O_lXYZ新的位置变换矩阵X₅＝[R₅ T₅]，由于左右相机相对于坐标跟踪控制板的相对位置无变化，那么坐标跟踪控制板坐标系O′_bXYZ与相机坐标系O_LXYZ和O_RXYZ的位置变换关系也是不变的，这样结合矩阵X₄和X₅就可以快速实现左右相机坐标系O_LXYZ和O_RXYZ到激光跟踪仪坐标系O_lXYZ位置变换，也即为旋转平移矩阵X₆＝[R₆ T₆]，这样就完成了整个视场的全局标定，进而建立了全局测量坐标系。

第三步实际测量过程

将被测物体放置在大视场全局测量系统中，移动三脚架(5)到需要拍摄的位置，激光跟踪仪(6)向被测物表面投射光条，利用左、右相机(4、9)进行图像采集；通过计算机(7)对采集图像进行处理。采用Hough变换方法来提取被测物的关键信息，设被测物边缘的参数方程为

ρ＝u_icosθ+v_isinθ   (2)

其中，ρ为坐标原点与直线的距离，θ为边缘与图像坐标的轴夹角；u_i、v_i分别是图像中特征点在图像像素坐标系下的坐标值，则可得出空间直线的参数为：

k＝-cotθ   (3)

b＝ρ/sinθ   (4)

进而可得到轮廓边缘的直线方程：

y＝x(-cotθ_l)+ρ_l/sinθ_l   (5)

y＝x(-cotθ_r)+ρ_r/sinθ_r   (6)

其中，(ρ_l,θ_l)和(ρ_r,θ_r)分别为左右边缘方程的对应参数，由于光条边缘直线近似平行，故光条宽度D可采用两平行直线间距离公式进行计算：

k＝-(cotθ_l+cotθ_r)/2   (7)

$D=\frac{|{\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l-{\mathrm{\ρ}}_l/\sin {\mathrm{\θ}}_l|}{\sqrt{1+k^2}}---\left(8\right)$

其中，k为轮廓边缘的平均斜率，用于计算轮廓间距；最后采用几何中心法确定光条中心；最后，将左右相机拍摄图像的光条中心进行匹配就可以还原被测物的三维形貌，从而完成被测物体的测量。