CN105698699B

CN105698699B - 一种基于时间转轴约束的双目视觉测量方法

Info

Publication number: CN105698699B
Application number: CN201610056600.9A
Authority: CN
Inventors: 刘巍; 张洋; 杨帆; 高鹏; 兰志广; 李晓东; 贾振元; 高航
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2016-01-26
Filing date: 2016-01-26
Publication date: 2017-12-19
Anticipated expiration: 2036-01-26
Also published as: CN105698699A

Abstract

本发明属于计算机视觉测量技术领域，涉及一种基于时间转轴约束的双目视觉测量方法。该方法结合电控转台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，将图像误差转换为运动与时间的控制误差，实现激光特征信息的高精度重建。测量方法将基于图像的双目测量误差转换为基于时间转轴的控制误差，可使空间测量误差降低一个数量级，提高双目视觉的三维测量精度，并融合序列图像中激光光条重建信息完成被测物表面几何量的测量，实现被测物表面激光光条的高精度重建。

Description

一种基于时间转轴约束的双目视觉测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于时间转轴约束的双目视觉测量方法。

背景技术

大型零构件如大型飞机尾翼等形面尺寸将直接影响重要装备零构件间的高质量连接与装配，形面尺寸高精度的测量是保证装备的设计要求和功能要求的必要条件，因此高精度的三维测量在大型零件装配制造中至关重要。双目视觉测量法是采用双目相机采集被测物特征或用用于反映被测物形面的特征信息，通过这些特征的提取与重建，实现被测物形面的重建。该方法具有非接触性、大信息、测量速度快等优势，已广泛运用在大型零件测量中，但是双目视觉是基于图像信息进行重建，由于相机芯片的像元尺寸一定，当对大尺寸零件测量时，以单视场为0.9m×1.6m，物距为1m，相机分辨率为3072×5096的情况为例，图像像素物理尺寸为0.3-0.4mm,其理论偏差已大于航天航空零件的测量精度要求0.1-0.2mm。因此，如何提高双目测量的测量精度是目前亟待解决的工程问题。

Hirofumi Nakai等人发表的会议论文《3D shape measurement using fixedcamera and handheld laser scanner》(Nakai H,Iwai D,Sato K.3D shape measurementusing fixed camera and handheld laser scanner[C]//SICE Annual Conference,2008.IEEE,2008:1536-1539.)等人设计了一套由一台相机和一台激光扫描测距仪组成的视觉系统，采用手持式线激光器进行扫描实现三维形面的测量，测量过程中需要实时定位激光器位置，测量精度难以得到保证。曾峦，翟优等发明的“一种可变结构的双目视觉测量系统及参数确定方法”,专利号CN104359461,通过改变双目相机的光轴指向、增加辅助光路分别增大相机测量范围、增加内嵌标志，从而将外部参数的标定融入每次测量中,实现了变结构双目视觉测量,增加了立体相机的灵活性和测量范围，但是仍采用双目光轴交会的方式确定被测点，无法大幅度地提高测量的精度。

发明内容

本发明要解决的技术难题是针对难以大幅度提高双目视觉现场测量精度的问题，发明了基于时间转轴约束的双目视觉测量方法。该方法基于双目视觉测量原理，结合电控旋转平台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，从而将图像误差转换为运动与时间的控制误差，进而实现激光特征信息的高精度重建，完成被测物的三维形面测量。可使空间测量误差降低一个数量级，提高双目视觉的三维测量精度，并融合序列图像中激光光条重建信息完成被测物表面几何量的测量，实现被测物表面激光光条的高精度重建。

本发明采用的技术方案是一种基于时间转轴约束的双目视觉测量方法，其特征是,该方法结合电控转台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，从而将图像误差转换为运动与时间的控制误差，进而实现激光特征信息的高精度重建；首先对双目相机、激光平面初始位置、电控转台转轴位置系统结构参数分别进行标定，然后提取图像中的激光光条特征信息，进而通过控制激光器扫描的电控平台的扫描速度及相机采集帧频，确定动态序列图像中激光平面的空间精确位置，将双目相机采集的激光特征点与激光所处的空间平面关系建立优化模型，将基于图像的双目测量误差转换为基于时间转轴的控制误差，使测量误差降低了一个数量级，并融合序列图像中激光光条重建信息完成被测物表面几何量的测量，实现被测物表面激光光条的高精度重建；方法具体步骤如下：

第一步双目视觉系统的标定

1)双目相机的标定

采用张正友的平面靶标标定方法，以靶标平面建立世界坐标系，对系统中的双目相机进行标定，其相机模型如下：

其中，u,v分别是图像的行列像素坐标值，X_w,Y_w,Z_w代表被测点在世界坐标系里的三维坐标值，X_c,Y_c,Z_c代表被测点在摄像机坐标系里的三维坐标值，M₁为相机内参数矩阵，包括列向量等效焦距α_x、行向量等效焦距α_y、主点的像素坐标(u₀,v₀)，M₂为相机内参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；根据靶标平面上已知空间三维坐标和二维图像坐标的角点信息，获得双目相机的内参数矩阵及相对平面靶标的外参数矩阵；

由于相机镜头存在畸变，基于图像畸变原理计算镜头畸变，其公式如下：

其中，u^k,v^k分别是实际径像畸变的情况下的图像行列像素坐标，x,y代表理想无畸变时的连续图像坐标，k₁,k₂为图像畸变系数，最后，采用LM优化方法对相机内外参数及畸变系数进行优化求解；

2)激光平面的标定

将相机位置和激光器位置保持恒定不变，由于激光器投射的激光平面在空间恒定，且激光在被测靶标平面的投影恒属于激光平面，因此，可将平面靶标进行任意移动，通过靶标平面上的激光投影和相机标定结果计算激光平面在全局世界坐标系下的平面方程；

首先，在靶标初始位置标定全局世界坐标系的平面靶标位置，投射激光表面，使用相机采集靶标平面上的激光光条信息，然后，无约束移动靶标平面，使用相机采集多张激光光条图像，基于图像畸变公式(2)对图像进行畸变校正；针对校正后的图像，激光光条在i位置的图像像坐标为(uⁱ,vⁱ)，根据公式(3)计算激光光条在摄像机平面上的归一化坐标(x_s,y_s)：

根据公式(1)的相机模型可推导出公式(4)，进而可求得激光光条在摄像机坐标系下Z轴的坐标值

其中，为激光光条以i位置平面靶标所建立的局部世界坐标系坐标，分别为该位置的旋转矩阵R的第1,2列，Tⁱ为该位置的平移矩阵，进而计算该位置时激光光条在摄像机坐标系下X轴、Y轴的坐标

由于相机的位置恒定，即摄像机坐标系恒定，根据摄像机坐标与全局世界坐标系的关系计算在不同位置拍摄的激光光条点的全局世界坐标：

其中，X_w，Y_w，Z_w代表被测点在全局世界坐标系里的三维坐标值，R,T分别为全局坐标系相对摄像机坐标系的旋转、平移矩阵，R^-1为旋转矩阵R的逆；

根据公式(6)可计算出不同位置的激光光条在全局世界坐标系下的三维坐标值，由于激光平面在空间位置相对恒定，这些激光光条点都属于激光平面，因此采用最小二乘法拟合激光平面，其平面方程为：

aX_w+bY_w+cZ_w+d＝0 (7)

其中，a,b,c,d为平面方程系数；

3)激光器旋转轴的标定

保持相机位置不同，采用电控转动控制激光投射平面旋转，按照激光平面的标定方法标定旋转后的激光平面，两个平面的交线为旋转轴，其直线方程为：

其中，a₁,b₁,c₁,d₁为平面π₁的平面方程系数，为平面π₁的法向量；a₂,b₂,c₂,d₂为平面π₂的平面方程系数，为平面π₂的法向量；根据公式(8)可求得旋转轴l的方向向量

其中，绕旋转轴l的方向向量逆时针至方向，向量与向量夹角为锐角；因此可计算旋转轴l的单位方向向量

第二步扫描激光光条的采集与提取

采用控制装置同步触发双目相机采集与激光器旋转平台旋转，通过双目相机采集激光光条序列图像，获得被测物的三维信息；分别提取图像中的激光光条信息，首先对图像进行滤波处理，然后基于Sobel边缘提取算法计算激光光条边缘，计算公式如下：

其中，g(i,j)为图像坐标为(i,j)的Sobel边缘检测算子，d_x和d_y分别为计算的卷积模板；然后按照灰度重心法，计算激光光条中心，其公式如下：

其中，为激光光条第i行的灰度重心坐标，为第i行第j列灰度值；min为激光光条在图像每行上的最小列值，max为激光光条在图像每行上的最大列值。第三步基于时间转轴约束的激光平面重建

1)基于时间转轴约束的激光平面的重建

设定激光平面的初始位置为基准平面，根据标定结果，基准平面方程为a₁X_w+b₁Y_w+c₁Z_w+d₁＝0，根据公式(10)计算平面的单位法向量由于电控转台与相机同步触发，根据电控转台匀角速度为ω，相机响应时间为t，则采集的第h张图像，激光平面逆时针旋转角度为：

根据扫描旋转后的平面与基准平面相交线为旋转轴，且两平面夹角为计算扫描旋转后的第h张图像中激光平面的单位法向量

根据公式(14)求解得单位法向量

由于光平面过旋转轴上任意一点，则根据公式(8)取旋转轴上一点p₀＝(x₀y₀z₀)，第h张图像中激光平面方程为：

a_h(X_w-x₀)+b_h(Y_w-y₀)+c_h(Z_w-z₀)＝0 (15)

其中(X_W Y_W Z_W)为全局坐标系下的坐标值，整理公式(15)可推导得：

a_hX_w+b_hY_w+c_hZ_w+d_h＝0 (16)

其中，a_h,b_h,c_h,d_h为平面π_h的平面方程系数,d_h＝-(a_hx₀+b_hy₀+c_hz₀)；

2)双目相机采集点的匹配

基于第二步的光条采集和提取分别获得左右相机图像的激光光条中心的灰度重心，然后采用极限约束法对左右图像提取的灰度重心进行匹配，其计算公式如下：

(x^l)^TF(x^r)＝0 (17)

其中，x^l＝(u^l,v^l)为左图像的灰度重心坐标；x^r＝(u^r,v^r)为与x^l相匹配右图像的灰度重心坐标；F为通过八点法计算的两相机之间的基本矩阵；若左右图像中两点满公式(17)，则左右图像中的重心点为匹配点；

3)结构视觉测量的三维重建

基于双目视觉测量结果与基于时间转轴约束获得的激光平面方程对被测三维点做多重约束，以获得更为准确的三维坐标；首先根据公式(1)推导得到相机采集的图像坐标与其实际三维世界坐标满足以下关系：

其中，u,v分别是图像的行列像素坐标值，X_w,Y_w,Z_w代表被测点在世界坐标系里的三维坐标值，Z_c代表在摄像机坐标系下轴的坐标值，M₁、M₂分别为相机内、外参数矩阵，M为投影矩阵；m_ij为投影矩阵M中第i行第j列的值；根据公式(18)推导相机采集激光点的重建方程为：

根据相机采集激光点的重建公式(19)以及激光器平面的空间方程即公式(16)对被测点进行多重约束优化求解其空间三维坐标，计算公式如下：

其中，为左相机投影矩阵M^l中第i行第j列的值；u^l,v^l分别是左图像的灰度重心；为右相机投影矩阵M^r中第i行第j列的值；u^r,v^r分别是右图像的灰度重心，且左右图像的像素点为匹配点；X_w,Y_w,Z_w为最终所求被测点的三维坐标，采用上述方法将双目相机采集的激光光条序列图像进行重建，最终获得被测物的三维形面。

本发明的有益效果是该方法将基于图像的双目测量误差转换为基于时间转轴的控制误差，将时间和旋转运动量转换为空间位置的约束，使空间测量误差降低一个数量级，提高双目视觉的三维测量精度，所以该方法测量精度高。

附图说明

图1为双目视觉测量系统的示意图，其中，1-双目相机，2-电控旋转平台，3-相机位置控制云台，4-激光器，5-控制箱，6-计算机。

图2为测量原理示意图，其中，O_w-X_w,Y_w,Z_w是全局世界坐标系，O_c-X_c,Y_c,Z_c是全局摄像机坐标系，o_r-x_r,y_r,z_r是右相机摄像机坐标系，π₁是初始激光平面，Ω₁、Ω_i用于标定初始激光平面的第1到i个无约束靶标平面位置，π_h激光扫描运动后第h位置的激光平面，Ω_h是在第h位置的激光图像，l是旋转轴直线。

附图3为视觉测量方法的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

附图1为双目视觉测量系统的示意图。该测量系统以双目视觉测量系统为主体结构，以高稳态一字激光器为辅助结构。双目视觉测量系统由双目相机1、电控旋转平台2、相机位置控制云台3、激光器4、控制箱5、计算机6组成。

实施例1，本发明采用分别配置广角镜头的两个相机拍摄一幅光条图像，通过电控旋转平台控制激光器的旋转扫描运动。双目相机型号为vieworks VC-12MC-M/C 65，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为720mm×1300mm。电控旋转平台采用卓立汉光的电控旋转平台RAK350，其步距角为1.8度，转角重复精度小于0.003度。激光器采用450nm的高稳态线激光器。

附图2为测量原理示意图。其中，O_w-X_w,Y_w,Z_w是全局世界坐标系，O_c-X_c,Y_c,Z_c是全局摄像机坐标系，o_r-x_r,y_r,z_r是右相机摄像机坐标系，π₁是初始激光平面，Ω₁、Ω_i用于标定初始激光平面的第1到i个无约束靶标平面位置，π_h激光扫描运动后第h位置的激光平面，Ω_h是在第h位置的激光图像，l是旋转轴直线。

附图3为视觉测量方法的流程图。整个流程分为双目相机、激光平面、激光转轴的标定，扫描图像的采集与提取、基于时间转轴约束的重建、双目相机采集点的匹配、双目视觉测量的三维重建。视觉测量方法的具体步骤如下：

第一步结构视觉系统的标定

1)双目相机的标定

采用张正友的平面靶标标定方法，通过在空间平面内转换平面靶标的不同位置，使双目相机同时采集靶标图像，按照公式(1)(2)分别对相机的内、外参加及畸变系统进行标定，其中外参数的计算时基于双目相机同时采集的某一张靶标图像。

2)激光平面的标定

将相机位置和激光器位置保持恒定不变，将平面靶标在测量进行移动，标定激光平面位置。首先，在用于标定相机外参数时的靶标位置，投射激光光表面，使用相机采集靶标平面上的激光光条信息，然后，无约束移动靶标平面，使用相机采集多张激光光条图像，基于图像畸变公式(2)对图像进行畸变校正；针对校正后的图像，根据公式(3)计算激光光条在摄像机平面上的归一化坐标；然后根据公式(4)、(5)求得激光光条在摄像机坐标系下坐标值，由于相机的位置恒定，即摄像机坐标系恒定，根据摄像机坐标与全局世界坐标系的关系计算在不同位置拍摄的激光光条中心点的全局世界坐标，即通过公式(6)根据公式(6)可计算出不同位置的激光光条在全局世界坐标系下的三维坐标值；然后由于激光平面在空间位置相对恒定，这些激光光条中心点都属于激光平面，因此采用最小二乘法拟合激光平面，如附图2中π₁、π_h所示。

3)激光器旋转轴的标定

采用电控旋转平台控制激光投射平面旋转，按照激光平面的标定方法标定旋转后的激光平面，两个平面的交线为旋转轴，即按照公式(8)计算旋转轴方程，然后按照公式(9)获得旋转轴直线的方向向量，以初始激光平面法向方向以逆时针旋转一个锐角，按照右手定则确定旋转轴直线方向，并最终按照公式(10)将旋转轴直线方向向量转换为单位方向向量。

第二步扫描激光光条的采集与提取

采用控制装置同步触发双目相机采集与激光器旋转平台旋转，通过双目相机采集激光光条序列图像，获得被测物的三维信息；分别提取图像中的激光光条信息，首先对图像进行滤波处理，然后基于Sobel边缘提取算法计算激光光条边缘，根据公式(11)获得图像边界；然后按照灰度重心法，根据公式(12)计算激光光条中心。

第三步基于时间转轴约束的激光平面重建

1)基于时间转轴约束的激光平面的重建

设定激光平面的初始位置为基准平面，根据公式(10)计算平面的单位法向量；由于电控转台与相机同步触发，根据电控转台匀角速度和相机响应时间，根据公式(13)计算激光平面绕旋转轴转过的空间角度；根据扫描旋转后的平面与基准平面相交线为旋转轴，和两平面夹角，根据公式(14)计算扫描旋转后图像中激光平面的单位法向量；由于光平面过旋转轴上任意一点，则根据公式(8)取旋转轴上一点，根据公式(15)获得激光平面方程。

2)双目相机采集点的匹配

基于第二步的光条采集和提取分别获得左右相机图像激光光条中心的灰度重心，然后采用极限约束法即公式(17)对左右图像提取的灰度重心进行匹配。3)双目视觉测量的三维重建

基于双目视觉测量结果与基于时间转轴约束获得的激光平面方程对被测三维点做多重约束，以获得更为准确的三维坐标；根据相机采集激光点的重建公式(18)以及激光器平面的空间方程即公式(16)对被测点进行多重约束优化求解其空间三维坐标，按照公式(19)计算被测物的三维坐标；通过重建光条信息，计算标准平面的重建精度验证光条的提取精度。双目视觉重建点到理论平面的均方根误差为0.452mm，本实施例重建点到理论平面的均方根误差为0.082mm，提高了测量精度，验证了该提取方法的有效性。

本发明基于双目视觉测量原理，结合电控旋转平台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，从而将图像误差转换为运动与时间的控制误差，进而实现激光特征信息的高精度重建，完成被测物的三维形面测量。该方法测量精度高，将基于图像的双目测量误差转换为基于时间转轴的控制误差，使空间测量误差控制在0.1mm以下，提高了双目视觉的三维测量精度。

Claims

1.一种基于时间转轴约束的双目视觉测量方法，其特征是，该方法结合电控转台的激光扫描速度和测量时间的计算，建立时间转轴约束，确定特征激光平面的空间精确位置，从而将图像误差转换为运动与时间的控制误差，实现激光特征信息的高精度重建；首先对双目相机、激光平面初始位置、电控转台转轴位置系统结构参数分别进行标定，然后提取图像中的激光光条特征信息，通过控制激光器扫描的电控平台的扫描速度及相机采集帧频，确定动态序列图像中激光平面的空间精确位置，将双目相机采集的激光特征点与激光所处的空间平面关系建立优化模型，将基于图像的双目测量误差转换为基于时间转轴的控制误差，并融合序列图像中激光光条重建信息完成被测物表面几何量的测量，实现被测物表面激光光条的高精度重建；方法具体步骤如下：

第一步结构视觉系统的标定

1)双目相机的标定

<mrow> <mi>s</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&alpha;</mi> <mi>x</mi> </msub> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>&alpha;</mi> <mi>y</mi> </msub> </mtd> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>&alpha;</mi> <mi>x</mi> </msub> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>u</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>&alpha;</mi> <mi>y</mi> </msub> </mtd> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>R</mi> </mtd> <mtd> <mi>T</mi> </mtd> </mtr> <mtr> <mtd> <msup> <mn>0</mn> <mi>T</mi> </msup> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>M</mi> <mn>1</mn> </msub> <mo>&times;</mo> <msub> <mi>M</mi> <mn>2</mn> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中，u^k,v^k分别是实际径像畸变的情况下的图像行列像素坐标，x,y代表理想无畸变时的连续图像坐标，k₁,k₂为图像畸变系数；

最后，采用LM优化方法对相机内外参数及畸变系数进行优化求解；

2)激光平面的标定

将相机位置和激光器位置保持恒定不变，由于激光器投射的激光平面在空间恒定，且激光在被测靶标平面的投影恒属于激光平面，将平面靶标进行任意移动，通过靶标平面上的激光投影和相机标定结果计算激光平面在全局世界坐标系下的平面方程；

首先，在靶标初始位置标定全局世界坐标系的平面靶标位置，投射激光表面，使用相机采集靶标平面上的激光光条信息，无约束移动靶标平面，使用相机采集多张激光光条图像，基于图像畸变公式(2)对图像进行畸变校正；针对校正后的图像，激光光条在i位置的图像像坐标为(uⁱ,vⁱ)，根据公式(3)计算激光光条在摄像机平面上的归一化坐标：

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>x</mi> <mi>s</mi> <mi>i</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>i</mi> </msup> <mo>-</mo> <msubsup> <mi>u</mi> <mn>0</mn> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <msub> <mi>&alpha;</mi> <mi>x</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>y</mi> <mi>s</mi> <mi>i</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <msup> <mi>v</mi> <mi>i</mi> </msup> <mo>-</mo> <msubsup> <mi>v</mi> <mn>0</mn> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>/</mo> <msub> <mi>&alpha;</mi> <mi>y</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

根据公式(1)的相机模型推导出公式(4)，求得激光光条在摄像机坐标系下Z轴的坐标值

其中，为激光光条以i位置平面靶标所建立的局部世界坐标系坐标，分别为该位置的旋转矩阵R的第1,2列，Tⁱ为该位置的平移矩阵，计算该位置时激光光条在摄像机坐标系下X轴、Y轴的坐标

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>Y</mi> <mi>c</mi> <mi>i</mi> </msubsup> <mo>=</mo> <msubsup> <mi>x</mi> <mi>s</mi> <mi>i</mi> </msubsup> <mo>&CenterDot;</mo> <msubsup> <mi>Z</mi> <mi>c</mi> <mi>i</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>Y</mi> <mi>c</mi> <mi>i</mi> </msubsup> <mo>=</mo> <msubsup> <mi>y</mi> <mi>s</mi> <mi>i</mi> </msubsup> <mo>&CenterDot;</mo> <msubsup> <mi>Z</mi> <mi>c</mi> <mi>i</mi> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

由于相机的位置恒定，即相机坐标系恒定，根据相机坐标与全局世界坐标系的关系计算在不同位置拍摄的激光光条点的全局世界坐标：

其中，X_w，Y_w，Z_w代表被测点在全局世界坐标系里的三维坐标值，R,T分别为全局坐标系相对摄像机坐标系的旋转、平移矩阵，R^-1为旋转矩阵R的逆阵；

根据公式(6)计算出不同位置的激光光条在全局世界坐标系下的三维坐标值，由于激光平面在空间位置相对恒定，这些激光光条点都属于激光平面，因此采用最小二乘法拟合激光平面，其平面方程为：

aX_w+bY_w+cZ_w+d＝0 (7)

其中，a,b,c,d为平面方程系数；

3)激光器旋转轴的标定

采用电控转动控制激光投射平面旋转，按照激光平面的标定方法标定旋转后的激光平面，两个平面的交线为旋转轴，其直线方程为：

其中，a₁,b₁,c₁,d₁为平面π₁的平面方程系数，为平面π₁的法向量；a₂,b₂,c₂,d₂为平面π₂的平面方程系数，为平面π₂的法向量；根据公式(8)求得旋转轴l的方向向量

<mrow> <mover> <mi>s</mi> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mover> <msub> <mi>n</mi> <mn>1</mn> </msub> <mo>&RightArrow;</mo> </mover> <mo>&times;</mo> <mover> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>&RightArrow;</mo> </mover> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>

其中，绕旋转轴l的方向向量逆时针至方向，向量与向量夹角为锐角；计算旋转轴l的单位方向向量

<mrow> <mover> <msub> <mi>s</mi> <mi>d</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mfrac> <mover> <mi>s</mi> <mo>&RightArrow;</mo> </mover> <mrow> <mo>|</mo> <mover> <mi>s</mi> <mo>&RightArrow;</mo> </mover> <mo>|</mo> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>

第二步扫描激光光条的采集与提取

其中，g(i,j)为图像坐标为(i,j)的Sobel边缘检测算子，d_x和d_y分别为计算的卷积模板；按照灰度重心法，计算激光光条中心，其公式如下：

<mrow> <mo>(</mo> <msubsup> <mi>v</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>u</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>)</mo> <mo>=</mo> <mfrac> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mi>min</mi> </mrow> <mi>max</mi> </munderover> <msubsup> <mi>jI</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>l</mi> </msubsup> </mrow> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mi>min</mi> </mrow> <mi>max</mi> </munderover> <msubsup> <mi>I</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>l</mi> </msubsup> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>

其中，为激光光条第i行的灰度重心坐标，为第i行第j列灰度值；min为激光光条在图像每行上的最小列值，max为激光光条在图像每行上的最大列值；

第三步基于时间转轴约束的激光平面重建

1)基于时间转轴约束的激光平面的重建

根据公式(14)求解得单位法向量

由于光平面过旋转轴上任意一点，则根据公式(8)取旋转轴上一点p₀＝(x₀ y₀ z₀)，第h张图像中激光平面方程为：

a_h(X_w-x₀)+b_h(Y_w-y₀)+c_h(Z_w-z₀)＝0 (15)

a_hX_w+b_hY_w+c_hZ_w+d_h＝0 (16)

其中，a_h,b_h,c_h,d_h为平面π_h的平面方程系数d_h＝-(a_hx₀+b_hy₀+c_hz₀)；

2)双目相机采集点的匹配

(x^l)^TF(x^r)＝0 (17)

3)双目视觉测量的三维重建

基于双目视觉测量结果与基于时间转轴约束获得的激光平面方程对被测三维点做多重约束，以获得更为准确的三维坐标；首先根据公式(1)推导得相机采集的图像坐标与其实际三维世界坐标满足以下关系：

<mrow> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <msub> <mi>M</mi> <mn>1</mn> </msub> <mo>&times;</mo> <msub> <mi>M</mi> <mn>2</mn> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>M</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>m</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>13</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>14</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>24</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>33</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>34</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>18</mn> <mo>)</mo> </mrow> </mrow>

其中，为左、右相机投影矩阵M^l、M^r中第i行第j列的值；u^l,v^l分别是左图像的灰度重心坐标；u^r,v^r分别是右图像的灰度重心坐标，且左右图像的像素点为匹配点；X_w,Y_w,Z_w为最终所求被测点的三维坐标，采用上述方法将双目相机采集的激光光条序列图像进行重建，最终获得被测物的三维形面。