CN104930985A - 基于时空约束的双目视觉三维形貌测量方法 - Google Patents

Abstract

本发明基于时空约束的双目视觉三维形貌测量方法属于计算机视觉测量技术领域，涉及一种基于时空约束的双目视觉三维形貌测量方法。该方法针对大型复合材料构件表面形貌，采用激光扫描双目视觉测量系统进行图像采集和图像处理；提取边缘信息，建立约束条件。结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除。将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息。本发明提高了测量效率，测量精度高，检测信息完整，运算速度快，可满足大型零部件表面的三维形貌测量。

Description

基于时空约束的双目视觉三维形貌测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于时空约束的双目视觉三维形貌测量方法。

背景技术

随着汽车工业、航空航天领域、模具和重大装备零部件制造技术的迅速发展，人们对制造的精度和质量提出了更高的要求。例如飞机平垂尾等大型零部件的三维形貌的高精度测量是其高质量连接装配的前提和保证，对于这种大型尺寸且不规则的物体表面的三维精确测量是现代测量技术中的一个难题。而基于激光结构光扫描的双目视觉测量方法是近些年研究比较热点的一种三维形貌测量方法，这种方法具有检测速度快、测量精度高、自动化程度高而且测量非接触等优势。该方法是利用双目相机采集辅助激光条纹图像并进行光条中心的提取和匹配、重建，来实现被测物体形面轮廓的高精度测量。然而这种方法的测量效果往往由于测量环境的影响导致光条在被测物体表面投射质量变差，以至于光条信息在物体边界处产生溢出或缺失，最后使得三维形貌测量结果在边界处信息不够精确和完整。因此，如何实现快速高精度且完整的三维形貌测量是目前亟待解决的一个重要难题。

张文增等人的发明专利号为CN 101476881，发明名称为“一字激光立旋式三维形貌测量装置及其方法”的专利，发明了一种视觉测量装置，利用一字线激光器旋转扫描来实现三维形貌测量，该装置能够检测出各个方向的边缘信息。但由于采用单目相机进行三维测量，需要结合装置的已知精确的位置关系来进行求解，算法复杂影响测量效率且易受中间过程的影响，并且未考虑激光光条在被测物体边缘处受到的影响。王从军等人的专利号CN1971205的发明“一种便携式面结构光逆向测量系统”利用柔性测量臂和测量头结合进行三维形貌测量，同时采用接触式测量头测量关键特征尺寸和轮廓数据以及光栅扫描头测量复杂工件的表面点云数据；但是，由于装置包括6个旋转关节的机械臂，运动部件多，结构复杂，精度难以得到保证，且装置成本较高。

发明内容

本发明要解决的技术难题是针对大型零部件表面三维形貌测量过程中边缘信息提取不完整、不精确以及测量效率低的问题，发明了一种基于时空约束的双目视觉三维形貌测量方法。该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集；对零、构件轮廓边界进行边缘提取，通过被测目标边界约束提取光条有效信息，并结合时间维度信息缩小光条提取感兴趣区域，提高测量效率，最终能够实现快速完整的三维形貌高精度测量。

本发明采用的技术方案是一种基于时空约束的双目视觉三维形貌测量方法，其特征是，该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集和图像处理；对零、构件轮廓边界进行边缘提取，并由此建立基于边界信息的光条提取约束条件；结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，从而快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除；将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息；方法具体步骤如下：

第一步对被测物体表面形貌进行图像采集和图像处理，提取轮廓边缘，建立时空约束条件

1)轮廓边缘提取方法

对于双目视觉测量系统采集的被测物体表面形貌的图像，首先采用Sobel算子进行边缘检测，达到像素级的边缘提取精度；对应图像二维函数f(x,y)的一阶导数表达式为：

$G(x,y)={\left[\begin{array}{cc}{G}_x& G_y\end{array}\right]}^T={\left[\begin{array}{cc}\∂f/\∂x& \∂f/\∂y\end{array}\right]}^T---\left(1\right)$

其中，G(x,y)为图像二维函数f(x,y)的梯度，G_x和G_y分别是对x和y的偏导数。Sobel算子将方向差分运算与局部平均相结合，利用像素点(x,y)附近的3×3的邻域来计算梯度值，其两个卷积模板为：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]---\left(2\right)$

采用∞范数衡量梯度的幅值|G(x,y)|＝max(|G_x|,|G_y|)，即将两个模板算子的最大值作为该点的输出位；然后计算每一点的梯度值，将梯度最大处定义为边界；

2)基于边界信息建立光条提取约束条件

根据上述提取到的轮廓边缘点，构成封闭的边界信息,将边界及边界内的二维图像区域定义为边界约束函数R(x,y)，若在边界约束内则赋值为1，在边界约束外赋值为0，即

$R(x,y)=\left\{\begin{array}{cc}1,& withinboundary\\ 0,& beyondboundan\end{array}\right.---\left(3\right)$

粗提取光条中心时，假设得到的光条中心圆整后为(i,j)；若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息；

3)基于时间维度信息的约束

根据激光器的扫描速度和摄像机的采集帧数，初步预测光条的实时位置，建立光条实时位置预测模型，

${\mathrm{\φ}}_i=\frac{\mathrm{\ω}\·i}{f}---\left(4\right)$

Δ_i＝d tanα-d tan(α-φ_i)   (5)

其中，ω为激光器的扫描速度，即转角速度，f为摄像机的采集帧数，φ_i为采集到的第i张光条图像的激光器转角，d为激光器到测量对象的垂直距离，α为激光器到测量对象的垂直方向与初始扫描位置之间的夹角，Δ_i为第i张光条图像的实时位置B与初始光条扫描位置A的距离；根据距离Δ_i向左右分别扩展一个光条宽度定义为光条图像的感兴趣区域，从而建立光条实时位置约束；

第二步光条中心提取方法

1)有效光条信息获取

根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界；利用几何中心法求得每行的光条中心点，

$(x_i,y_i)=(\frac{{\mathrm{xl}}_i+{\mathrm{xr}}_i}{2},\frac{{\mathrm{yl}}_i+{\mathrm{yr}}_i}{2})---\left(6\right)$

其中，(xl_i,yl_i)、(xr_i,yr_i)分别代表第i行左、右边界点坐标；对几何中心坐标(x_i,y_i)取整得到然后进行边界约束条件检验，即计算若则提出该光条中心点，若则予以保留进行下一步光条中心精提取；

2)精提取光条中心信息

以上述得到的光条几何中心为初始点左右搜索光条边界位置，在左右边界的光条宽度上进行灰度重心计算，得到精提取的光条中心；假设左右边界的列区间为(p,q)，则光条灰度重心为

$(u_i,v_i)=\frac{\underset{j=p}{\overset{q}{\Σ}}j\·I_{ij}}{\underset{j=p}{\overset{q}{\Σ}}{I}_{ij}}---\left(7\right)$

其中，(u_i,v_i)为第i行光条灰度重心坐标，I_ij为第i行第j列灰度值；

第三步三维形貌还原方法

根据上述第一、二步得到的结果，利用双目视觉系统左、右摄像机极线约束来完成对应左、右图像边界点和光条中心的匹配；假设左图像边界点或光条中心点x_i′与右图像边界点或光条中心点x_i′′相匹配，根据极线约束条件：

$x_i^{\′T}{\mathrm{Fx}}_{i^{\′}}^{\′}=0---\left(8\right)$

其中，x_i′为左摄像机采集的图像边界点和光条中心点的像面坐标；x_i′′为与x_i′相匹配由右摄像机所采集图像边界点和光条中心点的像面坐标；F为两摄像机之间的基本矩阵；

对上述左、右图像中所有匹配上的边界点和光条中心点进行三维重建，得到边界点和光条中心点在世界坐标系下的三维坐标值，重建公式如下：

$\left\{\begin{array}{c}{x}_i=\frac{{\mathrm{zX}}_i^{\′}}{f_1}\\ y_i=\frac{{\mathrm{zY}}_i^{\′}}{f_1}\\ z_i=\frac{f_1(f_2{t}_y-Y_{i^{\′}}^{\′}{t}_z)}{Y_1(r_7{X}_i^{\′}+r_8{Y}_i^{\′}+r_9{f}_1)-f_2(r_4{X}_i^{\′}+r_5{Y}_i^{\′}+r_6{f}_1)}\end{array}\right.---\left(9\right)$

其中，x_i′＝(X_i′,Y_i′)，X_i′，Y_i′分别为左相机采集的图像边界点或光条中心点x_i′在像面坐标系下的横、纵坐标；x_i′′＝(X_i′′,Y_i′′)，X_i′′，Y_i′′分别为右摄像机采集的图像光斑中心点x_i‘′在像面坐标系下的横、纵坐标；f₁、f₂分别为左、右摄像机标定得到的焦距； $\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 是右摄像机相对于左摄像机的旋转矩阵，[t_x t_y t_z]是右摄像机相对于左摄像机的平移矩阵，由标定实验得到；则(x_i,y_i,z_i)为重建出来的对应点的三维坐标。

本发明的有益效果是采用边界约束条件对粗提取的光条中心进行约束验证，并结合时间维度信息缩小光条提取感兴趣区域，提高了测量效率；测量精度高，检测信息完整，运算速度快，可满足一般大型零部件表面的三维形貌测量。

附图说明

图1为基于扫描运动的光条位置预测示意图。图中，1-被测物体表面，2-激光器，A-初始光条扫描位置，B-第i张图像的光条实时位置，C-激光器到被测物表面的垂直位置，d-激光器到测量对象的垂直距离，f-摄像机的采集帧数。

图2为基于时空约束的双目视觉三维形貌测量方法的测量流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。本方法首先基于激光结构光扫描的双目视觉测量系统进行图像采集和图像预处理，对零、构件轮廓边界进行边缘提取，基于边界空间几何信息和时间维度信息约束激光扫描光条的实时提取位置，以实现双目图像中激光光条中心的高精度提取与匹配，进而实现大型零、构件表面的三维形貌测量。附图1为基于扫描运动的光条位置预测示意图。被测物体1为1.2×0.6m的t800复合材料板，调整激光器2的位置使光条投射到被测物体1上，激光器2作扫描运动，调整摄像机焦距采集清晰光条图像。

实施例1，本发明采用分别配置广角镜头的左右两个摄像机拍摄一幅光条图像。摄像机型号为viewworks VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF 16-35mm f/2.8L II USM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为800mm×800mm。

附图2为基于时空约束的双目视觉三维形貌测量方法的测量流程图，首先采用双目激光视觉测量系统对被测物体表面1进行图像采集和图像预处理，然后对被测物体表面1的表面形貌轮廓边界进行边缘提取，建立时空约束条件。整个三维形貌测量过程分为边界约束的建立和光条位置的实时预测、以及光条中心的提取、边界和光条中心点的匹配和三维重建等步骤。根据边界约束来提取有效的光条中心信息，剔除多余信息，根据光条位置的实时预测建立合理的光条提取感兴趣区域，提高光条提取效率。最终实现快速完整高精度的三维形貌测量。

根据该测量流程，整个三维形貌测量分为边缘提取建立时空约束、光条中心提取和三维形貌还原三个主要步骤。

1.提取轮廓边缘，建立时空约束条件

1)轮廓边缘提取方法

本实例首先根据sobel边缘检测算子模板公式(2)对左右两个摄像机分别拍摄被测物体表面1的图像进行边缘检测，将检测到的图像边缘点像素坐标分别进行保存。

2)基于边界信息建立光条提取约束条件

根据上述提取到的轮廓边缘点，利用边界约束公式(3)对整个二维图像大小的矩阵R(x,y)进行赋值，即对边界及边界以内的区域赋值为1，对边界约束外的区域赋值为0。通过该赋值约束，可以实现在后续步骤中对检测到的光条中心位置(i,j)进行约束条件验证，若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息。

3)基于时间维度信息的约束

本实例实验采用激光器2以一定角速度ω扫描被测物体表面1，摄像机以采集帧数f采集光条图像，采集的第一张图像的光条位置为初始光条扫描位置A，再结合公式(4)和(5)可以计算出摄像机采集的第i张光条的实时位置B，以及激光器到被测物表面的垂直位置C，根据公式(5)中的距离Δ_i左右分别扩展一个光条宽度定义为光条图像的感兴趣区域从而建立光条实时位置约束。

2.光条中心提取方法

1)有效光条信息获取

根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界点坐标(xl_i,yl_i)和(xr_i,yr_i)，结合几何光条中心提取公式(6)计算得到第i行光条几何中心(x_i,y_i)。对几何中心坐标(x_i,y_i)取整得到然后进行边界约束条件验证，即计算若则剔除该光条中心信息，若则予以保留进行下一步光条中心精提取；

2)精提取光条中心信息

以上述得到的光条几何中心为初始点左右搜索光条边界列位置p和q，结合灰度重心计算公式(7)即可得到较精确地光条中心坐标(u_i,v_i)。

3.三维形貌还原方法

根据上述步骤得到的左摄像机图像的边界点坐标和光条中心点坐标x_i′＝(u_i,v_i)坐采用公式(8)即可得到右摄像机图像上匹配到的对应位置的边界点和光条中心点坐标x_i′′＝(u_i′,v_i′)。得到左、右图像所有匹配到的边界点和光条中心点后，采用公式(9)进行三维重建得到被测物表面边界点和光条中心点在世界坐标系下的三维坐标(x_i,y_i,z_i)，重建出所有匹配点后便得到被测物表面三维形貌点云信息。

本发明采用边界约束条件对粗提取的光条中心进行约束验证，对满足光条提取边界约束条件的光条中心信息进行保留进行下一步精提取运算，对不满足条件的光条中心信息进行剔除，然后结合光条扫描运动和扫描时间预测光条的实时位置，进一步缩小光条提取感兴趣区域，减小运算量。

Claims (1)

1.一种基于时空约束的双目视觉三维形貌测量方法，其特征是，该方法针对大型复合材料构件表面形貌，采用基于激光结构光扫描的双目视觉测量系统进行图像采集和图像处理；并对轮廓边界进行边缘提取，建立基于边界信息的光条提取约束条件；结合时间维度信息预测光条位置，建立适度的感兴趣提取区域，快速高精度的提取对应左、右光条图像的激光光条中心；对在边界约束内的光条中心信息进行保留，对在约束外的光条中心信息予以剔除；将保留的光条中心信息和边界信息进行匹配和重建，最终还原完整的三维形貌信息；方法具体步骤如下：

第一步对被测物体表面形貌进行图像采集和图像处理，提取轮廓边缘，建立时空约束条件

1)轮廓边缘提取方法

对于双目视觉测量系统采集的被测物体表面形貌的图像，首先采用Sobel算子进行边缘检测，达到像素级的边缘提取精度；对应图像二维函数f(x,y)的一阶导数表达式为：

$G(x,y)={\left[\begin{array}{cc}{G}_x& G_y\end{array}\right]}^T={\left[\begin{array}{cc}\∂f/\∂x& \∂f/\∂y\end{array}\right]}^T---\left(1\right)$

其中，G(x,y)为图像二维函数f(x,y)的梯度，G_x和G_y分别是对x和y的偏导数；Sobel算子将方向差分运算与局部平均相结合，利用像素点(x,y)附近的3×3的邻域来计算梯度值，其两个卷积模板为：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]---\left(2\right)$

采用∞范数衡量梯度的幅值|G(x,y)|＝max(|G_x|,|G_y|)，即将两个模板算子的最大值作为该点的输出位；然后计算每一点的梯度值，将梯度最大处定义为边界；

2)基于边界信息建立光条提取约束条件

根据上述提取到的轮廓边缘点，构成封闭的边界信息,将边界及边界内的二维图像区域定义为边界约束函数R(x,y)，若在边界约束内则赋值为1，在边界约束外赋值为0，即

$R(x,y)=\left\{\begin{array}{cc}1,& withinboundary\\ 0,& beyondboundary\end{array}\right.---\left(3\right)$

粗提取光条中心时，假设得到的光条中心圆整后为(i,j)；若R(i,j)＝1，则保留其光条中心信息，进而进行光条中心的精提取，若R(i,j)＝0，则去除该部分的光条信息；最后得到的将仅剩有用精确地光条中心信息；

3)基于时间维度信息的约束

根据激光器的扫描速度和摄像机的采集帧数，初步预测光条的实时位置，建立光条实时位置预测模型，

${\mathrm{\φ}}_i=\frac{\mathrm{\ω}\·i}{f}---\left(4\right)$

Δ_i＝dtanα-dtan(α-φ_i)  (5)

其中，ω为激光器的扫描速度，即转角速度，f为摄像机的采集帧数，φ_i为采集到的第i张光条图像的转角位置，d为激光器到测量对象的垂直距离，α为激光器到测量对象的垂直方向与初始扫描位置之间的夹角，Δ_i为第i张光条图像的实时位置B与初始光条扫描位置A的距离；根据距离Δ_i向左右分别扩展一个光条宽度定义为光条图像的感兴趣区域从而建立光条实时位置约束；

第二步光条中心提取方法

1)有效光条信息获取

根据上述确定的光条图像感兴趣区域，逐行搜索光条的左右边界；利用几何中心法求得每行的光条中心点，

$(x_i,y_i)=(\frac{{\mathrm{xl}}_i+{\mathrm{xr}}_i}{2},\frac{{\mathrm{yl}}_i+{\mathrm{yr}}_i}{2})---\left(6\right)$

其中，(xl_i,yl_i)、(xr_i,yr_i)分别代表第i行左、右边界点坐标；对几何中心坐标(x_i,y_i)取整得到然后进行边界约束条件检验，即计算若则剔除该光条中心点，若则予以保留进行下一步光条中心精提取；

2)精提取光条中心信息

以上述得到的光条几何中心为初始点左右搜索光条边界位置，在左右边界的光条宽度上进行灰度重心计算，得到精提取的光条中心；假设左右边界的列区间为(p,q)，则光条灰度重心为

$(u_i,v_i)=\frac{\underset{j=p}{\overset{q}{\Σ}}j\·I_{ij}}{\underset{j=p}{\overset{q}{\Σ}}{I}_{ij}}---\left(7\right)$

其中，(u_i,v_i)为第i行光条灰度重心坐标，I_ij为第i行第j列灰度值；

第三步三维形貌还原方法

根据上述第一、二步得到的结果，利用双目视觉系统左、右摄像机极线约束来完成对应左、右图像边界点和光条中心的匹配；假设左图像边界点或光条中心点x_i'与右图像边界点或光条中心点x_i′′相匹配，根据极线约束条件：

x_i ^'TFx_i′′＝0  (8)

其中，x_i'＝(u_i,v_i)为左摄像机采集的图像边界点或光条中心点的像面坐标；x_i′′＝(u_i',v_i')为与x_i'相匹配由右摄像机所采集图像边界点或光条中心点的像面坐标；F为两摄像机之间的基本矩阵；

对上述左、右图像中所有匹配上的边界点和光条中心点进行三维重建，得到边界点和光条中心点在世界坐标系下的三维坐标值，重建公式如下：

$\left\{\begin{array}{c}{x}_i=\frac{{{\mathrm{zX}}_i}^{\′}}{f_1}\\ y_i=\frac{{{\mathrm{zY}}_i}^{\′}}{f_1}\\ z_i=\frac{f_1(f_2{t}_y-{Y_{i^{\′}}}^{\′}{t}_z)}{Y(r_7{X_i}^{\′}+r_8{Y_i}^{\′}+r_9{f}_1)-f_2(r_4{X_i}^{\′}+r_5{Y_i}^{\′}+r_6{f}_1)}\end{array}\right.---\left(9\right)$

其中，假设x_i'＝(X_i',Y_i')，X_i'，Y_i'分别为左摄像机采集的图像边界点或光条中心点x_i'在像面坐标系下的横、纵坐标；x_i′′＝(X_i′′,Y_i′′)，X_i′′，Y_i′′分别为右摄像机采集的图像光斑中心点x_i′′在像面坐标系下的横、纵坐标；f₁、f₂分别为左、右摄像机标定得到的焦距； $\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 是右摄像机相对于左摄像机的旋转矩阵，[t_x t_y t_z]是右摄像机相对于左摄像机的平移矩阵，由标定实验得到；则(x_i,y_i,z_i)为重建出来的对应点的三维坐标。