CN105716539A - 一种快速高精度的三维形面测量方法 - Google Patents

Abstract

本发明属于计算机视觉测量技术领域，涉及一种基于光条宽度突变识别边界的三维形面测量方法。测量方法采用差影法对双目视觉测量系统采集到的光条图像进行去噪，根据激光光条在不同材料物体表面的反射特性不同，使得光条宽度会在边界轮廓处发生变化，根据光条宽度的变化精确识别边界位置，对边界以内的光条信息进行匹配重建，最终实现三维形面的快速高精度测量。测量方法包括图像采集，光条图像去噪及合成，光条中心提取，边界轮廓识别，匹配光条中心点及重建三维形面步骤。该方法测量精度高，减小了冗余计算量，提高了处理效率，可满足一般大型复合零部件形面的快速高精度三维测量要求。

Description

一种快速高精度的三维形面测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于光条宽度突变识别边界的三维形面测量方法

背景技术

随着航空航天领域、汽车工业、模具和重大装备零部件制造技术的迅速发展，人们对制造的精度和质量提出了更高的要求。例如飞机的平垂尾等大型零部件三维形面的高精度测量，由于这类零部件的尺寸大、形状不规则、局部精度要求高等特点，其三维形面的精确测量成为现在一个难题。近年来，基于结构光扫描的双目视觉测量方法成为研究人员的研究热点。由于这种方法具有检测速度快、测量精度高、动态响应快、自动化程度高、操作简单和测量非接触等优势而被广泛应用于航空、航天及汽车等工业领域中。该方法通过对相机的标定、采集光条图像、提取光条中心和匹配重建等过程完成三维形面的测量。但是由于在实际工作现场中的光照环境非常复杂，背景干扰十分严重等问题，导致采集的光条常会出现断开、弯折等现象，对于三维形面的测量产生不利影响，从而导致制造精度低、连接装配不精确等一系列问题。经文献检索，刘震、张广军、孙军华等发明的专利号：CN102445164A，专利名称为：“一种大型构件表面三维形面视觉测量方法及系统”的发明专利提出了一种包括图像采集系统、控制器、计算机、一个三维光学测头、多个平面靶标的测量系统。该方法通过三维光学测头中的双目视觉系统测量不同区域的三维形面，在通过三维光学测头中的宽视场相机测量大型构件周围的多个平面靶标的位置，将不同区域的三维形面信息统一到同一全局坐标系下，以实现三维形面的测量。但是由于该方法多次进行坐标转换，精度难以得到保证，并且需要多次移动三维光学测头位置，操作较麻烦。李航、司东宏、刘丽丽等发明的专利号：CN103759669A，专利名称为：“一种大型零件的单目视觉测量方法”的发明专利提出了一种通过转战球进行三维形面测量的方法，通过转战球上的标志点来把每一个单目相机的位置统一到世界坐标系下，但算法复杂容易受中间过程影响，测量效率较低。

发明内容

本发明要解决的技术难题是针对大型复合零部件表面三维形面测量过程中测量效率低、边界提取不精确的问题，发明了一种快速高精度且轮廓边界准确的双目视觉三维形面测量方法。该方法针采用基于辅助激光扫描的双目立体视觉测量系统进行图像采集，利用图像差影法快速去除大面积背景噪声，再将所有处理后的扫描光条图像进行图像合成；并将所有光条合成到一张图像上，在图像中一次性提取所有光条的中心位置；最后，建立基于光条宽度突变的边界识别方法，识别确定出上述提取光条在被测物边界的所有边界点位置，去除边界以外的光条中心坐标，仅保留边界以内的光条中心坐标并进行三维重建，从而实现快速、高精度的三维形面测量。

本发明采用的技术方案是一种快速高精度的三维形面测量方法，其特征是，测量方法采用差影法对双目视觉测量系统采集到的光条图像进行去噪，根据激光光条在不同材料物体表面的反射特性不同，使得光条宽度会在边界轮廓处发生变化，根据光条宽度的变化精确识别边界位置，对边界以内的光条信息进行匹配重建，最终实现三维形面的快速高精度测量；测量方法包括图像采集，光条图像去噪及合成，光条中心提取，边界轮廓识别，匹配光条中心点及重建三维形面步骤；测量方法具体步骤如下：

第一步对被测物三维形面进行图像采集，并进行光条图像合成

1)光条图像快速去噪方法

采用激光扫描加双目视觉测量系统对被测物体的表面进行图像采集，得到原始无光条图像和不同时刻的激光光条图像。由于对图像采集的过程中，光照环境基本相同，因此可以采用如下公式对所有光条扫描的图像进行去噪处理：

F_i(x,y)＝f_i(x,y,t_i)-f₀(x,y)(1)

其中，F_i(x,y)为第i张光条图像去噪后的初始灰度图像，f_i(x,y,t_i)为第i张光条灰度图像，f₀(x,y)为原始无光条的灰度图像。由于在图像采集过程中的噪声影响，光条图像与原始无光条图像在除光条区域外的灰度并不完全相同，因此去噪处理过程中定义一个灰度阈值R，当光条灰度图像f_i(x,y,t_i)某一元素减去原始无光条灰度图像f₀(x,y)对应元素的值小于R时，将F_i(x,y)中对应元素的值置0；当光条灰度图像f_i(x,y,t_i)某一元素减去原始无光条灰度图像f₀(x,y)对应元素的值大于R时，保留相减得到的灰度值，公式如下：

$H_i(x,y)=\{\begin{array}{cc}0& \left(F_i\right(x,y)\≤R)\\ F_i(x,y)& \left(F_i\right(x,y)>R)\end{array}---\left(2\right)$

其中，H_i(x,y)为第i张光条图像去噪后得到的灰度图像。

2)光条图像合成为实现扫描光条图像的快速提取与匹配，将上述得到的所有去噪后的光条灰度图像H_i(x,y)进行合成，得到一张包含所有扫描光条信息的合成图像，然后进行一次性的光条提取和匹配，大大减少了冗余计算量，提高了光条图像处理效率。图像合成公式如下：

G(x,y)＝ΣH_i(x,y)(3)

其中，G(x,y)表示所有光条图像合成后的灰度图像。

第二步对合成的光条图像进行光条中心提取，并识别被测物边界点位置

1)光条中心提取在合成的图像上，对每一根光条使用灰度重心法提取其横截面方向重心点坐标，灰度重心法提取光条重心的公式如下：

$(u_i^k,v_i^k)=\frac{\underset{j=m}{\overset{n}{\Σ}}j\×I_{ij}}{\underset{j=m}{\overset{n}{\Σ}}{I}_{ij}}---\left(4\right)$

其中为第k根光条第i行的灰度重心点坐标，I_ij为第i行第j列灰度值，(m,n)为第k根光条的列坐标区间，利用此公式求出所有光条各行的重心坐标，并将其作为光条中心坐标。

2)基于光条宽度突变的边界点识别

首先,采用阈值分割的方法分割出图像光条连通区域，由上到下逐行搜索光条宽度值d，将每一根光条不同行的宽度值设为d_i，则得到一根光条不同行的所有宽度值，如下：

d＝[d_pd_p+1…d_p+id_p+i+1…d_p+n]

其中，d_p表示第p行光条宽度值，p为光条连通区域的首行，n为光条连通区域的总行数。利用光条图像第i行的上下各λ行光条宽度并以离散方差的形式定义第i行光条宽度的变化率ψ_i，公式如下：

${\mathrm{\ψ}}_i=\underset{j=i-\mathrm{\λ}}{\overset{i+\mathrm{\λ}}{\Σ}}\frac{{(d_j-\mathrm{\μ})}^2}{2\mathrm{\λ}+1}---\left(5\right)$

其中,μ表示上下各λ行光条宽度的平均值，公式如下：

$\mathrm{\μ}=\underset{j=i-\mathrm{\λ}}{\overset{i+\mathrm{\λ}}{\Σ}}{d}_j/(2\mathrm{\λ}+1)---\left(6\right)$

为满足运算规则，将i＝p和i＝p+n处溢出部分的宽度值d_p-λ和d_p+n+λ按等于0进行处理。对每一根光条利用公式(5)计算可得到的宽度变化率会由于光条两端断开、一端断开一端连续、两端连续而分别产生两个、三个、四个不同的极值点，因此设定一个阈值ψ₀(其值的大小与被测物、背景及激光光条有光)来判定被测物的两个边界位置，设由上述公式得到的极值点的极值为 其所对应的光条中心位置为则：

$\{\begin{array}{cc}(u_{i_c}^k,v_{i_c}^k)\∈edgepo\mathrm{int}& {\mathrm{\ψ}}_{i_c}\≤{\mathrm{\ψ}}_0\\ (u_{i_c}^k,v_{i_c}^k)\∉edgepo\mathrm{int}& {\mathrm{\ψ}}_{i_c}>{\mathrm{\ψ}}_0\end{array}---\left(7\right)$

由此可以得到被测物第k根光条的两个边界位置，接着对所有光条进行同样的操作，即可得到所有光条对应的边界轮廓位置。

第三步三维形面还原

识别出边界轮廓以后，对边界轮廓内的信息进行保留，而对边界轮廓外的信息予以剔除，然后对轮廓内的光条信息进行三维重建。

1)光条中心匹配利用极线约束对双目视觉测量系统中左、右相机的图像进行对应左、右图像光条中心的匹配；具体做法是：首先采用八点归一化算法计算出左、右相机的基本矩阵F，然后通过左、右相机采集到的光条图像之间的极线约束关系进行对应点匹配；设左图像光条中心点x_i'与右图像光条中心点x_i′′相匹配，极线约束条件为：

$x_i^{\′T}{{\mathrm{Fx}}_{i^{\′}}}^{\′}=0---\left(8\right)$

其中，x_i'为左相机采集的图像光条中心点的像面坐标；x_i′′为与x_i'相匹配由右相机所采集图像光条中心点的像面坐标；F为两相机之间的基本矩阵；

2)三维重建对得到的匹配点进行三维重建，重建公式如下：

$\left\{\begin{array}{c}{x}_i=\frac{{{\mathrm{zX}}_i}^{\′}}{f_1}\\ y_i=\frac{{{\mathrm{zY}}_i}^{\′}}{f_1}\\ z_i=\frac{f_1(f_2{t}_y-{Y_{i^{\′}}}^{\′}{t}_z)}{Y_1(r_7{X_i}^{\′}+r_8{Y_i}^{\′}+r_9{f}_1)-f_2(r_4{X_i}^{\′}+r_5{Y_i}^{\′}+r_6{f}_1)}\end{array}\right.---\left(9\right)$

其中，X_i'，Y_i'分别为左相机采集的图像光条中心点x_i'的像面横纵坐标；X_i′′，Y_i′′分别为右相机采集的图像光斑中心点x_i‘′的像面横纵坐标；f₁、f₂分别为左、右相机标定得到的焦距； $\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 是右相机相对于左相机的旋转矩阵，[t_xt_yt_z]是右相机相对于左相机的平移矩阵，由此可以得到重建的三维形面。

本发明的有益效果是该方法不仅测量精度高，而且仅需对一幅图像进行处理即可实现所有形面特征的提取，大大减小了冗余计算量，提高了处理效率。可满足一般大型零部件形面的快速高精度三维测量要求。

附图说明

图1为激光光条图像采集示意图。其中，1-激光器，2-被测物体表面，3-两端连续的光条，4-一端连续、一端断开的光条，5-两端断开的光条，f为相机采集图像帧频，ω为激光器的扫描角速度。

图2为光条合成图像示意图。其中，1-被测物，2-第i根光条位置。

图3为三维形面测量流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

附图1为激光光条图像采集位置图。被测物体为一块450×450mm的碳纤维材料方形平板，首先对双目视觉测量系统进行标定，然后调整激光器的位置，以使光条投射在复合材料板靠左的初始位置上，激光器作扫描运动。

实施例1，本发明分别配置广角镜头的两个摄像机拍摄一幅光条图像。摄像机型号为vieworksVC-12MC-M/C65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF16-35mmf/2.8LIIUSM，参数如下所示，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为17mm，物距为750mm，视场约为800mm×800mm。

附图3为三维形面测量流程图。整个三维形面的测量过程包括图像采集、光条图像去噪及合成、光条中心提取、边界轮廓识别、匹配光条中心点及重建三维形面步骤。根据激光光条在不同材料物体表面的反射特性不同，使得光条宽度会在边界轮廓处发生变化，从而根据光条宽度的变化精确识别边界位置，对边界以内的光条信息进行匹配重建，最终实现三维形面的快速高精度测量。实施例的具体步骤如下：

第一步光条图像的去噪与合成

1)光条图像去噪对双目视觉系统采集到的图像按照公式(1)和(2)进行去噪处理，并且定义一个灰度阈值R_，当光条灰度图像f_i(x,y,t_i)某一元素减去原始无光条灰度图像f₀(x,y)对应元素的值小于R时，将F_i(x,y)中对应元素的值置0；当光条灰度图像f_i(x,y,t_i)某一元素减去原始无光条灰度图像f₀(x,y)对应元素的值大于R时，保留相减得到的灰度值；从而得到去噪后的光条灰度图像H_i(x,y)。

2)光条图像合成根据上述得到的所有去噪后的光条灰度图像H_i(x,y)，根据公式(3)将他们合成在一张图像上，得到一张包含所有光条信息的图像G(x,y)，如附图2所示。

第二步光条中心提取方法及边缘轮廓的识别

1)光条中心提取

利用上述得到的灰度图像G(x,y)，并结合公式(4)对每一根光条逐行求解其灰度重心坐标并将其作为光条中心坐标。

2)基于光条宽度突变的边界点识别

对于三维形面的边界区域，采用公式(5)和(6)求其宽度变化率的极值点的极值并取λ＝1。根据光条两端断开、一端断开一端连续、两端连续不同的情况，利用公式(7)来判断极值点位置是否为边界点，由此确定每一根光条的两个边界点。对所有光条重复上述操作，可以得到所有光条边界轮廓位置。

第三步三维形面还原方法

1)左右图像光条中心匹配

根据上述步骤得到的左相机图像的光条中心点坐标x_i'＝(u_i,v_i)，采用公式(8)即可得到右相机图像上匹配到的对应位置的光条中心点坐标x_i′′＝(u_i′，v_i′)。

2)光条中心三维重建

得到左、右图像所有匹配到的光条中心点后，采用公式(9)进行三维重建，得到被测物表面光条中心点在世界坐标系下的三维坐标(x_i,y_i,z_i)，重建出所有匹配点后便得到被测物表面三维形面点云信息。

本发明首先采用差影法对双目视觉测量系统采集到的光条图像进行去噪，并进行图像合成处理，然后提取合成图像的所有光条中心位置，并且根据光条在不同材料表面下的宽度不同来精确识别边界位置，剔除边界外的光条信息，对边界内的光条信息进行三维重建。该方法不仅测量精度高，而且仅需对一幅图像进行处理即可实现所有形面特征的提取，大大减小了冗余计算量，提高了处理效率。可满足一般大型零部件形面的快速高精度三维测量要求。

Claims (1)

1.一种快速高精度的三维形面测量方法，其特征是，测量方法采用差影法对双目视觉测量系统采集到的光条图像进行去噪，根据激光光条在不同材料物体表面的反射特性不同，使得光条宽度会在边界轮廓处发生变化，根据光条宽度的变化精确识别边界位置，对边界以内的光条信息进行匹配重建，最终实现三维形面的快速高精度测量；测量方法包括图像采集，光条图像去噪及合成，光条中心提取，边界轮廓识别，匹配光条中心点及重建三维形面步骤；

该方法的具体步骤如下：

第一步对被测物三维形面进行图像采集、光条图像去噪及合成；

1)光条图像采集、快速去噪方法

采用激光扫描加双目视觉测量系统对被测物体的表面进行图像采集，得到原始无光条图像和不同时刻的激光光条图像；由于对图像采集的过程中，光照环境基本相同，采用如下公式对所有光条扫描的图像进行去噪处理：

F_i(x,y)＝f_i(x,y,t_i)-f₀(x,y)(1)

其中，F_i(x,y)为第i张光条图像去噪后的初始灰度图像，f_i(x,y,t_i)为第i张光条灰度图像，f₀(x,y)为原始无光条的灰度图像；

由于在图像采集过程中的噪声影响，光条图像与原始无光条图像在除光条区域外的灰度并不完全相同，因此去噪处理过程中定义一个灰度阈值R，当光条灰度图像f_i(x,y,t_i)某一元素减去原始无光条灰度图像f₀(x,y)对应元素的值小于R时，将F_i(x,y)中对应元素的值置0；当光条灰度图像f_i(x,y,t_i)某一元素减去原始无光条灰度图像f₀(x,y)对应元素的值大于R时，保留相减得到的灰度值，公式如下：

$H_i(x,y)=\left\{\begin{array}{cc}0& \left(F_i\right(x,y)\≤R)\\ F_i(x,y)& \left(F_i\right(x,y)>R)\end{array}\right.---\left(2\right)$

其中，H_i(x,y)为第i张光条图像去噪后得到的灰度图像；

2)光条图像合成为实现扫描光条图像的快速提取与匹配，将上述得到的所有去噪后的光条灰度图像H_i(x,y)进行合成，得到一张包含所有扫描光条信息的合成图像，然后进行一次性的光条提取和匹配，大大减少了冗余计算量，提高了光条图像处理效率；图像合成公式如下：

G(x,y)＝∑H_i(x,y)(3)

其中，G(x,y)表示所有光条图像合成后的灰度图像；

第二步对合成的光条图像进行光条中心提取，识别被测物边界点位置

1)光条中心提取在合成的图像上，对每一根光条使用灰度重心法提取其横截面方向重心点坐标，灰度重心法提取光条重心的公式如下：

$(u_i^k,v_i^k)=\frac{\underset{j=m}{\overset{n}{\Σ}}j\×I_{ij}}{\underset{j=m}{\overset{n}{\Σ}}{I}_{ij}}---\left(4\right)$

其中为第k根光条第i行的灰度重心点坐标，I_ij为第i行第j列灰度值，(m,n)为第k根光条的列坐标区间，利用此公式求出所有光条各行的重心坐标，并将其作为光条中心坐标；

2)基于光条宽度突变的边界点识别

首先,采用阈值分割的方法分割出图像光条连通区域，由上到下逐行搜索光条宽度值d，将每一根光条不同行的宽度值设为d_i，则得到一根光条不同行的所有宽度值，如下：

d＝[d_pd_p+1…d_p+id_p+i+1…d_p+n]

其中，d_p表示第p行光条宽度值，p为光条连通区域的首行，n为光条连通区域的总行数；利用光条图像第i行的上下各λ行光条宽度并以离散方差的形式定义第i行光条宽度的变化率ψ_i，

${\mathrm{\ψ}}_i=\underset{j=i-\mathrm{\λ}}{\overset{i+\mathrm{\λ}}{\Σ}}\frac{{(d_j-\mathrm{\μ})}^2}{2\mathrm{\λ}+1}---\left(5\right)$

其中,μ表示上下各λ行光条宽度的平均值，公式如下：

$\mathrm{\μ}=\underset{j=i-\mathrm{\λ}}{\overset{i+\mathrm{\λ}}{\Σ}}{d}_j/(2\mathrm{\λ}+1)---\left(6\right)$

为满足运算规则，将i＝p和i＝p+n处溢出部分的宽度值d_p-λ和d_p+n+λ按等于0进行处理；对每一根光条利用公式(5)计算得到的宽度变化率会由于光条两端断开、一端断开一端连续、两端连续而分别产生两个、三个、四个不同的极值点，设定一个阈值ψ₀，其值的大小与被测物、背景及激光光条有关，来判定被测物的两个边界位置；设由上述公式得到的极值点的极值为其所对应的光条中心位置为则：

$\left\{\begin{array}{cc}(u_{i_c}^k,v_{i_c}^k)\∈edgepo\mathrm{int}& {\mathrm{\ψ}}_{i_c}\≤{\mathrm{\ψ}}_0\\ (u_{i_c}^k,v_{i_c}^k)\∉edgepo\mathrm{int}& {\mathrm{\ψ}}_{i_c}>{\mathrm{\ψ}}_0\end{array}\right.---\left(7\right)$

由此得到被测物第k根光条的两个边界位置，接着对所有光条进行同样的操作，得到所有光条对应的边界轮廓位置；

第三步三维形面还原

识别出边界轮廓以后，对边界轮廓内的信息进行保留，而对边界轮廓外的信息予以剔除，然后对轮廓内的光条信息进行三维重建；

1)光条中心匹配利用极线约束对双目视觉测量系统中左、右相机的图像进行对应左、右图像光条中心的匹配；具体做法是：首先采用八点归一化算法计算出左、右相机的基本矩阵F，然后通过左、右相机采集到的光条图像之间的极线约束关系进行对应点匹配；设左图像光条中心点x_i'与右图像光条中心点x_i′′相匹配，极线约束条件为：

$x_i^{\′T}{{\mathrm{Fx}}_{i^{\′}}}^{\′}=0---\left(8\right)$

其中，x_i'为左相机采集的图像光条中心点的像面坐标；x_i′′为与x_i'相匹配由右相机所采集图像光条中心点的像面坐标；F为两相机之间的基本矩阵；

2)三维重建，对得到的匹配点进行三维重建，重建公式如下：

$\left\{\begin{array}{c}{x}_i=\frac{{\mathrm{zX}}_i^{\′}}{f_1}\\ y_i=\frac{{\mathrm{zY}}_i^{\′}}{f_1}\\ z_i=\frac{f_1(f_2{t}_y-{Y_{i^{\′}}}^{\′}{t}_z)}{Y_1(r_7{X}_i^{\′}+r_8{Y}_i^{\′}+r_9{f}_1)-f_2(r_4{X}_i^{\′}+r_5{Y}_i^{\′}+r_6{f}_1)}\end{array}\right.---\left(9\right)$

其中，X_i'，Y_i'分别为左相机采集的图像光条中心点x_i′的像面横纵坐标；X_i′′，Y_i′′分别为右相机采集的图像光斑中心点x_i‘'的像面横纵坐标；f₁、f₂分别为左、右相机标定得到的焦距； $\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 是右相机相对于左相机的旋转矩阵，[t_xt_yt_z]是右相机相对于左相机的平移矩阵，由此得到重建的三维形面。