CN105157562B - 一种小空间复杂精密工件几何尺寸在线动态视觉测量系统及测量方法 - Google Patents

Abstract

本发明公开了一种小空间复杂精密工件几何尺寸在线动态视觉测量系统及测量方法，测量系统包括：多视点光栅式立体视觉传感器光学探头、光栅光条投射模块、光栅图像成像及采集模块、包含图像分析及数学计算模块和标定模块的测量系统软件、计算机以及相关附件；该系统具有结构紧凑小巧、系统组成简单、自动化程度高等特点，非常适合在狭小空间内实现复杂精密工件几何尺寸的在线动态测量。

Description

一种小空间复杂精密工件几何尺寸在线动态视觉测量系统及 测量方法

技术领域

本发明涉及小空间复杂精密工件几何尺寸在线动态视觉测量技术，尤其涉及一种在狭小空间内基于单个摄像机和光条投射器形成的多视点测量的小空间复杂精密工件几何尺寸在线动态视觉测量系统及方法。

背景技术

在航空航天、船舶、汽车、能源设备等国家重点行业中，重大装备关键核心精密机械工件的高质量、高精度加工对实现我国国民经济发展和国防现代化建设具有重要意义。在重大装备关键核心精密机械工件的加工过程中，在线实时测量机械工件关键部位尺寸并反馈指导加工，可显著提高机械工件的加工效率及加工质量，降低废品率。

目前复杂精密工件几何尺寸测量主要包括接触式和非接触式两种。接触式检测技术是目前生产中较多采用的一种测量方法，但存在效率低、精度差等问题。尤其是在测量内腔尺寸、孔洞尺寸是存在困难，更无法实现在线动态测量。非接触式检测技术主要有激光跟踪仪、3D激光测距仪、全站仪、经纬仪、视觉检测技术等。随着计算机技术、电子学、光学技术的日趋完善以及图像处理、模式识别等技术的不断进步，视觉测量技术得到快速发展。线结构光法和光栅结构光法是目前应用最广泛的三维动态视觉检测方法。线结构光法和光栅结构光法具有设备简单、自动化程度、光条投射器功率和波长可灵活选择、适合动态测量等优点。两者的主要区别是：线结构光法投射一根光条，测量物体一个表面轮廓；光栅结构光法投射多根光条，测量物体多个表面轮廓，光栅结构光法更具效率。

以上结构光视觉检测法中介绍的测量系统都是单视点测量，只可以测量摄像机前方有限区域，无法实现多视点测量。但是在测量复杂精密机械工件的几何尺寸时，尤其是测量机械工件内腔宽度、高度，或孔径等几何尺寸时，单视点测量系统由于受视场限制和物体遮挡等因素无法完成测量任务，因此需要测量系统具有多视点测量功能。

目前，根据全局统一方式的不同，多视点测量主要分为两大类：流动式视觉检测法和多传感器视觉检测法。流动式视觉检测法通过单个三维扫描仪以流动方式测量整个工件，通常以粘贴在工件上的标志点或放置在工件前的靶标为中介，将所有流动测量得到的子区域局部数据统一到全局坐标系。也有将三维扫描仪与机器人或高精度三维移动台结合将每次三维扫描仪测量的局部数据统一到全局坐标系。该类方法优点是适合工业现场静态测量，但无法实现狭小空间内部尺寸测量，也无法实现动态测量。多传感器视觉检测法在测量前完成多视觉传感器全局标定，测量时根据全局标定结果，将每个视觉传感器测量的子区域数据统一到全局坐标系下。该方法原理简单，可以实现整个工件几何尺寸测量，但存在多视觉传感器现场全局标定困难，全局标定后各传感器之间位置容易发生移动导致测量精度下降或失效等局限性。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种仅采用单个摄像机和光条投射器就可以在狭小空间内进行多视点测量的小空间复杂精密工件几何尺寸在线动态视觉测量系统及方法。

为达到上述目的，本发明的技术方案是这样实现的：一种小空间复杂精密工件几何尺寸在线动态视觉测量系统，所述复杂精密工件是指形状和结构复杂精致细致的工件，多存在内腔和孔洞，测量时需要进入内腔和孔洞之中，因此测量空间狭小受限，为了能在狭小受限空间内测量内腔、孔洞等的几何尺寸，所述测量系统包括：多视点光栅式立体视觉传感器光学探头、光栅光条投射模块、光栅图像成像及采集模块、包含图像分析及数学计算模块和标定模块的测量系统软件、计算机以及相关附件。计算机通过光栅光条投射模块将光条图像投射在光学探头底部的多平面反射镜片上反射到被测工件上，光栅图像成像及采集模块将通过光学探头形成的多视点立体视觉光路将立体视觉图像传送到计算机内存中，计算机内测量系统软件中的图像分析及数学计算模块处理光条图像，并结合标定结果计算出被测工件的几何尺寸。

所述多视点光栅式立体视觉传感器光学探头下部为一个四平面反射镜，上部为一个五平面反射镜片。通过光学探头下部四平面反射镜和上部五平面反射镜构成具有较大基线距的四个立体视觉光路。同时，下部四平面反射镜中有通孔，内放置摄像机用的微型镜头；上部五平面反射镜片中也有一通孔，内放置光条投射器用的微型镜头。经光纤传输，光条投射器发出的光条图案通过底部四平面反射镜照射在被测工件上。通过光纤传输立体视觉图像到摄像机成像芯片上，再传送到计算机内存中。

所述光栅光条投射模块主要包括光条投射器、转接镜头和传输投送光条图像的光纤传输线。光栅图像成像及采集模块主要包括摄像机、控制器、转接镜头和传输图像的光纤传输线。光栅光条投射模块中的光条投射器将光条图像经过转接镜头通过光纤传输线传送到多视点光栅式立体视觉传感器光学探头上的光条投射器用微型镜头上，再经过微型镜头投射到被测机械工件上。光栅图像成像及采集模块中的摄像机通过控制器控制，采集经过多视点光栅式立体视觉传感器光学探头上的图像，再将图像传送到计算机内存中。

图像分析及数学计算模块，主要负责分析和处理传送到计算机内存中的光条图像数据，得出匹配好的光条图像后代入系统数学模型，计算出被测工件的几何尺寸。

本发明与现有技术相比的优点在于：本发明中的多视点光栅式立体视觉传感器光学探头设计是一种简单、紧凑的光学结构，仅采用一个摄像机和光条投射器就可以实现小空间多视点光栅式双目立体视觉测量。光栅光条投射模块设计和光栅图像成像及采集模块设计是采用小型镜头和光纤结合的方式，通过设计相应光路将光条投射器的光条图像投射到被测工件上，同时将光学信号传导到摄像机成像芯片上实现成像并传送到计算机内存中。图像分析及数学计算模块是系统软件结构，通过分析内存中的图像数据，提取图像特征并结合系统标定结果实现狭小空间复杂精密工件几何尺寸在线动态测量。该系统具有结构紧凑小巧、测量自动化程度、系统组成简单等特点，非常适合在狭小空间内实现复杂精密工件几何尺寸的在线动态测量。

附图说明

图1为本发明实施例的一种基于单摄像机的小空间复杂精密工件几何尺寸在线动态多视点视觉测量系统的结果示意图；

图2为本发明实施例中多视点光栅式立体视觉传感器光学探头的结构示意图；

图3为本发明实施例中光栅式双目视觉传感器的测量模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

如图1所示，本发明提供了一种仅采用单个摄像机和光条投射器就可以在狭小空间内进行多视点测量的小空间复杂精密工件几何尺寸在线动态视觉测量系统。该系统包括：多视点光栅式立体视觉传感器光学探头1、光栅光条投射模块2、光栅图像成像及采集模块3、包含图像分析及数学计算模块4和标定模块5的计算机6；计算机6通过光栅光条投射模块2将光条图像投射在多视点光栅式立体视觉传感器光学探头1底部的多平面反射镜片上，反射到被测工件12上，光栅图像成像及采集模块3将通过光学探头1形成的多视点立体视觉光路利用光纤17将立体视觉图像传送到计算机6内存中，计算机6内测量系统软件中的图像分析及数学计算模块4处理光条图像，并结合标定模块5的结果计算出被测工件12的几何尺寸。

如图2所示，多视点光栅式立体视觉传感器光学探头1下部为一个四平面反射镜15，上部为一个五平面反射镜片16。其中下部四平面反射镜15为四面棱锥形，上部五平面反射镜16为削去尖部的四面棱锥所构成的五平面反射镜。通过光学探头下部四平面反射镜15和上部五平面反射镜16构成具有较大基线距的四个立体视觉光路。经光纤18传输，光条投射器用微型镜头13发出的光条图案通过底部四平面反射镜照射在被测工件的内腔两侧19、20上。通过光纤17传输摄像机用微型镜头14拍摄的立体视觉图像到摄像机成像芯片上，再传送到计算机6内存中。

如图1所示，光栅光条投射模块2包括光条投射器7、转接镜头11和传输投送光条图像的光纤传输线18。光栅图像成像及采集模块3主要包括摄像机8、控制器9、转接镜头10和传输图像的光纤传输线17。光栅光条投射模块2中的光条投射器7将光条图像经过转接镜头11通过光纤传输线18传送到多视点光栅式立体视觉传感器光学探头1上的光条投射器用微型镜头13上，再投射到被测机械工件上。光栅图像成像及采集模块3中的摄像机通过控制器9控制，采集经过多视点光栅式立体视觉传感器光学探头1上的图像，再将图像传送到计算机内存中。由于采用光纤17和摄像机用微型镜头14传输和采集图像，因此测量系统具有很大灵活性，非常适合在工业现场环境进行复杂精密工件几何尺寸在线动态测量。

其中，图像分析及数学计算模块4，主要负责分析和处理传送到计算机内存中的光条图像数据，得出匹配好的光条图像后代入系统数学模型，计算出机械工件的几何尺寸。为了满足测量系统实时性要求，本发明采用CPU+GPU方式并结合多线程技术实现光条图像处理、光条匹配、几何尺寸计算等过程，这不但可以提高测量系统的测量速度，而且还可以进一步提高测量系统的鲁棒性和可维护性。

对应上述多视点测量的小空间复杂精密工件几何尺寸在线动态视觉测量系统，本发明建立了一种高精度测量系统数学模型，主要包括：摄像机成像模型、光学镜头畸变模型、光栅式立体视觉测量模型和无共同视场多视觉传感器全局统一模型。

由于摄像机是通过平面镜拍摄被测工件，因此仍然满足透视投影变换。本项目中摄像机成像模型、光学镜头畸变模型、光栅式双目立体视觉测量模型仍然采用现有的数学模型。光栅式双目立体视觉传感器以光栅光条为特征，基于双目立体视觉模型，实现空间三维坐标测量，如图3。

下面具体描述实现多视点测量的小空间复杂精密工件几何尺寸在线动态视觉测量的实施步骤：

步骤101，动态视觉测量系统标定

A、多视点光栅式立体视觉传感器光学探头的结构调整

根据被测工件的几何尺寸调整光条投射器(上部五面反射镜)和摄像机(下部四面反射镜)之间的距离，以此来调整系统的测量范围，使测量得到的数据更加精准。

B、多视点光栅式立体视觉传感器光学探头中摄像机内部参数标定

将平面靶标在摄像机前自由移动五次以上，提取平面靶标特征点图像坐标，采用张正友在2000年11月发表的文章“A flexible new technique for camera calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法分别标定多视点光栅式立体视觉传感器光学探头中摄像机的内部参数A。

步骤102，光栅光条图像中心快速识别及定位。

计算机通过控制器同时控制光栅光条投射模块中的光条投射器将光条图像经过转接镜头通过光纤传输线传送到多视点光栅式立体视觉传感器光学探头上的光条投射器用微型镜头上，再经过微型镜头投射到被测机械工件上。光栅图像成像及采集模块中的摄像机通过控制器控制，采集经过多视点光栅式立体视觉传感器光学探头上的图像，再将图像传送到计算机内存中。

采用Steger在1998年2月发表的论文“An unbiased detector of curvilinearstructures，IEEE Transaction on Pattern Analysis Machine Intelligence.”提到的光条图像中心提取方法提取光栅光条图像中心点。首先计算图像各点Hessian(海森)矩阵，根据光条图像灰度曲面特征，通过各图像点的Hessian矩阵中特征值和特征向量判断光条中心候选点，再通过链接方式将光条中心候选点链接在一起形成光条图像数据。最后采用光条空间位置约束结合双目立体视觉中的极线约束实现在单摄像机的光学反射镜片方式构成双目立体视觉传感器中光条的识别定位。

步骤103，单摄像机的光学反射镜片方式构成双目立体视觉传感器局部三维重建。

如图3所示，光栅光条点P分别在左、右摄像机成像，利用双目立体视觉模型解算点P在双目视觉传感器坐标系下的三维坐标，以左摄像机坐标系为基础建立双目视觉传感器坐标系。设p₁和p₂分别为光栅光条点P在左、右摄像机图像坐标系下无畸变图像齐次坐标。l₁为p₂在左摄像机图像中的极线，l₂为p₁在右摄像机图像中的极线。左摄像机坐标系为O_c1x_c1y_c1z_c1，右摄像机坐标系为O_c2x_c2y_c2z_c2，左摄像机像平面坐标系为O_n1u_n1v_n1z_c1，右摄像机像平面坐标系为O_n2u_n2v_n2z_c2。左摄像机坐标系到右摄像机坐标系的旋转矩阵和平移向量为R₁₂,t₁₂。本项目拟采用的光栅式双目视觉传感器测量模型如式(1)，根据式(1)通过最小二乘法求解P。

光栅式双目视觉传感器的测量模型如式(1)所示：

上式中，A₁和A₂分别为双目立体视觉传感器中左右摄像机内部参数，由于本发明采用一个摄像机通过光学反射镜片方式构成双目立体视觉传感器，因此A₁＝A₂。p₁和p₂分别为光栅光条点P在左、右摄像机图像坐标系下无畸变图像齐次坐标，P为摄像机投影矩阵，ρ₁、ρ₂为非零比例系数，I为单位矩阵。

在实际测量中，摄像机成像系统中往往存在镜头畸变。设p_d＝(u_d,v_d,1)^T为有畸变图像齐次坐标，p＝(u,v,1)^T为无畸变图像齐次坐标，p_n＝(u_n,v_n,1)^T为归一化图像齐次坐标，则发明实施例采用的镜头畸变模型可表示为：

上式中，点P距图像中心的径向距离其中(x_n,y_n)为点P理想无畸变归一化图像坐标；k₁、k₂为镜头径向畸变系数；(u₀,v₀)为摄像机主点坐标，(u_d,v_d)为光栅光条点P的有畸变图像坐标，(u,v)光栅光条点P的无畸变图像坐标。

根据光栅式双目视觉传感器的两摄像机匹配上的光条中心点图像坐标，通过式(1)可以得到光栅光条中心点在光栅式双目视觉传感器坐标系下的三维坐标，实现光栅式双目视觉传感器局部三维重建。

步骤104，局部三维数据的全局统一。

定义光栅式双目立体视觉传感器1坐标系为O_Gx_Gy_Gz_G。设O_ix_iy_iz_i为第i个光栅式双目立体视觉传感器坐标系，T_si,s1是第i个光栅式双目立体视觉传感器坐标系到光栅式双目立体视觉传感器1坐标系之间的转换矩阵，p_c1、p_c2、p_c3、p_c4分别为光栅式双目立体视觉传感器1、2﹑3、4测量得到的局部三维数据，p_G1、p_G2、p_G3、p_G4分别为光栅式双目立体视觉传感器1、2﹑3、4在全局坐标系下坐标。则光栅式双目立体视觉传感器1、2﹑3、4可通过式(3)将所测局部数据统一到全局坐标系下。

具体如式(3)所示：

上式中，T_s2,s1、T_s3,s1、T_s4,s1需事先标定已知，T₁为单位矩阵。根据式(3)就可以将4个光栅式双目立体视觉传感器测量得到的局部数据统一到全局坐标系下，再计算例如内腔宽度、高度，空洞直径等复杂精密工件几何尺寸。

综上所述，本发明通过多平面光学反射镜和摄像机及光条投射器结合设计了小空间复杂精密工件几何尺寸在线动态视觉测量系统的软硬件框架结构、测量机理及工作模式，解决测量系统软硬件框架结构优化设计、现场同步快速高精度标定等关键科学问题，并构建测量系统验证样机，为狭小空间复杂精密工件几何尺寸在线动态测量提供有效的技术途径和检测手段，在精密机械加工的闭环控制中引入视觉检测，有利于进一步提高加工效率和质量。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (2)

1.一种小空间复杂精密工件几何尺寸在线动态视觉测量系统，所述复杂精密工件是指形状和结构复杂精致细致的工件，多存在内腔和孔洞，测量时需要进入内腔和孔洞之中，其特征在于包括：多视点光栅式立体视觉传感器光学探头、光栅光条投射模块、光栅图像成像及采集模块和计算机，其中计算机包含图像分析及数学计算模块、标定模块；计算机通过光栅光条投射模块将光条图像投射在多视点光栅式立体视觉传感器光学探头底部的多平面反射镜片上反射到被测工件上，光栅图像成像及采集模块通过多视点光栅式立体视觉传感器光学探头所形成的多视点立体视觉光路采集光条图像并将该光条图像传送到计算机内存中，计算机内的图像分析及数学计算模块处理光条图像，并根据标定模块对多视点光栅式立体视觉传感器光学探头中摄像机内部参数的标定结果计算出被测工件的几何尺寸；

所述多视点光栅式立体视觉传感器光学探头底部为一个四平面反射镜，上部为一个五平面反射镜片；通过四平面反射镜和上部五平面反射镜构成具有较大基线距的四个立体视觉光路；同时，底部四平面反射镜中有通孔，内放置摄像机用的微型镜头；上部五平面反射镜片中也有一通孔，内放置光栅光条投射模块中光条投射器用的微型镜头；经光纤传输，光栅光条投射模块中光条投射器发出的光条图像通过底部四平面反射镜照射在被测工件上；

所述光栅光条投射模块包括光条投射器、转接镜头和传输投送光条图像的光纤传输线；所述光栅图像成像及采集模块包括摄像机、控制器、转接镜头和传输图像的光纤传输线；光栅光条投射模块中的光条投射器将光条图像经过转接镜头通过光纤传输线传送到多视点光栅式立体视觉传感器光学探头上的光条投射器用微型镜头上，再经过微型镜头投射到被测工件上；摄像机通过控制器控制采集经过多视点光栅式立体视觉传感器光学探头上的光条图像，再将光条图像传送到计算机内存中；

所述图像分析及数学计算模块负责分析和处理传送到计算机内存中的光条图像数据，得出匹配好的光条图像后代入系统数学模型，计算出被测工件的几何尺寸，具体实现过程如下：

(1)从计算机内存中读入光条图像数据，通过利用光条空间位置约束和双目立体视觉中的极线约束条件，加上计算像素级边缘区域的一阶矩，实现在单摄像机的光学反射镜片方式构成双目立体视觉传感器中光条的识别定位，从而实现光条的提取；对提取后的光条进行搜索，找到不同光条中心点集间的距离最小且模型号相同的光条，完成匹配；

(2)根据(1)中匹配好的光条带入系统数学模型中，单独的光栅式双目视觉传感器的测量模型如下式所示：

$\left\{\begin{array}{c}{\mathrm{\ρ}}_1{p}_1=A_1\left[\begin{array}{cc}I& 0\end{array}\right]P\\ {\mathrm{\ρ}}_2{p}_2=A_2\left[\begin{array}{cc}{R}_{12}& t_{12}\end{array}\right]P\end{array}\right.$

其中设p₁和p₂分别为光栅光条点P在光栅式双目立体视觉传感器中左、右摄像机图像坐标系下无畸变图像齐次坐标；A₁和A₂分别为光栅式双目立体视觉传感器中左右摄像机内部参数；光栅式双目立体视觉传感器中左摄像机坐标系到右摄像机坐标系的旋转矩阵和平移向量为R₁₂,t₁₂，ρ₁、ρ₂为非零比例系数,I为单位矩阵，从而得到光条上特征点的三维坐标。

2.一种利用权利要求1所述系统进行小空间复杂精密工件几何尺寸在线动态视觉测量方法，其特征在于实现步骤如下：

第一步，计算机通过光栅光条投射模块中的光条投射器等器件将光条图像投射在光学探头底部的多平面反射镜片上反射到被测工件上；

第二步，光栅图像成像及采集模块在狭小空间中采集到经过步骤1投射后的被测工件的立体视觉图像，再通过光纤传输立体视觉图像到摄像机成像芯片上，传送到计算机内存中；

第三步，从计算机内存中读入步骤2的光条图像数据，通过利用光条空间位置约束和双目立体视觉中的极线约束条件，实现光条的提取；对提取后的光条进行双目摄像机模型匹配，得到匹配后的光条；

第四步，将第三步匹配好的光条带入标定后的系统数学模型中，从而得到光条上特征点的三维坐标；将得到的所有特征点进行三维建模，最终得到被测工件的几何尺寸。