CN105572139B - 基于双目视觉的碗形塞加工误差检测系统与检测方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的碗形塞加工误差检测系统与检测方法，其目的是设计出一种可以满足不同直径规格碗形塞微米数量级加工误差的检测要求，并消除碗形塞表面杂质对检测带来的影响的测试系统。将碗形塞放在一个旋转机构上匀速旋转，利用两台平行方向放置的摄像机采集碗形塞直径端面的多组图像，通过所提出的端面杂质去除方法校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差，进而达到判断碗形塞合格性的目的，不仅能够保证产品质量，而且还能够及时更换模具，避免因持续生产不合格产品而造成资源浪费。

Description

基于双目视觉的碗形塞加工误差检测系统与检测方法

技术领域：本发明属于误差检测领域，涉及碗形塞加工误差检测方法，特别是涉及一种基于双目视觉的碗形塞加工误差在线检测系统与检测方法。

背景技术：为满足冷热加工的工艺需求，会在发动机等铸件上设置工艺孔，用碗形塞进行封闭。碗形塞大多为冲压件，生产过程中模具的长期磨损和碗形塞内应力的存在都会导致碗形塞尺寸不良，进而出现发动机漏水、漏油现象。在批量生产过程中，对成品进行加工误差检测，不仅能够保证产品质量，而且还能够及时更换模具，避免因持续生产不合格产品而造成资源浪费。

目前生产企业采用机械量具进行人工检测，其检测的精度和效率难以得到保证，面向企业自动化生产需要，本文提出采用视觉检测的方式进行碗形塞的加工误差在线检测。机器视觉检测技术在零件加工误差检测方面应用广泛，然而在大尺寸检测领域的检测精度不高，选用高分辨率摄像机和图像拼接技术都可以提高检测精度，然而高分辨率摄像机价格昂贵，拼接技术又不能完全补偿误差，采用机器视觉检测将面临如下问题:碗形塞的直径种类多，难以选择一个合适视场的镜头和合适分辨率的摄像机来满足不同直径种类碗形塞加工误差的检测要求；目前市场上单个摄像机的分辨率难以满足待检碗形塞所对应尺寸下的微米数量级分辨率检测要求；碗形塞直径端面存在的杂质对图像中直径检测的结果影响较大。

发明内容：

发明目的：本发明涉及一种基于双目视觉的碗形塞加工误差在线检测方法与系统设计，其目的是设计出一种可以满足不同直径规格碗形塞微米数量级加工误差的检测要求，并消除碗形塞表面杂质对检测带来的影响的测试系统。将碗形塞放在一个旋转机构上匀速旋转，利用两台平行方向放置的摄像机采集碗形塞直径端面的多组图像，通过所提出的端面杂质去除方法校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差，进而达到判断碗形塞合格性的目的，不仅能够保证产品质量，而且还能够及时更换模具，避免因持续生产不合格产品而造成资源浪费。

技术方案：

一种基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统采用两组小口径远心镜头和中等分辨率的摄像机，该系统具体包括：

(1)碗形塞加工误差在线检测系统硬件平台:所述硬件平台由碗形塞旋转控制模块、远心光学成像模块和图像处理模块组成；

(2)碗形塞加工误差在线检测算法，该算法具体步骤如下：

1)程序初始化：包括人机界面初始化和参数设置；所述参数设置为设置摄像机ID号，摄像机触发方式、图像大小、图像格式和采集间隔；

2)图像预处理：对原始图像进行区域选择、灰度化、二值化、阈值分割、边缘检测；

3)单像素级边缘检测：具体为背光源照射下碗形塞直径端面在图像中呈现为暗区域，背景为亮区域，图像亮暗交界处像素的灰度差值最大，利用梯度法进行单像素级边缘检测；

4)端面杂质去除：

该步骤的计算公式如下：

其中R_n为本次直径检测值，R_n-1为上次直径检测值，k为限幅阈值；其中每次获取新的直径时均需判断:若R_n与R_n-1相差小于k，则本次直径检测值有效；若R_n与R_n-1相差大于k，则本次直径检测值无效，将R_n及其前面连续N-1个R值求和取平均，均值作为本次采样值；

5)加工误差检测：所述加工误差检测包括直径加工误差检测和锥度加工误差检测两部分，计算公式如下：

R_n＝b_n1+b_n2+c

T＝(R_n-R_n*)/h

其中R_n为碗形塞第n个下端直径，即碗形塞直径值，b_n1为第n个左边图像中碗形塞部分直径检测值，b_n2为第n个右边图像中碗形塞部分直径检测值，c为镜头间距；T为锥度，R_n*为上端直径，h为高度；碗形塞的第m个直径计算公式为：

R_m＝b_m1+b_m2+c

碗形塞第n个直径检测值和第m个检测值之间的差异为:

R_n-R_m＝(b_n1+b_n2)-(b_m1+b_m2)

(3)多线程程序设计：采用Win32API动态链接库创建多线程，将整个程序划分成四个线程：具体为：

两个数据采集处理线程：控制两台摄摄像机同步工作，记录数据并保存图片；数据显示线程：从数据缓冲池中提取数据，显示检测结果；

主线程：负责响应人机交互的各项功能。两个数据采集处理线程间需要通信，主要采用全局变量和Message消息制来实现；

所述各线程之间并行运行。

所述的基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统中所述的碗形塞旋转控制模块包括电机、变速器和旋转机构。

所述的基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统中所述的远心光学成像模块包括摄像机、双远心镜头、远心平行光源和PCIE扩展卡；所述摄像机与PCIE扩展卡连接；所述PCIE扩展卡与计算机上的对应端口连接；所述摄像机安装在滑道上。

所述的基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统中所述的图像处理模块具体为嵌有Visual Studio语言程序的计算机，其作用是融合两台摄像机的多组图像数据来获取被检碗形塞的加工误差，并对碗形塞表面存在的杂质干扰能起到滤波作用，同时将检测结果实时显示在计算机的人机界面上。

一种基于双目视觉的碗形塞加工误差检测方法，其特征在于：该方法包括以下步骤：

步骤1：设置摄像机ID号；

步骤2：设置摄像机触发方式，具体为通过编写代码来不断查询摄像机当前状态，符合条件则触发采集；

步骤3：设置图像大小、格式和采集间隔，所述图像为8位BMP格式，当旋转机构的转速或摄像机的帧率变化时，通过改变相应的定时器参数改变图像采集间隔；

步骤4：按顺序取待测碗形塞放到旋转机构上，记录采集到的图像、数据及数据曲线，碗形塞旋转半周后停止数据记录和图像保存。

优点及效果：本发明为解决较大尺寸碗形塞微米数量级的检测难题，提出了一种基于双目视觉的碗形塞加工误差在线检测方法与系统设计。经检索，未发现基于机器视觉的碗形塞加工误差检测方法。本发明以两组小口径远心镜头和中等分辨率的摄像机同步采集旋转碗形塞同一直径端面处的图像，降低了设备的成本，提高了系统的通用性；以二值图像为特征提取对象，运用梯度边缘检测法对图像进行单像素级边缘检测；通过所提出的端面杂质去除方法校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差，进而达到判断碗形塞合格性的目的，不仅能够保证产品质量，而且还能够及时更换模具，避免因持续生产不合格产品而造成资源浪费。

该方法对比人工检测方法有时间短，准确率高的优点，能够实现在线实时检测；对比单目视觉检测具有通用性强，分辨率高，设备轻便，价格适中的优点，在工厂流水作业的情况下可以对碗形塞加工误差进行实时、准确检测，增强了系统的实时性，可开发嵌入式系统，实现碗形塞加工误差在线识别。

附图说明：

图1为：系统结构示意图；

图2为：系统结构图；

图3为：双远心镜头光路原理图；

图4为：系统检测流程图；

图5为：不同规格碗形塞尺寸检测示意图；

图6为：偏心旋转检测示意图；

图7为：镜头不平行示意图；

图8为：镜头高度不一致示意图；

图9为：滤波曲线图。

具体实施方式：

本发明的技术思想是：将碗形塞放在一个旋转机构上匀速旋转，选用两台平行方向放置的高分辨率面阵摄像机配合使用两个双远心镜头同时采集碗形塞直径端面处的图像,通过所提出的端面杂质去除方法来校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差,进而判断碗形塞的合格性。

下面结合附图和具体的实施方式对本发明做进一步的说明：

碗形塞直径种类多，设计公差在微米数量级，生产企业只能通常加大人工检测的强度和力度来满足客户日益增长的需求。碗形塞在生产过程中会受到很多不确定因素的影响，进而导致不同方向上尺寸不一，因此需要在线检测碗形塞多个方向上的尺寸。目前生产企业主要利用机械量具进行人工检测，工人只能抽样检测零件的部分尺寸，这将直接影响到零件检测的准确性，无法实现100％在线碗形塞尺寸检测。运用视觉检测方法将面临如下问题：如果选用一台摄像机来获取碗型塞的直径尺寸，对于小尺寸的碗形塞可以分辨到微米数量级，然而碗形塞的直径尺寸各异，对于直径达到几十毫米甚至一百多毫米的碗形塞是很难达到检测要求的；由于碗型塞的直径种类多，难以选择一个合适视场的镜头和合适分辨率的摄像机来完成不同直径种类碗形塞的尺寸检测，大大地增加了检测成本，因此本文提出基于双目视觉的碗形塞加工误差在线检测方法，并设计了检测系统。

碗形塞加工误差双目视觉检测方法选用两组摄像机采集碗形塞直径端面图像，采集到的图像进行可进行区域选择，灰度化、二值化、阈值分割等图像预处理操作，可以减少图像的储存空间，提高图像处理效率，增加检测的准确率。以灰度图像为基础，增加了识别的稳定性，同时选用边缘梯度法进行单像素级边缘检测，通过所提出的端面杂质去除方法校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差，进而判断碗形塞合格性，提高碗形塞加工误差的检测速度，增加在线检测系统的实时性、通用性和实用性。

本发明涉及一种基于双目视觉的碗形塞加工误差在线检测方法与系统设计，其目的是设计出一种可以针对不同尺寸规格碗形塞微米数量级的检测要求，并采用端面杂质去除法减少碗形塞表面的杂质对检测结果的影响，进而对碗形塞加工误差进行准确检测的方法。通过对100个碗形塞进行在线实时检测实验，证明该方法的可行，具有检测正确率高，检测速度快，便于安装，设备轻便的特点，也可以依据算法进行嵌入式系统的研究，最终实现对碗形塞加工误差的检测，进而判断碗形塞合格性，提高产品质量，避免因持续生产不合格产品而造成资源浪费。

解决较大尺寸碗形塞微米数量级的检测难题，提出了一种基于双目视觉的碗形塞加工误差在线检测方法。经检索，未发现基于机器视觉的碗形塞加工误差检测方法。本发明以两组小口径远心镜头和中等分辨率的摄像机同步采集旋转碗形塞同一直径端面处的图像，降低了设备的成本，提高了系统的通用性；以二值图像为特征提取对象，运用梯度边缘检测法对图像进行单像素级边缘检测；通过所提出的端面杂质去除方法校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差。该方法对比人工检测方法有时间短，准确率高的优点，能够实现在线实时检测；对比单目视觉检测具有通用性强，分辨率高，设备轻便，价格适中的优点，在工厂流水作业的情况下可以对碗形塞加工误差进行实时、准确检测，增强了系统的实时性。

本发明的实现步骤如下：

(1)搭建碗形塞加工误差在线检测系统硬件平台:部分待检碗形塞形变的存在会造成不同方向上直径尺寸不一，因此需要检测碗形塞不同方向上的加工误差，针对待检碗形塞的尺寸规格和规定的加工误差，选定适合的视觉检测方案，具体步骤如下：

1)比较单目视觉和双目视觉在碗形塞加工误差检测方面的优缺点，如表1所示，双目视觉检测方案具有通用性强，分辨率高设备轻便，价格适中的优点，因此选定双目视觉检测方案。

表1单目视觉和双目视觉检测方案优缺点比较

确定双目视觉检测法案的系统组成及器件选取。选用两台平行方向放置的高分辨率面阵摄像机配合使用两个双远心镜头同时采集碗形塞直径端面处的图像,通过所提出的端面杂质去除方法来校正检测结果，再通过数据处理获得碗形塞直径和锥度的加工误差,进而判断碗形塞的合格性。经调研发现目前能够达到检测要求的双远心镜头中，两个镜头之间的最小间距都大于被检直径。设计时将两个镜头分别放置在碗形塞的两侧，大大降低了被检直径对镜头选形的要求。系统由碗形塞旋转控制模块、远心光学成像模块和图像处理模块组成。

碗形塞旋转控制模块：用来确定待检碗形塞的空间位置,保证碗形塞直径端面能够分别出现两个镜头的视场内；带动碗形塞匀速旋转，便于碗形塞成像；可以依据实验环境选择适合检测的最佳转速以实现摄像机在不同帧率下对图像的采集和处理。由电机、变速器和旋转机构组成。

远心光学成像模块：由一台计算机控制两台摄像机并行采集碗形塞直径端面处的图像，采集到的图像由USB传输到PCIE总线上，由摄像机、双远心镜头、远心平行光源和PCIE扩展卡组成。

图像处理模块：融合两台摄像机的多组图像数据来获取被检碗形塞的加工误差，提出的端面杂质去除方法对碗形塞表面存在的杂质干扰能起到较好的滤波效果，检测结果实时显示在人机界面上，由嵌有Visual Studio语言程序的计算机来实现。

阐述远心光学成像模块的原理和设计。

端面为光滑曲面的碗形塞在背光源的照射下，在普通镜头中成像时，一部分光线经直径端面反射后会进入镜头中，使碗形塞端面在图像中为亮区域，而碗形塞在图像中应为暗区域，因此造成了检测差异。物距和像距的变化、镜头的偏移也会造成检测误差。双远心镜头可以消除上述检测误差，且无视差、畸变小，无需标定即可完成检测，更能直接、准确地获取碗形塞的加工误差，相对普通光学系统，大大地提高了碗形塞图像边缘检测的准确性。

远心光学成像模块主要由摄像机，镜头和光源组成。系统需达到微米数量级分辨率；图像数据的传输速率要满足实时检测要求；摄像机靶面的水平宽度要大于碗形塞旋转时水平晃动的最大值。摄像机和镜头的合理搭配是获取优质图像的关键。双远心镜头可以消除物距和像距变化、镜头视角偏差所造成的误差，因此本文选用两台摄像机配合使用两个双远心镜头同时采集碗形塞直径端面处图像。系统可分辨被检碗形塞的尺寸计算公式为S＝P/M,其中P为像元尺寸，2.2um；M为镜头放大倍率，2；S为可被分辨的最小尺寸，1.1um，满足系统分辨率要求；图像由USB传输到PCIE总线上，一帧图像的采集传输时间为9ms，满足实时检测要求；摄像机靶面的水平宽度5.7mm大于碗形塞旋转时水平晃动最大值2mm，可以保证正常成像。系统选用专为远心光学设计的平行光源来实现照明，增加了镜头的自然景深和远心度；光源发出波长较短的绿光，在碗形塞端面处衍射不明显；光源采用背光照明，以光源高亮作为背景，以碗形塞阴影作为目标，突出碗形塞边缘，提高了检测精度。

(2)编写碗形塞加工误差在线检测算法并确定检测顺序，具体步骤如下：

1)程序初始化：包括人机界面初始化和参数设置。参数设置主要针对摄像机而言，需要设置摄像机ID号，摄像机触发方式、图像大小、图像格式和采集间隔。

2)图像预处理：对原始图像进行区域选择、灰度化、二值化、阈值分割、边缘检测等图像预处理操作，方便准确、快速地提取出碗形塞图像中的特征参数。

3)单像素级边缘检测：背光源照射下碗形塞直径端面在图像中呈现为暗区域，背景为亮区域，图像亮暗交界处像素的灰度差值最大，利用梯度法进行单像素级边缘检测。

4)端面杂质去除法：结合限幅滤波法和滑动滤波法提出了端面杂质去除方法，其中R_n为本次直径检测值，R_n-1为上次直径检测值，k为限幅阈值。每次获取新的直径时均需判断:若R_n与R_n-1相差小于k，则本次直径检测值有效；若R_n与R_n-1相差大于k，则本次直径检测值无效，将R_n及其前面连续N-1个R值求和取平均，均值作为本次采样值。经大量实验验证，K取4，N取10能达到较好的滤波效果，计算公式如下：

5)加工误差检测：碗形塞加工误差检测包括直径加工误差检测和锥度加工误差检测两部分，计算公式如下：

R_n＝b_n1+b_n2+c (2)

T＝(R_n-R_n*)/h (3)

其中R_n为碗形塞第n个下端直径，即碗形塞直径值，b_n1为第n个左边图像中碗形塞部分直径检测值，b_n2为第n个右边图像中碗形塞部分直径检测值，c为镜头间距；T为锥度，R_n*为上端直径，h为高度。同理，碗形塞的第m个直径计算公式为：

R_m＝b_m1+b_m2+c (4)

跟(2)式比较可以看出，碗形塞第n个直径检测值和第m个检测值之间的差异为:

R_n-R_m＝(b_n1+b_n2)-(b_m1+b_m2) (5)

直径检测值与镜头间距无关，只与左右两幅图像中碗形塞的部分直径检测值有关，适用于不同直径规格微米数量级分辨率的检测需求，如图6所示,当检测不同直径规格的碗形塞加工误差时，只需将摄像机沿滑道滑行至碗形塞边缘处采集其直径端面图像即可完成加工误差检测，检测结果实时显示在人机界面上，一旦检测出不合格产品系统会发出警示音。

(3)多线程程序设计：采用Win32API动态链接库创建多线程，保证两台摄像机在一台电脑上同步工作。将整个程序划分成四个线程：两个数据采集处理线程：控制两台摄摄像机同步工作，记录数据并保存图片；数据显示线程：从数据缓冲池中提取数据，显示检测结果；主线程：负责响应人机交互的各项功能。两个数据采集处理线程间需要通信，主要采用全局变量和Message消息制来实现。线程之间是并行运行的，防止某个线程未处理完成，融合已经开始。将数据融合放在子线程中可以减少线程之间对共享资源的抢占，减少子线程和主线程之间数据的传递，进而优化程序。

(4)实验包括三方面：检测系统与实验过程，实验结果和系统误差来源及改进方向。

1)检测系统与实验过程：本文应用单目视觉检测和双目视觉检测系统分别对100个碗形塞进行检测。检测时首先设置摄像机ID号，便于分析图像来源，用于检验两台摄像机是否同步工作；其次设置摄像机触发方式，通过编写代码来不断查询摄像机当前状态，符合条件则触发采集；最后设置图像大小、格式和采集间隔，只采集感兴趣的图像区域可以提高帧率、节省存储空间，图像为8位的BMP格式，可以完整地保存图像信息，当旋转机构的转速或摄像机的帧率变化时，改变相应的定时器参数可以改变图像采集间隔。每次按顺序取一个碗形塞放到旋转机构上，采集到的图像、数据及数据曲线都实时显示在界面上。为了防止重复的图像造成时间和空间的浪费，碗形塞旋转半周后系统自动停止数据记录和图像保存。

2)实验结果：本文选用单、双目视觉检测方案分别对已标号的100个碗形塞样本进行加工误差检测，样本中合格碗形塞直径为锥度为1:20，部分实验数据如表2所示，从表中可以清晰地看出单、双目视觉检测系统都可以准确地判断碗形塞合格性，然而单目视觉检测系统成本高，精度低，而双目视觉检测系统通用性强，对于大尺寸碗形塞加工误差的检测不需要增加摄像机的分辨率即可达到高精度的检测要求，较大地降低了设备成本，且检测结果更接近实际结果，因此就系统的实用性、通用性和准确性而言，双目视觉检测方案更具有优势。

3)系统误差来源及改进方向：系统用来实现碗形塞加工误差精密检测，因此碗形塞偏心旋转、镜头偏移以及外界震动等不良因素都会对检测结果造成直接影响。实验时需通过定做的高精度旋转机构来保证碗形塞同心旋转，镜头和光源都固定在严格平行的轨道上面，防止偏移，所有的设备固定在光学平板上面，可以对生产线上的震动起到抑制作用。

表2碗形塞加工误差检测结果(单位：mm)

多线程程序的开发可以保证两台摄像机同步工作，不仅满足检测要求，还能节约大量的图像采集处理时间。系统需要采集并处理碗形塞上下直径端面图像共16张，时间最多为465ms；人工检测需要将碗形塞放置在两个依据加工误差上下限定制的大小不一的标准孔中，分别旋转4次，最少需要4917ms完成一个碗形塞的检测。实际生产线每秒生产2个碗形塞，双目视觉在线检测的速度远远高于人工检测且能够满足在线检测要求。

表3图像处理时间表(单位：ms)

Claims (4)

1.一种基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统采用两组小口径远心镜头和中等分辨率的摄像机，该系统具体包括：

(1)碗形塞加工误差在线检测系统硬件平台:所述硬件平台由碗形塞旋转控制模块、远心光学成像模块和图像处理模块组成；

(2)碗形塞加工误差在线检测算法，该算法具体步骤如下：

1)程序初始化：包括人机界面初始化和参数设置；所述参数设置为设置摄像机ID号，摄像机触发方式、图像大小、图像格式和采集间隔；

2)图像预处理：对原始图像进行区域选择、灰度化、二值化、阈值分割、边缘检测；

3)单像素级边缘检测：具体为背光源照射下碗形塞直径端面在图像中呈现为暗区域，背景为亮区域，图像亮暗交界处像素的灰度差值最大，利用梯度法进行单像素级边缘检测；

4)端面杂质去除：

该步骤的计算公式如下：

其中R_n为本次直径检测值，R_n-1为上次直径检测值，k为限幅阈值；其中每次获取新的直径时均需判断:若R_n与R_n-1相差小于k，则本次直径检测值有效；若R_n与R_n-1相差大于k，则本次直径检测值无效，将R_n及其前面连续N-1个R值求和取平均，均值作为本次采样值；

5)加工误差检测：所述加工误差检测包括直径加工误差检测和锥度加工误差检测两部分，计算公式如下：

R_n＝b_n1+b_n2+c

T＝(R_n-R_n*)/h

其中R_n为碗形塞第n个下端直径，即碗形塞直径值，b_n1为第n个左边图像中碗形塞部分直径检测值，b_n2为第n个右边图像中碗形塞部分直径检测值，c为镜头间距；T为锥度，R_n*为上端直径，h为高度；碗形塞的第m个直径计算公式为：

R_m＝b_m1+b_m2+c

碗形塞第n个直径检测值和第m个直径检测值之间的差异为:

R_n-R_m＝(b_n1+b_n2)-(b_m1+b_m2)

(3)多线程程序设计：采用Win32API动态链接库创建多线程，将整个程序划分成四个线程：具体为：

两个数据采集处理线程：控制两台摄像机同步工作，记录数据并保存图片；数据显示线程：从数据缓冲池中提取数据，显示检测结果；

主线程：负责响应人机交互的各项功能， 两个数据采集处理线程间需要通信，主要采用全局变量和Message消息制来实现；

所述各线程之间并行运行。

2.根据权利要求1所述的基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统中所述的碗形塞旋转控制模块包括电机、变速器和旋转机构。

3.根据权利要求1所述的基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统中所述的远心光学成像模块包括摄像机、双远心镜头、远心平行光源和PCIE扩展卡；所述摄像机与PCIE扩展卡连接；所述PCIE扩展卡与计算机上的对应端口连接；所述摄像机安装在滑道上。

4.根据权利要求1所述的基于双目视觉的碗形塞加工误差检测系统,其特征在于：该系统中所述的图像处理模块具体为嵌有Visual Studio语言程序的计算机，其作用是融合两台摄像机的多组图像数据来获取被检碗形塞的加工误差，并对碗形塞表面存在的杂质干扰能起到滤波作用，同时将检测结果实时显示在计算机的人机界面上。