CN107063099A - 一种基于视觉系统的机械制造业在线质量监测方法 - Google Patents

一种基于视觉系统的机械制造业在线质量监测方法 Download PDF

Info

Publication number
CN107063099A
CN107063099A CN201710230437.8A CN201710230437A CN107063099A CN 107063099 A CN107063099 A CN 107063099A CN 201710230437 A CN201710230437 A CN 201710230437A CN 107063099 A CN107063099 A CN 107063099A
Authority
CN
China
Prior art keywords
mrow
msub
image
camera
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710230437.8A
Other languages
English (en)
Other versions
CN107063099B (zh
Inventor
崔岸
孙文龙
张晗
杨宇佳
程普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201710230437.8A priority Critical patent/CN107063099B/zh
Publication of CN107063099A publication Critical patent/CN107063099A/zh
Application granted granted Critical
Publication of CN107063099B publication Critical patent/CN107063099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G06T5/80—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/102—Video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明公开了一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，包括：分别采用顶置相机和前置相机获取零件的顶置图像和前置图像；在零件顶置图像中测量零件各项尺寸，以及零件各个部件的尺寸；在前置图像中测量零件在顶置图像中不可见部分的各项尺寸，包括不可见部分的外形尺寸、相应的倾角和线圈的锥度比；松线检测；采用校正块分别对顶置相机和前置相机进行校准，并分析关于测量对象的非平面性造成的误差，进行系统深度误差矫正。本发明根据机器视觉的原理对机电零件进行在线监测，测量机电零件的各个尺寸，并检测是否出现松线现象，减少在工业生产中可能出现缺陷的零件。

Description

一种基于视觉系统的机械制造业在线质量监测方法
技术领域
本发明涉及一种机械制造在线质量检测方法，具体涉及一种基于视觉系统的机械制造业在线质量监测方法。
背景技术
工业生产对基于图像的测量系统在产品检验中所展现的优势有着强烈的兴趣。非接触的产品检测意味着减少侵蚀，减少成本，更有利的零件抽样结果在统计学中的意义以及更好的认识到运营商线路运行的情况。在传统领域，人工视觉系统已经取得成功，包括制成品，如汽车，半导体芯片，食品和药品的非接触性的检测。我们要以降低成本为目标，通过人类干预缺陷分析，以及丢弃有缺陷的零件来确保一致的产品质量，基于图像的系统也可以通过控制像工业机器人手臂等设备来使产品生产自动化。
机器视觉系统也在机械(冲压金属)组件的测量中扮演着重要的角色，来确保测量区域的数据落在给定的规范限制里，利用机器视觉系统检测成功的关键在于它有一些特有的属性，例如灵活性、可靠性、较高的运行速度、一致性和精确性，如果和传统测量系统相比，这种测量方式更有竞争力。在设计模型时，软件库组件以及通用视觉硬件的广泛应用，对人工视觉系统的发展有着强烈的影响。因此，所选择的应用程序体系结构，以及单一加工阶段所采用的算法，往往依赖于以往的经验和反复试验，以此来完成自动系统的最终调整。
因此，本发明提出将机器视觉技术应用于机械制造业的在线监测，以有效的降低产品的误差率，提高生产效率，保证系统运行的实时性与精确性。
发明内容
为了优化机械制造开发周期，本发明提供一种基于视觉系统的机械制造业在线质量监测方法，根据机器视觉的原理对机电零件进行在线监测，测量机电零件的各个尺寸，并检测是否出现松线现象，减少在工业生产中可能出现缺陷的零件，使其在生产过程中能够检测出零件的缺陷，改善在校准和测量评价阶段的不确定性。本发明可具体检测机电零件的整体长度、宽度及高度，包括零件中金属叶片的尺寸以及相对零件基线的角度，检测零件是否有松动线圈。
本发明的目的是采用如下技术方案实现的：
一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，包括以下步骤：
步骤一、图像采集：分别采用顶置相机和前置相机获取零件的顶置图像和前置图像；
步骤二、顶置图像处理：在步骤一获得的零件顶置图像中测量零件各项尺寸，以及零件各个部件的尺寸；
步骤三、前置图像处理：在步骤一获得的零件前置图像中测量零件在顶置图像中不可见部分的各项尺寸，包括不可见部分的外形尺寸、相应的倾角和线圈的锥度比；
步骤四、松线检测：对顶置图像和前置图像进行松线检测；
步骤五、对获取的数据进行误差校正：采用校正块分别对顶置相机和前置相机进行校准，并分析关于测量对象的非平面性造成的误差，进行系统深度误差矫正。
与现有技术相比本发明的有益效果是：
1.确定了较为全面的质量检测标准。利用双目结构是为了突出所需的所有在线测量中的细节。为了保证有效的在线运行，设计应考虑到接口与实时的问题。通过本发明进行测量，将检查机电部件的匹配生产要求可以分为不同的类别：(1)给定零件的宽度和高度，(2)线和参考线之间的距离，(3)线和参考线之间的角度，(4)存在不必要的缺陷。
2.提高了机械制造生产效率，降低成本，减少废物的产生。本发明采用非接触式的产品检测方法，有利于减少侵蚀，降低成本。测量系统的处理时间约为300毫秒，大大提高了生产效率。相比于人工抽样检测，视觉检测结果更加精确，有效的降低生产过程中废物的产生。
3.对系统误差进行矫正，减少机械零件在检测过程中的误检率及错检率。利用矫正块对相机进行校准，并详细分析了关于测量对象的非平面性造成的误差，对系统深度误差进行矫正，提高系统检测精度，从而进一步的降低误检率及错检率。
附图说明
图1基于视觉系统的机械制造业在线质量监控系统技术路线图
图2视觉系统组件布局
图3前置摄像机图像测量
图4松线检测算法框图
图5矫正块示意图
图6深度变化误差示意图
图7测量系统示意图
图中：
1、前置相机，2、顶置相机，3、线性电磁制动器，4、白光LED灯，5、LED背光照明
具体实施方式
以下结合附图详细介绍本发明的技术方案：
一种基于视觉系统的机械制造业在线质量监测方法，其中，视觉系统的组件的布局如图2所示，包括前置相机1、顶置相机2、线性电磁制动器3、白光LED灯4、LED背光照明5，当机电零件在生产线上进行检测时，分别通过顶置相机1和前置相机2获取零件的顶置图像和前置图像，白光LED灯4不断进行照明，从而削弱从前置相机1相反方向对产品的光照，而LED背光照明5只有在前置相机1图像采集过程中才被开启。
基于视觉系统的机械制造业在线质量监测方法包括以下步骤：
步骤一、图像采集：
通过视觉系统的顶置相机和前置相机分别获取零件的顶置图像和前置图像。顶置图像和前置图像进行完全分离的处理程序：当零件进入生产线中检测系统，先由顶置相机进行零件顶置图像采集，然后打开LED背光照明，由前置相机进行前置图像采集，并将采集的顶置图像和前置图像传入PC端进行处理。
步骤二、顶置图像处理：
顶置图像中需要测量零件各项尺寸的长度及宽度，以及零件各个部件(其他金属叶片)的尺寸，这些在设计中属于关键的数据。该算法使用典型的图像处理功能，所有的测量函数应用于所需测量的矩形区域中(ROIs)，由用户相对地定义一个主要的参考坐标系固定在产品的左上角。
顶置图像处理算法的主要步骤如下：
1)获取RGB图像的亮度和饱和度平面；
2)利用形态学和阈值算子在亮度图像中的应用，以补偿亮度的微小变化；
3)搜索主参考坐标系的位置和方向，其目的是：(1)以此来检测相对于期望位置，图像中物体位置的可能的微小变化，(2)通过相应旋转平移ROIs区域进行补偿。
4)对于长度测量，应搜索边缘直线作为参考线，搜寻这些线应有两个过程：(1)在搜索区域内，沿一组搜索线(水平或垂直)的边缘点的定位；(2)计算检测边缘点的正交最佳拟合线。
5)测量机电零件的各项尺寸，使其相对于参考线之间的距离在合适的距离区间内。
6)机电零件中其他金属叶片的测量，例如在铜质零件中测量镀锡部分尺寸。使用图像阈值功能进行检测，从而将图像从背景中分离出来，然后定位、计数、测量矩形搜索区域内的对象。这项研究是在图像的饱和平面上进行。实验验证，饱和度分量是一个最好的突出的铜和锡之间的差异的指标。
步骤三、前置图像处理：
前置图像处理的目的是实现对零件从顶置图像中不可见的部分的测量。重点是关注金属叶片的外形尺寸，相应的倾角和线圈的锥度比。
使用LED背光照明获得的是零件前置图象。通过一个阈值创建一个二进制图像，该阈值等于在一个固定区域内的背景平均亮度值的75％。
前置图像处理算法的主要步骤如下：
1)确定前置图像搜索参考坐标系的位置和方向，一般位于左上角。参考坐标系的正确定位是非常重要的，通过旋转转换前置图像的矩形区域(ROIs)来确定一个相对位置固定的参考坐标系。通过这种方式，物体相对于相机的一些小的位移就会得到考虑和补偿。
2)寻找基线Ib，如图3所示。基线是左叶片的左侧和右叶片右侧的水平的轮廓点的最小二乘线。
3)提取左右金属叶片的轮廓点，如图3所示。轮廓曲线是一系列边缘点的集合，它们连接后形成一个连续的轮廓；搜索点A、B、C，点A和C在叶片轮廓中是最右点和最高点。考虑到左侧叶片，从左侧轮廓开始搜索，B为斜率大于零的第一点，斜率是相对于基线Ib定义的。因为需要用A、B来测量直线之间的角度，谨慎的选择和定位这个两点是非常重要的。在观察许多产品中叶片实际形状的变化后，基于线性的最小二乘法的不同解决方案失效，主要是由于叶片厚度的高变化性。尖点A更加稳定，因此选择A点。
4)测量：位于基线Ib与BA部分之间的角度α；估算BA部分在基线Ib投影的长度w；估算CB部分在基线Ib投影的长度h；用同样的方法测量α’，w’，h’在右叶片的数据。
5)测量线圈的锥度比D，即线圈轮廓点的垂直坐标最大值和最小值的差值。
步骤四、松线检测：
对步骤二和步骤三处理后的顶置图像和前置图像进行松线检测，松线检测过程是寻找一个特定的缺陷：由于线圈生产中的错误，会产生松动的铜线。松线检测算法包括以下步骤，算法框如图4：
1)对输入的彩色图像进行预处理，获得一个二进制图像A：(1)将彩色图像转换成单色图像；(2)使用自适应阈值对转换后的图像进行二值化处理。
2)通过向图像A应用形态闭合算子来创建图像B。
3)从图像A中减去图像B。
4)图像中物体的定位，计数与测量。使用像素强度的阈值来将对象从其背景中分割出来。
5)对象的过滤和筛选。松线只能保持在基线以上且必须有一个最小尺寸。
其中一些处理步骤是非常耗时的，例如形态学和卷积运算。为了加快运算速度，只要可能，就要引入掩模，以便只在其内部进行处理。
步骤五、误差校正：
1)相机校准：对于顶置相机和前置相机，它们和物体之间的相对几何结构是刚性约束的。一般来说，工作距离，即相机透镜中心和对象之间的距离，可以认为是恒定不变的。待确定模型的参数数量少，校准难度小，允许减少不确定性来源的影响，并避免某些校准算法的数值不稳定。基本上，分别引入水平和垂直方向的两个比例系数βx和βy，以便关联真实点的度量横向坐标和其图像的像素坐标：
系数βx和βy，其单位为毫米/像素，必须在校准阶段进行评估，它们需要每个相机对矫正块进行单个图像的采集，矫正块模型如图5所示，其特征尺寸Lx和Ly是一个给定的精度。垂直参考尺寸Ly在两个视图中是不同的：要么Ly，上为顶部视图，要么Ly，前为前部视图。以下将一个通用的程序，分别应用于这两种视图，提供适当Ly的选择。基于最小二乘法的处理程序从图像中提取像素长度，得到Lu和Lv这两个相同的尺寸。接着根据等式(2)会求解出βx和βy：
矫正块放置在相机的前面，因此透镜和参考物体表面的采集尺寸距离为zcal，大约等于与实际测量对象的最大与最小距离的平均值。
2)系统深度误差矫正，分析了关于测量和由于对象的非平面性造成的误差。
获得两个比例系数之后，长度的测量可以用两点之间(dmx,dmy)的欧氏距离进行表示，并用公式(1)进行计算。考虑到应用，所有测量都是沿水平或者竖直方向，将水平和垂直方程分离。长度的测量取决于平面到相机的距离(zcal+z)，这与在校准过程中采用的距离zcal不同，会产生误差。该误差的水平分量ex在图6中表示出来。γx是摄像机轴线z和摄像机水平坐标成像点Xp与像素在水平方向坐标uP连线之间的角度的水平分量。f是相机常数，近似等于透镜焦距。
引进水平像素密度ku即为水平分辨率大小的倒数(大多数工业相机在3毫米和7毫米之间)，ku单位为像素/毫米，装置的值可以用相机本身所提供的参数来表示，沿水平方向和垂直方向的误差分别为ex、ey：
在目前的情况下，当预期的真实点Δz是已知时，可以通过公式(3a)和(3b)来确定水平和垂直方向所需矫正的误差的分量ex、ey，通过公式(1)来估算未经修正的值dmx和dmy，根据公式(4)求得深度误差矫正后的坐标值dcx、dcy：
实施例：
为了评估本发明的计量性能，现对所有所需数据进行测量。为了这个目的，收集合适的线性电磁制动器验证集，并对该组零件进行重复观察。
1实验所需系统描述：
线性电磁制动器质量检测系统是由两个相机通过以太网总线连接到一个控制工业PC。系统组件如图7所示。两个相机，必须设置在顶部和前部，因为测量的长度可以观察到产品的两个不同的侧面。还有一个国家仪器数据采集板NIPCI-6601通过USB总线连接到处理单元，它的数字I/O线用于与管理的生产线的PLC(可编程逻辑控制器)进行信息交换。在LabVIEW进行软件开发。
两张图像是由两个成像源DFK 23g445Gigabit以太网相机获得的，配备了索尼ICX445AQA逐行扫描CCD传感器。
隔行CCD的固态图像传感器的对角线为6毫米(1/3″)，正方形像素阵列和1.25米有效像素。渐进扫描使所有的像素信号在1/22.5秒内输出。图像大小为1280×960像素。相机使用富士龙镜头CF25HA-1与25毫米焦距，最大光圈值是1:1.4，光圈范围为[1.4，22]，允许与物体最小的距离为0.1米。
2基于视觉系统线性电磁制动器在线质量检测仿真实验：
2.1定量测量
矩形感兴趣区测量数据有18个：11个属于顶部视图，包括7个长度的测量(L1……L4，L’2……L’4)，四个镀锡金属刀片参考尺寸的测量(L5，L6，L’5，L’6)，6个是两个金属刀片的几何特征(α，w，h，α’，w’，h’)，以及在前端图像测量的锥度比D。验证集由50个机电零件组成较为合适，以再现大范围的生产行为。更为详细地说，验证集就是30％的件满足所有规格，而其他件不满足至少一个规范。
验证件依次放在生产线的末端，并由测量系统进行处理。这个单一的测量序列需重复30次。对于每一件，将获得的测量值与参考值进行比较，并计算错误率。测量参考值是由专家质量操作员手动获得。表1中，对结果进行了总结。
表1定量检测数据总结
正确的检测率(CD)，是检测多个件在平均测得值(重复检测30次)之间的比例，这个值兼容了参考值和零件的数量；
漏检率(MD)，即从规范(参考值)中所测得的数量与测试集个数相匹配的数量；
误报率(FD)，评价为在规格范围内(参考值)的件的数量，其中所测的值与公差和测试集的数量不匹配。
在每一个测量的规格范围内，会观察到的平均值和标准偏差的误差，也会报告相对规范的正确检测率(CD)，漏检率(MD)和误报率(FD)。
必须指出的是，在某些情况下，一个缺陷的发生可能使得另一个缺陷不能进行测量。从质量保证的角度来看，这个问题并不重要，因为那个件肯定是要丢弃的。表1结果不包括测量粗差。
2.2松线检测
对线性电磁制动器进行松线检测。为了评估它的性能而收集另外一个验证集。它包含40件，其中20不存在任何松散的铜线，而其余的在不同的位置都有松散铜线。此外，在这种情况下，产品被系统在线处理并重复操作了10次，就是为了探索系统行为的可重复性。表2为松线检测的性能总结：
分类正确率(CC)：评价的是正确分类的比例(有或没有松动的铜线)和测试的数量(40×10)；
漏检率(MD)：占检测数的比例是与未检测到的松动铜线和检测次数有关。
错检率(FD)：占检测数的比例是与未有缺陷的件被错误的识别为有松散铜线以及检测的次数有关。
表2松线检测性能总结
CD MD FD
95.0％ 4.5％ 0.5％
2.3处理时间
该测量系统的处理时间约为300毫秒，使用普通的工业PC(i7处理器，4GB的RAM)。这个值允许监视100％的产品，而不降低实际的生产率。
综上所述，该系统对机电零件的临界长度的尺寸进行测量，描述了模型的测量以及误差校正的分析发展。这个线上的非接触式解决方案促使生产废物急剧减少，因此减少了相关的成本，提高了生产效率。

Claims (5)

1.一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，包括以下步骤：
步骤一、图像采集：分别采用顶置相机和前置相机获取零件的顶置图像和前置图像；
步骤二、顶置图像处理：在步骤一获得的零件顶置图像中测量零件各项尺寸，以及零件各个部件的尺寸；
步骤三、前置图像处理：在步骤一获得的零件前置图像中测量零件在顶置图像中不可见部分的各项尺寸，包括不可见部分的外形尺寸、相应的倾角和线圈的锥度比；
步骤四、松线检测：对顶置图像和前置图像进行松线检测；
步骤五、对获取的数据进行误差校正：采用校正块分别对顶置相机和前置相机进行校准，并分析关于测量对象的非平面性造成的误差，进行系统深度误差矫正。
2.如权利要求1所述的一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，所述步骤二顶置图像处理，将所有测量函数应用于图像中所需测量的矩形区域中，用户定义一个主参考坐标系，使用图像阈值进行检测，将图像从背景中分离出来，然后定位、计数、测量矩形区域内的对象；包括以下步骤：
1)获取RGB图像的亮度和饱和度平面；
2)利用形态学和阈值算子在亮度图像中的应用，以补偿亮度的微小变化；
3)搜索主参考坐标系的位置和方向；
4)对于长度测量，搜索边缘直线作为参考线；
5)测量零件的各项尺寸，使其相对于参考线之间的距离在合适的距离区间内；
6)测量零件中其他金属叶片的尺寸。
3.如权利要求1所述的一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，所述步骤三前置图像处理包括以下步骤：
1)确定前置图像搜索参考坐标系的位置和方向；
2)寻找基线Ib；
3)提取金属叶片的轮廓点A、B、C；
4)测量：位于基线Ib与曲线BA部分之间的角度α；估算曲线BA部分在基线Ib投影的长度w；估算曲线CB部分在基线Ib投影的长度h；
5)测量线圈的锥度比D。
4.如权利要求1所述的一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，所述步骤四松线检测过程是寻找特定缺陷：由于线圈生产中的错误，会产生松动的铜线；松线检测包括以下步骤：
1)对输入的彩色图像进行预处理，获得二进制图像A；
2)向获得的图像A应用形态闭合算子来创建图像B；
3)从图像A中减去图像B；
4)图像中物体的定位、计数与测量；
5)对象的过滤和筛选。
5.如权利要求1所述的一种基于视觉系统的机械制造业在线质量监测方法，其特征在于，所述步骤五误差校正包括：
1)相机校准：
分别引入水平方向和垂直方向的两个比例系数βx和βy，以便关联真实点的度量横向坐标和其图像的像素坐标：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>&amp;beta;</mi> <mi>x</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>u</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>y</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>&amp;beta;</mi> <mi>y</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>v</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
系数βx和βy单位为毫米/像素；
根据等式(2)求解βx和βy：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;beta;</mi> <mi>x</mi> </msub> <mo>=</mo> <msub> <mi>L</mi> <mi>x</mi> </msub> <mo>/</mo> <msub> <mi>L</mi> <mi>u</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;beta;</mi> <mi>y</mi> </msub> <mo>=</mo> <msub> <mi>L</mi> <mi>y</mi> </msub> <mo>/</mo> <msub> <mi>L</mi> <mi>v</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
需要顶置相机和前置相机分别对矫正块进行单个图像的采集，矫正块特征尺寸Lx和Ly是一个给定的精度，基于最小二乘法处理从图像中提取像素长度，得到Lu和Lv的尺寸；
相机透镜和参考物体表面的采集尺寸距离zcal，等于与实际测量对象的最大与最小距离的平均值；
2)系统深度误差矫正：
获得两个比例系数数βx和βy之后，长度的测量可以用两点之间(dmx,dmy)的欧氏距离进行表示，并用公式(1)进行计算；
长度的测量取决于平面到相机的距离(zcal+z)，水平方向和垂直方向的误差分别为ex、ey：
<mrow> <msub> <mi>e</mi> <mi>x</mi> </msub> <mo>=</mo> <mi>&amp;Delta;</mi> <mi>z</mi> <mo>&amp;CenterDot;</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;gamma;</mi> <mi>x</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;Delta;</mi> <mi>z</mi> <mfrac> <mi>u</mi> <mrow> <msub> <mi>k</mi> <mi>u</mi> </msub> <mi>f</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mi>a</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>e</mi> <mi>y</mi> </msub> <mo>=</mo> <mi>&amp;Delta;</mi> <mi>z</mi> <mo>&amp;CenterDot;</mo> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;gamma;</mi> <mi>y</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;Delta;</mi> <mi>z</mi> <mfrac> <mi>v</mi> <mrow> <msub> <mi>k</mi> <mi>v</mi> </msub> <mi>f</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mi>b</mi> <mo>)</mo> </mrow> </mrow>
γx是相机轴线z和相机水平坐标成像点Xp与像素在水平方向坐标uP连线之间的角度的水平分量，f是相机常数，等于透镜焦距，水平像素密度ku即为水平分辨率大小的倒数，ku单位为像素/毫米；
当预期的真实点Δz是已知时，可以通过公式(3a)和(3b)来确定水平和垂直方向所需矫正的误差的分量ex、ey，通过公式(1)来估算未经修正的值dmx和dmy，根据公式(4)求得深度误差矫正后的坐标值dcx、dcy：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mrow> <mi>c</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>e</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;Delta;</mi> <mi>z</mi> <mo>,</mo> <mi>u</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mrow> <mi>c</mi> <mi>y</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>d</mi> <mrow> <mi>m</mi> <mi>y</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>e</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;Delta;</mi> <mi>z</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow> 2
CN201710230437.8A 2017-04-11 2017-04-11 一种基于视觉系统的机械制造业在线质量监测方法 Active CN107063099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710230437.8A CN107063099B (zh) 2017-04-11 2017-04-11 一种基于视觉系统的机械制造业在线质量监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710230437.8A CN107063099B (zh) 2017-04-11 2017-04-11 一种基于视觉系统的机械制造业在线质量监测方法

Publications (2)

Publication Number Publication Date
CN107063099A true CN107063099A (zh) 2017-08-18
CN107063099B CN107063099B (zh) 2019-04-05

Family

ID=59602295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710230437.8A Active CN107063099B (zh) 2017-04-11 2017-04-11 一种基于视觉系统的机械制造业在线质量监测方法

Country Status (1)

Country Link
CN (1) CN107063099B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288262A (zh) * 2017-09-12 2018-07-17 深圳迈恩威智能科技有限公司 电源线圈线松检测方法、装置及计算机可读存储介质、终端设备
CN108830891A (zh) * 2018-06-05 2018-11-16 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN110160449A (zh) * 2018-02-14 2019-08-23 三星钻石工业股份有限公司 肋状纹的厚度检查装置以及方法
CN110530869A (zh) * 2018-05-25 2019-12-03 上海翌视信息技术有限公司 一种基于位置信息和图像信息的检测系统
CN110838149A (zh) * 2019-11-25 2020-02-25 创新奇智(广州)科技有限公司 一种相机光源自动配置方法及系统
CN112013784A (zh) * 2019-05-28 2020-12-01 深圳中科飞测科技有限公司 一种检测方法和检测系统
CN112066892A (zh) * 2019-06-11 2020-12-11 康耐视公司 用于细化由3d视觉系统成像的大体立方形3d物体的尺寸的系统和方法及其控制装置
CN114216398A (zh) * 2021-12-11 2022-03-22 上海万卡信实业有限公司 高速率传输线束自动检测装置
US11335021B1 (en) 2019-06-11 2022-05-17 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
CN115420200A (zh) * 2022-11-07 2022-12-02 苏州真目人工智能科技有限公司 一种叶轮叶片尺寸自动检测装置
US11605177B2 (en) 2019-06-11 2023-03-14 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
CN117172624A (zh) * 2023-11-03 2023-12-05 长春易加科技有限公司 一种线束生产线智能化监测管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201978898U (zh) * 2011-01-04 2011-09-21 浙江大学 一种回转类零件多工位多参数视觉测量与分选设备
CN205538710U (zh) * 2016-01-29 2016-08-31 广州番禺职业技术学院 一种基于机器视觉的电感质量自动检测系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201978898U (zh) * 2011-01-04 2011-09-21 浙江大学 一种回转类零件多工位多参数视觉测量与分选设备
CN205538710U (zh) * 2016-01-29 2016-08-31 广州番禺职业技术学院 一种基于机器视觉的电感质量自动检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁巧玲: "金属表面图像检测系统的开发", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288262B (zh) * 2017-09-12 2020-05-15 东莞普视智能科技有限公司 电源线圈线松检测方法、装置及计算机可读存储介质、终端设备
CN108288262A (zh) * 2017-09-12 2018-07-17 深圳迈恩威智能科技有限公司 电源线圈线松检测方法、装置及计算机可读存储介质、终端设备
CN110160449A (zh) * 2018-02-14 2019-08-23 三星钻石工业股份有限公司 肋状纹的厚度检查装置以及方法
CN110530869B (zh) * 2018-05-25 2022-08-23 上海翌视信息技术有限公司 一种基于位置信息和图像信息的检测系统
CN110530869A (zh) * 2018-05-25 2019-12-03 上海翌视信息技术有限公司 一种基于位置信息和图像信息的检测系统
CN110596135A (zh) * 2018-05-25 2019-12-20 上海翌视信息技术有限公司 一种基于图像采集的片状玻璃边缘瑕疵检测装置
CN110596131A (zh) * 2018-05-25 2019-12-20 上海翌视信息技术有限公司 一种基于图像采集的片状玻璃边缘瑕疵检测方法
CN110596129A (zh) * 2018-05-25 2019-12-20 上海翌视信息技术有限公司 一种基于图像采集的片状玻璃边缘瑕疵检测系统
CN108830891B (zh) * 2018-06-05 2022-01-18 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN108830891A (zh) * 2018-06-05 2018-11-16 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN112013784A (zh) * 2019-05-28 2020-12-01 深圳中科飞测科技有限公司 一种检测方法和检测系统
CN112066892A (zh) * 2019-06-11 2020-12-11 康耐视公司 用于细化由3d视觉系统成像的大体立方形3d物体的尺寸的系统和方法及其控制装置
US11335021B1 (en) 2019-06-11 2022-05-17 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
US11605177B2 (en) 2019-06-11 2023-03-14 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
US11810314B2 (en) 2019-06-11 2023-11-07 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
CN110838149B (zh) * 2019-11-25 2020-10-23 创新奇智(广州)科技有限公司 一种相机光源自动配置方法及系统
CN110838149A (zh) * 2019-11-25 2020-02-25 创新奇智(广州)科技有限公司 一种相机光源自动配置方法及系统
CN114216398A (zh) * 2021-12-11 2022-03-22 上海万卡信实业有限公司 高速率传输线束自动检测装置
CN115420200A (zh) * 2022-11-07 2022-12-02 苏州真目人工智能科技有限公司 一种叶轮叶片尺寸自动检测装置
CN117172624A (zh) * 2023-11-03 2023-12-05 长春易加科技有限公司 一种线束生产线智能化监测管理系统
CN117172624B (zh) * 2023-11-03 2024-01-05 长春易加科技有限公司 一种线束生产线智能化监测管理系统

Also Published As

Publication number Publication date
CN107063099B (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN107063099B (zh) 一种基于视觉系统的机械制造业在线质量监测方法
Di Leo et al. A vision system for the online quality monitoring of industrial manufacturing
EP3282248B1 (en) Inspection apparatus and quality control system for surface mounting line
US5012524A (en) Automatic inspection method
WO2018040302A1 (zh) 烟丝或梗丝的宽度测定方法、系统及具有该系统的服务器
CN107845090B (zh) 一种硅片检测方法和硅片检测装置
Lahajnar et al. Machine vision system for inspecting electric plates
CN109003911A (zh) 一种半导体芯片引脚成型缺陷检测的方法
CN106934800A (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN109990711B (zh) 一种冲孔镀镍钢带的外观质量检测方法
CN110288584A (zh) 基于机器视觉的陶瓷热浸镀铝表面缺陷检测方法及装置
CN111429408B (zh) 一种封装芯片金线检测方法
Nandini et al. A review on applications of machine vision systems in industries
CN115144399B (zh) 一种基于机器视觉的装配质量检测方法及装置
CN112734858A (zh) 一种双目标定精度在线检测方法及装置
CN104574367B (zh) 一种基于机器视觉的集成芯片管脚几何尺寸检测计算方法
CN104197866A (zh) 玉米籽粒剖面角质与粉质百分比的定量测定方法
CN110763696A (zh) 用于晶圆图像生成的方法和系统
CN107767372B (zh) 一种分层并行计算的芯片管脚在线视觉检测系统及其方法
CN109084721B (zh) 用于确定半导体器件中的目标结构的形貌参数的方法和设备
CN110021027B (zh) 一种基于双目视觉的切边点计算方法
CN108508018A (zh) 一种基于图像数据的质量监控方法
Yang et al. An intelligent defect detection method of small sized ceramic tile using machine vision
TWI759237B (zh) 晶錠評估方法
CN117422777B (zh) 安检机标定方法及相关方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant