CN109978835A - 一种在线装配缺陷识别系统及其方法 - Google Patents
一种在线装配缺陷识别系统及其方法 Download PDFInfo
- Publication number
- CN109978835A CN109978835A CN201910163521.1A CN201910163521A CN109978835A CN 109978835 A CN109978835 A CN 109978835A CN 201910163521 A CN201910163521 A CN 201910163521A CN 109978835 A CN109978835 A CN 109978835A
- Authority
- CN
- China
- Prior art keywords
- assembly
- product
- image
- defect
- station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000004519 manufacturing process Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012423 maintenance Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 25
- 238000003708 edge detection Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000003012 network analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种在线装配缺陷识别系统及其方法，通过建立B/S架构，构建包括产品装配线、下位机图像处理模块以及上位机服务器模块的实时监控管理系统，通过对产品装配线上每一个装配工位的典型装配缺陷进行系统分析，基于一套固定的图像采集系统，为每一个装配工位的产品图像设定目标区域，从而大大地减小了图像处理的计算损耗，同时基于PSO‑SVM算法构建了产品制造缺陷识别模型，通过对训练样本库图像的训练学习，使得该产品制造缺陷识别模型可以实时识别出产品装配线上的装配缺陷，并通过上位机服务器模块控制PLC进行装配缺陷的实时维修，实现了智能制造车间装配信息的实时采集、分析、识别与处理，解决了智能制造车间在产品装配缺陷难以及时识别问题。
Description
技术领域
本发明属于智能制造技术领域，具体地，涉及一种应用于智能制造车间的在线装配缺陷识别系统及其方法。
背景技术
随着中国制造2025、“互联网+”和智能制造工程的提出，对智能制造装配车间的现场装配信息的在线采集、分析、识别和处理的需求更加迫切。随着智能制造装配车间无人化作业、自动化控制设备的不断发展与应用，企业对智能制造装配车间的产品自动化装配信息的在线采集、分析、识别和处理提出了更高的要求，这主要是由于人为失误、装配机床损耗、程序Bug等综合因素下，现有的智能制造装配车间时有发生产品错装、漏装等装配缺陷，这类装配缺陷不仅严重影响了装配车间的机床工作性能，而且需要企业加大智能制造装配车间的人员投入，进行人工检验，从而与智能制造的发展理念相悖，由此阻碍了智能制造技术在实际装配车间的进一步应用；
同时，现有的智能制造装配车间中，尚未对装配过程中的产品或装配机床进行有效的监控，也缺乏对产品装配信息的在线采集分析，如装配工艺信息、产品质量信息、设备信息、能源效率信息等，从而导致现有的智能制造装配车间，容易出现产品次品率高以及缺乏科学管理等问题。
因此，如何对智能制造装配车间进行针对性研究，实时获取、分析、识别和处理产品在装配生产线的装配信息，成为了业内科研人员的热点研究方向，一旦能够实时分析产品装配线上的装配信息，不仅能及时发现产品的装配故障，减少额外损失，更能拓宽智能制造技术在现有的高端制造车间的应用。
发明内容
有鉴于此，本发明提供一种在线装配缺陷识别系统及其方法，通过建立B/S架构，构建包括产品装配线、下位机图像处理模块以及上位机服务器模块的实时监控管理系统，通过对产品装配线上每一个装配工位的典型装配缺陷进行系统分析，基于一套固定的图像采集系统，为每一个装配工位的产品图像设定目标区域，从而大大地减小了图像处理的计算损耗，同时基于PSO-SVM算法构建了产品制造缺陷识别模型，通过对训练样本库图像的训练学习，使得该产品制造缺陷识别模型可以实时识别出产品装配线上的装配缺陷，并通过上位机服务器模块控制PLC进行装配缺陷的实时维修，实现了智能制造车间装配信息的实时采集、分析、识别与处理，解决了无人化智能制造车间在产品装配缺陷难以及时识别以及需要加大企业人员投入的问题，为智能制造技术在现有工厂车间上的实际应用提供了产品监控、信息处理等方面的技术参考。
具体地，本发明提供一种在线装配缺陷识别系统及其方法，该系统适用于智能制造车间且基于B/S架构来建立，并包括若干个装配工位、下位机图像处理模块以及上位机服务器模块，其中：
所述若干个装配工位互相连通构成一个产品装配线，针对任一装配工位，其侧面均垂直设置有位置传感器以及工业相机，所述位置传感器和工业相机均与所述上位机服务器模块通信连接；当位置传感器检测到待测产品到达预设位置时，发送脉冲信号至所述上位机服务器模块，由上位机服务器模块控制装配机床对待测产品进行装配工序，经过一预设时间后待测产品完成装配，所述上位机服务器模块启动工业相机拍摄待测产品的装配图像，并发送至所述下位机图像处理模块；拍摄完成后，待测产品由上位机服务器模块控制移动至下一个装配工位；；
所述下位机图像处理模块包括装配工位目标区域信息数据库以及图像处理单元，当接收到某一装配工位的产品图像后，通过查询装配工位目标区域信息数据库，获知对应装配工位的产品图像的目标区域，由图像处理单元进行目标区域的识别分割、预处理、去噪以及边缘检测，从而提取出该产品图像的初始特征集X＝[X1,X2,X3,X4]T，并发送至上位机服务器模块；
所述上位机服务器模块包括装配缺陷识别模型、自动维修处理单元以及PLC，所述装配缺陷识别模型基于PSO-SVM算法构建，对产品装配线上的装配工位的产品装配图像进行训练学习以及缺陷识别分类，可以识别出任一装配工位上的待测产品的装配缺陷类型，并将识别结果反馈给自动维修处理单元，由所述自动维修处理单元生成对应的维修策略并控制PLC控制器执行维修。
优选地，针对任一装配工位，都存在若干种典型装配缺陷，在利用所述工业相机构建对应装配工位的训练样本图片时，根据该装配工位的若干种典型装配缺陷反映在图像的区域位置，确定出所述装配工位的目标区域信息，并记录在所述装配工位目标区域信息数据库中。
优选地，依次使用如下公式1-4计算获得边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量，从而构成可以反映产品装配信息的初始特征集X＝[X1,X2,X3,X4]T：
上式中，参数M和N为边缘区域的边缘点个数，其中t(x,y)为各边缘点的灰度值；参数K为边缘区域边界上的边缘点个数，(xk,yk)表示位于边缘区域边界上的像素坐标，表示边缘区域的质心坐标，可通过如下公式(5)：
进行计算。
优选地，无论是现场检测前的训练学习，还是现场检测时的实时装配缺陷识别，所述装配缺陷识别模型接收到待测产品图像的初始特征集后，先采用拉普拉斯分值方法对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，将计算所得的每个特征变量对应的拉普拉斯分值按从小到大排列，组成装配缺陷特征向量，再输入至PSO-SVM模型中进行训练学习或缺陷识别分类。
本发明进一步提供一种在线装配缺陷识别系统及其方法，并采用前述的在线装配缺陷识别系统进行，该在线装配缺陷识别方法包括如下步骤：
步骤1：在上位机服务器模块中，构建基于PSO-SVM算法的装配缺陷识别模型，输入产品装配线上装配工位的训练样本库图像进行训练学习；
步骤2：现场实时采集装配工位上的待测产品完成装配工序后的图像，由下位机图像处理模块的图像处理单元进行目标区域的识别分割、预处理、去噪以及边缘检测，从而计算获得由边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量构成的初始特征集X＝[X1,X2,X3,X4]T；
步骤3：上位机服务器模块采用拉普拉斯分值方法，对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，获得待测产品的装配缺陷特征向量，并输入至PSO-SVM模型中，识别出装配工位上的待测产品的装配缺陷类型，将识别结果反馈给自动维修处理单元，由自动维修处理单元生成对应的维修策略并控制PLC执行维修。
优选地，所述步骤1具体包括：
步骤1.1：针对智能制造车间的装配生产线，确定出任一装配工位对应的若干种典型装配缺陷，采用固定设置在装配工位侧面的工业相机获取装配工位上的装配缺陷图像，完成训练样本库图像的建立；
步:1.2：对于任一装配工位，根据该装配工位的若干种典型装配缺陷反映在训练样本库图像上的区域位置，确定出该装配工位的目标区域信息，并记录在装配工位目标区域信息数据库中；
步骤1.3：下位机图像处理模块识别并分割出训练样本库图像上的目标区域，并经过图像预处理、去噪以及边缘检测后，提取出训练样本库图像的初始特征集X＝[X1,X2,X3,X4]T，并发送至上位机服务器模块；
步骤1.4：上位机服务器模块采用拉普拉斯分值方法对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，将计算所得的每个特征变量对应的拉普拉斯分值按从小到大排列，组成装配缺陷特征向量，再输入至PSO-SVM装配缺陷识别模型中进行训练学习。
优选地，所述步骤2具体包括：
步骤2.1：上位机服务器模块控制待测产品在装配生产线上移动，设置在装配工位上的位置传感器检测到待测产品到达预设位置时，发送脉冲信号至上位机服务器模块，由上位机服务器模块控制进行装配工序，经过一预设时间后待测产品完成装配，启动工业相机拍摄待测产品的装配图像；
步骤2.2：下位机图像处理模块接收到某一装配工位的待测产品实时装配图像后，通过查询装配工位目标区域信息数据库，获知对应装配工位的目标区域信息，由图像处理单元识别并分割出待测产品装配图像的目标区域，经过图像预处理、去噪以及边缘检测，从而计算获得由边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量构成的初始特征集X＝[X1,X2,X3,X4]T。
优选地，在所述步骤3中，采用拉普拉斯分值方法计算初始特征集X＝[X1,X2,X3,X4]T中每一个特征变量的拉普拉斯分值具体包括如下步骤：
步骤3.1：构造一个具有m个样本点的近邻图Q，近邻图Q是描述样本之间关系的一类图；第i个节点对应Xi，第j个节点对应Xj，判断样本点i和样本点j是否连通；
步骤3.2：若样本点i和样本点j不连通，令Sij＝0；否则，令
其中，i,j＝1,2,…,m，σ为热核宽度；
步骤3.3：对于初始特征集中的第r个特征，定义fr＝[fr1,fr2,…,frm]T，L＝D-S；其中D为对角阵，矩阵L为临近图Q的拉普拉斯矩阵，I为单元矩阵，r＝1,2,…,n；
步骤3.4：对各个特征进行去均值化处理，得到去均值化处理后的各fri的特征元素集合Fr，
步骤3.5：计算第r个特征的拉普拉斯分值Lr，构成装配缺陷特征向量。
本发明的有益效果是：
(1)本发明基于一套固定的图像采集设备，通过对每个装配工位的典型装配缺陷进行统计分析，为每一个装配工位的待测产品的装配图像确定了一个目标区域，从而大大简化了图像处理过程和难度，极大地减少了图像处理的耗时，使得本发明的在线装配缺陷识别系统，可以应用于一整条产品装配线的装配信息采集、分析，并实时地对产品的装配缺陷进行识别，彻底地解决了智能制造车间在产品装配缺陷难以及时识别以及需要加大企业人员投入的问题；
(2)本发明的装配缺陷识别模型，利用拉普拉斯分值的方法选取最有代表性的故障特征，降低了训练样本与测试样本的维度，有效地避免了维数灾难；同时通过设置粒子群算法(PSO)对支持向量机模型(SVM)进行参数寻优处理，解决了样本少的问题，保证了一定的装配缺陷识别率，可靠性高，实现了智能制造车间产品装配缺陷识别的智能化。
附图说明
图1是本发明的在线装配缺陷识别系统的示意图；
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
实施方式一
参照附图1，本发明提供了一种在线装配缺陷识别系统及其方法，该系统适用于智能制造车间且基于B/S架构来建立，并包括若干个装配工位1、下位机图像处理模块2以及上位机服务器模块3，下面将对其逐一进行具体解释说明。
该若干个装配工位1互相连通构成一个产品装配线，待测产品在上位机服务器模块3的控制下依次移动经过每一个装配工位1，完成装配工序；而针对任一装配工位，其侧面均垂直设置有位置传感器11以及工业相机12，其中，位置传感器11以及工业相机12均通信连接于上位机服务器模块，且位置传感器11设置在装配工位1侧边固定的标记点，当待测产品移动到标记点位置时，位置传感器11发送脉冲信号至上位机服务器模块3，由上位机服务器模块3控制装配机床对待测产品进行装配工序，经过一预设时间t后待测产品完成装配工序，接着上位机服务器模块3启动工业相机12拍摄待测产品的装配图像，并发送至下位机图像处理模块2，拍摄完成后，待测产品由上位机服务器模块3控制移动至下一个装配工位1；
下位机图像处理模块2包括装配工位目标区域信息数据库21以及图像处理单元22，在优选的实施例中，装配工位目标区域信息数据库21中记录有每一个装配工位1对应的目标区域位置信息，这是因为，对于任一装配工位1，都存在若干种典型的装配缺陷，本发明的发明目的在于实时快速地通过图像处理以及机器学习模型检测并识别出待测产品是否处于该若干种典型装配缺陷中的一种，若否，则表明待测产品在该装配工位1上的装配工序正常进行；本申请的发明人发现：对于任一装配工位1，在工业相机12与装配工位1的位置相对固定的前提下，该若干种典型装配缺陷只会影响产品装配图像的特定区域(即后文的目标区域)，通过人为地事先研究确定出每一个装配工位1对应的特定区域位置，即可通过先图像分割再经过其他图像处理步骤的方法大大简化产品装配图像的图像处理时间与计算耗能，使得在现有的市场价的服务器的运算能力下，也能针对一条产品装配线，实时进行产品装配缺陷的检测与识别；
考虑到任何机器学习模型都需要在实时检测前进行训练学习，在利用工业相机12对典型的装配缺陷进行拍摄，以构建所需的训练样本库图片时，可以同时确定出每一个装配工位1对应的目标区域位置信息，并记录在下位机图像处理模块2的装配工位目标区域信息数据库21中，供后续的图像处理单元22参考使用；
具体地，图像处理单元22接收到训练学习或现场实时检测的产品装配图像后，通过查询装配工位目标区域信息数据库21，获知当前产品装配图像对应的装配工位1的目标区域信息，随后对当前产品装配图像进行图像分割处理，以获得当前装配工位1的目标区域图像，再对该目标区域图像进行预处理、去噪以及边缘检测；在优选的实施例中，获得目标区域图像后，图像处理单元22依次对该目标区域图像进行均衡化预处理、高斯滤波法去噪以及基于Sobel算子对目标区域图像的像素灰度急剧变化的轮廓进行边缘检测，具体的图像处理原理及公式，属于较为成熟的技术，在此不再赘述。
在对目标区域图像进行边缘检测后，待测产品的装配信息就可以通过提取图像的特征变量获得，在本发明中，依次使用如下公式1-4计算获得边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量，从而构成可以反映产品装配信息的初始特征集X＝[X1,X2,X3,X4]T：
上式中，参数M和N为边缘区域的边缘点个数，其中t(x,y)为各边缘点的灰度值；参数K为边缘区域边界上的边缘点个数，(xk,yk)表示位于边缘区域边界上的像素坐标，表示边缘区域的质心坐标，可通过如下公式(5)进行计算：
在优选的实施例中，上位机服务器模块3包括装配缺陷识别模型31、自动维修处理单元32以及PLC33，其中，装配缺陷识别模型31基于PSO-SVM算法构建，即基于粒子群优化的支持向量机模型，通常，支持向量网络的基本思想是从线性可分情况下的最优分类面发展而来的。假设有两类样本，记录分类线与各类中离分类线最近的样本且平行于分类线的直线，它们之间的距离为分类间隔，所谓最优分类线就是要求分类线不但能将两类正确分开，而且使分类间隔最大。
采用结构风险最小化原则的支持向量机，作为一种通用的学习机，支持向量机是统计学习理论用于解决实际问题的具体实现。它在本质上是求解凸二次规划问题。从理论上说，能够获得全局最优解，从而有效地克服了神经网络等方法无法避免的局部极值问题。专门针对有限样本情况而设计的学习机，它采用结构风险最小化原则，同时对经验风险和学习机的复杂度进行控制，有效地避免过学习现象的产生，能够获得比传统学习方法更优良的泛化能力。通过核函数的引入较好地避免了耗时的高维内积运算。支持向量机通过非线性映射把低维输入空间的学习样本映射到高维特征空间，然后通过核函数的引入巧妙地避免了耗时的高维内积运算，使得算法的复杂度与特征空间的维数无关。
在本发明中，采用粒子群算法(PSO)对支持向量机模型(SVM)进行参数寻优的方式来提高支持向量机模型的装配缺陷识别精度，寻优参数包括支持向量机模型的核函数参数g和误差项的惩罚因子c。
无论是对PSO-SVM装配缺陷识别模型31输入训练样本库图像还是装配工位实时检测的产品图像，经过图像处理单元22的处理，都转化为数字化的初始特征集X＝[X1,X2,X3,X4]T，虽然边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量可以从不同维度反映出产品的装配信息，但在PSO-SVM装配缺陷识别模型中，依旧需要进一步的降维，避免在SVM模型中发生“维数灾难”，本发明中，装配缺陷识别模型31接收到产品装配图像的初始特征集X＝[X1,X2,X3,X4]T后，先采用拉普拉斯分值方法对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，将计算所得的每个特征变量对应的拉普拉斯分值按从小到大排列，组成装配缺陷特征向量，再输入至PSO-SVM模型中进行训练学习或分类，识别出对应装配工位上的产品装配缺陷类型。
作为示例，本发明设置产品装配线上任一装配工位1都具有四种装配信息，分别包括装配合格、装配缺陷I、装配缺陷II以及装配缺陷III。
现场检测前，针对每一个装配工位1的四种装配信息，分别采用工业相机12获取多份典型图像，从而建立训练样本库图像；装配缺陷识别模型31在进行训练学习时，依照前述方法，下位机图像处理模块2先对训练样本库图像进行目标区域识别分割、边缘检测、提取初始特征集X＝[X1,X2,X3,X4]T等操作，装配缺陷识别模型31根据初始特征集X＝[X1,X2,X3,X4]T进行计算获得训练样本库图像的装配缺陷特征向量，然后在PSO-SVM模型中训练学习；
现场检测时，根据工业相机12拍摄的实时图像，经过训练的PSO-SVM装配缺陷识别模型31即可实时识别出每一个装配工位1上的装配缺陷类型，并将识别结果反馈给自动维修处理单元32，由自动维修处理单元32生成对应的维修策略，并控制PLC33执行维修，从而实现智能制造车间无人化的故障维修。
实施方式二
本发明进一步提供了一种在线装配缺陷识别系统及其方法，其采用本发明的前述的在线装配缺陷识别系统，并包括如下步骤：
步骤1：在上位机服务器模块中，构建基于PSO-SVM算法的装配缺陷识别模型，输入产品装配线上装配工位的训练样本库图像进行训练学习；
步骤2：现场实时采集装配工位上的待测产品完成装配工序后的图像，由下位机图像处理模块的图像处理单元进行目标区域的识别分割、预处理、去噪以及边缘检测，从而计算获得由边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量构成的初始特征集X＝[X1,X2,X3,X4]T；
步骤3：上位机服务器模块采用拉普拉斯分值方法，对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，获得待测产品的装配缺陷特征向量，并输入至PSO-SVM模型中，识别出装配工位上的待测产品的装配缺陷类型，将识别结果反馈给自动维修处理单元，由自动维修处理单元生成对应的维修策略并控制PLC执行维修。
优选地，上述步骤1具体包括：
步骤1.1：针对智能制造车间的装配生产线，确定出任一装配工位对应的若干种典型装配缺陷，采用固定设置在装配工位侧面的工业相机获取装配工位上的装配缺陷图像，完成训练样本库图像的建立；
步:1.2：对于任一装配工位，根据该装配工位的若干种典型装配缺陷反映在训练样本库图像上的区域位置，确定出该装配工位的目标区域信息，并记录在装配工位目标区域信息数据库中；
步骤1.3：下位机图像处理模块识别并分割出训练样本库图像上的目标区域，并经过图像预处理、去噪以及边缘检测后，提取出训练样本库图像的初始特征集X＝[X1,X2,X3,X4]T，并发送至上位机服务器模块；
步骤1.4：上位机服务器模块采用拉普拉斯分值方法对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，将计算所得的每个特征变量对应的拉普拉斯分值按从小到大排列，组成装配缺陷特征向量，再输入至PSO-SVM装配缺陷识别模型中进行训练学习；
优选地，上述步骤2具体包括：
步骤2.1：上位机服务器模块控制待测产品在装配生产线上移动，设置在装配工位上的位置传感器检测到待测产品到达预设位置时，发送脉冲信号至上位机服务器模块，由上位机服务器模块控制进行装配工序，经过一预设时间后待测产品完成装配，启动工业相机拍摄待测产品的装配图像；
步骤2.2：下位机图像处理模块接收到某一装配工位的待测产品实时装配图像后，通过查询装配工位目标区域信息数据库，获知对应装配工位的目标区域信息，由图像处理单元识别并分割出待测产品装配图像的目标区域，经过图像预处理、去噪以及边缘检测，从而计算获得由边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量构成的初始特征集X＝[X1,X2,X3,X4]T。
优选地，在上述步骤3中，采用拉普拉斯分值方法计算初始特征集X＝[X1,X2,X3,X4]T中每一个特征变量的拉普拉斯分值具体包括如下步骤：
步骤3.1：构造一个具有m个样本点的近邻图Q，近邻图Q是描述样本之间关系的一类图；第i个节点对应Xi，第j个节点对应Xj，判断样本点i和样本点j是否连通；
步骤3.2：若样本点i和样本点j不连通，令Sij＝0；否则，令
其中，i,j＝1,2,…,m，σ为热核宽度；
步骤3.3：对于初始特征集中的第r个特征，定义fr＝[fr1,fr2,…,frm]T，L＝D-S；其中D为对角阵，矩阵L为临近图Q的拉普拉斯矩阵，I为单元矩阵，r＝1,2,…,n；
步骤3.4：对各个特征进行去均值化处理，得到去均值化处理后的各fri的特征元素集合Fr，
步骤3.5：计算第r个特征的拉普拉斯分值Lr，构成装配缺陷特征向量。
本领域的技术人员应理解，上述描述及附图中的本发明的实施例只作为举例而不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离原理下，本发明的实施方法可以有任何形式或修改。
Claims (8)
1.一种在线装配缺陷识别系统及其方法，其特征在于，该系统适用于智能制造车间且基于B/S架构来建立，并包括若干个装配工位、下位机图像处理模块以及上位机服务器模块，其中：
所述若干个装配工位互相连通构成一个产品装配线，针对任一装配工位，其侧面均垂直设置有位置传感器以及工业相机，所述位置传感器和工业相机均与所述上位机服务器模块通信连接；当位置传感器检测到待测产品到达预设位置时，发送脉冲信号至所述上位机服务器模块，由上位机服务器模块控制装配机床对待测产品进行装配工序，经过一预设时间后待测产品完成装配，所述上位机服务器模块启动工业相机拍摄待测产品的装配图像，并发送至所述下位机图像处理模块；拍摄完成后，待测产品由上位机服务器模块控制移动至下一个装配工位；；
所述下位机图像处理模块包括装配工位目标区域信息数据库以及图像处理单元，当接收到某一装配工位的产品图像后，通过查询装配工位目标区域信息数据库，获知对应装配工位的产品图像的目标区域，由图像处理单元进行目标区域的识别分割、预处理、去噪以及边缘检测，从而提取出该产品图像的初始特征集X＝[X1,X2,X3,X4]T，并发送至上位机服务器模块；
所述上位机服务器模块包括装配缺陷识别模型、自动维修处理单元以及PLC，所述装配缺陷识别模型基于PSO-SVM算法构建，对产品装配线上的装配工位的产品装配图像进行训练学习以及缺陷识别分类，可以识别出任一装配工位上的待测产品的装配缺陷类型，并将识别结果反馈给自动维修处理单元，由所述自动维修处理单元生成对应的维修策略并控制PLC控制器执行维修。
2.如权利要求1所述的一种在线装配缺陷识别系统及其方法，其特征在于，针对任一装配工位，都存在若干种典型装配缺陷，在利用所述工业相机构建对应装配工位的训练样本图片时，根据该装配工位的若干种典型装配缺陷反映在图像的区域位置，确定出所述装配工位的目标区域信息，并记录在所述装配工位目标区域信息数据库中。
3.如权利要求1所述的一种在线装配缺陷识别系统及其方法，其特征在于，依次使用如下公式1-4计算获得边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量，从而构成可以反映产品装配信息的初始特征集X＝[X1,X2,X3,X4]T：
上式中，参数M和N为边缘区域的边缘点个数，其中t(x,y)为各边缘点的灰度值；参数K为边缘区域边界上的边缘点个数，(xk,yk)表示位于边缘区域边界上的像素坐标，表示边缘区域的质心坐标，可通过如下公式(5)：
进行计算。
4.如权利要求1所述的一种在线装配缺陷识别系统及其方法，其特征在于，无论是现场检测前的训练学习，还是现场检测时的实时装配缺陷识别，所述装配缺陷识别模型接收到待测产品图像的初始特征集后，先采用拉普拉斯分值方法对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，将计算所得的每个特征变量对应的拉普拉斯分值按从小到大排列，组成装配缺陷特征向量，再输入至PSO-SVM模型中进行训练学习或缺陷识别分类。
5.一种在线装配缺陷识别系统及其方法，其特征在于，采用如权利要求1-4任一项所述的在线装配缺陷识别系统，该在线装配缺陷识别方法包括如下步骤：
步骤1：在上位机服务器模块中，构建基于PSO-SVM算法的装配缺陷识别模型，输入产品装配线上装配工位的训练样本库图像进行训练学习；
步骤2：现场实时采集装配工位上的待测产品完成装配工序后的图像，由下位机图像处理模块的图像处理单元进行目标区域的识别分割、预处理、去噪以及边缘检测，从而计算获得由边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量构成的初始特征集X＝[X1,X2,X3,X4]T；
步骤3：上位机服务器模块采用拉普拉斯分值方法，对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，获得待测产品的装配缺陷特征向量，并输入至PSO-SVM模型中，识别出装配工位上的待测产品的装配缺陷类型，将识别结果反馈给自动维修处理单元，由自动维修处理单元生成对应的维修策略并控制PLC执行维修。
6.如权利要求5所述的一种在线装配缺陷识别系统及其方法，其特征在于，所述步骤1具体包括：
步骤1.1：针对智能制造车间的装配生产线，确定出任一装配工位对应的若干种典型装配缺陷，采用固定设置在装配工位侧面的工业相机获取装配工位上的装配缺陷图像，完成训练样本库图像的建立；
步:1.2：对于任一装配工位，根据该装配工位的若干种典型装配缺陷反映在训练样本库图像上的区域位置，确定出该装配工位的目标区域信息，并记录在装配工位目标区域信息数据库中；
步骤1.3：下位机图像处理模块识别并分割出训练样本库图像上的目标区域，并经过图像预处理、去噪以及边缘检测后，提取出训练样本库图像的初始特征集X＝[X1,X2,X3,X4]T，并发送至上位机服务器模块；
步骤1.4：上位机服务器模块采用拉普拉斯分值方法对初始特征集X＝[X1,X2,X3,X4]T进行特征降维，将计算所得的每个特征变量对应的拉普拉斯分值按从小到大排列，组成装配缺陷特征向量，再输入至PSO-SVM装配缺陷识别模型中进行训练学习。
7.如权利要求5所述的一种在线装配缺陷识别系统及其方法，其特征在于，所述步骤2具体包括：
步骤2.1：上位机服务器模块控制待测产品在装配生产线上移动，设置在装配工位上的位置传感器检测到待测产品到达预设位置时，发送脉冲信号至上位机服务器模块，由上位机服务器模块控制进行装配工序，经过一预设时间后待测产品完成装配，启动工业相机拍摄待测产品的装配图像；
步骤2.2：下位机图像处理模块接收到某一装配工位的待测产品实时装配图像后，通过查询装配工位目标区域信息数据库，获知对应装配工位的目标区域信息，由图像处理单元识别并分割出待测产品装配图像的目标区域，经过图像预处理、去噪以及边缘检测，从而计算获得由边缘区域的边缘面积、边缘区域平均半径、边缘区域半径标准差以及边缘形状因子等四个特征变量构成的初始特征集X＝[X1,X2,X3,X4]T。
8.如权利要求5所述的一种在线装配缺陷识别系统及其方法，其特征在于，在所述步骤3中，采用拉普拉斯分值方法计算初始特征集X＝[X1,X2,X3,X4]T中每一个特征变量的拉普拉斯分值具体包括如下步骤：
步骤3.1：构造一个具有m个样本点的近邻图Q，近邻图Q是描述样本之间关系的一类图；第i个节点对应Xi，第j个节点对应Xj，判断样本点i和样本点j是否连通；
步骤3.2：若样本点i和样本点j不连通，令Sij＝0；否则，令
其中，i,j＝1,2,…,m，σ为热核宽度；
步骤3.3：对于初始特征集中的第r个特征，定义fr＝[fr1,fr2,…,frm]T，L＝D-S；其中D为对角阵，矩阵L为临近图Q的拉普拉斯矩阵，I为单元矩阵，r＝1,2,…,n；
步骤3.4：对各个特征进行去均值化处理，得到去均值化处理后的各fri的特征元素集合Fr，
步骤3.5：计算第r个特征的拉普拉斯分值Lr，构成装配缺陷特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910163521.1A CN109978835B (zh) | 2019-03-04 | 2019-03-04 | 一种在线装配缺陷识别系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910163521.1A CN109978835B (zh) | 2019-03-04 | 2019-03-04 | 一种在线装配缺陷识别系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978835A true CN109978835A (zh) | 2019-07-05 |
| CN109978835B CN109978835B (zh) | 2022-11-29 |
Family
ID=67077929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910163521.1A Active CN109978835B (zh) | 2019-03-04 | 2019-03-04 | 一种在线装配缺陷识别系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978835B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179223A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 基于深度学习的工业自动化缺陷检测方法 |
| CN111428373A (zh) * | 2020-03-30 | 2020-07-17 | 苏州惟信易量智能科技有限公司 | 产品装配质量检测方法、装置、设备及存储介质 |
| CN111861335A (zh) * | 2020-07-23 | 2020-10-30 | 广元量知汇科技有限公司 | 工业互联物料管理系统 |
| CN112241139A (zh) * | 2020-08-14 | 2021-01-19 | 苏州浪潮智能科技有限公司 | 一种服务器风扇安装方向的识别方法和装置 |
| CN112304956A (zh) * | 2020-10-30 | 2021-02-02 | 南京迪沃航空技术有限公司 | 一种飞机发动机螺栓用识别检测系统及其识别检测方法 |
| CN114782441A (zh) * | 2022-06-21 | 2022-07-22 | 深圳市鼎合丰科技有限公司 | 一种电子元器件生产流水线故障信息识别方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883398B (zh) * | 2023-09-06 | 2023-11-28 | 湖南隆深氢能科技有限公司 | 基于电堆装配生产线的检测方法、系统、终端设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102095731A (zh) * | 2010-12-02 | 2011-06-15 | 山东轻工业学院 | 在纸张缺陷视觉检测中识别不同缺陷类型的系统及方法 |
| CN105817428A (zh) * | 2016-04-15 | 2016-08-03 | 宁波百加百测控设备有限公司 | 一种用于轴承自动化装配生产线的轴承检测装置 |
| US20170046827A1 (en) * | 2015-08-12 | 2017-02-16 | Nvidia Corporation | Model-based three-dimensional head pose estimation |
| CN106769049A (zh) * | 2017-01-18 | 2017-05-31 | 北京工业大学 | 一种基于拉普拉斯分值和支持向量机的滚动轴承故障诊断方法 |
| CN107884415A (zh) * | 2017-11-07 | 2018-04-06 | 深圳市鑫联拓展科技有限公司 | 缺陷产品的识别方法、装置和工业相机 |
-
2019
- 2019-03-04 CN CN201910163521.1A patent/CN109978835B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102095731A (zh) * | 2010-12-02 | 2011-06-15 | 山东轻工业学院 | 在纸张缺陷视觉检测中识别不同缺陷类型的系统及方法 |
| US20170046827A1 (en) * | 2015-08-12 | 2017-02-16 | Nvidia Corporation | Model-based three-dimensional head pose estimation |
| CN105817428A (zh) * | 2016-04-15 | 2016-08-03 | 宁波百加百测控设备有限公司 | 一种用于轴承自动化装配生产线的轴承检测装置 |
| CN106769049A (zh) * | 2017-01-18 | 2017-05-31 | 北京工业大学 | 一种基于拉普拉斯分值和支持向量机的滚动轴承故障诊断方法 |
| CN107884415A (zh) * | 2017-11-07 | 2018-04-06 | 深圳市鑫联拓展科技有限公司 | 缺陷产品的识别方法、装置和工业相机 |
Non-Patent Citations (1)
| Title |
|---|
| 陆丽华,王小涛,王邢波: "边缘增强图像瓦相关模板贝配的并行架构", 《计算机工程与应用》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179223A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 基于深度学习的工业自动化缺陷检测方法 |
| CN111179223B (zh) * | 2019-12-12 | 2023-05-09 | 天津大学 | 基于深度学习的工业自动化缺陷检测方法 |
| CN111428373A (zh) * | 2020-03-30 | 2020-07-17 | 苏州惟信易量智能科技有限公司 | 产品装配质量检测方法、装置、设备及存储介质 |
| CN111861335A (zh) * | 2020-07-23 | 2020-10-30 | 广元量知汇科技有限公司 | 工业互联物料管理系统 |
| CN112241139A (zh) * | 2020-08-14 | 2021-01-19 | 苏州浪潮智能科技有限公司 | 一种服务器风扇安装方向的识别方法和装置 |
| CN112241139B (zh) * | 2020-08-14 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种服务器风扇安装方向的识别方法和装置 |
| CN112304956A (zh) * | 2020-10-30 | 2021-02-02 | 南京迪沃航空技术有限公司 | 一种飞机发动机螺栓用识别检测系统及其识别检测方法 |
| CN112304956B (zh) * | 2020-10-30 | 2023-02-14 | 南京迪沃航空技术有限公司 | 一种飞机发动机螺栓用识别检测系统及其识别检测方法 |
| CN114782441A (zh) * | 2022-06-21 | 2022-07-22 | 深圳市鼎合丰科技有限公司 | 一种电子元器件生产流水线故障信息识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978835B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978835A (zh) | 一种在线装配缺陷识别系统及其方法 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN108242054A (zh) | 一种钢板缺陷检测方法、装置、设备和服务器 | |
| CN109376960A (zh) | 基于lstm神经网络的电网负荷预测方法 | |
| CN109461149A (zh) | 喷漆表面缺陷的智能检测系统及方法 | |
| CN107229930B (zh) | 一种指针式仪表数值智能识别方法 | |
| CN105302096B (zh) | 一种工厂智能调度方法 | |
| CN103529051B (zh) | 一种机织纺织品瑕疵自动在线检测方法 | |
| CN113205203A (zh) | 基于cnn-lstm的建筑能耗预测方法和系统 | |
| CN109064459A (zh) | 一种基于深度学习的布匹瑕疵检测方法 | |
| CN114155072B (zh) | 基于大数据分析的财务预测模型构建方法及系统 | |
| CN110378424A (zh) | 基于卷积神经网络的变压器套管故障红外图像识别方法 | |
| CN114255357A (zh) | 一种基于计算机视觉的群养生猪身份识别与健康监测方法 | |
| CN109886232A (zh) | 一种基于神经网络的电网图像识别系统 | |
| CN110942050A (zh) | 一种基于图像处理的自动售卖机商品识别系统 | |
| CN107742171A (zh) | 基于移动阴影图像识别的光伏电站发电功率预测方法 | |
| CN103344583A (zh) | 一种基于机器视觉的镨-钕(Pr/Nd)组分含量检测系统及方法 | |
| CN113448808A (zh) | 一种批处理任务中单任务时间的预测方法、系统及存储介质 | |
| CN110555524A (zh) | 基于室内环境监测的训练样本数据获取方法及装置 | |
| CN112819407A (zh) | 基于构件编码与信息采集技术的库存智能盘点系统和方法 | |
| CN117993613A (zh) | 针对数字化工厂运行数据的人工智能分析方法及系统 | |
| CN117852693A (zh) | 一种集成人工智能算法的滚塑机远程优化装置及方法 | |
| CN114913129A (zh) | 一种针对复合材料铺放缺陷识别定位系统 | |
| CN117319809B (zh) | 一种监控视野的智能调节方法 | |
| CN113221452B (zh) | 一种基于分布式光纤的办公空间温度预测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |