CN112098422A - 一种工业视觉检测中的产品缺陷在线分类方法 - Google Patents

一种工业视觉检测中的产品缺陷在线分类方法 Download PDF

Info

Publication number
CN112098422A
CN112098422A CN202010990609.3A CN202010990609A CN112098422A CN 112098422 A CN112098422 A CN 112098422A CN 202010990609 A CN202010990609 A CN 202010990609A CN 112098422 A CN112098422 A CN 112098422A
Authority
CN
China
Prior art keywords
online
classification
visual inspection
defect
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010990609.3A
Other languages
English (en)
Inventor
谢昌锋
孙博良
涂丹
肖波
王威
龙志斌
肖贤军
朱为
谢伟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruiyang Jingshi Technology Co ltd
Original Assignee
Shenzhen Ruiyang Jingshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruiyang Jingshi Technology Co ltd filed Critical Shenzhen Ruiyang Jingshi Technology Co ltd
Priority to CN202010990609.3A priority Critical patent/CN112098422A/zh
Publication of CN112098422A publication Critical patent/CN112098422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种工业视觉检测中的产品缺陷在线分类方法，包括以下工艺步骤：S1、建立基于流形正则化的分类目标函数：采用one vs the rest策略建立分类目标函数；S2、从工业相机图像中获取瑕疵区域：采用Blob分析从工业相机图像中获取瑕疵区域；S3、提取瑕疵区域特征：采用Blob分析提取瑕疵区域特征；S4、将样本投入在线分类器学习：将瑕疵区域特征作为样本投入在线分类器学习；S5、返回缺陷分类结果：将样本通过在线分类器分类，得出缺陷分类的返回结果。本发明通过Blob分析得到缺陷产品的瑕疵区域特征，能够实时统计缺陷产品数据信息；通过基于流形正则化的在线学习方法进行缺陷产品分类，能够减少算法复杂度，降低算法错误率，有效提升分类效率。

Description

一种工业视觉检测中的产品缺陷在线分类方法
技术领域
本发明涉及工业视觉检测领域，特别指一种工业视觉检测中的产品缺陷分类方法。
背景技术
视觉检测就是用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。视觉检测一般采用机器学习。
传统的机器学习算法是批量模式（离线学习）的，假设所有的训练数据预先给定，通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模规模上取得了巨大成功，但当数据规模大时，其计算复杂度高、响应慢，无法用于实时性要求高的应用。另外，机器学习又分为监督学习、无监督学习及半监督学习等几种不同类别的学习方式；其中，监督学习虽然精度较高，但是人们需要手工标注样本，太累，离人们理想中的“智能”太远；无监督学习虽然很轻松，计算机自动的就把所有工作一步到位了，但是往往精度低于人们的预期，分类结果不够准确。
发明内容
本发明要解决的技术问题是工业视觉检测中的现有产品缺陷分类方法的实时性低、分类效率低且分类精度不够，针对上述现有技术的不足，提供一种通过Blob分析得到缺陷产品的瑕疵区域特征，能够实时统计缺陷产品数据信息；通过基于流形正则化的在线学习方法进行缺陷产品分类，能够减少算法复杂度，降低算法错误率，有效提升分类效率的工业视觉检测中的产品缺陷在线分类方法。
本发明采取的技术方案如下：一种工业视觉检测中的产品缺陷在线分类方法，包括以下工艺步骤：
S1、建立基于流形正则化的分类目标函数：采用one vs the rest策略建立分类目标函数；
S2、从工业相机图像中获取瑕疵区域：步骤S1建立分类目标函数后，采用Blob分析从工业相机图像中获取瑕疵区域；
S3、提取瑕疵区域特征：步骤S2获取瑕疵区域后，采用Blob分析对瑕疵区域的特征进行提取；瑕疵区域特征包括面积、长宽、平均灰度、最大灰度、最小灰度；
S4、将样本投入在线分类器学习：步骤S3提取瑕疵区域特征后，将瑕疵区域特征作为样本投入在线分类器学习；
S5、返回缺陷分类结果：步骤S4投入样本后，将步骤S4投入的样本通过在线分类器分类，得出缺陷分类的返回结果。
优选地，所述的one vs the rest策略为一对多训练方法，one vs the rest策略依次将至少两个类别中一个类别的样本归为一类,将剩余的样本归为另一类，以便构造出至少两个二项分类器；分类时，将未知样本分类为具有最大分类函数值的类。
优选地，所述的Blob分析的Blob为工业相机图像中一块连通区域，即瑕疵区域；Blob分析将工业相机图像进行二值化并分割得到目标像素与背景像素，然后对目标像素进行连通域分析，并计算连通域区域特征。
优选地，所述的Blob分析采用平均背景法分割工业相机图像的目标像素与背景像素。
优选地，所述的Blob分析通过两遍扫描法对目标像素进行连通域分析判定，并提取图像中的连通域，得到瑕疵区域特征的数据信息。
优选地，所述的在线分类器学习采用了流形正则化算法；流形正则化算法为基于图的半监督学习方法。
优选地，所述的流形正则化算法包括基于对偶提升过程的在线流形正则化算法、基于梯度提升的在线流形正则化算法以及核函数条件下的在线流形正则化过程中的稀疏化方法。
优选地，所述的基于对偶提升过程的在线流形正则化算法通过使用部分样本来实现对偶函数函数值的提升，从而不断逼近最优预测器。
优选地，所述的基于梯度提升的在线流形正则化算法包括样本关联更新算法、整体更新算法以及两步更新算法。
优选地，所述的核函数条件下的在线流形正则化过程中的稀疏化方法包括绝对阈值法稀疏化方法以及k最大对偶系数法稀疏化方法。
本发明的有益效果在于：
本发明通过机器视觉代替人工检测，极大的提高了产品检测效率，并通过Blob分析获得并提取产品缺陷特征，以便实时统计。本发明采用one vs rest策略进行产品缺陷分类；公开了一种基于对偶提升过程的在线流形正则化算法框架，该算法仅使用部分样本来实现对偶函数函数值的提升，从而不断逼近最优预测器；并公开了三种基于梯度提升的在线流形正则化算法包括样本关联更新算法、整体更新算法以及两步更新算法，该算法能够减少每个学习周期中的计算复杂度；公开了两种核函数条件下的在线流形正则化过程中的稀疏化方法，稀疏化方法包括绝对阈值法及k最大对偶系数法，其中，绝对阈值法比k最大对偶系数法具有更低错误率，k最大对偶系数法构建的边界向量却比绝对阈值法更加稀疏，具有更低的时空复杂度；本发明按照实际应用中的具体需求，对稀疏化方法进行合理选择。
附图说明
图1为本发明方法流程示意图。
图2为本发明算法框架结构示意图。
具体实施方式
下面将结合附图对本发明作进一步描述：
如图1至图2所示，本发明采取的技术方案如下：一种工业视觉检测中的产品缺陷在线分类方法，包括以下工艺步骤：
S1、建立基于流形正则化的分类目标函数：采用one vs the rest策略建立分类目标函数；
S2、从工业相机图像中获取瑕疵区域：步骤S1建立分类目标函数后，采用Blob分析从工业相机图像中获取瑕疵区域；
S3、提取瑕疵区域特征：步骤S2获取瑕疵区域后，采用Blob分析对瑕疵区域的特征进行提取；瑕疵区域特征包括面积、长宽、平均灰度、最大灰度、最小灰度；
S4、将样本投入在线分类器学习：步骤S3提取瑕疵区域特征后，将瑕疵区域特征作为样本投入在线分类器学习；
S5、返回缺陷分类结果：步骤S4投入样本后，将步骤S4投入的样本通过在线分类器分类，得出缺陷分类的返回结果。
one vs the rest策略为一对多训练方法，one vs the rest策略依次将至少两个类别中一个类别的样本归为一类,将剩余的样本归为另一类，以便构造出至少两个二项分类器；分类时，将未知样本分类为具有最大分类函数值的类。
Blob分析的Blob为工业相机图像中一块连通区域，即瑕疵区域；Blob分析将工业相机图像进行二值化并分割得到目标像素与背景像素，然后对目标像素进行连通域分析，并计算连通域区域特征。
Blob分析采用平均背景法分割工业相机图像的目标像素与背景像素。
Blob分析通过两遍扫描法对目标像素进行连通域分析判定，并提取图像中的连通域，得到瑕疵区域特征的数据信息。
在线分类器学习采用了流形正则化算法；流形正则化算法为基于图的半监督学习方法。
流形正则化算法包括基于对偶提升过程的在线流形正则化算法、基于梯度提升的在线流形正则化算法以及核函数条件下的在线流形正则化过程中的稀疏化方法。
基于对偶提升过程的在线流形正则化算法通过使用部分样本来实现对偶函数函数值的提升，从而不断逼近最优预测器。
基于梯度提升的在线流形正则化算法包括样本关联更新算法、整体更新算法以及两步更新算法。
核函数条件下的在线流形正则化过程中的稀疏化方法包括绝对阈值法稀疏化方法以及k最大对偶系数法稀疏化方法。
进一步，本发明通过机器视觉代替人工检测，极大的提高了产品检测效率，并通过Blob分析获得并提取产品缺陷特征，以便实时统计。本发明采用one vs rest策略进行产品缺陷分类；公开了一种基于对偶提升过程的在线流形正则化算法框架，该算法仅使用部分样本来实现对偶函数函数值的提升，从而不断逼近最优预测器；并公开了三种基于梯度提升的在线流形正则化算法包括样本关联更新算法、整体更新算法以及两步更新算法，该算法能够减少每个学习周期中的计算复杂度；公开了两种核函数条件下的在线流形正则化过程中的稀疏化方法，稀疏化方法包括绝对阈值法及k最大对偶系数法，其中，绝对阈值法比k最大对偶系数法具有更低错误率，k最大对偶系数法构建的边界向量却比绝对阈值法更加稀疏，具有更低的时空复杂度；本发明按照实际应用中的具体需求，对稀疏化方法进行合理选择。
本发明的核心技术整体上包括以下两大部分：Blob分析方法，流形正则化算法框架，具体地：
1、Blob分析方法
（1）采用平均背景法进行图像分割，步骤如下：
A、累计背景，步骤如下：
A1、连续获取n+1帧图像，将获取的图像分别标为I1、I2 ... In、 In+1；
A2、图像累加：I2+…+ I300+I301，得到图像IavgF；
A3、定义：帧差 = In-In-1，将每一个帧差累加起来[I2-I1+I3-I4+…+I299-I300+(I300-I301)]得到图像Iscratch。
B、创建基于统计学的背景模型，步骤如下：
B1、计算出这n帧中每帧的平均值：IavgF * (1.0/n) --> IavgF；
B2、计算平均帧差：IdiffF * (1.0/300) --> IdiffF；
B3、计算阈值的上限（以7.0作为一个计算阈值上限的参数）：IavgF + [(IdiffF +1.0) * 7.0] --> IhiF（IhiF为3通道图），将IhiF分割成3个单通道图Ihi1、 Ihi2、 Ihi3（Ihi1、 Ihi2、 Ihi3分别代表B、G、R通道）；
B4、计算阈值的下限（以6.0作为一个计算阈值下限的参数）：IavgF - [(IdiffF +1.0) * 6.0] --> IlowF（IlowF为3通道图），将IhiF分割成3个单通道图Ilow1、 Ilow2、Ilow3（Ilow1、 Ilow2,、Ilow3分别代表B、G、R通道）。
C、利用背景模型分割背景，步骤如下：
C1、继续获取图像帧，将获取到的图像帧标为I（I为3通道图）；将I分割成3个单通道图Igray1、Igray2、 Igray3（Igray1、Igray2、 Igray3分别代表B、G、R通道）；
C2、对Igray1、Igray2、Igray3进行阈值处理，处理步骤如下：
C21、处理Igray1：如果图像中的像素值在(low1, lhi1)的范围内，则设置Igray1的像素值为255，否则设置为0；
C22、处理Igray2、Igray3（与处理Igray1同方法）；
C23、合并Igray1,、Igray2、 Igray3为1个3通道图Imask；
C24、处理Imask: 255 – Imask à Imask。
（2）采用两遍扫描算法进行连通域分析提取，两遍扫描算法步骤如下：
第一次扫描：
访问当前像素B(x,y)，如果B(x,y)==1：
a、如果B(x,y)的领域中像素值都为0，则赋予B(x,y)一个新的label：
label += 1， B(x,y)=label；
b、如果B(x,y)的领域中有像素值>1的像素Neighbors：
1）将Neighbors中的最小值赋予给B(x,y)：
B(x,y)= min{Neighbors}；
2）记录Neighbors中各个值（label）之间的相等关系，即这些值（label）同属同一个连通区域；
labelSet[i]={ label_m, .., label_n }，labelSet[i]中的所有label都属于同一个连通区域；
B第二次扫描：
访问当前像素B(x,y)，如果B(x,y)>1：
a、找到与label = B(x,y)同属相等关系的一个最小label值，赋予给B(x,y)。
2、基于流形正则化的在线学习方法
如图2所示，本发明采用了基于对偶提升过程的在线流形正则化算法、基于梯度提升的在线流形正则化算法以及核函数条件下的在线流形正则化过程中的稀疏化方法，具体说明如下：
（1）采用了一种新的基于对偶提升过程的在线流形正则化算法框架；仅使用部分样本来实现对偶函数函数值的提升，从而不断逼近最优预测器；
（2）采用三种基于梯度提升的在线流形正则化算法能够减少每个学习周期中的计算复杂度；分别为：样本关联更新、整体更新和两步更新；样本关联更新；整体更新；两步更新。
（3）采用了两种核函数条件下的在线流形正则化过程中的稀疏化方法；其中，绝对阈值法比k最大对偶系数法具有更低错误率，k最大对偶系数法构建的边界向量却比绝对阈值法更加稀疏，具有更低的时空复杂度；按照应用中的具体需求，可对稀疏化方法进行合理选择。
本发明的实施例只是介绍其具体实施方式，不在于限制其保护范围。本行业的技术人员在本实施例的启发下可以作出某些修改，故凡依照本发明专利范围所做的等效变化或修饰，均属于本发明专利权利要求范围内。

Claims (10)

1.一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：包括以下工艺步骤：
S1、建立基于流形正则化的分类目标函数：采用one vs the rest策略建立分类目标函数；
S2、从工业相机图像中获取瑕疵区域：步骤S1建立分类目标函数后，采用Blob分析从工业相机图像中获取瑕疵区域；
S3、提取瑕疵区域特征：步骤S2获取瑕疵区域后，采用Blob分析对瑕疵区域的特征进行提取；瑕疵区域特征包括面积、长宽、平均灰度、最大灰度、最小灰度；
S4、将样本投入在线分类器学习：步骤S3提取瑕疵区域特征后，将瑕疵区域特征作为样本投入在线分类器学习；
S5、返回缺陷分类结果：步骤S4投入样本后，将步骤S4投入的样本通过在线分类器分类，得出缺陷分类的返回结果。
2.根据权利要求1所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的one vs the rest策略为一对多训练方法，one vs the rest策略依次将至少两个类别中一个类别的样本归为一类,将剩余的样本归为另一类，以便构造出至少两个二项分类器；分类时，将未知样本分类为具有最大分类函数值的类。
3.根据权利要求1所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的Blob分析的Blob为工业相机图像中一块连通区域，即瑕疵区域；Blob分析将工业相机图像进行二值化并分割得到目标像素与背景像素，然后对目标像素进行连通域分析，并计算连通域区域特征。
4.根据权利要求3所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的Blob分析采用平均背景法分割工业相机图像的目标像素与背景像素。
5.根据权利要求3所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的Blob分析通过两遍扫描法对目标像素进行连通域分析判定，并提取图像中的连通域，得到瑕疵区域特征的数据信息。
6.根据权利要求1所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的在线分类器学习采用了流形正则化算法；流形正则化算法为基于图的半监督学习方法。
7.根据权利要求6所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的流形正则化算法包括基于对偶提升过程的在线流形正则化算法、基于梯度提升的在线流形正则化算法以及核函数条件下的在线流形正则化过程中的稀疏化方法。
8.根据权利要求7所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的基于对偶提升过程的在线流形正则化算法通过使用部分样本来实现对偶函数函数值的提升，从而不断逼近最优预测器。
9.根据权利要求7所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的基于梯度提升的在线流形正则化算法包括样本关联更新算法、整体更新算法以及两步更新算法。
10.根据权利要求7所述的一种工业视觉检测中的产品缺陷在线分类方法，其特征在于：所述的核函数条件下的在线流形正则化过程中的稀疏化方法包括绝对阈值法稀疏化方法以及k最大对偶系数法稀疏化方法。
CN202010990609.3A 2020-09-19 2020-09-19 一种工业视觉检测中的产品缺陷在线分类方法 Pending CN112098422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010990609.3A CN112098422A (zh) 2020-09-19 2020-09-19 一种工业视觉检测中的产品缺陷在线分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010990609.3A CN112098422A (zh) 2020-09-19 2020-09-19 一种工业视觉检测中的产品缺陷在线分类方法

Publications (1)

Publication Number Publication Date
CN112098422A true CN112098422A (zh) 2020-12-18

Family

ID=73759114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010990609.3A Pending CN112098422A (zh) 2020-09-19 2020-09-19 一种工业视觉检测中的产品缺陷在线分类方法

Country Status (1)

Country Link
CN (1) CN112098422A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771908B (zh) * 2021-02-09 2022-07-21 鴻海精密工業股份有限公司 圖像分類標注方法、裝置、電子設備及存儲介質

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771908B (zh) * 2021-02-09 2022-07-21 鴻海精密工業股份有限公司 圖像分類標注方法、裝置、電子設備及存儲介質

Similar Documents

Publication Publication Date Title
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
Waghmare et al. Detection and classification of diseases of grape plant using opposite colour local binary pattern feature and machine learning for automated decision support system
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN105184818B (zh) 一种视频监控异常行为检测方法及其检测系统
CN105389581B (zh) 一种胚芽米胚芽完整度智能识别系统及其识别方法
Shahin et al. A novel white blood cells segmentation algorithm based on adaptive neutrosophic similarity score
Nagoda et al. Rice sample segmentation and classification using image processing and support vector machine
CN110298297A (zh) 火焰识别方法和装置
Liong et al. Integrated neural network and machine vision approach for leather defect classification
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
CN109242032B (zh) 一种基于深度学习的目标检测方法
CN111340824A (zh) 一种基于数据挖掘的图像特征分割方法
Pandit et al. Literature review on object counting using image processing techniques
Kumari et al. Performance analysis of support vector machine in defective and non defective mangoes classification
Zhang et al. Rethinking unsupervised texture defect detection using PCA
CN112098422A (zh) 一种工业视觉检测中的产品缺陷在线分类方法
CN116523916B (zh) 产品表面缺陷检测方法、装置、电子设备及存储介质
Patki et al. A review: Cotton leaf disease detection
Huang et al. Mango surface defect detection based on HALCON
Shweta et al. External feature based quality evaluation of Tomato using K-means clustering and support vector classification
Valencia et al. A novel method for inspection defects in commercial eggs using computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201218

WD01 Invention patent application deemed withdrawn after publication