CN111179250A - 一种基于多任务学习的工业品缺陷检测系统 - Google Patents

一种基于多任务学习的工业品缺陷检测系统 Download PDF

Info

Publication number
CN111179250A
CN111179250A CN201911393687.9A CN201911393687A CN111179250A CN 111179250 A CN111179250 A CN 111179250A CN 201911393687 A CN201911393687 A CN 201911393687A CN 111179250 A CN111179250 A CN 111179250A
Authority
CN
China
Prior art keywords
image
layer
model
output
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911393687.9A
Other languages
English (en)
Other versions
CN111179250B (zh
Inventor
李建欣
张帅
周号益
于金泽
朱天晨
范才金
何铭睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911393687.9A priority Critical patent/CN111179250B/zh
Publication of CN111179250A publication Critical patent/CN111179250A/zh
Application granted granted Critical
Publication of CN111179250B publication Critical patent/CN111179250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实现了一套基于多任务学习的工业品缺陷检测系统，针对工业品各工艺生产线中AOI设备拍摄的大量图像，训练一个两阶段的模型，利用一阶段分割网络模型生成的中间结果作为二阶段决策网络模型的输入，将一阶段模型生成的遮罩(mask)图像，引入注意力机制，在二阶段模型中新增为一个通道进行图像分类，从而实现高水准的表面缺陷分类，生成融合检测和分类的多任务学习模型，图像输入层可直接接入工厂的AOI设备系统，形成图像数据流，结果输出层可接入生产决策系统，对产品的质量和去向进行监控和决策。

Description

一种基于多任务学习的工业品缺陷检测系统
技术领域
本发明涉及信息技术领域，尤其涉及一种基于多任务学习的工业品缺陷检测系统。
背景技术
在工业品(如：布匹、钢材、零件、屏幕等)的生产过程中，由于生产工艺和生产环境的原因可能会导致某些生产出来的产品表面带有缺陷，而带有缺陷的工业品是不能流入市场的。
为了将这些带有缺陷的工业产品筛选出来，目前的解决方案是在生产线上部署AOI(Automatic Optic Inspection，自动光学检测)设备，对生产的工业产品表面进行光学图像检测。AOI是一种高速高精度光学影像检测设备，其基本原理是利用光学仪器取得工业品的表面状态，再以电脑影像处理技术来检出划痕、异物或图案异常等瑕疵。但在实际生产线上，需要检测产品的信息量巨大(以液晶面板制造业为例，AOI设备每天都会在液晶面板制造过程中拍摄超过150万张以上的缺陷图片，这些缺陷都需要依赖技术工人进行肉眼识别，因为拍摄的图片量巨大，所以还无法做到全部图片人工检测)这也决定了这些高精度AOI设备的设计目的就是保证效率和识别有无缺陷，而无法做到对每一个缺陷进行仔细的分析和分类，AOI设备本身的系统软件设计决定了其无法完成缺陷分类这项任务。
因此，缺陷的详细分类、定性、及该产品下一步的工序指令基本上都由技术工人基于AOI设备所拍摄的产品缺陷图以及缺陷对线路的影响来进行决定，其结论就是，如果不能高效率和高准确率的对缺陷进行详细分类和计算出下一步工序指令，这将直接影响该生产线的产能、效率、质量。
发明内容
如上所述，使用AOI设备对工业品的缺陷检测仅仅只能确定其是否疑似带有缺陷(在实际检测过程中有相当大比例的部分会出现错误检测的情况，例如AOI设备有时会误将液晶面板上的灰尘或者小污渍等图像出现异常但是实际并非为缺陷)。因此，我们基于多任务目标检测算法，开发出一套能够对产品缺陷图像进行前后背景分割、缺陷识别、缺陷类型定位到详细缺陷代码、缺陷影响线路程度等进行判别的算法及其应用系统，针对工业品各工艺生产线中AOI设备拍摄的大量图像，训练一个两阶段的模型，利用一阶段分割网络模型生成的中间结果作为二阶段决策网络模型的输入，将一阶段模型生成的遮罩(mask)图像，引入注意力机制，在二阶段模型中新增为一个通道进行图像分类，从而实现高水准的表面缺陷分类，生成融合检测和分类的多任务学习模型。
为达到上述目的，本发明采用了下列技术方案：
一种基于多任务学习的工业品缺陷检测系统，系统整体分为图像输入层、模型层以及结果输出层；
所述模型层采用多任务学习模型，由一个图像预处理阶段以及分割和决策两个子模型构成，输入所述模型层的图像信号先经过图像预处理阶段，将所有图像裁剪为同一尺寸，并基于注意力机制添加颜色敏感和边缘敏感的通道，再经过分割网络处理模型处理，构建多层卷积神经网络，生成描述缺陷的遮罩二值图像，并抽取图像特征，最后经过决策网络模型处理后将结果输出至结果输出层，将分割网络模型输出的特征与遮罩进行拼接，构建多层卷积神经网络，得到生成图像中缺陷的类别；
所述图像输入层直接连接自动光学检测系统，形成图像数据流，所述结果输出层将生成结果输出至外部系统。外部系统可以为工厂的AOI设备系统，从而形成图像数据流，结果输出层可接入生产决策系统，对产品的质量和去向进行监控和决策。
所述图像预处理阶段针对疑似缺陷图像进行处理：
首先将图像进行自动化裁剪，除去明显与缺陷无关的噪声；
之后将所有的图片缩放到相同的尺寸；
再后将所有图片进行去均值化和归一化处理；
最后利用canny算子对图像进行滤波处理，提取边缘图像的梯度二值图作为图片的第四个通道。
所述分割网络处理模型将经过预处理的图像作为输入，使用像素级别损失函数进行参数训练，构建一个多层卷积神经网络，所述多层卷积神经网络采用较大的卷积核，并采用最大值池化进行下采样的操作，最后将分割网络模型的最后一层的输出作为该图像的遮罩，将倒数第二层的输出和遮罩输入所述决策网络模型。
所述决策网络模型将分割网络模型最后一层输出的遮罩图像作为分割网络模型倒数第二层输出的特征映射的新的通道，将拼接而成的矩阵作为决策网络模型的输入，构建深度卷积神经网络；
所述决策网络模型使用交叉熵作为损失函数，在网络的全连接层后使用softmax函数实现多类别标签的分类，最终的输出为各类别标签的置信向量。
本发明相对于现有技术的优点在于：
1.能够以较高的速率和准确率识别出工业品表面是否带有缺陷，同时对带有缺陷的工业品能够准确的定位缺陷位置；
2.不同于AOI设备仅仅能够识别是否带有缺陷，还能够更加细粒度的检测出工业品缺陷的类型，避免了后续大量的人工肉眼检测，能够节省大量的人力物力；
3.具有良好的适应性，对于新的工业产品类型或者新的产品缺陷类型，可以在短时间内适应，不必大规模的改动算法结构；
4.具有良好的稳定性，对于同构的缺陷图像，算法能够产生稳定的输出。换言之，算法输出的结果只由图像本身决定；
附图说明
图1本发明技术方案的工业品缺陷检测系统示意图；
图2多任务学习模型总体图；
具体实施方式
以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于此实施例。
参照说明书附图1-2，本发明所提出的基于多任务学习的工业品缺陷检测系统整体分为三层，分别为图像输入层、模型层以及结果输出层。其中模型层采用多任务学习模型，由一个图像预处理阶段以及分割和决策两个子模型构成。图像输入层可直接接入工厂的AOI设备系统，形成图像数据流，结果输出层可接入生产决策系统，对产品的质量和去向进行监控和决策。
其图像预处理过程为，识别AOI设备拍摄的疑似缺陷图像，并对图像进行如下图像预处理操作：
1.将图像进行自动化裁剪，除去明显与缺陷无关的噪声；
2.将所有的图片缩放到相同的尺寸；
3.将所有图片进行去均值化和归一化处理；
4.利用canny算子对图像进行滤波处理，提取边缘图像的梯度二值图作为图片的第四个通道。
分割网络模型以经过预处理的图像作为输入，构建一个多层卷积神经网络，假设输入层的图片大小为W×H×C，其网络结构如下：
Figure BDA0002345699580000041
以分割网络模型的最后一层的输出作为该图像的遮罩，将倒数第二层的输出和遮罩共同作为决策网络模型的输入。
该网络使用像素级别损失函数(pixel-wise loss)进行参数训练，我们假设网络最后一层的输出为矩阵Iout，图片的标注遮罩为Igt，那么梯度下降训练参数时所使用的目标函数为：
Figure BDA0002345699580000042
在该网络结构的设计中，采用较大的卷积核，从而增大了感受野，同时使得下采样之间的卷积层数递增，从而保证了卷积核能够学习到更多的特征。此外，采用最大值池化(max-pooling)进行下采样的操作，从而保证在下采样的过程中能够留存一些较为重要的特征。
决策网络模型引入注意力机制，将分割网络模型最后一层输出的遮罩图像作为分割网络模型倒数第二层输出的特征映射(feature map)的新的通道，将拼接而成的矩阵作为决策网络模型的输入，构建深度卷积神经网络，已知输入层的图片大小为W/8×H/8×1025，其网络结构如下：
Figure BDA0002345699580000051
该网络使用交叉熵作为损失函数，假设p(x)向量表示图片x的期望输出，q(x)向量表示图片x的实际输出，那么Loss的计算公式如下：
Figure BDA0002345699580000052
该网络在全连接层后引入softmax层，从而实现多类别标签的分类，最终的输出为各类别标签的置信向量。
该网络在设计上使用了一次基于注意力机制的拼接操作，即将分割网络模型所产生的遮罩图像进行全局最大池化和全局平均池化操作，产生的两个值一个代表待检测区域最重要的特征，一个代表待检测区域全局特征，其与决策网络模型所产生的特征拼接后，既避免了全连接层参数爆炸，同时保证了特征的复杂性和完备性。

Claims (5)

1.一种基于多任务学习的工业品缺陷检测系统，其特征在于：系统整体分为图像输入层、模型层以及结果输出层；
所述模型层采用多任务学习模型，由一个图像预处理阶段以及分割和决策两个子模型构成，输入所述模型层的图像信号先经过图像预处理阶段，将所有图像裁剪为同一尺寸，并基于注意力机制添加颜色敏感和边缘敏感的通道，再经过分割网络处理模型处理，构建多层卷积神经网络，生成描述缺陷的遮罩二值图像，并抽取图像特征，最后经过决策网络模型处理后将结果输出至结果输出层，将分割网络模型输出的特征与遮罩进行拼接，构建多层卷积神经网络，得到生成图像中缺陷的类别；
所述图像输入层直接连接自动光学检测系统，形成图像数据流，所述结果输出层将生成结果输出至外部系统。
2.根据权利要求1所述的一种基于多任务学习的工业品缺陷检测系统，其特征在于：所述图像预处理阶段针对疑似缺陷图像进行处理。
3.根据权利要求2所述的一种基于多任务学习的工业品缺陷检测系统，其特征在于：所述图像预处理阶段对疑似缺陷图像处理方式为：
首先将图像进行自动化裁剪，除去明显与缺陷无关的噪声；
之后将所有的图片缩放到相同的尺寸；
再后将所有图片进行去均值化和归一化处理；
最后利用canny算子对图像进行滤波处理，提取边缘图像的梯度二值图作为图片的第四个通道。
4.根据权利要求3所述的一种基于多任务学习的工业品缺陷检测系统，其特征在于：所述分割网络处理模型将经过预处理的图像作为输入，使用像素级别损失函数进行参数训练，构建一个多层卷积神经网络，所述多层卷积神经网络采用较大的卷积核，并采用最大值池化进行下采样的操作，最后将分割网络模型的最后一层的输出作为该图像的遮罩，将倒数第二层的输出和遮罩输入所述决策网络模型。
5.根据权利要求4所述的一种基于多任务学习的工业品缺陷检测系统，其特征在于：所述决策网络模型将分割网络模型最后一层输出的遮罩图像作为分割网络模型倒数第二层输出的特征映射的新的通道，将拼接而成的矩阵作为决策网络模型的输入，构建深度卷积神经网络；
所述决策网络模型使用交叉熵作为损失函数，所述多层卷积神经网络的倒数第二层为全连接层，在所述全连接层后使用softmax函数实现多类别标签的分类，最终的输出为各类别标签的置信向量。
CN201911393687.9A 2019-12-30 2019-12-30 一种基于多任务学习的工业品缺陷检测系统 Active CN111179250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911393687.9A CN111179250B (zh) 2019-12-30 2019-12-30 一种基于多任务学习的工业品缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393687.9A CN111179250B (zh) 2019-12-30 2019-12-30 一种基于多任务学习的工业品缺陷检测系统

Publications (2)

Publication Number Publication Date
CN111179250A true CN111179250A (zh) 2020-05-19
CN111179250B CN111179250B (zh) 2023-03-24

Family

ID=70650583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393687.9A Active CN111179250B (zh) 2019-12-30 2019-12-30 一种基于多任务学习的工业品缺陷检测系统

Country Status (1)

Country Link
CN (1) CN111179250B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN112686833A (zh) * 2020-08-22 2021-04-20 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN113313684A (zh) * 2021-05-28 2021-08-27 北京航空航天大学 一种暗光条件下基于视频的工业缺陷检测系统
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN115841485A (zh) * 2023-02-13 2023-03-24 成都数联云算科技有限公司 一种面板缺陷检测方法、装置、设备及介质
CN117437221A (zh) * 2023-12-18 2024-01-23 浙江祥晋汽车零部件股份有限公司 一种基于图像检测的亮饰条检测方法及系统
CN117437221B (zh) * 2023-12-18 2024-04-26 浙江祥晋汽车零部件股份有限公司 一种基于图像检测的亮饰条检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220649A (zh) * 2017-05-27 2017-09-29 江苏理工学院 一种素色布匹缺陷检测和分类方法
CN107909059A (zh) * 2017-11-30 2018-04-13 中南大学 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108492272A (zh) * 2018-03-26 2018-09-04 西安交通大学 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
CN107220649A (zh) * 2017-05-27 2017-09-29 江苏理工学院 一种素色布匹缺陷检测和分类方法
CN107909059A (zh) * 2017-11-30 2018-04-13 中南大学 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108492272A (zh) * 2018-03-26 2018-09-04 西安交通大学 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何俊杰等: "基于卷积神经网络的电路缺陷识别方法", 《福建电脑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN112686833A (zh) * 2020-08-22 2021-04-20 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112686833B (zh) * 2020-08-22 2023-06-06 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN113313684A (zh) * 2021-05-28 2021-08-27 北京航空航天大学 一种暗光条件下基于视频的工业缺陷检测系统
CN115841485A (zh) * 2023-02-13 2023-03-24 成都数联云算科技有限公司 一种面板缺陷检测方法、装置、设备及介质
CN117437221A (zh) * 2023-12-18 2024-01-23 浙江祥晋汽车零部件股份有限公司 一种基于图像检测的亮饰条检测方法及系统
CN117437221B (zh) * 2023-12-18 2024-04-26 浙江祥晋汽车零部件股份有限公司 一种基于图像检测的亮饰条检测方法及系统

Also Published As

Publication number Publication date
CN111179250B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111179250B (zh) 一种基于多任务学习的工业品缺陷检测系统
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
Chauhan et al. Detection of bare PCB defects by image subtraction method using machine vision
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111693534B (zh) 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN111932501A (zh) 一种基于语义分割的密封圈表面缺陷检测方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN115184359A (zh) 一种自动调参的表面缺陷检测系统与方法
CN116188459B (zh) 一种用于皮带撕裂检测的线激光快速识别方法及系统
CN115953373B (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
CN112288741A (zh) 一种基于语义分割的产品表面缺陷检测方法、系统
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN116559177A (zh) 一种缺陷检测方法、装置、设备以及存储介质
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
US20240112781A1 (en) Ai-based product surface inspecting apparatus and method
CN112801962B (zh) 基于正样本学习的半监督工业制品瑕疵检测方法及系统
KR20230064319A (ko) 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN106370673A (zh) 一种镜片疵病自动检测方法
Chetoui et al. Object detection model-based quality inspection using a deep CNN
CN116978834A (zh) 一种用于晶圆生产的智能监测预警系统
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
CN115866502A (zh) 一种麦克风零件表面缺陷在线检测流程

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant