CN113724252A - 一种基于深度对偶网络特征匹配的工业图像异常检测方法 - Google Patents
一种基于深度对偶网络特征匹配的工业图像异常检测方法 Download PDFInfo
- Publication number
- CN113724252A CN113724252A CN202111181854.0A CN202111181854A CN113724252A CN 113724252 A CN113724252 A CN 113724252A CN 202111181854 A CN202111181854 A CN 202111181854A CN 113724252 A CN113724252 A CN 113724252A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- abnormal
- depth
- deep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 230000009977 dual effect Effects 0.000 title claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012512 characterization method Methods 0.000 claims abstract description 9
- 239000000126 substance Substances 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 14
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000009776 industrial production Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度对偶网络特征匹配的工业图像异常检测方法，具体步骤如下：(1)给定待检测图像x，设其宽为w，高为h，通道数为c，使用预训练好的深度卷积神经网络φ获取该图像深度特征
(2)将待检测图像x输入与相对网络φ具有对偶特点的卷积神经网络
获取该图像深度特征
(3)根据步骤(1)和(2)获得的深度表征
和
(4)根据步骤(4)，计算图像x的异常得分；(5)根据用户给定的分割阈值T，将步骤(4)获得异常得分Ai，j二值化，即将异常得分大于T的位置用1表示。该方法包含一个预训练好的深度卷积网络和一个与之结构对偶的深度网络，直接通过建模和评估两个深度网络间的特征匹配关系。
Description
技术领域
本发明涉及机器视觉领域，具体为一种基于深度对偶网络特征匹配的工业图像异常检测方法。
背景技术
近年来，随着人工智能技术的飞速发展，传统制造业逐步迈向智能制造。基于机器视觉异常检测的智能质检技术能自动化地识别工业产品的异常或瑕疵及评估产品质量，可有效提高诸如工业零部件制造、电子消费品生产等制造业的生产质量和效率，有着非常广泛的应用场景和前景。
现有工业图像异常检测方法主要为基于统计学习模型的异常检测和识别以及基于模板匹配的图像变化检测方法。其中，基于分类的方法往往需要大量的工业图像异常样本，然而在现代工业生产过程由于工艺的不断优化升级，异常或瑕疵的工业图像样本非常稀缺，难以满足分类方法的要求。同时，工业图像异常的种类繁多且无固定的统计规律，基于人工训练好的固化的异常分类模型将难以发现生产过程中产品出现的新型异常或瑕疵。基于模板匹配的图像变化检测方法，能通过设计“标准”的图像模板，通过与模板比对发现工业图像中的异常。然而，一方面，在实际应用中，待检测产品对象形态多样，难以抽取出固定的“标准”模板；另一方面，现有基于模板图像匹配的方法不够鲁棒，难以适应检测对象背景环境较为复杂的场景，因为难以为变化的背景寻求一个标准的模板。因此，当前工业图像异常检测领域亟需高效的、鲁棒的异常检测方法，一方面能有效适应于当前不断优化升级的工业生产过程，同时能检测和识别出工业图像各种异常或瑕疵的检测方法。
因此，针对现有技术的不足，本发明提供了一种基于深度特征匹配的工业图像异常检测方法，其能鲁棒地运行在无异常样本或少量标注样本的工业生产场景，且能有效地检测和识别出待检测图像中可能出现的各类型异常或瑕疵。
发明内容
本发明要解决的技术问题在于，现有工业图像异常检测方法存在不能鲁棒地运行在无异常样本或少量标注样本的工业生产过程中，不能有效地发现和识别可能出现的各类型的异常或瑕疵的缺点，已不能适应日益升级优化的工业生产过程的要求。
本发明的目的在于提供一种基于深度对偶网络特征匹配的工业图像异常检测方法，该基于深度对偶网络特征匹配的工业图像异常检测方法具体步骤如下：
(1)给定待检测图像x，设其宽为w，高为h，通道数为c，使用预训练好的深度卷积神经网络φ获取该图像深度特征
其中，
表示该深度神经网络的第o层输出，设其宽为wo，高为ho，通道数为co；
(2)将待检测图像x输入与相对网络φ具有对偶特点的卷积神经网络φ，获取该图像深度特征
其中，
表示该深度神经网络的第o层输出，其宽为wo，高为ho，通道数为co，所谓网络
与网络φ对偶，是指这两个深度网络有着相同或相似的网络结构，设θ为深度神经网络
的待优化的参数，网络
的具体参数通过在无异常或无故障图像样本上进行学习得到，即优化如下目标：
其中，N为正常图像样本的数量，
为第n个正常图像样本x经网络φ在像素位置(i，j)处的表征输出，维度为co，
为第n个正常图像样本x经另一网络
在像素位置(i，j)处的表征输出，维度为co，其中i＝1，2，...，ho，j＝1，2，...，wo；
(3)根据步骤(1)和(2)获得的深度表征
和
采用欧式距离计算网络φ与网络
输出的关于图像x的稠密特征间的匹配程度，也即像素级特征匹配：
同时，采用如下公式计算两深度表征间图像级特征匹配：
其中，
和
分别是维度为co的特征向量；
(4)根据步骤(4)，计算图像x的异常得分，定义关于图像异常得分图或像素级异常得分为：
Ai，j(x)＝Corri，j(x)，
定义图像级的异常得分为：
其中，Ai，j(x)为待检测图像x像素位置(i，j)处的异常得分，A(x)待检测图像异常得分，
同时，将异常得分图归一化到[0，1]范围，并用阈值0.5对其进行二值化分割，最终可检测及分割出图像中的异常，得到异常分割图；
(5)根据用户给定的分割阈值T，将步骤(4)获得异常得分Ai，j二值化，即将异常得分大于T的位置用1表示，其他位置用0表示，得到异常分割图Si，j即定位图像的异常或瑕疵区域，用1表示位置，最后，将异常得分图Ai，j(x)和分割图Si，j(x)缩放至图像的尺寸大小，则能得到关于图像x每个像素对应的异常得分图和分割图。
与现有技术相比，本发明的有益效果是：发明提供了一种基于深度对偶网络的工图像异常检测方法，该方法包含一个预训练好的深度卷积网络和一个与之结构对偶的深度网络，直接通过建模和评估两个深度网络间的特征匹配关系，即计算特征间的欧式距离，从获得图像及各像素处的异常得分，进而得到图像中的异常或瑕疵区域。由于预训练的深度卷积网络φ具有较强的图像特征表达能力，能有效地表征图像中的异常和正常模式和结构，而与之相对偶的卷积网络
又能有效抽取与φ网络相匹配的图像中的正常模式。由于网络
并未学习如何与网络φ建立关于图像中异常模式的特征匹配关系，所以关于测试图像中异常模式的特征匹配将难以建立，呈现较大的匹配距离。本发明方法，一方面，采用在计算机视觉领域广泛使用的深度学习技术，能抽取鲁棒的深度卷积特征，从而适应于各种复杂的图像异常检测场景；另一方面，由于不需要使用真实的异常样本，该方法能有效地运行在无异常样本或样本稀少的工业生产过程场景中；此外，该方法不需要设定关于异常的任何先验性息，故其能发现和检测各种可能出现的异常或瑕疵，从而适应日益升级优化的工业生产场景；同时，该方法中网络模型的训练和异常检测过程基于数据驱动和端到端的，建模便捷，识别性能较高，为工业图像异常检测领域提供了一种新颖的解决方案。
附图说明
图1是本发明实施例提供的基于深度对偶网络特征匹配的工业图像异常检测方法流程图；
图2是本发明实施例提供的基于深度对偶网络特征匹配的工业图像异常检测方法效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1-2所示，本发明实施例所提基于深度对偶网络特征匹配的工业图像异常检测方法包括以下步骤：
(1)给定待检测图像x(设其宽为256，高为256，通道数为3)，使用在ImageNet图像数据库上通过分类任务预训练好的共有16个卷积层的深度卷积网络VGG19获取该图像深度特征
其中，
表示网络的第o层输出，设其宽为wo，高为ho，通道数为co；(用数学符号φ表示)。
(2)将待检测图像x输入与相对网络φ具有对偶特点的卷积神经网络
获取该图像深度特征
其中，
表示该深度神经网络的第o层输出，其宽为wo，高为ho，通道数为co。所谓网络
与网络φ对偶，是指这两个深度网络有着相同或相似的网络结构。设θ为深度神经网络
的待优化的参数，网络
的具体参数通过在无异常或无故障图像样本(即正常图像样本)上进行学习得到，即优化如下目标：
其中，N为正常图像样本的数量，
为第n个正常图像样本x经网络φ在像素位置(i，j)处的表征输出，维度为co，
为第n个正常图像样本x经另一网络
在像素位置(i，j)处的表征输出，维度为co，其中i＝1，2，...，ho，j＝1，2，...，wo。
(3)根据步骤(1)和(2)获得的深度表征
和
采用欧式距离计算网络φ与网络
输出的关于图像x的稠密特征间的匹配程度，也即像素级特征匹配：
同时，采用如下公式计算两深度表征间图像级特征匹配：
其中，
和
分别是维度为co的特征向量。
(4)根据步骤(4)，计算图像x的异常得分。具体地，定义关于图像异常得分图或像素级异常得分为：
Ai，j(x)＝Corri，j(x)
定义图像级的异常得分为：
其中，Ai，j(x)为待检测图像x像素位置(i，j)处的异常得分，A(x)待检测图像异常得分。
同时，将异常得分图归一化到[0，1]范围，并用阈值0.5对其进行二值化分割，最终可检测及分割出图像中的异常，得到异常分割图。
(5)根据用户给定的分割阈值T，将步骤(4)获得异常得分Ai，j二值化，即将异常得分大于T的位置用1表示，其他位置用0表示，得到异常分割图Si，j即定位图像的异常或瑕疵区域(用1表示位置)。最后，将异常得分图Ai，j(x)和分割图Si，j(x)缩放至图像的尺寸大小，则能得到关于图像x每个像素对应的异常得分图和分割图。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (1)
1.一种基于深度对偶网络特征匹配的工业图像异常检测方法，其特征在于：该基于深度对偶网络特征匹配的工业图像异常检测方法具体步骤如下：
(1)给定待检测图像x，设其宽为w，高为h，通道数为c，使用预训练好的深度卷积神经网络φ获取该图像深度特征
其中，
表示该深度神经网络的第o层输出，设其宽为wo，高为ho，通道数为co；
(2)将待检测图像x输入与相对网络φ具有对偶特点的卷积神经网络
获取该图像深度特征
其中，
表示该深度神经网络的第o层输出，其宽为wo，高为ho，通道数为co，所谓网络
与网络φ对偶，是指这两个深度网络有着相同或相似的网络结构，设θ为深度神经网络
的待优化的参数，网络
的具体参数通过在无异常或无故障图像样本上进行学习得到，即优化如下目标：
其中，N为正常图像样本的数量，
为第n个正常图像样本x经网络φ在像素位置(i，j)处的表征输出，维度为co，
为第n个正常图像样本x经另一网络
在像素位置(i，j)处的表征输出，维度为co，其中i＝1，2，...，ho，j＝1，2，...，wo；
(3)根据步骤(1)和(2)获得的深度表征
和
采用欧式距离计算网络φ与网络
输出的关于图像x的稠密特征间的匹配程度，也即像素级特征匹配：
同时，采用如下公式计算两深度表征间图像级特征匹配：
其中，
和
分别是维度为co的特征向量；
(4)根据步骤(4)，计算图像x的异常得分，定义关于图像异常得分图或像素级异常得分为：
Ai，j(x)＝Corri，j(x)，
定义图像级的异常得分为：
其中，Ai，j(x)为待检测图像x像素位置(i，j)处的异常得分，A(x)待检测图像异常得分，
同时，将异常得分图归一化到[0，1]范围，并用阈值0.5对其进行二值化分割，最终可检测及分割出图像中的异常，得到异常分割图；
(5)根据用户给定的分割阈值T，将步骤(4)获得异常得分Ai，j二值化，即将异常得分大于T的位置用1表示，其他位置用0表示，得到异常分割图Si，j即定位图像的异常或瑕疵区域，用1表示位置，最后，将异常得分图Ai，j(x)和分割图Si，j(x)缩放至图像的尺寸大小，则能得到关于图像x每个像素对应的异常得分图和分割图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111181854.0A CN113724252A (zh) | 2021-10-11 | 2021-10-11 | 一种基于深度对偶网络特征匹配的工业图像异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111181854.0A CN113724252A (zh) | 2021-10-11 | 2021-10-11 | 一种基于深度对偶网络特征匹配的工业图像异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113724252A true CN113724252A (zh) | 2021-11-30 |
Family
ID=78685880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111181854.0A Pending CN113724252A (zh) | 2021-10-11 | 2021-10-11 | 一种基于深度对偶网络特征匹配的工业图像异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724252A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831020A (zh) * | 2012-07-26 | 2012-12-19 | 中国科学院信息工程研究所 | 日志检测方法及系统 |
| CN103440175A (zh) * | 2013-08-06 | 2013-12-11 | 北京数码视讯科技股份有限公司 | 智能卡的异常处理方法及装置 |
| CN110070538A (zh) * | 2019-04-28 | 2019-07-30 | 华北电力大学（保定） | 基于形态优化深度特征的螺栓二维视觉结构聚类方法 |
| CN110111113A (zh) * | 2019-04-30 | 2019-08-09 | 中国银联股份有限公司 | 一种异常交易节点的检测方法及装置 |
| CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
| CN111815601A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大学 | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 |
| CN111932639A (zh) * | 2020-09-09 | 2020-11-13 | 苏州鼎纳自动化技术有限公司 | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 |
| CN112001903A (zh) * | 2020-08-21 | 2020-11-27 | 深圳市华汉伟业科技有限公司 | 缺陷检测网络构建方法、异常检测方法及系统、存储介质 |
| CN112508946A (zh) * | 2020-12-29 | 2021-03-16 | 苏州光格科技股份有限公司 | 一种基于对抗神经网络的电缆隧道异常检测方法 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
-
2021
- 2021-10-11 CN CN202111181854.0A patent/CN113724252A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831020A (zh) * | 2012-07-26 | 2012-12-19 | 中国科学院信息工程研究所 | 日志检测方法及系统 |
| CN103440175A (zh) * | 2013-08-06 | 2013-12-11 | 北京数码视讯科技股份有限公司 | 智能卡的异常处理方法及装置 |
| CN110070538A (zh) * | 2019-04-28 | 2019-07-30 | 华北电力大学（保定） | 基于形态优化深度特征的螺栓二维视觉结构聚类方法 |
| CN110111113A (zh) * | 2019-04-30 | 2019-08-09 | 中国银联股份有限公司 | 一种异常交易节点的检测方法及装置 |
| CN110211114A (zh) * | 2019-06-03 | 2019-09-06 | 浙江大学 | 一种基于深度学习的装箱缺条视觉检测方法 |
| CN111815601A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大学 | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 |
| CN112001903A (zh) * | 2020-08-21 | 2020-11-27 | 深圳市华汉伟业科技有限公司 | 缺陷检测网络构建方法、异常检测方法及系统、存储介质 |
| CN111932639A (zh) * | 2020-09-09 | 2020-11-13 | 苏州鼎纳自动化技术有限公司 | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 |
| CN112508946A (zh) * | 2020-12-29 | 2021-03-16 | 苏州光格科技股份有限公司 | 一种基于对抗神经网络的电缆隧道异常检测方法 |
| CN113160192A (zh) * | 2021-04-28 | 2021-07-23 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082683B (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| CN109239102B (zh) | 一种基于cnn的柔性电路板外观缺陷检测方法 | |
| CN109977808B (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN108355981B (zh) | 一种基于机器视觉的电池连接器质量检测方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN105445277A (zh) | 一种fpc表面质量视觉智能检测方法 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| Chang et al. | A deep learning-based weld defect classification method using radiographic images with a cylindrical projection | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN113344903A (zh) | 一种基于变分自编码器的玻璃瑕疵检测方法 | |
| CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN114266743A (zh) | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 | |
| CN111754502A (zh) | 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法 | |
| CN114299040A (zh) | 瓷砖瑕疵检测方法、装置和电子设备 | |
| CN115995023A (zh) | 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法 | |
| CN113724252A (zh) | 一种基于深度对偶网络特征匹配的工业图像异常检测方法 | |
| CN116452826A (zh) | 基于机器视觉的遮挡情况下煤矸石轮廓估计方法 | |
| Dong | A pixel-wise framework based on convolutional neural network for surface defect detection | |
| CN112633327B (zh) | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |