CN111179251B - 基于孪生神经网络利用模板比对的缺陷检测系统及方法 - Google Patents

基于孪生神经网络利用模板比对的缺陷检测系统及方法 Download PDF

Info

Publication number
CN111179251B
CN111179251B CN201911394231.4A CN201911394231A CN111179251B CN 111179251 B CN111179251 B CN 111179251B CN 201911394231 A CN201911394231 A CN 201911394231A CN 111179251 B CN111179251 B CN 111179251B
Authority
CN
China
Prior art keywords
defect
image
template
image sample
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911394231.4A
Other languages
English (en)
Other versions
CN111179251A (zh
Inventor
乐心怡
张昊东
余一宽
徐嘉文
孔泽隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911394231.4A priority Critical patent/CN111179251B/zh
Publication of CN111179251A publication Critical patent/CN111179251A/zh
Application granted granted Critical
Publication of CN111179251B publication Critical patent/CN111179251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于孪生神经网络利用模板比对的缺陷检测系统及方法，采用深度学习的检测方案，利用孪生神经网络，通过少量数据与先验知识在短时间内训练出优于人工检测漏检率的神经网络模型，所述模型为已训练完成基于孪生神经网络的深度学习模型，通过将待检产品图像与模板图像输入已训练网络得到缺陷的检测结果。本发明能够解决工业中有模板图像、少数据集、多目标类别的检测任务，同时网络亦可实现传统分类网络的功能，实现高精度的质量检测，有效满足带有模板图像的产品生产中对于视检缺陷的自动化检测的要求。

Description

基于孪生神经网络利用模板比对的缺陷检测系统及方法
技术领域
本发明涉及计算机视觉、深度学习技术领域，具体地，涉及一种基于孪生神经网络利用模板比对的缺陷检测系统及方法。
背景技术
工业生产中，几乎所有产品都需要进行质检，其中一大部分的质检过程是由质检员用肉眼视觉完成对产品缺陷的检测(以下称为视检)，尤其是一些表面缺陷，比如装饰板材、金属表面、键盘表面等，这种情况在实际工业中十分常见。由于产品的多样性、缺陷的多样性，比如装饰板材的缺陷即有划痕、污点、斑块、磨损、碎屑等，大大增加了质检员的工作量和工作难度，导致人工视检效率下降且容易由于质检员的疲劳和失误导致漏检、错检等情况，提高生产线的时间成本并可能影响到上市产品的质量。企业往往需要培养专门的质检员，检测环节也大大提高了企业的人力成本。故对于采取人工视检的产品，应用计算机视觉技术和深度学习技术进行图像的采集与处理，采用自动化检测系统及方法进行检测是行之有效，降本增效、控制漏检率的方法。
早期的自动化检测方法倾向于根据缺陷的类型提取特定的手工图像特征，采用数字图像处理方法如阈值分割、椭圆Gabor滤波器、RGB直方图等选择特定的图像特征。如专利文献CN106248686A，公开一种基于机器视觉的玻璃表面缺陷检测装置及方法，提出采用CCD相机对玻璃图像进行采集，在采用数字图像处理方法，如图像标定，二值化，去噪声，边缘检测等方法对缺陷进行识别。数字图像处理方法的识别率对于各种因素，如光照、对比度等影响因素十分敏感，且其过于依赖提取的特定图像特征，无法应对复杂背景，多种缺陷的识别任务，不具备通用性。
在实际生产过程中，大量的产品均有标准的合格产品样本，这类无缺陷样本可以给质检员一个良件的参考，能够为检测提供更多指导性信息，提高工作效率和准确度。同时，缺陷往往具有相当的多样性，逐类检测缺陷在一些具体问题中会大大降低效率，且对应于多种缺陷类型的情况，需要提前进行大量的先验性工作，且对于特定缺陷的检测将有可能遗漏一些分类较为模糊的缺陷。在很多情况中，缺陷所在的背景可能也包含大量信息，比如键盘键帽的各类缺陷就在上百种不同的键帽之上，这些键帽本身带有不同的图像信息，在传统的图像处理中，这些信息将成为检测缺陷的干扰信息，提高了自动化检测缺陷的难度。而传统的模板匹配方法，如专利文献CN108982508A公开一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，基于传统图像处理技术的模板匹配只能用于定位待测图像，后续的缺陷检测依然是使用基础的CNN进行分类，本质上未利用到良件的信息。
近年来，借助机器学习领域深度学习研究的发展，将深度学习方法引入各类产品缺陷图像的检测，可以极大的提高识别的准确性，降低漏检率，提高鲁棒性。其中孪生神经网络在人脸识别等方面展现了强大的能力，为利用模板进行缺陷检测提供了技术基础。专利文献CN110222792A公开了一种基于孪生网络的标签缺陷检测算法，提出了将孪生网络用于文字商标的检测，但其所述的方法实际是一种二分类网络而非孪生网络，在其所述的训练和检测过程中，均未将与待测图像相匹配的模板图片绑定输入，训练集分为有无缺陷的两大类，而检测时输入的所谓“模板”，只是一张随机的无缺陷图像，其功能与传统的分类网络无二，只是将卷积层替换为了权值共享的分离卷积层。且该专利文献中的方法只能进行“有缺陷”、“无缺陷”的二分类工作，且数据集未进行匹配，其网络的功能在背景含有不同语义信息的情况下，有极大可能只能检出大尺度下的缺陷，而对于相对细小的缺陷的识别能力有极大的待验证空间，应用场景十分受限。真正的孪生神经网络仍未在实际工业中有所应用。
深度学习的实质是通过构建具有多隐层的机器学习模型和海量的训练数据，对特征进行学习，从而最终提升分类或预测的准确性和通用性。然而训练一个有效的深度学习模型，需要大量的带标注数据，海量的显卡资源，以及漫长的训练时间，而在很多工业情景中，缺陷图像的获取成本非常高，导致样本数量十分有限，难以直接用来训练深度学习模型。目前的专利鲜有方法设计出一套完成的检测系统，同时解决大量工业生产中样本难以获得这个问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于孪生神经网络利用模板比对的缺陷检测系统及方法。
根据本发明提供的一种基于孪生神经网络利用模板比对的缺陷检测方法，包括：
步骤A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
步骤B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
步骤C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
步骤D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
步骤E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。
优选地，所述步骤D包括：
步骤S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
步骤S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
步骤S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
步骤S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
步骤S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。
优选地，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。
优选地，所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure BDA0002345855020000031
Figure BDA0002345855020000032
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
Hy′(y)为交叉熵；
yi＇为理想结果，即正确标签向量。
优选地，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。
根据本发明提供的一种基于孪生神经网络利用模板比对的缺陷检测系统，包括：
模块A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
模块B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
模块C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
模块D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
模块E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。
优选地，所述模块D包括：
模块S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
模块S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
模块S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
模块S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
模块S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。
与现有技术相比，本发明具有如下的有益效果：
1、基于孪生神经网络，利用模板信息进行缺陷检测的深度学习算法，能够解决工业中有模板图像、少数据集、多目标类别的检测任务，同时网络亦可实现传统分类网络的功能。
2、通过有效利用合格产品图像的信息，能解决传统图像方法、传统深度学习分类网络难以处理的小缺陷、弱语义信息、复杂背景等诸多工业中的实际情景，具有极强的产业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的一个具体实施方式中ResNet18预训练网络的网络结构图；
图2为本发明的一个具体实施例的神经网络模型的训练流程图；
图3为本发明的一个具体实施方式中已训练网络做缺陷检测的流程图；
图4为本发明的一个具体实施方式中对于污点类缺陷的基于图像处理的数据增强技术示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明尤其针对构建带模板的缺陷检测的深度学习模型这一问题，提供一种基于孪生神经网络利用模板比对的缺陷检测识别系统及方法并提高检测方法的鲁棒性，降低漏检率，并提供了解决检测系统设计于数据集增强的方案。基于孪生神经网络的以下的逐步操作：
步骤A.采集真实的待测产品加工缺陷图像样本与实际的合格产品图像样本。
步骤B.有需要时，利用数据增强技术生成不足的缺陷图像样本，对真实的加工缺陷图像样本与生成的加工缺陷图像样本进行人工标注。
步骤C.利用图像处理算法，完成每张缺陷图片与标准模板的匹配，找出每张缺陷图片所对应的模板，形成“缺陷——模板”为一组的数据集。
步骤D.将基于孪生神经网络的模型，在标注后的数据上进行训练，生成已训练的预测模型，根据验证集的准确率选取最合适的模型。
步骤E.实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别。
其中，针对于需要大体量数据集的情况，所述基于图像处理的数据增强技术大批量生成带有加工缺陷的待测产品的图像样本，包括利用图像处理技术，将加工缺陷的图像人为添加在所述实际的合格产品图像样本上，生成与所述真实的产品缺陷相似的缺陷图像样本，以获取足够的神经网络训练样本。对于缺陷图片与相应模板的匹配，即所述的用于完成缺陷图片与标准模板匹配的图像处理算法，使用图像特征点提取与匹配的方法，在模板数据集中搜索与缺陷图片最相近的作为其模板，亦有基于python的文件名检索的方法进行匹配的算法。检测过程输入待测图片，网络即可返回缺陷的种类，所述孪生神经网络所区分的缺陷包括，根据所述的缺陷标签(n类)以及“无缺陷”共n+1类标签进行分类，亦可基于实际情况，分为“无缺陷”、“有缺陷”两类进行训练，实现传统二分类网络的功效。
具体实施中，该发明所用的特征提取神经网络包括并不限于Resnet、Densenet等典型神经网络。基于孪生神经网络利用模板比对的缺陷检测识别方法，使用了两个共享权重的残差网络进行特征提取，其中图1为ResNet18的网络结构图，其中由四个残差块构成，每个残差块含有两层卷积层，均使用3*3的卷积核，通过前向的恒等映射，ResNet解决了诸多神经网络在往深度发展时会遇到的梯度消失问题，为实现更深的网络结构提供了技术基础。在本发明中，以ResNet18为例介绍ResNet的网络结构，在实际的实施中，已成功使用了ResNet34、ResNet50、ResNet101、ResNet152等这些更深的残差神经网络。特征提取通过以下步骤：
步骤S1.对已有数据集进行划分，以80％-15％-5％左右的比例分为训练集(training)，验证集(validating)和测试集(testing)，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能。
步骤S2.每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet共享权重，预训练网络的使用可以大大减少训练时间，实现整体系统的实时性。ResNet相较于其他网络如VGG在ImageNet上进行分类任务结果可达到最高的准确率，并由于引入了残差，使得训练过程更加稳定，是一种性能优越的神经网络。所使用的ResNet网络可以方便地进行更换，比如ResNet18、ResNet34、ResNet50、ResNet101、ResNet152等，从而选择最适合当前任务的预训练网络。ResNet的结构以ResNet18为例，ResNeT18的具体网络结构图见附图1，包括17个卷积层、1个全连接层、1个最大池化层、1个平均池化层，分为4个block，每个block内有2个卷积层，每个block运行2次，卷积层卷积核均为3x3。以上列举的ResNet在网络结构上总体一致但在block内各有不同，ResNet18最为简单，ResNet152结构最为复杂。最终每个ResNet18会输出1000x1000x1的特征向量。
步骤S3.得到两个特征向量后，使用concat函数完成特征向量的拼接，作为单输入进入后方的全连接层。特征向量的拼接通过提升向量的维度而减少了向量的数量，在降低了算力需求的同时保留了所有的语义信息。
步骤S4.拼接后的特征向量进入3层全连接层，3层全连接层的神经元数量依次为256，128，label number，即最后一层全连接层的输出通道数为需要进行分类的标签的数量，这一步体现了该方法对于多分类的问题的针对能力。
步骤S5.训练中的loss函数的定义基于交叉熵，用以衡量两个输入图像即待测图像(训练时的各类缺陷图像)与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure BDA0002345855020000071
Figure BDA0002345855020000072
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵。交叉熵越小，预测结果越准确，以该loss指导网络的训练过程。
如图2所示，本发明实现的基于孪生神经网络利用模板比对的缺陷检测识别方法，具体包括以下步骤：
(1)采集真实的键盘缺陷图像样本与合格的键盘图像样本。
采集系统包括固定键盘的专用夹具，固定于夹具之上的光源、相机。在这一实例中，键盘由夹具被固定于同一位置，键盘在采集到的图片中的位置具有极高的一致性，可以精确截取到每一个待检的键帽，在保存时通过文件名将各类键帽区分开，用于匹配模板。
(2)对真实的键盘缺陷图像样本与利用数据增强技术生成的键盘缺陷图像样本进行人工标注，标注的缺陷类别为：污点、重影、盲键、反键。
(3)利用孪生神经网络的结构，通过ResNet提取图像特征，对特征向量进行拼接后，输入全连接层，在基于交叉熵的Loss函数指导下，完成对整个网络的训练。
如图3所示，对网络完成训练后，缺陷检测推断过程只需要将待测图像与匹配到的模板图像输入已训练的网络，即可得到缺陷的推断结果。在完成标定的数据集中，同一类键帽在文件名中具有相同且唯一的字符串序列，通过检索算法可匹配到待测图像的模板文件。
如图4所示，对于需要进行数据扩充的情况下，利用基于图像处理的数据增强技术大批量生成带有各类缺陷的键帽图像样本。
通过观察，发现键盘缺陷的每种类型都有一些相似的特征，例如，“污点”可以看作带有特定灰度的圆点在一定范围内随机分布形成等，于是，通过图像处理，我们可以通过在正常的键帽图像上添加这些缺陷来人为生成更多同种类型的缺陷图像，以此增加训练数据。如图4所示，利用基于图像处理的数据增强技术生成“污点”缺陷图像具体实施例，以此为例，首先选取步骤1中采集的实际键帽图像，在图像上随机选取一个特定点，以该点为中心，在其周围的特定范围内随机绘制多个随机的圆点，由于真实的加工缺陷“污点”颜色与形状通常更为复杂，所以对最后生成随机形状的区域内与其周围进行高斯模糊，由于算法中选取的位置、生成的形状，以及其颜色均为随机，所以生成的加工缺陷图像具有足够的多样性，其余缺陷生成方式类似。
本发明的系统在实施中通过检测台、图像采集、算法推理三部分实现，其中，检测台包括部分生产线，为人工拾取产品进行拍摄或可嵌入自动化生产线的用于安装图像采集模块的平台，其上设置有相机安装支架以及必要的定位紧定装置。图像采集包括相机、光源以及相关配件，安装在平台的支架上。算法推理包括上位计算机以及相应神经网络模型与算法。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，包括：
步骤A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
步骤B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
步骤C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
步骤D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
步骤E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果；
所述步骤D包括：
步骤S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
步骤S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将缺陷图像和模板图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
步骤S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
步骤S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
步骤S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练；
所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure FDA0002940033920000011
Figure FDA0002940033920000021
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
Hy′(y)为交叉熵；
yi＇为理想结果，即正确标签向量。
2.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。
3.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。
4.一种基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，包括：
模块A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
模块B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
模块C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
模块D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
模块E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果；
所述模块D包括：
模块S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
模块S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将缺陷图像和模板图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
模块S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
模块S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
模块S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练；
所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure FDA0002940033920000031
Figure FDA0002940033920000032
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
xj为为特征向量第j个值；
Hy′(y)为交叉熵；
yi＇为为理想结果，即正确标签向量。
5.根据权利要求4所述的基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。
6.根据权利要求4所述的基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。
CN201911394231.4A 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法 Active CN111179251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394231.4A CN111179251B (zh) 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394231.4A CN111179251B (zh) 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Publications (2)

Publication Number Publication Date
CN111179251A CN111179251A (zh) 2020-05-19
CN111179251B true CN111179251B (zh) 2021-04-02

Family

ID=70652207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394231.4A Active CN111179251B (zh) 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Country Status (1)

Country Link
CN (1) CN111179251B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612763B (zh) * 2020-05-20 2022-06-03 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111652883B (zh) * 2020-07-14 2024-02-13 征图新视(江苏)科技股份有限公司 基于深度学习的玻璃表面缺陷检测方法
CN111899241B (zh) * 2020-07-28 2022-03-18 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN111754513B (zh) * 2020-08-07 2024-03-22 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111950548B (zh) * 2020-08-10 2023-07-28 河南大学 一种引入字库文字图像进行深度模板匹配的汉字识别方法
CN112001396B (zh) * 2020-08-12 2022-08-23 浙江大学 一种轴承表面形变及文字混合缺陷图像检测方法
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN112598631A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种基于多分区匹配和差异模型学习的印刷品表面缺陷检测方法
CN112884744A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113030108A (zh) * 2021-03-08 2021-06-25 哈尔滨工程大学 一种基于机器视觉的涂层缺陷检测系统与方法
CN113112483B (zh) * 2021-04-16 2023-04-18 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及系统
CN113379675A (zh) * 2021-04-29 2021-09-10 杭州电子科技大学 一种基于选择分割网络的表面缺陷检测方法
CN113324993B (zh) * 2021-05-19 2022-09-27 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113469223A (zh) * 2021-06-15 2021-10-01 上海电力大学 一种基于孪生网络和稠密网络的服装检索方法
CN113436184A (zh) * 2021-07-15 2021-09-24 南瑞集团有限公司 基于改进孪生网络的电力设备图像缺陷判别方法及系统
CN113610795B (zh) * 2021-08-02 2023-09-29 沈阳航空航天大学 一种可燃药筒表面缺陷检测方法及系统
CN113610155A (zh) * 2021-08-06 2021-11-05 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113610252B (zh) * 2021-08-17 2023-09-19 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113643268B (zh) * 2021-08-23 2023-05-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114241271B (zh) * 2021-11-16 2023-04-25 电子科技大学 一种多孪生迁移学习融合多信息的机械故障智能诊断方法
CN114115152A (zh) * 2021-11-25 2022-03-01 武汉智能装备工业技术研究院有限公司 基于嵌入式和深度学习的制造边缘实时事件洞察方法
CN114022479A (zh) * 2022-01-05 2022-02-08 高视科技(苏州)有限公司 电池极耳外观缺陷检测方法
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN114742811B (zh) * 2022-04-27 2024-03-29 桂林电子科技大学 一种基于改进Yolox的SMT产线焊点缺陷快速检测方法及系统
CN116385353B (zh) * 2023-02-10 2024-01-30 南通大学 一种摄像头模组异常检测方法
CN116703905B (zh) * 2023-08-04 2023-11-24 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN117074419B (zh) * 2023-08-25 2024-04-09 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统
CN117314895B (zh) * 2023-11-27 2024-03-12 北京阿丘科技有限公司 缺陷检测方法、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法

Also Published As

Publication number Publication date
CN111179251A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111292305A (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN113239930B (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
US20230129522A1 (en) Artificial intelligence vision inspection system for wiring harness
CN114372955A (zh) 一种基于改进神经网络的铸件缺陷x射线图自动识别法
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
Ghosh et al. Counterfeit IC detection by image texture analysis
CN111598858A (zh) 一种基于迁移学习的橡胶手套的检测方法及系统
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN115082449A (zh) 一种电子元器件缺陷检测方法
Ma et al. A hierarchical attention detector for bearing surface defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant