CN115222691A - 图像缺陷检测方法、系统及相关装置 - Google Patents

图像缺陷检测方法、系统及相关装置 Download PDF

Info

Publication number
CN115222691A
CN115222691A CN202210826580.4A CN202210826580A CN115222691A CN 115222691 A CN115222691 A CN 115222691A CN 202210826580 A CN202210826580 A CN 202210826580A CN 115222691 A CN115222691 A CN 115222691A
Authority
CN
China
Prior art keywords
image
model
target
defect
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210826580.4A
Other languages
English (en)
Inventor
夏轩
丁宁
何星
李南
张晓光
马琳
张爱东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Artificial Intelligence and Robotics
Original Assignee
Shenzhen Institute of Artificial Intelligence and Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Artificial Intelligence and Robotics filed Critical Shenzhen Institute of Artificial Intelligence and Robotics
Priority to CN202210826580.4A priority Critical patent/CN115222691A/zh
Publication of CN115222691A publication Critical patent/CN115222691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了图像缺陷检测方法、系统及相关装置，该方法包括：获取两个以上模型结构相同的目标模型S，将待检测图像分别输入各目标模型S，得到待检测图像在不同尺度下的目标特征张量，根据目标特征张量计算各尺度分别对应的异常注意力目标矩阵，根据异常注意力目标矩阵判断待检测图像是否为缺陷图像，并对缺陷图像的缺陷所在位置进行定位。由模型T蒸馏学习得的目标模型S，无需使用缺陷样本图像，通过无缺陷的正常样本图像便能完成模型训练，故本目标模型S轻量化，且模型响应时延能得到有效的降低，使得对待检测图像的类别预测，及其为缺陷图像时的缺陷定位进程得以加速，从而在减少人工投入的同时，又能提高图像的检测精度和时效性。

Description

图像缺陷检测方法、系统及相关装置
技术领域
本申请实施例涉及视觉检测技术领域，尤其涉及图像缺陷检测方法、系统及相关装置。
背景技术
伴随着人工智能和计算机视觉等技术的不断进步，以及政策的驱动，机器视觉产业正经历一个快速的发展阶段，且应用越来越广泛，市场需求巨大。
现阶段，视觉检测系统生产商需要人工确认出客户端的缺样品和样品检测参数，随后再投入漫长的产品开发调试或算法预测等过程；但对于要求更进一步的精密产品外观检测，因其产品结构复杂、材质多样化，或专业鸿沟所引起的理解差异，常致使人工对缺陷样品图像的获取困难或对样本缺陷的定位标注效果不准，故需重新获取或检验缺陷样品图像，否则易影响后续的算法预测等结果，而这过程中将耗费大量的劳动成本或引发多重的反复作业，降低产业线的成品时效。
因此，有必要提供有效的解决方案，缩短缺陷检测流程的检测周期，加快任务响应进程和产品生产效率。
发明内容
本申请实施例提供了图像缺陷检测方法、系统及相关装置，用以提高对产品外观缺陷的检测效率。
本申请实施例第一方面提供一种图像缺陷检测方法，包括：
获取两个以上模型结构相同的目标学生图像检测模型S，每一所述目标模型S由预先训练完成的教师图像检测模型和样本图像训练得到，所述样本图像包含无缺陷的正常样本图像但不包含缺陷样本图像，所述目标模型S和所述模型T之间的内部模块划分及所述模块对应输出的下采样图像尺度相同；
将待检测图像分别输入各所述目标模型S，得到所述待检测图像在不同尺度下的目标特征张量；
根据所述目标特征张量计算各尺度分别对应的异常注意力目标矩阵；
根据所述异常注意力目标矩阵判断所述待检测图像是否为缺陷图像，并对所述缺陷图像的缺陷所在位置进行定位。
本申请实施例第二方面提供一种图像缺陷检测系统，包括：
获取单元，用于获取两个以上模型结构相同的目标学生图像检测模型S，每一所述目标模型S由预先训练完成的教师图像检测模型和样本图像训练得到，所述样本图像包含无缺陷的正常样本图像但不包含缺陷样本图像，所述目标模型S和所述模型T之间的内部模块划分及所述模块对应输出的下采样图像尺度相同；
处理单元，用于将待检测图像分别输入各所述目标模型S，得到所述待检测图像在不同尺度下的目标特征张量；
计算单元，用于根据所述目标特征张量计算各尺度分别对应的异常注意力目标矩阵；
所述处理单元，还用于根据所述异常注意力目标矩阵判断所述待检测图像是否为缺陷图像，并对所述缺陷图像的缺陷所在位置进行定位。
可选地，所述获取单元具体用于：
获取预先训练完成的所述模型T；
根据所述模型T构建两个以上模型结构相同的初始模型S；
将正常样本图像分别输入所述模型T和所述初始模型S，得到各模型内部每一模块输出的初始特征张量；
根据各所述初始特征张量构造模型T和所有初始模型S之间的损失函数，并根据所述损失函数值训练每一初始模型S，直至所述初始模型S成为满足收敛条件的所述目标模型S。
可选地，所述获取单元具体用于：
计算模型T和每一初始模型S之间的余弦相似度，并根据所述余弦相似度构造得范数形式的损失函数；
或，
计算模型T和每一初始模型S之间的均方误差，并根据得到的各所述均方误差构造得均方形式的损失函数。
可选地，所述获取单元具体用于：
根据所述损失函数值，采用梯度下降法将每一初始模型S训练至满足所述收敛条件，以得到目标模型S。
可选地，所述计算单元具体用于：
根据同一尺度下的目标特征张量计算当前尺度下的异常注意力初矩阵，所述异常注意力初矩阵的大小用于表示当前尺度下的图像为缺陷图像的概率；
将不同尺度下的异常注意力初矩阵上采样到所述待检测图像的原尺寸大小，以得到各个对应待检测图像的原尺寸的异常注意力目标矩阵。
可选地，所述处理单元具体用于：
对所有异常注意力目标矩阵内的各元素进行大小比较，并判断其中的最大元素值是否大于预设阈值；
若大于预设阈值，则确定所述待检测图像为缺陷图像；
若未大于预设阈值，则确定所述待检测图像为正常图像。
可选地，所述处理单元具体用于：
对所有异常注意力目标矩阵进行融合处理，得到异常注意力融合矩阵；
根据预设阈值对所述异常注意力融合矩阵进行二值化处理，以得到对应缺陷图像的二值化图；
查找所述二值化图中异常注意力目标矩阵大于零的区域，并确定所述区域为缺陷的所在位置。
本申请实施例第三方面提供一种图像缺陷检测装置，包括：
中央处理器，存储器以及输入输出接口；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。
本申请实施例第四方面提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。
本申请实施例第五方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
由模型T蒸馏学习得的目标模型S，无需使用缺陷样本图像，通过无缺陷的正常样本图像便能完成模型训练，故可见，本申请实施例的目标模型S轻量化，且模型响应时延能得到有效的降低，使得对待检测图像的类别预测(为缺陷图像还是正常图像)，及其为缺陷图像时的缺陷定位进程得以加速，从而在减少人工投入的同时，又能提高图像的检测精度和时效性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例图像缺陷检测方法的一个流程示意图；
图2为本申请实施例图像缺陷检测方法的另一流程示意图；
图3为本申请实施例目标模型S的训练流程示意图；
图4为本申请实施例图像缺陷检测方法的另一流程示意图；
图5为本申请实施例初始模型S的构建流程示意图；
图6为本申请实施例图像缺陷检测系统的一个结构示意图；
图7为本申请实施例图像缺陷检测装置的一个结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一个具体实施方式”或“一个具体示例”等类似表达，其描述了所有可能实施例的子集，但是可以理解，“一个具体实施方式”或“一个具体示例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，涉及到的术语多个是指至少两个。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
为便于理解和说明，下面对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
(1)知识蒸馏(knowledge distillation)：是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型常被称之为teacher(教师模型)，小模型常被称之为Student(学生模型)；来自Teacher模型输出的监督信息称之为knowledge(知识)，而student学习迁移来自teacher的监督信息的过程称之为Distillation(蒸馏)。本申请中，将模型T中对正常样本的特征知识转移给模型S，而由于模型S没有学习过异常样本的知识，因此它们之间对异常区域的特征表达会产生差异，故据此对两个以上完成训练的模型S的输出进行对比性的处理，不再需要模型T的(推理)参与，便可准确有效地判断出异常区域是否存在，以及定位其所在位置。
(2)尺度：可理解为图像的尺寸大小。
(3)图像的二值化：就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出只有黑或白的明显视觉效果。
此外目前，对于图案错位或图案缺失等类型的外观缺陷，人工标注难以避免地易出现差错，使得有时得到的标注标签(包围框或掩膜)无法正确指示缺陷的内容，例如，某产品外观的右上角应打印上某图案，但实际情况是没打印上，使得人工难以准确或细节地以包围框的形式标注出缺陷具体所在的区域，从而导致后续网络模型训练或结果预测的失败，如无法成功预测出缺陷位置具体缺失的是什么图案，而此可能原因有，人工对混在正常品中的异常品(存在外观缺陷)的缺陷识别和标注需不断投入注意力和时间成本，易发生注意力转移而错判或不判外观缺陷。类似地，面对前述的某图案缺失示例，某位置因缺失了图案而成为空白无物区域，使得现有的图像检测网络大多正因如此难以明确要框选何物，而避开了对缺陷区域的指示。
下面将对本申请做进一步的详细说明，请参阅图1至图5，本申请第一方面提供一种图像缺陷检测方法的实施例，该实施例包括以下步骤：
1、获取两个以上模型结构相同的目标模型S。
每一目标模型S由预先训练完成的教师图像检测模型和样本图像训练得到，样本图像包含无缺陷的正常样本图像但不包含缺陷样本图像，目标模型S和模型T之间的内部模块划分及模块对应输出的下采样图像尺度相同。
如图3至图5所示，在一个具体示例中，步骤1获取两个以上模型结构相同的目标模型S的具体实现过程，包括：
11、获取预先训练完成的模型T。
选择某预先训练完成的图像检测模型(以在图片训练网络imagenet上已训练好的卷积神经网络resnet50为例)作为模型T，将此resnet50模型按照其骨干网络中输出的特征输出图大小，划分为N个网络模块T1、T2…TN，这N个网络模块输出的特征张量(可称为特征输出图)分别为t1、t2…tN，其中输入模型T的图像原尺寸若为H*W*3，则输出的这些特征输出图t1、t2…tN的尺寸会分别为
Figure BDA0003746826660000061
使得输出能取得降采样效果。
当然示例性地，还可以选用VGG16或DenseNet等预先训练完成的图像检测模型替代前述的resnet50模型作为模型T。
12、根据模型T构建两个以上模型结构相同的初始模型S。
仍以上述resnet50模型为例，根据resnet50模型构建出内部模块划分为S11、S12、S13……的初始模型S1，及内部模块划分为S21、S22、S23……初始模型S2，相应地，它们输出的特征输出图s11、s12、s13……和s21、s22、s23……的尺寸会分别与t1、t2、t3……的尺寸相同。
实际应用中，初始模型S中每个网络模块可如图5所示的方式搭建，以形成包含卷积、批归一化(BatchNorm)和激活函数的神经网络结构，从而极大地精简网络结构，提高推理速度。
13、获得模型T和初始模型S的每一模块输出的初始特征张量。
将正常样本图像分别输入模型T和初始模型S，得到各模型内部每一模块输出的初始特征张量(可称为初始特征输出图)，如上述t1、t2、t3……，s11、s12、s13……和s21、s22、s23……。
14、构造模型T和初始模型S之间的损失函数，并根据损失函数值训练得目标模型S。
141、根据各初始特征张量构造模型T和所有初始模型S之间的损失函数。
在一个具体示例中，步骤141构造损失函数的过程具体可包括下述任一种构造方式：
A、构造范数形式的损失函数：计算模型T和每一初始模型S(如上述初始模型S1、S2)之间的余弦相似度
Figure BDA0003746826660000071
并根据余弦相似度构造得如下的损失函数：
Figure BDA0003746826660000072
式中，ti、s1i和s2i分别表示模型T、初始模型S1和初始模型S2中第i个模块输出的特征张量(即特征输出图)，||*||表示L2正则，E[*]表示求均值。
B、均方形式的损失函数：计算模型T和每一初始模型S之间的均方误差，
Figure BDA0003746826660000073
并根据得到的各均方误差构造得如下的损失函数：
Figure BDA0003746826660000074
当然，还可以构造除上述A、B形式之外的其他损失函数评价模型T和各初始模型S之间的不一样程度。
142、根据损失函数值训练每一初始模型S，直至训练得目标模型S。
根据损失函数值训练每一初始模型S，直至初始模型S成为满足收敛条件的目标模型S。在一个具体实施方式中，可根据前述损失函数值，采用梯度下降法如随机梯度下降SGD、RMSProp(root mean square propagation)或Adam(Adaptive Moment Estimation)，将每一初始模型S训练至满足收敛条件，以得到目标模型S。
示例性地，此处的收敛条件具体可为：一段时间内，S1和S2输出结果之间的对比值达到预设阈值(如相似性度量值)，或者，判断K张特征输出图之间的损失函数值或其他某数值稳定在一定范围内，如此就可表征模型收敛了。
因此，如图2至图5所示，上述步骤1及其具体步骤是训练或生成m个(m大于等于2)异常注意力网络即目标模型S的操作过程，使得此m个目标模型S可视为共同合成了系列化的一套目标总模型；下面将详细说明该目标总模型具体如何对待检测图像进行包含融合预测处理的处理过程，以最终判定出缺陷图像(相当于判定待测产品是否为不良品)及输出缺陷定位结果。
2、将待检测图像分别输入各目标模型S，得到待检测图像在不同尺度下的目标特征张量。
因目标模型S本质上可视为由模型T训练而来，故相应地，将待检测图像分别输入各目标模型S，就可得到待检测图像在不同尺度下的目标特征张量，当然模型S的尺度划分和模型T的尺度划分是一致的。
3、根据目标特征张量计算各尺度分别对应的异常注意力目标矩阵。
在一个具体实施方式中，步骤3根据目标特征张量计算各尺度分别对应的异常注意力目标矩阵的具体实现过程，包括：
31、根据同一尺度下的目标特征张量计算当前尺度下的异常注意力初矩阵(文中各阶段的异常注意力矩阵均可视为异常注意力图)，异常注意力初矩阵的大小用于表示当前尺度下的特征输出图为缺陷图像的概率，该矩阵数值越大表示该尺度下的特征输出图异常的可能性越大，也相当于表示此尺寸图区内存在缺陷的可能性越高。示例性地，该异常注意力初矩阵具体可为目标模型S1和S2输出的目标特征图(即目标特征张量)之间的余弦相似度
Figure BDA0003746826660000081
或为它们之间的均方误差ai＝(s1i-s2i)2,i＝1,2,...,N，其中，该余弦相似度的值域为[-1,1]，故ai的值域为[0,2]。实际应用中，若输入的待检测图像为正常图像，则目标模型S1和S2各个模块的输出应当相同，得到的异常注意力初矩阵趋于0；反之，若输入的待检测图像为缺陷图像，则目标模型S1和S2各个模块在缺陷区域对应的特征图的输出会不同(即特征输出图不一致)，相应地，得到的异常注意力初矩阵在缺陷位置将产生峰值。
32、将不同尺度下的异常注意力初矩阵上采样到待检测图像的原尺寸大小，以得到各个对应待检测图像的原尺寸的异常注意力目标矩阵Ai(此处矩阵Ai内的元素可称为像素值)。
例如
Figure BDA0003746826660000082
其中UP(*,(H,W))表示将当前特征输出图的空间尺寸上采样到待检测图像的原尺寸大小H*W，如将第二(个)异常注意力初矩阵a2的特征输出图尺寸由
Figure BDA0003746826660000091
上采样转换到H*W。可以理解的是，此处得到的各个像素值即异常注意力目标矩阵Ai内的元素是不同尺度下的指标，故执行步骤32进而得到的也是与各尺度一一对应的像素值；当然，该像素值还可以除矩阵元素之外的其他形式表示。
4、根据异常注意力目标矩阵判断待检测图像是否为缺陷图像。
在一个具体实施例中，步骤4判断待检测图像是否为缺陷图像的具体实现过程，包括：
对所有异常注意力目标矩阵中的所有元素进行大小比较，并判断其中的最大元素值是否大于预设阈值T，若其大于预设阈值，则确定待检测图像为缺陷图像；反之，若未大于预设阈值，则确定待检测图像为正常图像。此处的预设阈值，具体可根据实际情况或历史经验而定，优选地，选择能最佳区分测试集中正常图像和缺陷图像的某个取值。
5、对缺陷图像的缺陷所在位置进行定位。
在一个具体实施方式中，步骤5对缺陷图像的缺陷所在位置进行定位的具体实现过程，包括：
对所有异常注意力目标矩阵进行融合处理，得到异常注意力融合矩阵；具体的，将各个Ai相乘，得到融合后的异常注意力融合矩阵
Figure BDA0003746826660000092
该矩阵A可以视为一张H*W大小的单通道灰度图像。
根据预设阈值(如上述阈值T)对异常注意力融合矩阵进行二值化处理，以得到对应缺陷图像的二值化图；
查找二值化图中异常注意力目标矩阵大于零的区域，并确定被查找出的区域为缺陷的所在位置。
综上，本申请通过教师网络模型和学生网络模型进行知识蒸馏，可使得推理阶段不再需要教师网络的参与就能计算得异常注意力图，从而提高缺陷检测结果的响应进度；而当中，目标模型S无需使用缺陷样本图像，通过无缺陷的正常样本图像便能完成模型训练，故本申请实施例的目标模型S轻量化，且模型响应时延能得到有效的降低，使得对待检测图像的类别预测(为缺陷图像还是正常图像)，及其为缺陷图像时的缺陷定位进程得以加速，从而在减少人工投入的同时，又能提高图像的检测精度和时效性。
请参阅图6，本申请第二方面提供一种图像缺陷检测系统的一个实施例，该实施例包括：
获取单元601，用于获取两个以上模型结构相同的目标学生图像检测模型S，每一目标模型S由预先训练完成的教师图像检测模型和样本图像训练得到，样本图像包含无缺陷的正常样本图像但不包含缺陷样本图像，目标模型S和模型T之间的内部模块划分及模块对应输出的下采样图像尺度相同；
处理单元602，用于将待检测图像分别输入各目标模型S，得到待检测图像在不同尺度下的目标特征张量；
计算单元603，用于根据目标特征张量计算各尺度分别对应的异常注意力目标矩阵；
处理单元602，还用于根据异常注意力目标矩阵判断待检测图像是否为缺陷图像，并对缺陷图像的缺陷所在位置进行定位。
本申请实施例中，图像缺陷检测系统各单元所执行的操作，与前述第一方面或第一方面的任一具体方法实施例所描述的操作类似，具体此处不再赘述。
请参阅图7，本申请实施例的图像缺陷检测装置700可以包括一个或一个以上中央处理器CPU(CPU，central processing units)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。
其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对图像缺陷检测装置中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在图像缺陷检测装置700上执行存储器705中的一系列指令操作。
图像缺陷检测装置700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。
该中央处理器701可以执行前述第一方面或第一方面的任一具体方法实施例所执行的操作，具体不再赘述。
可以理解的是，在本申请的各种实施例中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统或装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品(计算机程序产品)存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，业务服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-only memory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像缺陷检测方法，其特征在于，包括：
获取两个以上模型结构相同的目标学生图像检测模型S，每一所述目标模型S由预先训练完成的教师图像检测模型和样本图像训练得到，所述样本图像包含无缺陷的正常样本图像但不包含缺陷样本图像，所述目标模型S和所述模型T之间的内部模块划分及所述模块对应输出的下采样图像尺度相同；
将待检测图像分别输入各所述目标模型S，得到所述待检测图像在不同尺度下的目标特征张量；
根据所述目标特征张量计算各尺度分别对应的异常注意力目标矩阵；
根据所述异常注意力目标矩阵判断所述待检测图像是否为缺陷图像，并对所述缺陷图像的缺陷所在位置进行定位。
2.根据权利要求1所述的图像缺陷检测方法，其特征在于，所述目标模型S的训练步骤包括：
获取预先训练完成的所述模型T；
根据所述模型T构建两个以上模型结构相同的初始模型S；
将正常样本图像分别输入所述模型T和所述初始模型S，得到各模型内部每一模块输出的初始特征张量；
根据各所述初始特征张量构造模型T和所有初始模型S之间的损失函数，并根据所述损失函数值训练每一初始模型S，直至所述初始模型S成为满足收敛条件的所述目标模型S。
3.根据权利要求2所述的图像缺陷检测方法，其特征在于，所述根据各所述初始特征张量构造模型T和所有初始模型S之间的损失函数，具体包括以下任一种损失函数构造方式：
计算模型T和每一初始模型S之间的余弦相似度，并根据所述余弦相似度构造得范数形式的损失函数；
或，
计算模型T和每一初始模型S之间的均方误差，并根据得到的各所述均方误差构造得均方形式的损失函数。
4.根据权利要求2或3所述的图像缺陷检测方法，其特征在于，所述根据所述损失函数值训练每一初始模型S，包括：
根据所述损失函数值，采用梯度下降法将每一初始模型S训练至满足所述收敛条件，以得到目标模型S。
5.根据权利要求1所述的图像缺陷检测方法，其特征在于，所述根据所述目标特征张量计算各尺度分别对应的异常注意力目标矩阵，包括：
根据同一尺度下的目标特征张量计算当前尺度下的异常注意力初矩阵，所述异常注意力初矩阵的大小用于表示当前尺度下的图像为缺陷图像的概率；
将不同尺度下的异常注意力初矩阵上采样到所述待检测图像的原尺寸大小，以得到各个对应待检测图像的原尺寸的异常注意力目标矩阵。
6.根据权利要求1或5所述的图像缺陷检测方法，其特征在于，所述根据所述异常注意力目标矩阵判断所述待检测图像是否为缺陷图像，包括：
对所有异常注意力目标矩阵内的各元素进行大小比较，并判断其中的最大元素值是否大于预设阈值；
若大于预设阈值，则确定所述待检测图像为缺陷图像；
若未大于预设阈值，则确定所述待检测图像为正常图像。
7.根据权利要求1所述的图像缺陷检测方法，其特征在于，所述对所述缺陷图像的缺陷所在位置进行定位，包括：
对所有异常注意力目标矩阵进行融合处理，得到异常注意力融合矩阵；
根据预设阈值对所述异常注意力融合矩阵进行二值化处理，以得到对应所述缺陷图像的二值化图；
查找所述二值化图中异常注意力目标矩阵大于零的区域，并确定所述区域为缺陷的所在位置。
8.一种图像缺陷检测系统，其特征在于，包括：
获取单元，用于获取两个以上模型结构相同的目标学生图像检测模型S，每一所述目标模型S由预先训练完成的教师图像检测模型和样本图像训练得到，所述样本图像包含无缺陷的正常样本图像但不包含缺陷样本图像，所述目标模型S和所述模型T之间的内部模块划分及所述模块对应输出的下采样图像尺度相同；
处理单元，用于将待检测图像分别输入各所述目标模型S，得到所述待检测图像在不同尺度下的目标特征张量；
计算单元，用于根据所述目标特征张量计算各尺度分别对应的异常注意力目标矩阵；
所述处理单元，还用于根据所述异常注意力目标矩阵判断所述待检测图像是否为缺陷图像，并对所述缺陷图像的缺陷所在位置进行定位。
9.一种图像缺陷检测装置，其特征在于，包括：
中央处理器，存储器以及输入输出接口；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
CN202210826580.4A 2022-07-14 2022-07-14 图像缺陷检测方法、系统及相关装置 Pending CN115222691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210826580.4A CN115222691A (zh) 2022-07-14 2022-07-14 图像缺陷检测方法、系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210826580.4A CN115222691A (zh) 2022-07-14 2022-07-14 图像缺陷检测方法、系统及相关装置

Publications (1)

Publication Number Publication Date
CN115222691A true CN115222691A (zh) 2022-10-21

Family

ID=83611371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210826580.4A Pending CN115222691A (zh) 2022-07-14 2022-07-14 图像缺陷检测方法、系统及相关装置

Country Status (1)

Country Link
CN (1) CN115222691A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333493A (zh) * 2023-12-01 2024-01-02 深圳市志达精密科技有限公司 一种基于机器视觉的显示器底座生产用检测系统以及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333493A (zh) * 2023-12-01 2024-01-02 深圳市志达精密科技有限公司 一种基于机器视觉的显示器底座生产用检测系统以及方法
CN117333493B (zh) * 2023-12-01 2024-03-15 深圳市志达精密科技有限公司 一种基于机器视觉的显示器底座生产用检测系统以及方法

Similar Documents

Publication Publication Date Title
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN107636690B (zh) 基于卷积神经网络的全参考图像质量评估
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
WO2020232874A1 (zh) 基于迁移学习的建模方法、装置、计算机设备和存储介质
CN113837596B (zh) 一种故障确定方法、装置、电子设备及存储介质
US12094098B2 (en) Defect management apparatus, method and non-transitory computer readable medium
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN111811694A (zh) 一种温度校准方法、装置、设备及存储介质
CN117152484A (zh) 改进YOLOv5s的小目标布匹瑕疵检测方法
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN115222691A (zh) 图像缺陷检测方法、系统及相关装置
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN117495786A (zh) 缺陷检测元模型构建方法、缺陷检测方法、设备及介质
CN114359300B (zh) 一种图像分割模型的优化方法、装置、系统及存储介质
CN112801201B (zh) 一种基于标准化的深度学习视觉惯导组合导航设计方法
US11430240B2 (en) Methods and systems for the automated quality assurance of annotated images
CN114387089A (zh) 客户信用风险评估方法、装置、设备及存储介质
CN111241614A (zh) 基于条件生成对抗网络模型的工程结构荷载反演方法
US20240193460A1 (en) Data processing method and data processing apparatus
CN113658183B (zh) 工件质检方法、装置及计算机设备
US20230419473A1 (en) Method for detecting product for defects, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination