CN117677969A - 一种缺陷检测的方法和装置 - Google Patents

一种缺陷检测的方法和装置 Download PDF

Info

Publication number
CN117677969A
CN117677969A CN202280006411.4A CN202280006411A CN117677969A CN 117677969 A CN117677969 A CN 117677969A CN 202280006411 A CN202280006411 A CN 202280006411A CN 117677969 A CN117677969 A CN 117677969A
Authority
CN
China
Prior art keywords
image
defect
network
abnormal
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280006411.4A
Other languages
English (en)
Inventor
江冠南
束岸楠
黄强威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Contemporary Amperex Technology Co Ltd
Original Assignee
Contemporary Amperex Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Contemporary Amperex Technology Co Ltd filed Critical Contemporary Amperex Technology Co Ltd
Publication of CN117677969A publication Critical patent/CN117677969A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本申请实施例提供一种缺陷检测方法和装置，该方法包括获取待检测图像；对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像；对所述异常区域图像进行缺陷分类，得到所述待检测图像的缺陷检测信息。本申请实施例的缺陷检测方法分为异常检测和缺陷分类两个步骤，首先对待检测图像进行异常检测，然后仅需要对发生异常的区域再进行缺陷分类，可以减少缺陷分类的工作量，从而提高了缺陷检测效率。

Description

一种缺陷检测的方法和装置 技术领域
本申请涉及图像处理技术领域，特别是涉及一种缺陷检测的方法和装置。
背景技术
在现代工业制造领域中，由于工艺、设备及多生产工序的原因，工业产品会存一种或多种缺陷，对工业产品进行缺陷检测是控制工业产品质量的关键环节。
目前常用的目标检测方法和实例分割法由于网络层数过多，检测速度难以满足工业产品生产过程中的检测需求。因此，亟需一种高效的缺陷检测方法。
发明内容
本申请提供了一种缺陷检测的方法和装置，能够简化缺陷检测流程，提高检测效率。
第一方面，提供了一种缺陷检测的方法，包括：获取待检测图像；对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像；对所述异常区域图像进行缺陷分类，得到所述待检测图像的缺陷检测信息。
本申请的技术方案中，通过将缺陷检测分为异常检测和缺陷分类两个步骤，首先将待检测图像中发生异常的区域检测出来，以得到与待检测图像对应的异常区域图像，后续仅需对发生异常的区域进行缺陷分类，大大减少了缺陷分类的工作量，从而提高了缺陷检测的效率。
本申请的缺陷检测方法可以对多种缺陷进行检测与分类，适用于多个生产工序，从而避免为每个工序单独开发检测算法，降低了开发成本。
在一些实施例中，所述缺陷检测信息包括所述异常区域图像的缺陷类型信息和 缺陷位置信息。
在一些实施例中，所述对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像包括：根据异常检测模型得到用于表示异常区域的差值图；根据分割阈值将所述差值图进行分割，以得到所述异常区域图像。
上述实施方式中，利用异常检测模型对待检测图像进行检测，可以将表现异常的区域从原始待检测图像中分割出来，以便后续仅对发生异常的区域进行缺陷分类，大大减少缺陷分类的工作量，从而提高缺陷检测效率。
在一些实施例中，所述异常检测模型中包括预训练的教师网络和利用所述教师网络蒸馏得到的学生网络；所述根据异常检测模型得到用于表示异常区域的差值图，包括：将所述待检测图像分别输入所述教师网络和所述学生网络，分别得到所述教师网络的不同层级的特征图和所述学生网络的不同层级的特征图；计算所述教师网络输出的特征图和所述学生网络输出的特征图的每个像素的差值，以得到所述差值图。
上述实施方式中，通过预训练的教师网络与利用教师网络蒸馏得到的学生网络对同一待检测图像的表达差异推理异常区域，不需要与缺陷图像样本进行对比，因此不需要人工提前采集和标注大量的缺陷数据，降低了人工成本。并通过两个网络输出的特征图像之间的表达差异定义和量化了异常程度，实现了对待检测图像的像素级的异常检测。
在一些实施例中，所述根据分割阈值将所述差值图进行分割，以得到所述异常区域图像包括：将所述差值图中大于所述分割阈值的像素作为异常像素，其余像素作为正常像素，得到所述异常区域图像。
上述实施方式中，上述实施方式，通过分割阈值对差值图进行分割得到二值化的异常区域图像，可以明显地区分或标识待检测图像中的正常区域以及异常区域，以便后续缺陷分类工序仅对异常区域进行缺陷分类，而不需要对正常区域进行缺陷分类，大大减少了缺陷分类工序的工作量，提高了整个缺陷检测的效率。
应理解，异常区域即缺陷区域。由于每个像素具有属于自己的位置坐标，当分割阈值将差值图分割后得出异常像素时，即可得出异常像素的位置坐标，从而可以得出异常区域或缺陷区域的位置信息。
在一些实施例中，在对所述待检测图像进行异常检测之前，所述方法还包括：训练所述异常检测模型的所述学生网络。
，在对待检测图像进行异常检测之前，对异常检测模型中的学生网络进行训练，可以提高异常检测模型的准确性。
在一些实施例中，所述训练所述学生网络包括：初始化所述学生网络；将正常图像输入所述教师网络和所述学生网络以得到所述教师网络输出的各层级的特征图以及所述学生网络输出的对应各层级的特征图；在蒸馏损失函数中最小化所述教师网络输出的各层级的特征图与所述学生网络输出的对应各层级的特征图之间的差值；以及基于损失计算结果更新所述学生网络的参数。
上述实施方式，在学生网络的训练过程中，学生网络通过知识蒸馏学习到教师网络的特征提取能力，并通过模型压缩使得网络具备了以较少的网络参数进行异常检测的能力，且网络结构简单，因此容易部署和快速实现异常检测。另外，通过学习正常图像而不是缺陷图像，使得异常检测网络可以对已知或未知的异常均可检出，避免对未知异常的漏检，具有极强的鲁棒性。
在一些实施例中，所述方法还包括：计算所述异常检测模型的最佳异常判定阈值；根据所述最佳异常判定阈值设置所述分割阈值。
异常判定阈值是指在异常检测模型训练完成后，利用该异常判定阈值和差值图中的最大值相比较，来判断待检测图像是正常图像还是缺陷图像。上述实施方式，选出最佳异常判定阈值可以使得该异常检测模型的正确率最高。
在一些实施例中，所述计算所述异常检测模型的最佳异常判定阈值，包括：将测试样本分别输入所述教师网络和所述学生网络，所述测试样本包括缺陷图像和正常图像；将所述教师网络输出的特征图与所述学生网络输出的特征图之间的差值图中的最大值确定为所述测试样本的异常值；若所述异常值大于异常判定阈值时，判定所述测试样本为所述缺陷图像，否则判定所述测试样本为所述正常图像；计算所述异常检测模型中每个异常判定阈值对应的假正率和真正率之间的最大差值，所述最大差值所对应的异常判定阈值确定为所述最佳异常判定阈值；其中，所述假正率为测试样本为正常图像而判定结果为缺陷图像的比例；所述真正率为测试样本为缺陷图像且判定结果为缺陷图像的比例。
上述实施方式，异常检测模型利用假正率和真正率之间的差值设定最佳异常判定阈值，可以使异常检测模型的准确率最高。
在一些实施例中，所述根据所述最佳异常判定阈值设置所述分割阈值，包括： 设置所述分割阈值小于所述最佳异常判定阈值。
上述实施方式，将分割阈值设置低于最佳异常判定阈值，以将可能发生异常的像素标识为异常，可以避免漏检，从而提高异常检测的正确率。
在一些实施例中，所述对所述异常区域图像进行缺陷分类之前，所述方法还包括：从所述异常区域图像得到一个或多个包括异常像素的矩形图像；其中，所述对所述异常区域图像进行缺陷分类包括：对一个或多个所述矩形图像进行缺陷分类。
在一些实施例中，所述对一个或多个所述矩形图像进行缺陷分类，包括：通过缺陷分类模型对所述矩形图像进行分类。
上述实施方式，通过从异常区域图像中得到一个或多个包括异常像素的矩形图像，可以加快后续对异常区域图像进行缺陷分类的批推理，从而提高缺陷检测的效率。
在一些实施例中，所述通过缺陷分类模型对所述矩形图像进行分类，包括：获取所述矩形图像的特征向量；根据所述特征向量计算每种已知缺陷类型下所述矩形图像的相似度评分；根据所述相似度评分对所述矩形图像进行缺陷分类。
上述实施方式，通过相似度评分对矩形图像进行缺陷分类，可以直观地看出矩形图像与任意一种已知缺陷类型的相似度，以准确判断缺陷分类的准确度。
在一些实施例中，所述获取所述矩形图像的特征向量，包括：通过ResNet网络模型提取所述矩形图像的特征向量。
上述实施方式，ResNet网络模型结构简单，有利于提高缺陷分类的效率，从而可以提高整个缺陷检测的效率。。
在一些实施例中，所述根据所述特征向量计算每种已知缺陷类型下所述矩形图像的相似度评分，包括：将所述特征向量映射至训练好的特征向量空间中，所述特征向量空间包括所述已知缺陷类型的特征向量；计算所述特征向量与所述已知缺陷类型的特征向量的距离，以得到每种所述已知缺陷类型下所述矩形图像的相似度评分。
上述实施方式，可以通过相关代码将已训练的特征向量空间可视化，形成一个立体的三维空间，通过观察已训练的特征向量空间可以直观地看出缺陷分类模型对各种缺陷类别的训练效果，不再局限于传统方法中只有数值上的抽象的信息。
在一些实施例中，所述根据所述相似度评分对所述矩形图像进行分类，包括：若所述相似度评分中最大的相似度评分不小于第一相似度阈值，输出所述最大的相似度评分对应的缺陷类型；或若所述相似度评分均小于所述第一相似度阈值，输出未知 缺陷类型。
上述实施方式，第一相似度阈值作为最低的相似度阈值，若所有的相似度评分均小于该评分，说明矩形图像的缺陷与所有已知缺陷相似度很低，属于未知的缺陷类型，本申请实施例可以准确有效地识别未知缺陷或未出现过的新缺陷。
在一些实施例中，所述输出最大的相似度评分对应的缺陷类型之前，所述方法还包括：若所述缺陷类型为指定缺陷类型，计算所述矩形图像中所述异常像素的面积；其中，所述输出所述最大的相似度评分对应的缺陷类型包括：若所述面积大于面积阈值，输出所述最大的相似度评分对应的缺陷类型。
上述实施方式，可以根据对某一缺陷不同的面积容纳需求，灵活控制特定的缺陷面积指标。
在一些实施例中，所述输出所述最大的相似度评分对应的缺陷类型，包括：若所述最大的相似度评分大于第二相似度阈值，输出所述最大的相似度评分对应的缺陷类型，所述第二相似度阈值大于所述第一相似度阈值。
上述实施方式，通过设置大于第一相似度阈值的第二相似度阈值的值，可以根据对分类准确性的不同需求，灵活设置该第二相似度阈值指标。
在一些实施例中，所述缺陷检测信息还包括所述缺陷类型对应的相似度评分。
上述实施方式，当缺陷检测信息包缺陷类型对应的相似度评分时，可以直观地看出待检测图像与已知缺陷类型的相似度，有利于工作人员根据该相似度评分确定是否需要人工确认缺陷检测是否准确。
第二方面，本申请提供了一种缺陷检测的装置，包括：获取单元，用于获取待检测图像；处理单元，用于对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像；所述处理单元还用于对所述异常区域图像进行缺陷分类，得到所述待检测图像的缺陷检测信息。
在一些实施例中，所述缺陷检测信息包括所述异常区域图像的缺陷类型信息和缺陷位置信息。
在一些实施例中，所述处理单元还用于：根据异常检测模型得到用于表示异常区域的差值图；以及根据分割阈值将所述差值图进行分割，以得到所述异常区域图像。
在一些实施例中，所述异常检测模型中包括预训练的教师网络和利用所述教师网络蒸馏得到的学生网络；所述处理单元还用于将所述待检测图像分别输入所述教师 网络和所述学生网络，分别得到所述教师网络输出的特征图和所述学生网络输出的特征图；所述处理单元还用于计算所述教师网络输出的特征图和所述学生网络输出的特征图的每个像素的差值，以得到所述差值图。
在一些实施例中，所述处理单元还用于：将所述差值图中大于所述分割阈值的像素作为异常像素，其余像素作为正常像素，得到所述异常区域图像。
在一些实施例中，所述处理单元还用于训练所述异常检测模型的所述学生网络。
在一些实施例中，所述处理单元还用于：初始化所述学生网络；所述处理单元还用于：将正常图像输入所述教师网络和所述学生网络以得到所述教师网络输出的各层级的特征图以及所述学生网络输出的对应各层级的特征图；所述处理单元还用于：在蒸馏损失函数中最小化所述教师网络输出的各层级的特征图与所述学生网络输出的对应各层级的特征图之间的差值；以及所述处理单元还用于：基于损失计算结果更新所述学生网络的参数。
在一些实施例中，所述处理单元还用于计算所述异常检测模型的最佳异常检测模型的最佳异常判定阈值；所述处理单元还用于根据所述最佳异常判定阈值设置所述分割阈值。
在一些实施例中，所述处理单元还用于：将测试样本分别输入所述教师网络和所述学生网络，所述测试样本包括缺陷图像和正常图像；所述处理单元还用于：将所述教师网络输出的特征图与所述学生网络输出的特征图之间的差值图中的最大值确定为所述测试样本的异常值；若所述异常值大于异常判定阈值时，所述处理单元还用于判定所述测试样本为所述缺陷图像，否则判定所述测试样本为所述正常图像；所述处理单元还用于：计算所述异常检测模型中每个异常判定阈值对应的假正率和真正率之间的差值，最大的所述差值所对应的异常判定阈值确定为所述最佳异常判定阈值；其中，所述假正率为测试样本为正常图像而判定结果为缺陷图像的比例；所述真正率为测试样本为缺陷图像且判定结果为缺陷图像的比例
在一些实施例中，所述处理单元还用于：设置所述分割阈值小于所述最佳异常判定阈值。
在一些实施例中，所述获取单元还用于：从所述异常区域图像得到一个或多个包括异常像素的矩形图像；所述处理单元还用于：对一个或多个所述矩形图像进行缺陷分类。
在一些实施例中，所述处理单元还用于通过缺陷分类模型对所述矩形图像进行分类。
在一些实施例中，所述获取单元还用于：获取所述矩形图像的特征向量；所述处理单元还用于：根据所述特征向量计算每种已知缺陷类型下所述矩形图像的相似度评分；所述处理单元还用于：根据所述相似度评分对所述矩形图像进行缺陷分类。
在一些实施例中，所述处理单元还用于：通过ResNet网络模型提取所述矩形图像的特征向量。
在一些实施例中，所述处理单元还用于：将所述特征向量映射至训练好的特征向量空间中，所述特征向量空间包括所述已知缺陷类型的特征向量；所述处理单元还用于：计算所述特征向量与所述已知缺陷类型的特征向量的距离，以得到每种所述已知缺陷类型下所述矩形图像的相似度评分。
在一些实施例中，所述装置还包括输出单元503；若所述相似度评分中最大的相似度评分不小于第一相似度阈值，所述输出单元用于输出所述最大的相似度评分对应的缺陷类型；或若所述相似度评分均小于所述第一相似度阈值，所述输出单元503用于输出未知缺陷类型。
在一些实施例中，所述处理单元还用于：若所述缺陷类型为指定缺陷类型，计算所述矩形图像中所述异常像素的面积；所述输出单元503还包括：若所述面积大于面积阈值，输出所述最大的相似度评分对应的缺陷类型。
在一些实施例中，所述输出单元503还用于：若所述最大的相似度评分大于第二相似度阈值，输出所述最大的相似度评分对应的缺陷类型，所述第二相似度阈值大于所述第一相似度阈值。
在一些实施例中，所述缺陷检测信息还包括所述缺陷类型对应的相似度评分。
本申请实施例的缺陷检测方法分为异常检测和缺陷分类两个步骤，首先对待检测图像进行异常检测，然后仅需要对发生异常的区域再进行缺陷分类，可以减少了缺陷分类的工作量，从而提高了缺陷检测效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图获得其他的附图。
图1是本申请一实施例公开的一种系统架构的示意图；
图2是本申请一实施例公开的一种缺陷检测方法的示意图；
图3是本申请一实施例公开的一种异常检测模型的结构示意图；
图4是本申请一实施例公开的一种训练学生网络的方法的示意图；
图5是本申请一实施例公开的一种用于训练学生网络的结构示意图；
图6是本申请一实施例公开的一种缺陷检测装置的示意性框图。
图7是本申请一实施例公开的一种缺陷检测装置的结构示意图。
在附图中，附图并未按照实际的比例绘制。
具体实施方式
下面结合附图和实施例对本申请的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本申请的原理，但不能用来限制本申请的范围，即本申请不限于所描述的实施例。
在本申请的描述中，需要说明的是，除非另有说明，“多个”的含义是两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。“垂直”并不是严格意义上的垂直，而是在误差允许范围之内。“平行”并不是严格意义上的平行，而是在误差允许范围之内。
下述描述中出现的方位词均为图中示出的方向，并不是对本申请的具体结构进行限定。在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可视具体情况理解上述术语在本申请中的具体含义。
图1是本申请实施例的一种系统架构的示意图。
在图1所示的系统架构中，相机120为接入当前网络且可以用于拍摄动力电池 的设备，该相机120可以通过与网络的信息交互传输拍摄的待检测图像。相机120可以有多个。相机120拍摄的待检测图像可以直接传输给处理装置110，也可以先存储到数据库140中，再由处理装置110从数据库140中获取。以被动获取待检测图像为例，相机120新拍摄的待检测图像可以实时被处理装置110捕捉，也可以先存储于数据库140中，再由处理装置110从数据库140中获取该待检测图像。
处理装置110与相机120通信连接。具体地，处理装置110可以包括通信接口112，以实现与其他设备的通信连接。该通信连接可以是有线方式，也可以是无线方式。
处理装置110可以是具有数据处理能力的电子设备或系统，例如计算机。处理装置110可以包括处理模块111，用于实现待检测图像的缺陷检测。处理模块111具体可以为一个或多个处理器。处理器可以为任意种类的处理器，本申请实施例对此不作限定。
处理装置110还可以包括存储系统113。存储系统113可用于存储数据和指令，例如，实现本申请实施例的技术方案的计算机可执行指令。处理装置110可以调用存储系统113中的数据、指令等，也可以将数据、指令等存入存储系统113中。存储系统113具体可以为一个或多个存储器。该存储器可以为任意种类的存储器，本申请实施例对此也不作限定。
存储系统113可以设置于处理装置110内，也可以设置于处理装置110外。在存储系统113设置于处理装置110外的情况下，处理装置110可通过数据接口实现对存储系统113的访问。
处理装置110还可以包括其他通用的设备，例如，输出设备，用于输出缺陷检测结果。
处理装置110还包括预处理模块114，用于对待检测的图像进行预处理。例如，提取待检测图像的特征向量。例如，采用下述的本申请实施例的技术方案进行特征向量提取。
处理装置110中还配置训练后的模型115。在这种情况下，处理模块111可以采用模型115进行相应的处理。其中，在本申请中该模型115可以通过本申请实施例的技术方案进行训练。
例如，模型115可以是用于缺陷检测的模型。训练设备130可以基于样本数据库150中的训练数据训练得到缺陷检测模型。这样，处理模块111可以采用该缺陷检 测模型得到待检测图像的缺陷类型和位置信息。
对于获取待检测图像的特征向量，可先通过预处理模块114进行特征向量提取；再将其输入模型115，得到待检测图像的缺陷类型和位置信息。
应理解，图1仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。
在一些可能的实现方式中，训练设备130训练得到模型115，可以是基于机器学习得到的模型，例如，可以是基于神经网络搭建的模型，这里的神经网络可以是卷积神经网络(convolutional neural networks，CNN)、循环神经网络(recurrent neural network，RNN)、深度卷积神经网络(deep convolutional neural networks，DCNN)等等。
目前，从市场形势的发展来看，动力电池的应用越来越广泛。动力电池不仅被应用于水利，风力、火力和太阳能电站等初等电源系统，还被广泛应用于电动自行车、电动摩托车、电动汽车等电动交通工具，以及军事装备和航空航天等多个领域。随着动力电池应用领域不断扩大，其市场需求也在不断增加。动力电池生产的过程中，多个工序可能会出现不同的缺陷，例如阳极模切、阴极模切、卷绕和凹版等，需要应用视觉技术来自动检测。若为每个工序单独开发一个视觉检测方法，开发和后期部署维护的成本大。目前常用的目标检测方法和实例分割法均需要提前收集和标注大量的缺陷数据，不仅耗费人力，而且实际产品的缺陷种类极多，而检测网络需要对缺陷的种类作出准确的定义，但现实场景中往往无法准确定义所有的缺陷类型，从而造成缺陷漏检的风险。另外，由于现有检测网络层数较多，检测速度也难以满足动力电池生产过程中的高速检测需求。
鉴于此，本申请实施例提供了一种缺陷检测的方法，通过将缺陷检测分为异常检测和缺陷分类两个步骤，首先定位出发生缺陷的位置，然后仅需对发生异常的区域进行缺陷分类，可以减少缺陷分类的工作量，能够提高了缺陷检测的效率。
本申请实施例提供的缺陷检测方法和装置可以但不限于针对动力电池的缺陷检测，还可以应用于现代工业制造中的其他各类产品的缺陷检测。下面结合图2对本申请实施例的缺陷检测方法的主要过程进行介绍。
图2示出了本申请一实施例的缺陷检测的方法100的流程示意图。该缺陷检测的方法100包括以下步骤。
101：获取待检测图像。
102：对待检测图像进行异常检测，得到待检测图像对应的异常区域图像。
103：对异常区域图像进行缺陷分类，得到待检测图像的缺陷检测信息。
具体地，步骤101中，待检测图像可以是电荷耦合元件(charge coupled device，CCD)相机拍摄的图片，也可以是其他相机拍摄的图片，本申请对此不作限定。在动力电池生产过程中，一般包括多个生产工序，当动力电池轮转到最后工序时，可以利用CCD相机拍摄动力电池以形成待检测图像。
具体地，在步骤102中，可以在待检测图像中标记异常区域以得到与待检测图像对应的异常区域图像，异常区域图像中包括异常区域，即出现缺陷的区域，也包括正常区域，即未出现缺陷的区域。
本申请通过将缺陷检测分为异常检测和缺陷分类两个步骤，首先将待检测图像中发生异常的区域检测出来，得到与待检测图像对应的异常区域图像，后续仅需对发生异常的区域进行缺陷分类，大大减少了缺陷分类的工作量，从而提高了缺陷检测的效率。
本申请实施例提供的缺陷检测方法可以对多种缺陷进行检测与分类，适用于多个生产工序，从而避免为每个工序单独开发检测算法，降低了开发成本。
可选地，在一些实施例中，缺陷检测信息包括异常区域图像的缺陷类型信息和缺陷位置信息。
应理解，当待检测图像包括一种或多种缺陷时，缺陷检测信息可以包括一种或多种缺陷类型以及对应的缺陷位置信息。
可选地，在一些实施例中，对待检测图像进行异常检测，得到待检测图像对应的异常区域图像包括：根据异常检测模型得到用于表示异常区域的差值图；根据分割阈值将差值图进行分割，以得到异常区域图像。
像素是指在由一个数字序列表示的图像中的一个最小单位。待检测图像由多个像素组成，每个像素具有属于自己的位置坐标和色彩数值。差值图可以理解为通过异常检测模型，待检测图像的每个像素均具有异常得分，每个异常得分可以代表对应像素发生异常的可能性，所有像素的位置坐标与其对应得分组成差值图。然后利用分割阈值和差值图对每个像素进行分割，将每个像素分为正常像素和异常像素，以将待检测图像转化为标识正常区域和异常区域的异常区域图像。
上述实施方式中，利用异常检测模型对待检测图像进行检测，可以将表现异常的区域从原始待检测图像中分割出来，以便后续仅对发生异常的区域进行缺陷分类，大大减少缺陷分类的工作量，从而提高缺陷检测效率。
可选地，在本申请实施例中，参考图2，图2是根据本申请的一实施例的异常检测模型的结构示意图。异常检测模型包括预训练的教师网络和利用教师网络蒸馏得到的学生网络。根据异常检测模型得到用于表示异常区域的差值图包括：将待检测图像分别输入教师网络和学生网络，分别得到教师网络输出的特征图和学生网络输出的特征图；计算教师网络输出的特征图和学生网络输出的特征值的每个像素的差值，以得到差值图。
如图2所示，预训练教师网络可以是提前训练好的网络模型，该模型具有强大的特征提取和图像分析能力。例如预训练的教师网络可以是AlexNet、VGG、GoogLeNet、ResNet、DenseNet、SENet、ShuteNet或MobileNet。学生网络是随机初始化模型，其是从预训练的教师网络蒸馏得到的。知识蒸馏采取教师-学生模式，将复杂且大的网络作为教师网络，而学生网络的结构较为简单，用教师网络来辅助学生网络的训练，由于教师网络的学习能力强，可以将它学到的知识迁移给学习能力较弱的学生网络，以此增加学生网络的泛化能力。由于教师网络仅将从正常图像进行特征提取和图像分类的能力交给了学生网络，因此学生网络不具备对异常输入的知识，而教师网络具备对异常输入的知识，这导致在异常输入的情况下，两个网络存在表达的潜在差异。因此，可以通过两个网络输出的特征图之间的差值图来定义和量化异常，然后根据差值图中每个像素的异常值判断该像素是否发生异常以及发生异常的程度，从而实现了对图像的像素级异常检测。
由此，通过构建教师-学生网络，可以避免传统方法中对缺陷图像样本的收集和标注的困难，节约了大量人力物力，并且利用知识蒸馏来训练出高质量的学生网络，实现了特征提取能力的迁移，并通过两个网络输出的特征图像之间的表达差异定义和量化了异常程度，实现了对待检测图像的像素级的异常检测。
示例性的，如图2所示，将待检测图像分别输入教师网络和学生网络时，从两个网络的不同位置可以提取出不同层的特征图，通过计算两个网络输出的特征图的均方差的和作为差值图，即异常值分布图。
可选地，在一些实施例中，如图2所示，根据分割阈值将差值图进行分割，以 得到异常区域图像包括：将差值图中大于分割阈值的像素作为异常像素，其余像素作为正常像素，得到异常区域图像。
分割阈值可以为预设值，利用分割阈值将差值图进行分割，即利用分割阈值对差值图中每个像素的异常得分对进行二分类。例如，异常得分大于分割阈值的像素分入异常区，得分小于分割阈值像素分入正常区，异常区内的多个相邻的像素组成一个异常区域，异常区可以包括一个多个异常区域。应理解，分割阈值越大，被分入异常区的像素越少；分割阈值越小，被分入异常区的像素越多，也就是说，分割阈值的取值决定异常区域的大小。
上述实施方式，通过分割阈值对差值图进行分割得到二值化的异常区域图像，可以明显地区分或标识待检测图像中的正常区域以及异常区域，以便后续缺陷分类工序仅对异常区域进行缺陷分类，而不需要对正常区域进行缺陷分类，大大减少了缺陷分类工序的工作量，提高了整个缺陷检测的效率。
应理解，异常区域即缺陷区域。由于每个像素具有属于自己的位置坐标，当分割阈值将差值图分割后得出异常像素时，即可得出异常像素的位置坐标，从而可以得出异常区域或缺陷区域的位置信息。
可选地，在一些实施例中，在对待检测图像进行异常检测之前，缺陷检测方法100还包括：训练异常检测模型中的学生网络。
为了提高异常检测模型的准确性，在对待检测图像进行异常检测之前，可以对异常检测模型中的学生网络进行训练。
可选地，在一些实施例中，参考图3和图4，图3是根据本申请一实施例的训练学生网络的方法200的示意流程图。图4是根据本申请一实施例的用于训练学生网络的结构示意图。其中，正常图像是没有缺陷的图像。训练学生网络的方法200包括以下步骤。
201，初始化学生网络。
202，将正常图像输入至教师网络和学生网络以得到教师网络输出的各层级的特征图以及学生网络输出的对应各层级的特征图。
203，在蒸馏损失函数中最小化教师网络输出的各层级的特征图与学生网络输出的对应各层级的特征图之间的差值。
204，基于损失计算结果更新学生网络的参数。
通过重复步骤202-204，进行不断迭代寻优，直至收敛。
如图4所示，在训练学生网络时，将正常图像输入至教师网络和学生网络中。四副不同层级的特征图从两个网络中取出，其中四副特征图具有不同的分辨率，设计一种蒸馏损失函数，例如，L2损失函数，来最小化各层级之间在两个网络中的距离。两个网络距离最小例如可以是两个网络的不同层级的特征图的均方差最小。
由此，在学生网络的训练过程中，学生网络通过知识蒸馏学习到教师网络的特征提取能力，并通过模型压缩使得网络具备了以较少的网络参数进行异常检测的能力，且网络结构简单，因此容易部署和快速实现异常检测。另外，通过学习正常图像而不是缺陷图像，使得异常检测网络可以对已知或未知的异常均可检出，避免对未知异常的漏检，具有极强的鲁棒性。
本申请实施例中，正常图像可以是多种光照环境下的没有缺陷的图像，在训练学生网络时，还可以应用图像亮度抖动与饱和度抖动等图像增强手段，使异常检测模型具有较强的光照鲁棒性。
可选地，在一些实施例中，缺陷检测方法100还可以包括计算异常检测模型的最佳异常判定阈值，并根据最佳异常判定阈值设置分割阈值。
异常判定阈值是指在异常检测模型训练完成后，利用该异常判定阈值和差值图中的最大值相比较，来判断待检测图像是正常图像还是缺陷图像。最佳异常判定阈值可以使得该异常检测模型的正确率最高。
分割阈值的设置需要根据对异常区域图像中的异常区域的分割效果来设定，既要保证异常像素都分割出来，又要保证不能将过多的正常像素分割出来。也就是说，在利用分割阈值分割差值图时，尽量将真正发生异常的像素标识为异常，尽量减少将正常像素标识为异常，从而提高后续缺陷分类的效率。
可选地，在一些实施例中，可以通过以下方式计算异常检测模型的最佳异常判定阈值：将测试样本分别输入教师网络和学生网络，测试样本包括缺陷图像和正常图像；将教师网络输出的特征图与学生网络输出的特征图之间的差值图中的最大值确定为测试样本的异常值；若异常值大于异常判定阈值时，判定测试样本为缺陷图像，否则判定测试样本为正常图像；计算异常检测模型中每个异常判定阈值对应的假正率和真正率之间的差值，最大差值所对应的异常判定阈值确定为最佳异常判定阈值；其中，假正率为测试样本为正常图像而判定结果为缺陷图像的比例；真正率为测试样本为缺 陷图像且判定结果为缺陷图像的比例。
测试样本包括缺陷图像和正常图像。其中缺陷图像可以包括一种缺陷，也可以包括多种缺陷。正常图像可以是未出现缺陷的图像，也可以是具有一定容错性的缺陷图像，即可能一图像包含缺陷，但在缺陷检测时允许一定小范围内的缺陷发生，该图像可以被认为是正常的图像。
应理解，当异常检测模型训练完成后，需要设置异常判定阈值，并根据异常判定阈值与差值图来判定待检测图像是否为缺陷图像。具体地，将测试样本不同的异常判定阈值，异常检测模型推测的准确率不同。
为了使异常检测模型的准确率最高，可以利用假正率和真正率之间的差值设定最佳异常判定阈值。
可选地，在一些实施例中，可以设置分割阈值小于最佳异常判定阈值。
分割阈值一般低于最佳判定阈值，以将可能发生异常的像素标识为异常，可以避免漏检，从而提高异常检测的正确率。
可选地，在一些实施例中，在步骤103的在对异常区域图像进行缺陷分类之前，方法100还可以包括：从异常区域图像得到一个或多个包括异常像素的矩形图形。其中，在步骤103中，对异常区域图像进行分类可以对一个或多个矩形图像进行缺陷分类。
从异常区域图像得到一个或多个包括异常像素的矩形图形可以理解为利用预设的矩形框对异常区域图像进行裁剪，即将异常区域图像中的异常区域裁剪成预设大小的矩形图像。具体地，将较大面积的异常区域裁剪为多个较小的矩形图像，将较小面积的异常区域裁剪进一个矩形图像。
通过从异常区域图像中得到一个或多个包括异常像素的矩形图像，可以加快后续对异常区域图像进行缺陷分类的批推理，从而提高缺陷检测的效率。
当然，在本申请其他实施例中，也可以利用其他图形将异常区域进行裁剪，本申请对此不作限定。
可选地，在一些实施例中，对一个或多个矩形图像进行缺陷分类可以通过缺陷分类模型对矩形图形进行分类。
缺陷分类模型可以对包括异常像素的矩形图像进行缺陷分类。示例性的，缺陷分类模型可以是低复杂度的ResNet网络模型。ResNet网络模型是一种常见的分类模型。 为了使得推理或分类速度更快，可以采用模型结构比ResNet18更简单的ResNet14。
为了使得缺陷分类的准确度更高，采用度量学习损失函数替代softmax函数，与ResNet14模型结合，计算每个缺陷类型的相似度评分，以对矩形图形进行缺陷分类。
可选地，在一些实施例中，通过缺陷分类模型对矩形图像进行分类时，可以先获取矩形图像的特征向量，然后根据特征向量计算每种已知缺陷类型下矩形图像的相似度评分，再根据相似度评分对矩形图像进行缺陷分类。
可选地，在一些实施例中，通过ResNet网络模型提取矩形图像的特征向量。
应理解，ResNet网络模型具有提取特征向量的功能。ResNet网络模型结构简单，有利于提高缺陷分类的效率，从而可以提高整个缺陷检测的效率。当然，在其他实施例也可以利用其他模型提取特征向量，本申请对此不作限定。
可选地，在一些实施例中，在根据特征向量计算每种已知缺陷类型下矩形图像的相似度评分时，可以先将特征向量映射至训练好的特征向量空间中，该特征向量空间包括已知缺陷类型的特征向量，然后计算特征向量与已知缺陷类型的特征向量的距离，以得到每种已知缺陷类型下矩形图像的相似度评分。
其中，特征向量空间可以利用度量学习损失函数训练所得。具体地，采集具有已知缺陷类型的缺陷图像样本集，将具有已知缺陷类型的缺陷图像均输入至分类模型中，例如ResNet14，分类模型提取具有已知缺陷类型的缺陷图像的缺陷特征向量，将提取的缺陷特征向量放在初始特征向量空间中，然后通过度量学习损失函数在特征向量空间中对缺陷特征向量的分布做优化，即减少相同类别的缺陷特征向量距离，增大不同类别或特征相差大的缺陷特征向量距离，从而得到位置分布合理的特征向量空间，即训练好的特征向量空间中。另外，可以通过相关代码将已训练的特征向量空间可视化，形成一个立体的三维空间，通过观察已训练的特征向量空间可以直观地看出缺陷分类模型对各种缺陷类别的训练效果，不再局限于传统方法中只有数值上的抽象的信息。
在对矩形图像提取特征向量后，将该特征向量映射至训练好的特征向量空间，然后通过计算特征向量与特征向量空间中已知缺陷类型的特征向量的距离，可以得到每种已知缺陷类型下该矩形图像的相似度评分，然后根据该相似度评分对矩形图像进行缺陷分类。
通过相似度评分对矩形图像进行缺陷分类，可以直观地看出矩形图像与任意一 种已知缺陷类型的相似度，以准确判断缺陷分类的准确度。
可选地，在一些实施例中，若相似度评分中最大的相似度评分不小于第一相似度阈值，输出最大的相似度评分对应的缺陷类型；若相似度评分均小于第一相似度阈值，输出未知缺陷类型。
第一相似度阈值作为最低的相似度阈值，若所有的相似度评分均小于该评分，说明矩形图像的缺陷与所有已知缺陷相似度很低，属于未知的缺陷类型或未出现过的新缺陷。当存在相似度评分大于第一相似度阈值时，选择相似度评分最高的缺陷类型作为矩形图像的缺陷类型。
可选地，在一些实施例中，在输出最大的相似度评分对应的缺陷类型之前，若缺陷类型为指定缺陷类型，计算矩形图像中异常像素的面积，若面积大于面积阈值，输出最大的相似度评分对应的缺陷类型。
面积阈值可以是预设值，不同的缺陷类型与不同的客户需求可以设置不同的面积阈值。例如对阳极模切缺陷来说，当缺陷的面积大于面积阈值时，才认为该矩形图形为具有阳极模切缺陷的图像，小于面积阈值时认为该矩形图像是正常图像，即对工艺产品具有一定的缺陷容纳性。因此，通过上述实施方式可以根据对某一缺陷不同的面积容纳需求，灵活控制特定的缺陷面积指标。
可选地，在一些实施例中，若最大的相似度评分大于第二相似度阈值，输出最大的相似度评分对应的缺陷类型，第二相似度阈值大于第一相似度阈值。
上述作为可选地实施方式，第二相似度阈值可以是预设值，不同的客户可以根据其需求设置不同的第二相似度阈值。对于不同的客户需求，可能存在不同的判别标准，例如，对于某一客户而言，矩形图像与已知缺陷类型的最大相似度评分高于某一相似度阈值时，才认为该矩形图形是该已知缺陷类型下的缺陷图像，即该客户对相似度判别的标准更高，追求更高的分类准确性。因此，通过上述实施方式可以灵活设置分类准确性指标。
可选地，在一些实施例中，缺陷检测信息还包括缺陷类型对应的相似度评分。
当缺陷检测信息包缺陷类型对应的相似度评分时，可以直观地看出待检测图像与已知缺陷类型的相似度，有利于工作人员根据该相似度评分确定是否需要人工确认缺陷检测是否准确。
上文详细地描述了本申请实施例的方法实施例，下面描述本申请实施例的装置 实施例，装置实施例与方法实施例相互对应，因此未详细描述的部分可参见前面方法实施例，装置可以实现上述方法中任意可能实现的方式。
图6示出了本申请一个实施例的缺陷检测的装置500的示意性框图。该装置500可以执行上述本申请实施例的缺陷检测的方法，例如，该装置500可以为前述处理装置110。
如图6所示，该装置包括：
获取单元501，用于获取待检测图像；
处理单元502，用于对待检测图像进行异常检测，得到待检测图像对应的异常区域图像；
处理单元503还用于对异常区域图像进行缺陷分类，得到待检测图像的缺陷检测信息。
可选地，在一些实施例中，处理单元502还用于：根据异常检测模型得到用于表示异常区域的差值图，再根据分割阈值将差值图进行分割，以得到异常区域图像。
可选地，在一些实施例中，异常检测模型中包括预训练的教师网络和利用教师网络蒸馏得到的学生网络，处理单元502还用于将待检测图像分别输入教师网络和学生网络，分别得到教师网络输出的特征图和学生网络输出的特征图，然后计算教师网络输出的特征图和学生网络输出的特征图的每个像素的差值，以得到差值图。
可选地，在一些实施例中，处理单元502还用于将差值图中大于分割阈值的像素作为异常像素，其余像素作为正常像素，得到异常区域图像。
可选地，在一些实施例中，处理单元502还用于训练异常检测模型的学生网络。
可选地，在一些实施例中，处理单元502还用于：初始化学生网络；然后将正常图像输入教师网络和学生网络以得到教师网络输出的各层级的特征图以及学生网络输出的对应各层级的特征图，再在蒸馏损失函数中最小化教师网络输出的各层级的特征图与学生网络输出的对应各层级的特征图之间的差值，然后再基于损失计算结果更新学生网络的参数。
可选地，在一些实施例中，处理单元502还用于计算异常检测模型的最佳异常检测模型的最佳异常判定阈值；处理单元502还用于根据最佳异常判定阈值设置分割阈值。
可选地，在一些实施例中，处理单元502还用于：将测试样本分别输入教师网 络和学生网络，测试样本包括缺陷图像和正常图像；将教师网络输出的特征图与学生网络输出的特征图之间的差值图中的最大值确定为测试样本的异常值。若异常值大于异常判定阈值时，处理单元502还用于判定测试样本为缺陷图像，否则判定测试样本为正常图像。处理单元502还用于计算异常检测模型中每个异常判定阈值对应的假正率和真正率之间的差值，最大的差值所对应的异常判定阈值确定为最佳异常判定阈值。其中，假正率为测试样本为正常图像而判定结果为缺陷图像的比例；真正率为测试样本为缺陷图像且判定结果为缺陷图像的比例。
可选地，在一些实施例中，处理单元502还用于：设置分割阈值小于最佳异常判定阈值。
可选地，在一些实施例中，获取单元501还用于：从异常区域图像得到一个或多个包括异常像素的矩形图像，对一个或多个矩形图像进行缺陷分类。
可选地，在一些实施例中，处理单元502还用于通过缺陷分类模型对矩形图像进行分类。
可选地，在一些实施例中，获取单元501还用于：获取矩形图像的特征向量，然后根据特征向量计算每种已知缺陷类型下矩形图像的相似度评分，在根据相似度评分对矩形图像进行缺陷分类。
可选地，在一些实施例中，处理单元502还用于通过ResNet网络模型提取矩形图像的特征向量。
可选地，在一些实施例中，处理单元502还用于将特征向量映射至训练好的特征向量空间中，特征向量空间包括已知缺陷类型的特征向量，计算特征向量与已知缺陷类型的特征向量的距离，以得到每种已知缺陷类型下矩形图像的相似度评分。
可选地，在一些实施例中，装置还包括输出单元503；若相似度评分中最大的相似度评分不小于第一相似度阈值，输出单元503用于输出最大的相似度评分对应的缺陷类型；若相似度评分均小于第一相似度阈值，输出单元503用于输出未知缺陷类型。
可选地，在一些实施例中，处理单元502还用于：若缺陷类型为指定缺陷类型，计算矩形图像中异常像素的面积；输出单元503还包括：若面积大于面积阈值，输出最大的相似度评分对应的缺陷类型。
可选地，在一些实施例中，输出单元503还用于：若最大的相似度评分大于第 二相似度阈值，输出最大的相似度评分对应的缺陷类型，第二相似度阈值大于第一相似度阈值。
图7是本申请实施例的缺陷检测的装置的硬件结构示意图。图7所示的缺陷检测的装置600包括存储器601、处理器602、通信接口603以及总线604。其中，存储器601、处理器602、通信接口603通过总线604实现彼此之间的通信连接。
存储器601可以是只读存储器(read-only memory，ROM)，静态存储设备和随机存取存储器(random access memory，RAM)。存储器601可以存储程序，当存储器601中存储的程序被处理器602执行时，处理器602和通信接口603用于执行本申请实施例的缺陷检测的方法的各个步骤。
处理器602可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的缺陷检测的装置中的单元所需执行的功能，或者执行本申请实施例的缺陷检测的方法。
处理器602还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的缺陷检测的方法的各个步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器602还可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成本申请实施例的缺陷检测的装置中包括的单元所需执行的功能，或者执行本申请实施例的缺陷检测的方法。
通信接口603使用例如但不限于收发器一类的收发装置，来实现装置600与其他设备或通信网络之间的通信。例如，可以通过通信接口603获取未知设备的流量数 据。
总线604可包括在装置600各个部件(例如，存储器601、处理器602、通信接口603)之间传送信息的通路。
应注意，尽管上述装置600仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置600还可以包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置600还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置600也可仅仅包括实现本申请实施例所必须的器件，而不必包括图7中所示的全部器件。
本申请实施例还提供了一种计算机可读存储介质，存储用于设备执行的程序代码，所述程序代码包括用于执行上述缺陷检测的方法中的步骤的指令。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述缺陷检测的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”和“所述”旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的 存在或添加。
所描述的实施例中的各方面、实施方式、实现或特征能够单独使用或以任意组合的方式使用。所描述的实施例中的各方面可由软件、硬件或软硬件的结合实现。所描述的实施例也可以由存储有计算机可读代码的计算机可读介质体现，该计算机可读代码包括可由至少一个计算装置执行的指令。所述计算机可读介质可与任何能够存储数据的数据存储装置相关联，该数据可由计算机系统读取。用于举例的计算机可读介质可以包括只读存储器、随机存取存储器、紧凑型光盘只读储存器(Compact Disc Read-Only Memory，CD-ROM)、硬盘驱动器(Hard Disk Drive，HDD)、数字视频光盘(Digital Video Disc，DVD)、磁带以及光数据存储装置等。所述计算机可读介质还可以分布于通过网络联接的计算机系统中，这样计算机可读代码就可以分布式存储并执行。
上述技术描述可参照附图，这些附图形成了本申请的一部分，并且通过描述在附图中示出了依照所描述的实施例的实施方式。虽然这些实施例描述的足够详细以使本领域技术人员能够实现这些实施例，但这些实施例是非限制性的；这样就可以使用其它的实施例，并且在不脱离所描述的实施例的范围的情况下还可以做出变化。比如，流程图中所描述的操作顺序是非限制性的，因此在流程图中阐释并且根据流程图描述的两个或两个以上操作的顺序可以根据若干实施例进行改变。作为另一个例子，在若干实施例中，在流程图中阐释并且根据流程图描述的一个或一个以上操作是可选的，或是可删除的。另外，某些步骤或功能可以添加到所公开的实施例中，或两个以上的步骤顺序被置换。所有这些变化被认为包含在所公开的实施例以及权利要求中。
另外，上述技术描述中使用术语以提供所描述的实施例的透彻理解。然而，并不需要过于详细的细节以实现所描述的实施例。因此，实施例的上述描述是为了阐释和描述而呈现的。上述描述中所呈现的实施例以及根据这些实施例所公开的例子是单独提供的，以添加上下文并有助于理解所描述的实施例。上述说明书不用于做到无遗漏或将所描述的实施例限制到本申请的精确形式。根据上述教导，若干修改、选择适用以及变化是可行的。在某些情况下，没有详细描述为人所熟知的处理步骤以避免不必要地影响所描述的实施例。虽然已经参考优选实施例对本申请进行了描述，但在不脱离本申请的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意 方式组合起来。本申请并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (38)

  1. 一种缺陷检测方法，其特征在于，包括：
    获取待检测图像；
    对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像；
    对所述异常区域图像进行缺陷分类，得到所述待检测图像的缺陷检测信息。
  2. 根据权利要求1所述的缺陷检测方法，其特征在于，所述缺陷检测信息包括所述异常区域图像的缺陷类型信息和缺陷位置信息。
  3. 根据权利要求1或2所述的缺陷检测方法，其特征在于，所述对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像包括：
    根据异常检测模型得到用于表示异常区域的差值图；
    根据分割阈值将所述差值图进行分割，以得到所述异常区域图像。
  4. 根据权利要求3所述的缺陷检测方法，其特征在于，所述异常检测模型中包括预训练的教师网络和利用所述教师网络蒸馏得到的学生网络；
    所述根据异常检测模型得到用于表示异常区域的差值图，包括：将所述待检测图像分别输入所述教师网络和所述学生网络，分别得到所述教师网络输出的特征图和所述学生网络输出的特征图；
    计算所述教师网络输出的特征图和所述学生网络输出的特征图的每个像素的差值，以得到所述差值图。
  5. 根据权利要求3或4所述的缺陷检测方法，其特征在于，所述根据分割阈值将所述差值图进行分割，以得到所述异常区域图像包括：
    将所述差值图中大于所述分割阈值的像素作为异常像素，其余像素作为正常像素，得到所述异常区域图像。
  6. 根据权利要求4或5所述的缺陷检测方法，其特征在于，在对所述待检测图像进行异常检测之前，所述方法还包括：
    训练所述异常检测模型的所述学生网络。
  7. 根据权利要求6所述的缺陷检测方法，其特征在于，所述训练所述学生网络包括：
    初始化所述学生网络；
    将正常图像输入所述教师网络和所述学生网络以得到所述教师网络输出的各层级的特征图以及所述学生网络输出的对应各层级的特征图；
    在蒸馏损失函数中最小化所述教师网络输出的各层级的特征图与所述学生网络输出的对应各层级的特征图之间的差值；以及
    基于损失计算结果更新所述学生网络的参数。
  8. 根据权利要求4至7中任一项所述的缺陷检测方法，其特征在于，所述方法还包括：
    计算所述异常检测模型的最佳异常判定阈值；
    根据所述最佳异常判定阈值设置所述分割阈值。
  9. 根据权利要求8所述的缺陷检测方法，其特征在于，所述计算所述异常检测模型的最佳异常判定阈值，包括：
    将测试样本分别输入所述教师网络和所述学生网络，所述测试样本包括缺陷图像和正常图像；
    将所述教师网络输出的特征图与所述学生网络输出的特征图之间的差值图中的最大值确定为所述测试样本的异常值；
    若所述异常值大于异常判定阈值时，判定所述测试样本为所述缺陷图像，否则判定所述测试样本为所述正常图像；
    计算所述异常检测模型中每个异常判定阈值对应的假正率和真正率之间的差值，最大的所述差值所对应的异常判定阈值确定为所述最佳异常判定阈值；
    其中，所述假正率为测试样本为正常图像而判定结果为缺陷图像的比例；所述真正率为测试样本为缺陷图像且判定结果为缺陷图像的比例。
  10. 根据权利要求8或9所述的缺陷检测方法，其特征在于，所述根据所述最佳异常判定阈值设置所述分割阈值，包括：
    设置所述分割阈值小于所述最佳异常判定阈值。
  11. 根据权利要求1至10中任一项所述的缺陷检测方法，其特征在于，所述对所述异常区域图像进行缺陷分类之前，所述方法还包括：
    从所述异常区域图像得到一个或多个包括异常像素的矩形图像；
    其中，所述对所述异常区域图像进行缺陷分类包括：
    对一个或多个所述矩形图像进行缺陷分类。
  12. 根据权利要求11所述的缺陷检测方法，其特征在于，所述对一个或多个所述矩形图像进行缺陷分类，包括：
    通过缺陷分类模型对所述矩形图像进行分类。
  13. 根据权利要求12所述的缺陷检测方法，其特征在于，所述通过缺陷分类模型对所述矩形图像进行分类，包括：
    获取所述矩形图像的特征向量；
    根据所述特征向量计算每种已知缺陷类型下所述矩形图像的相似度评分；
    根据所述相似度评分对所述矩形图像进行缺陷分类。
  14. 根据权利要求13所述的缺陷检测方法，其特征在于，所述获取所述矩形图像的特征向量，包括：
    通过ResNet网络模型提取所述矩形图像的特征向量。
  15. 根据权利要求13或14所述的缺陷检测方法，其特征在于，所述根据所述特征向量计算每种已知缺陷类型下所述矩形图像的相似度评分，包括：
    将所述特征向量映射至训练好的特征向量空间中，所述特征向量空间包括所述已知缺陷类型的特征向量；
    计算所述特征向量与所述已知缺陷类型的特征向量的距离，以得到每种所述已知缺陷类型下所述矩形图像的相似度评分。
  16. 根据权利要求13至15中任一项所述的缺陷检测方法，其特征在于，所述根据所述相似度评分对所述矩形图像进行分类，包括：
    若所述相似度评分中最大的相似度评分不小于第一相似度阈值，输出所述最大的相似度评分对应的缺陷类型；或
    若所述相似度评分均小于所述第一相似度阈值，输出未知缺陷类型。
  17. 根据权利要求16所述的缺陷检测方法，其特征在于，所述输出最大的相似度评分对应的缺陷类型之前，所述方法还包括：
    若所述缺陷类型为指定缺陷类型，计算所述矩形图像中所述异常像素的面积；
    其中，所述输出所述最大的相似度评分对应的缺陷类型包括：
    若所述面积大于面积阈值，输出所述最大的相似度评分对应的缺陷类型。
  18. 根据权利要求16或17所述的缺陷检测方法，其特征在于，所述输出所述最大的相似度评分对应的缺陷类型，包括：
    若所述最大的相似度评分大于第二相似度阈值，输出所述最大的相似度评分对应的缺陷类型，所述第二相似度阈值大于所述第一相似度阈值。
  19. 根据权利要求2至18中任一项所述的缺陷检测方法，其特征在于，所述缺陷检测信息还包括所述缺陷类型对应的相似度评分。
  20. 一种缺陷检测的装置，其特征在于，包括：
    获取单元，用于获取待检测图像；
    处理单元，用于对所述待检测图像进行异常检测，得到所述待检测图像对应的异常区域图像；
    所述处理单元还用于对所述异常区域图像进行缺陷分类，得到所述待检测图像的缺陷检测信息。
  21. 根据权利要求20所述的装置，其特征在于，所述缺陷检测信息包括所述异常区域图像的缺陷类型信息和缺陷位置信息。
  22. 根据权利要求20或21所述的装置，其特征在于，所述处理单元还用于：根据异常检测模型得到用于表示异常区域的差值图；以及根据分割阈值将所述差值图进行分割，以得到所述异常区域图像。
  23. 根据权利要求22所述的装置，其特征在于，所述异常检测模型中包括预训练的教师网络和利用所述教师网络蒸馏得到的学生网络；
    所述处理单元还用于将所述待检测图像分别输入所述教师网络和所述学生网络，分别得到所述教师网络输出的特征图和所述学生网络输出的特征图；
    所述处理单元还用于计算所述教师网络输出的特征图和所述学生网络输出的特征图的每个像素的差值，以得到所述差值图。
  24. 根据权利要求22或23所述的装置，其特征在于，所述处理单元还用于：
    将所述差值图中大于所述分割阈值的像素作为异常像素，其余像素作为正常像素，得到所述异常区域图像。
  25. 根据权利要求23或24所述的装置，其特征在于，所述处理单元还用于训练所述异常检测模型的所述学生网络。
  26. 根据权利要求25所述的装置，其特征在于，
    所述处理单元还用于：初始化所述学生网络；
    所述处理单元还用于：将正常图像输入所述教师网络和所述学生网络以得到所述教师网络输出的各层级的特征图以及所述学生网络输出的对应各层级的特征图；
    所述处理单元还用于：在蒸馏损失函数中最小化所述教师网络输出的各层级的特征图与所述学生网络输出的对应各层级的特征图之间的差值；以及
    所述处理单元还用于：基于损失计算结果更新所述学生网络的参数。
  27. 根据权利要求23至26中任一项所述的装置，其特征在于，
    所述处理单元还用于计算所述异常检测模型的最佳异常判定阈值；
    所述处理单元还用于根据所述最佳异常判定阈值设置所述分割阈值。
  28. 根据权利要求27所述的装置，其特征在于，
    所述处理单元还用于：将测试样本分别输入所述教师网络和所述学生网络，所述测试样本包括缺陷图像和正常图像；
    所述处理单元还用于：将所述教师网络输出的特征图与所述学生网络输出的特征图之间的差值图中的最大值确定为所述测试样本的异常值；
    若所述异常值大于异常判定阈值时，所述处理单元还用于判定所述测试样本为所述缺陷图像，否则判定所述测试样本为所述正常图像；
    所述处理单元还用于：计算所述异常检测模型中每个异常判定阈值对应的假正率和真正率之间的差值，最大的所述差值所对应的异常判定阈值确定为所述最佳异常判定阈值；
    其中，所述假正率为测试样本为正常图像而判定结果为缺陷图像的比例；所述真正率为测试样本为缺陷图像且判定结果为缺陷图像的比例
  29. 根据权利要求27或28所述的装置，其特征在于，所述处理单元还用于：设置所述分割阈值小于所述最佳异常判定阈值。
  30. 根据权利要求20至29中任一项所述的装置，其特征在于，
    所述获取单元还用于：从所述异常区域图像得到一个或多个包括异常像素的矩形图像；
    所述处理单元还用于：对一个或多个所述矩形图像进行缺陷分类。
  31. 根据权利要求30所述的装置，其特征在于，所述处理单元还用于通过缺陷分类模型对所述矩形图像进行分类。
  32. 根据权利要求31所述的装置，其特征在于，
    所述获取单元还用于：获取所述矩形图像的特征向量；
    所述处理单元还用于：根据所述特征向量计算每种已知缺陷类型下所述矩形图像的相似度评分；
    所述处理单元还用于：根据所述相似度评分对所述矩形图像进行缺陷分类。
  33. 根据权利要求32所述的装置，其特征在于，所述处理单元还用于：通过ResNet网络模型提取所述矩形图像的特征向量。
  34. 根据权利要求32或33所述的装置，其特征在于，
    所述处理单元还用于：将所述特征向量映射至训练好的特征向量空间中，所述特征向量空间包括所述已知缺陷类型的特征向量；
    所述处理单元还用于：计算所述特征向量与所述已知缺陷类型的特征向量的距离，以得到每种所述已知缺陷类型下所述矩形图像的相似度评分。
  35. 根据权利要求32至34中任一项所述的装置，其特征在于，所述装置还包括输出单元；
    若所述相似度评分中最大的相似度评分不小于第一相似度阈值，所述输出单元用于输出所述最大的相似度评分对应的缺陷类型；或
    若所述相似度评分均小于所述第一相似度阈值，所述输出单元用于输出未知缺陷类型。
  36. 根据权利要求35所述的装置，其特征在于，
    所述处理单元还用于：若所述缺陷类型为指定缺陷类型，计算所述矩形图像中所述异常像素的面积；
    所述输出单元还包括：若所述面积大于面积阈值，输出所述最大的相似度评分对应的缺陷类型。
  37. 根据权利要求35或36所述的装置，其特征在于，所述输出单元还用于：若所述最大的相似度评分大于第二相似度阈值，输出所述最大的相似度评分对应的缺陷类型，所述第二相似度阈值大于所述第一相似度阈值。
  38. 根据权利要求21至37中任一项所述的装置，其特征在于，所述缺陷检测信息还包括所述缺陷类型对应的相似度评分。
CN202280006411.4A 2022-06-30 2022-06-30 一种缺陷检测的方法和装置 Pending CN117677969A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/102727 WO2024000372A1 (zh) 2022-06-30 2022-06-30 一种缺陷检测的方法和装置

Publications (1)

Publication Number Publication Date
CN117677969A true CN117677969A (zh) 2024-03-08

Family

ID=89383530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280006411.4A Pending CN117677969A (zh) 2022-06-30 2022-06-30 一种缺陷检测的方法和装置

Country Status (4)

Country Link
US (1) US11978189B2 (zh)
EP (1) EP4322106B1 (zh)
CN (1) CN117677969A (zh)
WO (1) WO2024000372A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570208A (zh) * 2024-08-02 2024-08-30 深圳市锦兆电子科技股份有限公司 基于机器视觉的镜片组件缺陷识别方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593303B (zh) * 2024-01-18 2024-04-09 浙江锦德光电材料有限公司 一种量子点光学膜的缺陷检测方法及系统
CN118196070B (zh) * 2024-04-08 2024-09-20 江苏海洋大学 一种基于无人机热红外遥感的光伏板缺陷识别方法
CN118052813B (zh) * 2024-04-12 2024-07-23 深圳特朗达照明股份有限公司 一种led灯具的智能检测装置及方法
CN118351111A (zh) * 2024-06-14 2024-07-16 深圳超盈智能科技有限公司 芯片表面缺陷的检测方法、装置、设备和存储介质
CN118429328A (zh) * 2024-06-20 2024-08-02 深圳市谱汇智能科技有限公司 柔性电路板的缺陷检测方法、装置、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602962B2 (en) * 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP5278783B1 (ja) * 2012-05-30 2013-09-04 レーザーテック株式会社 欠陥検査装置、欠陥検査方法、及び欠陥検査プログラム
CA3115898C (en) * 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification
CN109389069B (zh) * 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN109410218B (zh) * 2018-10-08 2020-08-11 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
CN109598721B (zh) * 2018-12-10 2021-08-31 广州市易鸿智能装备有限公司 电池极片的缺陷检测方法、装置、检测设备和存储介质
CN110648323B (zh) * 2019-09-26 2022-08-02 上海御微半导体技术有限公司 一种缺陷检测分类系统及其方法
TWI714318B (zh) * 2019-10-25 2020-12-21 緯創資通股份有限公司 人臉辨識方法及裝置
CN111007073B (zh) * 2019-12-23 2021-02-05 华中科技大学 一种増材制造过程中零件缺陷在线检测的方法及检测系统
EP3862927A1 (en) * 2020-02-05 2021-08-11 Another Brain Anomaly detector, method of anomaly detection and method of training an anomaly detector
CN112801298B (zh) * 2021-01-20 2023-09-01 北京百度网讯科技有限公司 异常样本检测方法、装置、设备和存储介质
US11216932B1 (en) 2021-03-26 2022-01-04 Minds AI Technologies Ltd Electronic substrate defect detection
CN113658121B (zh) * 2021-08-09 2024-07-12 国能榆林能源有限责任公司 一种线路缺陷检测方法、系统及计算机存储介质
CN113902710A (zh) * 2021-10-12 2022-01-07 菲特（天津）检测技术有限公司 基于异常检测算法进行工业零件表面缺陷检测方法及系统
CN114240892B (zh) * 2021-12-17 2024-07-02 华中科技大学 一种基于知识蒸馏的无监督工业图像异常检测方法及系统
US20230259760A1 (en) * 2022-02-14 2023-08-17 Samsung Display Co., Ltd. System and method for defect detection
CN114663392A (zh) * 2022-03-22 2022-06-24 聚时科技(上海)有限公司 一种基于知识蒸馏的工业图像缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570208A (zh) * 2024-08-02 2024-08-30 深圳市锦兆电子科技股份有限公司 基于机器视觉的镜片组件缺陷识别方法及系统

Also Published As

Publication number Publication date
EP4322106B1 (en) 2024-09-11
US20240005469A1 (en) 2024-01-04
EP4322106A4 (en) 2024-02-28
WO2024000372A1 (zh) 2024-01-04
US11978189B2 (en) 2024-05-07
EP4322106A1 (en) 2024-02-14

Similar Documents

Publication Publication Date Title
CN117677969A (zh) 一种缺陷检测的方法和装置
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测系统
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN106251333B (zh) 元件反件检测方法和系统
CN117670820B (zh) 一种塑料薄膜生产缺陷检测方法及系统
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN117651976A (zh) 缺陷检测方法和装置
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN116664817A (zh) 基于图像差分的电力装置状态变化检测方法
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN108734158B (zh) 一种实时列车车号识别方法及装置
CN115984546A (zh) 一种针对固定场景的异常检测用的样本底库生成方法
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN113963230A (zh) 一种基于深度学习的车位检测方法
CN114120097A (zh) 一种基于机器视觉的配网工程现场变压器检测方法和系统
CN111553408A (zh) 视频识别软件自动测试的方法
CN114724041B (zh) 基于深度学习的电力设备红外热图的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination