CN116500042A - 缺陷检测方法、装置、系统及存储介质 - Google Patents

缺陷检测方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN116500042A
CN116500042A CN202310516332.4A CN202310516332A CN116500042A CN 116500042 A CN116500042 A CN 116500042A CN 202310516332 A CN202310516332 A CN 202310516332A CN 116500042 A CN116500042 A CN 116500042A
Authority
CN
China
Prior art keywords
image
detected
defect detection
camera
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310516332.4A
Other languages
English (en)
Other versions
CN116500042B (zh
Inventor
张元�
柴正约
陈斌
刘永江
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Chongqing Research Institute of Harbin Institute of Technology
Original Assignee
Chongqing Research Institute of Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Research Institute of Harbin Institute of Technology filed Critical Chongqing Research Institute of Harbin Institute of Technology
Priority to CN202310516332.4A priority Critical patent/CN116500042B/zh
Publication of CN116500042A publication Critical patent/CN116500042A/zh
Application granted granted Critical
Publication of CN116500042B publication Critical patent/CN116500042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种缺陷检测方法、装置、系统及存储介质，涉及缺陷检测技术领域。缺陷检测系统包括条纹光源和相机。方法包括：获取相机拍摄条纹光源照射下的待检物得到的相机图像；对相机图像进行预处理，以得到待检图像；将待检图像输入经过训练的、基于PatchCore算法构建得到的预设缺陷检测模型，以得到待检图像中的缺陷特征与预设缺陷检测模型中的特征库对比后生成的异常得分热力图。如此，可以改善常规检测算法在进行微弱凹凸缺陷检测时，缺陷的召回率低、漏检率大、准确性不足的问题。

Description

缺陷检测方法、装置、系统及存储介质
技术领域
本发明涉及缺陷检测技术领域，具体而言，涉及一种缺陷检测方法、装置、系统及存储介质。
背景技术
在工业领域中，一些注塑件、金属等材料具有光滑的表面，但是由于此类材料制造过程的不确定性，会导致其表面存在微弱凹凸缺陷，例如注塑件的缩水、金属材料表面的划痕等。由于凹凸缺陷与材料表面之间变化缓慢连续，在光学明场、暗场等成像方案下，凹凸缺陷与表面对比度不明显，导致常规检测算法缺陷的召回率低、漏检率大、准确性不足。
发明内容
有鉴于此，本申请实施例的目的在于提供一种缺陷检测方法、装置、系统及存储介质，能够改善常规检测算法在进行微弱凹凸缺陷检测时，缺陷的召回率低、漏检率大、准确性不足的问题。
为实现上述技术目的，本申请采用的技术方案如下：
第一方面，本申请实施例提供了一种缺陷检测方法，应用于缺陷检测系统，所述缺陷检测系统包括条纹光源和相机，所述方法包括：
获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像，其中，所述条纹光源的有效光照面积为：
ab＝m2xy
式中，x为待检物的宽，y为所述待检物的长，所述条纹光源的宽a＝mx，所述条纹光源的长b＝my，S为所述条纹光源中心点到所述待检物的表面再到所述相机的路程距离总和，d为所述相机到所述待检物的表面的路程距离；
对所述相机图像进行预处理，以得到待检图像；
将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，所述预设缺陷检测模型是基于PatchCore算法构建得到的，所述缺陷检测结果包括所述待检图像中的缺陷特征与所述预设缺陷检测模型中的特征库对比后生成的异常得分热力图。
结合第一方面，在一些可选的实施方式中，在获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像之前，所述方法还包括：
基于PatchCore算法构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
获取数据集，所述数据集包括所述待检物在无缺陷的常规状态下的标准图像；
对所述数据集进行预处理，得到经过预处理的数据集；
通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
结合第一方面，在一些可选的实施方式中，通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型，包括：
对所述经过预处理的数据集进行特征提取；
将不同层级和尺度的特征进行特征拼接，以得到表征所述数据集中的标准图像特征的特征图；
根据所述特征图在所述标准图像中对应的第一特征向量，构建所述特征库；
基于贪心策略，对所述特征库进行下采样，以筛选所述特征库中的重复项。
结合第一方面，在一些可选的实施方式中，对所述相机图像进行预处理，以得到待检图像，包括：
将所述相机图像进行灰度化处理，得到灰度图像；
基于双线性插值法，将所述灰度图像调整为同一尺寸；
通过预设均值和预设标准差，对完成尺寸调整的所述灰度图像的每个通道每个像素点对应的灰度值进行归一化，以得到所述待检图像。
结合第一方面，在一些可选的实施方式中，将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，包括：
提取所述待检图像的第二特征向量；
计算所述第二特征向量与所述第一特征向量的欧氏距离，以作为表征所述第二特征向量在所述待检图像中对应像素位置的异常得分；
将所述异常得分映射到所述待检图像上，以得到所述异常得分热力图。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
确定所述异常得分热力图中所述异常得分的最大值作为综合得分；
对比所述综合得分与第一预设阈值，以得到表征所述待检图像是否存在缺陷的对比结果，其中，当所述综合得分大于所述第一预设阈值时，确定所述对比结果为所述待检图像存在缺陷。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
当所述对比结果为所述待检图像存在缺陷时，根据所述异常得分热力图，对所述待检图像中呈现的所述待检物的缺陷进行定位和面积计算，以得到表征所述缺陷分布情况的工件缺陷分布图。
第二方面，本申请实施例还提供了一种缺陷检测装置，所述装置包括：
第一获取单元，用于获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像，其中，所述条纹光源的有效光照面积为：
ab＝m2xy
式中，x为待检物的宽，y为所述待检物的长，所述条纹光源的宽a＝mx，所述条纹光源的长b＝my，S为所述条纹光源中心点到所述待检物的表面再到所述相机的路程距离总和，d为所述相机到所述待检物的表面的路程距离；
图像预处理单元，用于对所述相机图像进行预处理，以得到待检图像；
检测单元，用于将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，所述预设缺陷检测模型是基于PatchCore算法构建得到的，所述缺陷检测结果包括所述待检图像中的缺陷特征与所述预设缺陷检测模型中的特征库对比后生成的异常得分热力图。
第三方面，本申请实施例还提供了一种缺陷检测系统，所述缺陷检测系统包括条纹光源、相机以及相互耦合的处理模块和存储模块，所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述缺陷检测系统执行上述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
采用上述技术方案的发明，具有如下优点：
在本申请提供的技术方案中，首先获取相机拍摄条纹光源照射下的待检物得到的相机图像，并对相机图像进行预处理，以得到待检图像，然后将待检图像输入基于PatchCore算法构建得到的预设缺陷检测模型，以得到待检图像中的缺陷特征与预设缺陷检测模型中的特征库对比后生成的异常得分热力图。如此，可以改善常规检测算法在进行微弱凹凸缺陷检测时，缺陷的召回率低、漏检率大、准确性不足的问题。
附图说明
本申请可以通过附图给出的非限定性实施例进一步说明。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的缺陷检测系统的结构示意图。
图2为本申请实施例提供的条纹光源的结构示意图。
图3为本申请实施例提供的缺陷检测方法的流程示意图。
图4为本申请实施例提供的缺陷检测装置的结构框图。
图标：200-缺陷检测装置；210-第一获取单元；220-图像预处理单元；230-检测单元。
具体实施方式
以下将结合附图和具体实施例对本申请进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，本申请实施例提供一种缺陷检测系统可以包括条纹光源、相机以及相互耦合的处理模块和存储模块。存储模块内存储计算机程序，当计算机程序被所述处理模块执行时，使得缺陷检测系统能够执行下述缺陷检测方法中的相应步骤。
在本实施例中，所述条纹光源的有效光照面积为：
ab＝m2xy (1)
式中，x为待检物的宽，y为所述待检物的长，所述条纹光源的宽a＝mx，所述条纹光源的长b＝my，S为所述条纹光源中心点到所述待检物的表面再到所述相机的路程距离总和，d为所述相机到所述待检物的表面的路程距离。
请参照图2，条纹光源为黑白相间的条纹形状，在大小为a*b的矩形面光源上装有黑色不透光涂料的亚克力板，黑色不透光条状与白色透明条状保持宽度一样，呈横向周期性排列。其中，黑色不透光条状或白色透明条状宽度依据精测精度确定，例如，黑色不透光条状或白色透明条状宽度为w0，需要检测的缺陷宽度为w1，则w0＝(w1m)/4。
另外，为保证相机接受到最多条纹光源发射的光，条纹光源安装角度应当与相机安装角度一致，且相机的对焦位置为条纹光源的中心点。
请参照图3，本申请还提供一种缺陷检测方法。可以应用于上述缺陷检测系统中，由缺陷检测系统执行或实现方法中的各步骤。其中，缺陷检测方法可以包括如下步骤：
步骤110，获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像；
步骤120，对所述相机图像进行预处理，以得到待检图像；
步骤130，将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，所述预设缺陷检测模型是基于PatchCore算法构建得到的，所述缺陷检测结果包括所述待检图像中的缺陷特征与所述预设缺陷检测模型中的特征库对比后生成的异常得分热力图。
在上述的实施方式中，首先获取相机拍摄条纹光源照射下的待检物得到的相机图像，并对相机图像进行预处理，以得到待检图像，然后将待检图像输入基于PatchCore算法构建得到的预设缺陷检测模型，以得到待检图像中的缺陷特征与预设缺陷检测模型中的特征库对比后生成的异常得分热力图。如此，可以改善常规检测算法在进行微弱凹凸缺陷检测时，缺陷的召回率低、漏检率大、准确性不足的问题。
下面将对缺陷检测方法的各步骤进行详细阐述，如下：
在步骤110中，当待检物(例如表面光滑的金属件、注塑件、玻璃等)到达预设的检测工位时，通过相机拍摄条纹光源照射下的待检物，得到表征待检物表面成形状态的相机图像。
在步骤120中，对所述相机图像进行预处理，以得到待检图像，可以包括：
将所述相机图像进行灰度化处理，得到灰度图像；
基于双线性插值法，将所述灰度图像调整为同一尺寸；
通过预设均值和预设标准差，对完成尺寸调整的所述灰度图像的每个通道每个像素点对应的灰度值进行归一化，以得到所述待检图像。
可理解的，相机图像通常为呈现待检物表面成形状态的RGB图像，为便于模型检测过程中的图像特征提取，需对相机图像进行一系列预处理，降低特征提取难度、提高特征提取的完整度和准确性。如此，得到经过预处理的待检图像后，作为预设缺陷检测模型的输入。
在步骤130中，预设缺陷检测模型是基于PatchCore算法构建得到的，其中，PatchCore是一种无监督算法，相较于传统检测算法(例如YOLO算法、U-Net算法)，PatchCore能够适应复杂视觉特征的目标，对微弱缺陷(例如凹凸点、划痕等)检测效果优异，且PatchCore只需要状态正常的样本(比如表面成形完整的、没有凹凸点或划痕的注塑件)输入模型进行训练，并且无需学习参数，训练速度非常快。另外，PatchCore算法会对训练期间提取的样本特征进行基于距离的贪婪下采样形成特征库，以达到减少重复特征、提高运算效率减少计算机内存占用的目的。
在本实施例中，将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，可以包括：
提取所述待检图像的第二特征向量；
计算所述第二特征向量与所述第一特征向量的欧氏距离，以作为表征所述第二特征向量在所述待检图像中对应像素位置的异常得分；
将所述异常得分映射到所述待检图像上，以得到所述异常得分热力图。
作为一种可选的实施方式，在获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像之前，所述方法还可以包括：
基于PatchCore算法构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
获取数据集，所述数据集包括所述待检物在无缺陷的常规状态下的标准图像；
对所述数据集进行预处理，得到经过预处理的数据集；
通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
可理解的，在无监督模型的训练中，特征库的构建通常需要大量的数据样本作为支撑，而模型中初始的神经网络对于细微改变的图像样本也会识别为独特、不同的图像。因此，通过数据增强，即对现有的数据集进行微小的改变，比如旋转、翻转、比例缩放、裁剪、移位、添加高斯噪声等，并将改变后产生的新图像添加至数据集中，达到增加样本数据量和多样性、提高模型抗干扰能力、降低误报率并提高召回率的目的。
因此，示例性的，对所述数据集进行预处理，得到经过预处理的数据集，可以包括：
步骤一，对数据集进行数据增强处理，得到经过数据增强的数据集；
步骤二，将经过数据增强的数据集中的标准图像进行灰度化处理，得到标准灰度图像；
步骤三，基于双线性插值法，将标准灰度图像调整为同一尺寸；
步骤四，通过预设均值和预设标准差，对完成尺寸调整的标准灰度图像的每个通道每个像素点对应的灰度值进行归一化，以得到经过预处理的标准灰度图像，经过预处理的标准灰度图像的集合，即为所述经过预处理的数据集。
在本实施例中，通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型，可以包括：
对所述经过预处理的数据集进行特征提取；
将不同层级和尺度的特征进行特征拼接，以得到表征所述数据集中的标准图像特征的特征图；
根据所述特征图在所述标准图像中对应的第一特征向量，构建所述特征库；
基于贪心策略，对所述特征库进行下采样，以筛选所述特征库中的重复项。
在本实施例中，经过特征提取后，经过预处理的数据集中的每张标准图像都会得到一个对应的特征图，该特征图上的每个像素位置的第一特征向量均对应原标准图像上的一个patch，所有patch的集合，即为特征库。由于初次特征提取后形成的特征库数据量庞大，且存在多个高相似度的重复项，因此，通过贪心策略对初始形成的特征库进行下采样，去除特征库中的重复项，即首先随机提取一个patch特征构成新的特征库，随后每次从初始形成的特征库中提取与新的特征库差异最明显的特征加入新的特征库，直到新的特征库中的特征数量达到预设的上限，即得到最终所需的特征库。如此，减少特征库中各元素之间的重复项，提高算法推理的效率。
其中，特征图是一个三维(长、宽和通道数)的张量，每个像素点都是一个长度为通道数的特征向量，代表原标准图像上的对应位置的一个patch的特征。
作为一种可选的实施方式，所述方法还可以包括：
确定所述异常得分热力图中所述异常得分的最大值作为综合得分；
对比所述综合得分与第一预设阈值，以得到表征所述待检图像是否存在缺陷的对比结果，其中，当所述综合得分大于所述第一预设阈值时，确定所述对比结果为所述待检图像存在缺陷。
在本实施例中，通过提取待检图像的第二特征向量，并计算第二特征向量与第一特征向量之间的欧氏距离，以作为第二特征向量在原待检图像中对应像素位置的异常得分，将异常得分映射到待检图像上，即生产异常得分热力图。然后，取异常得分中的最大值作为待检图像的综合得分，并对比综合得分与第一预设阈值，其中，当综合得分大于第一预设阈值时，确定对比结果为待检图像存在缺陷，当综合得分小于第一预设阈值时，确定对比结果为待检图像不存在缺陷。
作为一种可选的实施方式，所述方法还可以包括：
当所述对比结果为所述待检图像存在缺陷时，根据所述异常得分热力图，对所述待检图像中呈现的所述待检物的缺陷进行定位和面积计算，以得到表征所述缺陷分布情况的工件缺陷分布图。
其中，待检物缺陷的定位方式为，当对比结果为待检图像存在缺陷时，通过第二预设阈值遍历上述异常得分热力图，并确定异常得分热力图中，异常得分大于第二预设阈值的像素位置在待检图像中对应的patch为缺陷位置。
缺陷位置定位完成后，通过预设的图像还原比例(可根据实际情况灵活设置)，将缺陷位置对应的缺陷图像还原为原待检物的物理尺寸，以得到表征所述缺陷分布情况的工件缺陷分布图。
请参照图4，本申请还提供一种缺陷检测装置200，缺陷检测装置200包括至少一个可以软件或固件(Firmware)的形式存储于存储模块中或固化在缺陷检测系统的操作系统(Operating System，OS)中的软件功能模块。处理模块用于执行存储模块中存储的可执行模块，例如缺陷检测装置200所包括的软件功能模块及计算机程序等。
缺陷检测装置200包括第一获取单元210、图像预处理单元220及检测单元230，各单元具有的功能可以如下：
第一获取单元210，用于获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像，其中，所述条纹光源的有效光照面积为：
ab＝m2xy
式中，x为待检物的宽，y为所述待检物的长，所述条纹光源的宽a＝mx，所述条纹光源的长b＝my，S为所述条纹光源中心点到所述待检物的表面再到所述相机的路程距离总和，d为所述相机到所述待检物的表面的路程距离；
图像预处理单元220，用于对所述相机图像进行预处理，以得到待检图像；
检测单元230，用于将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，所述预设缺陷检测模型是基于PatchCore算法构建得到的，所述缺陷检测结果包括所述待检图像中的缺陷特征与所述预设缺陷检测模型中的特征库对比后生成的异常得分热力图。
可选地，缺陷检测装置200还可以包括：
构建单元，用于基于PatchCore算法构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
第二获取单元，用于获取数据集，所述数据集包括所述待检物在无缺陷的常规状态下的标准图像；
数据预处理单元，用于对所述数据集进行预处理，得到经过预处理的数据集；
训练单元，用于通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
可选地，训练单元还可以用于：
对所述经过预处理的数据集进行特征提取；
将不同层级和尺度的特征进行特征拼接，以得到表征所述数据集中的标准图像特征的特征图；
根据所述特征图在所述标准图像中对应的第一特征向量，构建所述特征库；
基于贪心策略，对所述特征库进行下采样，以筛选所述特征库中的重复项。
可选地，图像预处理单元220还可以用于：
将所述相机图像进行灰度化处理，得到灰度图像；
基于双线性插值法，将所述灰度图像调整为同一尺寸；
通过预设均值和预设标准差，对完成尺寸调整的所述灰度图像的每个通道每个像素点对应的灰度值进行归一化，以得到所述待检图像。
可选地，检测单元230还可以用于：
提取所述待检图像的第二特征向量；
计算所述第二特征向量与所述第一特征向量的欧氏距离，以作为表征所述第二特征向量在所述待检图像中对应像素位置的异常得分；
将所述异常得分映射到所述待检图像上，以得到所述异常得分热力图。
可选地，缺陷检测装置200还可以包括：
确定单元，用于确定所述异常得分热力图中所述异常得分的最大值作为综合得分；
对比单元，用于对比所述综合得分与第一预设阈值，以得到表征所述待检图像是否存在缺陷的对比结果，其中，当所述综合得分大于所述第一预设阈值时，确定所述对比结果为所述待检图像存在缺陷。
可选地，缺陷检测装置200还可以包括：
热力图转换单元，用于当所述对比结果为所述待检图像存在缺陷时，根据所述异常得分热力图，对所述待检图像中呈现的所述待检物的缺陷进行定位和面积计算，以得到表征所述缺陷分布情况的工件缺陷分布图。
在本实施例中，处理模块可以是一种集成电路芯片，具有信号的处理能力。上述处理模块可以是通用处理器。例如，该处理器可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储相机图像、待检图像、预设缺陷检测模型、缺陷检测结果、工件缺陷分布图等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。
可以理解的是，图1中所示的缺陷检测系统结构仅为一种结构示意图，缺陷检测系统还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的缺陷检测系统的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的缺陷检测方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述，本申请实施例提供一种缺陷检测方法、装置、系统及存储介质。在本方案中，首先获取相机拍摄条纹光源照射下的待检物得到的相机图像，并对相机图像进行预处理，以得到待检图像，然后将待检图像输入基于PatchCore算法构建得到的预设缺陷检测模型，以得到待检图像中的缺陷特征与预设缺陷检测模型中的特征库对比后生成的异常得分热力图。如此，可以改善常规检测算法在进行微弱凹凸缺陷检测时，缺陷的召回率低、漏检率大、准确性不足的问题。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种缺陷检测方法，其特征在于，应用于缺陷检测系统，所述缺陷检测系统包括条纹光源和相机，所述方法包括：
获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像，其中，所述条纹光源的有效光照面积为：
ab＝m2xy
式中，x为待检物的宽，y为所述待检物的长，所述条纹光源的宽a＝mx，所述条纹光源的长b＝my，S为所述条纹光源中心点到所述待检物的表面再到所述相机的路程距离总和，d为所述相机到所述待检物的表面的路程距离；
对所述相机图像进行预处理，以得到待检图像；
将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，所述预设缺陷检测模型是基于PatchCore算法构建得到的，所述缺陷检测结果包括所述待检图像中的缺陷特征与所述预设缺陷检测模型中的特征库对比后生成的异常得分热力图。
2.根据权利要求1所述的方法，其特征在于，在获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像之前，所述方法还包括：
基于PatchCore算法构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
获取数据集，所述数据集包括所述待检物在无缺陷的常规状态下的标准图像；
对所述数据集进行预处理，得到经过预处理的数据集；
通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
3.根据权利要求2所述的方法，其特征在于，通过所述经过预处理的数据集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型，包括：
对所述经过预处理的数据集进行特征提取；
将不同层级和尺度的特征进行特征拼接，以得到表征所述数据集中的标准图像特征的特征图；
根据所述特征图在所述标准图像中对应的第一特征向量，构建所述特征库；
基于贪心策略，对所述特征库进行下采样，以筛选所述特征库中的重复项。
4.根据权利要求1所述的方法，其特征在于，对所述相机图像进行预处理，以得到待检图像，包括：
将所述相机图像进行灰度化处理，得到灰度图像；
基于双线性插值法，将所述灰度图像调整为同一尺寸；
通过预设均值和预设标准差，对完成尺寸调整的所述灰度图像的每个通道每个像素点对应的灰度值进行归一化，以得到所述待检图像。
5.根据权利要求3所述的方法，其特征在于，将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，包括：
提取所述待检图像的第二特征向量；
计算所述第二特征向量与所述第一特征向量的欧氏距离，以作为表征所述第二特征向量在所述待检图像中对应像素位置的异常得分；
将所述异常得分映射到所述待检图像上，以得到所述异常得分热力图。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述异常得分热力图中所述异常得分的最大值作为综合得分；
对比所述综合得分与第一预设阈值，以得到表征所述待检图像是否存在缺陷的对比结果，其中，当所述综合得分大于所述第一预设阈值时，确定所述对比结果为所述待检图像存在缺陷。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当所述对比结果为所述待检图像存在缺陷时，根据所述异常得分热力图，对所述待检图像中呈现的所述待检物的缺陷进行定位和面积计算，以得到表征所述缺陷分布情况的工件缺陷分布图。
8.一种缺陷检测系统装置，其特征在于，所述装置包括：
第一获取单元，用于获取所述相机拍摄所述条纹光源照射下的所述待检物得到的相机图像，其中，所述条纹光源的有效光照面积为：
ab＝m2xy
式中，x为待检物的宽，y为所述待检物的长，所述条纹光源的宽a＝mx，所述条纹光源的长b＝my，S为所述条纹光源中心点到所述待检物的表面再到所述相机的路程距离总和，d为所述相机到所述待检物的表面的路程距离；
图像预处理单元，用于对所述相机图像进行预处理，以得到待检图像；
检测单元，用于将所述待检图像输入经过训练的预设缺陷检测模型，以得到缺陷检测结果，所述预设缺陷检测模型是基于PatchCore算法构建得到的，所述缺陷检测结果包括所述待检图像中的缺陷特征与所述预设缺陷检测模型中的特征库对比后生成的异常得分热力图。
9.一种缺陷检测系统，其特征在于，所述缺陷检测系统包括条纹光源、相机以及相互耦合的处理模块和存储模块，所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述缺陷检测系统执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7中任一项所述的方法。
CN202310516332.4A 2023-05-09 2023-05-09 缺陷检测方法、装置、系统及存储介质 Active CN116500042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310516332.4A CN116500042B (zh) 2023-05-09 2023-05-09 缺陷检测方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310516332.4A CN116500042B (zh) 2023-05-09 2023-05-09 缺陷检测方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116500042A true CN116500042A (zh) 2023-07-28
CN116500042B CN116500042B (zh) 2024-01-26

Family

ID=87330076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310516332.4A Active CN116500042B (zh) 2023-05-09 2023-05-09 缺陷检测方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116500042B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007212479A (ja) * 2007-05-07 2007-08-23 Hitachi Ltd 欠陥検査装置およびその方法
CN101034069A (zh) * 2006-03-10 2007-09-12 欧姆龙株式会社 缺陷检查装置缺陷检查方法
JP2007240323A (ja) * 2006-03-08 2007-09-20 Toppan Printing Co Ltd 周期性パターンの欠陥検査方法及び欠陥検査装置
JP2009192541A (ja) * 2009-05-25 2009-08-27 Hitachi Ltd 欠陥検査装置
JP2010223964A (ja) * 2010-04-26 2010-10-07 Hitachi Ltd 欠陥検査装置およびその方法
CN105849534A (zh) * 2013-12-27 2016-08-10 杰富意钢铁株式会社 表面缺陷检测方法及表面缺陷检测装置
CN107735674A (zh) * 2015-06-25 2018-02-23 杰富意钢铁株式会社 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
WO2022127919A1 (zh) * 2020-12-17 2022-06-23 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置、系统、存储介质及程序产品
CN115704777A (zh) * 2021-08-05 2023-02-17 Ykk株式会社 检查用图像获取装置、检查用图像获取方法以及检查装置
CN115867791A (zh) * 2020-08-06 2023-03-28 杰富意钢铁株式会社 金属带的表面检查装置、表面检查方法及制造方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240323A (ja) * 2006-03-08 2007-09-20 Toppan Printing Co Ltd 周期性パターンの欠陥検査方法及び欠陥検査装置
CN101034069A (zh) * 2006-03-10 2007-09-12 欧姆龙株式会社 缺陷检查装置缺陷检查方法
JP2007212479A (ja) * 2007-05-07 2007-08-23 Hitachi Ltd 欠陥検査装置およびその方法
JP2009192541A (ja) * 2009-05-25 2009-08-27 Hitachi Ltd 欠陥検査装置
JP2010223964A (ja) * 2010-04-26 2010-10-07 Hitachi Ltd 欠陥検査装置およびその方法
CN105849534A (zh) * 2013-12-27 2016-08-10 杰富意钢铁株式会社 表面缺陷检测方法及表面缺陷检测装置
CN107735674A (zh) * 2015-06-25 2018-02-23 杰富意钢铁株式会社 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
CN115867791A (zh) * 2020-08-06 2023-03-28 杰富意钢铁株式会社 金属带的表面检查装置、表面检查方法及制造方法
WO2022127919A1 (zh) * 2020-12-17 2022-06-23 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置、系统、存储介质及程序产品
CN115704777A (zh) * 2021-08-05 2023-02-17 Ykk株式会社 检查用图像获取装置、检查用图像获取方法以及检查装置

Also Published As

Publication number Publication date
CN116500042B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN116420159A (zh) 缺陷检测方法、装置和系统
CN111161222B (zh) 一种基于视觉显著性的印刷辊筒缺陷检测方法
CN116777916B (zh) 基于泵机金属外壳的缺陷检测方法
CN111325717B (zh) 手机缺陷位置识别方法及设备
CN111598889B (zh) 均压环倾斜故障的识别方法、装置、计算机设备
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN107004266A (zh) 检测轮胎表面上缺陷的方法
CN114519714B (zh) 一种显示屏脏污缺陷判定的方法和系统
CN110706224A (zh) 基于暗场图像的光学元件弱划痕检测方法、系统和装置
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN116128849A (zh) 一种混凝土坝水下裂缝检测方法、装置、设备及存储介质
CN113192013A (zh) 一种反光表面缺陷检测方法、系统及电子设备
CN114723677A (zh) 图像缺陷检测方法、检测装置、检测设备及存储介质
CN116503388A (zh) 缺陷检测方法、装置及存储介质
CN116883408A (zh) 基于人工智能的积算仪壳体缺陷检测方法
CN117635590A (zh) 一种笔记本电脑外壳的缺陷检测方法、缺陷检测装置和存储介质
CN117611569A (zh) 基于人工智能的车辆筋线检测方法、装置、设备及介质
CN116500042B (zh) 缺陷检测方法、装置、系统及存储介质
CN116542963A (zh) 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法
CN109035306B (zh) 动目标自动检测方法及装置
CN114581433B (zh) 一种获取金属球腔内表面形貌检测图像的方法及系统
Mo et al. Digital multimeter reading recognition for automation verification
CN115239663A (zh) 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质
CN110634124A (zh) 一种区域检测的方法及设备
CN115761613A (zh) 一种基于卷积网络的隧道裂缝自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231126

Address after: 401120 Chongqing Yubei District Joint Industrial Incubation Base Collaborative Innovation Zone Phase 3

Applicant after: Chongqing Research Institute of Harbin Institute of Technology

Applicant after: HARBIN INSTITUTE OF TECHNOLOGY

Address before: 401135 Phase 3, Collaborative Innovation Zone, Yubei District Joint Industry Incubation Base, Chongqing

Applicant before: Chongqing Research Institute of Harbin Institute of Technology

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant