CN118154524A - 一种图像缺陷检测方法、装置、介质和电子设备 - Google Patents
一种图像缺陷检测方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN118154524A CN118154524A CN202410211086.6A CN202410211086A CN118154524A CN 118154524 A CN118154524 A CN 118154524A CN 202410211086 A CN202410211086 A CN 202410211086A CN 118154524 A CN118154524 A CN 118154524A
- Authority
- CN
- China
- Prior art keywords
- image
- product
- features
- feature
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000000605 extraction Methods 0.000 claims abstract description 170
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 132
- 238000013527 convolutional neural network Methods 0.000 claims description 52
- 230000015654 memory Effects 0.000 claims description 25
- 230000003321 amplification Effects 0.000 claims description 20
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 19
- 239000010410 layer Substances 0.000 description 14
- 239000013545 self-assembled monolayer Substances 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000682 scanning probe acoustic microscopy Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种图像缺陷检测方法、装置、介质和电子设备，涉及图像处理技术领域。其中的图像缺陷检测方法，在图像缺陷检测的过程中，获取与目标产品对应的产品待查图像和产品基准图像；将产品待查图像和产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；多尺度图像特征包括产品待查图像的第一多尺度图像特征和产品基准图像的第二多尺度图像特征；基于第一多尺度图像特征和第二多尺度图像特征，确定产品待查图像与产品基准图像之间的图像比对相似信息；根据图像比对相似信息对产品待查图像中的目标关注区域进行标记，得到产品辨识图像。该方法，可以有效提升图像缺陷检测的准确率。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像缺陷检测方法、装置、介质和电子设备。
背景技术
在工业生产中，传统的质量检测方法依赖人工视觉检测，受质检人员的工作经验和身体素质等人为因素影响，容易导致错检、漏检等工作失误和检测准确率降低的问题。
现有的图像缺陷检测方法，采用基于传统图像处理的模板比对方法在一定程度上弥补了人工检测的缺点，但是由于依赖图像灰度特征的提取，极易受光照、成像质量和外界噪声的影响，因此在不同工业检测场景下不具有通用性，通常图像缺陷检测的准确率较低。因此，如何提供一种图像缺陷检测方法，解决图像缺陷检测的准确率低下的问题，具有重要的现实意义。
发明内容
本申请实施例提供了一种图像缺陷检测方法、装置、介质和电子设备，可以提升图像缺陷检测的准确率。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像缺陷检测方法，包括：
获取与目标产品对应的产品待查图像和产品基准图像；
将所述产品待查图像和所述产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；所述多尺度图像特征包括所述产品待查图像的第一多尺度图像特征和所述产品基准图像的第二多尺度图像特征；所述深度特征提取模型包括CNN模块和Transformer模块；多尺度图像特征为基于通过所述深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；所述注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；所述上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；
基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息；所述图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；
根据所述图像比对相似信息对所述产品待查图像中的目标关注区域进行标记，得到产品辨识图像；所述图像比对相似信息中，与所述目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。
本申请实施例提供的图像缺陷检测方法，在图像缺陷检测的过程中，获取与目标产品对应的产品待查图像和产品基准图像；将所述产品待查图像和所述产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；所述多尺度图像特征包括所述产品待查图像的第一多尺度图像特征和所述产品基准图像的第二多尺度图像特征；所述深度特征提取模型包括卷积神经网络CNN模块和Transformer模块；多尺度图像特征为基于通过所述深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；所述注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；所述上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息；所述图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；根据所述图像比对相似信息对所述产品待查图像中的目标关注区域进行标记，得到产品辨识图像；所述图像比对相似信息中，与所述目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。该方法通过利用深度学习技术实现多尺度图像特征提取，并基于多尺度图像特征进行产品待查图像和产品基准图像的比对，应用在工业质量检测中，可有效避免外界因素对检测结果带来的影响，在不同的应用场景下具有较高稳定性和通用性，能够有效提升图像缺陷检测的准确率。
在一种可选的实施例中，通过下述步骤得到所述多尺度图像特征：
对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征；
逐一选取得到的源图像特征，作为目标源图像特征；
每增加一个目标源图像特征，则对增加的所述目标源图像特征进行特征强化，得到注意力增强特征；
对得到的所述注意力增强特征进行提取全局上下文信息，得到上下文特征；
根据所述注意力增强特征和所述上下文特征，得到多尺度图像特征。
该实施例的方法，通过对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征；逐一选取得到的源图像特征，作为目标源图像特征；每增加一个目标源图像特征，则对增加的所述目标源图像特征进行特征强化，得到注意力增强特征；对得到的所述注意力增强特征进行提取全局上下文信息，得到上下文特征；根据所述注意力增强特征和所述上下文特征，得到多尺度图像特征，可以在图像缺陷检测时根据通过特征强化得到的注意力增强特征以及根据提取全局上下文信息得到的上下文特征，生成多尺度图像特征，实现基于输入图像的全局语义信息和局部的特征强化信息相结合的图像比对识别，能够更高效地提升图像缺陷检测的准确率。
在一种可选的实施例中，所述CNN模块包括卷积层提取网络和FPN网络；所述对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征，包括：
通过所述卷积层提取网络对所述源图像进行图像特征提取，得到初步特征信息；
通过所述FPN网络对所述初步特征信息进行多个空间尺度的多尺度特征提取，并对所述多尺度特征提取获得的信息进行融合处理，得到多个具有不同特征维度的源图像特征。
该实施例的方法中，所述CNN模块包括卷积层提取网络和FPN网络；通过所述卷积层提取网络对所述源图像进行图像特征提取，得到初步特征信息；通过所述FPN网络对所述初步特征信息进行多个空间尺度的多尺度特征提取，并对所述多尺度特征提取获得的信息进行融合处理，得到多个具有不同特征维度的源图像特征，通过在图像缺陷监测过程中基于FPN结构提取不同尺度特征图，能够有效地将不同尺度的特征进行融合，从而可以得到更全面的图像特征，提升图像缺陷检测的准确率。
在一种可选的实施例中，所述CNN模块包括通道注意力网络和空间注意力网络；所述对增加的所述目标源图像特征进行特征强化，得到注意力增强特征，包括：
通过所述通道注意力网络对增加的所述目标源图像特征进行第一调整，得到所述目标源图像特征对应的通道加权图像特征；
通过所述空间注意力网络对所述通道加权图像特征进行第二调整，得到与增加的所述目标源图像特征对应的注意力增强特征。
该实施例的方法，所述CNN模块包括通道注意力网络和空间注意力网络；通过所述通道注意力网络对增加的所述目标源图像特征进行第一调整，得到所述目标源图像特征对应的通道加权图像特征；通过所述空间注意力网络对所述通道加权图像特征进行第二调整，得到与增加的所述目标源图像特征对应的注意力增强特征，实现采用通道注意力模块和空间注意力模块来提取深度特征提取模型的通道权重参数和空间权重参数，在不同尺度的特征上实现通道与空间加权，能进一步提高图像辨识度，可以更高效地提升图像缺陷检测的准确率。
在一种可选的实施例中，所述多尺度图像特征为多个；不同的多尺度图像特征具有不同的特征维度；所述基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息，包括：
逐一选取所述特征维度，每选取一个特征维度，将当前选取的特征维度作为待匹配特征维度；
基于与所述待匹配特征维度对应的第一多尺度图像特征，和与所述待匹配特征维度对应的所述第二多尺度图像特征，确定所述待匹配特征维度下所述产品待查图像和所述产品基准图像之间的图像相似信息；
根据各个特征维度的所述图像相似信息，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息。
该实施例的方法，所述多尺度图像特征为多个；不同的多尺度图像特征具有不同的特征维度；通过逐一选取所述特征维度，每选取一个特征维度，将当前选取的特征维度作为待匹配特征维度；基于与所述待匹配特征维度对应的第一多尺度图像特征，和与所述待匹配特征维度对应的所述第二多尺度图像特征，确定所述待匹配特征维度下所述产品待查图像和所述产品基准图像之间的图像相似信息；根据各个特征维度的所述图像相似信息，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息，实现依据多个不同的特征维度的多尺度图像特征确定图像比对相似信息，能进一步提高图像比对的辨识度，可以更高效地提升图像缺陷检测的准确率。
在一种可选的实施例中，所述根据各个特征维度的所述图像相似信息，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息，包括：
基于各个特征维度的所述图像相似信息，构建特征维度与图像相似信息的对应关系，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息。
该实施例的方法，通过基于各个特征维度的所述图像相似信息，构建特征维度与图像相似信息的对应关系，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息，提供一种图像比对相似信息的构建机制，能够简捷精准地确定产品待查图像与所述产品基准图像之间的图像比对相似信息，可以更高效地提升图像缺陷检测的准确率。
在一种可选的实施例中，所述获取与目标产品对应的产品待查图像和产品基准图像之前，还包括：
获取所述目标产品的初始基准训练样本集；所述初始基准训练样本集包括第一数量的目标产品的产品真实图像；
通过通用工业场景分割模型SAM对所述初始基准训练样本集中的所述产品真实图像进行图像分割，得到产品前景图像和产品背景图像；
基于所述产品前景图像和检测现场的目标背景图像进行图像合成，得到产品扩增图像；
根据所述产品扩增图像构建数据集，得到扩增基准训练样本集；
基于所述初始基准训练样本集和所述扩增基准训练样本集训练特征提取模型，得到所述已训练的深度特征提取模型。
该实施例的方法，获取所述目标产品的初始基准训练样本集；所述初始基准训练样本集包括第一数量的目标产品的产品真实图像；通过通用工业场景分割模型SAM对所述初始基准训练样本集中的所述产品真实图像进行图像分割，得到产品前景图像和产品背景图像；基于所述产品前景图像和检测现场的目标背景图像进行图像合成，得到产品扩增图像；根据所述产品扩增图像构建数据集，得到扩增基准训练样本集；基于所述初始基准训练样本集和所述扩增基准训练样本集训练特征提取模型，得到所述已训练的深度特征提取模型。该方法，提供一种基于通用工业场景分割模型SAM的数据增强方法，实现利用通用工业场景分割模型实现前景和背景掩膜精确提取，进行前景目标特征增强和背景变换，提升深度特征提取模型的泛化能力，能够适应复杂多变的工业环境，可以进一步提升图像缺陷检测的准确率。
在一种可选的实施例中，所述深度特征提取模型通过如下方法训练得到：
获得训练样本数据，所述训练样本数据包括产品图料；所述产品图料为由产品真实图像和产品扩增图像构成的图像对；
基于所述训练样本数据，选取批次训练图料；所述批次训练图料包括所述产品图料中的一部分；
将所述批次训练图料输入待训练的特征提取模型进行训练，并确定所述待训练的特征提取模型的目标损失函数的特征提取损失值；所述目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离；
判断所述特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。
该实施例的方法，获得训练样本数据，所述训练样本数据包括产品图料；所述产品图料为由产品真实图像和产品扩增图像构成的图像对；基于所述训练样本数据，选取批次训练图料；所述批次训练图料包括所述产品图料中的一部分；将所述批次训练图料输入待训练的特征提取模型进行训练，并确定所述待训练的特征提取模型的目标损失函数的特征提取损失值；所述目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离；判断所述特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。该方法提供一种深度特征提取模型的训练机制，能够高效地进行特征提取模型的训练，减少图像缺陷检测的人力成本和人为失误，提高图像缺陷检测过程的识别精准度，有效提升图像缺陷检测的准确率。
第二方面，本申请实施例还提供了一种图像缺陷检测装置，包括：
图像信息获取单元，用于获取与目标产品对应的产品待查图像和产品基准图像；
多尺度提取单元，用于将所述产品待查图像和所述产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；所述多尺度图像特征包括所述产品待查图像的第一多尺度图像特征和所述产品基准图像的第二多尺度图像特征；所述深度特征提取模型包括CNN模块和Transformer模块；多尺度图像特征为基于通过所述深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；所述注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；所述上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；
相似度计算单元，用于基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息；所述图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；
图像标识单元，用于根据所述图像比对相似信息对所述产品待查图像中的目标关注区域进行标记，得到产品辨识图像；所述图像比对相似信息中，与所述目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。
在一种可选的实施例中，所述多尺度提取单元，具体用于：
通过下述步骤得到所述多尺度图像特征：
对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征；
逐一选取得到的源图像特征，作为目标源图像特征；
每增加一个目标源图像特征，则对增加的所述目标源图像特征进行特征强化，得到注意力增强特征；
对得到的所述注意力增强特征进行提取全局上下文信息，得到上下文特征；
根据所述注意力增强特征和所述上下文特征，得到多尺度图像特征。
在一种可选的实施例中，所述CNN模块包括卷积层提取网络和FPN网络；所述多尺度提取单元，具体用于：
通过所述卷积层提取网络对所述源图像进行图像特征提取，得到初步特征信息；
通过所述FPN网络对所述初步特征信息进行多个空间尺度的多尺度特征提取，并对所述多尺度特征提取获得的信息进行融合处理，得到多个具有不同特征维度的源图像特征。
在一种可选的实施例中，所述CNN模块包括通道注意力网络和空间注意力网络；多尺度提取单元，具体用于：
通过所述通道注意力网络对增加的所述目标源图像特征进行第一调整，得到所述目标源图像特征对应的通道加权图像特征；
通过所述空间注意力网络对所述通道加权图像特征进行第二调整，得到与增加的所述目标源图像特征对应的注意力增强特征。
在一种可选的实施例中，所述多尺度图像特征为多个；不同的多尺度图像特征具有不同的特征维度；所述相似度计算单元，具体用于：
逐一选取所述特征维度，每选取一个特征维度，将当前选取的特征维度作为待匹配特征维度；
基于与所述待匹配特征维度对应的第一多尺度图像特征，和与所述待匹配特征维度对应的所述第二多尺度图像特征，确定所述待匹配特征维度下所述产品待查图像和所述产品基准图像之间的图像相似信息；
根据各个特征维度的所述图像相似信息，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息。
在一种可选的实施例中，所述相似度计算单元，具体用于：
基于各个特征维度的所述图像相似信息，构建特征维度与图像相似信息的对应关系，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息。
在一种可选的实施例中，所述装置还包括识别预处理单元；所述识别预处理单元，用于：
获取所述目标产品的初始基准训练样本集；所述初始基准训练样本集包括第一数量的目标产品的产品真实图像；
通过通用工业场景分割模型SAM对所述初始基准训练样本集中的所述产品真实图像进行图像分割，得到产品前景图像和产品背景图像；
基于所述产品前景图像和检测现场的目标背景图像进行图像合成，得到产品扩增图像；
根据所述产品扩增图像构建数据集，得到扩增基准训练样本集；
基于所述初始基准训练样本集和所述扩增基准训练样本集训练特征提取模型，得到所述已训练的深度特征提取模型。
在一种可选的实施例中，所述装置还包括提取模型训练单元；所述提取模型训练单元，用于通过如下方法训练得到所述深度特征提取模型：
获得训练样本数据，所述训练样本数据包括产品图料；所述产品图料为由产品真实图像和产品扩增图像构成的图像对；
基于所述训练样本数据，选取批次训练图料；所述批次训练图料包括所述产品图料中的一部分；
将所述批次训练图料输入待训练的特征提取模型进行训练，并确定所述待训练的特征提取模型的目标损失函数的特征提取损失值；所述目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离；
判断所述特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的图像缺陷检测方法。
第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的图像缺陷检测方法。
第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像缺陷检测方法的流程示意图；
图2为本申请实施例提供的一种图像缺陷检测方法的得到多尺度图像特征的流程示意图；
图3为本申请实施例提供的一种图像缺陷检测方法的基于源图像得到源图像特征的流程示意图；
图4为本申请实施例提供的一种图像缺陷检测方法的得到注意力增强特征的流程示意图；
图5为本申请实施例提供的一种图像缺陷检测方法的确定图像比对相似信息的流程示意图；
图6为本申请实施例提供的一种图像缺陷检测方法的进行识别预处理的流程示意图；
图7为本申请实施例提供的一种图像缺陷检测方法的训练得到深度特征提取模型的流程示意图；
图8为本申请实施例提供的一种图像缺陷检测装置的结构示意图之一；
图9为本申请实施例提供的一种图像缺陷检测装置的结构示意图之二；
图10为本申请实施例提供的一种图像缺陷检测装置的结构示意图之三；
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对文中出现的一些词语进行解释：
(1)、SAM(Segment Anything Model，通用工业场景分割模型)：SAM是一种处理图像分割任务的通用模型。与只能处理某种特定类型图片的图像分割模型不同，SAM可以处理所有类型的图像。相比于以往的图像分割模型，SAM可以识别各种输入提示，确定图像中需要分割的内容，还可以灵活集成到虚拟现实/增强现实等其他系统中，且能实现较好的图像分割效果。
(2)、Transformer：Transformer是一种基于注意力机制的序列模型，最初应用于机器翻译任务。与传统的循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Networks,CNN)不同，Transformer使用自注意力机制(self-attention)来处理输入序列和输出序列，可以并行计算，实现提升计算效率。
(3)FPN(Feature Pyramid Networks，特征图金字塔)：FPN网络是一种融合不同尺度的特征图feature map并保持信息丰富度的卷积神经网络模型。整个FPN网络由两个主要部分组成：底部的处理模块和顶部的预测模块。底部的处理模块由特征提取和特征融合两部分组成。特征提取可以采用ResNet网络、VGG网络等主干网络。在特征提取完之后，不同层级的feature map被送入top-down和bottom-up两个模块进行融合处理。
在工业生产中，传统的质量检测方法依赖人工视觉检测，受质检人员的工作经验和身体素质等人为因素影响，容易导致错检、漏检等工作失误和检测准确率降低的问题。
现有的图像缺陷检测方法，采用基于传统图像处理的模板比对方法在一定程度上弥补了人工检测的缺点，但是由于依赖图像灰度特征的提取，极易受光照、成像质量和外界噪声的影响，因此在不同工业检测场景下不具有通用性，通常图像缺陷检测的准确率较低。因此，如何提供一种图像缺陷检测方法，解决图像缺陷检测的准确率低下的问题，具有重要的现实意义。
为解决现有存在的技术问题，本申请实施例提供了一种图像缺陷检测方法、装置、介质和电子设备，通过在图像缺陷检测的过程中，获取与目标产品对应的产品待查图像和产品基准图像；将产品待查图像和产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；多尺度图像特征包括产品待查图像的第一多尺度图像特征和产品基准图像的第二多尺度图像特征；深度特征提取模型包括卷积神经网络CNN模块和Transformer模块；多尺度图像特征为基于通过深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；基于第一多尺度图像特征和第二多尺度图像特征，确定产品待查图像与产品基准图像之间的图像比对相似信息；图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；根据图像比对相似信息对产品待查图像中的目标关注区域进行标记，得到产品辨识图像；图像比对相似信息中，与目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。该方法通过利用深度学习技术实现多尺度图像特征提取，并基于多尺度图像特征进行产品待查图像和产品基准图像的比对，应用在工业质量检测中，可有效避免外界因素对检测结果带来的影响，在不同的应用场景下具有较高稳定性和通用性，能够有效提升图像缺陷检测的准确率。
为了使本申请实施例的发明目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部份实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面将结合附图，对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供的图像缺陷检测方法，可以是应用于服务器，也可以是应用于终端设备中。本申请的以下实施例，以图像缺陷检测方法应用于终端设备为例进行说明。
本申请实施例提供了一种图像缺陷检测方法，如图1所示，包括如下步骤：
步骤S101，获取与目标产品对应的产品待查图像和产品基准图像。
具体实施时，终端设备响应于用户输入的图像缺陷检测指令，获取与目标产品对应的产品待查图像和产品基准图像。其中，产品待查图像为包含目标产品的需要进行检测的图像；产品基准图像为包含目标产品的，在对产品待查图像进行图像缺陷检测时用于比对模板的图像。
步骤S102，将产品待查图像和产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；多尺度图像特征包括产品待查图像的第一多尺度图像特征和产品基准图像的第二多尺度图像特征。
其中，深度特征提取模型包括卷积神经网络CNN模块和Transformer模块；多尺度图像特征为基于通过深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的。
在一些可选的实施例中，上述步骤S102中的，得到多尺度图像特征的过程，如图2所示，可以通过以下步骤实现：
步骤S201，对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征。
在一些可选的实施例中，CNN模块包括卷积层提取网络和FPN网络；上述步骤S201中的，对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征的过程，如图3所示，可以通过以下步骤实现：
步骤S301，通过卷积层提取网络对源图像进行图像特征提取，得到初步特征信息。
本申请的实施例中，CNN模块包括卷积层提取网络和FPN网络；卷积层提取网络可以包括预设数量的卷积层。
步骤S302，通过FPN网络对初步特征信息进行多个空间尺度的多尺度特征提取，并对多尺度特征提取获得的信息进行融合处理，得到多个具有不同特征维度的源图像特征。
步骤S202，逐一选取得到的源图像特征，作为目标源图像特征。
步骤S203，每增加一个目标源图像特征，则对增加的目标源图像特征进行特征强化，得到注意力增强特征。
在一些可选的实施例中，CNN模块包括通道注意力网络和空间注意力网络；上述步骤S203中的，对增加的目标源图像特征进行特征强化，得到注意力增强特征的过程，如图4所示，可以通过以下步骤实现：
步骤S401，通过通道注意力网络对增加的目标源图像特征进行第一调整，得到目标源图像特征对应的通道加权图像特征。
在本申请的一些实施例中，通道注意力网络可以是通道注意力模块；采用通道注意力模块，汇聚CNN模块提取的源图像特征的通道信息，通过通道注意力模块的通道注意力结构学习通道注意力权重Wc；将得到的通道注意力权重Wc与源图像特征相乘，完成对源图像特征的通道加权，以完成第一调整，得到目标源图像特征对应的通道加权图像特征。
步骤S402，通过空间注意力网络对通道加权图像特征进行第二调整，得到与增加的目标源图像特征对应的注意力增强特征。
在本申请的一些实施例中，空间注意力网络可以是预设的空间注意力模块；采用空间注意力模块，汇聚通道注意力模块的通道加权图像特征的空间特征信息，通过空间注意力模块学习获得空间注意力权重Ws；将空间注意力权重与输入的通道加权图像特征相乘，实现对源图像特征的空间加权，以完成第二调整，得到与增加的目标源图像特征对应的注意力增强特征。
本申请的一些实施例中，将CNN模块、通道注意力网络和空间注意力网络串联起来，能够计算得到与不同空间尺度特征对应的通道权重和空间权重。整个过程可以表示为：
Fli’＝Ws*(Wc*Fli),
其中,
Fli表示源图像特征；
Wc和Ws分别表示通道注意力权重和空间注意力权重；
Fli’为加权后的注意力增强特征；
*表示对运算符“*”前后相邻的两个量进行求乘积运算。
步骤S204，对得到的注意力增强特征进行提取全局上下文信息，得到上下文特征。
具体实施时，通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息，得到上下文特征。
在本申请的一些实施例中，CNN模块通过卷积层神经网络提取源图像的局部特征，得到注意力增强特征；以注意力增强特征作为提取全局上下文的输入序列，利用Transformer作为编码器，进行深度特征提取模型的全局建模。编码后的特征序列经过reshape和上采样，得到上下文特征。
步骤S205，根据注意力增强特征和上下文特征，得到多尺度图像特征。
在本申请的一些实施例中，将各个空间尺度的上下文特征，分别与CNN模块生成的相同空间尺度的注意力增强特征相结合，可以获得多尺度图像特征。
步骤S103，基于第一多尺度图像特征和第二多尺度图像特征，确定产品待查图像与产品基准图像之间的图像比对相似信息；图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度。
在一些可选的实施例中，区域比对相似度可以是通过计算余弦相似度得到的。
在一些可选的实施例中，多尺度图像特征为多个；不同的多尺度图像特征具有不同的特征维度；上述步骤S103中的，基于第一多尺度图像特征和第二多尺度图像特征，确定产品待查图像与产品基准图像之间的图像比对相似信息的过程，如图5所示，可以通过以下步骤实现：
步骤S501，逐一选取特征维度，每选取一个特征维度，将当前选取的特征维度作为待匹配特征维度。
在本申请的一些实施例中，多尺度图像特征的数量为3个。
多尺度图像特征的数量为3个，例如可以是3个尺寸不同的多尺度图像特征。多尺度图像特征可以是shape为1*H*W*C的特征图。例如，3个多尺度图像特征可以是shape分别如下的特征图：1*256*2562*16，1*128*128*16，和1*64*64*16。
步骤S502，基于与待匹配特征维度对应的第一多尺度图像特征，和与待匹配特征维度对应的第二多尺度图像特征，确定待匹配特征维度下产品待查图像和产品基准图像之间的图像相似信息。
步骤S503，根据各个特征维度的图像相似信息，得到产品待查图像与产品基准图像之间的图像比对相似信息。
在一些可选的实施例中，上述步骤S503中的，根据各个特征维度的图像相似信息，得到产品待查图像与产品基准图像之间的图像比对相似信息的过程，具体为基于各个特征维度的图像相似信息，构建特征维度与图像相似信息的对应关系，得到产品待查图像与产品基准图像之间的图像比对相似信息。
步骤S104，根据图像比对相似信息对产品待查图像中的目标关注区域进行标记，得到产品辨识图像；图像比对相似信息中，与目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。
在本申请的一些实施例中，多尺度图像特征的数量为3个；预先将产品待查图像和产品基准图像进行匹配对齐；通过对应不同特征维度的图像比对相似信息，可以获得3个尺寸的相似度热度图；将相似度热度图中的相似度低于相似度阈值的图像区域作为提取到的目标关注区域。其中，目标关注区域表征该图像区域为预估的缺陷区域。
在本申请的一些实施例中，相似度阈值的取值范围可以是0.4～0.6。
本申请实施例提供的图像缺陷检测方法，在图像缺陷检测的过程中，响应于表计巡检指令，基于预设的数据库中多个表计设备的统计数据，得到表计设备对应的巡检优先级；根据巡检优先级，确定目标时间段内的巡检频率；其中，各表计设备的巡检频率不完全相同，且对于任意两个表计设备，优先级高的表计设备对应的巡检频率不小于优先级低的表计设备对应的巡检频率；根据巡检频率，在目标时段内巡检表计设备。该方法通过确定巡检各个表计点位的优先级，并基于优先级优化对各表计的巡检，能够减少依次巡检各个表计存在的冗余，有效提升图像缺陷检测的准确率。
在本申请的一些实施例中，获取与目标产品对应的产品待查图像和产品基准图像之前，还可以先进行识别预处理。
在一些可选的实施例中，上述步骤S101中的，获取与目标产品对应的产品待查图像和产品基准图像的过程之前，如图6所示，还可以通过以下步骤进行识别预处理：
步骤S601，获取目标产品的初始基准训练样本集；初始基准训练样本集包括第一数量的目标产品的产品真实图像。
步骤S602，通过通用工业场景分割模型SAM对初始基准训练样本集中的产品真实图像进行图像分割，得到产品前景图像和产品背景图像。
在本申请的一些实施例中，利用基于SAM的通用工业场景分割模型对初始基准训练样本集中的产品真实图像进行图像分割，并对图像分割得到的图像信息进行前景目标特征增强和背景变换，得到产品前景图像和产品背景图像。上述的前景目标特征增强和背景变换的样本增强方法，能够提高小样本缺陷检测的稳定性。
在一些实施例中，前景目标特征增强，包括但不限以下各项：依据工业检测现场环境特征对获取的前景区域进行亮度调节、对比度调节、灰度拉伸和HSV变换。
在一些实施例中，背景变换包括：依据检测现场实际的背景场景，对背景区域掩膜做背景替换；目标与背景的边缘做灰度线性变换。
通过上述的进行图像分割得到产品前景图像和产品背景图像的过程，能够获取符合工业检测现场检测环境变换特征的大量正样本图像。其中，背景区域为目标产品之外的区域。
在本申请的一些实施例中，灰度线性变换，可以是边缘像素点处沿着边缘的2个垂直方向，在10个像素宽度内，做灰度线性变换，可以用公式表示：
其中，g(xc,yc)表示边缘点处的灰度值；
g(x,y)表示垂直边缘方向10个像素内像素点的灰度值；
l为该点据边缘点的距离；
kc表示边缘点和垂直边缘方向10个像素的像素点灰度值的偏差。
步骤S603，基于产品前景图像和检测现场的目标背景图像进行图像合成，得到产品扩增图像。
步骤S604，根据产品扩增图像构建数据集，得到扩增基准训练样本集。
步骤S605，基于初始基准训练样本集和扩增基准训练样本集训练特征提取模型，得到已训练的深度特征提取模型。
在一些可选的实施例中，如图7所示，深度特征提取模型通过如下步骤训练得到：
步骤S701，获得训练样本数据，训练样本数据包括产品图料；产品图料为由产品真实图像和产品扩增图像构成的图像对。
步骤S702，基于训练样本数据，选取批次训练图料；批次训练图料包括产品图料中的一部分。
步骤S703，将批次训练图料输入待训练的特征提取模型进行训练，并确定待训练的特征提取模型的目标损失函数的特征提取损失值；目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离。
本申请的一些实施例中，将由产品真实图像和产品扩增图像构成的图像对，通过同一个卷积层提取网络，分别得到两个表征向量z1和z2；两个表征向量z1和z2通过特征提取处理，分别得到第一多尺度图像特征p1和第二多尺度图像特征p2。目标损失函数是个对称函数，需要计算表征向量z1和第二多尺度图像特征p2的相似性，以及表征向量z2和第一多尺度图像特征p1的相似性。
本申请的一些实施例中，目标损失函数L可以表示为：
其中，D为预设类型的相似度计算，例如预设类型可以为余弦相似度；
z1为产品真实图像对应的表征向量；
z2为产品扩增图像对应的表征向量；
p1为产品真实图像对应的第一多尺度图像特征；
p2为产品扩增图像对应的第二多尺度图像特征；
在本申请的一些实施例中，表征向量为源图像特征。
步骤S704，判断特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。
在本申请的一些实施例中，特征提取模型的训练结束的条件，包括：若损失值在连续的预设批次数个epoch训练中波动范围小于一定的损失偏差阈值，则训练结束。
示例性地，特征提取模型的训练结束的条件，可以是损失值在连续的100个epoch训练中波动范围小于一定的损失偏差阈值，则训练结束。
该实施例的方法，深度特征提取模型通过如下步骤训练得到：获得训练样本数据，训练样本数据包括产品图料；产品图料为由产品真实图像和产品扩增图像构成的图像对；基于训练样本数据，选取批次训练图料；批次训练图料包括产品图料中的一部分；将批次训练图料输入待训练的特征提取模型进行训练，并确定待训练的特征提取模型的目标损失函数的特征提取损失值；目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离；判断特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。该方法提供一种深度特征提取模型的训练机制，能够高效地进行特征提取模型的训练，减少图像缺陷检测的人力成本和人为失误，提高图像缺陷检测过程的识别精准度，有效提升图像缺陷检测的准确率。
基于同一发明构思，本申请实施例中还提供了一种图像缺陷检测装置。由于该装置是本申请实施例提供的图像缺陷检测方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图8示出了本申请实施例提供的一种图像缺陷检测装置的结构示意图，如图8所示，该图像缺陷检测装置包括图像信息获取单元801、多尺度提取单元802、相似度计算单元803和图像标识单元804。
其中，图像信息获取单元801，用于获取与目标产品对应的产品待查图像和产品基准图像；
多尺度提取单元802，用于将产品待查图像和产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；多尺度图像特征包括产品待查图像的第一多尺度图像特征和产品基准图像的第二多尺度图像特征；深度特征提取模型包括CNN模块和Transformer模块；多尺度图像特征为基于通过深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；
相似度计算单元803，用于基于第一多尺度图像特征和第二多尺度图像特征，确定产品待查图像与产品基准图像之间的图像比对相似信息；图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；
图像标识单元804，用于根据图像比对相似信息对产品待查图像中的目标关注区域进行标记，得到产品辨识图像；图像比对相似信息中，与目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。
在一种可选的实施例中，多尺度提取单元802，具体用于：
通过下述步骤得到多尺度图像特征：
对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征；
逐一选取得到的源图像特征，作为目标源图像特征；
每增加一个目标源图像特征，则对增加的目标源图像特征进行特征强化，得到注意力增强特征；
对得到的注意力增强特征进行提取全局上下文信息，得到上下文特征；
根据注意力增强特征和上下文特征，得到多尺度图像特征。
在一种可选的实施例中，CNN模块包括卷积层提取网络和FPN网络；多尺度提取单元802，具体用于：
通过卷积层提取网络对源图像进行图像特征提取，得到初步特征信息；
通过FPN网络对初步特征信息进行多个空间尺度的多尺度特征提取，并对多尺度特征提取获得的信息进行融合处理，得到多个具有不同特征维度的源图像特征。
在一种可选的实施例中，CNN模块包括通道注意力网络和空间注意力网络；多尺度提取单元802，具体用于：
通过通道注意力网络对增加的目标源图像特征进行第一调整，得到目标源图像特征对应的通道加权图像特征；
通过空间注意力网络对通道加权图像特征进行第二调整，得到与增加的目标源图像特征对应的注意力增强特征。
在一种可选的实施例中，多尺度图像特征为多个；不同的多尺度图像特征具有不同的特征维度；相似度计算单元803，具体用于：
逐一选取特征维度，每选取一个特征维度，将当前选取的特征维度作为待匹配特征维度；
基于与待匹配特征维度对应的第一多尺度图像特征，和与待匹配特征维度对应的第二多尺度图像特征，确定待匹配特征维度下产品待查图像和产品基准图像之间的图像相似信息；
根据各个特征维度的图像相似信息，得到产品待查图像与产品基准图像之间的图像比对相似信息。
在一种可选的实施例中，相似度计算单元803，具体用于：
基于各个特征维度的图像相似信息，构建特征维度与图像相似信息的对应关系，得到产品待查图像与产品基准图像之间的图像比对相似信息。
在一种可选的实施例中，如图9所示，该装置还包括识别预处理单元901；识别预处理单元901，用于：
获取目标产品的初始基准训练样本集；初始基准训练样本集包括第一数量的目标产品的产品真实图像；
通过通用工业场景分割模型SAM对初始基准训练样本集中的产品真实图像进行图像分割，得到产品前景图像和产品背景图像；
基于产品前景图像和检测现场的目标背景图像进行图像合成，得到产品扩增图像；
根据产品扩增图像构建数据集，得到扩增基准训练样本集；
基于初始基准训练样本集和扩增基准训练样本集训练特征提取模型，得到已训练的深度特征提取模型。
在一种可选的实施例中，如图10所示，该装置还包括提取模型训练单元1001；提取模型训练单元1001，用于通过如下方法训练得到深度特征提取模型：
获得训练样本数据，训练样本数据包括产品图料；产品图料为由产品真实图像和产品扩增图像构成的图像对；
基于训练样本数据，选取批次训练图料；批次训练图料包括产品图料中的一部分；
将批次训练图料输入待训练的特征提取模型进行训练，并确定待训练的特征提取模型的目标损失函数的特征提取损失值；目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离；
判断特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。
在本申请的一些实施例中，提取模型训练单元1001可以是识别预处理单元901的子单元，用以实现基于初始基准训练样本集和扩增基准训练样本集训练特征提取模型，得到已训练的深度特征提取模型。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于图像缺陷检测。本申请实施例中，该电子设备可以是服务器也可以是终端设备。在一种实施例中，该电子设备可以为终端设备。在该实施例中，电子设备的结构可以如图11所示，包括存储器1101，通讯模块1103以及一个或多个处理器1102。
存储器1101，用于存储处理器1102执行的计算机程序。存储器1101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1101可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1101也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1101可以是上述存储器的组合。
处理器1102，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器1102，用于调用存储器1101中存储的计算机程序时实现上述图像缺陷检测方法。
通讯模块1103用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1101、通讯模块1103和处理器1102之间的具体连接介质。本申请实施例在图11中以存储器1101和处理器1102之间通过总线1104连接，总线1104在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1104可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的图像缺陷检测方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种图像缺陷检测方法，其特征在于，所述方法包括：
获取与目标产品对应的产品待查图像和产品基准图像；
将所述产品待查图像和所述产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；所述多尺度图像特征包括所述产品待查图像的第一多尺度图像特征和所述产品基准图像的第二多尺度图像特征；所述深度特征提取模型包括卷积神经网络CNN模块和Transformer模块；多尺度图像特征为基于通过所述深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；所述注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；所述上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；
基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息；所述图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；
根据所述图像比对相似信息对所述产品待查图像中的目标关注区域进行标记，得到产品辨识图像；所述图像比对相似信息中，与所述目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。
2.根据权利要求1所述的方法，其特征在于，通过下述步骤得到所述多尺度图像特征：
对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征；
逐一选取得到的源图像特征，作为目标源图像特征；
每增加一个目标源图像特征，则对增加的所述目标源图像特征进行特征强化，得到注意力增强特征；
对得到的所述注意力增强特征进行提取全局上下文信息，得到上下文特征；
根据所述注意力增强特征和所述上下文特征，得到多尺度图像特征。
3.根据权利要求2所述的方法，其特征在于，所述CNN模块包括卷积层提取网络和特征图金字塔FPN网络；所述对获取的源图像进行特征提取处理，得到多个具有不同特征维度的源图像特征，包括：
通过所述卷积层提取网络对所述源图像进行图像特征提取，得到初步特征信息；
通过所述FPN网络对所述初步特征信息进行多个空间尺度的多尺度特征提取，并对所述多尺度特征提取获得的信息进行融合处理，得到多个具有不同特征维度的源图像特征。
4.根据权利要求2所述的方法，其特征在于，所述CNN模块包括通道注意力网络和空间注意力网络；所述对增加的所述目标源图像特征进行特征强化，得到注意力增强特征，包括：
通过所述通道注意力网络对增加的所述目标源图像特征进行第一调整，得到所述目标源图像特征对应的通道加权图像特征；
通过所述空间注意力网络对所述通道加权图像特征进行第二调整，得到与增加的所述目标源图像特征对应的注意力增强特征。
5.根据权利要求1所述的方法，其特征在于，所述多尺度图像特征为多个；不同的多尺度图像特征具有不同的特征维度；所述基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息，包括：
逐一选取所述特征维度，每选取一个特征维度，将当前选取的特征维度作为待匹配特征维度；
基于与所述待匹配特征维度对应的第一多尺度图像特征，和与所述待匹配特征维度对应的所述第二多尺度图像特征，确定所述待匹配特征维度下所述产品待查图像和所述产品基准图像之间的图像相似信息；
根据各个特征维度的所述图像相似信息，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息。
6.根据权利要求5所述的方法，其特征在于，所述根据各个特征维度的所述图像相似信息，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息，包括：
基于各个特征维度的所述图像相似信息，构建特征维度与图像相似信息的对应关系，得到所述产品待查图像与所述产品基准图像之间的图像比对相似信息。
7.根据权利要求1所述的方法，其特征在于，所述获取与目标产品对应的产品待查图像和产品基准图像之前，还包括：
获取所述目标产品的初始基准训练样本集；所述初始基准训练样本集包括第一数量的目标产品的产品真实图像；
通过通用工业场景分割模型SAM对所述初始基准训练样本集中的所述产品真实图像进行图像分割，得到产品前景图像和产品背景图像；
基于所述产品前景图像和检测现场的目标背景图像进行图像合成，得到产品扩增图像；
根据所述产品扩增图像构建数据集，得到扩增基准训练样本集；
基于所述初始基准训练样本集和所述扩增基准训练样本集训练特征提取模型，得到所述已训练的深度特征提取模型。
8.根据权利要求1～7任一所述的方法，其特征在于，所述深度特征提取模型通过如下方法训练得到：
获得训练样本数据，所述训练样本数据包括产品图料；所述产品图料为由产品真实图像和产品扩增图像构成的图像对；
基于所述训练样本数据，选取批次训练图料；所述批次训练图料包括所述产品图料中的一部分；
将所述批次训练图料输入待训练的特征提取模型进行训练，并确定所述待训练的特征提取模型的目标损失函数的特征提取损失值；所述目标损失函数用于确定基于批次训练图料中的产品真实图像提取的多尺度图像特征，与基于批次训练图料中的产品扩增图像提取的多尺度图像特征之间的特征距离；
判断所述特征提取损失值是否收敛至预设的目标值，如果判断结果为否，则根据确定的特征提取损失值对待训练的特征提取模型的参数进行调整并继续进行训练，直到判断结果为是，得到已训练的深度特征提取模型。
9.一种图像缺陷检测装置，其特征在于，所述装置包括：
图像信息获取单元，用于获取与目标产品对应的产品待查图像和产品基准图像；
多尺度提取单元，用于将所述产品待查图像和所述产品基准图像分别作为源图像，输入已训练的深度特征提取模型，得到多尺度图像特征；所述多尺度图像特征包括所述产品待查图像的第一多尺度图像特征和所述产品基准图像的第二多尺度图像特征；所述深度特征提取模型包括卷积神经网络CNN模块和Transformer模块；多尺度图像特征为基于通过所述深度特征提取网络从源图像提取的注意力增强特征和上下文特征得到的；所述注意力增强特征为通过CNN模块对源图像进行特征提取处理，再进行特征强化得到的；所述上下文特征为通过Transformer模块从CNN模块生成的注意力增强特征中提取全局上下文信息得到的；
相似度计算单元，用于基于所述第一多尺度图像特征和所述第二多尺度图像特征，确定所述产品待查图像与所述产品基准图像之间的图像比对相似信息；所述图像比对相似信息包括与产品待查图像的各个局部的区域对应的区域比对相似度；
图像标识单元，用于根据所述图像比对相似信息对所述产品待查图像中的目标关注区域进行标记，得到产品辨识图像；所述图像比对相似信息中，与所述目标关注区域对应的区域比对相似度小于等于预设的相似度阈值。
10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～8中任一项所述的方法。
11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410211086.6A CN118154524A (zh) | 2024-02-26 | 2024-02-26 | 一种图像缺陷检测方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410211086.6A CN118154524A (zh) | 2024-02-26 | 2024-02-26 | 一种图像缺陷检测方法、装置、介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118154524A true CN118154524A (zh) | 2024-06-07 |
Family
ID=91289496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410211086.6A Pending CN118154524A (zh) | 2024-02-26 | 2024-02-26 | 一种图像缺陷检测方法、装置、介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118154524A (zh) |
-
2024
- 2024-02-26 CN CN202410211086.6A patent/CN118154524A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN110276269B (zh) | 一种基于注意力机制的遥感图像目标检测方法 | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| CN110223341B (zh) | 一种基于图像识别的智能水位监测方法 | |
| CN107423760A (zh) | 基于预分割和回归的深度学习目标检测方法 | |
| CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
| CN112801047B (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN113628261B (zh) | 一种电力巡检场景下的红外与可见光图像配准方法 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| Bruinink et al. | Portable, automatic water level estimation using mobile phone cameras | |
| CN111709387A (zh) | 一种高分辨率遥感影像的建筑物分割方法及系统 | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN114241469A (zh) | 一种面向电表轮换过程的信息识别方法和装置 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN115861736B (zh) | 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质 | |
| CN110533663B (zh) | 一种图像视差确定方法、装置、设备及系统 | |
| CN111242017A (zh) | 一种多标线的路面裂缝识别方法、装置、设备及存储介质 | |
| CN118154524A (zh) | 一种图像缺陷检测方法、装置、介质和电子设备 | |
| CN112199984B (zh) | 一种大尺度遥感图像的目标快速检测方法 | |
| CN115358981A (zh) | 胶水缺陷的确定方法、装置、设备及存储介质 | |
| CN114820755A (zh) | 一种深度图估计方法及系统 | |
| CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |