CN117853491A - 基于多场景任务下的少样本工业产品异常检测方法及系统 - Google Patents

基于多场景任务下的少样本工业产品异常检测方法及系统 Download PDF

Info

Publication number
CN117853491A
CN117853491A CN202410262991.4A CN202410262991A CN117853491A CN 117853491 A CN117853491 A CN 117853491A CN 202410262991 A CN202410262991 A CN 202410262991A CN 117853491 A CN117853491 A CN 117853491A
Authority
CN
China
Prior art keywords
feature
scene
normal
industrial product
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410262991.4A
Other languages
English (en)
Other versions
CN117853491B (zh
Inventor
李敏
许络
韩德隆
周鸣乐
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202410262991.4A priority Critical patent/CN117853491B/zh
Publication of CN117853491A publication Critical patent/CN117853491A/zh
Application granted granted Critical
Publication of CN117853491B publication Critical patent/CN117853491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数字图像处理和计算机视觉领域，提供了基于多场景任务下的少样本工业产品异常检测方法及系统，其技术方案为：将多场景下多种类别的工业产品图像数据集划分为训练集和测试集，所述训练集只包含正常产品图片，将测试集分为支持集和查询集，其中，支持集仅包含正常产品图片，查询集包括各类异常产品图片和对应的正常图片；利用深度对比学习方法构建双孪生网络框架，通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型；基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布，并通过查询集进行工业产品异常检测得到异常检测结果，可有效地解决实际工业多场景变换下存在的各种问题。

Description

基于多场景任务下的少样本工业产品异常检测方法及系统
技术领域
本发明属于数字图像处理和计算机视觉领域，尤其涉及基于多场景任务下的少样本工业产品异常检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
执行工业异常检测任务，也就是在识别出存在数据样本中异常样本的任务，其往往依赖于大量的训练样本，在日常工业场景中，异常样本的种类相对多样，同一类异常情况的产品又很罕见，这使得收集大量异常工业产品具有挑战性。
当前，大多数异常检测主要采用单类别训练单模型的方法，也就是说针对具体某一类别的工业产品去训练学习出一种检测模型框架，但是在工业领域中，面临多场景任务的差异化以及工业产品的多样化，目前的检测方法已不适用现有的工业场景，同时若要对不同场景进行检测时，需要对各类样本进行转换，增加了转换成本。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于多尺度特征融合的少样本工业异常检测方法及系统，其利用深度对比学习方法构建了一种双孪生网络框架，只需少量目标类的正常产品样本通过该网络框架即可完成对测试类正常产品的分布模型的建立，将测试图像与正常产品的分布模型进行对比，从而达到在工业产品样本量少，样本种类繁杂的情况下完成对工业产品多场景检测的任务。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供基于多场景任务下的少样本工业产品异常检测方法，包括如下步骤：
获取多场景下多种类别的工业产品图像数据集；
将多场景下多种类别的工业产品图像数据集划分为训练集和测试集，所述训练集只包含正常产品图片，将测试集分为支持集和查询集，其中，支持集仅包含正常产品图片，查询集包括各类异常产品图片和对应的正常图片；
利用深度对比学习方法构建双孪生网络框架，通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型；
基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布，并通过查询集进行工业产品异常检测得到异常检测结果。
进一步地，所述通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型，包括：
通过多个卷积残差模块提取多个分辨率不同的第一特征、第二特征和第三特征，其中第一特征分辨率＞第二特征分辨率＞第三特征分辨率；
将多个分辨率不同的特征进行融合，在融合多尺度特征时，将第一特征和第二特征分别经过一个深度可分离卷积进行下采样得到的两个特征和第三特征聚合，得到融合后的第四特征；将第四特征经过细粒度特征对比后得到第五特征。
进一步地，相邻卷积残差模块之间嵌入图像校准模块，最后的卷积残差模块之前嵌入特征空间路由模块，通过图像校准模块进行空间坐标的变换从而对齐到一个相同的位置，便于图像的对比学习；通过特征空间路由模块对特征图在x维和y维上进行平均池化操作以及填充操作得到校准后的特征图。
进一步地，目标检测模型训练时，所有网络架构参数更新的总损失函数包括在进入特征对比网络之前粗对齐的辅助损失函数和特征对比网络中的细致对齐损失函数，同时结果在网路框架中训练学习的平衡参数计算得到。
进一步地，在目标检测模型训练时，采用余弦退火学习率调整方法搜索模型的参数空间。
进一步地，所述基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布为：
，
其中，为支持集样本经过数据增强器后的个数，/>的作用是为了使样本协方差矩阵满秩并且可逆，/>为所有支持集的特征向量，/>。
进一步地，在通过查询集进行工业产品异常检测之前，将测试类别的支持集经过特征增强器，经过旋转小角度、平移、水平翻转、转成灰度图像以及旋转90度这五种增强操作，从而增加测试支持集样本的多样性。
进一步地，通过查询集进行工业产品异常检测得到异常检测结果，通过计算查询集图像中的每个像素位置与正态分布之间的马氏距离进而计算异常分数，异常分数越大表明异常的情况越严重，使用最大异常得分图来表示整幅图像的异常得分。
进一步地，将测试集中的支持集转换成向量并以PyTorch模型文件进行图片的保存。
本发明的第二方面提供基于多场景任务下的少样本工业产品异常检测系统，包括：
数据集获取模块，其用于获取多场景下多种类别的工业产品图像数据集；
数据集处理模块，其用于将多场景下多种类别的工业产品图像数据集划分为训练集和测试集，所述训练集只包含正常产品图片，将测试集分为支持集和查询集，其中，支持集仅包含正常产品图片，查询集包括各类异常产品图片和对应的正常图片；
异常检测模块，其用于利用深度对比学习方法构建双孪生网络框架，通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型；基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布，并通过查询集进行工业产品异常检测得到异常检测结果。
本发明的第三方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于多场景任务下的少样本工业产品异常检测方法中的步骤。
本发明的第四方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于多场景任务下的少样本工业产品异常检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明利用深度对比学习方法构建了一种双孪生网络框架，只需少量目标类的正常产品样本通过该网络框架即可完成对测试类正常产品的分布模型的建立，最后，将测试图像与正常产品的分布模型进行对比，从而达到在工业产品样本量少，样本种类繁杂的情况下完成对工业产品多场景检测的任务，可有效地解决实际工业多场景变换下存在的各种问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的基于多场景任务下的少样本工业产品异常检测方法整体流程示意图；
图2是本发明实施例提供的总体框架结构图；
图3是本发明实施例提供的特征提取网络示意图；
图4是本发明实施例提供的特征融合网络示意图；
图5是本发明实施例提供的特征对比网络示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了解决背景技术中提及的技术问题，本发明采用少样本图像异常检测，少样本图像异常检测的任务通常适用于多场景即多种类别异常检测的情况下，并且在该任务情境下进行训练时，只需少量待测类别的正常图像即可完成对目标类别异常检测的任务。少样本异常检测方法能够帮助制造业在进行产品检测以及更换应用场景时大大减少人工成本和时间成本。
鉴于上述的问题动机以及考虑到工业上对各类样本检测的转换成本，本发明利用深度对比学习方法构建了一种双孪生网络框架。只需少量目标类的正常产品样本通过该网络框架即可完成对测试类正常产品的分布模型的建立。最后，将测试图像与正常产品的分布模型进行对比，从而达到在工业产品样本量少，样本种类繁杂的情况下完成对工业产品多场景检测的任务，可有效地解决实际工业多场景变换下存在的各种问题。
实施例一
如图1-图2所示，本实施例提供基于多尺度特征融合的少样本工业异常检测方法，包括如下步骤：
S101：获取工业数据集，对数据集进行预处理，将预处理后的数据集划分为训练集和测试集；
首先，将工业检测数据集图片的尺寸统一调整为相同的尺寸，本实施例中为224×224。
其次，将这些数据集分为训练集和测试集，其中训练集为去除待检测样本类别剩余类别组成的集合，只包含正常样本图片；测试集为待检测目标种类，包括各类异常图片以及正常图片。
最后，将训练集和测试集分别再划分为支持集和查询集；其中，查询集包括各类异常图片和正常图片以便于进行测试，支持集仅包含正常样本图片。
为方便后续进行特征图的建立，将测试集中的支持集转换成向量并以PyTorch模型文件进行图片的保存。
采用如下操作公式进行数据集图像的转换：
；
其中，是指从测试集的支持集中随机选取/>张图像，/>代表将图像进行统一尺寸的操作，/>是指将图像转换成向量，/>意味着将转换得到的向量保存为.pt后缀的文件。
S102：提取多个分辨率不同的多个特征；
如图3所示为特征提取网络示意图，由三个卷积残差块、图像校准模块和二维特征空间路由模块级联组成；
如图3,其中，卷积残差块主要由的卷积和归一化层组成，使用该三个残差模块提取出的三层多尺度特征记作/>，/>=1，2，3。相比于一般提取网络的搭建，本发明在每个层之间嵌入一个图像校准模块以及一个二维特征空间路由模块，这样使得提取出的特征进行空间坐标变换从而对齐到一个大概相同的位置，便于图像的对比学习。
同时，二维特征空间路由模块的设计让有用的特征得以更好的关注以及保证了空间位置信息的更好利用，其图像校准模块原理的主要公式如下：
，
其中（）是输入图像/>的坐标，（/>）是转换后输出图像的坐标。/>是一个可以学习并便于嵌入的网络结构。/>是图像校准网络中的元素集合，使用它完成从原始图像/>到变换后图像/>的图像校准对齐。二维特征空间路由模块包含两个平均池化层，三个卷积核大小为1的卷积模块以及池化层和填充操作。
其主要原理如下：
，
，/>，
，
其中是线性变换矩阵，/>是通道维度，/>和/>是对特征图在x维和y维上进行平均池化操作，/>是将特征图进行填充至与/>尺寸相同的操作。/>和为网络中可学习的权重参数，将通过二维特征空间路由模块以及两层图像校准网络的特征记为/>，/>=1，2，3。
S103：将提取得到的多个分辨率不同的特征进行多尺度融合；
多尺度特征融合模块包括深度可分离卷积和聚合函数；
与一般的融合相比，采用深度可分离卷积大大减少计算量，同时通过聚合函数在通道上的相加融合使得多尺度特征利用最大化。
通过步骤二的特征提取模块所得到的三个特征、/>、/>中，分辨率最大的是/>，其次是/>，最小的为/>。
如图4所示，在融合这三层多尺度特征过程中，将通过第一深度可分离卷积进行下采样与/>尺度相同；同时再将/>通过第二深度可分离卷积进行下采样与/>尺度相同，尺度统一完全后进行聚合操作，如下式所示：
，
，
，
其中，为样本数，/>为通道数，/>表示特征图中的位置，/>和/>表示深度卷积核的高宽，/>表示卷积核在/>处的权重，/>表示卷积核在通道/>和/>之间的权重，/>表示矩阵相乘运算，/>和/>是下采样后的特征，/>表示特征按通道相加融合操作函数并且代表融合后的输出。
本实施例中，第一深度可分离卷积的尺寸为5×5，第二深度可分离卷积的尺寸为3×3。
S104：对经过多尺度特征融合后的两幅图像进行细粒度特征对比以及对比损失的计算，滤除经过多尺度融合后的特征中存在的噪声；
如图5所示，对于S103中融合后的特征以及编码过程中回包含一定的噪声影响，通过特征对比网络中一个自适应双流特征细化器以及一个预测头P处理；
因此，涉及特征细化器对其进行处理，使图像更加细化明了，从而进一步提高检测性能，所述特征细化器AE包含一个编码器和一个解码器，分别都由三个线性层组成，编码器公式如下：
，
解码器公式如下：
，
上述式中，和/>是权重矩阵，/>和/>是偏置向量。是指在每层线性层之后添加一个/>激活函数，/>是指在解码器最后一层加上/>激活函数。/>是S103中融合后的输出，/>是经过编码器得到的输出。/>是经过解码器的输出。
预测头P的作用是将经过细化器的特征进行编码，它是由两个1×1的卷积层，函数以及正则化函数组成。公式如下：
，
其中是卷积核的权重，/>是偏置。/>和/>分别是输入的均值和标准差，/>和/>是Batch Normalization的缩放和偏移参数。/>是指卷积核为1×1的卷积。/>是编码后的输出。
S104：通过训练集对搭建好的目标检测模型进行训练；
将构建好的特征提取网络、多尺度特征融合网络、特征对比网络进行有机组合，并将预处理的数据集中的训练集输入到搭建好的目标检测模型进行训练；
为了使模型在训练初期更快地收敛，在训练后期更加细致地搜索模型的参数空间，采用余弦退火学习率调整方法，其数学表达式如下：
，
其中是初始学习率，/>是当前训练轮次，/>是总的训练轮次，/>是当前学习率。
在每个训练回合之后使用测试集对训练好的模型进行测试计算得分。在训练过程中，使用对称性异构损失作为在进入特征对比网络之前粗对齐的辅助损失函数，计算公式如下：
，
其中，是经过步骤2中多尺度特征融合网络后包含多尺度信息的输出特征向量。/>是将输出的特征向量进行顺时针旋转180°，进而揭示了图像的旋转不变性。/>代表进行求向量的长度。
作为特征对比网络中的细致对齐损失函数。将经过过细化器的输出记作/>，将经过预测头的输出记作/>，同理，。
最终，是所有网络架构参数更新的总损失函数，计算公式如下：
，
，
为了平衡两损失的结果，取作为可以在网路框架中训练学习的平衡参数，从而方便更好进行两阶段的对齐操作。
S106：利用训练后的模型建立测试集中支持集的特征分布，并实现测试集中查询及的异常推断。
训练结束后，在进行测试图像的推断之前，先将测试类别的支持集其经过一个特征增强器，该特征增强器由以下操作组成：
，
其中分别表示特征增强中旋转小角度、平移、水平翻转、转成灰度图像以及旋转90度这五种增强操作，从而增加测试支持集样本的多样性。然后送入训练完成的网络框架中进行任务的推断。其中/>为增强后的支持集。
首先，增强后的测试集进入S102的特征提取网络中，并提取出三层多尺度特征，= 1，2，3。然后通过拼接这三层多尺度特征向量从而为特征嵌入不同于语义级别和分辨率信息的向量：
，
其中是将该特征向量的维度（除通道上的维度）进行统一操作，/>是指对统一后的两向量进行通道维度上的拼接操作。/>为拼接后的结果特征向量，（i, j）为图像的某一处位置。所有支持集的特征向量记为/>。其次，使用该特征向量建立测试类别正常图像（即测试集的支持集）的高斯分布模型。/>为样本协方差：
，
其中，为样本经过数据增强器后的个数，/>的作用是为了使样本协方差/>矩阵满秩并且可逆。最终，通过计算测试图像中的每个像素位置与正态分布之间的马氏距离进而计算异常分数。其中马氏距离/>的计算公式如下：
，
其中得分越大表明异常的情况越严重。因此，使用最大异常得分图来表示整幅图像的异常得分。
实施例二
本实施例提供基于多场景任务下的少样本工业产品异常检测系统，包括：
数据集获取模块，其用于获取多场景下多种类别的工业产品图像数据集；
数据集处理模块，其用于将多场景下多种类别的工业产品图像数据集划分为训练集和测试集，所述训练集只包含正常产品图片，将测试集分为支持集和查询集，其中，支持集仅包含正常产品图片，查询集包括各类异常产品图片和对应的正常图片；
异常检测模块，其用于利用深度对比学习方法构建双孪生网络框架，通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型；基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布，并通过查询集进行工业产品异常检测得到异常检测结果。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于多场景任务下的少样本工业产品异常检测方法。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的基于多场景任务下的少样本工业产品异常检测方法中的步骤。
实施例五
本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如如实施例一所述的基于多场景任务下的少样本工业产品异常检测方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多场景任务下的少样本工业产品异常检测方法，其特征在于，包括如下步骤：
获取多场景下多种类别的工业产品图像数据集；
将多场景下多种类别的工业产品图像数据集划分为训练集和测试集，所述训练集只包含正常产品图片，将测试集分为支持集和查询集，其中，支持集仅包含正常产品图片，查询集包括各类异常产品图片和对应的正常图片；
利用深度对比学习方法构建双孪生网络框架，通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型；
基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布，并通过查询集进行工业产品异常检测得到异常检测结果。
2.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，所述通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型，包括：
通过多个卷积残差模块提取多个分辨率不同的第一特征、第二特征和第三特征，其中第一特征分辨率＞第二特征分辨率＞第三特征分辨率；
将多个分辨率不同的特征进行融合，在融合多尺度特征时，将第一特征和第二特征分别经过一个深度可分离卷积进行下采样得到的两个特征和第三特征聚合，得到融合后的第四特征；将第四特征经过细粒度特征对比后得到第五特征。
3.如权利要求2所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，相邻卷积残差模块之间嵌入图像校准模块，最后的卷积残差模块之前嵌入特征空间路由模块，通过图像校准模块进行空间坐标的变换从而对齐到一个相同的位置，便于图像的对比学习；通过特征空间路由模块对特征图在x维和y维上进行平均池化操作以及填充操作得到校准后的特征图。
4.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，目标检测模型训练时，所有网络架构参数更新的总损失函数包括在进入特征对比网络之前粗对齐的辅助损失函数和特征对比网络中的细致对齐损失函数，同时结果在网路框架中训练学习的平衡参数计算得到。
5.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，在目标检测模型训练时，采用余弦退火学习率调整方法搜索模型的参数空间。
6.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，所述基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布为：
，
其中，为支持集样本经过数据增强器后的个数，/>的作用是为了使样本协方差/>矩阵满秩并且可逆，/>为所有支持集的特征向量，/>。
7.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，在通过查询集进行工业产品异常检测之前，将测试类别的支持集经过特征增强器，经过旋转小角度、平移、水平翻转、转成灰度图像以及旋转90度这五种增强操作，从而增加测试支持集样本的多样性。
8.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，通过查询集进行工业产品异常检测得到异常检测结果，通过计算查询集图像中的每个像素位置与正态分布之间的马氏距离进而计算异常分数，异常分数越大表明异常的情况越严重，使用最大异常得分图来表示整幅图像的异常得分。
9.如权利要求1所述的基于多场景任务下的少样本工业产品异常检测方法，其特征在于，将测试集中的支持集转换成向量并以PyTorch模型文件进行图片的保存。
10.基于多场景任务下的少样本工业产品异常检测系统，其特征在于，包括：
数据集获取模块，其用于获取多场景下多种类别的工业产品图像数据集；
数据集处理模块，其用于将多场景下多种类别的工业产品图像数据集划分为训练集和测试集，所述训练集只包含正常产品图片，将测试集分为支持集和查询集，其中，支持集仅包含正常产品图片，查询集包括各类异常产品图片和对应的正常图片；
异常检测模块，其用于利用深度对比学习方法构建双孪生网络框架，通过双孪生网络框架构建训练集对应的多场景任务下正常产品的特征分布的目标检测模型；基于训练后的多场景任务下正常产品的特征的目标检测模型建立支持集的特征分布，并通过查询集进行工业产品异常检测得到异常检测结果。
CN202410262991.4A 2024-03-08 2024-03-08 基于多场景任务下的少样本工业产品异常检测方法及系统 Active CN117853491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410262991.4A CN117853491B (zh) 2024-03-08 2024-03-08 基于多场景任务下的少样本工业产品异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410262991.4A CN117853491B (zh) 2024-03-08 2024-03-08 基于多场景任务下的少样本工业产品异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN117853491A true CN117853491A (zh) 2024-04-09
CN117853491B CN117853491B (zh) 2024-05-24

Family

ID=90540483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410262991.4A Active CN117853491B (zh) 2024-03-08 2024-03-08 基于多场景任务下的少样本工业产品异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN117853491B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215241A (zh) * 2020-10-20 2021-01-12 西安交通大学 一种基于小样本学习的图像特征提取装置
CN114998672A (zh) * 2022-05-10 2022-09-02 西北工业大学 基于元学习的小样本目标检测方法与装置
CN116030361A (zh) * 2023-02-10 2023-04-28 上海交通大学宁波人工智能研究院 一种基于cim-t架构的高分辨率影像变化检测方法
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
CN116740547A (zh) * 2023-06-29 2023-09-12 中国电力科学研究院有限公司 基于数字孪生的变电站目标检测方法、系统、设备及介质
CN116912574A (zh) * 2023-07-13 2023-10-20 成都地铁运营有限公司 一种基于孪生网络的多尺度目标感知分类方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215241A (zh) * 2020-10-20 2021-01-12 西安交通大学 一种基于小样本学习的图像特征提取装置
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN114998672A (zh) * 2022-05-10 2022-09-02 西北工业大学 基于元学习的小样本目标检测方法与装置
CN116030361A (zh) * 2023-02-10 2023-04-28 上海交通大学宁波人工智能研究院 一种基于cim-t架构的高分辨率影像变化检测方法
CN116740547A (zh) * 2023-06-29 2023-09-12 中国电力科学研究院有限公司 基于数字孪生的变电站目标检测方法、系统、设备及介质
CN116912574A (zh) * 2023-07-13 2023-10-20 成都地铁运营有限公司 一种基于孪生网络的多尺度目标感知分类方法及系统
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张 涛等: "基于特征分布校准的小样本分类改进算法", 《扬州大学学报 自然科学版）》, vol. 27, no. 1, 29 February 2024 (2024-02-29) *
樊玮;周末;黄睿;: "多尺度深度特征融合的变化检测", 中国图象图形学报, no. 04, 15 April 2020 (2020-04-15) *
罗善威;陈黎;: "基于双重相似度孪生网络的小样本实例分割", 武汉科技大学学报, no. 01, 8 January 2020 (2020-01-08) *

Also Published As

Publication number Publication date
CN117853491B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
WO2022116856A1 (zh) 一种模型结构、模型训练方法、图像增强方法及设备
Liu et al. Cross-SRN: Structure-preserving super-resolution network with cross convolution
CN112308200B (zh) 神经网络的搜索方法及装置
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN111738344B (zh) 一种基于多尺度融合的快速目标检测方法
CN108960261B (zh) 一种基于注意力机制的显著物体检测方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109871841B (zh) 图像处理方法、装置、终端及存储介质
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
WO2021103731A1 (zh) 一种语义分割方法、模型训练方法及装置
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
CN113439227A (zh) 放大图像的捕获和存储
CN116645328A (zh) 一种高精度轴承套圈表面缺陷智能检测方法
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN113066018A (zh) 一种图像增强方法及相关装置
CN117409208B (zh) 一种实时服装图像语义分割方法及系统
CN115187456A (zh) 基于图像强化处理的文本识别方法、装置、设备及介质
Chen et al. Dynamic degradation intensity estimation for adaptive blind super-resolution: A novel approach and benchmark dataset
CN111681168B (zh) 一种基于并行残差网络的低分辨率细胞超分辨率重建方法
CN111753714B (zh) 基于字符分割的多方向自然场景文本检测方法
CN117853491B (zh) 基于多场景任务下的少样本工业产品异常检测方法及系统
WO2023131925A1 (en) Image processing method, image processing apparatus, electronic device and computer-readable storage medium
CN116563157A (zh) 一种基于深度学习的面向空间卫星低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant