CN115578325A - 一种基于通道注意配准网络的图像异常检测方法 - Google Patents

一种基于通道注意配准网络的图像异常检测方法 Download PDF

Info

Publication number
CN115578325A
CN115578325A CN202211164880.7A CN202211164880A CN115578325A CN 115578325 A CN115578325 A CN 115578325A CN 202211164880 A CN202211164880 A CN 202211164880A CN 115578325 A CN115578325 A CN 115578325A
Authority
CN
China
Prior art keywords
image
channel attention
network
query
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211164880.7A
Other languages
English (en)
Inventor
宋亚楠
刘贤斐
鲁鹏
沈卫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Computer Innovation Technology Zhejiang University
Original Assignee
Institute Of Computer Innovation Technology Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Computer Innovation Technology Zhejiang University filed Critical Institute Of Computer Innovation Technology Zhejiang University
Priority to CN202211164880.7A priority Critical patent/CN115578325A/zh
Publication of CN115578325A publication Critical patent/CN115578325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于通道注意配准网络的图像异常检测方法。先构建感知高维特征通道重要性的通道注意模块，后构建权值共享的异常检测网络，通道注意模块嵌入异常检测网络的特征提取阶段，基于提取的图像高维特征为正常样本构建多元高斯分布概率表达；在测试阶段，将待检测查询图像和模板图像同时输入到异常检测网络，计算查询图像每个像素位置的拼接特征与模板图像的多元高斯分布之间的马氏距离，以马氏距离较大位置进行异常判断。本发明方法能避免网络对物体类别的依赖，可有效泛化到未知物体类别的异常检测任务上，能够增强网络对特征通道的差异感知，提高网络对物体多维特征的提取能力，有效抑制噪声对异常检测的干扰。

Description

一种基于通道注意配准网络的图像异常检测方法
技术领域
本发明涉及了计算机视觉领域的一种图像检测方法，特别涉及了一种基于通道注意配准网络的图像异常检测方法。
背景技术
异常检测的主要任务是识别不经常发生的、与常规模式不同的情形，广泛应用于视频监控、产品质量控制、医学诊断等领域。传统的异常检测方法主要通过设计任务相关的特征来实现特定物体的异常检测。然而，针对特定任务的手工特征不能适用于新的异常检测场景，极大限制了检测方法的应用范围。近年来，受到广泛关注的深度学习方法能够从数据中自主提取图像特征，避免了手工设计特征的不足，为异常检测开辟了新的方向。
然而，目前大多数方法仅仅针对特定物体类别设计，一个深度学习模型只能应用于一种物体类别，不利于模型的应用扩展。
另外，大多数用于异常检测的深度学习网络更多关注了对特征的重建，没有考虑特征通道对多维异常特征的差异提取，不利于异常检测精度的提升。
发明内容
本发明的目的是为了解决背景技术而提出的一种基于通道注意配准网络的图像异常检测方法，通过构建权值共享配准网络提取物体的对应配准特征，避免了网络对物体类别的依赖，增强了网络对不同物体类别的适应能力。另外，构建的通道注意模块充分考虑了不同通道对不同异常特征的注意力，从多个维度描述物体异常特征，消除了噪声对异常特征配准的影响，提升了网络对配准相关特征的提取能力。
为了实现上述目的，本发明采用的技术方案为：
1)构建带有通道注意模块的异常检测网络；
2)利用损失计算模块对异常检测网络进行训练；
3)利用训练后的异常检测网络对输入的待检测查询图像进行异常检测。
本发明所述的通道注意配准网络是指在图像配准网络框架基础上，融入通道注意模块而形成的。
具体实施的方法包括构建通道注意模块、构建损失计算模块以及构建异常检测网络三个部分。
构建的基于通道注意配准的异常检测网络如图2所示。
所述的异常检测网络包括三个卷积模块和三个通道注意模块；查询图像和模板图像先经过各自的第一卷积模块处理后获得各自的第一卷积特征QF2和TF2，查询图像和模板图像的第一卷积特征QF2和TF2分别经过第一通道注意模块获得各自的第一通道注意特征QA2和TA2；查询图像和模板图像的第一通道注意特征QA2和TA2分别经过第二卷积模块获得各自的第二卷积特征QF3和TF3，查询图像和模板图像的第二卷积特征QF3和TF3分别经过第二通道注意模块获得各自的第二通道注意特征QA3和TA3；查询图像和模板图像的第二通道注意特征QA3和TA3分别经过第三卷积模块获得各自的第三卷积特征QF4和TF4，查询图像和模板图像的第三卷积特征QF4和TF4分别经过第三通道注意模块获得各自的第三通道注意特征QA4和TA4。
网络中对应的各个卷积操作和通道注意模块均共享权值。
权值共享即权值相同。所述的权值是指通道注意模块中的可更新学习参数。
所述的第一卷积模块主要由两个卷积操作Conv1和Conv2依次连接构成，所述的第二卷积模块主要由一个卷积操作Conv3依次连接构成，所述的第三卷积模块主要由一个卷积操作Conv4依次连接构成。
构建的通道注意模块主要针对网络提取的图像高维特征，如图3所示。
所述的第一通道注意模块、第二通道注意模块和第三通道注意模块结构相同，均包括全局平均池化层、全连接层、Sigmoid激活函数、矩阵相乘操作和卷积层；输入的卷积特征QF2和TF2分别经过第一通道注意模块获得各自的第一通道注意特征。
在步骤2)的训练过程中，取一部分非异常图像作为查询图像，另一部分非异常图像为模板图像，构建图像匹配对，将构建的图像匹配对输入到异常检测网络中进行训练，且根据查询图像和模板图像各自的第一通道注意特征QA2和TA2通过损失计算模块进行损失计算获得第一网络损失L2，根据查询图像和模板图像各自的第二通道注意特征QA3和TA3通过损失计算模块进行损失计算获得第二网络损失L3，根据查询图像和模板图像各自的第三通道注意特征QA4和TA4通过损失计算模块进行损失计算获得第三网络损失L4，最后将第一网络损失L2、第二网络损失L3、第三网络损失L4相加求和后获得网络总损失L；
以网络总损失L最小为目标进行训练优化，使得异常检测网络达到最优。
所述损失计算模块具体处理为：将查询图像和模板图像各自的通道注意特征中在每个像素位置(i,j)处进行正则化处理获得正则化向量
Figure BDA0003860892920000021
和
Figure BDA0003860892920000022
Figure BDA0003860892920000031
Figure BDA0003860892920000032
其中，
Figure BDA0003860892920000033
表示查询图像的通道注意特征在像素位置(i,j)处的正则化向量，
Figure BDA0003860892920000034
表示模板图像的通道注意特征在像素位置(i,j)处的正则化向量；QAij表示查询图像的通道注意特征在像素位置(i,j)处的值，TAij表示模板图像的通道注意特征在像素位置(i,j)处的值；
Figure BDA0003860892920000035
表示L2范数；
然后在每个像素位置(i,j)处根据正则化向量
Figure BDA0003860892920000036
和
Figure BDA0003860892920000037
计算查询图像和模板图像之间在像素位置(i,j)处的损失lij：
Figure BDA0003860892920000038
综合所有像素位置(i,j)处的损失lij计算查询图像和模板图像各自的通道注意特征之间的网络损失l输出：
Figure BDA0003860892920000039
其中，H表示通道注意特征的高度，W表示通道注意特征的宽度。
所述步骤3)具体为：
3.1)挑选N个属于正常样本(即非异常)、非异常的查询图像一起输入到训练后的异常检测网络模型获得各自的通道注意特征，每个查询图像均能提取到三个通道注意特征TA2、TA3、TA4，分别将这N个查询图像的三个通道注意特征按各自通道拼接后，获得每个查询图像的拼接特征，再根据N个查询图像的拼接特征计算查询图像的各个像素位置处的多元高斯分布；
3.2)将待检测查询图像作为输入到训练后的异常检测网络模型，获得待检测查询图像的三个通道注意特征QA2、QA3、QA4，将这待检测查询图像的三个注意特征按通道拼接获得待检测查询图像的拼接特征；
3.3)计算待检测查询图像的每个像素位置的拼接特征与相同位置处的多元高斯分布之间的马氏距离，将各个像素位置处的马氏距离构建组成待检测查询图像的异常分数图，取异常分数图上最大的值作为待检测查询图像的异常分数，然后进行以下判断：
当异常分数超过预设的异常阈值时，则认为待检测查询图像为异常图像；否则不认为待检测查询图像为异常图像。
本发明的异常是指和绝大部分时间下的情形不同的情形，根据具体需求自行定义。
本发明方法可应用于视频监控、产品质量控制、医学诊断等领域的图像中。
当应用于视频监控图像时，可以检测图像中行人的异常行为举止或者运动物体的异常运动。
当应用于产品质量控制图像时，可以检测图像中产品的缺陷。
当应用于医学诊断图像时，可以检测图像中的疾病。
本发明是首先构建一个感知高维特征通道重要性的通道注意模块，然后构建一个权值共享的深度学习的异常检测网络，将通道注意模块嵌入异常检测网络的特征提取阶段，增强配准网络对特征通道的差别提取能力。最后，基于提取的图像高维特征为正常样本构建多元高斯分布概率表达。在测试阶段，将待检测的查询图像和用作基准模板的正常样本图像同时输入到配准异常检测网络，计算查询图像每个像素位置的拼接特征与正常样本的多元高斯分布之间的马氏距离，测试查询图像每个像素位置处的马氏距离构成了测试查询图像的异常分数图，取异常分数图上最大的值作为该测试图像的异常分数。当该异常分数超过指定阈值时，认为该测试查询图像为异常图像。
本发明的有益效果是：
本发明方法能够适用于多种不同物体类别的异常检测任务，提高了网络对新物体的异常检测能力，能够避免网络对物体类别的依赖，可有效泛化到未知物体类别的异常检测任务上，并避免了为每个物体类别单独构建一个检测模型的问题。
同时，本发明所设计的通道注意模块能够提高特征通道对不同异常特征的提取能力，能够增强网络对特征通道的差异感知，提高网络对物体多维特征的提取能力，有效抑制噪声对异常检测的干扰，避免噪声、离群点等对关键配准特征的不利影响，有利于提高网络的配准精度和异常检测精度。
附图说明
图1是本发明方法的流程图；
图2是本发明异常检测网络整体逻辑框图；
图3是本发明的通道注意模块的结构示意图。
具体实施方式
下面结合附图对本发明实施例作详细说明。
需要理解的是，本发明所描述的实施例是示例性的，实施例描述中所使用的具体参数仅是为了便于描述本发明，并不用于限定本发明。
如图1所示，本发明的具体实施例及其实施过程包括如下步骤：
步骤1：构建通道注意模块，构建如图3所示的通道注意模块。
第一通道注意模块、第二通道注意模块和第三通道注意模块结构相同，均包括全局平均池化层、全连接层、Sigmoid激活函数、矩阵相乘操作和卷积层；输入的卷积特征QF2和TF2分别经过第一通道注意模块获得各自的第一通道注意特征。
具体实施中，输入的卷积特征为图像高维特征F，维度为B×C×H×W，B表示输入到网络的图像数量，C表示特征通道数，H表示特征的高度，W表示特征的宽度；图像高维特征F经过全局平均池化层获得池化特征PF，维度为B×C；池化特征PF再依次经过两层的全连接层fc(C/4,C)、Sigmoid激活函数获得维度为B×C的通道权重矩阵W，其中全连接层fc(C/4,C)的第一层节点数为C/4，第二层节点数为C；最后通道权重矩阵W与图像高维特征F执行矩阵相乘操作后，再经过一个卷积核为1×1的卷积层获得通道注意特征AF，维度为B×C×H×W。
具体实施中，构建的三个通道注意模块分别嵌入在卷积操作Conv2、Conv3和Conv4之后。Conv2之后的通道注意模块B为32，C为64，H和W均为56；Conv3之后的通道注意模块B为32，C为128，H和W均为28；Conv4之后的特征注意模块B为32，C为256，H和W均为14。
步骤2：构建损失计算模块。
本发明中间获得的特征实际都为一张特征图。
给定一对查询图像和模板图像，从查询图像中提取的通道注意特征为QA，从模板图像中提取的通道注意特征TA，其维度均为H×W×C。通道注意特征TA中在像素位置(i,j)处的查询特征向量和模板特征向量分别为QAij和TAij。在计算像素位置(i,j)处的损失时，首先将查询特征向量QAij和模板特征向量TAij正则化获得各自的正则化向量，然后在两个正则化向量之间的L2距离基础上构建损失函数。通道注意特征QA和TA之间的损失函数构建步骤为：
构建查询图像和模板图像对应的像素位置(i,j)处的正则化向量
Figure BDA0003860892920000051
和
Figure BDA0003860892920000052
Figure BDA0003860892920000053
Figure BDA0003860892920000054
计算查询图像和模板图像对应的像素位置(i,j)处的损失l(I)ij。
Figure BDA0003860892920000055
计算通道注意特征QA和TA之间的网络损失l(I)。
Figure BDA0003860892920000061
具体实施中，获得异常检测网络损失L2、L3、L4，将得到的三个损失求和获得网络的总损失L。
步骤3：根据通道注意模块和损失计算模块构建异常检测网络，构建如图2所示的异常检测网络。
异常检测网络包括三个卷积模块和三个通道注意模块；查询图像和模板图像分别输入到异常检测网络，先经过各自的第一卷积模块处理后获得各自的第一卷积特征QF2和TF2，查询图像和模板图像的第一卷积特征QF2和TF2分别经过第一通道注意模块获得各自的第一通道注意特征QA2和TA2；查询图像和模板图像的第一通道注意特征QA2和TA2分别经过第二卷积模块获得各自的第二卷积特征QF3和TF3，查询图像和模板图像的第二卷积特征QF3和TF3分别经过第二通道注意模块获得各自的第二通道注意特征QA3和TA3；查询图像和模板图像的第二通道注意特征QA3和TA3分别经过第三卷积模块获得各自的第三卷积特征QF4和TF4，查询图像和模板图像的第三卷积特征QF4和TF4分别经过第三通道注意模块获得各自的第三通道注意特征QA4和TA4。
需要说明的是，网络中对应的各个卷积操作和通道注意模块均共享权值。
具体而言是，查询图像和模板图像的第一通道注意模块的权值共享，查询图像和模板图像的第二通道注意模块的权值共享，查询图像和模板图像的第三通道注意模块的权值共享；且查询图像和模板图像的第一卷积模块的权值共享，查询图像和模板图像的第二卷积模块的权值共享，查询图像和模板图像的第三卷积模块的权值共享。
查询图像和模板图像的第一卷积模块中，对应地，查询图像和模板图像的第一卷积模块中的第一个卷积操作之间相互权值共享，查询图像和模板图像的第一卷积模块中的第二个卷积操作之间相互权值共享。
第一卷积模块主要由两个卷积操作Conv1和Conv2依次连接构成，第二卷积模块主要由一个卷积操作Conv3依次连接构成，第三卷积模块主要由一个卷积操作Conv4依次连接构成。
具体实施中，输入图像大小为224×224，使用ResNet18作为基准配准网络。
Figure BDA0003860892920000062
以Conv2对应的操作
Figure BDA0003860892920000071
为例，其中括号里面的表示卷积块，括号外面的数字表示卷积块堆叠数量为2。卷积块里面的3×3表示卷积核大小，64表示卷积核数量。
步骤4：训练构建的异常检测网络。采用MVTec异常检测数据集训练构建的异常检测网络。该数据集包含超过5000幅高分辨率图像，覆盖15个不同的物体类型。初始学习率设为0.0001，训练批次大小为32，最大迭代次数为50个epoch。取一部分正常图像作为查询图像，另一部分正常图像为模板图像，构建图像匹配对。将构建的图像匹配对输入到异常检测网络中进行训练。
步骤5：预测物体的异常区域。
具体实施中，异常网络训练完成后，即可对输入的待检测查询图像做异常检测：
首先，挑选N个属于正常样本、非异常的查询图像一起输入到训练后的异常检测网络模型获得各自的通道注意特征，每个查询图像均能提取到三个通道注意特征TA2、TA3、TA4，分别将这N个查询图像的三个通道注意特征按各自通道拼接获得每个查询图像的拼接特征，再根据N个查询图像的拼接特征计算查询图像的各个像素位置处的多元高斯分布；
接着，将待检测查询图像作为输入到训练后的异常检测网络模型，获得待检测查询图像的三个通道注意特征QA2、QA3、QA4，将这待检测查询图像的三个注意特征按通道拼接获得待检测查询图像的拼接特征；
最后，计算待检测查询图像每个像素位置的拼接特征与相应像素位置处的多元高斯分布之间的马氏距离，将各个像素位置处的马氏距离构建组成待检测查询图像的异常分数图，取异常分数图上最大的值作为待检测查询图像的异常分数，然后进行以下判断：
当异常分数超过预设的异常阈值时，则认为待检测查询图像为异常图像；否则不认为待检测查询图像为异常图像。
具体实施中，选取的正常样本数量N设置为10。使用训练完成后的异常检测网络模型构建正常样本每个像素位置处的多元高斯分布，同时计算测试查询样本在每个像素位置处的拼接特征，进而计算测试查询样本的异常分数图像，将异常分数图中高于阈值的像素位置聚合成一个区域，该区域即为异常区域。
与现有技术相比，本发明提出了一种基于通道注意配准网络的图像异常检测方法，构建了基于网络配准框架的异常特征提取方式，设计了基于权重的特征通道注意模块，构建了基于多层级配准特征的网络损失函数。所提方法更加关注物体的配准特性，弱化了对物体类别的依赖，极大扩展了异常检测方法的应用范围。设计的特征注意模块能够增强网络特征对不同异常信息的捕获能力，克服噪声对关键异常特征的不利影响，改善了不同物体类别的异常检测精度。在MVTec异常检测数据集上，本发明针对未知物体类别获得了78.9％的图像异常检测精度。与同类方法TDG相比，检测精度提升了7.8％。
以上所述，仅为本发明较佳的具体实施方案，但本发明的保护范围并不局限于上述实施方案，任何本技术领域的技术人员在本发明描述的技术范围内，根据本发明的技术方案及其发明构思所做的等同替换或改变，都应包含在本发明的保护范围之内。

Claims (7)

1.一种基于通道注意配准网络的图像异常检测方法，其特征在于：
1)构建带有通道注意模块的异常检测网络；
2)利用损失计算模块对异常检测网络进行训练；
3)利用训练后的异常检测网络对输入的待检测查询图像进行异常检测。
2.根据权利要求1所述的一种基于通道注意配准网络的图像异常检测方法，其特征在于：所述的异常检测网络包括三个卷积模块和三个通道注意模块；查询图像和模板图像先经过各自的第一卷积模块处理后获得各自的第一卷积特征QF2和TF2，查询图像和模板图像的第一卷积特征QF2和TF2分别经过第一通道注意模块获得各自的第一通道注意特征QA2和TA2；查询图像和模板图像的第一通道注意特征QA2和TA2分别经过第二卷积模块获得各自的第二卷积特征QF3和TF3，查询图像和模板图像的第二卷积特征QF3和TF3分别经过第二通道注意模块获得各自的第二通道注意特征QA3和TA3；查询图像和模板图像的第二通道注意特征QA3和TA3分别经过第三卷积模块获得各自的第三卷积特征QF4和TF4，查询图像和模板图像的第三卷积特征QF4和TF4分别经过第三通道注意模块获得各自的第三通道注意特征QA4和TA4。
3.根据权利要求2所述的一种基于通道注意配准网络的图像异常检测方法，其特征在于：所述的第一卷积模块主要由两个卷积操作Conv1和Conv2依次连接构成，所述的第二卷积模块主要由一个卷积操作Conv3依次连接构成，所述的第三卷积模块主要由一个卷积操作Conv4依次连接构成。
4.根据权利要求2所述的一种基于通道注意配准网络的图像异常检测方法，其特征在于：所述的第一通道注意模块、第二通道注意模块和第三通道注意模块结构相同，均包括全局平均池化层、全连接层、Sigmoid激活函数、矩阵相乘操作和卷积层；输入的卷积特征QF2和TF2分别经过第一通道注意模块获得各自的第一通道注意特征。
5.根据权利要求2所述的一种基于通道注意配准网络的图像异常检测方法，其特征在于：在步骤2)的训练过程中，取一部分非异常图像作为查询图像，另一部分非异常图像为模板图像，构建图像匹配对，将构建的图像匹配对输入到异常检测网络中进行训练，且根据查询图像和模板图像各自的第一通道注意特征QA2和TA2通过损失计算模块进行损失计算获得第一网络损失L2，根据查询图像和模板图像各自的第二通道注意特征QA3和TA3通过损失计算模块进行损失计算获得第二网络损失L3，根据查询图像和模板图像各自的第三通道注意特征QA4和TA4通过损失计算模块进行损失计算获得第三网络损失L4，最后将第一网络损失L2、第二网络损失L3、第三网络损失L4相加求和后获得网络总损失L；
以网络总损失L最小为目标进行训练优化，使得异常检测网络达到最优。
6.根据权利要求5所述的一种基于通道注意配准网络的图像异常检测方法，其特征在于：所述损失计算模块具体处理为：将查询图像和模板图像各自的通道注意特征中在每个像素位置(i,j)处进行正则化处理获得正则化向量
Figure FDA0003860892910000021
和
Figure FDA0003860892910000022
Figure FDA0003860892910000023
Figure FDA0003860892910000024
其中，
Figure FDA0003860892910000025
表示查询图像的通道注意特征在像素位置(i,j)处的正则化向量，
Figure FDA0003860892910000026
表示模板图像的通道注意特征在像素位置(i,j)处的正则化向量；QAij表示查询图像的通道注意特征在像素位置(i,j)处的值，TAij表示模板图像的通道注意特征在像素位置(i,j)处的值；
Figure FDA0003860892910000027
表示L2范数；
然后在每个像素位置(i,j)处根据正则化向量
Figure FDA0003860892910000028
和
Figure FDA0003860892910000029
计算查询图像和模板图像之间在像素位置(i,j)处的损失lij：
Figure FDA00038608929100000210
综合所有像素位置(i,j)处的损失lij计算查询图像和模板图像各自的通道注意特征之间的网络损失l输出：
Figure FDA00038608929100000211
其中，H表示通道注意特征的高度，W表示通道注意特征的宽度。
7.根据权利要求2所述的一种基于通道注意配准网络的图像异常检测方法，其特征在于：所述步骤3)具体为：
3.1)挑选N个属于正常样本、非异常的查询图像一起输入到训练后的异常检测网络模型获得各自的通道注意特征，每个查询图像均能提取到三个通道注意特征TA2、TA3、TA4，分别将这N个查询图像的三个通道注意特征按各自通道拼接后，获得每个查询图像的拼接特征，再根据N个查询图像的拼接特征计算查询图像的各个像素位置处的多元高斯分布；
3.2)将待检测查询图像作为输入到训练后的异常检测网络模型，获得待检测查询图像的三个通道注意特征QA2、QA3、QA4，将这待检测查询图像的三个注意特征按通道拼接获得待检测查询图像的拼接特征；
3.3)计算待检测查询图像的每个像素位置的拼接特征与相同位置处的多元高斯分布之间的马氏距离，将各个像素位置处的马氏距离构建组成待检测查询图像的异常分数图，取异常分数图上最大的值作为待检测查询图像的异常分数，然后进行以下判断：
当异常分数超过预设的异常阈值时，则认为待检测查询图像为异常图像；否则不认为待检测查询图像为异常图像。
CN202211164880.7A 2022-09-23 2022-09-23 一种基于通道注意配准网络的图像异常检测方法 Pending CN115578325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211164880.7A CN115578325A (zh) 2022-09-23 2022-09-23 一种基于通道注意配准网络的图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211164880.7A CN115578325A (zh) 2022-09-23 2022-09-23 一种基于通道注意配准网络的图像异常检测方法

Publications (1)

Publication Number Publication Date
CN115578325A true CN115578325A (zh) 2023-01-06

Family

ID=84581207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211164880.7A Pending CN115578325A (zh) 2022-09-23 2022-09-23 一种基于通道注意配准网络的图像异常检测方法

Country Status (1)

Country Link
CN (1) CN115578325A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228754A (zh) * 2023-05-08 2023-06-06 山东锋士信息技术有限公司 一种基于深度学习和全局差异性信息的表面缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228754A (zh) * 2023-05-08 2023-06-06 山东锋士信息技术有限公司 一种基于深度学习和全局差异性信息的表面缺陷检测方法
CN116228754B (zh) * 2023-05-08 2023-08-25 山东锋士信息技术有限公司 一种基于深度学习和全局差异性信息的表面缺陷检测方法

Similar Documents

Publication Publication Date Title
AU2020103905A4 (en) Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112132023B (zh) 基于多尺度上下文增强网络的人群计数方法
CN112926641B (zh) 基于多模态数据的三阶段特征融合旋转机械故障诊断方法
CN111046961B (zh) 基于双向长短时记忆单元和胶囊网络的故障分类方法
CN111222457B (zh) 一种基于深度可分离卷积的鉴别视频真伪性的检测方法
CN113191390B (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN114998958B (zh) 一种基于轻量化卷积神经网络的人脸识别方法
CN108596044B (zh) 基于深度卷积神经网络的行人检测方法
CN116994044A (zh) 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法
CN115578325A (zh) 一种基于通道注意配准网络的图像异常检测方法
Monigari et al. Plant leaf disease prediction
Huang et al. Efficient attention network: Accelerate attention by searching where to plug
CN113808734A (zh) 一种基于深度学习的因果医疗诊断方法
CN114641792A (zh) 图像处理方法、图像处理设备和可读存储介质
CN117312821A (zh) 一种基于特征提取和Transformer模型的故障检测方法
CN116630728A (zh) 基于注意力残差孪生网络的加工精度预测方法
CN116226739A (zh) 一种基于时空融合的图卷积网络工业过程故障诊断方法
CN112488125B (zh) 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN115204272A (zh) 基于多采样率数据的工业系统故障诊断方法与设备
CN113450313B (zh) 一种基于区域对比学习的图像显著性可视化方法
CN114549962A (zh) 一种园林植物叶病分类方法
CN111899161A (zh) 一种超分辨率重建方法
CN115546212B (zh) 基于全局上下文嵌入生成对抗网络的图像异常检测方法
CN112816408B (zh) 一种光学镜片的瑕疵检测方法
Yuan et al. Deep and Spatio-Temporal Detection for Abnormal Traffic in Cloud Data Centers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination