CN116597255A - 一种基于特征重构和分布损失的图像异常检测方法 - Google Patents
一种基于特征重构和分布损失的图像异常检测方法 Download PDFInfo
- Publication number
- CN116597255A CN116597255A CN202310625570.9A CN202310625570A CN116597255A CN 116597255 A CN116597255 A CN 116597255A CN 202310625570 A CN202310625570 A CN 202310625570A CN 116597255 A CN116597255 A CN 116597255A
- Authority
- CN
- China
- Prior art keywords
- image
- distribution
- feature
- network
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000007547 defect Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000005856 abnormality Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种一种基于特征重构和分布损失的图像异常检测方法，包括模型训练、阈值分布获取和模型测试三个阶段，所述模型训练阶段中，通过对训练集中的正常图像训练变分自动编码器网络，利用计算机对该网络模型进行训练，通过降低包含分布损失的损失函数来优化网络参数，直至网络收敛，获得基于分布损失的网络模型；所述阈值分布获取阶段中，利用模型训练阶段获得的网络模型，根据多尺度特征融合模块与特征重构模块，获得用于异常检测的分布；所述模型测试阶段中，利用模型训练阶段获得的网络模型和阈值分布获取阶段获得的分布，根据异常分数判断新的测试图像是否为异常图像，并得到异常热力图。通过增加分布损失提升网络的重建效果，通过多尺度特征融合模块与特征重构模块实现异常的程度性显示，二者结合进而提升基于重建的图像异常检测算法的性能。
Description
技术领域
本发明涉及图像异常检测技术领域，具体涉及一种基于特征重构和分布损失的图像异常检测方法。
背景技术
图像异常检测的任务，就是找到正常样本与异常样本之间的界线，尽可能地将正常样本与异常样本分开。目前实际的异常检测遇到的一个很大的困难是真实世界数据的不平衡，异常图像的数据往往难以获取，比如在生产线上自动监测产品瑕疵，一般来说瑕疵产品出现的概率是很小的。同时出现的瑕疵在整个物体上的占比很小。简单的监督学习分类任务很难在图像异常检测中应用，因此目前绝大多数可靠的图像异常检测的方法都是无监督的，异常检测就是以训练集为核心，判断输入数据是否与训练集中的数据“类似”。
利用正常图像和异常图像在预训练网络提取的特征空间上存在的差异检测异常能够取得不错的检测效果，但可解释性较差，想要提高这类方法的可解释性可以对图像进行分块检测，但这样会带来更多的计算量。相比于前述的这类方法，另一种基于重建的图像异常检测方法就更加的直观、可解释性也更强。然而，基于重建的图像异常检测方法中生成器的重建能力对异常检测的效果有很大的影响，模糊的重建或者自映射的重建都会导致异常检测效果变差。因此基于重建的方法在图像异常检测任务中的表现还不够可靠。
现有的绝大多数基于重建的方法都是根据提取的语义特征解码对原图像进行重建，对于图像中的每个像素位置之间的关系和图像的多尺度特征没有充分考虑。同时，对于图像异常检测任务来说，异常元素往往在图像中表达很小，在语义特征空间中，异常元素对应的特征和正常元素对应的特征并不能很好的区分。
发明内容
为了实现以上目的，本发明针对目前图像异常检测算法的不足，提出一种基于特征重构和分布损失的图像异常检测方法。该方法基于分布损失的VAE（变分自动编码器）异常检测框架，同时在解码器前后的两个编码其中得到图像块的分布情况，并重构特征编码，实现对正常图像每个图像块的分布的计算，作为检测的阈值。解决了基于重建的异常检测方法由于训练集没有的正常情况，在测试阶段被误判的问题。解决了重构效果不好导致检测效果不理想的问题。
本发明采用以下技术方案：一种基于特征重构和分布损失的图像异常检测方法，包括模型训练、阈值分布获取和模型推断三个阶段。所述模型训练阶段中通过对训练集中的正常图像训练变分自动编码器网络，利用计算机对该网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于分布损失的网络模型；所述阈值分布获取阶段中，通过对训练集中的正常数据在编码网络中的多尺度特征融合，得到其特征分布，对编码器E1和编码器E2，分别计算得到特征编码embedding1和embedding2，对embedding1进行特征融合得embedding1’与embedding2进行加和平均得到特征编码embedding，由特征编码embedding计算得到多维高斯分布F；所述模型测试阶段，利用模型训练阶段获得的网络模型，阈值分布获取阶段得到的阈值分布F，根据异常分数判断新的测试图像是否为异常图像。
进一步的，所述模型训练阶段，具体包括以下步骤，
S11，数据准备，获取待检测的图像数据，编码器的预训练模型权重；
S12，网络模型训练，将正常图像传入变分自动编码器，经过‘编码-解码-编码’，采用基于重建的方法进行训练；计算损失函数得到梯度，然后进行反向传播得到训练好的网络模型。
更进一步的，所述步骤S12中的网络模型训练包括图像数据正向传播和梯度反向传播。所述图像数据正向传播中，将训练集中的所有正常图像送入‘编码器1-解码器-编码器2’的网络中进行训练；所述梯度反向传播中，输入图像X和重构图像X’之间的差异构成RestructionLoss，编码Z的分布和正态分布之间的KL散度构成KLD，编码器E1的输出Z和编码器E2的输出Z’之间的差异构成LatentLoss，输入图像X在编码器E1中得到的特征编码Embedding1计算得到分布F1和重构图像X’在编码器E2中得到的特征编码Embedding2计算得到分布F2之间的差异构成DistributionLoss；根据损失函数计算梯度，梯度反向传播更新网络参数，并利用GPU加速，直到网络误差降低至设定的阈值之内或者网络迭代的次数满足要求时停止训练，得到训练好的网络模型。
更进一步的，所描述的编码器E1用于将输入图像X进行编码得到Z，解码器D用于将Z解码得到重构图像X’，编码器E2用于将X’编码得到Z’，实现输入图像的编码-解码-编码过程。
更进一步的，所述编码器E1和编码器E2包含多尺度特征融合模块。所述多尺度通道融合模块，提取出图像不同卷积层的特征图，将尺寸较小的特征图经过双线性插值上采样到尺寸最大的特征图的大小，将不同尺度的特征图在通道维度拼接起来，作为特征编码。
更进一步的，所述RestructionLoss所用损失函数为：
（1）
所述KLD所用损失函数为：
（2）
所述LatentLoss所用的损失函数为：
（3）
所述DistributionLoss所用的损失函数为：
（4）
其中：
X是正常图像，
X’是重构图像，
Z是正常图像的编码，
Z’是重构图像的编码，
是分布F1的均值，是分布F1的协方差矩阵，
是分布F1的均值，是分布F1的协方差矩阵。
更进一步的，所述阈值分布获取阶段，具体包括以下步骤，
S21，提取图像的多尺度特征，进行特征融合得到特征编码；
S22，对每个像素位置上的特征编码和其他位置的特征编码之间计算最大互信息系数（MIC）；
S23，MIC数值进行筛选，满足0<MIC<1，记录对应的像素位置的特征编码，MIC数值，根据满足条件的特征编码，其MIC数值作为权重融合得到新的特征编码Embedding1’，该特征编码由编码器1得到；
S24，对特征编码Embedding1’和特征编码Embedding2加和平均得到Embedding，计算多维高斯分布F。
更进一步的，所述模型测试阶段，具体包括以下步骤，
S31，将测试图像输入训练好的网络模型，计算测试图像的特征编码的分布和分布F的wasserstein距离；
S32，将测试图像输入训练好的网络模型，得到重构误差和潜在空间误差，将wasserstein距离、重构误差、潜在空间误差加权平均融合，根据设定的阈值分布F，得到最终模型推断的异常分数矩阵，将矩阵上采样至输入图像大小，即得到缺陷热力图。
本发明提出的基于特征重构和分布损失的图像异常检测方法，通过增加代表图像重构前后特征分布之间的差异的损失项，提升解码器的重构能力。通过最大互信息系数筛选特征编码，重构特征编码，使特征编码完全代表正常图像。计算特征编码的分布作为测试图像进行异常得分判定的阈值，减少模型出现‘异常图像判定为正常’的可能性。对重构前后的图像都进行特征的重构，二者的特征编码加和平均，计算分布。减少模型出现‘未见过的正常图像判定为异常’的可能性。综合提升基于重建的图像异常检测方法的性能。
采用本发明技术方案，其有益效果为：相比于传统利用预训练模型提取特征的判别类算法，本方法基于重建的方法，可解释性更强；相比于直接使用图像重建误差进行训练的算法，本方法对图像重建误差、编码重建误差、特征分布误差进行损失项组合，能够提升自动编码器的重建能力，能够实现更好的图像异常检测效果；相比于直接使用图像重建误差作为得分图计算的算法，本方法使用经过重构的特征编码计算的分布作为阈值，计算测试图像的特征编码与该分布的马氏距离作为异常得分，能够实现更准确的检测效果，异常得分矩阵上采样至原图像大小，便于缺陷的直观体现。
附图说明
图1是本发明一种基于特征重构和分布损失的图像异常检测流程示意图。
图2是本发明多尺度特征融合模块示意图
图3是本发明特征编码重构模块示意图
实施方式
结合附图对本发明具体方案具体实施例作进一步的阐述，使得本技术方案更加清楚、明白。本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本实例实施涉及一种基于特征重构和分布损失的图像异常检测方法，所述检测方法包括包括模型训练、阈值分布获取和模型测试三个阶段。
在模型训练阶段，仅在正常的数据上训练变分自动编码器网络，利用高性能计算机对该网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于分布损失的网络模型，具体包括以下步骤：
S11，首先进行数据准备，包括图像数据和编码器的预训练模型权重数据；
S12，然后进行网络模型训练，将正常图像传入编码器部分已加载预训练权重的网络中，经过‘编码-解码-编码’，采用基于重建的方法训练解码器部分的参数；计算损失函数得到梯度，然后进行反向传播得到训练好的网络模型。
所述网络模型训练包括图像数据正向传播和梯度反向传播：具体如下。
（1）图像数据正向传播，将训练集的图像送入网络进行训练：该网络包含编码器E1、解码器、编码器E2。
编码器E1和解码器组合为变分自动编码器，用于将输入的正常图像进行编码然后解码，实现输入图像的重建过程。编码器E2用于将重建图像再次编码。在训练过程中，解码过程的起点是从编码计算的分布中采样而得，目的是尽可能的学会未见过的正常图像。再次编码是为了防止重构后的图像在潜在空间的发生严重的偏移。
编码器E1和编码器E2包含多尺度特征融合模块。所述多尺度通道融合模块，提取出图像不同卷积层的特征图，将尺寸较小的特征图经过双线性插值上采样到尺寸最大的特征图的大小，将不同尺度的特征图在通道维度拼接起来，作为特征编码。
（2）梯度反向传播，输入图像X和重构图像X’之间的差异构成RestructionLoss，编码Z的分布和正态分布之间的KL散度构成KLD，编码器E1的输出Z和编码器E2的输出Z’之间的差异构成LatentLoss，输入图像X在编码器E1中得到的特征编码Embedding1计算得到分布F1和重构图像X’在编码器E2中得到的特征编码Embedding2计算得到分布F2之间的差异构成DistributionLoss；根据损失函数计算梯度，梯度反向传播更新网络参数，并利用GPU加速，直到网络误差降低至设定的阈值之内或者网络迭代的次数满足要求时停止训练，得到训练好的网络模型。
这里使用Adam优化器优化网络，我们将基准学习率设置为0.001，并使用多步学习率调整程序，动量设置为0.9。
损失函数分别为：
RestructionLoss所用损失函数为：
（1）
KLD所用损失函数为：
（2）
LatentLoss所用的损失函数为：
（3）
DistributionLoss所用的损失函数为：
（4）
其中：
X是正常图像，
X’是重构图像，
Z是正常图像的编码，
Z’是重构图像的编码，
是分布F1的均值，是分布F1的协方差矩阵，
是分布F1的均值，是分布F1的协方差矩阵。
梯度是由损失函数全部变量的偏导数汇总而成的向量，梯度指示的方向是各点处的函数值减少最多的方向。梯度反向传播更新网络中各层的权重，直到网络的整体损失(即4个损失函数之和)降低到设定的阈值之内或者网络迭代的次数满足要求时停止训练，得到训练好的网络模型。
在阈值分布获取阶段，利用模型训练阶段获得的网络模型，再次输入训练集，得到对应的分布作为测试阶段的阈值。具体包括：
S21，提取图像的多尺度特征，进行特征融合得到特征编码；
S22，对每个像素位置上的特征编码和其他位置的特征编码之间计算最大互信息系数（MIC）；
S23，MIC数值进行筛选，满足0.6<MIC<1，记录对应的像素位置的特征编码，MIC数值，根据满足条件的特征编码，其MIC数值作为权重融合得到新的特征编码Embedding1’，该特征编码由编码器1得到；
S24，对特征编码Embedding1’和特征编码Embedding2加和平均得到Embedding，计算多维高斯分布F。
在模型测试阶段，利用模型训练阶段获得的网络模型和阈值分布获取阶段得到的分布，根据异常分数判断测试图像是否为异常图像。具体包括：
S31，将测试图像输入训练好的网络模型，计算测试图像的特征编码的分布和分布F的wasserstein距离；
S32，将测试图像输入训练好的网络模型，得到重构误差和潜在空间误差，将wasserstein距离、重构误差、潜在空间误差加权平均融合，得到最终模型推断的异常分数矩阵，将矩阵上采样至输入图像大小，即得到缺陷热力图。
（5）
其中Lrec为重建误差；Llat为潜在空间误差；W为测试图像特征编码的分布和阈值分布之间的wasserstein距离；λ为权重参数，设置为0.8；*为逐像素相乘。
对A(X)的结果整体进行归一化处理，根据每个像素上的热力图显示异常区域。
下面基于以上原理的具体进行具体解释说明。如图1所示为一种基于特征重构和分布损失的图像异常检测方法流程图。使用MVTecAD数据集，MVTecAD数据集包含5354张高分辨率图像，其中包含10类物品图像和5类纹理图像。每类数据的训练数据量大致在60到320，测试数据中的异常数据包含超过70种缺陷，如裂痕、破洞等。
按照图1搭建基于分布损失的图像异常检测网络的网络模型，根据前述的四个损失函数计算损失，并按照梯度反向传播的方法进行参数的迭代更新，并利用GPU进行加速，直到网络的误差降低到设定的阈值之内或者网络迭代的次数满足要求时停止训练。
按照图2中的形式实现多尺度特征图的拼接，将后面的卷积层的特征图经双线性插值上采样至第一个特征图同样大小，在通道维度上进行拼接操作，得到多尺度特征。
按照图3中的形式，对特征编码进行筛选，重构，得到新的特征编码，用于确定分布。
通过采用上述方法进行图像异常检测，相比于直接重建图像的异常检测算法，本方法通过增加代表图像重构前后特征分布之间的差异的损失项，提升解码器的重构能力。通过最大互信息系数筛选特征编码，重构特征编码，使特征编码完全代表正常图像。计算特征编码的分布作为测试图像进行异常得分判定的阈值，减少模型出现‘异常图像判定为正常’的可能性。对重构前后的图像都进行特征的重构，二者的特征编码加和平均，计算分布。减少模型出现‘未见过的正常图像判定为异常’的可能性。该方法有效提升基于重建的异常检测方法中对图像的重建能力，提高了此类方法异常检测的效果。
本实施例涉及注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种基于特征重构和分布损失的图像异常检测方法，其特征在于：包括模型训练、阈值分布获取和模型测试三个阶段，
所述模型训练阶段中，通过对训练集中的正常图像训练变分自动编码器网络，利用计算机对该网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于分布损失的网络模型；
所述阈值分布获取阶段中，通过对训练集中的正常数据在编码网络中的多尺度特征融合，得到其特征分布，对编码器E1和编码器E2，分别计算得到特征编码embedding1和embedding2，对embedding1进行特征融合得到embedding1’并与embedding2进行加和平均得到特征编码embedding，由特征编码embedding计算得到多维高斯分布F；
所述模型测试阶段，利用模型训练阶段获得的网络模型，阈值分布获取阶段得到的阈值分布F，根据异常分数判断新的测试图像是否为异常图像。
2.根据权利要求1所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：所述模型训练阶段，具体包括以下步骤，
S11，数据准备，获取待检测的图像数据，编码器的预训练模型权重；
S12，网络模型训练，将正常图像传入变分自动编码器，经过‘编码-解码-编码’，采用基于重建的方法进行训练；计算损失函数得到梯度，然后进行反向传播得到训练好的网络模型。
3.根据权利要求2所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：
所述步骤S12中的网络模型训练包括图像数据正向传播和梯度反向传播，
所述图像数据正向传播中，将训练集中的所有正常图像送入‘编码器1-解码器-编码器2’的网络中进行训练；
所述梯度反向传播中，输入图像X和重构图像X’之间的差异构成RestructionLoss，编码Z的分布和正态分布之间的KL散度构成KLD，编码器E1的输出Z和编码器E2的输出Z’之间的差异构成LatentLoss，输入图像X在编码器E1中得到的特征编码Embedding1计算得到分布F1和重构图像X’在编码器E2中得到的特征编码Embedding2计算得到分布F2之间的差异构成DistributionLoss；根据损失函数计算梯度，梯度反向传播更新网络参数，并利用GPU加速，直到网络误差降低至设定的阈值之内或者网络迭代的次数满足要求时停止训练，得到训练好的网络模型。
4.根据权利要求3所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：所描述的编码器E1用于将输入图像X进行编码得到Z，解码器D用于将Z解码得到重构图像X’，编码器E2用于将X’编码得到Z’，实现输入图像的编码-解码-编码过程。
5.根据权利要求3或4所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：
所述编码器E1和编码器E2包含多尺度特征融合模块，
所述多尺度通道融合模块，提取出图像不同卷积层的特征图，将尺寸较小的特征图经过双线性插值上采样到尺寸最大的特征图的大小，将不同尺度的特征图在通道维度拼接起来，作为特征编码。
6.根据权利要求3所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：所述RestructionLoss所用损失函数为：
（1）
所述KLD所用损失函数为：
（2）
所述LatentLoss所用的损失函数为：
（3）
所述DistributionLoss所用的损失函数为：
（4）
其中：
X是正常图像，
X’是重构图像，
Z是正常图像的编码，
Z’是重构图像的编码，
是分布F1的均值，是分布F1的协方差矩阵，
是分布F1的均值，是分布F1的协方差矩阵。
7.根据权利要求1所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：所述阈值分布获取阶段，具体包括以下步骤，
S21，提取图像的多尺度特征，进行特征融合得到特征编码；
S22，对每个像素位置上的特征编码和其他位置的特征编码之间计算最大互信息系数（MIC）；
S23，MIC数值进行筛选，满足0<MIC<1，记录对应的像素位置的特征编码，MIC数值，根据满足条件的特征编码，其MIC数值作为权重融合得到新的特征编码Embedding1’，该特征编码由编码器1得到；
S24，对特征编码Embedding1’和特征编码Embedding2加和平均得到Embedding，计算多维高斯分布F。
8.根据权利要求1所述的一种基于特征重构和分布损失的图像异常检测方法，其特征在于：所述模型测试阶段，具体包括以下步骤，
S31，将测试图像输入训练好的网络模型，计算测试图像的特征编码的分布和分布F的wasserstein距离；
S32，将测试图像输入训练好的网络模型，得到重构误差和潜在空间误差，将wasserstein距离、重构误差、潜在空间误差加权平均融合，得到阈值分布F，根据分布F得到最终模型推断的异常分数矩阵，将矩阵上采样至输入图像大小，即得到缺陷热力图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310625570.9A CN116597255A (zh) | 2023-05-30 | 2023-05-30 | 一种基于特征重构和分布损失的图像异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310625570.9A CN116597255A (zh) | 2023-05-30 | 2023-05-30 | 一种基于特征重构和分布损失的图像异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597255A true CN116597255A (zh) | 2023-08-15 |
Family
ID=87598981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310625570.9A Pending CN116597255A (zh) | 2023-05-30 | 2023-05-30 | 一种基于特征重构和分布损失的图像异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597255A (zh) |
-
2023
- 2023-05-30 CN CN202310625570.9A patent/CN116597255A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
| CN110361778B (zh) | 一种基于生成对抗网络的地震数据重建方法 | |
| CN108154222B (zh) | 深度神经网络训练方法和系统、电子设备 | |
| CN112132012B (zh) | 基于生成对抗网络的高分辨率sar船舶图像生成方法 | |
| CN114283120B (zh) | 一种基于领域自适应的端到端多源异质遥感影像变化检测方法 | |
| CN114091628B (zh) | 基于双分支网络的三维点云上采样方法及系统 | |
| US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
| CN116071650A (zh) | 一种融合卷积神经网络与Transformer的遥感影像建筑物提取方法 | |
| CN111539314A (zh) | 面向云雾遮挡的海面目标显著性检测方法 | |
| CN114067168A (zh) | 基于改进的变分自编码器网络的布匹缺陷图像生成系统及方法 | |
| CN117809123A (zh) | 一种双阶段图像的异常检测与重构方法及系统 | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| CN116091492B (zh) | 一种图像变化像素级检测方法与系统 | |
| CN116597255A (zh) | 一种基于特征重构和分布损失的图像异常检测方法 | |
| CN114140736A (zh) | 一种基于高低频重建的图像异常检测方法 | |
| CN115661543A (zh) | 一种多尺度的基于生成对抗网络的工业零件缺陷检测方法 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN115393333A (zh) | 一种基于注意力生成对抗网络的工业品表面缺陷检测方法 | |
| CN114862803A (zh) | 一种基于快速傅里叶卷积的工业图像异常检测方法 | |
| CN112949344B (zh) | 一种用于异常检测的特征自回归方法 | |
| JP6950647B2 (ja) | データ判定装置、方法、及びプログラム | |
| CN113506259A (zh) | 一种基于融合网络的图像模糊判别方法及系统 | |
| CN116819615B (zh) | 一种地震数据重建方法 | |
| CN117058443B (zh) | 一种基于改进残差收缩网络的管道漏磁图像识别方法 | |
| CN117372720B (zh) | 一种基于多特征交叉掩码修复的无监督异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |