CN118115822A - 一种基于图像块特征级联检索模型的异常检测方法及系统 - Google Patents
一种基于图像块特征级联检索模型的异常检测方法及系统 Download PDFInfo
- Publication number
- CN118115822A CN118115822A CN202410523850.3A CN202410523850A CN118115822A CN 118115822 A CN118115822 A CN 118115822A CN 202410523850 A CN202410523850 A CN 202410523850A CN 118115822 A CN118115822 A CN 118115822A
- Authority
- CN
- China
- Prior art keywords
- feature
- representing
- image
- tensor
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 230000005856 abnormality Effects 0.000 title claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域，具体公开了一种基于图像块特征级联检索模型的异常检测方法及系统，其方法包括，根据DenseNet201主干网络对参考图像集和测试图像进行特征提取以得到特征张量；根据全局检索分支对特征张量进行全局检索处理得到最近邻集，根据前景估计分支对特征张量进行前景估计处理得到前景概率映射；对局部检索分支进行特征训练，根据特征训练后的局部检索分支对最近邻集进行局部检索后得到异常分数；将前景概率映射与异常分数结合以对异常分数进行修正，得到最终异常检测结果；通过上述方法能够将异常检测任务转变为级联检索任务，极大地提升了工业异常检测的精度和速度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种基于图像块特征级联检索模型的异常检测方法及系统。
背景技术
随着工业生产的数字化和智能化程度不断提高，工业异常检测成为了保障生产质量和效率的关键技术之一；工业异常检测旨在实时监测生产过程中的异常情况，并及时采取措施以防止故障或质量问题的进一步扩大；工业异常检测技术的应用领域十分广泛，它主要应用于制造业以及医疗保健等领域；
现有技术中，有监督学习方法通常使用像素级的手动标注的标签数据进行训练，有监督的方法需要大量的标注数据，这在实际应用中往往是昂贵且难以获得的；无监督的方法，如基于统计的或基于深度学习的单类分类器，虽然不需要异常样本的标注，但它们在复杂背景或多变的生产环境中仍然面临挑战。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出了一种基于图像块特征级联检索模型的异常检测方法及系统。
根据本发明第一方面实施例的一种基于图像块特征级联检索模型的异常检测方法，所述图像块特征级联检索模型包括DenseNet201主干网络、全局检索分支、局部检索分支和前景估计分支，所述方法包括，
根据所述DenseNet201主干网络对参考图像集和测试图像进行特征提取以得到特征张量；
根据所述全局检索分支对所述特征张量进行全局检索处理得到最近邻集，根据所述前景估计分支对所述特征张量进行前景估计处理得到前景概率映射；
对所述局部检索分支进行特征训练，根据特征训练后的所述局部检索分支对所述最近邻集进行局部检索后得到异常分数；
将所述前景概率映射与所述异常分数结合以对所述异常分数进行修正，得到最终异常检测结果。
根据本发明的一种基于图像块特征级联检索模型的异常检测方法，首先根据所述图像块特征级联检索模型中的所述DenseNet201主干网络中对参考图像集和测试图像进行特征提取以得到和所述参考图像集和所述测试图像对应的特征张量；在得到所述特征张量之后，所述全局检索分支通过全局检索算法对所述特征张量进行全局检索处理，所述特征张量在被所述全局检索分支处理后，得到处理结果最近邻集；同时，所述图像块特征级联检索模型中的前景估计分支也通过前景估计算法对所述特征张量进行前景估计处理，得到与所述特征张量对应的前景概率映射；完成上述过程之后，局部检索分支进行特征训练，训练完成后通过局部检索算法对最近邻集进行局部检索处理，以得到与所述测试图像对应的异常分数；最后通过前景估计分支的得到前景概率映射与所述异常分数结合，对所述异常分数进行修正以得到最终的异常检测结果，最后输出所述异常检测结果，完成对所述测试图像和参考图像集的无监督异常检测。
根据本发明的一些实施例，所述DenseNet201主干网络、全局检索分支、局部检索分支和前景估计分支分别通过以下函数表示，
；
所述测试图像和参考图像集通过以下函数表示，
，
；
其中，ΨD表示DenseNet201主干网络函数，ΨG表示全局检索分支函数，ΨL表示局部检索分支函数，ΨF表示前景估计分支函数，I表示参考图像集和测试图像，表示DenseNet201主干网络函数输出，/>表示全局检索分支函数输出，/>表示局部检索分支函数输出，F 表示前景估计分支函数输出，/>表示实数集，H表示图像高度，W表示图像宽度，HI表示测试图像的高度，WI表示测试图像的宽度，HP表示输出图像块特征的高度，WP表示输出图像块特征的宽度， C表示特征通道数，P表示特征块，CP表示图像块特征的维度，S表示特征块的长度，NC表示特征块的数量，HL表示局部检索分支输出图像块异常得分张量的高度，WL表示局部检索分支输出图像块异常得分张量的宽度，CL表示局部检索分支输出的图像块异常得分张量的个数，HF表示前景估计分支输出前景估计分布图的高度，WF表示前景估计分支输出前景估计分布图的宽度，Itst表示测试图像，/>表示参考图像集，Ii ref表示参考图像集中第i个图像。
根据本发明的一些实施例，所述根据所述全局检索分支对所述特征张量进行全局检索处理得到最近邻集，具体为，
对每个特征张量展平以构建原始图像块特征集，将所述原始图像块特征集中不同参考图像的原始图像块特征收集到目标特征集；
对所述目标特征集采用 K-means 聚类方法处理得到聚类中心集；
根据所述特征张量和所述聚类中心集得到所述测试图像的分块统计量，所述特征张量被分为若干子张量；
对所述若干子张量采用词袋模型提取所述子张量的统计量，估计所述测试图像与所述参考图像集之间的全局特征距离；
根据所述全局特征距离，检索所述参考图像集中相邻参考图像，并将其存储到目标图像集作得到所述最近邻集；
所述原始图像块特征集表示为，
，
其中，flatten表示将多维数组转换成一维数组，表示第 i 个参考图像中的第 j个一维特征向量，HPWP是参考图像特征图的高度和宽度的乘积，其表示展开后的特征集合中特征向量的数量；
所述目标特征集表示为，
，
其中，表示参考图像的一维特征向量，CP表示特征通道的数量，NRHPWP表示所有参考图像特征向量的总数；其中， NR是参考图像的数量；
所述聚类中心集表示为，
，
其中，表示第v个聚类中心的特征向量，NC表示聚类中心的数量；
所述子张量表示为，
，
其中，u表示特征张量中特征块的行数，v表示特征张量中特征块的列数；
所述统计量表示为，
，
其中，表示子张量对应的直方图；
所述全局特征距离表示为，
，
其中，τ表示是一个用于鲁棒性的阈值，用于忽略最大的块间KL散度，以提高距离估计的鲁棒性， S2- τ表示在计算全局特征距离时排除了 τ 个最大的块间KL散度。
根据本发明的一些实施例，所述根据所述前景估计分支对所述特征张量进行前景估计处理得到前景概率映射，具体为，
所述前景估计分支对所述特征张量和所述参考图像集进行编码简化，并生成伪标签模拟前景和背景；
所述前景估计分支根据所述伪标签进行训练以得到分类器，通过所述分类器输出所述前景概率映射；
所述前景概率映射表示为，
；
其中，r和c表示测试图像中的位置坐标，K表示第K个测试图像中的位置坐标。
根据本发明的一些实施例，对所述局部检索分支进行特征训练，具体为，
采用正样本、负样本和远程样本使用对比损失函数对所述局部检索分支进行训练；
所述对比损失函数为，
；
其中，Γ是样本数量, yi是样本对的标签，ηi que表示通过向正常图像添加合成的异常图像的特征，ηi ref表示从参考图像集合中提取的特征向量，m+和 m-是正负样本对的距离阈值，ωi是根据特征对的相似度和预设的平均特征距离计算的权重，b 是一个大于1的用于增加边缘样本的权重的常数。
根据本发明的一些实施例，所述根据特征训练后的所述局部检索分支对所述最近邻集进行局部检索后得到异常分数，具体为，
将所述特征张量输入至特征训练后的所述局部检索分支中，经过所述局部检索分支处理后输出所述测试图像对应的最终张量；
将所述最终张量展平为特征向量集，结合所述最近邻集计算相应的局部特征张量，并得到所述参考图像特征向量集；
在所述测试图像的每个特征向量和所述参考图像集的图像块特征之间通过余弦相似函数进行局部图像块特征检索，得到所述异常分数；
所述最终张量表示为，
；
所述特征向量集的相关行列坐标表示为，
，
其中，表示测试图像中位置的特征向量，/>表示展平之后的特征张量，r和c表示测试图像中的位置坐标；
所述局部特征张量表示为，
，
其中，Ij knn表示第j局部特征张量，K表示第K个局部特征张量；
所述局部图像块特征检索式为，
，
其中，和/>表示最近邻搜索的局部区域，/>为一个预设的值，/>表示两个特征向量之间的余弦相似度；
所述异常分数为，
，
其中，表示测试图像中（r，c）位置的特征向量和对应的最近邻向量，/>表示测试图像（r，c）位置处的最小距离；
将所述前景概率映射与所述异常分数结合以对所述异常分数进行修正，得到最终异常检测结果，具体为，
通过前景估计分支对所述异常分数进行上采样，结合所述前景概率映射通过修正算法对所述异常分数修正；
所述修正算法表示为，
，
其中，UpInterp表示上采样，表示异常分数，/>表示前景概率映射。
根据本发明二方面实施例的一种基于图像块特征级联检索模型的异常检测系统，所述系统包括，
第一获取模块，所述第一获取模块用于获取参考图像集和测试图像，并将所述参考图像集和测试图像发送至第一提取模块；
第一提取模块，所述第一提取模块接收所述参考图像集和测试图像并通过预设的算法提取特征，得到特征张量，将所述特征张量发送至第一检索模块和第一估计模块；
第一检索模块，所述第一检索模块根据预设的全局检索算法对所述特征张量进行处理，得到最近邻集，并将所述最近邻集发送至第二检索模块；
第二检索模块，所述第二检索模块根据预设的局部检索算法度所述最近邻集进行处理，得到异常分数，并将所述异常分数发送至第一估计模块；
第一估计模块，所述第一估计模块根据所述特征张量结合预设的前景估计算法得到修正函数，根据所述修正函数对所述异常分数进行修正，输出最终的输出异常检测结果。
根据本发明的一种基于图像块特征级联检索模型的异常检测系统，首先将参考图像集和测试图像输入至系统，通过所述第一获取模块获取所述参考图像集和测试图像相关信息，并将获取到的所述参考图像集和测试图像相关信息发送至所述第一提取模块；所述第一提取模块接收到所述相关信息后，通过调用内部预设的算法对所述相关信息进行特征提取，提取出特征张量，并将所述特征张量发送至第一检索模块和第一估计模块，所述第一检索模块根据接收到的所述特征张量，通过调用预设的全局检索算法对所述特征张量进行检索处理，得到与所述特征张量对应的最近邻集，并将所述最近邻集发送至所述第二检索模块；所述第二检索模块根据接收的所述最近邻集，通过调用内部预设的部分检索算法对所述最近邻集进行部分检索处理，得到异常分数，并将所述异常分数发送至所述第一估计模块；所述第一估计模块首先根据接到的特征张量通过调用内部预设的前景估计算法对所述特征张量处理得到修正函数，之后根据接收的所述异常分数结合所述修正函数对所述异常分数进行修正处理，得到并输出最终的异常检测结果。
根据本发明的一种基于图像块特征级联检索模型的异常检测方法，其有益效果如下：
（1）将异常检测任务转变为级联检索任务(先全局再局部)，极大地提升了工业异常检测的精度和速度；
（2）通过全局和局部的级联匹配策略，提高了对不同类型和大小的缺陷的检测鲁棒性，减少了误报和漏报；
（3）引入前景估计分支（FEB）有效地区分了图像的前景对象和背景，减少了背景噪声对异常检测的干扰；
（4）在损失极小的精度设置下，图像块特征级联检索能够以每秒超过1000帧的速度进行处理，同时仍然保持了相对于大多数当前最先进的方法的准确性优势；这使其非常适合实时或近实时的工业检测应用，能够在生产线上快速准确地检测产品缺陷；
（5）提升速度使其能够处理大规模数据集，对于大数据量的应用场景具有很好的扩展性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 为本发明实施例的一种基于图像块特征级联检索模型的异常检测方法流程图。
具体实施方式
下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例1
参阅图1所示，一种基于图像块特征级联检索模型的异常检测方法，其中，图像块特征级联检索模型包括DenseNet201主干网络、全局检索分支、局部检索分支和前景估计分支4个部分，并通过以下公式表示，
；
其中，ΨD表示DenseNet201主干网络函数，ΨG表示全局检索分支函数，ΨL表示局部检索分支函数，ΨF表示前景估计分支函数，I表示参考图像集和测试图像，表示DenseNet201主干网络函数输出，/>表示全局检索分支函数输出，/>表示局部检索分支函数输出，F 表示前景估计分支函数输出，/>表示实数集，H表示图像高度，W表示图像宽度，HI表示测试图像的高度，WI表示测试图像的宽度，HP表示输出图像块特征的高度，WP表示输出图像块特征的宽度， C表示特征通道数，P表示特征块，CP表示图像块特征的维度，S表示特征块的长度，NC表示特征块的数量，HL表示局部检索分支输出图像块异常得分张量的高度，WL表示局部检索分支输出图像块异常得分张量的宽度，CL表示局部检索分支输出的图像块异常得分张量的个数，HF表示前景估计分支输出前景估计分布图的高度，WF表示前景估计分支输出前景估计分布图的宽度，Itst表示测试图像，/>表示参考图像集，Ii ref表示参考图像集中第i个图像，下文出现与上述公式相同含义的表示符，将不再赘述其含义；
本实施例方法包括以下步骤，
步骤S100：根据DenseNet201主干网络对测试图像和参考图像集进行特征提取以得到特征张量；
进一步的，测试图像和参考图像集通过以下公式表示，
，
；
其中，Itst表示测试图像，表示参考图像集，Ii ref表示参考图像集中第i个图像。
步骤S200：根据所述全局检索分支对所述特征张量进行全局检索处理得到最近邻集；
进一步的，全局检索分支具体处理过程为，
步骤S210：对每个特征张量展平以构建原始图像块特征集，将原始图像块特征集中的不同参考图像的原始图像块特征收集到目标特征集中；
具体的，原始图像块特征集表示为，
，
其中，flatten表示将多维数组转换成一维数组，表示第 i 个参考图像中的第 j个一维特征向量，HPWP是参考图像特征图的高度和宽度的乘积，其表示展开后的特征集合中特征向量的数量；
目标特征集表示为，
，
其中，表示参考图像的一维特征向量，CP表示特征通道的数量，NRHPWP表示所有参考图像特征向量的总数；其中， NR是参考图像的数量；
步骤S220：对目标特征集采用 K-means 聚类方法处理得到聚类中心集；
具体的，聚类中心集表示为，
，
其中，表示第v个聚类中心的特征向量，NC表示聚类中心的数量；
步骤S230：根据特征张量和聚类中心集得到测试图像的分块统计量，将特征张量分为若干子张量；
具体的，子张量表示为，
，
其中，u表示特征张量中特征块的行数，v表示特征张量中特征块的列数；
步骤S240：对若干子张量采用词袋模型提取子张量的统计量，估计测试图像与参考图像集之间的全局特征距离；
具体的，子张量的统计量表示为，
，
其中，表示子张量对应的直方图；
步骤S250：根据全局特征距离，检索参考图像集中的相邻参考图像，并将其存储到目标图像集中，最终得到最近邻集；
具体的，全局特征距离表示为，
，
其中，τ表示是一个用于鲁棒性的阈值，用于忽略最大的块间KL散度，以提高距离估计的鲁棒性， S2- τ表示在计算全局特征距离时排除了 τ 个最大的块间KL散度。
步骤S300：根据前景估计分支对特征张量进行前景估计处理得到前景概率映射；
进一步的，前景估计处理具体处理过程为，
步骤S310：前景估计分支对特征张量和参考图像集进行编码简化，并生成伪标签模拟前景和背景；
具体的，将特征张量对应的所有向量特征通过自定义的码本对其进行编码，然后进行编码重组形成代码图；
步骤S320：前景估计分支根据所述伪标签进行训练以得到分类器，通过分类器输出前景概率映射；
具体的，前景概率映射表示为，
；
其中，r和c表示测试图像中的位置坐标，K表示第K个测试图像中的位置坐标。
步骤S400：对局部检索分支进行特征训练，根据特征训练后的局部检索分支对最近邻集进行局部检索，得到异常分数；
进一步的，具体过程如下，
步骤S410：采用正样本、负样本和远程样本使用对比损失函数对局部检索分支进行特征训练；
具体的，对比损失函数表示为，
；
其中，Γ是样本数量, yi是样本对的标签，ηi que表示通过向正常图像添加合成的异常图像的特征，ηi ref表示从参考图像集合中提取的特征向量，m+和 m-是正负样本对的距离阈值，ωi是根据特征对的相似度和预设的平均特征距离计算的权重，b 是一个大于1的用于增加边缘样本的权重的常数；
步骤S420：将特征张量输入至特征训练后的局部检索分支中，经过局部检索分支处理后输出测试图像对应的最终张量；
具体的，最终张量表示为，
；
步骤S430：将最终张量展平为特征向量集，结合最近邻集计算相应的局部特征张量，并得到参考图像特征向量集；
具体的，特征向量集的相关行列坐标表示为，
，
其中，表示测试图像中位置的特征向量，/>表示展平之后的特征张量，r和c表示测试图像中的位置坐标；
具体的，局部特征张量表示为，
，
其中，Ij knn表示第j局部特征张量，K表示第K个局部特征张量；
步骤S440：在测试图像的每个特征向量和参考图像集的图像块特征之间通过余弦相似函数进行局部图像块特征检索，得到异常分数；
具体的，局部图像块特征检索式表示为，
，
其中，和/>表示最近邻搜索的局部区域，/>为一个预设的值，/>表示两个特征向量之间的余弦相似度；
具体的，异常分数表示为，
，
其中，表示测试图像中（r，c）位置的特征向量和对应的最近邻向量，/>表示测试图像（r，c）位置处的最小距离。
步骤S500：将前景概率映射与异常分数结合以对异常分数进行修正，得到最终异常检测结果；
进一步的，通过前景估计分支对异常分数进行上采样，结述前景概率映射通过修正算法对所述异常分数修正；
具体的，修正算法表示为，
，
其中，UpInterp表示上采样，表示异常分数，/>表示前景概率映射。
根据本实施例的一种基于图像块特征级联检索模型的异常检测方法，首先，根据图像块特征级联检索模型中的DenseNet201主干网络中对参考图像集和测试图像进行特征提取以得到和参考图像集和测试图像对应的特征张量，在得到特征张量之后，对每个特征张量展平以构建原始图像块特征集，将原始图像块特征集中不同参考图像的原始图像块特征收集到目标特征集；对目标特征集采用 K-means 聚类方法处理得到聚类中心集；根据特征张量和聚类中心集得到测试图像的分块统计量，特征张量被分为若干子张量；对若干子张量采用词袋模型提取子张量的统计量，估计测试图像与参考图像集之间的全局特征距离；根据全局特征距离，检索参考图像集中相邻参考图像，并将其存储到目标图像集作得到最近邻集；同时，图像块特征级联检索模型中的前景估计分支对特征张量和参考图像集进行编码简化，并生成伪标签模拟前景和背景；前景估计分支根据伪标签进行训练以得到分类器，通过分类器输出前景概率映射完；成上述过程之后，采用正样本、负样本和远程样本使用对比损失函数对局部检索分支进行训练；将特征张量输入至特征训练后的局部检索分支中，经过局部检索分支处理后输出测试图像对应的最终张量；将最终张量展平为特征向量集，结合最近邻集计算相应的局部特征张量，并得到参考图像的特征向量集；在测试图像的每个特征向量和参考图像集的图像块特征之间通过余弦相似函数进行局部图像块特征检索，得到异常分数；通过前景估计分支对异常分数进行上采样，结合前景概率映射通过修正算法对对异常分数进行修正以得到最终的异常检测结果，最后输出异常检测结果，完成对测试图像和参考图像集的无监督异常检测；
本实施例的异常检测方法在MVTec AD、MVTec-3D AD、BTAD三个主流工业数据集的精度超过几乎所有现有方法；在硬件规格为：i5-13600KF CPU, 32G DDR4 RAM 和 NVIDIARTX4090 GPU的情况下，
CPR（图像块特征级联检索）的标准设置实现了113FPS的推理速度，其在不同数据集上的表现如下：
在MVTec AD上，本发明的像素级缺陷检测结果的受试者工作特征曲线下面积（pixel-AUROC）为99.2%，区域间重叠度（PRO）为97.8%，平均精度（Average Precision）为82.7%。
在MVTec-3D AD上，本发明的像素级缺陷检测结果的受试者工作特征曲线下面积（pixel-AUROC）为99.1%，区域间重叠度（PRO）为96.9%，平均精度（Average Precision）为57.8%。
在BTAD上，本发明的像素级缺陷检测结果的受试者工作特征曲线下面积（pixel-AUROC）为98.4%，区域间重叠度（PRO）为85.1%，平均精度（Average Precision）为70.3%。
CPR-Fast（图像块特征级联检索模型的一种变形）算法通过降低局部检索分支（LRB）的特征维度，将运行速度提高到每秒超过360帧，其在MVTec AD数据集上的表现如下：
在MVTec AD上，本发明的像素级缺陷检测结果的受试者工作特征曲线下面积（pixel-AUROC）为99.2%，区域间重叠度（PRO）为97.7%，平均精度（Average Precision）为82.3%；
CPR-Faster（图像块特征级联检索模型的一种变形）算法通过使用EfficientNet作为骨干网络，并进一步降低LRB特征的维度，实现了每秒超过1000帧的速度，其在MVTecAD数据集上的表现如下：
在MVTec AD上，本发明的像素级缺陷检测结果的受试者工作特征曲线下面积（pixel-AUROC）为99.0%，区域间重叠度（PRO）为97.3%，平均精度（Average Precision）为80.6%。
实施例2
一种基于图像块特征级联检索模型的异常检测系统，包括以下模块，
第一获取模块，第一获取模块用于获取参考图像集和测试图像，并将参考图像集和测试图像发送至第一提取模块和第一估计模块；
第一提取模块，第一提取模块接收参考图像集和测试图像并通过预设的算法提取特征，得到特征张量，将特征张量发送至第一检索模块；
第一检索模块，第一检索模块根据预设的全局检索算法对特征张量进行处理，得到最近邻集，并将最近邻集发送至第二检索模块；
第二检索模块，第二检索模块根据预设的局部检索算法度最近邻集进行处理，得到异常分数，并将异常分数发送至第一估计模块；
第一估计模块，第一估计模块根据参考图像集和测试图像发结合预设的前景估计算法得到修正函数，根据修正函数对异常分数进行修正，输出最终的输出异常检测结果；
根据本实施例的一种基于图像块特征级联检索模型的异常检测系统，首先，将参考图像集和测试图像输入至系统，通过第一获取模块获取参考图像集和测试图像相关信息，并将获取到的参考图像集和测试图像相关信息发送至第一提取模块；第一提取模块接收到相关信息后，通过调用内部预设的算法对相关信息进行特征提取，提取出特征张量，并将特征张量发送至第一检索模块和第一估计模块，第一检索模块根据接收到的特征张量，通过调用预设的全局检索算法对特征张量进行检索处理，得到与特征张量对应的最近邻集，并将最近邻集发送至第二检索模块；第二检索模块根据接收的最近邻集，通过调用内部预设的部分检索算法对最近邻集进行部分检索处理，得到异常分数，并将异常分数发送至第一估计模块；第一估计模块首先根据接到的特征张量通过调用内部预设的前景估计算法对特征张量处理得到修正函数，之后根据接收的异常分数结合修正函数对异常分数进行修正处理，得到并输出最终的异常检测结果。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对发明的限制。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例，也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于图像块特征级联检索模型的异常检测方法，所述图像块特征级联检索模型包括DenseNet201主干网络、全局检索分支、局部检索分支和前景估计分支，其特征在于，所述方法包括，
根据所述DenseNet201主干网络对参考图像集和测试图像进行特征提取以得到特征张量；
根据所述全局检索分支对所述特征张量进行全局检索处理得到最近邻集，根据所述前景估计分支对所述特征张量进行前景估计处理得到前景概率映射；
对所述局部检索分支进行特征训练，根据特征训练后的所述局部检索分支对所述最近邻集进行局部检索后得到异常分数；
将所述前景概率映射与所述异常分数结合以对所述异常分数进行修正，得到最终异常检测结果。
2.根据权利要求1所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，所述DenseNet201主干网络、全局检索分支、局部检索分支和前景估计分支分别通过以下函数表示，
；
所述测试图像和参考图像集通过以下函数表示，
，
；
其中，ΨD表示DenseNet201主干网络函数，ΨG表示全局检索分支函数，ΨL表示局部检索分支函数，ΨF表示前景估计分支函数，I表示参考图像集和测试图像，表示DenseNet201主干网络函数输出，/>表示全局检索分支函数输出，/>表示局部检索分支函数输出，F 表示前景估计分支函数输出，/>表示实数集，H表示图像高度，W表示图像宽度，HI 表示测试图像的高度，WI表示测试图像的宽度，HP表示输出图像块特征的高度，WP表示输出图像块特征的宽度， C表示特征通道数，P表示特征块，CP表示图像块特征的维度，S表示特征块的长度，NC表示特征块的数量，HL表示局部检索分支输出图像块异常得分张量的高度，WL表示局部检索分支输出图像块异常得分张量的宽度，CL表示局部检索分支输出的图像块异常得分张量的个数，HF表示前景估计分支输出前景估计分布图的高度，WF表示前景估计分支输出前景估计分布图的宽度，Itst表示测试图像，/>表示参考图像集，Ii ref表示参考图像集中第i个图像。
3.根据权利要求1所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，所述根据所述全局检索分支对所述特征张量进行全局检索处理得到最近邻集，具体为，
对每个特征张量展平以构建原始图像块特征集，将所述原始图像块特征集中不同参考图像的原始图像块特征收集到目标特征集；
对所述目标特征集采用 K-means 聚类方法处理得到聚类中心集；
根据所述特征张量和所述聚类中心集得到所述测试图像的分块统计量，所述特征张量被分为若干子张量；
对所述若干子张量采用词袋模型提取所述子张量的统计量，估计所述测试图像与所述参考图像集之间的全局特征距离；
根据所述全局特征距离，检索所述参考图像集中相邻参考图像，并将其存储到目标图像集作得到所述最近邻集。
4.根据权利要求3所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，
所述原始图像块特征集表示为，
，
其中，flatten表示将多维数组转换成一维数组，表示第 i 个参考图像中的第 j个一维特征向量，HPWP是参考图像特征图的高度和宽度的乘积，其表示展开后的特征集合中特征向量的数量；
所述目标特征集表示为，
，
其中，表示参考图像的一维特征向量，CP表示特征通道的数量，NRHPWP表示所有参考图像特征向量的总数；其中， NR是参考图像的数量；
所述聚类中心集表示为，
，
其中，表示第v个聚类中心的特征向量，NC表示聚类中心的数量；
所述子张量表示为，
，
其中，u表示特征张量中特征块的行数，v表示特征张量中特征块的列数；
所述统计量表示为，
，
其中，表示子张量对应的直方图；
所述全局特征距离表示为，
，
其中，τ表示是一个用于鲁棒性的阈值，用于忽略最大的块间KL散度，以提高距离估计的鲁棒性， S2 - τ表示在计算全局特征距离时排除了 τ 个最大的块间KL散度。
5.根据权利要求1所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，所述根据所述前景估计分支对所述特征张量进行前景估计处理得到前景概率映射，具体为，
所述前景估计分支对所述特征张量和所述参考图像集进行编码简化，并生成伪标签模拟前景和背景；
所述前景估计分支根据所述伪标签进行训练以得到分类器，通过所述分类器输出所述前景概率映射；
所述前景概率映射表示为，
；
其中，r和c表示测试图像中的位置坐标，K表示第K个测试图像中的位置坐标。
6.根据权利要求1所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，
对所述局部检索分支进行特征训练，具体为，
采用正样本、负样本和远程样本使用对比损失函数对所述局部检索分支进行训练；
所述对比损失函数为，
；
其中，Γ是样本数量, yi是样本对的标签，ηi que 表示通过向正常图像添加合成的异常图像的特征，ηi ref表示从参考图像集合中提取的特征向量，m+和 m-是正负样本对的距离阈值，ωi是根据特征对的相似度和预设的平均特征距离计算的权重，b 是一个大于1的用于增加边缘样本的权重的常数。
7.根据权利要求1所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，所述根据特征训练后的所述局部检索分支对所述最近邻集进行局部检索后得到异常分数，具体为，
将所述特征张量输入至特征训练后的所述局部检索分支中，经过所述局部检索分支处理后输出所述测试图像对应的最终张量；
将所述最终张量展平为特征向量集，结合所述最近邻集计算相应的局部特征张量，并得到所述参考图像的特征向量集；
在所述测试图像的每个特征向量和所述参考图像集的图像块特征之间通过余弦相似函数进行局部图像块特征检索，得到所述异常分数。
8.根据权利要求7所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，所述最终张量表示为，
；
所述特征向量集的相关行列坐标表示为，
，
其中，表示测试图像中位置的特征向量，/>表示展平之后的特征张量，r和c表示测试图像中的位置坐标；
所述局部特征张量表示为，
，
其中，Ij knn表示第j局部特征张量，K表示第K局部特征张量；
所述局部图像块特征检索式为，
，
其中，和/>表示最近邻搜索的局部区域，/>为一个预设的值，表示两个特征向量之间的余弦相似度；
所述异常分数为，
，
其中，表示测试图像中（r，c）位置的特征向量和对应的最近邻向量，/>表示测试图像（r，c）位置处的最小距离。
9.根据权利要求1所述的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，将所述前景概率映射与所述异常分数结合以对所述异常分数进行修正，得到最终异常检测结果，具体为，
通过前景估计分支对所述异常分数进行上采样，结合所述前景概率映射通过修正算法对所述异常分数修正；
所述修正算法表示为，
，
其中，UpInterp表示上采样，表示异常分数，/>表示前景概率映射。
10.一种基于图像块特征级联检索模型的异常检测系统，用于实现权利要求1-9所述任意一项的一种基于图像块特征级联检索模型的异常检测方法，其特征在于，所述系统包括，
第一获取模块，所述第一获取模块用于获取参考图像集和测试图像，并将所述参考图像集和测试图像发送至第一提取模块和第一估计模块；
第一提取模块，所述第一提取模块接收所述参考图像集和测试图像并通过预设的算法提取特征，得到特征张量，将所述特征张量发送至第一检索模块；
第一检索模块，所述第一检索模块根据预设的全局检索算法对所述特征张量进行处理，得到最近邻集，并将所述最近邻集发送至第二检索模块；
第二检索模块，所述第二检索模块根据预设的局部检索算法度所述最近邻集进行处理，得到异常分数，并将所述异常分数发送至第一估计模块；
第一估计模块，所述第一估计模块根据所述参考图像集和测试图像发结合预设的前景估计算法得到修正函数，根据所述修正函数对所述异常分数进行修正，输出最终的输出异常检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410523850.3A CN118115822B (zh) | 2024-04-29 | 一种基于图像块特征级联检索模型的异常检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410523850.3A CN118115822B (zh) | 2024-04-29 | 一种基于图像块特征级联检索模型的异常检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118115822A true CN118115822A (zh) | 2024-05-31 |
| CN118115822B CN118115822B (zh) | 2024-07-02 |
Family
ID=
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120237081A1 (en) * | 2011-03-16 | 2012-09-20 | International Business Machines Corporation | Anomalous pattern discovery |
| WO2021243848A1 (zh) * | 2020-06-03 | 2021-12-09 | 枣庄学院 | 一种无线传感网异常检测方法 |
| CN115457256A (zh) * | 2021-05-19 | 2022-12-09 | 中国移动通信集团天津有限公司 | 安全设施检测方法及系统 |
| CN115512251A (zh) * | 2022-11-04 | 2022-12-23 | 深圳市瓴鹰智能科技有限公司 | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 |
| CN115810013A (zh) * | 2023-02-07 | 2023-03-17 | 苏芯物联技术(南京)有限公司 | 一种融合vit和gan的焊接异常检测方法 |
| CN115935149A (zh) * | 2022-12-05 | 2023-04-07 | 湖南大学 | 一种基于双向四分位和集成异常检测的光伏异常数据清洗的方法 |
| CN115965598A (zh) * | 2022-12-27 | 2023-04-14 | 中国民用航空飞行学院 | 基于深度学习的航空铆钉分类及异常检测方法 |
| CN116597218A (zh) * | 2023-05-22 | 2023-08-15 | 哈尔滨工业大学 | 一种病理切片图像病变分级分类检测方法 |
| WO2024021394A1 (zh) * | 2022-07-29 | 2024-02-01 | 南京邮电大学 | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 |
| CN117576079A (zh) * | 2023-12-15 | 2024-02-20 | 华中科技大学 | 一种工业产品表面异常检测方法、装置及系统 |
| CN117611901A (zh) * | 2023-11-27 | 2024-02-27 | 河海大学 | 一种基于全局和局部对比学习的小样本图像分类方法 |
| CN117746160A (zh) * | 2024-01-05 | 2024-03-22 | 江西师范大学 | 异常检测方法、装置、计算机设备及存储介质 |
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120237081A1 (en) * | 2011-03-16 | 2012-09-20 | International Business Machines Corporation | Anomalous pattern discovery |
| WO2021243848A1 (zh) * | 2020-06-03 | 2021-12-09 | 枣庄学院 | 一种无线传感网异常检测方法 |
| CN115457256A (zh) * | 2021-05-19 | 2022-12-09 | 中国移动通信集团天津有限公司 | 安全设施检测方法及系统 |
| WO2024021394A1 (zh) * | 2022-07-29 | 2024-02-01 | 南京邮电大学 | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 |
| CN115512251A (zh) * | 2022-11-04 | 2022-12-23 | 深圳市瓴鹰智能科技有限公司 | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 |
| CN115935149A (zh) * | 2022-12-05 | 2023-04-07 | 湖南大学 | 一种基于双向四分位和集成异常检测的光伏异常数据清洗的方法 |
| CN115965598A (zh) * | 2022-12-27 | 2023-04-14 | 中国民用航空飞行学院 | 基于深度学习的航空铆钉分类及异常检测方法 |
| CN115810013A (zh) * | 2023-02-07 | 2023-03-17 | 苏芯物联技术(南京)有限公司 | 一种融合vit和gan的焊接异常检测方法 |
| CN116597218A (zh) * | 2023-05-22 | 2023-08-15 | 哈尔滨工业大学 | 一种病理切片图像病变分级分类检测方法 |
| CN117611901A (zh) * | 2023-11-27 | 2024-02-27 | 河海大学 | 一种基于全局和局部对比学习的小样本图像分类方法 |
| CN117576079A (zh) * | 2023-12-15 | 2024-02-20 | 华中科技大学 | 一种工业产品表面异常检测方法、装置及系统 |
| CN117746160A (zh) * | 2024-01-05 | 2024-03-22 | 江西师范大学 | 异常检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李鹏: "基于复杂网络重构的轨道电路补偿电容异常检测", 中国博士学位论文电子期刊网, 15 January 2024 (2024-01-15) * |
| 毛雪宇;彭艳兵;: "增量角度域损失和多特征融合的地标识别", 中国图象图形学报, no. 08, 12 August 2020 (2020-08-12) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062574B (zh) | 一种基于特定类别空间约束的弱监督目标检测方法 | |
| Xu et al. | Dual-channel residual network for hyperspectral image classification with noisy labels | |
| CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络系统 | |
| CN103473545B (zh) | 一种基于多特征的文本图像相似度度量方法 | |
| CN113569756B (zh) | 异常行为检测与定位方法、系统、终端设备及可读存储介质 | |
| CN111275040A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110349176B (zh) | 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN107657276B (zh) | 一种基于寻找语义类簇的弱监督语义分割方法 | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN118115822B (zh) | 一种基于图像块特征级联检索模型的异常检测方法及系统 | |
| CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及系统 | |
| CN118115822A (zh) | 一种基于图像块特征级联检索模型的异常检测方法及系统 | |
| CN106650629A (zh) | 一种基于核稀疏表示的快速遥感目标检测识别方法 | |
| CN114581722A (zh) | 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法 | |
| CN114792300A (zh) | 一种基于多尺度注意力x光断针检测方法 | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| CN111626102A (zh) | 基于视频弱标记的双模态迭代去噪异常检测方法及终端 | |
| CN114862826B (zh) | 一种基于slic-elm的水稻病虫害显著图像提取方法 | |
| CN117612024B (zh) | 一种基于多尺度注意力的遥感图像屋顶识别方法 | |
| CN117975175B (zh) | 一种基于机器视觉的塑料管道外观缺陷检测方法 | |
| CN117152142B (zh) | 一种轴承缺陷检测模型构建方法及系统 | |
| CN117746079B (zh) | 一种高光谱图像的聚类预测方法、系统、存储介质及设备 | |
| CN117809318B (zh) | 基于机器视觉的甲骨文识别方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |