CN117474915B - 一种异常检测方法、电子设备及存储介质 - Google Patents
一种异常检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117474915B CN117474915B CN202311813060.0A CN202311813060A CN117474915B CN 117474915 B CN117474915 B CN 117474915B CN 202311813060 A CN202311813060 A CN 202311813060A CN 117474915 B CN117474915 B CN 117474915B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- detected
- network
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 230000005856 abnormality Effects 0.000 title claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004821 distillation Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 description 21
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种异常检测方法、电子设备及存储介质。方法包括：获取待测图像；将待测图像输入至经训练的图像处理模型中，以获得与待测图像对应的待测图像特征，图像处理模型包括目标网络、基于目标网络生成的局部重建网络和全局重建网络，待测图像特征包括目标网络、局部重建网络和全局重建网络各自输出的待测图像特征；利用待测图像特征，确定待测图像中是否存在异常区域。该方法可以准确地确定图像中的异常区域。
Description
技术领域
本发明涉及图像检测技术领域，更具体地涉及一种异常检测方法、一种电子设备及一种存储介质。
背景技术
工业缺陷检测是图像处理技术领域的一个重要应用方向，工业缺陷检测是指在工业应用场景中，对可能出现缺陷的产品进行检测并对产品进行异常判别，从而来区分产品的优劣性。
相关技术中，工业缺陷检测通常采用无监督的异常检测方法。该方法将训练期间预定义的一组正常样本的特征组成一个特征库，并根据聚类算法对该特征库进行压缩，以提高缺陷检测效率。但是，由于缺陷检测的精度受限于特征库的压缩率，对特征库进行压缩会导致缺陷检测的精度降低。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种异常检测方法、一种电子设备及一种存储介质。
根据本发明一方面，提供了一种异常检测方法，包括：获取待测图像；将待测图像输入至经训练的图像处理模型中，以获得与待测图像对应的待测图像特征，图像处理模型包括目标网络、基于目标网络生成的局部重建网络和全局重建网络，待测图像特征包括目标网络、局部重建网络和全局重建网络各自输出的待测图像特征；利用待测图像特征，确定待测图像中是否存在异常区域。
在上述技术方案中，通过分别利用目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征，并基于目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征确定待测图像中是否存在异常区域。该异常检测方法鲁棒性好，可以准确地确定图像中的异常区域。且该方案的目标网络、局部重建网络和全局重建网络可以并行输出，有助于提高异常检测的效率。
示例性地，利用待测图像特征，确定待测图像中是否存在异常区域，包括：基于目标网络输出的第一待测图像特征与局部重建网络输出的第二待测图像特征之间的第一目标差异以及局部重建网络输出的第三待测图像特征和全局重建网络输出的第四待测图像特征之间的第二目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。
上述技术方案通过基于第一目标差异和第二目标差异执行异常区域确定操作，可以较为准确地确定待测图像中是否存在异常区域。
示例性地，利用待测图像特征，确定待测图像中是否存在异常区域，包括：基于目标网络输出的第一待测图像特征与局部重建网络输出的第二待测图像特征之间的第一目标差异以及目标网络输出的第一待测图像特征与全局重建网络输出的第四待测图像特征之间的第三目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。
上述技术方案通过基于第一目标差异和第三目标差异执行异常区域确定操作，可以基于目标网络与局部重建网络各自输出的待测图像特征间的差异以及目标网络与全局重建网络各自输出的待测图像特征之间的差异，较为准确地确定待测图像中是否存在异常区域。
示例性地，利用待测图像特征，确定待测图像中是否存在异常区域，包括：基于目标网络输出的第一待测图像特征与局部重建网络输出的第二待测图像特征之间的第一目标差异、局部重建网络输出的第三待测图像特征和全局重建网络输出的第四待测图像特征之间的第二目标差异以及目标网络输出的第一待测图像特征与全局重建网络输出的第四待测图像特征之间的第三目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。
上述技术方案通过基于第一目标差异、第二目标差异和第三目标差异执行异常区域确定操作，可以同时基于目标网络与局部重建网络各自输出的待测图像特征间的差异、局部重建网络与全局重建网络各自输出的待测图像特征之间的差异以及目标网络与全局重建网络各自输出的待测图像特征之间的差异，较为准确地确定待测图像中是否存在异常区域。
示例性地，目标网络、局部重建网络和全局重建网络各自输出的图像特征的维度相同；图像处理模型至少采用无异常的样本图像进行训练，并在采用无异常的样本图像训练时，使局部重建网络输出的图像特征中的至少部分局部区域的特征值学习目标网络输出的图像特征中的至少部分局部区域的特征值，并使全局重建网络输出的图像特征的全部区域的特征值学习目标网络输出的图像特征的全部区域的特征值。
上述技术方案可以利用目标网络、局部重建网络和全局重建网络各自输出的图像特征，较为准确地确定待测图像中是否存在异常区域。
示例性地，异常区域确定操作，包括：基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数；基于参与异常区域确定操作的每个目标差异各自对应的异常分数，确定待测图像的总异常分数；基于总异常分数，确定待测图像中是否存在异常区域。
在上述技术方案中，利用基于参与异常区域确定操作的每个目标差异各自对应的异常分数确定总异常分数，并基于总异常分数确定待测图像中是否存在异常区域。该方案有助于准确确定待测图像中是否存在异常区域。
示例性地，参与异常区域确定操作的每个待测图像特征各自包括与预设数量个通道一一对应的预设数量个第一特征图，每个第一特征图上包括多个第一特征图区域；多个第一特征图区域具有一一对应的多个特征向量，每个特征向量包括预设数量个第一特征图各自属于对应第一特征图区域的特征点的特征值；基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数，包括：对于多个第一特征图区域中的每个第一特征图区域，基于该目标差异对应的两个待测图像特征各自与该第一特征图区域对应的特征向量之间的差异，确定该目标差异在该第一特征图区域处所对应的子异常分数，其中，该目标差异所对应的异常分数包括该目标差异分别在多个第一特征图区域处对应的子异常分数；异常区域确定操作包括：对于多个第一特征图区域中的每个第一特征图区域，基于参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数，确定该第一特征图区域的总子异常分数，其中，总异常分数包括多个第一特征图区域各自对应的总子异常分数。
在上述方案中，目标差异所对应的异常分数包括该目标差异分别在多个第一特征图区域处对应的子异常分数，通过分别确定每个第一特征图区域对应的子异常分数，可以较为准确地确定第一特征图区域对应的总子异常分数以及待测图像的总异常分数，从而有助于准确地确定待测图像中是否存在异常区域。
示例性地，基于参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数，确定该第一特征图区域的总子异常分数，包括：对参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数进行加权求和，以确定该第一特征图区域的总子异常分数。
在上述技术方案中，通过对参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数进行加权求和，可以较为准确地确定第一特征图区域的总子异常分数，从而可以为后续确定待测图像是否存在异常区域的步骤提供较为准确地依据。
示例性地，多个第一特征图区域与待测图像上的多个待测图像区域一一对应，基于总异常分数，确定待测图像中是否存在异常区域，包括：对于多个第一特征图区域中的每个第一特征图区域，判断该第一特征图区域的总子异常分数是否大于异常分数阈值；在该第一特征图区域的总子异常分数大于异常分数阈值时，确定该第一特征图区域对应的待测图像区域为异常区域。
上述技术方案通过将总子异常分数与异常分数阈值对比，可以快速且准确地确定待测图像中的异常区域。
示例性地，经训练的图像处理模型通过以下模型训练操作训练得到：获取第一样本图像，第一样本图像为无异常的图像；将第一样本图像输入到待训练的图像处理模型中，以获得与第一样本图像对应的样本图像特征，样本图像特征包括目标网络输出的第一样本图像特征以及全局重建网络输出的第四样本图像特征并包括局部重建网络输出的第二样本图像特征和/或局部重建网络输出的第三样本图像特征；将第一样本图像特征和第二样本图像特征输入到第一损失函数中，以获得第一损失值；将第一样本图像特征与第四样本图像特征输入到第二损失函数中，以获得第二损失值，和/或，将第三样本图像特征与第四样本图像特征输入到第三损失函数中，以获得第三损失值；基于第一损失值并基于第二损失值和/或第三损失值，优化局部重建网络和全局重建网络的参数，以获得经训练的图像处理模型。
上述技术方案通过利用无异常的图像对图像处理模型进行训练，可以使局部重建网络和全局重建网络则仅能够输出正常的图像特征，从而可以利用目标网络、局部重建网络和全局重建网络各自输出的图像特征，确定待测图像中是否存在异常区域。
示例性地，第一样本图像特征和第二样本图像特征各自包括与预设数量个通道一一对应的预设数量个第二特征图，每个第二特征图上包括多个第二特征图区域；多个第二特征图区域具有一一对应的多个特征向量，每个特征向量包括预设数量个第二特征图各自属于对应第二特征图区域的特征点的特征值；将第一样本图像特征和第二样本图像特征输入到第一损失函数中，以获得第一损失值，包括：对于多个第二特征图区域中的每个第二特征图区域，基于第一样本图像特征中与该第二特征图区域对应的特征向量与第二样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第一子损失值，其中，第一损失值包括多个第二特征图区域各自对应的第一子损失值中的部分第一子损失值。
在上述技术方案中，通过基于第一样本图像特征中与该第二特征图区域对应的特征向量与第二样本图像特征中与该第二特征图区域对应的特征向量之间的差异，可以较为确定该第二特征图区域所对应的第一子损失值，从而有助于准确地确定第一损失值，进而有助于保证对图像处理模型的训练效果。
示例性地，第四样本图像特征各自包括与预设数量个通道一一对应的预设数量个第二特征图；将第一样本图像特征与第四样本图像特征输入到第二损失函数中，以获得第二损失值，包括：对于多个第二特征图区域中的每个第二特征图区域，基于第一样本图像特征中与该第二特征图区域对应的特征向量与第四样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第二子损失值，其中，第二损失值包括多个第二特征图区域各自对应的第二子损失值；和/或，第三样本图像特征和第四样本图像特征各自包括与预设数量个通道一一对应的预设数量个第一特征图，将第三样本图像特征与第四样本图像特征输入到第三损失函数中，以获得第三损失值，包括：对于多个第二特征图区域中的每个第二特征图区域，基于第三样本图像特征中与该第二特征图区域对应的特征向量与第四样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第三子损失值，其中，第三损失值包括多个第二特征图区域各自对应的第三子损失值。
上述技术方案可以较为准确地确定第二损失值和/或第三损失值，从而有助于更为合理地优化局部重建网络和全局重建网络的参数，保证对图像处理模型的训练效果。该方案有助于进一步提高异常检测的准确性和鲁棒性。
示例性地，模型训练操作还包括：获取第二样本图像，第二样本图像的图像信息与第一样本图像的图像信息不同；将第二样本图像输入到待训练的图像处理模型中的局部重建网络中，以获得局部重建网络的第一输出头输出的第五样本图像特征；基于第五样本图像特征，优化局部重建网络和全局重建网络的参数，以使得第五样本图像特征的值处于预设范围内。
上述技术方案通过使第五样本图像特征的值处于预设范围内，可以防止局部重建网络学习到第一样本图像外的图像特征，从而有助于防止局部重建网络输出异常区域的特征。该方案有助于提高异常检测的精度。
示例性地，目标网络是利用模型蒸馏技术得到的轻量化网络。
在该示例的方案中，可以通过模型蒸馏技术得到轻量化的网络结构，从而可以在保证特征提取精度的前提下，提高网络运行速度。该方案有助于提高异常检测效率。
示例性地，全局重建网络的网络结构为编码-解码结构。
该方案通过采用编码-解码结构的全局重建网络，有助于快速且准确的获得全局重建网络输出的图像特征。
根据本发明的另一方面，提供一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述的异常检测方法。
在上述技术方案中，通过分别利用目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征，并基于目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征确定待测图像中是否存在异常区域。该异常检测方法鲁棒性好，可以准确地确定图像中的异常区域。且该方案的目标网络、局部重建网络和全局重建网络可以并行输出，有助于提高异常检测的效率。
根据本发明的又一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述的异常检测方法。
在上述技术方案中，通过分别利用目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征，并基于目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征确定待测图像中是否存在异常区域。该异常检测方法鲁棒性好，可以准确地确定图像中的异常区域。且该方案的目标网络、局部重建网络和全局重建网络可以并行输出，有助于提高异常检测的效率。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出根据本申请一个实施例的异常检测算法的示意性流程图；
图2示出根据本申请一个实施例的模型训练操作的示意图；以及
图3示出根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
工业缺陷检测是图像处理技术领域的一个重要应用方向。目前，工业领域异常检测算法通常采用无监督算法，该算法无需收集缺陷数据集即可完成缺陷的检出，避免了低频缺陷数据集收集困难，未知类别缺陷难拦截的问题，并在缺陷数据集不足的情况下，能够很好的解决检出问题，有效减少了项目周期，更加快速的给企业带来生产环节上的效益增长。其中，异常检测方法可以采用以下算法中的任意一种实现：Patchcore算法、CSlow算法、DFM算法、DRAEM算法、FastFlow算法、GANomaly算法、PADIM算法等。以Patchcore算法为例，该算法通过基于ImageNet上训练的预训练模型，提取图像中的中层特征，并利用所提取的中层特征形成特征库，在进行缺陷检测时，通过将待处理图像的特征与特征库中存储的特征进行匹配搜索，以确定待处理图像中是否存在异常区域。相关技术中，为提高缺陷检测的效率，通常会利用诸如聚类算法等对特征库进行压缩。但是，对特征库进行压缩会导致特征库中样本特征的数量减少。特征库中的样本特征的数量减少则会导致缺陷检测的精度下降。换言之，缺陷检测的精度受限于特征库的压缩率，随着特征库的压缩率的增大，缺陷检测的精度会降低。综上，相关技术中的缺陷检测方法精度较差。有鉴于此，本申请提供了一种异常检测方法、一种电子设备以及一种存储介质，该方法有助于提高图像检测的精度。该异常检测方法、电子设备和存储介质在下文详细描述。
根据本发明实施例的一个方面，提供了一种异常检测方法。图1示出根据本申请一个实施例的异常检测算法的示意性流程图。如图1所示，异常检测方法100可以包括步骤S110、步骤S120和步骤S130。
在步骤S110，获取待测图像。
根据本发明实施例的待测图像可以是任何待缺陷检测对象的图像。换言之，在待测图像中可以包括待缺陷检测的目标对象。待缺陷检测的目标对象可以是任何合适的物体，包括但不限于金属、玻璃、纸张、电子元器件等对外观有严格要求又有明确指标的物体等，本申请不对其进行限制。
示例性地，待测图像可以是黑白图像，也可以是彩色图像。示例性地，待测图像可以是任意尺寸或分辨率大小的图像。替代地，待测图像也可以是满足预设分辨率要求的图像。在一个示例中，待测图像可以是具有512*512像素大小的黑白图像。对于待测图像的要求可以基于实际的检测需求、图像采集装置的硬件条件以及模型（例如下文的图像处理模型）对输入图像的要求等进行设置，本申请不对其进行限制。
示例性地，待测图像可以是通过图像采集装置采集到的原始图像。根据本发明实施例，可以采用任何现有的或者未来的图像采集方式获取待测图像。示例性地，可以采用机器视觉检测系统中的图像采集装置获取待测图像，如采用与检测环境和待检测对象匹配的照明装置、镜头、高速相机和图像采集卡获取待测图像。
在另一示例中，待测图像可以是对原始图像进行预处理操作后的图像。
示例性地，该预处理操作可以是任何可以满足后续图像检测步骤需要的预处理操作，可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征等便于对待测图像进行图像检测的所有操作。可选地，预处理操作可以包括滤波等去噪操作，也可以包括图像参数的调整如图像增强灰度、对比度、亮度的调整。替代地，预处理操作可以包括对待测图像的像素归一化处理。例如，可以将待测图像的每个像素均除以255，以使预处理后的待测图像的像素处于0-1范围内。这有助于提高后续图像检测的效率。
示例性地，预处理操作还可以包括裁剪图像、删除图像等操作。例如，可以将原始图像裁剪为模型需求的大小，还可以删除不满足图像质量要求的原始图像，以获得满足图像质量要求的待测图像等。
示例性地，待测图像的数目可以是1张也可以是多张。可选地，待测图像的数目为1张，例如每次仅获取一张待测图像。替代地，待测图像的数目可以为多张，例如10张、500张，可以一次性获取多张待测图像，然后将其一次性输入后续的模型中进行异常检测。
在步骤S120，将待测图像输入至经训练的图像处理模型中，以获得与待测图像对应的待测图像特征，图像处理模型包括目标网络、基于目标网络生成的局部重建网络和全局重建网络，待测图像特征包括目标网络、局部重建网络和全局重建网络各自输出的待测图像特征。
可选地，目标网络可以是现有的或将有的任意一种用于特征提取的神经网络。例如，该神经网络可以是卷积神经网络（CNN）、深度神经网络（DNN）等中的任意一种。在一个具体的实施例中，该神经网络可以是resnet网络。在另一个具体实施例中，目标网络可以是通过在ImageNet数据集上预训练权重得到的预训练网络。
示例性地，目标网络是利用模型蒸馏技术得到的轻量化网络。在该示例的方案中，可以通过模型蒸馏技术得到轻量化的网络结构，从而可以在保证特征提取精度的前提下，提高网络运行速度。该方案有助于提高异常检测效率。
可选地，与目标网络类似，局部重建网络也可以是现有的或将有的任意一种用于特征提取的神经网络。示例性地，局部网络的主干网络（backbone）可以与目标网络相同。
可选地，局部重建网络的输出头数量可以根据需要设置。例如，可以根据输出的特征数量确定。例如，在局部重建网络的输出特征仅为一个时，输出头的数量可以为一个。在局部重建网络的输出特征为两个时，输出头的数量可以为两个。
示例性地，全局重建网络的网络结构为编码-解码结构。在一个具体的实施例中，该编码-解码结构可以是U-Net中的编码-解码结构。该方案通过采用编码-解码结构的全局重建网络，有助于快速且准确的获得全局重建网络输出的图像特征。
在步骤S130，利用待测图像特征，确定待测图像中是否存在异常区域。
在获得待测图像特征后，可以对比目标网络、局部重建网络和全局重建网络各自输出的待测图像特征，从而判断待测图像中是否存在异常区域。例如，可以利用不同网络输出的待测图像特征间的差异，确定待测图像中是否存在异常区域。
在上述技术方案中，通过分别利用目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征，并基于目标网络、局部重建网络和全局重建网络输出待测图像的待测图像特征确定待测图像中是否存在异常区域。该异常检测方法鲁棒性好，可以准确地确定图像中的异常区域。且该方案的目标网络、局部重建网络和全局重建网络可以并行输出，有助于提高异常检测的效率。
示例性地，利用待测图像特征，确定待测图像中是否存在异常区域，包括：基于目标网络输出的第一待测图像特征与局部重建网络输出的第二待测图像特征之间的第一目标差异以及局部重建网络输出的第三待测图像特征和全局重建网络输出的第四待测图像特征之间的第二目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。
在该示例的方案中，可以首先计算第一目标差异和第二目标差异，然后基于第一目标差异和第二目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。可选地，该异常区域确定操作可以包括：分别将第一目标差异和第二目标差异与对应的差异阈值做对比，在其中任意一个目标差异大于差异阈值时，确定待测图像中存在异常区域。可选地，该异常区域确定操作可以包括：将基于第一目标差异和第二目标差异确定的总差异与总差异阈值做对比，在总差异大于总差异阈值时，确定待测图像中存在异常区域。
可以理解，第一目标差异可以表示为目标网络与局部重建网络各自输出的待测图像特征间的差异，第二目标差异可以表示为局部重建网络与全局重建网络各自输出的待测图像特征之间的差异。上述技术方案通过基于第一目标差异和第二目标差异执行异常区域确定操作，可以较为准确地确定待测图像中是否存在异常区域。
示例性地，利用待测图像特征，确定待测图像中是否存在异常区域，包括：基于目标网络输出的第一待测图像特征与局部重建网络输出的第二待测图像特征之间的第一目标差异以及目标网络输出的第一待测图像特征与全局重建网络输出的第四待测图像特征之间的第三目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。
在该示例的方案中，可以首先计算第一目标差异和第三目标差异。可以理解，第一目标差异可以表示为目标网络与局部重建网络各自输出的待测图像特征间的差异，第三目标差异可以表示为目标网络与全局重建网络各自输出的待测图像特征之间的差异。在得到第一目标差异和第三目标差异后，可以基于第一目标差异和第三目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。可选地，该异常区域确定操作可以包括：分别将第一目标差异和第三目标差异与对应的差异阈值做对比，在其中任意一个目标差异大于差异阈值时，确定待测图像中存在异常区域。可选地，该异常区域确定操作可以包括：将基于第一目标差异和第三目标差异确定的总差异与总差异阈值做对比，在总差异大于总差异阈值时，确定待测图像中存在异常区域。
上述技术方案通过基于第一目标差异和第三目标差异执行异常区域确定操作，可以基于目标网络与局部重建网络各自输出的待测图像特征间的差异以及目标网络与全局重建网络各自输出的待测图像特征之间的差异，较为准确地确定待测图像中是否存在异常区域。
示例性地，利用待测图像特征，确定待测图像中是否存在异常区域，包括：基于目标网络输出的第一待测图像特征与局部重建网络输出的第二待测图像特征之间的第一目标差异、局部重建网络输出的第三待测图像特征和全局重建网络输出的第四待测图像特征之间的第二目标差异以及目标网络输出的第一待测图像特征与全局重建网络输出的第四待测图像特征之间的第三目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。
在该示例的方案中，可以首先计算第一目标差异、第二目标差异和第三目标差异。如上文所述，第一目标差异可以表示为目标网络与局部重建网络各自输出的待测图像特征间的差异，第二目标差异可以表示为局部重建网络与全局重建网络各自输出的待测图像特征之间的差异，第三目标差异可以表示为目标网络与全局重建网络各自输出的待测图像特征之间的差异。在得到第一目标差异、第二目标差异和第三目标差异后，可以基于第一目标差异、第二目标差异和第三目标差异，执行异常区域确定操作，以确定待测图像中是否存在异常区域。可选地，该异常区域确定操作可以包括：分别将第一目标差异、第二目标差异和第三目标差异与对应的差异阈值做对比，在其中任意一个目标差异大于差异阈值时，确定待测图像中存在异常区域。可选地，该异常区域确定操作可以包括：将基于第一目标差异、第二目标差异和第三目标差异确定的总差异与总差异阈值做对比，在总差异大于总差异阈值时，确定待测图像中存在异常区域。
上述技术方案通过基于第一目标差异、第二目标差异和第三目标差异执行异常区域确定操作，可以同时基于目标网络与局部重建网络各自输出的待测图像特征间的差异、局部重建网络与全局重建网络各自输出的待测图像特征之间的差异以及目标网络与全局重建网络各自输出的待测图像特征之间的差异，较为准确地确定待测图像中是否存在异常区域。
示例性地，目标网络、局部重建网络和全局重建网络各自输出的图像特征的维度相同；图像处理模型至少采用无异常的样本图像进行训练，并在采用无异常的样本图像训练时，使局部重建网络输出的图像特征中的至少部分局部区域的特征值学习目标网络输出的图像特征中的至少部分局部区域的特征值，并使全局重建网络输出的图像特征的全部区域的特征值学习目标网络输出的图像特征的全部区域的特征值。
在该示例的方案中，目标网络、局部重建网络和全局重建网络各自输出的图像特征的维度相同。换言之，目标网络、局部重建网络和全局重建网络可以均输出维度为c*w*h的待测图像特征。其中，c为待测图像特征的通道数量，w为待测图像特征的宽，h为待测图像特征的高。通过使目标网络、局部重建网络和全局重建网络，可以便于将不同网络输出的待测图像特征进行对比，有助于提高异常检测的速度和精度。
在该示例的方案中，图像处理模型至少采用无异常的样本图像进行训练。可以理解，由于训练时所采用的样本图像均为无异常的样本图像，因此在利用图像处理模型中的局部重建网络和全局重建网络输出待测图像特征时，局部重建网络和全局重建网络无法重建待测图像中的异常区域对应的待测图像特征，由此，可以实现对待测图像中的异常区域的检出。
总之，上述技术方案可以利用目标网络、局部重建网络和全局重建网络各自输出的图像特征，较为准确地确定待测图像中是否存在异常区域。
示例性地，异常区域确定操作，包括：基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数；基于参与异常区域确定操作的每个目标差异各自对应的异常分数，确定待测图像的总异常分数；基于总异常分数，确定待测图像中是否存在异常区域。
可选地，异常分数可以是该目标差异对应的两个待测图像特征间的欧式距离。替代地，异常分数也可以是基于该目标差异对应的两个待测图像特征间的欧式距离以及预设换算关系确定的分数。该预设换算关系可以通过预先实验测试得到。
可选地，在参与异常区域确定操作的目标差异为第一目标差异和第二目标差异时，基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数，可以包括以下步骤：基于第一目标差异，确定第一异常分数；基于第二目标差异，确定第二异常分数。
基于参与异常区域确定操作的每个目标差异各自对应的异常分数，确定待测图像的总异常分数，可以包括以下步骤：基于第一异常分数和第二异常分数，确定待测图像的总异常分数。
可选地，在参与异常区域确定操作的目标差异为第一目标差异和第三目标差异时，基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数，可以包括以下步骤：基于第一目标差异，确定第一异常分数；基于第三目标差异，确定第三异常分数。
基于参与异常区域确定操作的每个目标差异各自对应的异常分数，确定待测图像的总异常分数，可以包括以下步骤：基于第一异常分数和第三异常分数，确定待测图像的总异常分数。
可选地，在参与异常区域确定操作的目标差异为第一目标差异、第二目标差异和第三目标差异时，基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数，可以包括以下步骤：基于第一目标差异，确定第一异常分数；基于第二目标差异，确定第二异常分数；基于第三目标差异，确定第三异常分数。
基于参与异常区域确定操作的每个目标差异各自对应的异常分数，确定待测图像的总异常分数，可以包括以下步骤：基于第一异常分数、第二异常分数和第三异常分数，确定待测图像的总异常分数。
在得到待测图像的总异常分数后，可以基于待测图像的总异常分数确定待测图像中是否存在异常区域。例如，可以直接将该总异常分数与异常分数阈值对比，在总异常分数大于异常分数阈值时，确定待测图像中存在异常区域。又例如，可以将待测图像分为多个图像区域，总异常分数可以包括与各图像区域各自对应的总子异常分数，可以将各总子异常分数与异常分数阈值对比，在总子异常分数大于异常分数阈值时，确定该总子异常分数对应的图像区域为异常区域。
在上述技术方案中，利用基于参与异常区域确定操作的每个目标差异各自对应的异常分数确定总异常分数，并基于总异常分数确定待测图像中是否存在异常区域。该方案有助于准确确定待测图像中是否存在异常区域。
示例性地，参与异常区域确定操作的每个待测图像特征各自包括与预设数量个通道一一对应的预设数量个第一特征图，每个第一特征图上包括多个第一特征图区域；多个第一特征图区域具有一一对应的多个特征向量，每个特征向量包括预设数量个第一特征图各自属于对应第一特征图区域的特征点的特征值；
基于参与异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数，包括：对于多个第一特征图区域中的每个第一特征图区域，基于该目标差异对应的两个待测图像特征各自与该第一特征图区域对应的特征向量之间的差异，确定该目标差异在该第一特征图区域处所对应的子异常分数，其中，该目标差异所对应的异常分数包括该目标差异分别在多个第一特征图区域处对应的子异常分数。
异常区域确定操作包括：对于多个第一特征图区域中的每个第一特征图区域，基于参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数，确定该第一特征图区域的总子异常分数，其中，总异常分数包括多个第一特征图区域各自对应的总子异常分数。
可选地，可以基于预设划分规则将第一特征图划分为多个第一特征图区域。例如，在第一特征图的大小为20*10时，可以将第一特征图上的每个1*1的区域作为一个第一特征图区域。在该实施例中，第一特征图包括200个第一特征图区域。
如上文所述，每个特征向量包括预设数量个第一特征图各自属于对应第一特征图区域的特征点的特征值。换言之，每个特征向量包括与待测图像特征的通道数量相同的特征值。例如，若通道数量c=5，则每个特征向量包括5个特征值。
示例性地，每个第一特征图区域对应的子异常分数可以采用以下公式确定：
其中，待测图像特征的维度为c*h*w。A和B为该目标差异对应的两个待测图像特征各自与该第一特征图区域对应的特征向量，F为子异常分数。
可选地，目标差异为第一目标差异时，第一目标差异对应的第一子异常分数可以采用以下公式确定：/>
其中，T表示第一待测图像特征与该第一特征图区域对应的特征向量，表示第二待测图像特征与该第一特征图区域对应的特征向量。
可选地，目标差异为第二目标差异时，第二目标差异对应的第二子异常分数可以采用以下公式确定：
其中，G表示第三待测图像特征与该第一特征图区域对应的特征向量，表示第四待测图像特征与该第一特征图区域对应的特征向量。
可选地，目标差异为第三目标差异时，第三目标差异对应的第三子异常分数可以采用以下公式确定：
。
在上述方案中，目标差异所对应的异常分数包括该目标差异分别在多个第一特征图区域处对应的子异常分数，通过分别确定每个第一特征图区域对应的子异常分数，可以较为准确地确定第一特征图区域对应的总子异常分数以及待测图像的总异常分数，从而有助于准确地确定待测图像中是否存在异常区域。
示例性地，基于参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数，确定该第一特征图区域的总子异常分数，包括：对参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数进行加权求和，以确定该第一特征图区域的总子异常分数。
可选地，各个目标差异对应的子异常分数的加权系数可以根据需要设置。例如，可以通过预先实验确定各个目标差异对应的子异常分数的加权系数。
可选地，在参与异常区域确定操作的目标差异为第一目标差异和第二目标差异时，总子异常分数可以采用以下公式确定：
其中，和/>为加权系数。/>和/>均处于[0,1]的范围内。
可选地，在参与异常区域确定操作的目标差异为第一目标差异和第三目标差异时，总子异常分数可以采用以下公式确定：
。
可选地，在参与异常区域确定操作的目标差异为第一目标差异和第二目标差异时，总子异常分数可以采用以下公式确定：
其中，γ为加权系数，γ处于[0,1]的范围内。
在上述技术方案中，通过对参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数进行加权求和，可以较为准确地确定第一特征图区域的总子异常分数，从而可以为后续确定待测图像是否存在异常区域的步骤提供较为准确地依据。
示例性地，多个第一特征图区域与待测图像上的多个待测图像区域一一对应，基于总异常分数，确定待测图像中是否存在异常区域，包括：对于多个第一特征图区域中的每个第一特征图区域，判断该第一特征图区域的总子异常分数是否大于异常分数阈值；在该第一特征图区域的总子异常分数大于异常分数阈值时，确定该第一特征图区域对应的待测图像区域为异常区域。
可选地，异常分数阈值可以根据需要设置。例如，异常分数阈值可以为经验值。又例如，异常分数阈值可以是通过实验确定的理论值。
可选地，不同第一特征图区域对应的异常分数阈值可以不同。例如，可以根据用户的需要将第一特征图区域对应的待测图像区域划分为不同的等级，不同等级对应不同大小的异常分数阈值。具体例如，对于用户重点关注的待测图像区域，可以设置较小的异常分数阈值。替代地，不同第一特征图区域对应的异常分数阈值可以相同。在该实施例中，仅需要设置一个异常分数阈值，由此，有利于提高效率。
上述技术方案通过将总子异常分数与异常分数阈值对比，可以快速且准确地确定待测图像中的异常区域。
示例性地，经训练的图像处理模型通过以下模型训练操作训练得到：获取第一样本图像，第一样本图像为无异常的图像；将第一样本图像输入到待训练的图像处理模型中，以获得与第一样本图像对应的样本图像特征，样本图像特征包括目标网络输出的第一样本图像特征以及全局重建网络输出的第四样本图像特征并包括局部重建网络输出的第二样本图像特征和/或局部重建网络输出的第三样本图像特征；将第一样本图像特征和第二样本图像特征输入到第一损失函数中，以获得第一损失值；将第一样本图像特征与第四样本图像特征输入到第二损失函数中，以获得第二损失值，和/或，将第三样本图像特征与第四样本图像特征输入到第三损失函数中，以获得第三损失值；基于第一损失值并基于第二损失值和/或第三损失值，优化局部重建网络和全局重建网络的参数，以获得经训练的图像处理模型。
如上文所述，在训练过程中，仅优化局部重建网络和全局重建网络的参数，对于目标网络的参数，则不进行调整。换言之，在模型训练操作过程中，可以预先冻结目标网络的参数。由此，在经训练的图像处理模型中，目标网络既可以输出正常的图像特征，也可以输出异常的图像特征。而局部重建网络和全局重建网络则仅能够输出正常的图像特征。基于此，可以利用经训练的图像处理模型输出的待测图像特征，确定待测图像中是否存在异常区域。
在一些实施例中，可以基于第一损失值和第二损失值，优化局部重建网络和全局重建网络的参数。在另一些实施例中，可以基于第一损失值和第三损失值优化局部重建网络和全局重建网络的参数。在又一些实施例中，可以基于第一损失值、第二损失值和第三损失值，优化局部重建网络和全局重建网络的参数。
上述技术方案通过利用无异常的图像对图像处理模型进行训练，可以使局部重建网络和全局重建网络则仅能够输出正常的图像特征，从而可以利用目标网络、局部重建网络和全局重建网络各自输出的图像特征，确定待测图像中是否存在异常区域。
示例性地，第一样本图像特征和第二样本图像特征各自包括与预设数量个通道一一对应的预设数量个第二特征图，每个第二特征图上包括多个第二特征图区域；多个第二特征图区域具有一一对应的多个特征向量，每个特征向量包括预设数量个第二特征图各自属于对应第二特征图区域的特征点的特征值。
将第一样本图像特征和第二样本图像特征输入到第一损失函数中，以获得第一损失值，包括：对于多个第二特征图区域中的每个第二特征图区域，基于第一样本图像特征中与该第二特征图区域对应的特征向量与第二样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第一子损失值，其中，第一损失值包括多个第二特征图区域各自对应的第一子损失值中的部分第一子损失值。
可选地，部分第一子损失值可以是多个第一子损失值中较大的部分子损失值。例如，可以按照从大到小的顺序从多个第一子损失值中选取预设数量个第一子损失值。该预设数量可以根据需要设置。例如，可以是第一子损失值总数量的0.1%。在该可选方案中，选取较大的第一子损失值作为第一损失值，由此，可以使局部重建网络可以更为准确地输出图像的局部信息，从而有助于提高局部重建网络输出的正常图像特征的准确性。
可选地，第一损失值可以通过以下公式确定：
其中，为第一子损失值，/>表示按照从大到小的顺序，取前0.1%的值，mean()为平均值函数。
在上述技术方案中，通过基于第一样本图像特征中与该第二特征图区域对应的特征向量与第二样本图像特征中与该第二特征图区域对应的特征向量之间的差异，可以较为确定该第二特征图区域所对应的第一子损失值，从而有助于准确地确定第一损失值，进而有助于保证对图像处理模型的训练效果。
示例性地，第四样本图像特征各自包括与预设数量个通道一一对应的预设数量个第二特征图；将第一样本图像特征与第四样本图像特征输入到第二损失函数中，以获得第二损失值，包括：对于多个第二特征图区域中的每个第二特征图区域，基于第一样本图像特征中与该第二特征图区域对应的特征向量与第四样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第二子损失值，其中，第二损失值包括多个第二特征图区域各自对应的第二子损失值；和/或，第三样本图像特征和第四样本图像特征各自包括与预设数量个通道一一对应的预设数量个第一特征图，将第三样本图像特征与第四样本图像特征输入到第三损失函数中，以获得第三损失值，包括：对于多个第二特征图区域中的每个第二特征图区域，基于第三样本图像特征中与该第二特征图区域对应的特征向量与第四样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第三子损失值，其中，第三损失值包括多个第二特征图区域各自对应的第三子损失值。
可选地，第二损失值可以通过以下公式确定：
。/>
可选地，第三损失值可以通过以下公式确定：
。
可选地，模型训练操作还可以包括以下步骤：确定总损失值。
可选地，在基于第一损失值和第二损失值，优化局部重建网络和全局重建网络的参数时，总损失值可以基于第一损失值和第二损失值确定，例如，总损失值可以是第一损失值和第二损失值的和。具体例如，总损失值可以通过以下公式确定：
。
可选地，在基于第一损失值和第三损失值优化局部重建网络和全局重建网络的参数时，总损失值可以基于第一损失值和第三损失值确定，例如，总损失值可以是第一损失值和第三损失值的和。具体例如，总损失值可以通过以下公式确定：
。
可选地，在基于第一损失值、第二损失值和第三损失值，优化局部重建网络和全局重建网络的参数时，总损失值可以基于第一损失值、第二损失值和第三损失值确定，例如，总损失值可以是第一损失值和第三损失值的和。具体例如，总损失值可以通过以下公式确定：
。
上述技术方案可以较为准确地确定第二损失值和/或第三损失值，从而有助于更为合理地优化局部重建网络和全局重建网络的参数，保证对图像处理模型的训练效果。该方案有助于进一步提高异常检测的准确性和鲁棒性。
示例性地，模型训练操作还包括：获取第二样本图像，第二样本图像的图像信息与第一样本图像的图像信息不同；将第二样本图像输入到待训练的图像处理模型中的局部重建网络中，以获得局部重建网络的第一输出头输出的第五样本图像特征；基于第五样本图像特征，优化局部重建网络和全局重建网络的参数，以使得第五样本图像特征的值处于预设范围内。
可选地，第二样本图像可以是任意一种与第一样本图像的图像信息不同的图像。在一些实施例中，可以从ImageNet图像集中选取第二样本图像。在另一些实施例中，可以从COCO数据集中选取第二样本图像。
如上文所述，可以基于第五样本图像特征，优化局部重建网络和全局重建网络的参数，以使得第五样本图像特征的值处于预设范围内。换言之，可以通过优化局部重建网络和全局重建网络的参数，使第五样本图像特征的值接近常数。由此，可以防止局部重建网络学习到第一样本图像外的图像特征，从而有助于防止局部重建网络输出异常区域的特征。该方案有助于提高异常检测的精度。
可选地，可以将第五样本图像特征的值作为第一损失值的惩罚项，以基于第五样本图像特征，优化局部重建网络和全局重建网络的参数。在该实施例中，第一损失值可以通过以下公式确定：
/>
其中，为第五样本图像特征。
图2示出根据本申请一个实施例的模型训练操作的示意图。如图2所示，图像处理模型包括目标网络、局部重建网络和全局重建网络。目标网络为预训练网络，且目标网络的权重被冻结，即在模型训练过程中，目标网络不参与反向传播。在执行模型训练操作时，可以首先将第一样本图像分别输入到目标网络、局部重建网络和全局重建网络中，并将第二样本图像输入到局部重建网络中，从而获得目标网络输出的第一样本图像特征、局部重建网络的第一输出头输出的第二样本图像特征/>、局部重建网络的第二输出头输出的第三样本图像特征/>、全局重建网络输出的第四样本图像特征/>以及局部重建网络的第一输出头输出的第五样本图像特征/>。然后，可以基于/>、/>和/>确定第一损失值/>，基于/>和/>确定第二损失值/>，基于/>和/>确定第三损失值/>。最后，可以基于/>、/>和/>，对局部重建网络和全局重建网络的参数进行优化，以获得经训练的图像处理模型。
上述技术方案通过使第五样本图像特征的值处于预设范围内，可以防止局部重建网络学习到第一样本图像外的图像特征，从而有助于防止局部重建网络输出异常区域的特征。该方案有助于提高异常检测的精度。
根据本申请的另一方面，提供了一种电子设备。图3示出根据本申请一个实施例的电子设备的示意性框图。如图3所示，控制装置300包括处理器310和存储器320。存储器320中存储有计算机程序。处理器310用于执行计算机程序以实现异常检测方法100。
可选地，处理器可以包括任何合适的具有数据处理能力和/或指令执行能力的处理器件。例如，处理器可以采用可编程逻辑控制器(PLC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、中央处理单元(CPU)、专用的集成电路(ASIC)、微控制单元（MCU）和其它形式的处理单元中的一种或几种的组合来实现。
根据本申请实施例的又一方面，还提供了一种存储介质。该存储介质中存储有计算机程序/指令，计算机程序/指令被处理器执行时实现上述的异常检测方法100。存储介质例如可以包括只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上文关于异常检测方法100的相关描述，可以理解上述电子设备、存储介质的具体实现方案，为了简洁，在此不再赘述。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种异常检测方法，其特征在于，包括：
获取待测图像；
将所述待测图像输入至经训练的图像处理模型中，以获得与所述待测图像对应的待测图像特征，所述图像处理模型包括目标网络、基于目标网络生成的局部重建网络和全局重建网络，所述待测图像特征包括所述目标网络、所述局部重建网络和所述全局重建网络各自输出的待测图像特征；
利用所述待测图像特征，确定所述待测图像中是否存在异常区域；
所述目标网络、所述局部重建网络和所述全局重建网络各自输出的图像特征的维度相同；所述图像处理模型至少采用无异常的样本图像进行训练，并在采用无异常的样本图像训练时，使所述局部重建网络输出的图像特征中的至少部分局部区域的特征值学习所述目标网络输出的图像特征中的至少部分局部区域的特征值，并使所述全局重建网络输出的图像特征的全部区域的特征值学习所述目标网络输出的图像特征的全部区域的特征值。
2.根据权利要求1所述的异常检测方法，其特征在于，所述利用所述待测图像特征，确定所述待测图像中是否存在异常区域，包括：
基于所述目标网络输出的第一待测图像特征与所述局部重建网络输出的第二待测图像特征之间的第一目标差异以及所述局部重建网络输出的第三待测图像特征和所述全局重建网络输出的第四待测图像特征之间的第二目标差异，执行异常区域确定操作，以确定所述待测图像中是否存在异常区域。
3.根据权利要求1所述的异常检测方法，其特征在于，所述利用所述待测图像特征，确定所述待测图像中是否存在异常区域，包括：
基于所述目标网络输出的第一待测图像特征与所述局部重建网络输出的第二待测图像特征之间的第一目标差异以及所述目标网络输出的第一待测图像特征与所述全局重建网络输出的第四待测图像特征之间的第三目标差异，执行异常区域确定操作，以确定所述待测图像中是否存在异常区域。
4.根据权利要求1所述的异常检测方法，其特征在于，所述利用所述待测图像特征，确定所述待测图像中是否存在异常区域，包括：
基于所述目标网络输出的第一待测图像特征与所述局部重建网络输出的第二待测图像特征之间的第一目标差异、所述局部重建网络输出的第三待测图像特征和所述全局重建网络输出的第四待测图像特征之间的第二目标差异以及所述目标网络输出的第一待测图像特征与所述全局重建网络输出的第四待测图像特征之间的第三目标差异，执行异常区域确定操作，以确定所述待测图像中是否存在异常区域。
5.根据权利要求2-4任一项所述的异常检测方法，其特征在于，所述异常区域确定操作，包括：
基于参与所述异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数；
基于参与所述异常区域确定操作的每个目标差异各自对应的异常分数，确定所述待测图像的总异常分数；
基于所述总异常分数，确定所述待测图像中是否存在异常区域。
6.根据权利要求5所述的异常检测方法，其特征在于，参与所述异常区域确定操作的每个待测图像特征各自包括与预设数量个通道一一对应的预设数量个第一特征图，每个第一特征图上包括多个第一特征图区域；所述多个第一特征图区域具有一一对应的多个特征向量，每个特征向量包括所述预设数量个第一特征图各自属于对应第一特征图区域的特征点的特征值；
所述基于参与所述异常区域确定操作的每个目标差异，确定该目标差异对应的异常分数，包括：
对于所述多个第一特征图区域中的每个第一特征图区域，
基于该目标差异对应的两个待测图像特征各自与该第一特征图区域对应的特征向量之间的差异，确定该目标差异在该第一特征图区域处所对应的子异常分数，其中，该目标差异所对应的异常分数包括该目标差异分别在所述多个第一特征图区域处对应的子异常分数；
所述异常区域确定操作包括：
对于所述多个第一特征图区域中的每个第一特征图区域，
基于参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数，确定该第一特征图区域的总子异常分数，其中，所述总异常分数包括所述多个第一特征图区域各自对应的总子异常分数。
7.根据权利要求6所述的异常检测方法，其特征在于，
所述基于参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数，确定该第一特征图区域的总子异常分数，包括：
对参与异常区域确定操作的各个目标差异在该第一特征图区域处各自对应的子异常分数进行加权求和，以确定该第一特征图区域的总子异常分数。
8.根据权利要求6所述的异常检测方法，其特征在于，所述多个第一特征图区域与所述待测图像上的多个待测图像区域一一对应，所述基于所述总异常分数，确定所述待测图像中是否存在异常区域，包括：
对于所述多个第一特征图区域中的每个第一特征图区域，
判断该第一特征图区域的总子异常分数是否大于异常分数阈值；
在该第一特征图区域的总子异常分数大于异常分数阈值时，确定该第一特征图区域对应的待测图像区域为异常区域。
9.根据权利要求1所述的异常检测方法，其特征在于，经训练的所述图像处理模型通过以下模型训练操作训练得到：
获取第一样本图像，所述第一样本图像为无异常的图像；
将所述第一样本图像输入到待训练的所述图像处理模型中，以获得与所述第一样本图像对应的样本图像特征，所述样本图像特征包括所述目标网络输出的第一样本图像特征以及所述全局重建网络输出的第四样本图像特征并包括所述局部重建网络输出的第二样本图像特征和/或所述局部重建网络输出的第三样本图像特征；
将所述第一样本图像特征和所述第二样本图像特征输入到第一损失函数中，以获得第一损失值；
将所述第一样本图像特征与所述第四样本图像特征输入到第二损失函数中，以获得第二损失值，和/或，将所述第三样本图像特征与所述第四样本图像特征输入到第三损失函数中，以获得第三损失值；
基于所述第一损失值并基于所述第二损失值和/或所述第三损失值，优化所述局部重建网络和所述全局重建网络的参数，以获得经训练的所述图像处理模型。
10.根据权利要求9所述的异常检测方法，其特征在于，所述第一样本图像特征和所述第二样本图像特征各自包括与预设数量个通道一一对应的预设数量个第二特征图，每个第二特征图上包括多个第二特征图区域；所述多个第二特征图区域具有一一对应的多个特征向量，每个特征向量包括所述预设数量个第二特征图各自属于对应第二特征图区域的特征点的特征值；
所述将所述第一样本图像特征和所述第二样本图像特征输入到第一损失函数中，以获得第一损失值，包括：
对于所述多个第二特征图区域中的每个第二特征图区域，
基于所述第一样本图像特征中与该第二特征图区域对应的特征向量与所述第二样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第一子损失值，其中，所述第一损失值包括所述多个第二特征图区域各自对应的第一子损失值中的部分第一子损失值。
11.根据权利要求10所述的异常检测方法，其特征在于，
所述第四样本图像特征各自包括与所述预设数量个通道一一对应的预设数量个第二特征图；所述将所述第一样本图像特征与所述第四样本图像特征输入到第二损失函数中，以获得第二损失值，包括：
对于所述多个第二特征图区域中的每个第二特征图区域，
基于所述第一样本图像特征中与该第二特征图区域对应的特征向量与所述第四样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第二子损失值，其中，所述第二损失值包括所述多个第二特征图区域各自对应的第二子损失值；
和/或，
所述第三样本图像特征和所述第四样本图像特征各自包括与所述预设数量个通道一一对应的预设数量个第一特征图，将所述第三样本图像特征与所述第四样本图像特征输入到第三损失函数中，以获得第三损失值，包括：
对于所述多个第二特征图区域中的每个第二特征图区域，
基于所述第三样本图像特征中与该第二特征图区域对应的特征向量与所述第四样本图像特征中与该第二特征图区域对应的特征向量之间的差异，确定该第二特征图区域所对应的第三子损失值，其中，所述第三损失值包括所述多个第二特征图区域各自对应的第三子损失值。
12.根据权利要求9所述的异常检测方法，其特征在于，所述模型训练操作还包括：
获取第二样本图像，所述第二样本图像的图像信息与所述第一样本图像的图像信息不同；
将所述第二样本图像输入到待训练的所述图像处理模型中的所述局部重建网络中，以获得所述局部重建网络的第一输出头输出的第五样本图像特征；
基于所述第五样本图像特征，优化所述局部重建网络和所述全局重建网络的参数，以使得所述第五样本图像特征的值处于预设范围内。
13.根据权利要求1-4任一项所述的异常检测方法，其特征在于，所述目标网络是利用模型蒸馏技术得到的轻量化网络。
14.根据权利要求1-4任一项所述的异常检测方法，其特征在于，所述全局重建网络的网络结构为编码-解码结构。
15.一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1-14任一项所述的异常检测方法。
16.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1-14任一项所述的异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311813060.0A CN117474915B (zh) | 2023-12-27 | 2023-12-27 | 一种异常检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311813060.0A CN117474915B (zh) | 2023-12-27 | 2023-12-27 | 一种异常检测方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117474915A CN117474915A (zh) | 2024-01-30 |
| CN117474915B true CN117474915B (zh) | 2024-04-16 |
Family
ID=89624108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311813060.0A Active CN117474915B (zh) | 2023-12-27 | 2023-12-27 | 一种异常检测方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117474915B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419318A (zh) * | 2020-12-17 | 2021-02-26 | 深圳市华汉伟业科技有限公司 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
| CN113554624A (zh) * | 2021-07-23 | 2021-10-26 | 深圳市人工智能与机器人研究院 | 异常检测方法、装置及计算机存储介质 |
-
2023
- 2023-12-27 CN CN202311813060.0A patent/CN117474915B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419318A (zh) * | 2020-12-17 | 2021-02-26 | 深圳市华汉伟业科技有限公司 | 一种基于多路级联反馈的异常检测方法及装置、存储介质 |
| CN113554624A (zh) * | 2021-07-23 | 2021-10-26 | 深圳市人工智能与机器人研究院 | 异常检测方法、装置及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117474915A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113689428B (zh) | 基于图像处理的机械零件应力腐蚀检测方法及系统 | |
| EP4280153A1 (en) | Defect detection method, apparatus and system | |
| WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| EP1675066A1 (en) | Face image candidate area search method, face image candidate area search system, and face image candidate area search program | |
| CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
| CN114782329A (zh) | 一种基于图像处理的轴承缺陷损伤程度评估方法及系统 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN111860106A (zh) | 一种无监督的桥梁裂缝识别方法 | |
| CN111325738A (zh) | 一种用于横穿孔周边裂纹的智能检测方法及系统 | |
| CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
| CN117474918A (zh) | 异常检测方法和装置、电子设备以及存储介质 | |
| CN113140309A (zh) | 中医面色诊断方法及装置 | |
| CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
| CN112348809A (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 | |
| CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 | |
| CN115239663A (zh) | 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 | |
| CN116188826A (zh) | 一种复杂光照条件下的模板匹配方法及装置 | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 | |
| JP2000003436A (ja) | Ｉｓａｒ画像識別装置およびｉｓａｒ画像識別方法 | |
| CN117474916B (zh) | 一种图像检测方法、电子设备及存储介质 | |
| CN113920087A (zh) | 基于深度学习的微小元器件缺陷检测系统及方法 | |
| CN117541832B (zh) | 异常检测方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |