CN117809123B - 一种双阶段图像的异常检测与重构方法及系统 - Google Patents

一种双阶段图像的异常检测与重构方法及系统 Download PDF

Info

Publication number
CN117809123B
CN117809123B CN202410227319.1A CN202410227319A CN117809123B CN 117809123 B CN117809123 B CN 117809123B CN 202410227319 A CN202410227319 A CN 202410227319A CN 117809123 B CN117809123 B CN 117809123B
Authority
CN
China
Prior art keywords
image
anomaly
abnormal
reconstruction
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410227319.1A
Other languages
English (en)
Other versions
CN117809123A (zh
Inventor
江结林
孙晋开
刘西应
许小龙
陈亚当
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202410227319.1A priority Critical patent/CN117809123B/zh
Publication of CN117809123A publication Critical patent/CN117809123A/zh
Application granted granted Critical
Publication of CN117809123B publication Critical patent/CN117809123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双阶段图像的异常检测与重构方法及系统，方法包括：将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图中的伪异常区域所对应在输入图像的区域记为可疑异常区域；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像；对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像；逐像素比较重构图像与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断；本发明不仅可以重构正常图片细节，还可以有效重构大面积的异常，进而增加整体的异常检测精度。

Description

一种双阶段图像的异常检测与重构方法及系统
技术领域
本发明属于图像重构领域，具体涉及双阶段图像的异常检测与重构方法及系。
背景技术
在工业生产中，异常检测是必不可少的环节。准确高效的异常检测能及时识别异常情况，从而减少生产中的异常状态。这有助于维持生产线的平稳运行，提高总体生产效率。相比于传统的人工异常检测，利用计算机视觉和机器学习的异常检测方法可实时监测大量的产品数据，降低人工检测的主观错误，减少人工和损失成本。而随着深度学习技术的兴起，越来越多的研究者开始利用深度学习技术检测工业产品异常。
不同于其他检测任务，使用深度学习技术检测异常，面临着异常样本少的挑战。因此，异常检测算法以无监督学习为主，即只利用正常样本数据训练深度学习模型。无监督异常检测算法可细分为基于图像重构、基于深度特征嵌入以及基于自监督学习等方法。其中基于图像重构的算法具有良好的解释性，并且模型相对简单易懂，目前得到了广泛的研究。该方法的主要思想是利用含有伪异常的正常样本训练图像重构模型。测试时，图像重构模型将异常图像重构为成正常图像，通过对比重构图像和异常图像的差异，获取异常图像的异常区域和得分。
虽然基于图像重构的方法有良好的解释性，但现阶段的图像重构方法还存在一些缺陷：(1)重构方法对于大面积的异常区域重构效果差，这影响最终的异常检测精度。(2)重构模型不能对于正常图像的细节进行重构，使得重构图像与正常图像存在差异，容易将正常图像误判为异常图像。
发明内容
本发明提供了一种双阶段图像的异常检测与重构方法及系统，不仅可以重构正常图片细节，还可以有效重构大面积的异常，进而增加整体的异常检测精度。
为达到上述目的，本发明所采用的技术方案是：
本发明第一方面提供了一种双阶段图像的异常检测与重构方法，包括：
获取待检测的图像数据后进行标准化处理获得输入图像，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图/>中的伪异常区域所对应在输入图像的区域记为可疑异常区域/>；
计算输入图像的感知哈希值，基于输入图像的感知哈希值由图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像/>；
对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像/>；逐像素比较重构图像/>与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。
进一步的，所述图像分割模型的构建过程包括：
由训练数据集中获取正常图像，对正常图像/>进行标准化处理获得正常图像/>；
在纯黑色图片上生成总面积大于像素的白色柏林噪声作为异常掩码图/>；将所述异常掩码图/>中的伪异常区域所对应在正常图像/>的区域记为可疑异常区域/>；
获取与正常图像相同产品类型的若干异常图像/>，对每个异常图像/>进行标准化处理后分割为2×2块异常子图，然后随机拼接异常子图获得异常图像/>；
对异常图像进行图像增强处理获取异常图像/>；将正常图像/>的可疑异常区域/>替换为异常图像/>的对应区域获得异常图像/>；
利用异常图像训练图像分割模型获得异常掩码图/>，基于异常掩码图/>和异常掩码图/>计算分割训练损失值，利用Adam优化器根据分割训练损失值对图像分割模型的参数进行优化，重复迭代图像分割模型的训练过程直至分割训练损失值收敛，输出训练后的图像分割模型。
进一步的，对异常图像进行图像增强处理的过程包括：
随机调整异常图像对比度；
以50%的概率将异常图像中像素点的像素值置零；
以50%的概率反转异常图像中像素点的像素值为32到128；
在旋转角度-45度到50度随机旋转异常图像。
进一步的，基于异常掩码图和异常掩码图/>计算分割训练损失值的过程包括：
；
；
；
公式中，和/>分别表示异常掩码图/>和异常掩码图/>中在坐标/>上像素点的像素值，w和h分别代表异常掩码图/>和异常掩码图/>的宽和高；/>和/>分别代表异常掩码图/>和异常掩码图/>的像素均值；/>和/>分别代表异常掩码图/>和异常掩码图/>的像素方差；/>是异常掩码图/>和异常掩码图/>的协方差；/>和/>表示为设定常数，/>表示为基于异常掩码图/>和异常掩码图/>计算的分割训练损失值，表示为基于异常掩码图/>和异常掩码图/>计算的均方误差损失；表示为基于异常掩码图/>和异常掩码图/>计算的结构相似性误差损失。
进一步的，所述图像分割模型包括分割编码器和分割解码器；所述分割编码器内依次设置有卷积块、池化层/>、卷积块/>、池化层/>和卷积块/>；所述分割解码器内依次设置有上采样块/>、卷积块/>、上采样块/>、卷积块/>和输出层/>；
所述卷积块、卷积块/>、卷积块/>、卷积块/>和卷积块/>包括依次设置的卷积层/>、批量归一化层/>、第一ReLU激活函数、卷积层/>、批量归一化层/>和第二ReLU激活函数；
所述上采样块和上采样块/>包括依次设置的上采样层/>、卷积层/>、批量归一化层/>和第三ReLU激活函数；
所述输出层包括卷积层/>；所述卷积层/>、卷积层/>、卷积层/>和卷积层/>的卷积核大小为/>且步长为1。
进一步的，所述图像重构模型的构建过程包括：
由训练数据集中获取正常图像，对正常图像/>进行标准化处理后转化为正常图像/>；
随机在正常图像中选中调节区域，对调节区域内的像素做亮度增强或颜色抖动调整的操作，并粘贴到正常图像/>的任意区域生成异常图像/>；
将异常图像输入至训练后的图像分割模型获得异常掩码图/>；对异常掩码图/>进行二值化处理获得异常掩码图/>；对异常掩码图/>中白色连通区域面积值在阈值/>以下的区域，变为黑色得到异常掩码图/>；
将所述异常掩码图中的伪异常区域所对应在异常图像/>的区域记为可疑异常区域/>；
将异常图像中的可疑异常区域/>替换为标准化处理后的正常图像/>中对应区域获得异常图像/>；对异常图像/>进行灰度化处理后获得异常图像/>；
利用异常图像训练图像重构模型获得重构图像/>，基于正常图像/>和重构图像/>计算重构训练损失值，利用Adam优化器根据重构训练损失值对图像重构模型的参数进行优化，重复迭代图像重构模型的训练过程直至重构训练损失值收敛，输出训练后的图像重构模型。
进一步的，所述图像重构模型包括重构编码器和重构解码器；所述重构编码器内依次设置有卷积块、池化层/>、卷积块/>、池化层/>、卷积块/>、池化层/>、卷积块/>、池化层/>和卷积块/>；所述重构解码器内依次设置有上采样块/>、卷积块/>、上采样块/>、卷积块/>、上采样块/>、卷积块/>、上采样块/>、卷积块/>和输出层/>；
所述卷积块、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>和卷积块/>包括依次设置的卷积层/>、批量归一化层/>、第四ReLU激活函数、卷积层/>、批量归一化层/>和第五ReLU激活函数；
所述上采样块、上采样块/>、上采样块/>和上采样块/>包括上采样层/>、卷积层/>、批量归一化层/>和第六ReLU激活函数；
所述输出层包括卷积层/>；所述卷积层/>、卷积层/>、卷积层/>和卷积层/>的卷积核大小为/>且步长为1。
进一步的，基于正常图像和重构图像/>计算重构训练损失值的过程包括：
；
；
；
公式中，和/>分别表示重构图像/>和正常图像/>中在坐标/>上像素点的像素值，w和h分别代表为图像重构图像/>和正常图像/>的宽和高；/>和/>分别是图像重构图像/>和正常图像/>的像素均值；/>和/>分别是图像重构图像/>和正常图像/>的像素方差；是图像重构图像/>和正常图像/>的像素协方差；/>和/>表示为设定常数；/>表示为基于正常图像/>和重构图像/>计算的重构训练损失值，/>表示为基于正常图像/>和重构图像/>计算的均方误差损失；/>表示为基于正常图像/>和重构图像计算的结构相似性误差损失。
进一步的，逐像素比较重构图像与输入图像之间的差异获得异常得分的过程包括：
将重构图像与输入图像转化至LAB色彩空间（Lab color space）获得彩色输入图像/>和彩色重构图像/>；
基于彩色输入图像和彩色重构图像/>计算获得颜色差异图，表达公式为：
；
；
公式中，表示为颜色差异图，所述颜色差异图为的矩阵，/>表示为彩色输入图像/>中在/>上像素点的像素值；表示为彩色输入图像/>中在/>上像素点的像素值；k表示为色彩维度；
利用红色通道下的颜色差异图和蓝色通道下的颜色差异图获得总差异图，表达公式为：
；
公式中，表示为红色通道下的颜色差异图，表示为蓝色通道下的颜色差异图；/>表示为总差异图；
对总差异图进行均值滤波和归一化获得总差异图中各像素点异常得分。
本发明第二方面提供了一种双阶段图像的异常检测与重构系统，包括：
获取模块，用于获取待检测的图像数据后进行标准化处理获得输入图像，
图像分割模块，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图/>中的伪异常区域所对应在输入图像的区域记为可疑异常区域/>；
图像重构模块，用于计算输入图像的感知哈希值，基于输入图像的感知哈希值由相关图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像/>；
异常判断模块，用于对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像/>；逐像素比较重构图像/>与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。
与现有技术相比，本发明的有益效果：
本发明中第一阶段使用分割模型检测出可疑异常区域。第二阶段将大面积可疑异常区域/>使用相似图片的对应区域进行替换，替换后的图像送入到重构模型，输出叠加图像/>，将叠加图像/>与输入图像对比得到异常得分，以达到异常检测的目的；本发明不仅可以重构正常图片细节，还可以有效重构大面积的异常，进而增加整体的异常检测精度。
附图说明
图1为本实施例1提供了双阶段图像的异常检测与重构方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图1所示，本实施提供了一种双阶段图像的异常检测与重构方法，包括：
构建图像分割模型的过程包括：
由训练数据集中获取正常图像，本实施例中训练数据集设置为公开数据集MVTecAD (MVTec Anomaly Detection)，训练数据集包含5种纹理类图像数据、10种物体类图像数据，同一类别图像数据包含用于正常的图像和异常的图像；对正常图像/>进行标准化处理获得256×256像素正常图像/>；
在纯黑色图片上生成总面积大于像素的白色柏林噪声作为异常掩码图/>；异常掩码图/>中白色区域代表伪异常区域，黑色区域代表正常区域；本实施例中/>=200；将所述异常掩码图/>中的伪异常区域所对应在正常图像/>的区域记为可疑异常区域/>；
获取与正常图像相同产品类型的若干异常图像/>，对每个异常图像/>进行标准化处理获得256×256像素的异常图像/>，对每个256×256像素的异常图像/>进行标准化处理后分割为2×2块异常子图，然后随机拼接异常子图获得异常图像/>；
对异常图像进行图像增强处理获取异常图像/>的过程包括：
随机调整异常图像对比度；
以50%的概率将异常图像中像素点的像素值置零；
以50%的概率反转异常图像中像素点的像素值为32到128；
在旋转角度-45度到50度随机旋转异常图像。
将正常图像的可疑异常区域/>替换为异常图像/>的对应区域获得异常图像/>；
利用异常图像训练图像分割模型获得异常掩码图/>，所述图像分割模型包括分割编码器和分割解码器；所述分割编码器内依次设置有卷积块/>、池化层/>、卷积块/>、池化层/>和卷积块/>；所述分割解码器内依次设置有上采样块/>、卷积块/>、上采样块/>、卷积块/>和输出层/>；
所述卷积块、卷积块/>、卷积块/>、卷积块/>和卷积块/>包括依次设置的卷积层/>、批量归一化层/>、第一ReLU激活函数、卷积层/>、批量归一化层/>和第二ReLU激活函数；
所述上采样块和上采样块/>包括依次设置的上采样层/>、卷积层/>、批量归一化层/>和第三ReLU激活函数；
所述输出层包括卷积层/>；所述卷积层/>、卷积层/>、卷积层/>和卷积层/>的卷积核大小为/>且步长为1。
基于异常掩码图和异常掩码图/>计算分割训练损失值的过程包括：
；
；；
公式中，和/>分别表示异常掩码图/>和异常掩码图/>中在坐标/>上像素点的像素值，w和h分别代表异常掩码图/>和异常掩码图/>的宽和高；/>和/>分别代表异常掩码图/>和异常掩码图/>的像素均值；/>和/>分别代表异常掩码图/>和异常掩码图/>的像素方差；/>是异常掩码图/>和异常掩码图/>的协方差；/>和/>表示为设定常数，/>表示为基于异常掩码图/>和异常掩码图/>计算的分割训练损失值，表示为基于异常掩码图/>和异常掩码图/>计算的均方误差损失；表示为基于异常掩码图/>和异常掩码图/>计算的结构相似性误差损失。
利用Adam优化器根据分割训练损失值对图像分割模型的参数进行优化，本实施例中学习率设为0.0001，重复迭代图像分割模型的训练过程直至分割训练损失值收敛，输出训练后的图像分割模型。
所述图像重构模型的构建过程包括：
由训练数据集中重新获取正常图像，对正常图像/>进行标准化处理后转化为正常图像/>；
随机在正常图像中选中调节区域，调节区域为占正常图像/>面积0.25%的方形区域，对调节区域内的像素做亮度增强或颜色抖动调整的操作，并粘贴到正常图像/>的任意区域生成异常图像/>；通过在图像重构模型训练时对训练样本添加小异常，让图像重构模型也关注细微异常的重构，提高了准确率和泛化能力。
将异常图像输入至训练后的图像分割模型获得异常掩码图/>；异常掩码图/>中每个像素点的像素范围为[0,1]；以0.8为阈值，对异常掩码图/>二值化处理，将异常掩码图中大于0.8的像素值置为1，异常掩码图/>中小于0.8的像素值置为0，获得异常掩码图/>；
对异常掩码图中白色连通区域面积值在阈值/>以下的区域，变为黑色（像素值设置为0）得到异常掩码图/>；本实施中/>；
将所述异常掩码图中的伪异常区域所对应在异常图像/>的区域记为可疑异常区域/>；
将异常图像中的可疑异常区域/>替换为标准化处理后正常图像/>中对应区域获得异常图像/>；对异常图像/>进行灰度化处理后获得异常图像/>；
利用异常图像训练图像重构模型获得重构图像/>，所述图像重构模型包括重构编码器和重构解码器；所述重构编码器内依次设置有卷积块/>、池化层/>、卷积块/>、池化层/>、卷积块/>、池化层/>、卷积块/>、池化层/>和卷积块/>；所述重构解码器内依次设置有上采样块/>、卷积块/>、上采样块/>、卷积块/>、上采样块/>、卷积块/>、上采样块/>、卷积块/>和输出层/>；
所述卷积块、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>和卷积块/>包括依次设置的卷积层/>、批量归一化层/>、第四ReLU激活函数、卷积层/>、批量归一化层/>和第五ReLU激活函数；
所述上采样块、上采样块/>、上采样块/>和上采样块/>包括上采样层/>、卷积层/>、批量归一化层/>和第六ReLU激活函数；
所述输出层包括卷积层/>；所述卷积层/>、卷积层/>、卷积层/>和卷积层/>的卷积核大小为/>且步长为1。
基于正常图像和重构图像/>计算重构训练损失值的过程包括：
；
；
；
公式中，和/>分别表示重构图像/>和正常图像/>中在坐标/>上像素点的像素值，w和h分别代表为图像重构图像/>和正常图像/>的宽和高；/>和/>分别是图像重构图像/>和正常图像/>的像素均值；/>和/>分别是图像重构图像/>和正常图像/>的像素方差；是图像重构图像/>和正常图像/>的像素协方差；/>和/>表示为设定常数；/>表示为基于正常图像/>和重构图像/>计算的重构训练损失值，/>表示为基于正常图像/>和重构图像/>计算的均方误差损失；/>表示为基于正常图像/>和重构图像计算的结构相似性误差损失。
利用Adam优化器根据重构训练损失值对图像重构模型的参数进行优化，重复迭代图像重构模型的训练过程直至重构训练损失值收敛，输出训练后的图像重构模型。
获取待检测的图像数据后进行标准化处理获得输入图像，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图/>中的伪异常区域所对应在输入图像的区域记为可疑异常区域/>；
计算输入图像的感知哈希值，基于输入图像的感知哈希值由图像数据库中寻找获得相似图像；所述图像数据库包含与输入图像中检测产品相关的图像数据；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像/>；所述相关图像数据库中图像数据与输入图像类型相同。
对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像/>；逐像素比较重构图像/>与输入图像之间的差异获得异常得分的过程包括：
将重构图像与输入图像转化至LAB色彩空间（Lab color space）获得彩色输入图像/>和彩色重构图像/>；
基于彩色输入图像和彩色重构图像/>计算获得颜色差异图，表达公式为：
；
；
公式中，表示为颜色差异图，所述颜色差异图为的矩阵，/>表示为彩色输入图像/>中在/>上像素点的像素值；表示为彩色输入图像/>中在/>上像素点的像素值；k表示为色彩维度；
利用红色通道下的颜色差异图和蓝色通道下的颜色差异图获得总差异图，表达公式为：
；
公式中，表示为红色通道下的颜色差异图，表示为蓝色通道下的颜色差异图；/>表示为总差异图；
对总差异图进行均值滤波和归一化获得总差异图中各像素点异常得分；根据异常得分对输入图像的异常区域进行定位和判断。
实施例2
本实施例提供了一种双阶段图像的异常检测与重构系统，所述系统可以应用于实施例1所述的异常检测与重构方法，异常检测与重构系统包括：
获取模块，用于获取待检测的图像数据后进行标准化处理获得输入图像，
图像分割模块，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图/>中的伪异常区域所对应在输入图像的区域记为可疑异常区域/>；
图像重构模块，用于计算输入图像的感知哈希值，基于输入图像的感知哈希值由相关图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像/>；
异常判断模块，用于对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像/>；逐像素比较重构图像/>与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种双阶段图像的异常检测与重构方法，其特征在于，包括：
获取待检测的图像数据后进行标准化处理获得输入图像，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图/>中的伪异常区域所对应在输入图像的区域记为可疑异常区域/>；
计算输入图像的感知哈希值，基于输入图像的感知哈希值由图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像/>；
对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像/>；逐像素比较重构图像/>与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。
2.根据权利要求1所述的异常检测与重构方法，其特征在于，所述图像分割模型的构建过程包括：
由训练数据集中获取正常图像，对正常图像/>进行标准化处理获得正常图像/>；
在纯黑色图片上生成总面积大于像素的白色柏林噪声作为异常掩码图/>；将所述异常掩码图/>中的伪异常区域所对应在正常图像/>的区域记为可疑异常区域/>；
获取与正常图像相同产品类型的的若干异常图像/>，对每个异常图像/>进行标准化处理后分割为2×2块异常子图，然后随机拼接异常子图获得异常图像/>；
对异常图像进行图像增强处理获取异常图像/>；将正常图像/>的可疑异常区域/>替换为异常图像/>的对应区域获得异常图像/>；
利用异常图像训练图像分割模型获得异常掩码图/>，基于异常掩码图/>和异常掩码图/>计算分割训练损失值，利用Adam优化器根据分割训练损失值对图像分割模型的参数进行优化，重复迭代图像分割模型的训练过程直至分割训练损失值收敛，输出训练后的图像分割模型。
3.根据权利要求2所述的异常检测与重构方法，其特征在于，对异常图像进行图像增强处理的过程包括：
随机调整异常图像对比度；
以50%的概率将异常图像中像素点的像素值置零；
以50%的概率反转异常图像中像素点的像素值为32到128；
在旋转角度-45度到50度随机旋转异常图像。
4.根据权利要求2所述的异常检测与重构方法，其特征在于，基于异常掩码图和异常掩码图/>计算分割训练损失值的过程包括：
；
；
；
公式中，和/>分别表示异常掩码图/>和异常掩码图/>中在坐标/>上像素点的像素值，w和h分别代表异常掩码图/>和异常掩码图/>的宽和高；/>和/>分别代表异常掩码图/>和异常掩码图/>的像素均值；/>和/>分别代表异常掩码图/>和异常掩码图的像素方差；/>是异常掩码图/>和异常掩码图/>的协方差；/>和/>表示为设定常数，表示为基于异常掩码图/>和异常掩码图/>计算的分割训练损失值，表示为基于异常掩码图/>和异常掩码图/>计算的均方误差损失；表示为基于异常掩码图/>和异常掩码图/>计算的结构相似性误差损失。
5.根据权利要求1所述的异常检测与重构方法，其特征在于，所述图像分割模型包括分割编码器和分割解码器；所述分割编码器内依次设置有卷积块、池化层/>、卷积块/>、池化层/>和卷积块/>；所述分割解码器内依次设置有上采样块/>、卷积块/>、上采样块/>、卷积块/>和输出层/>；
所述卷积块、卷积块/>、卷积块/>、卷积块/>和卷积块/>包括依次设置的卷积层/>、批量归一化层/>、第一ReLU激活函数、卷积层/>、批量归一化层/>和第二ReLU激活函数；
所述上采样块和上采样块/>包括依次设置的上采样层/>、卷积层/>、批量归一化层和第三ReLU激活函数；
所述输出层包括卷积层/>；所述卷积层/>、卷积层/>、卷积层/>和卷积层/>的卷积核大小为/>且步长为1。
6.根据权利要求1所述的异常检测与重构方法，其特征在于，所述图像重构模型的构建过程包括：
由训练数据集中获取正常图像，对正常图像/>进行标准化处理后转化为正常图像/>；
随机在正常图像中选中调节区域，对调节区域内的像素做亮度增强或颜色抖动调整的操作，并粘贴到正常图像/>的任意区域生成异常图像/>；
将异常图像输入至训练后的图像分割模型获得异常掩码图/>；对异常掩码图/>进行二值化处理获得异常掩码图/>；对异常掩码图/>中白色连通区域面积值在阈值/>以下的区域，变为黑色得到异常掩码图/>；
将所述异常掩码图中的伪异常区域所对应在异常图像/>的区域记为可疑异常区域/>；
将异常图像中的可疑异常区域/>替换为标准化处理后的正常图像/>中对应区域获得异常图像/>；对异常图像/>进行灰度化处理后获得异常图像/>；
利用异常图像训练图像重构模型获得重构图像/>，基于正常图像/>和重构图像/>计算重构训练损失值，利用Adam优化器根据重构训练损失值对图像重构模型的参数进行优化，重复迭代图像重构模型的训练过程直至重构训练损失值收敛，输出训练后的图像重构模型。
7.根据权利要求6所述的异常检测与重构方法，其特征在于，所述图像重构模型包括重构编码器和重构解码器；所述重构编码器内依次设置有卷积块、池化层/>、卷积块/>、池化层/>、卷积块/>、池化层/>、卷积块/>、池化层/>和卷积块/>；所述重构解码器内依次设置有上采样块/>、卷积块/>、上采样块/>、卷积块/>、上采样块/>、卷积块/>、上采样块/>、卷积块/>和输出层/>；
所述卷积块、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>、卷积块/>和卷积块/>包括依次设置的卷积层/>、批量归一化层/>、第四ReLU激活函数、卷积层、批量归一化层/>和第五ReLU激活函数；
所述上采样块、上采样块/>、上采样块/>和上采样块/>包括上采样层/>、卷积层/>、批量归一化层/>和第六ReLU激活函数；
所述输出层包括卷积层/>；所述卷积层/>、卷积层/>、卷积层/>和卷积层/>的卷积核大小为/>且步长为1。
8.根据权利要求6所述的异常检测与重构方法，其特征在于，基于正常图像和重构图像/>计算重构训练损失值的过程包括：
；
；
；
公式中，和/>分别表示重构图像/>和正常图像/>中在坐标/>上像素点的像素值，w和h分别代表为图像重构图像/>和正常图像/>的宽和高；/>和/>分别是图像重构图像/>和正常图像/>的像素均值；/>和/>分别是图像重构图像/>和正常图像/>的像素方差；/>是图像重构图像/>和正常图像/>的像素协方差；/>和/>表示为设定常数；/>表示为基于正常图像/>和重构图像/>计算的重构训练损失值，/>表示为基于正常图像/>和重构图像/>计算的均方误差损失；/>表示为基于正常图像/>和重构图像/>计算的结构相似性误差损失。
9.根据权利要求1所述的异常检测与重构方法，其特征在于，逐像素比较重构图像与输入图像之间的差异获得异常得分的过程包括：
将重构图像与输入图像转化至LAB色彩空间获得彩色输入图像/>和彩色重构图像/>；
基于彩色输入图像和彩色重构图像/>计算获得颜色差异图，表达公式为：
；
；
公式中，表示为颜色差异图，所述颜色差异图为/>的矩阵，/>表示为彩色输入图像/>中在/>上像素点的像素值；/>表示为彩色输入图像/>中在/>上像素点的像素值；k表示为色彩维度；
利用红色通道下的颜色差异图和蓝色通道下的颜色差异图获得总差异图，表达公式为：
；
公式中，表示为红色通道下的颜色差异图，/>表示为蓝色通道下的颜色差异图；/>表示为总差异图；
对总差异图进行均值滤波和归一化获得总差异图中各像素点异常得分。
10.一种双阶段图像的异常检测与重构系统，其特征在于，包括：
获取模块，用于获取待检测的图像数据后进行标准化处理获得输入图像，
图像分割模块，将输入图像输入至预设的图像分割模型获得异常掩码图；将所述异常掩码图/>中的伪异常区域所对应在输入图像的区域记为可疑异常区域/>；
图像重构模块，用于计算输入图像的感知哈希值，基于输入图像的感知哈希值由相关图像数据库中寻找获得相似图像；将输入图像的可疑异常区域替换为相似图像对应的区域获得叠加图像/>；
异常判断模块，用于对叠加图像进行灰度化处理后输入预设的图像重构模型获得重构图像/>；逐像素比较重构图像/>与输入图像之间的差异获得异常得分，根据异常得分对输入图像的异常区域进行定位和判断。
CN202410227319.1A 2024-02-29 2024-02-29 一种双阶段图像的异常检测与重构方法及系统 Active CN117809123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410227319.1A CN117809123B (zh) 2024-02-29 2024-02-29 一种双阶段图像的异常检测与重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410227319.1A CN117809123B (zh) 2024-02-29 2024-02-29 一种双阶段图像的异常检测与重构方法及系统

Publications (2)

Publication Number Publication Date
CN117809123A CN117809123A (zh) 2024-04-02
CN117809123B true CN117809123B (zh) 2024-05-14

Family

ID=90430445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410227319.1A Active CN117809123B (zh) 2024-02-29 2024-02-29 一种双阶段图像的异常检测与重构方法及系统

Country Status (1)

Country Link
CN (1) CN117809123B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118037733B (zh) * 2024-04-12 2024-06-07 南京信息工程大学 基于距离信息驱动的复杂工业图像异常检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701829A (zh) * 2016-01-16 2016-06-22 常州大学 一种套袋绿色果实图像分割方法
CN113657532A (zh) * 2021-08-24 2021-11-16 桂林电子科技大学 一种电机磁瓦缺陷分类方法
WO2022115100A1 (en) * 2020-11-25 2022-06-02 Hewlett-Packard Development Company, L.P. Identifying anomaly location
CN114724043A (zh) * 2022-06-08 2022-07-08 南京理工大学 基于对比学习的自编码器异常检测方法
CN115861293A (zh) * 2023-02-08 2023-03-28 成都数联云算科技有限公司 缺陷轮廓提取方法、装置、存储介质、设备及程序产品
CN116012339A (zh) * 2023-01-09 2023-04-25 广州广芯封装基板有限公司 图像处理方法、电子设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328402B2 (en) * 2020-09-29 2022-05-10 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of image based anomaly localization for vehicles through generative contextualized adversarial network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701829A (zh) * 2016-01-16 2016-06-22 常州大学 一种套袋绿色果实图像分割方法
WO2022115100A1 (en) * 2020-11-25 2022-06-02 Hewlett-Packard Development Company, L.P. Identifying anomaly location
CN113657532A (zh) * 2021-08-24 2021-11-16 桂林电子科技大学 一种电机磁瓦缺陷分类方法
CN114724043A (zh) * 2022-06-08 2022-07-08 南京理工大学 基于对比学习的自编码器异常检测方法
CN116012339A (zh) * 2023-01-09 2023-04-25 广州广芯封装基板有限公司 图像处理方法、电子设备及计算机可读存储介质
CN115861293A (zh) * 2023-02-08 2023-03-28 成都数联云算科技有限公司 缺陷轮廓提取方法、装置、存储介质、设备及程序产品

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Anomaly Detection via Progressive Reconstruction and Hierarchical Feature Fusion;Fei Liu 等;《sensors》;20231027;1-14 *
Self-supervised anomaly detection based on foreground enhancement and autoencoder reconstruction;Lijie Zhao 等;《Signal, Image and Video Processing》;20230909;343-350 *
基于自监督学习的图像表面异常检测与定位;王飞州;《万方数据知识服务平台》;20231130;摘要 *
多尺度特征融合的知识蒸馏异常检测方法;陈亚当 等;《计算机辅助设计与图形学学报》;20221031;第34卷(第10期);1542-1549 *
改进掩码自编码器的工业缺陷检测算法;邓凯丽 等;《计算机应用》;20231115;1-9 *

Also Published As

Publication number Publication date
CN117809123A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111814867B (zh) 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN117809123B (zh) 一种双阶段图像的异常检测与重构方法及系统
CN110827213A (zh) 一种基于生成式对抗网络的超分辨率图像修复方法
CN111524144B (zh) 一种基于GAN和Unet网络的肺结节智能诊断方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN111179193B (zh) 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN108830792B (zh) 一种利用多类字典的图像超分辨率方法
Feng et al. URNet: A U-Net based residual network for image dehazing
CN111815708B (zh) 基于双通路卷积神经网络的服务机器人抓取检测方法
CN114170227B (zh) 产品表面缺陷检测方法、装置、设备及存储介质
CN114332008A (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN111563577B (zh) 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN112102201A (zh) 图像阴影反光消除方法、装置、计算机设备及存储介质
CN112949378A (zh) 一种基于深度学习网络的细菌显微图像分割方法
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
Chen et al. Dynamic degradation intensity estimation for adaptive blind super-resolution: A novel approach and benchmark dataset
CN113989126A (zh) 一种用于深度学习的x射线缺陷检测图像数据增强方法
CN115909077A (zh) 基于无监督光谱解混神经网络的高光谱图像变化检测方法
CN115641294A (zh) 基于周长面积比筛选阳性突变细胞的方法及系统
Wang et al. FPD Net: Feature Pyramid DehazeNet.
Parihar et al. UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks
CN113936028B (zh) 一种结合自动产生三元图与深层空洞卷积网络之数字抠像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant