CN112862799A - 基于图像属性恢复的图像异常检测方法和系统 - Google Patents

基于图像属性恢复的图像异常检测方法和系统 Download PDF

Info

Publication number
CN112862799A
CN112862799A CN202110206510.4A CN202110206510A CN112862799A CN 112862799 A CN112862799 A CN 112862799A CN 202110206510 A CN202110206510 A CN 202110206510A CN 112862799 A CN112862799 A CN 112862799A
Authority
CN
China
Prior art keywords
image
attribute
recovery
detected
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110206510.4A
Other languages
English (en)
Inventor
张娅
黄潮钦
叶飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110206510.4A priority Critical patent/CN112862799A/zh
Publication of CN112862799A publication Critical patent/CN112862799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/77—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像属性恢复的图像异常检测方法和系统，包括：图像属性移除步骤：对待检测的图像，利用图像灰度化、图像随机旋转的图像属性移除方法进行图像属性移除；图像特征提取步骤：对得到的属性缺失图像使用深度卷积神经网络提取图像的高维特征；图像属性恢复步骤：对图像的高维特征使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；恢复图像对齐步骤：对属性恢复图像和待检测的图像使用均方误差损失函数进行自监督学习；图像异常评定步骤：对损失函数结果和属性恢复图像使用加权平均函数进行图像异常评定。本发明能够引导深度网络更加注重于学习与图像属性相关的高级语义信息，从而在异常检测任务上取得较好的性能。

Description

基于图像属性恢复的图像异常检测方法和系统
技术领域
本发明涉及计算机视觉和图像处理技术领域，具体地，涉及一种基于图像属性恢复的图像异常检测方法和系统。
背景技术
当前，深度卷积神经网络在物体分类任务中取得了显著的成就，这种数据驱动方法通常需要所有数据类别的大量的有标注数据。然而在异常检测任务中，由于数据异常种类多种多样，收集足够的异常数据用于模型训练成本过高。在这种情况下，异常检测任务通常仅提供正常数据用于模型训练，这就要求异常检测方法必须能在未经过异常数据训练的条件下仍具有数据异常检测能力。
基于图像重建的方法是常见的异常检测解决方案，该方法使用正常类别的数据进行图像重建网络的训练。在数据异常检测阶段，由于上述图像重建网络仅拥有正常类别数据的图像重建能力，其针对异常数据的图像重建的能力有限，因此会造成较大的图像重建误差。该方法利用上述假设完成图像异常检测。然而，由于深度卷积网络泛化能力过强，无法保证上述假设一定成立。此外，图像重建网络天然的倾向于学习图像低级信息，例如图像的纹理等，而图像异常检测往往需要依赖与图像中的物体的属性更相关的高级语义信息，这一矛盾使得基于图像重建的异常检测方法性能受限。事实上，为了正确辨别正常类型的数据和异常类型的数据，必须使算法能够更加注重于与图像属性相关的高级语义信息，但现有异常检测算法往往忽略了这一重要信息。
专利文献CN109493338B(申请号：CN201811367560.5)公开了一种基于联合提取空谱特征的高光谱图像异常检测方法，主要解决现有技术中漏检异常点多的问题，具体步骤如下：(1)构建深度信念网络；(2)生成高光谱训练集；(3)训练深度信念网络；(4)提取特征权值矩阵和偏置矩阵；(5)计算高光谱训练集中每个光谱向量的维特征；(6)检测高光谱训练集的光谱向量维的异常值；(7)获得高光谱训练集的空间特征图像；(8)获得空谱特征的高光谱图像的异常值。但是该专利没有考虑提取与图像中的物体的属性更相关的高级语义特征信息。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于图像属性恢复的图像异常检测方法和系统。
根据本发明提供的基于图像属性恢复的图像异常检测方法，包括：
图像属性移除步骤：对待检测的图像，利用图像灰度化、图像随机旋转的图像属性移除方法进行图像属性移除；
图像特征提取步骤：对通过图像属性移除步骤得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
图像属性恢复步骤：对图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
恢复图像对齐步骤：对属性恢复图像和待检测的图像，使用均方误差损失函数进行自监督学习；
图像异常评定步骤：对均方误差损失函数的结果和属性恢复图像，使用加权平均函数进行图像异常评定。
优选的，所述图像属性移除步骤包括：
所选择的属性移除方法使得被移除的属性与正常数据的语义信息相关，并且该属性在正常数据之间共享；
所选择的属性移除方法使得正常数据和异常数据的被移除的属性具有不同的语义信息；
所选择的属性移除方法不依赖额外数据集或额外数据标签进行图像属性移除；
其中，所选择的属性移除方法的集合记为：
Figure BDA0002950980520000021
给定待检测图像xn，经过所述图像属性移除步骤得到的属性缺失图像为：
Figure BDA0002950980520000022
其中，
Figure BDA0002950980520000023
代表所选择的第k个属性移除方法，K为属性移除方法的总数，
Figure BDA0002950980520000025
是
Figure BDA0002950980520000024
的复合函数。
优选的，所述图像特征提取步骤包括：以所述图像属性移除步骤得到的属性缺失图像为输入，使用深度卷积神经网络提取图像的高维特征信息，图像特征提取网络由若干层卷积和下采样操作构成；
所述图像属性恢复步骤包括：以所述图像特征提取步骤得到的高维特征信息为输入，利用深度卷积神经网络模型实现图像属性恢复，得到属性恢复图像，图像属性恢复网络由若干层卷积和上采样操作构成。
优选的，所述恢复图像对齐步骤包括：
对于待检测的图像，将所述图像恢复步骤得到的恢复图像与待检测的图像进行对比，从而计算如下损失函数：
Figure BDA0002950980520000031
其中，xn代表待检测的图像，
Figure BDA0002950980520000032
代表所述图像恢复步骤的图像恢复网络，
Figure BDA0002950980520000033
代表经过所述图像属性移除步骤得到的属性缺失图像，p(xn)代表模型训练集的正常数据集合。
优选的，所述图像异常评定步骤包括：
对于待检测的图像，将所述图像恢复步骤得到的恢复图像与待检测的图像进行对比，从而计算如下异常评定函数：
Figure BDA0002950980520000034
其中，x代表待检测的图像，N为属性移除方法的总数，
Figure BDA0002950980520000035
代表所述图像恢复步骤的图像恢复网络，
Figure BDA0002950980520000036
代表第i个属性移除方法，
Figure BDA0002950980520000037
是
Figure BDA0002950980520000038
的复合函数，p(xn)代表模型训练集的正常数据集合，所有损失函数均采用L1范数；
对待检测的图像，遍历所有可能的属性移除方法的可能组合，分别计算在所有可能组合情况下的图像恢复异常分数，并且利用模型训练集的正常数据集合对上述图像恢复异常分数进行加权求和，从而得到该待检测的图像最终的异常评定分数。
根据本发明提供的基于图像属性恢复的图像异常检测系统，包括：
图像属性移除模块：对待检测的图像，利用图像灰度化、图像随机旋转的图像属性移除方法进行图像属性移除；
图像特征提取模块：对通过图像属性移除模块得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
图像属性恢复模块：对图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
恢复图像对齐模块：对属性恢复图像和待检测的图像，使用均方误差损失函数进行自监督学习；
图像异常评定模块：对均方误差损失函数的结果和属性恢复图像，使用加权平均函数进行图像异常评定。
优选的，所述图像属性移除模块包括：
所选择的属性移除方法使得被移除的属性与正常数据的语义信息相关，并且该属性在正常数据之间共享；
所选择的属性移除方法使得正常数据和异常数据的被移除的属性具有不同的语义信息；
所选择的属性移除方法不依赖额外数据集或额外数据标签进行图像属性移除；
其中，所选择的属性移除方法的集合记为：
Figure BDA0002950980520000041
给定待检测图像xn，经过所述图像属性移除模块得到的属性缺失图像为：
Figure BDA0002950980520000042
其中，
Figure BDA0002950980520000043
代表所选择的第k个属性移除方法，K为属性移除方法的总数，
Figure BDA0002950980520000044
是
Figure BDA0002950980520000045
的复合函数。
优选的，所述图像特征提取模块包括：以所述图像属性移除模块得到的属性缺失图像为输入，使用深度卷积神经网络提取图像的高维特征信息，图像特征提取网络由若干层卷积和下采样操作构成；
所述图像属性恢复模块包括：以所述图像特征提取模块得到的高维特征信息为输入，利用深度卷积神经网络模型实现图像属性恢复，得到属性恢复图像，图像属性恢复网络由若干层卷积和上采样操作构成。
优选的，所述恢复图像对齐模块包括：
对于待检测的图像，将所述图像恢复模块得到的恢复图像与待检测的图像进行对比，从而计算如下损失函数：
Figure BDA0002950980520000046
其中，xn代表待检测的图像，
Figure BDA0002950980520000047
代表所述图像恢复模块的图像恢复网络，
Figure BDA0002950980520000048
代表经过所述图像属性移除模块得到的属性缺失图像，p(xn)代表模型训练集的正常数据集合。
优选的，所述图像异常评定模块包括：
对于待检测的图像，将所述图像恢复模块得到的恢复图像与待检测的图像进行对比，从而计算如下异常评定函数：
Figure BDA0002950980520000049
其中，x代表待检测的图像，N为属性移除方法的总数，
Figure BDA0002950980520000051
代表所述图像恢复模块的图像恢复网络，
Figure BDA0002950980520000052
表第i个属性移除方法，
Figure BDA0002950980520000053
是
Figure BDA0002950980520000054
的复合函数，p(xn)代表模型训练集的正常数据集合，所有损失函数均采用L1范数；
对待检测的图像，遍历所有可能的属性移除方法的可能组合，分别计算在所有可能组合情况下的图像恢复异常分数，并且利用模型训练集的正常数据集合对上述图像恢复异常分数进行加权求和，从而得到该待检测的图像最终的异常评定分数。
与现有技术相比，本发明具有如下的有益效果：
本发明通过图像属性的移除，将用于图像异常检测的图像重建任务改进为图像属性修复任务。图像重建网络天然的倾向于学习图像低级信息，例如图像的纹理等，而图像异常检测往往需要依赖与图像中的物体的属性更相关的高级语义信息，这一矛盾使得基于图像重建的异常检测方法性能受限。与现有的图像重建任务相比，本发明的基于图像属性修复的异常检测方法能够引导深度网络更加注重于学习与图像属性相关的高级语义信息，从而在异常检测任务上取得较好的性能。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的方法流程图；
图2为本发明的系统原理图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
如图1所示，为本发明基于基于图像属性恢复的图像异常检测方法实施例的流程图，该方法对于待检测的图像，利用图像灰度化、图像随机旋转等图像属性移除方法进行图像属性移除，对得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征，对图像的高维特征使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像，并属性恢复图像和待检测的图像使用均方误差损失函数实现自监督学习，最后根据所述恢复图像对齐步骤的结果和图像属性恢复步骤得到的属性恢复图像，使用加权平均函数实现图像异常评定。
本发明利用图像属性移除方法，将用于图像异常检测的图像重建任务改进为图像属性修复任务。图像重建网络天然的倾向于学习图像低级信息，例如图像的纹理等，而图像异常检测往往需要依赖与图像中的物体的属性更相关的高级语义信息，这一矛盾使得基于图像重建的异常检测方法性能受限。与现有的图像重建任务相比，本发明的基于图像属性修复的异常检测方法能够引导深度网络更加注重于学习与图像属性相关的高级语义信息，从而在异常检测任务上取得较好的性能。
具体地，参照图1，所述方法包括如下步骤：
图像属性移除步骤：对待检测的图像，利用图像灰度化、图像随机旋转等图像属性移除方法进行图像属性移除；
图像特征提取步骤：对所述图像属性移除步骤得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
图像属性恢复步骤：对所述图像特征提取步骤得到的图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
恢复图像对齐步骤：根据所述图像属性恢复步骤得到的属性恢复图像和待检测的图像，使用均方误差损失函数实现自监督学习；
图像异常评定步骤：根据所述恢复图像对齐步骤的结果和图像属性恢复步骤得到的属性恢复图像，使用加权平均函数实现图像异常评定。
对应于上述方法，本发明还提供一种基于图像属性恢复的图像异常检测系统的实施例，包括：
图像属性移除模块：对待检测的图像，利用图像灰度化、图像随机旋转等图像属性移除方法进行图像属性移除；
图像特征提取模块：对所述图像属性移除步骤得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
图像属性恢复模块：对所述图像特征提取步骤得到的图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
恢复图像对齐模块：根据所述图像属性恢复步骤得到的属性恢复图像和待检测的图像，使用均方误差损失函数实现自监督学习；
图像异常评定模块：根据所述恢复图像对齐步骤的结果和图像属性恢复步骤得到的属性恢复图像，使用加权平均函数实现图像异常评定。
上述基于图像属性恢复的图像异常检测系统各个模块实现的技术特征可以与上述基于图像属性恢复的图像异常检测方法中对应步骤实现的技术特征相同。
以下对上述各个步骤和模块的具体实现进行详细的描述，以便理解本发明技术方案。
在本发明部分实施例中，所述图像属性移除步骤，其中：对待检测的图像，利用图像灰度化、图像随机旋转等图像属性移除方法进行图像属性移除；
在本发明部分实施例中，所述图像特征提取步骤，其中：对所述图像属性移除步骤得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
在本发明部分实施例中，所述图像属性恢复步骤，其中：对所述图像特征提取步骤得到的图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
在本发明部分实施例中，所述恢复图像对齐步骤，其中：根据所述图像属性恢复步骤得到的属性恢复图像和待检测的图像，使用均方误差损失函数实现自监督学习；
在本发明部分实施例中，所述图像异常评定步骤，其中：根据所述恢复图像对齐步骤的结果和图像属性恢复步骤得到的属性恢复图像，使用加权平均函数实现图像异常评定。
具体地，图像属性移除模块、图像特征提取模块、图像属性恢复模块、恢复图像对齐模块和图像异常评定模块组成的自监督模型预训练系统网络框架如图2所示，整个系统框架能够端到端地进行训练。
在如图2所示的实施例的系统框架中，以待检测的图像为输入，利用图像灰度化、图像随机旋转等图像属性移除方法进行图像属性移除。图像属性移除步骤，属性移除方法的选择标准，具体如下：
所选择的属性移除方法应使得被移除的属性与正常数据的语义信息相关，并且该属性在正常数据之间共享；所选择的属性移除方法应使得正常数据和异常数据的被移除的属性具有不同的语义信息；所选择的属性移除方法应当可以不依赖额外数据集或额外数据标签进行图像属性移除。其中，所选择的属性移除方法的集合记为：
Figure BDA0002950980520000071
其中，
Figure BDA0002950980520000072
代表所选择的第k个属性移除方法。给定待检测图像xn，经过所述图像属性移除步骤得到的属性缺失图像为：
Figure BDA0002950980520000073
在如图2所示的实施例的系统框架中，以所述图像属性移除模块得到的属性缺失图像为输入，使用深度卷积神经网络提取图像的高维特征信息，图像特征提取网络由若干层卷积和下采样操作构成。以所述图像特征提取模块得到的高维特征信息为输入，利用深度卷积神经网络模型实现图像属性恢复，得到属性恢复图像，图像属性恢复网络由若干层卷积和上采样操作构成。对于待检测的图像，将所述图像恢复步骤得到的恢复图像与待检测的图像进行对比，从而计算如下损失函数：
Figure BDA0002950980520000081
其中，xn代表待检测的图像，
Figure BDA0002950980520000082
代表所述图像恢复步骤的图像恢复网络，
Figure BDA0002950980520000083
代表经过所述图像属性移除步骤得到的属性缺失图像，使用均方误差损失函数。
在如图2所示的实施例的系统框架中，根据所述恢复图像对齐模块的结果和图像属性恢复模块得到的属性恢复图像，使用加权平均函数实现图像异常评定。对于待检测的图像，将所述图像恢复步骤得到的恢复图像与待检测的图像进行对比，从而计算如下异常评定函数：
Figure BDA0002950980520000084
其中，x代表待检测的图像，
Figure BDA0002950980520000085
代表所述图像恢复步骤的图像恢复网络，
Figure BDA0002950980520000086
代表第i个属性移除方法，
Figure BDA0002950980520000087
是
Figure BDA0002950980520000088
的复合函数，p(xn)代表模型训练集的正常数据集合，所有损失函数均采用L1范数。该方法对于某一待检测的图像，遍历所有可能的属性移除方法的可能组合，分别计算在所有可能组合情况下的图像恢复异常分数，并且利用模型训练集的正常数据集合对上述图像恢复异常分数进行加权求和，从而得到该待检测的图像最终的异常评定分数。
综上，本发明利用图像属性移除方法，将用于图像异常检测的图像重建任务改进为图像属性修复任务。图像重建网络天然的倾向于学习图像低级信息，例如图像的纹理等，而图像异常检测往往需要依赖与图像中的物体的属性更相关的高级语义信息，这一矛盾使得基于图像重建的异常检测方法性能受限。与现有的图像重建任务相比，本发明的基于图像属性修复的异常检测方法能够引导深度网络更加注重于学习与图像属性相关的高级语义信息，从而在异常检测任务上取得较好的性能。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于图像属性恢复的图像异常检测方法，其特征在于，包括：
图像属性移除步骤：对待检测的图像，利用图像灰度化、图像随机旋转的图像属性移除方法进行图像属性移除；
图像特征提取步骤：对通过图像属性移除步骤得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
图像属性恢复步骤：对图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
恢复图像对齐步骤：对属性恢复图像和待检测的图像，使用均方误差损失函数进行自监督学习；
图像异常评定步骤：对均方误差损失函数的结果和属性恢复图像，使用加权平均函数进行图像异常评定。
2.根据权利要求1所述的基于图像属性恢复的图像异常检测方法，其特征在于，所述图像属性移除步骤包括：
所选择的属性移除方法使得被移除的属性与正常数据的语义信息相关，并且该属性在正常数据之间共享；
所选择的属性移除方法使得正常数据和异常数据的被移除的属性具有不同的语义信息；
所选择的属性移除方法不依赖额外数据集或额外数据标签进行图像属性移除；
其中，所选择的属性移除方法的集合记为：
Figure FDA0002950980510000011
给定待检测图像xn，经过所述图像属性移除步骤得到的属性缺失图像为：
Figure FDA0002950980510000012
其中，
Figure FDA0002950980510000013
代表所选择的第k个属性移除方法，K为属性移除方法的总数，
Figure FDA0002950980510000014
是
Figure FDA0002950980510000015
的复合函数。
3.根据权利要求1所述的基于图像属性恢复的图像异常检测方法，其特征在于，所述图像特征提取步骤包括：以所述图像属性移除步骤得到的属性缺失图像为输入，使用深度卷积神经网络提取图像的高维特征信息，图像特征提取网络由若干层卷积和下采样操作构成；
所述图像属性恢复步骤包括：以所述图像特征提取步骤得到的高维特征信息为输入，利用深度卷积神经网络模型实现图像属性恢复，得到属性恢复图像，图像属性恢复网络由若干层卷积和上采样操作构成。
4.根据权利要求1所述的基于图像属性恢复的图像异常检测方法，其特征在于，所述恢复图像对齐步骤包括：
对于待检测的图像，将所述图像恢复步骤得到的恢复图像与待检测的图像进行对比，从而计算如下损失函数：
Figure FDA0002950980510000021
其中，xn代表待检测的图像，
Figure FDA0002950980510000022
代表所述图像恢复步骤的图像恢复网络，
Figure FDA0002950980510000023
代表经过所述图像属性移除步骤得到的属性缺失图像，p(xn)代表模型训练集的正常数据集合。
5.根据权利要求1所述的基于图像属性恢复的图像异常检测方法，其特征在于，所述图像异常评定步骤包括：
对于待检测的图像，将所述图像恢复步骤得到的恢复图像与待检测的图像进行对比，从而计算如下异常评定函数：
Figure FDA0002950980510000024
其中，x代表待检测的图像，N为属性移除方法的总数，
Figure FDA0002950980510000025
代表所述图像恢复步骤的图像恢复网络，
Figure FDA0002950980510000026
代表第i个属性移除方法，
Figure FDA0002950980510000027
是
Figure FDA0002950980510000028
的复合函数，p(xn)代表模型训练集的正常数据集合，所有损失函数均采用L1范数；
对待检测的图像，遍历所有可能的属性移除方法的可能组合，分别计算在所有可能组合情况下的图像恢复异常分数，并且利用模型训练集的正常数据集合对上述图像恢复异常分数进行加权求和，从而得到该待检测的图像最终的异常评定分数。
6.一种基于图像属性恢复的图像异常检测系统，其特征在于，包括：
图像属性移除模块：对待检测的图像，利用图像灰度化、图像随机旋转的图像属性移除方法进行图像属性移除；
图像特征提取模块：对通过图像属性移除模块得到的属性缺失图像，使用深度卷积神经网络提取图像的高维特征；
图像属性恢复模块：对图像的高维特征，使用深度卷积神经网络进行图像属性恢复，得到属性恢复图像；
恢复图像对齐模块：对属性恢复图像和待检测的图像，使用均方误差损失函数进行自监督学习；
图像异常评定模块：对均方误差损失函数的结果和属性恢复图像，使用加权平均函数进行图像异常评定。
7.根据权利要求6所述的基于图像属性恢复的图像异常检测系统，其特征在于，所述图像属性移除模块包括：
所选择的属性移除方法使得被移除的属性与正常数据的语义信息相关，并且该属性在正常数据之间共享；
所选择的属性移除方法使得正常数据和异常数据的被移除的属性具有不同的语义信息；
所选择的属性移除方法不依赖额外数据集或额外数据标签进行图像属性移除；
其中，所选择的属性移除方法的集合记为：
Figure FDA0002950980510000031
给定待检测图像xn，经过所述图像属性移除模块得到的属性缺失图像为：
Figure FDA0002950980510000032
其中，
Figure FDA0002950980510000033
代表所选择的第k个属性移除方法，K为属性移除方法的总数，
Figure FDA0002950980510000034
是
Figure FDA0002950980510000035
的复合函数。
8.根据权利要求6所述的基于图像属性恢复的图像异常检测系统，其特征在于，所述图像特征提取模块包括：以所述图像属性移除模块得到的属性缺失图像为输入，使用深度卷积神经网络提取图像的高维特征信息，图像特征提取网络由若干层卷积和下采样操作构成；
所述图像属性恢复模块包括：以所述图像特征提取模块得到的高维特征信息为输入，利用深度卷积神经网络模型实现图像属性恢复，得到属性恢复图像，图像属性恢复网络由若干层卷积和上采样操作构成。
9.根据权利要求6所述的基于图像属性恢复的图像异常检测系统，其特征在于，所述恢复图像对齐模块包括：
对于待检测的图像，将所述图像恢复模块得到的恢复图像与待检测的图像进行对比，从而计算如下损失函数：
Figure FDA0002950980510000036
其中，xn代表待检测的图像，
Figure FDA0002950980510000037
代表所述图像恢复模块的图像恢复网络，
Figure FDA0002950980510000038
代表经过所述图像属性移除模块得到的属性缺失图像，p(xn)代表模型训练集的正常数据集合。
10.根据权利要求6所述的基于图像属性恢复的图像异常检测系统，其特征在于，所述图像异常评定模块包括：
对于待检测的图像，将所述图像恢复模块得到的恢复图像与待检测的图像进行对比，从而计算如下异常评定函数：
Figure FDA0002950980510000041
其中，x代表待检测的图像，N为属性移除方法的总数，
Figure FDA0002950980510000042
代表所述图像恢复模块的图像恢复网络，
Figure FDA0002950980510000043
代表第i个属性移除方法，
Figure FDA0002950980510000044
是
Figure FDA0002950980510000045
的复合函数，p(xn)代表模型训练集的正常数据集合，所有损失函数均采用L1范数；
对待检测的图像，遍历所有可能的属性移除方法的可能组合，分别计算在所有可能组合情况下的图像恢复异常分数，并且利用模型训练集的正常数据集合对上述图像恢复异常分数进行加权求和，从而得到该待检测的图像最终的异常评定分数。
CN202110206510.4A 2021-02-24 2021-02-24 基于图像属性恢复的图像异常检测方法和系统 Pending CN112862799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110206510.4A CN112862799A (zh) 2021-02-24 2021-02-24 基于图像属性恢复的图像异常检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110206510.4A CN112862799A (zh) 2021-02-24 2021-02-24 基于图像属性恢复的图像异常检测方法和系统

Publications (1)

Publication Number Publication Date
CN112862799A true CN112862799A (zh) 2021-05-28

Family

ID=75990879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110206510.4A Pending CN112862799A (zh) 2021-02-24 2021-02-24 基于图像属性恢复的图像异常检测方法和系统

Country Status (1)

Country Link
CN (1) CN112862799A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344875A (zh) * 2021-06-07 2021-09-03 武汉象点科技有限公司 一种基于自监督学习的异常图像检测方法
CN113362313A (zh) * 2021-06-18 2021-09-07 四川启睿克科技有限公司 一种基于自监督学习的缺陷检测方法及系统
CN114005514A (zh) * 2021-11-26 2022-02-01 杭州涿溪脑与智能研究所 医学影像诊断方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEI YE ET.AL: "Attribute Restoration Framework for Anomaly Detection", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344875A (zh) * 2021-06-07 2021-09-03 武汉象点科技有限公司 一种基于自监督学习的异常图像检测方法
CN113362313A (zh) * 2021-06-18 2021-09-07 四川启睿克科技有限公司 一种基于自监督学习的缺陷检测方法及系统
CN113362313B (zh) * 2021-06-18 2024-03-15 四川启睿克科技有限公司 一种基于自监督学习的缺陷检测方法及系统
CN114005514A (zh) * 2021-11-26 2022-02-01 杭州涿溪脑与智能研究所 医学影像诊断方法、系统及装置

Similar Documents

Publication Publication Date Title
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
CN112862799A (zh) 基于图像属性恢复的图像异常检测方法和系统
US11475307B2 (en) Systems and methods for automating information extraction from piping and instrumentation diagrams
CN110032998B (zh) 自然场景图片的文字检测方法、系统、装置和存储介质
US20170177972A1 (en) Method for analysing media content
CN110598686B (zh) 发票的识别方法、系统、电子设备和介质
CN111353491B (zh) 一种文字方向确定方法、装置、设备及存储介质
Kayumov et al. Hierarchical convolutional neural network for handwritten digits recognition
Lin et al. Image manipulation detection by multiple tampering traces and edge artifact enhancement
CN111738054A (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111783761A (zh) 证件文本的检测方法、装置及电子设备
Kayumov et al. Combined convolutional and perceptron neural networks for handwritten digits recognition
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
Hallale et al. Offline handwritten digit recognition using neural network
Qin et al. Finger-vein quality assessment based on deep features from grayscale and binary images
CN109740607B (zh) 字符图像的残缺区域检测和残缺字符图像恢复方法
CN114155556A (zh) 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及系统
CN112950458B (zh) 基于对抗生成网络的图像印章去除方法、装置及相关设备
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN113780289A (zh) 图像识别方法及装置、存储介质和电子设备
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
Cheng et al. 72‐3: Deep Learning Based Visual Defect Detection in Noisy and Imbalanced Data
Sharma et al. A deep cnn model for student learning pedagogy detection data collection using ocr
Chen et al. Task-aware novelty detection for visual-based deep learning in autonomous systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528