CN113034516A - 一种分割图像中异常区域的深度学习算法 - Google Patents

一种分割图像中异常区域的深度学习算法 Download PDF

Info

Publication number
CN113034516A
CN113034516A CN202110313181.3A CN202110313181A CN113034516A CN 113034516 A CN113034516 A CN 113034516A CN 202110313181 A CN202110313181 A CN 202110313181A CN 113034516 A CN113034516 A CN 113034516A
Authority
CN
China
Prior art keywords
image
abnormal
classification
positive sample
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110313181.3A
Other languages
English (en)
Inventor
姚健
朱奕健
余家伟
胡超
顾建峰
陆海妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom Shanghai Industrial Internet Co Ltd
Original Assignee
China Unicom Shanghai Industrial Internet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom Shanghai Industrial Internet Co Ltd filed Critical China Unicom Shanghai Industrial Internet Co Ltd
Priority to CN202110313181.3A priority Critical patent/CN113034516A/zh
Publication of CN113034516A publication Critical patent/CN113034516A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无监督图像异常分割技术领域，尤其为一种分割图像中异常区域的深度学习算法，包括以下步骤：S1，首先作正样本图像特征提取，本发明通过设计分割图像中异常区域的深度学习算法达到算法准确度高；推理时间和内存占用为常数量级，与正样本参考图片数量无关；算法流程简单，只需选取最优的单个层级特征表示，无需多层级特征融合的效果，同时分割阈值可根据实际情况采取不同选取方式，算法的泛化能力好，易于复用，解决了现有的无监督异常分割算法准确度不高、推理时间长、内存占用大等问题,进而能够准确且高效地分割异常区域，且不需要多层级特征融合即可达到当前最优效果。

Description

一种分割图像中异常区域的深度学习算法
技术领域
本发明涉及无监督图像异常分割技术领域，尤其涉及一种分割图像中异常区域的深度学习算法。
背景技术
现存的无监督异常分割算法，主要有两种：1.基于重建的方法，通过自编码器(AutoEncoder)重建正样本图片，由于异常样本重建前后差异较大从而分割出异常区域，此类方法模型参数量大、训练时间长，对复杂图案重建效果不佳，分割准确度不高；2.基于预训练网络提取特征表示，并用knn等方法进行图像检索，将待测图片与特征空间上最临近的正样本参考图片作对比，分割出异常区域，该方法需要构建正样本特征字典，字典的内存占用、knn搜索时间都与正样本参考图片的数量成正比，当数据量非常大时，该算法非常耗时,另外，特征提取器通常是卷积神经网络，为获取不同感受野的特征表示，需要进行多层级特征融合。
综上所述，本发明通过设计一种分割图像中异常区域的深度学习算法来解决存在的问题。
发明内容
本发明的目的在于提供一种分割图像中异常区域的深度学习算法，为了克服现有的无监督异常分割算法准确度不高、推理时间长、内存占用大等问题,本发明创造提供一种新型解决方案，可以准确且高效地分割异常区域，且不需要多层级特征融合即可达到当前最优效果。
为实现上述目的，本发明提供如下技术方案：
一种分割图像中异常区域的深度学习算法，包括以下步骤：
S1，首先作正样本图像特征提取：使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N,C,H,W)；
S2，然后对该数据体作统计量计算，对空间位置(i,j)(i的范围为[0,H]，j的范围为[0,W])的特征按通道求均值,C_mean(i,j)即对应位置的特征的均值,其是一个长度为C的向量；以及C_corr(i,j)，表示对应位置的特征的协方差矩阵，其是一个CxC大小的对称矩阵，需要将这两个统计量保存，为后面测试时计算马氏距离所用；
S3，接下来是测试阶段，同样用ViT提取被测图片的特征表示，然后使用马氏距离作为距离度量，其中，xij表示被测图片在(i，j)空间位置的特征向量，uij和Σij就是在正样本训练数据上统计并保存的(i，j)位置上的特征均值和协方差矩阵，并且通过马氏距离公式计算马氏距离；
S4，最后，例如一张被测图片，其各个空间位置都可计算出与正样本训练集特征的马氏距离，得到一个(H,W)的马氏距离图，通过分割阈值筛选，做到图像块的正常/异常二分类，实现异常区域分割，并且将这个(H,W)的距离图的最大值记作异常值s,以及通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类，对于分类和分割阈值的确定，提前人工标注一些真值，通过最大化AUCROC确定阈值或者在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值。
优选的，所述S1中N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽。
优选的，所述S2中的协方差矩阵计算公式为：
Figure BDA0002990105330000031
优选的，所述S3中马氏距离公式为：
Figure BDA0002990105330000032
优选的，所述S1中的特征表示采用非卷积神经网络结构，其感受野来自图片全局，内部采用多头自注意力机制，在大规模图像分类前置任务上训练得到网络权重，无需微调，直接用于当前图片特征提取。
与现有技术相比，本发明的有益效果是：
1、本发明中，通过设计分割图像中异常区域的深度学习算法达到算法准确度高；推理时间和内存占用为常数量级，与正样本参考图片数量无关；算法流程简单，只需选取最优的单个层级特征表示，无需多层级特征融合的效果，同时分割阈值可根据实际情况采取不同选取方式，算法的泛化能力好，易于复用，解决了现有的无监督异常分割算法准确度不高、推理时间长、内存占用大等问题,进而能够准确且高效地分割异常区域，且不需要多层级特征融合即可达到当前最优效果。
具体实施方式
下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种分割图像中异常区域的深度学习算法，包括以下步骤：
S1，首先作正样本图像特征提取：使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N,C,H,W)；
S2，然后对该数据体作统计量计算，对空间位置(i,j)(i的范围为[0,H]，j的范围为[0,W])的特征按通道求均值,C_mean(i,j)即对应位置的特征的均值,其是一个长度为C的向量；以及C_corr(i,j)，表示对应位置的特征的协方差矩阵，其是一个CxC大小的对称矩阵，需要将这两个统计量保存，为后面测试时计算马氏距离所用；
S3，接下来是测试阶段，同样用ViT提取被测图片的特征表示，然后使用马氏距离作为距离度量，其中，xij表示被测图片在(i，j)空间位置的特征向量，uij和Σij就是在正样本训练数据上统计并保存的(i，j)位置上的特征均值和协方差矩阵，并且通过马氏距离公式计算马氏距离；
S4，最后，例如一张被测图片，其各个空间位置都可计算出与正样本训练集特征的马氏距离，得到一个(H,W)的马氏距离图，通过分割阈值筛选，做到图像块的正常/异常二分类，实现异常区域分割，并且将这个(H,W)的距离图的最大值记作异常值s,以及通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类，对于分类和分割阈值的确定，提前人工标注一些真值，通过最大化AUCROC确定阈值或者在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值。
进一步的，所述S1中N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽。
进一步的，所述S2中的协方差矩阵计算公式为：
Figure BDA0002990105330000041
进一步的，所述S3中马氏距离公式为：
Figure BDA0002990105330000051
进一步的，所述xij表示被测图片在(i，j)空间位置的的特征向量，uij和Σij就是在正样本训练数据上统计并保存的(i，j)位置上的特征均值和协方差矩阵。
进一步的，所述S1中的特征表示采用非卷积神经网络结构，其感受野来自图片全局，内部采用多头自注意力机制，在大规模图像分类前置任务上训练得到网络权重，无需微调，直接用于当前图片特征提取。
实施例：
正样本：没有缺陷的正常样本；负样本：有缺陷的样本
算法的步骤具体如下:
首先作正样本图像特征提取：使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N,C,H,W)，其中，N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽；
然后对该数据体作统计量计算，对空间位置(i,j)(i的范围为[0,H]，j的范围为[0,W])的特征按通道求均值,C_mean(i,j)即对应位置的特征的均值,其是一个长度为C的向量；以及C_corr(i,j)，表示对应位置的特征的协方差矩阵，其是一个CxC大小的对称矩阵，需要将这两个统计量保存，为后面测试时计算马氏距离所用，其中协方差矩阵的计算为：
Figure BDA0002990105330000052
接下来是测试阶段，同样用ViT提取被测图片的特征表示，然后使用马氏距离作为距离度量，其中马氏距离度量的计算公式为：
Figure BDA0002990105330000061
其中，xij表示被测图片在(i，j)空间位置的的特征向量，uij和Σij就是在正样本训练数据上统计并保存的(i，j)位置上的特征均值和协方差矩阵，通过上面公式计算马氏距离；
相较欧式距离，马氏距离不受各特征维度量纲的影响，还可以排除各特征维度之间的相关性的干扰；
例如，一张被测图片，其各个空间位置都可计算出与正样本训练集特征的马氏距离，得到一个(H,W)的马氏距离图，通过分割阈值筛选，做到图像块的正常/异常二分类，实现异常区域分割，并且将这个(H,W)的距离图的最大值记作异常值s,以及通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类；
对于分类和分割阈值的确定，可以提前人工标注一些真值，通过最大化AUCROC确定阈值；也可以在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值，具体方法是确定一个百分数，如98％，让98％的正样本位于分类阈值和分割阈值以下，此时的98％处的距离即作为阈值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种分割图像中异常区域的深度学习算法，其特征在于，包括以下步骤：
S1，首先作正样本图像特征提取：使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N,C,H,W)；
S2，然后对该数据体作统计量计算，对空间位置(i,j)(i的范围为[0,H]，j的范围为[0,W])的特征按通道求均值,C_mean(i,j)即对应位置的特征的均值,其是一个长度为C的向量；以及C_corr(i,j)，表示对应位置的特征的协方差矩阵，其是一个CxC大小的对称矩阵，需要将这两个统计量保存，为后面测试时计算马氏距离所用；
S3，接下来是测试阶段，同样用ViT提取被测图片的特征表示，然后使用马氏距离作为距离度量，其中，xij表示被测图片在(i，j)空间位置的特征向量，uij和Σij就是在正样本训练数据上统计并保存的(i，j)位置上的特征均值和协方差矩阵，并且通过马氏距离公式计算马氏距离；
S4，最后，例如一张被测图片，其各个空间位置都可计算出与正样本训练集特征的马氏距离，得到一个(H,W)的马氏距离图，通过分割阈值筛选，做到图像块的正常/异常二分类，实现异常区域分割，并且将这个(H,W)的距离图的最大值记作异常值s,以及通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类，对于分类和分割阈值的确定，提前人工标注一些真值，通过最大化AUCROC确定阈值或者在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值。
2.根据权利要求1所述的一种分割图像中异常区域的深度学习算法，其特征在于，所述S1中N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽。
3.根据权利要求1所述的一种分割图像中异常区域的深度学习算法，其特征在于，所述S2中的协方差矩阵计算公式为：
Figure FDA0002990105320000021
4.根据权利要求1所述的一种分割图像中异常区域的深度学习算法，其特征在于，所述S3中马氏距离公式为：
Figure FDA0002990105320000022
5.根据权利要求1所述的一种分割图像中异常区域的深度学习算法，其特征在于，所述S1中的特征表示采用非卷积神经网络结构，其感受野来自图片全局，内部采用多头自注意力机制，在大规模图像分类前置任务上训练得到网络权重，无需微调，直接用于当前图片特征提取。
CN202110313181.3A 2021-03-24 2021-03-24 一种分割图像中异常区域的深度学习算法 Pending CN113034516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313181.3A CN113034516A (zh) 2021-03-24 2021-03-24 一种分割图像中异常区域的深度学习算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313181.3A CN113034516A (zh) 2021-03-24 2021-03-24 一种分割图像中异常区域的深度学习算法

Publications (1)

Publication Number Publication Date
CN113034516A true CN113034516A (zh) 2021-06-25

Family

ID=76473588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313181.3A Pending CN113034516A (zh) 2021-03-24 2021-03-24 一种分割图像中异常区域的深度学习算法

Country Status (1)

Country Link
CN (1) CN113034516A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657467A (zh) * 2021-07-29 2021-11-16 北京百度网讯科技有限公司 模型预训练方法、装置、电子设备和存储介质
CN114240968A (zh) * 2021-12-17 2022-03-25 联通(上海)产业互联网有限公司 一种分割图像中异常区域的自监督深度学习算法
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096999A1 (en) * 2008-04-28 2011-04-28 Base Systems plc Image processing
CN102938151A (zh) * 2012-11-22 2013-02-20 中国人民解放军电子工程学院 一种高光谱图像异常检测的方法
CN107766823A (zh) * 2017-10-25 2018-03-06 中国科学技术大学 基于关键区域特征学习的视频中异常行为检测方法
CN111444969A (zh) * 2020-03-30 2020-07-24 西安交通大学 一种弱监督的ivoct图像异常区域检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096999A1 (en) * 2008-04-28 2011-04-28 Base Systems plc Image processing
CN102938151A (zh) * 2012-11-22 2013-02-20 中国人民解放军电子工程学院 一种高光谱图像异常检测的方法
CN107766823A (zh) * 2017-10-25 2018-03-06 中国科学技术大学 基于关键区域特征学习的视频中异常行为检测方法
CN111444969A (zh) * 2020-03-30 2020-07-24 西安交通大学 一种弱监督的ivoct图像异常区域检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEXEY DOSOVITSKIY ET AL.: "An image is worth 16×16 words: Transformers for image recognition at scale", 《ARXIV》, 22 October 2020 (2020-10-22), pages 1 - 21 *
THOMAS DEFARD ET AL.: "PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization", 《ARXIV》, 17 November 2020 (2020-11-17), pages 1 - 7 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657467A (zh) * 2021-07-29 2021-11-16 北京百度网讯科技有限公司 模型预训练方法、装置、电子设备和存储介质
CN114240968A (zh) * 2021-12-17 2022-03-25 联通(上海)产业互联网有限公司 一种分割图像中异常区域的自监督深度学习算法
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
CN117274148B (zh) * 2022-12-05 2024-07-09 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法

Similar Documents

Publication Publication Date Title
CN113034516A (zh) 一种分割图像中异常区域的深度学习算法
CN109145830B (zh) 一种智能水尺识别方法
CN111582062B (zh) 一种基于YOLOv3的目标跟踪中的重检测方法
CN111524181B (zh) 一种基于扫描电镜图像分割的多孔材料孔洞自动测量方法
CN112907589A (zh) 一种检测异常并且分割图像中异常区域的深度学习算法
CN106778734A (zh) 一种基于稀疏表示的绝缘子掉串缺陷检测方法
CN111695468B (zh) 一种基于K-shot学习的极化SAR地物分类方法
CN108399430B (zh) 一种基于超像素和随机森林的sar图像舰船目标检测方法
CN112188532A (zh) 网络异常检测模型的训练方法、网络检测方法及装置
CN103678483A (zh) 基于自适应概率超图和半监督学习的视频语义分析方法
CN112749633B (zh) 分离与重构的个体辐射源识别方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
CN117911408B (zh) 一种道路路面施工质量检测方法及系统
CN114861761B (zh) 一种基于孪生网络特征与几何验证的回环检测方法
CN116758064A (zh) 基于电子扫描显微镜的锂电池隔膜质量检测方法
CN114841997A (zh) 一种阀门底座密封面表面缺陷检测方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN113762151A (zh) 一种故障数据处理方法、系统及故障预测方法
CN113284093A (zh) 一种基于改进D-LinkNet的卫星影像云检测方法
CN117409254A (zh) 一种基于ResNet34残差神经网络的天麻客观质量分类评价方法
CN111144280A (zh) 一种监控视频树叶遮挡检测方法
CN115861308A (zh) 一种元宝枫病害检测方法
CN112014821B (zh) 一种基于雷达宽带特征的未知车辆目标识别方法
CN111898579A (zh) 基于极限梯度提升的高分遥感影像无偏半监督分类模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination