CN116993694B - 一种基于深度特征填充的无监督宫腔镜图像异常检测方法 - Google Patents

一种基于深度特征填充的无监督宫腔镜图像异常检测方法 Download PDF

Info

Publication number
CN116993694B
CN116993694B CN202310962855.1A CN202310962855A CN116993694B CN 116993694 B CN116993694 B CN 116993694B CN 202310962855 A CN202310962855 A CN 202310962855A CN 116993694 B CN116993694 B CN 116993694B
Authority
CN
China
Prior art keywords
image
feature
hysteroscope
anomaly
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310962855.1A
Other languages
English (en)
Other versions
CN116993694A (zh
Inventor
张云飞
蔡占毅
曹黎俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jiyuan Medical Technology Co ltd
Original Assignee
Jiangsu Jiyuan Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jiyuan Medical Technology Co ltd filed Critical Jiangsu Jiyuan Medical Technology Co ltd
Priority to CN202310962855.1A priority Critical patent/CN116993694B/zh
Publication of CN116993694A publication Critical patent/CN116993694A/zh
Application granted granted Critical
Publication of CN116993694B publication Critical patent/CN116993694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度特征填充的无监督宫腔镜图像异常检测方法，该方法利用了宫腔镜图像中存在的空间相关性和结构一致性，以及深度特征空间中存在的语义信息和上下文信息，来提取和重建图像中的常见解剖结构，并识别出图像中未见或修改过的模式。该方法包括以下步骤：（1）将输入图像映射到高维特征空间，并尝试重建输入图像；（2）在训练过程中，存储和更新历史特征，并与当前特征进行对比，计算特征对比损失；（3）在推理过程中，从内存队列中选取最相关的历史特征，并与当前特征进行融合，得到修复后的特征；（4）计算异常分数，并根据阈值来判断是否为异常，并输出结果。本方法实现了无监督异常检测并提高了异常检测的精度和鲁棒性。

Description

一种基于深度特征填充的无监督宫腔镜图像异常检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于深度特征填充的无监督宫腔图像异常检测方法。
背景技术
宫腔镜图像异常检测是一种用于筛查子宫肌瘤和息肉的方法，它通过观察宫腔变化来评估女性的宫腔健康。然而，由于宫腔镜图像的图像质量受到多种因素的影响，如曝光度、对比度、噪声、伪影等，导致其异常检测具有较高的难度和复杂度。
传统的宫腔镜图像异常检测方法主要依赖于人工视觉和经验，需要专业的医生进行分析和诊断，但这种方法存在以下问题：一是人工视觉和经验受到个体差异和主观因素的影响，可能导致诊断结果不一致或不准确；二是专业医生的数量和水平有限，难以满足日益增长的宫腔镜图像检查需求；三是人工视觉和经验需要大量的时间和精力，容易造成医生的疲劳和误诊。
为了解决上述问题，近年来，基于深度学习的宫腔镜图像异常检测方法引起了广泛的关注和研究。深度学习是一种强大的机器学习技术，可以从大量的数据中自动学习特征和规律，具有高效、准确、鲁棒的优势。基于深度学习的宫腔镜图像异常检测方法可以利用深度神经网络对宫腔镜图像进行特征提取、分类、定位、分割等任务，实现对宫腔镜图像中的异常区域和类型的自动识别和定量分析。这种方法可以有效提高宫腔镜图像异常检测的准确性和效率，减轻医生的工作负担，提升宫腔疾病的早期发现和治疗水平。
然而，异常检测的一个主要挑战是缺乏标注的异常数据，这使得无监督的方法更加必要。
本发明提出了一种新颖的无监督异常检测方法，其核心思想是利用深度特征空间中的上下文信息来修复被遮挡或损坏的特征区域，并根据修复后的特征与原始特征之间的差异来评估异常程度。
发明内容
本发明的目的是：针对宫腔镜图像异常检测问题，利用宫腔镜图像中存在的空间相关性和结构一致性，以及深度特征空间中存在的语义信息和上下文信息，来提取和重建图像中的常见解剖结构，并识别出图像中未见或修改过，从而实现无监督的情况下，从宫腔镜图像中检测出异常。
为实现上述技术目的，本发明是一种基于深度特征填充的无监督宫腔镜图像异常检测方法，该异常检测方法包括一个用于特征提取的图像编码器，一个采用了知识蒸馏方法的教师-学生框架，一个为重建图像准备的填充模块，一个用于异常检测的检测模块。
具体包含以下步骤：
步骤1：输入一张宫腔镜图像，将其转换为灰度图像，并进行预处理，包含有：图像缩放，Gamma变换，随机水平翻转，随机垂直翻转，中心裁剪，随机角度旋转，标准化。
步骤2：将预处理后的图像切割成多个补丁，输入一个编码器网络，此处编码器网络可以为目前常见的任意编码网络，经编码器进行特征提取，得到一个特征图，该特征图包含了图像中的解剖结构信息和较丰富的语义信息。
步骤3：将步骤2中提取到的特征图输入教师模型，经计算得到教师模型生成的重建图像，将此重建图像与输入特征图进行对比，计算出教师模型的损失Lt。
步骤4：将步骤2中提取到的特征图输入一个内存队列，该内存队列是一个可学习的数据结构，能够存储和更新特征图中的重复模式，并根据空间信息对其进行排序和筛选。
步骤5：将内存队列中的最相关特征向量与特征图进行匹配，得到一个匹配矩阵，该匹配矩阵表示了特征图中每个位置与内存队列中哪个特征向量最相似。
步骤6：将步骤2中提取到的特征图的每一个补丁与其周围八个位置对应匹配矩阵中的八个补丁拼接，作为一个Transformer层的输入，步骤2中特征图的补丁作为查询，匹配矩阵中对应的八个补丁作为键/值。
步骤7：将步骤6的输出特征图与步骤2的输出特征图求和。
步骤8：将步骤7计算得到的特征图输入学生模型，得到一个重建图像，该重建图像尽可能地接近输入图像，将此重建图像与输入特征图进行对比，计算出学生模型的损失Ls。
步骤9:根据学生模型和教师模型在中间层输出的特征图差异，计算得到Lst。
步骤10：将学生模型输出的重建图像送入异常检测模块,计算损失Lgen。
步骤11：将初始的输入特征图同样送入异常检测模块，检测重建图像是否异常，并计算损失Ldis。
步骤12：由上述的四种损失Lt，Ls，Lgen，Lst计算得到整个网络模型的损失。
步骤13：根据整个网络模型的损失和Ldis，进行模型参数更新。
步骤14：重复步骤2-步骤13，直到训练次数达到预期值。
该异常检测方法包括存储和更新历史特征，并与当前特征进行对比，计算特征对比损失的步骤，包括：
(1)用一个内存队列存储历史特征向量，每个特征向量都有一个对应的空间位置标签；
(2)当新的特征向量进入时，按照一定的更新策略替换掉最旧或最不相关的特征向量，并保持其空间位置标签不变；
(3)用一个基于信息熵的损失函数衡量当前特征与内存队列中具有相同空间位置标签的特征之间的相似度，以及与具有不同空间位置标签的特征之间的不同度。
本发明方法相对于现有技术具有以下优点和效果：
1、本发明方法利用了放射学图像中存在的空间相关性和结构一致性，以及深度特征空间中存在的语义信息和上下文信息，来提取和重建图像中的常见解剖结构，并识别出图像中未见或修改过的模式，从而实现了无监督异常检测；
2、本发明方法采用了一种新颖的内存队列和特征修复模块，来修复当前特征，并生成异常分数，从而提高了异常检测的精度和鲁棒性，通过实验添加该模块可将准确率accuracy由89.7％提高到91.4％。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本发明中的异常检测方法的整体结构图；
图2是本发明中的异常检测方法的整体流程图；
图3是本发明中的异常检测方法在实际检测中的效果图。
具体实施方式
下面结合附图对本发明做进一步的描述。
本发明涉及一种基于深度特征填充的无监督宫腔镜图像异常检测方法，该方法利用了放射学图像中存在的空间相关性和结构一致性，以及深度特征空间中存在的语义信息和上下文信息，来提取和重建图像中的常见解剖结构，并识别出图像中未见或修改过的模式。具体步骤如下：
参照图1-3，本发明中的多源异质医学图像的联邦学习方法在训练过程的整体流程图。
步骤1：输入一张宫腔镜图像，将其转换为灰度图像，并进行预处理，包含有：图像缩放，Gamma变换，随机水平翻转，随机垂直翻转，中心裁剪，随机角度旋转，标准化。
步骤2：将预处理后的图像切割成多个补丁，输入一个编码器网络，经编码器进行特征提取，得到一个特征图，该特征图包含了图像中的解剖结构信息和较丰富的语义信息。
此处的编码器结构可以选择当前常见的编码器，如：CSWin Transformer,SwinTransformer等，但建议不要使用深度过深的编码器，以免特征图的几何细节信息过度丢失。
步骤3：将步骤2中提取到的特征图输入教师模型，经计算得到教师模型生成的重建图像，将此重建图像与输入特征图进行对比，计算出教师模型的损失Lt。
此处教师模型的损失计算公式为：
Lt＝|I-Gt(E(I))|
其中，I为输入网络的宫腔镜图像,E为编码器，Gt为教师模型，Lt为由教师模型输出的重建图像和输入宫腔镜图像计算得到的损失。
步骤4：将步骤2中提取到的特征图输入内存队列模块。
在训练过程中，本发明提出的异常检测方法用一个内存队列模块来存储和更新历史特征，并与当前特征进行对比。该模块包括一个空间感知内存队列M和一个特征对比损失函数LC。空间感知内存队列M是一个固定大小的缓冲区，用于存储历史特征向量。
每个特征向量都有一个对应的空间位置标签，表示其在原始图像中的位置。当新的特征向量进入时，内存队列M会按照特征对比损失函数LC计算得到的相似度替换掉最旧或最不相关的特征向量，并保持其空间位置标签不变。
特征对比损失函数LC是一种交叉熵损失函数，用于衡量当前特征与内存队列M中的特征之间的相似度。该损失函数的目的是使得当前特征与内存队列M中具有相同空间位置标签的特征更加相似，而与具有不同空间位置标签的特征更加不同。
步骤5：将内存队列中的最相关的历史特征与特征图进行匹配，得到一个匹配矩阵。
步骤6：将步骤2中提取到的特征图的每一个补丁与其周围八个位置对应匹配矩阵中的八个补丁拼接，作为一个Transformer层的输入，步骤2中特征图的补丁作为查询，匹配矩阵中对应的八个补丁作为键/值。
步骤7：将步骤6的输出特征图与步骤2的输出特征图求和。
此处求和方法如下：
F′＝(1-δ)F+δ*inpaint(F)
其中，F为步骤2中编码器输出的特征图，inpaint为上述步骤4-步骤6的过程，δ为平衡两项在求和过程中占比的系数，F′为求和后的特征图。经多次实验，建议此处δ取值为0.6-0.8。
步骤8：将步骤7计算得到的特征图输入学生模型，得到一个重建图像，该重建图像尽可能地接近输入图像，将此重建图像与输入特征图进行对比，计算出学生模型的损失Ls。
学生模型的损失Ls计算公式如下：
Ls＝|I-Gs(E(I))|
其中，I为输入网络的宫腔镜图像,E为编码器，Gs为学生模型，Ls为由学生模型输出的重建图像和输入宫腔镜图像计算得到的损失。
步骤9:根据学生模型和教师模型在中间层输出的特征图差异，计算得到Lst。
Lst的计算公式为：
其中，为教师模型中间层输出的特征图，i为中间层序号，/>为学生模型中间层输出的特征图。此方法意义在于用教师模型约束学生模型，防止学生模型无论输入什么，都输出相同的图像。
步骤10：将学生模型输出的重建图像送入异常检测模块,计算损失Lgen。
Lgen计算公式为：
Lgen＝log(1-D(Gs(E(I))))
其中，D为异常检测模块，Gs为学生模型，E为编码器，I为输入网络的宫腔镜图像。
步骤11：将初始的输入特征图同样送入异常检测模块，检测重建图像是否异常，并计算损失Ldis。
此处用一个异常分数计算模块来生成异常分数S，并根据阈值来判断是否为异常。当输入网络的宫腔镜图像正常时，该异常分数很小；当输入网络的宫腔镜图像异常时，该异常分数明显增大。随后，根据异常分数与阈值大小的比较，即可判别输入网络的宫腔镜图像是否正常。
异常分数的计算方法为：
其中，μ和σ为训练样本上计算得到的异常得分的均值和方差,为Sigmoid函数。
Ldis的计算公式为：
Ldis＝log(D(I))+log(1-D(Gs(E(I))))
步骤12：由上述的四种损失Lt，Ls，Lgen，Lst计算得到整个网络模型的损失，计算公式如下：
Lall＝λtLt+λsLs+λgenLgen+λstLst
其中，λt，λs，λgen，λst是表示各损失函数在整个模型参数更新中的占比的参数。
步骤13：根据整个网络模型的损失和Ldis，更新整个模型的参数，使Lall最小化，Ldis最大化。
步骤14：重复步骤2-步骤13，直到训练次数达到预期值。
该异常检测方法包括存储和更新历史特征，并与当前特征进行对比，计算特征对比损失的步骤，包括：
(1)用一个内存队列存储历史特征向量，每个特征向量都有一个对应的空间位置标签；
(2)当新的特征向量进入时，按照一定的更新策略替换掉最旧或最不相关的特征向量，并保持其空间位置标签不变；
(3)用一个基于信息熵的损失函数衡量当前特征与内存队列中具有相同空间位置标签的特征之间的相似度，以及与具有不同空间位置标签的特征之间的不同度。
本发明方法利用了放射学图像中存在的空间相关性和结构一致性，以及深度特征空间中存在的语义信息和上下文信息，来提取和重建图像中的常见解剖结构，并识别出图像中未见或修改过的模式，从而实现了无监督异常检测；采用了一种新颖的内存队列和特征修复模块，来修复当前特征，并生成异常分数，从而提高了异常检测的精度和鲁棒性。
除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。

Claims (4)

1.一种基于深度特征填充的无监督宫腔镜图像异常检测方法，其特征在于，包括以下步骤：
步骤1：输入一张宫腔镜图像，将其转换为灰度图像，并进行预处理，包含有：图像缩放，Gamma变换，随机水平翻转，随机垂直翻转，中心裁剪，随机角度旋转，标准化；
步骤2：将预处理后的图像切割成多个补丁，输入一个编码器网络；
步骤3：将步骤2中提取到的特征图输入教师模型，经计算得到教师模型生成的重建图像，将此重建图像与输入特征图进行对比，计算出教师模型的损失Lt；
步骤4：将步骤2中提取到的特征图输入一个内存队列，该内存队列是一个可学习的数据结构，用于存储和更新特征图中的重复模式，并根据空间信息对其进行排序和筛选；
步骤5：将内存队列中的最相关模式与特征图进行匹配，得到一个匹配矩阵，该匹配矩阵表示了特征图中每个位置与内存队列中哪个特征向量最相似；
步骤6：将步骤2中提取到的特征图的每一个补丁与其周围八个位置对应匹配矩阵中的八个补丁拼接，作为一个Transformer层的输入，步骤2中特征图的补丁作为查询，匹配矩阵中对应的八个补丁作为键/值；
步骤7：将步骤6的输出特征图与步骤2的输出特征图求和；
步骤8：将步骤7计算得到的特征图输入学生模型，得到一个重建图像，该重建图像尽可能地接近输入图像，将此重建图像与输入特征图进行对比，计算出学生模型的损失Ls；
步骤9:根据学生模型和教师模型在中间层输出的特征图差异，计算得到Lst；
步骤10：将学生模型输出的重建图像送入异常检测模块,计算损失Lgen；
Lgen计算公式为：
Lgen＝log(1-D(Gs(E(I))))
其中，D为异常检测模块，Gs为学生模型，E为编码器，I为输入网络的宫腔镜图像；
步骤11：将初始的输入特征图同样送入异常检测模块，检测重建图像是否异常，并计算损失Ldis；
此处用一个异常分数计算模块来生成异常分数S，并根据阈值来判断是否为异常；当输入网络的宫腔镜图像正常时，该异常分数很小；当输入网络的宫腔镜图像异常时，该异常分数明显增大；随后，根据异常分数与阈值大小的比较，即可判别输入网络的宫腔镜图像是否正常；
异常分数的计算方法为：
其中，μ和σ为训练样本上计算得到的异常得分的均值和方差,为Sigmoid函数；
Ldis的计算公式为：
Ldis＝log(D(I))+log(1-D(Gs(E(I))))
步骤12：由上述的四种损失Lt，Ls，Lst,Lgen计算得到整个网络模型的损失；
步骤13：进行模型参数更新；
步骤14：重复步骤2-步骤13，直到训练次数达到预期值或网络模型的损失函数收敛。
2.根据权利要求1所述的一种基于深度特征填充的无监督宫腔镜图像异常检测方法，其特征在于，所述步骤2中的编码器网络为CSWin Transformer,Swin Transformer。
3.根据权利要求1所述的一种基于深度特征填充的无监督宫腔镜图像异常检测方法，其特征在于，使用四个模块搭建了无监督的异常检测方法，包括有一个用于特征提取的图像编码器，一个采用了知识蒸馏方法的教师-学生框架，一个为重建图像准备的填充模块，一个用于异常检测的检测模块。
4.根据权利要求1-3任一所述的一种基于深度特征填充的无监督宫腔镜图像异常检测方法，其特征在于，所述的存储和更新历史特征，并与当前特征进行对比，计算特征对比损失的步骤，包括：
(1)用一个内存队列存储历史特征向量，每个特征向量都有一个对应的空间位置标签；
(2)当新的特征向量进入时，按照一定的更新策略替换掉最旧或最不相关的特征向量，并保持其空间位置标签不变；
(3)用一个基于信息熵的损失函数衡量当前特征与内存队列中具有相同空间位置标签的特征之间的相似度，以及与具有不同空间位置标签的特征之间的不同度。
CN202310962855.1A 2023-08-02 2023-08-02 一种基于深度特征填充的无监督宫腔镜图像异常检测方法 Active CN116993694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310962855.1A CN116993694B (zh) 2023-08-02 2023-08-02 一种基于深度特征填充的无监督宫腔镜图像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310962855.1A CN116993694B (zh) 2023-08-02 2023-08-02 一种基于深度特征填充的无监督宫腔镜图像异常检测方法

Publications (2)

Publication Number Publication Date
CN116993694A CN116993694A (zh) 2023-11-03
CN116993694B true CN116993694B (zh) 2024-05-14

Family

ID=88533409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310962855.1A Active CN116993694B (zh) 2023-08-02 2023-08-02 一种基于深度特征填充的无监督宫腔镜图像异常检测方法

Country Status (1)

Country Link
CN (1) CN116993694B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101426A (zh) * 2020-08-26 2020-12-18 东南大学 基于自编码器的无监督学习图像异常检测方法
EP3862927A1 (en) * 2020-02-05 2021-08-11 Another Brain Anomaly detector, method of anomaly detection and method of training an anomaly detector
WO2021191908A1 (en) * 2020-03-25 2021-09-30 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Deep learning-based anomaly detection in images
AU2021106346A4 (en) * 2021-08-21 2021-11-04 China University Of Mining And Technology Unsupervised coal flow anomaly detection method based on a generative adversarial learning
CN113902761A (zh) * 2021-11-02 2022-01-07 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
WO2022046077A1 (en) * 2020-08-28 2022-03-03 Siemens Aktiengesellschaft Incremental learning for anomaly detection and localization in images
WO2022057078A1 (zh) * 2020-09-21 2022-03-24 深圳大学 基于集成知识蒸馏的实时肠镜影像分割方法及装置
CN114240892A (zh) * 2021-12-17 2022-03-25 华中科技大学 一种基于知识蒸馏的无监督工业图像异常检测方法及系统
CN114332053A (zh) * 2021-12-31 2022-04-12 上海交通大学 一种多模态两阶段无监督视频异常检测方法
CN114419506A (zh) * 2022-01-18 2022-04-29 南京思飞赫能信息技术有限公司 基于无监督学习的配电房设备异常监测方法与系统
CN114707670A (zh) * 2022-04-07 2022-07-05 中国人民解放军国防科技大学 一种面向无标签数据的异构联邦学习方法和系统
CN114782694A (zh) * 2022-06-21 2022-07-22 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN115310555A (zh) * 2022-08-30 2022-11-08 浙江大学计算机创新技术研究院 一种基于局部感知知识蒸馏网络的图像异常检测方法
CN115861256A (zh) * 2022-12-15 2023-03-28 南京信息工程大学 基于知识蒸馏结合图像重构的异常检测方法
CN115861903A (zh) * 2023-02-16 2023-03-28 合肥工业大学智能制造技术研究院 一种弱监督视频异常检测方法、系统及模型训练方法
WO2023097638A1 (zh) * 2021-12-03 2023-06-08 宁德时代新能源科技股份有限公司 一种基于对比表征蒸馏的快速异常检测方法和系统
CN116468667A (zh) * 2023-03-09 2023-07-21 浙江科技学院 一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法
CN116502705A (zh) * 2023-03-24 2023-07-28 杭州医康慧联科技股份有限公司 兼用域内外数据集的知识蒸馏方法和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3862927A1 (en) * 2020-02-05 2021-08-11 Another Brain Anomaly detector, method of anomaly detection and method of training an anomaly detector
WO2021191908A1 (en) * 2020-03-25 2021-09-30 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Deep learning-based anomaly detection in images
CN112101426A (zh) * 2020-08-26 2020-12-18 东南大学 基于自编码器的无监督学习图像异常检测方法
WO2022046077A1 (en) * 2020-08-28 2022-03-03 Siemens Aktiengesellschaft Incremental learning for anomaly detection and localization in images
WO2022057078A1 (zh) * 2020-09-21 2022-03-24 深圳大学 基于集成知识蒸馏的实时肠镜影像分割方法及装置
AU2021106346A4 (en) * 2021-08-21 2021-11-04 China University Of Mining And Technology Unsupervised coal flow anomaly detection method based on a generative adversarial learning
CN113902761A (zh) * 2021-11-02 2022-01-07 大连理工大学 基于知识蒸馏的肺部疾病病灶无监督分割方法
WO2023097638A1 (zh) * 2021-12-03 2023-06-08 宁德时代新能源科技股份有限公司 一种基于对比表征蒸馏的快速异常检测方法和系统
CN114240892A (zh) * 2021-12-17 2022-03-25 华中科技大学 一种基于知识蒸馏的无监督工业图像异常检测方法及系统
CN114332053A (zh) * 2021-12-31 2022-04-12 上海交通大学 一种多模态两阶段无监督视频异常检测方法
CN114419506A (zh) * 2022-01-18 2022-04-29 南京思飞赫能信息技术有限公司 基于无监督学习的配电房设备异常监测方法与系统
CN114707670A (zh) * 2022-04-07 2022-07-05 中国人民解放军国防科技大学 一种面向无标签数据的异构联邦学习方法和系统
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN114782694A (zh) * 2022-06-21 2022-07-22 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质
CN115310555A (zh) * 2022-08-30 2022-11-08 浙江大学计算机创新技术研究院 一种基于局部感知知识蒸馏网络的图像异常检测方法
CN115861256A (zh) * 2022-12-15 2023-03-28 南京信息工程大学 基于知识蒸馏结合图像重构的异常检测方法
CN115861903A (zh) * 2023-02-16 2023-03-28 合肥工业大学智能制造技术研究院 一种弱监督视频异常检测方法、系统及模型训练方法
CN116468667A (zh) * 2023-03-09 2023-07-21 浙江科技学院 一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法
CN116502705A (zh) * 2023-03-24 2023-07-28 杭州医康慧联科技股份有限公司 兼用域内外数据集的知识蒸馏方法和计算机设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Student-Teacher Feature Pyramid Matching for Anomaly Detection;Guodong Wang;《arXiv》;20211028;全文 *
Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings;Paul Bergmann;《arXiv》;20200318;全文 *
基于弱监督深度学习的图像检索技术研究;胡琦瑶;杨皓文;王佳欣;彭先霖;汪思嘉;;西北大学学报(自然科学版)(第05期);全文 *
基于数据增强与关键知识蒸馏的输电线路隐患目标检测优化;于嘉琳;《中国优秀硕士学位论文全文数据库》;20230228;全文 *

Also Published As

Publication number Publication date
CN116993694A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
Al-Haija et al. Breast cancer diagnosis in histopathological images using ResNet-50 convolutional neural network
Zhuang et al. An Effective WSSENet-Based Similarity Retrieval Method of Large Lung CT Image Databases.
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
Wu et al. U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation
CN112784879A (zh) 一种基于小样本域自适应的医学影像分割或分类方法
CN114898121B (zh) 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法
Zhang et al. Hybrid graph convolutional network for semi-supervised retinal image classification
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
Adak et al. Detecting severity of diabetic retinopathy from fundus images using ensembled transformers
CN114722892A (zh) 基于机器学习的持续学习方法及装置
CN112163020A (zh) 一种多维时间序列异常检测方法及检测系统
CN110459303B (zh) 基于深度迁移的医疗影像异常检测装置
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统
Rethik et al. Attention Based Mapping for Plants Leaf to Classify Diseases using Vision Transformer
Wu et al. Evolutionary feature construction for ultrasound image processing and its application to automatic liver disease diagnosis
CN114187288A (zh) 基于协同深度学习和肺部ct图像的covid-19检测方法
CN116993694B (zh) 一种基于深度特征填充的无监督宫腔镜图像异常检测方法
CN117237685A (zh) 一种基于多模态深度聚类的机械设备故障诊断方法
CN116383757B (zh) 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
Lwin et al. Image Classification for Rice Leaf Disease Using AlexNet Model
Wei et al. Genetic U-Net: automatically designing lightweight U-shaped CNN architectures using the genetic algorithm for retinal vessel segmentation
Islam et al. An approach to evaluate classifiers for automatic disease detection and classification of plant leaf
Dwivedi et al. EMViT-Net: A novel transformer-based network utilizing CNN and multilayer perceptron for the classification of environmental microorganisms using microscopic images
CN114565617A (zh) 基于剪枝U-Net++的乳腺肿块图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant