CN116486239A - 一种基于增量学习和开集识别算法的图像异常检测平台 - Google Patents

Abstract

本发明公开一种基于增量学习和开集识别算法的图像异常检测平台，该平台包括图像处理模块、异常检测模块、算法库、数据库、云端类别增量学习模块和图像质量评估模块；图像处理模块用于对输入的图像进行预处理，并对预处理过的图像进行开集目标识别；异常检测模块用于根据类别标签调用异常检测算法或异常检测模型，对图像处理模块预处理后的图像进行异常检测，计算置信度，并根据规则输出异常检测结果；算法库用于储存异常检测算法和训练后的异常检测模型；云端类别增量学习模块基于类别增量学习方法使得算法库中的异常检测算法对新增到数据库中图像样本训练新的模型。采用本发明进行异常检测的准确度和可信度高，泛化能力强。

Description

一种基于增量学习和开集识别算法的图像异常检测平台

技术领域

本发明涉及图像检测领域，具体涉及一种基于增量学习和开集识别算法的图像异常检测平台。

背景技术

图像异常检测旨在发现图像数据中的异常点，在许多领域都非常重要，例如，在工业领域准确的异常检测可以触发提示故障排除，帮助避免收入损失，并维护公司的声誉和品牌；在医学领域中，异常检测可以辅助医生诊断，在保证诊断准确度的同时提高了诊断效率。现有的异常检测平台有如下几种：

1.时序异常检测服务(微软)

该平台包括数据接入模块、在线计算模块和实验平台模块三部分。其中，用户通过创建Datafeed注册监控任务，即根据给定粒度将时间序列数据点摄取到系统，并将数据接入kafka中；在线计算模块在进入管道后立即处理每个数据点(Flink)，异常检测处理器(Anomaly detection processor)检测每个单个时间序列异常，智能警报处理器(smartalert processor)将异常与差分时间序列相关联，并相应地生成事件报告；实验平台模块用于评估异常检测模型的性能。

2.Oracle AI异常检测云服务

Oracle云基础设施(OCI)异常检测是一项AI服务，它使开发人员能够更轻松地构建用于特定业务场景的异常检测模型，以发现关键异常事件，从而加快检测和解决时间。OCI的异常检测服务将通过获取用户传感器上传的数据，使用核心算法训练定制模型，并托管在云中以准备检测，然后用户可以将新数据发送到检测端点以获得检测到的异常结果，异常检测的核心算法是多元时间序列异常检测算法。它的结构主要由以下几个模块组成：数据接入和储存，数据处理模块，异常检测模块，以及推理模块。

3.MachineProphet：基于PaddleTS开源时序建模算法库的工业异常检测系统

有异常发生时，MachineProphet能快速识别检测并报警变红，显示到监测屏幕上，操作人员便可根据情况执行停机指令，避免产品的批次报废现象发生；同时，系统还将识别异常系统和现场维修系统集成到一起，可以对异常初步分析，将消息推送给对应的维护系统，完成智能维修处理。

4.基于AidLux的工业异常检测PaaS平台

针对小样本(正样本数据集+少量负样本)，AidLux集成全球10大主流AI框架以及其各种科学计算库，智能匹配模型框架，内置缺陷检测算法。该平台使用AidLux内置的缺陷检测算法，可以检测划伤、脏污、凹坑等表面缺陷。

5.菲特电极帽检测系统

焊接电极帽工作区表面缺陷检测，通过分析图像数据来改善电极帽焊接质量，避免后续出现的潜在质量风险；提高电极帽利用率，节约材料成本。通过视觉检测设备搭载算法，与焊接机器人联动，电极帽研磨完毕，自动进行缺陷检测，设备运行全过程无需人工参与，检测稳定性及一致性远高于人工目视检测方法。

现有的这些异常检测平台大多只用单种异常检测算法，但是，由于异常检测算法自身的限制，如单个算法无法对应多个类别的图像，现有技术只能对某一类图像进行异常检测，通用性低，如微软的时序数据异常检测和MachineProphet的工业异常检测。另外，因为现有的这些异常检测平台只用单种异常检测算法，而单一异常检测算法无法对单一类别中的所有异常都有很好的表现，即使是达到了SOTA算法，在对某种异常的检测中也会出现准确度很低的情况，所以即便现有技术只应用在其异常检测算法对应的领域，也会出现对异常的检测准确度很低的情况，导致异常检测的可信度不高。例如，CutPaste算法在目标对象为电缆的时候AUROC值只有81.2，那么，在实际应用中如果检测图像为电缆，即使检测结果为正常(无异常)，也无法完全保证检测图像是正常的。最后，现有技术使用训练好的模型(trained model)进行异常检测，只能检测训练过的类别，没有训练过的类别也就是未知类准确性很低。但是由于实际应用中，会出现新的没有训练过的检测对象，这时现有技术就无法进行有效的异常检测，即现有的平台泛化能力差。

发明内容

针对现有技术的不足，本发明提出一种基于增量学习和开集识别算法的图像异常检测平台，该平台通用性强，准确度和可信度高，泛化能力强。

本发明的目的通过如下的技术方案来实现：

一种基于增量学习和开集识别算法的图像异常检测平台，该平台包括图像处理模块、异常检测模块、算法库、数据库、云端类别增量学习模块和图像质量评估模块；

所述图像处理模块用于对输入的图像进行预处理，并对预处理过的图像进行开集目标识别；

所述异常检测模块用于根据类别标签调用所述算法库中相应的异常检测算法或异常检测模型，对图像处理模块预处理后的图像进行异常检测并计算置信度；然后对置信度进行过滤，保留置信度大于置信度阈值的检测结果，并对得到的所有检测结果使用加权投票算法，输出最终的检测结果；

所述算法库包括异常检测算法库和异常检测模型库，所述异常检测算法库用于存储各类异常检测算法；所述异常检测模型库用于存储将异常检测算法针对所有异常检测数据库进行训练后得到的高精度的异常检测模型；

所述数据库用于存储图像数据集信息，包括图像路径和标签；

所述云端类别增量学习模块用于定期检测所述数据库中新增的图像，当新增图像数量超过设定的图像数量阈值后，基于类别增量学习方法使得算法库中的异常检测算法对新增到数据库中图像样本训练新模型，同时保留旧任务；

所述图像质量评估模块基于无参考图像质量评估算法，对输入的图像处理模块预处理后的图像进行质量评估，输出图像质量的评分；当图像质量的评分小于预设的评分阈值时，将其直接删除；否则，结合异常检测模块输出的该图像的类别标签和是否异常检测标签，将其分类存放在数据库中。

进一步地，所述图像预处理模块的预处理功能利用OpenCV实现，开集目标识别功能利用开集目标检测及探索框架OSODD实现，在识别未知类的同时能够预测未知类的类别。

进一步地，所述异常检测算法库中的算法包括针对大规模样本的通用异常检测算法，针对少样本的小样本异常检测算法和针对零样本的零样本异常检测算法；所述异常检测模型库中的异常检测模型包括针对大规模样本的通用异常检测模型，以及小样本异常检测模型和零样本异常检测模型。

进一步地，所述云端类别增量学习模块的类别增量学习方法采用COIL框架协同传输知识，使算法库中的异常检测算法在有效适应新任务的同时稳定抵抗遗忘。

一种图像异常检测方法，该方法基于图像异常检测平台来实现，该方法包括如下步骤：

步骤一：将待检测图像输入图像异常检测平台，由图像处理模块对该检测图像进行预处理；

步骤二：图像处理模块判断待检测图像中目标检测物的类别；

步骤三：根据步骤二得到的待检测图像的类别标签，从算法库中调用匹配的算法对步骤一预处理后的图像进行异常检测，若检测对象是已知类别，则直接找到算法库中所有与之类比匹配的训练后的异常检测模型进行异常检测；若检测对象是未知类别，则调用算法库中的零样本异常检测算法进行异常检测；

步骤四：计算所有异常检测结果的置信度，并对置信度进行过滤，只保留置信度大于设定阈值的异常检测结果，并对结果应用加权投票算法，计算最终的检测结果；若没有满足置信度阈值的结果，则直接输出置信度前三的异常检测结果；

步骤五：由图像质量评估模块使用图像质量评估算法评估图像处理模块处理后的图像的图像质量；将不满足图像质量标准的图像删除，将满足标准的图像按照其标签存储数据库中相应数据集中；

步骤六：云端类别增量学习模块定期检测数据库中新增的图像，当新增图像数量超过设定的图像数量阈值后，基于类别增量学习方法，使得算法库中的异常检测算法对新增到数据库中的图像样本训练新的模型。

进一步地，所述步骤五中，将满足标准的图像按照其标签存储数据库中相应数据集中，具体为：

如果图像类别已知且是正常样本，则存入已有的标签相同的正样本数据集；

如果图像类别已知且是异常样本，则存入已有的标签相同的负样本数据集，如果不存在该标签的负样本数据集，则创建负样本数据集；

如果图像类别未知且是正常样本，则创建新的类别标签以及其相对应正样本数据集；

如果图像类别未知且是异常样本，则创建新的类别标签以及其相对应负样本数据集。

本发明的有益效果如下：

1.本发明设计一个通用的图像异常检测框架，并创建涵盖所有图像异常检测算法的算法库，使得几乎所有类别的图像都可以找到合适的算法进行异常检测，提高了通用性。

2.本发明对每一个检测图像应用多种异常检测算法，在达到置信度阈值的前提下，通过加权投票算法得到最终的异常检测结果，避免了单一算法对某个类别检测准确度不高的情况，提高了准确度和可信度。

3.本发明不仅利用开集识别技术做到了识别未知类，而且通过建立动态数据库+云端类别增量学习模块，在提高了准确度的同时使得异常检测平台具有很强的泛化能力。

附图说明

图1为本发明实施例的图像异常检测方法的流程图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一方面，本发明实施例提供一种基于增量学习和开集识别算法的图像异常检测平台，包括图像处理模块、异常检测模块、算法库、数据库、云端类别增量学习模块和图像质量评估模块六部分。下面分别对每个部分进行详细介绍。

1.图像处理模块

该模块实现的功能包括：(1)对输入的图像进行预处理；(2)对预处理过的图像进行开集目标识别(Open-set recognition)。

其中预处理功能利用OpenCV实现，预处理操作包括平移、旋转、缩放、翻转、裁剪等常规的预处理操作。开集目标识别功能利用现有的开集目标检测及探索框架OSODD(Open-Set Object Detection and Discovery)实现(Zheng，J.et al.(2022)“Towards open-setobject detection and Discovery，”2022IEEE/CVF Conference on Computer Visionand Pattern Recognition Workshops(CVPRW)[Preprint].Available at：https：//doi.org/10.1109/cvprw56347.2022.00441.)。

OSODD不仅可以识别数据库中存在的类别C_k＝{C₁，C₂，…C_m}，而且当检测对象的类别是“未知类(unknown)”(也就是数据库中不存在的类)的时候，OSODD还可以预测“未知类”的类别C_u＝{C_m+1，C_m+2，…C_m+n}。

开集目标检测及探索框架OSODD包括两部分，分别为开集检测器(ODR，ObjectDetection and Retrieval)和改进的类别探索器OCD(Object Category Discovery)。ODR和OCD都是经典的目标识别算法。

ODR是一个带有两个记忆缓存的开集检测器，对于已知物体，检测器预测他们的位置信息和类别，对于未知物体，只预测其位置信息。其中已知物体和类别信息储存在已知内存缓冲(known memory buffer)中，未知物体则储存在工作内存缓冲(working memorybuffer)中。ODR使用Faster R-CNN算法作为模型的核心(backbone)，利用了区域生成网络(RPN，Region Proposal Network)对类别无感知的特性，把那些与ground-truth没有重叠且置信度比较高的候选框作为位置物体。为了让物体的特征更具有区别性，ODR使用对比损失，也就是计算从感兴趣区域(Region of Interest RoI)的头部残差块中得到的特征和模板之间的相差度作为损失：

其中，f_c是类别c的特征向量，模版p_i是该类别特征的滑动平均值，||f_c，p_i||是距离函数，Δ定义了不同对的最大距离也就是相似项和不同项的接近程度。所以，在RoI中的总损失可以表示为：

l_roi＝α_pcl·l_pcl+α_cls·l_cls+α_reg·l_reg

OCD则是主要利用工作内存缓冲来挖掘未知物体的类别，包含了一个特征编码器和聚类辨别器。首先使用非监督对比学习方式，从已知内存缓冲池和工作内存缓冲池中训练一个编码器，在隐空间(latent space)中学习更好的物体表征。最后用约束k均值算法(constrained k-means)来进行聚类。具体来说，因为图像中未知物体的类别是不确定的，只能通过一些方式来挖掘出这些物体潜在的类别信息，因此，采用了约束k均值算法来估计潜在的类别数目。

为了更好地挖掘未知物体的潜在类别，OSODD框架在OCD中加入了一个编码器，用来学习更有判别性的嵌入(embedding)。在编码器中使用已知内存缓冲池和工作内存缓冲池来进行对比学习，增大正样本对(positive pairs)的相似度，而减小负样本对(negativepairs)的相似度，类似减小类内差而增大类间差，对比学习的对比损失可以表示为：

其中，q是对象表示，{k}是关键样本，k⁺是已知正对q的增强，k-是其他样本的表示。

同时，为了使得嵌入(embedding)有更加好的分布和创建更多的训练样本，使用无监督增强方法，把{k}和{q}线性组合起来，代替原本的{k}，对应地，损失中的虚拟标签也变成：

其中k⁺和q是正样本对。

2.异常检测模块

该模块通过类别标签调用算法库中的相应的异常检测算法或异常检测模型，对图像处理模块预处理后的图像进行异常检测并计算置信度；然后对置信度进行过滤，保留置信度大于置信度阈值的检测结果，并对得到的所有检测结果根据需要按要求处理后得到最终的检测结果，例如，直接输出置信度最大的检测结果，或者对置信度排名靠前的异常检测结果应用加权投票算法，输出最终的检测结果。该模块在从算法库中匹配异常检测算法时的规则如下：

已知类别物体选择算法库中所有与之匹配的模型进行异常检测并计算置信度；

类别未知对象选择算法库中所有zero-shot(零样本)异常检测算法进行检测并计算置信度。

3.算法库

不同于其他异常检测平台，本发明没有使用开源算法库，而是构建了算法库，算法库包括异常检测算法库和异常检测模型库。其中，异常检测算法库中储存各类异常检测算法，包括针对大规模样本的通用异常检测算法，小样本(few-shot)异常检测算法和针对零样本(zero-shot)的零样本异常检测算法。异常检测模型库储存将异常检测算法针对所有异常检测数据库进行训练后得到的高精度的异常检测模型，也包括针对大规模样本的通用异常检测，针对小样本的小样本异常检测模型和零样本异常检测模型。随着使用次数或者用户量的增加，该算法库可以扩展，增加更多新类别的异常检测算法和异常检测模型，包括旧算法对新类别目标训练过后的新模型和新出现的异常检测算法。

4.数据库

该数据库为简单的NoSQL数据库，用于存储图像数据集信息，包括图像路径和标签。图像的标签包括类别、原始数据集来源、是否异常等。该数据库存储了目前所有的图像异常检测数据库。且随着使用次数或者用户量的增加，数据库中的数据量会增大，数据类别也增多，数据质量也会更好。同时由于获得了大量高质量的异常样本，异常检测中的缺少负样本的问题也随之被解决。

5.云端类别增量学习模块

该模块用于定期检测数据库中新增的图像，当新增图像数量超过设定的图像数量阈值后，基于类别增量学习方法(Class-Incremental Learning)，使得算法库中的异常检测算法对新增到数据库中图像样本学习心得类别，同时不忘记之前的任务。类别增量学习方法有很多种，本发明实施例中采用的是COIL(Co-Transport for Class-IncrementalLearning)(Zhou,D.-W.,Ye,H.-J.and Zhan,D.-C.(2021)“Co-transport for class-incremental learning,”Proceedings of the 29th ACM International Conference onMultimedia[Preprint].Available at:https://doi.org/10.1145/3474085.3475306.)框架协同传输知识，在有效地适应新任务的同时稳定地抵抗遗忘。

COIL利用协同运输辅助类别增量学习过程，并基于类别间的语义相关性将不同的增量学习阶段联系起来。协同运输分为两个方面：向前运输利用最优运输获得的知识增广分类器作为新类分类器的初始化；向后运输将新类分类器转化为旧类分类器并防止灾难性遗忘。

算法如下：

6.图像质量评估模块

该模块内置无参考图像质量评估算法，该模块的输入为图像处理模块预处理后的图像，输出图像质量的评分。当图像质量的评分小于预设的评分阈值时，可以将其直接删除；否则，结合异常检测模块输出的该图像的类别标签和是否异常检测标签，将其分类存放在数据库中。本实施例中，采用的是基于5层CNN的无参考图像质量评估算法。

另一方面，如图1所示，本发明实施例提供一种基于上述图像异常检测平台的图像异常检测方法，该方法包括如下步骤：

步骤一：将待检测图像输入图像异常检测平台，图像处理模块对该检测图像进行预处理。这里的预处理包括平移、旋转、缩放、翻转、裁剪等。

步骤二：图像处理模块判断待检测图像中目标检测物的类别，具体子步骤如下：

(1.1)先使用ORE(Open World Object Detector)算法对图像中检测到的对象进行定位，然后预测检测对象的类别C，如果检测对象的类别已知则对其进行分类C_k，如果类别未知，则将其归到未知类C_u中。

(1.2)然后对未知类检测对象使用类别探索器(Object Category Discovery，OCD)挖掘其类别。

步骤三：根据步骤二得到的待检测图像的类别标签C，从算法库中调用匹配的算法对步骤一预处理后的图像进行异常检测，若检测对象是已知类别C_k，则直接找到算法库中所有与之类比匹配的训练后的异常检测模型进行异常检测；若检测对象是未知类别C_u，则调用算法库中的零样本异常检测算法进行异常检测。

步骤四：计算所有异常检测结果的置信度，并对置信度进行过滤，只保留置信度大于0.95的异常检测结果，并对结果应用加权投票算法，计算最终的检测结果；若没有满足置信度阈值的结果，则直接输出置信度前三的异常检测结果。

步骤五：由图像质量评估模块使用图像质量评估算法(Image QualityAssessment，IQA)评估图像处理模块处理后的图像的图像质量；将不满足图像质量标准的图像删除，将满足标准的图像按照其标签存储数据库中相应数据集中，具体操作如下：

如果图像类别已知且是正常样本，则存入已有的标签相同的正样本数据集；

如果图像类别已知且是异常样本，则存入已有的标签相同的负样本数据集，如果不存在该标签的负样本数据集，则创建负样本数据集；

如果图像类别未知且是正常样本，则创建新的类别标签以及其相对应正样本数据集；

如果图像类别未知且是异常样本，则创建新的类别标签以及其相对应负样本数据集。

步骤六：云端类别增量学习模块定期检测数据库中新增的图像，当新增图像数量超过设定的图像数量阈值后，基于类别增量学习方法，训练新的模型，同时不忘记之前的任务。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (6)

1.一种基于增量学习和开集识别算法的图像异常检测平台，其特征在于，该平台包括图像处理模块、异常检测模块、算法库、数据库、云端类别增量学习模块和图像质量评估模块；

所述图像处理模块用于对输入的图像进行预处理，并对预处理过的图像进行开集目标识别；

所述异常检测模块用于根据类别标签调用所述算法库中相应的异常检测算法或异常检测模型，对图像处理模块预处理后的图像进行异常检测并计算置信度；然后对置信度进行过滤，保留置信度大于置信度阈值的检测结果，并对得到的所有检测结果使用加权投票算法，输出最终的检测结果；

所述算法库包括异常检测算法库和异常检测模型库，所述异常检测算法库用于存储各类异常检测算法；所述异常检测模型库用于存储将异常检测算法针对所有异常检测数据库进行训练后得到的高精度的异常检测模型；

所述数据库用于存储图像数据集信息，包括图像路径和标签；

所述云端类别增量学习模块用于定期检测所述数据库中新增的图像，当新增图像数量超过设定的图像数量阈值后，基于类别增量学习方法使得算法库中的异常检测算法对新增到数据库中图像样本训练新模型，同时保留旧任务；

所述图像质量评估模块基于无参考图像质量评估算法，对输入的图像处理模块预处理后的图像进行质量评估，输出图像质量的评分；当图像质量的评分小于预设的评分阈值时，将其直接删除；否则，结合异常检测模块输出的该图像的类别标签和是否异常检测标签，将其分类存放在数据库中。

2.根据权利要求1所述的基于增量学习和开集识别算法的图像异常检测平台，其特征在于，所述图像预处理模块的预处理功能利用OpenCV实现，开集目标识别功能利用开集目标检测及探索框架OSODD实现，在识别未知类的同时能够预测未知类的类别。

3.根据权利要求1所述的基于增量学习和开集识别算法的图像异常检测平台，其特征在于，所述异常检测算法库中的算法包括针对大规模样本的通用异常检测算法，针对少样本的小样本异常检测算法和针对零样本的零样本异常检测算法；所述异常检测模型库中的异常检测模型包括针对大规模样本的通用异常检测模型，以及小样本异常检测模型和零样本异常检测模型。

4.根据权利要求1所述的基于增量学习和开集识别算法的图像异常检测平台，其特征在于，所述云端类别增量学习模块的类别增量学习方法采用COIL框架协同传输知识，使算法库中的异常检测算法在有效适应新任务的同时稳定抵抗遗忘。

5.一种图像异常检测方法，该方法基于权利要求1～4中任意一项的图像异常检测平台来实现，其特征在于，该方法包括如下步骤：

步骤一：将待检测图像输入图像异常检测平台，由图像处理模块对该检测图像进行预处理；

步骤二：图像处理模块判断待检测图像中目标检测物的类别；

步骤三：根据步骤二得到的待检测图像的类别标签，从算法库中调用匹配的算法对步骤一预处理后的图像进行异常检测，若检测对象是已知类别，则直接找到算法库中所有与之类比匹配的训练后的异常检测模型进行异常检测；若检测对象是未知类别，则调用算法库中的零样本异常检测算法进行异常检测；

步骤四：计算所有异常检测结果的置信度，并对置信度进行过滤，只保留置信度大于设定阈值的异常检测结果，并对结果应用加权投票算法，计算最终的检测结果；若没有满足置信度阈值的结果，则直接输出置信度前三的异常检测结果；

步骤五：由图像质量评估模块使用图像质量评估算法评估图像处理模块处理后的图像的图像质量；将不满足图像质量标准的图像删除，将满足标准的图像按照其标签存储数据库中相应数据集中；

步骤六：云端类别增量学习模块定期检测数据库中新增的图像，当新增图像数量超过设定的图像数量阈值后，基于类别增量学习方法，使得算法库中的异常检测算法对新增到数据库中的图像样本训练新的模型。

6.根据权利要求5所述的图像异常检测方法，其特征在于，所述步骤五中，将满足标准的图像按照其标签存储数据库中相应数据集中，具体为：

如果图像类别已知且是正常样本，则存入已有的标签相同的正样本数据集；

如果图像类别已知且是异常样本，则存入已有的标签相同的负样本数据集，如果不存在该标签的负样本数据集，则创建负样本数据集；

如果图像类别未知且是正常样本，则创建新的类别标签以及其相对应正样本数据集；

如果图像类别未知且是异常样本，则创建新的类别标签以及其相对应负样本数据集。