CN114627102B

CN114627102B - 一种图像异常检测方法、装置、系统及可读存储介质

Info

Publication number: CN114627102B
Application number: CN202210331065.9A
Authority: CN
Inventors: 赵冰
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2022-03-31
Filing date: 2022-03-31
Publication date: 2024-02-13
Anticipated expiration: 2042-03-31
Also published as: CN114627102A; WO2023184918A1

Abstract

本发明公开了一种图像异常检测方法、装置、系统及计算机可读存储介质，应用于图像技术领域，针对图像异常检测精度低的问题，提出采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；在异常得分满足预设条件的情况下，待检测图像为异常图像；其中：图像异常检测模型为基于预先建立的样本集训练得到的，样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的；本发明在使用过程中能够提高图像异常检测精确度。

Description

一种图像异常检测方法、装置、系统及可读存储介质

技术领域

本发明涉及图像技术领域，特别是涉及一种图像异常检测方法、装置、系统及计算机可读存储介质。

背景技术

异常检测在图像领域是指相对于正常的图像，识别出可能存在异常的图像。异常检测任务一般假设正常图像的数据量较大，而异常数据的数据量较小，无法收集足够的异常数据开展监督型学习区分二者。故异常检测常被认为符合单分类学习假设，即仅通过对正常样本的学习，实现对于异常样本的检测。异常检测在实际中的应用非常广泛，例如在高速公路场景下对监控视频的分析便是非常有潜力的一个应用场景，高速公路场景下的监控视频数据量非常巨大，潜在的异常行为多种多样，但是由于异常的发生概率较小，并且各种异常行为间差异较大并且发生概率不同，导致无法收集合理的数据集进行监督型学习，通过非监督，特别是自监督学习解决高速公路监控视频场景下的异常检测任务应用前景巨大。

现有的基于自监督学习的异常检测方法通常通过对正常图像进行数据增强处理，得到模拟的异常图像的，但是这种方法一般仅能拉远增强样本与正常样本的相似度，无法很好的模拟异常样本，影响基于这些图像训练而成的检测模型识别的精确度。

鉴于此，如何提供一种解决上述技术问题的图像异常检测方法、装置、系统及计算机可读存储介质成为本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种图像异常检测方法、装置、系统及计算机可读存储介质，在使用过程中能够提高图像异常检测精确度。

为解决上述技术问题，本发明实施例提供了一种图像异常检测方法，包括：

采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；

在所述异常得分满足预设条件的情况下，所述待检测图像为异常图像；其中：

所述图像异常检测模型为基于预先建立的样本集训练得到的，所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。

可选的，所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的包括：

从各个原始异常样本中选取出目标原始异常样本，从各个原始正常样本中选取出目标原始正常样本；

获取与所述目标原始异常样本中的目标区域对应的第一复制图像，以及与所述目标原始正常样本中的目标区域对应的第二复制图像；

将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上，得到模拟异常样本。

可选的，所述将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上，得到模拟异常样本，包括：

将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上的预设区域处；所述预设区域为以所述目标原始正常样本中心点为中心的区域；

将所述第一复制图像和所述第二复制图像分别进行缩放，以得到模拟异常样本。

可选的，所述从各个原始异常样本中选取出目标原始异常样本，从各个原始正常样本中选取出目标原始正常样本包括：

随机从各个原始异常样本中选取出目标原始异常样本，随机从各个原始正常样本中选取出目标原始正常样本。

可选的，所述图像异常检测模型为基于预先建立的样本集训练得到的包括：

采用预先建立的样本集对特征提取网络进行训练，得到所述特征提取网络的最优权重参数；

采用所述样本集中的各个原始正常样本以及基于所述最优权重参数的特征提取网络对分类器进行训练，得到所述分类器的最优参数；

基于所述最优权重参数的特征提取网络及所述最优参数的分类器构建图像异常检测模型。

可选的，所述分类型为KDE分类器。

可选的，所述采用预先建立的样本集对特征提取网络进行训练，得到所述特征提取网络的最优权重参数包括：

针对所述样本集中的每个样本，对所述样本进行数据增强处理，得到第一增强样本和第二增强样本；

通过第一特征提取网络对所述第一增强样本进行处理，得到与所述第一增强样本对应的第一编码向量，通过第二特征提取网络对所述第二增强样本进行处理，得到与所述第二增强样本对应的第二编码向量；所述第一特征提取网络和所述第二特征提取网络相同；

采用第一投影网络对所述第一编码向量进行处理，得到第一投影向量，采用第二投影网络对所述第二编码向量进行处理，得到第二投影向量；所述第一投影网络和所述第二投影网络相同；

计算所述第一投影向量和所述第二投影向量的对比损失；

根据与每个样本对应的对比损失，计算出总对比损失；

判断所述总对比损失是否满足结束条件，若是，则结束，并得到所述第一特征提取网络和所述第二特征提取网络的最优权重参数；若否，则对所述第一特征提取网络和所述第二特征提取网络的权重参数进行更新，并进入下一轮训练。

本发明实施例还提供了一种图像异常检测装置，包括：

检测模块，用于采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；

分析模块，用于在所述异常得分满足预设条件的情况下，所述待检测图像为异常图像；其中：

本发明实施例还提供了一种图像异常检测系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述图像异常检测方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述图像异常检测方法的步骤。

本发明实施例提供了一种图像异常检测方法、装置、系统及计算机可读存储介质，该方法包括：采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；在异常得分满足预设条件的情况下，待检测图像为异常图像；其中：图像异常检测模型为基于预先建立的样本集训练得到的，样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。

可见，本发明中基于原始异常样本与原始正常样本得到模拟异常样本，并基于包括模拟异常样本、原始正常样本和原始异常样本的样本集训练图像异常检测模型，提高了图像异常检测模型的精确度，然后采用该图像异常检测模型对待检测图像进行检测，得到异常得分，并且在异常得分满足预设条件的情况下，确定出待检测图像为异常图像，从而实现图像异常检测；本发明在使用过程中能够提高图像异常检测精确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像异常检测方法的流程示意图；

图2为本发明实施例提供的一种；

图3为本发明实施例提供的一种；

图4为本发明实施例提供的一种；

图5为本发明实施例提供的一种图像异常检测装置的结构示意图。

具体实施方式

本发明实施例提供了一种图像异常检测方法、装置、系统及计算机可读存储介质，在使用过程中能够提高图像异常检测精确度。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明实施例提供的一种图像异常检测方法的流程示意图。该方法包括：

S110：采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；

需要说明的是，本发明实施例中的可以先建立样本集，然后基于该样本集训练图像异常检测模型。在高速公路场景下的监控视频数据量非常巨大，异常的发生概率较小，并且各种异常行为间差异较大并且发生概率不同，导致无法收集合理的数据集，因此可以构建模拟异常样本，从而提高样本集中异常样本数量。

具体的，本发明实施例中的样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的，在实际应用中对于高速公路监控场景，可以预先收集海量监控视频，通过视频抽帧的方式将监控视频转换为图像，对图像根据帧率进行正常/异常标注，也即对每一张图像进行类别标注，具体可以添加类别标签，类别为正常或异常，从而得到各个原始正常样本和各个原始正常样本，然后再基于原始异常样本和原始正常样本构建模拟异常样本，从而得到由原始正常样本、原始异常样本和模拟异常样本构成的样本集，并基于该样本集训练图像异常检测模型。

在实际应用中，采集待检测图像，并采用该图像异常检测模型对待检测图像进行异常检测，得到异常得分。

S120：在异常得分满足预设条件的情况下，待检测图像为异常图像。

具体的，本发明实施例中具体可以根据异常得到进一步判断是否满足预设条件，在满足的情况下，确定出待检测图像为异常图像。例如，可以预先设置阈值，在异常得分小于等于阈值的情况下可以判定出待检测图像为正常图像，在异常得分大于阈值的情况下可以判定出待检测图像为异常图像。

进一步的，上述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的，具体可以包括：

获取与目标原始异常样本中的目标区域对应的第一复制图像，以及与目标原始正常样本中的目标区域对应的第二复制图像；

将第一复制图像和第二复制图像粘贴至目标原始正常样本上，得到模拟异常样本。

可以理解的是，本发明实施例中具体可以从各个原始异常样本中随机选取出目标原始异常样本，从各个原始正常样本中也随机选取出目标原始正常样本，例如图2中的目标原始异常样本为A和目标原始正常样本为B，从目标原始异常样本上(随机)选择一个目标区域(具体可以为矩形区域)，对该目标区域进行复制，得到第一复制图像a，然后从目标原始正常样本上(随机)选择一个目标区域，并对该目标区域进行复制，得到第二复制图像b，将该第一复制图像a和第二复制图像b均粘贴至目标原始正常样本上，从而得到模拟异常样本。

更进一步的，将第一复制图像和第二复制图像粘贴至目标原始正常样本上，得到模拟异常样本的过程，具体可以包括：

将第一复制图像和第二复制图像粘贴至目标原始正常样本上的预设区域处；预设区域为以目标原始正常样本中心点为中心的区域；

将第一复制图像和第二复制图像分别进行缩放，以得到模拟异常样本。

需要说明的是，本发明实施例中可以预先从目标原始正常样本上选择一个预设区域(如图2中的边框c)，该预设区域具体可以为以目标原始正常样本中心点为中心的区域，该预设区域的形状具体可以为圆形区域或矩形区域，并且在将第一复制图像和第二复制图像粘贴至目标原始正常样本上的预设区域处，然后对粘贴后的两个图像分别进行相应的缩放，具体可以进行不同长宽比例的随机变形缩放，例如可以随机按照1:2、1:3或1:4等比例进行变形缩放，缩放完成后，分别得到变形缩放图像a’和b’，从而得到最终的模拟异常样本。

进一步的，上述图像异常检测模型为基于预先建立的样本集训练得到的，具体可以包括：

采用预先建立的样本集对特征提取网络进行训练，得到特征提取网络的最优权重参数；

采用样本集中的各个原始正常样本以及基于最优权重参数的特征提取网络对分类器进行训练，得到分类器的最优参数；

基于最优权重参数的特征提取网络及最优参数的分类器构建图像异常检测模型。

具体的，在实际应用中可以采用预先建立的上述样本集对特征提取网络进行训练，得到特征提取网络的最优权重参数，然后基于该最优权重网络参数将特征提取网络固定后，请参照图3，在特征提取网络后接分类器，然后采用样本集中的各个原始正常样本依次输入至固定权重参数后的特征提取网络进行特征提取，特征提取网络的输出作为分类器的输入，得到异常得分，当异常得分没有达到预设要求时，对分类器的参数进行更新，进入下一轮训练，具体可以预设训练次数，当达到训练次数后，停止训练，得到分类器的最优参数，从而基于最优权重参数的特征提取网络及最优参数的分类器构建图像异常检测模型。

其中，本发明实施例中的分类型具体可以为KDE(kernel density estimation，核密度估计)分类器，其中，KDE是在概率论中用来估计未知的密度函数，KDE分类器输出结果可以作为当前样本与核密度的差异程度，差异越小，样本属于同一分布的，差异越大，样本属于不同分布。也即，本发明实施例中的图像异常检测模型最终输出的是异常得分，并通过异常得分与预设阈值进一步确定待检测图像是否为异常图像。

其中，KDE的计算方式如下：

其中，f_h(x)表示总体的概率密度函数，n表示正常样本总数，j表示第j个正常样本，x表示特定分布样本，x_j表示第j个真实样本点，K(.)表示核函数，h表示带宽。其中，具体可以选择高斯分布概率密度函数为核函数，高斯分布概率密度函数如下：

其中，σ表示标准差，e表示自然对数，μ表示期望。

进一步的，上述采用预先建立的样本集对特征提取网络进行训练，得到特征提取网络的最优权重参数的过程，可以包括：

针对样本集中的每个样本，对样本进行数据增强处理，得到第一增强样本和第二增强样本；

通过第一特征提取网络对第一增强样本进行处理，得到与第一增强样本对应的第一编码向量，通过第二特征提取网络对第二增强样本进行处理，得到与第二增强样本对应的第二编码向量；第一特征提取网络和第二特征提取网络相同；

采用第一投影网络对第一编码向量进行处理，得到第一投影向量，采用第二投影网络对第二编码向量进行处理，得到第二投影向量；第一投影网络和第二投影网络相同；

计算第一投影向量和第二投影向量的对比损失；

根据与每个样本对应的对比损失，计算出总对比损失；

判断总对比损失是否满足结束条件，若是，则结束，并得到第一特征提取网络和第二特征提取网络的最优权重参数；若否，则对第一特征提取网络和第二特征提取网络的权重参数进行更新，并进入下一轮训练。

需要说明的是，如图4所示，可以对样本集中的样本进行对比式SSL(Self-supervised learning，自监督学习)训练，其中，SSL训练为一种特殊的无监督学习方法，通过设定代理任务为无标注的图像人为自动生成标签，从而实现对于无标注数据的特征学习。具体的，本发明实施例中对每一个样本X进行数据增强处理，得到第一增强样本v和第二增强样本v’，将第一增强样本v输入至第一特征提取网络f中得到第一编码向量y，将第二增强样本v’输入至第二特征提取网络f’中，得到第二编码向量y’(其中，f和f’完全相同)，将第一编码向量y输入至第一投影网络g中进行投影处理，得到第一投影向量z，将第二编码向量y’输入至第二投影网络g’中进行投影处理，得到第二投影向量z’(其中，g和g’完全相同)，并计算第一投影向量z和第二投影向量z’的对比损失，针对每个样本均得到一个对比损失，根据各个对比损失即可得到总对比损失，具体可以通过求平均等方法计算得出总对比损失，然后判断总对比损失是否满足结束条件，在满足时结束训练，将当前的权重参数作为特征提取网络的最优权重参数；若不满足结束条件，则对第一特征提取网络f和第二特征提取网络f’的权重参数进行更新，并进入下一轮训练，直至结束训练，确定出最优权重参数。其中，结束调节可以为训练次数达到预设训练次数，或总对比损失小于预设值。

还需要说明的是，本发明实施例中假设数据增强为a，则v＝a(x)，y＝f(v)，z＝g(y)。其中，本发明实施例中的对比损失函数具体如下：

其中，/>表示x和x⁺所属分布，x表示样本，x⁺表示样本x的数据增强，x_i ^-表示负样本的数据增强，p表示分布，f(x)^T表示对x提取特征后的转置，f(x⁺)表示对x⁺提取特征，f(x_i ^-)表示对x_i ^-提取特征，i表示样本标号，N表示总样本量。

在上述实施例的基础上，本发明实施例还提供了一种图像异常检测装置，请参照图5，该装置包括：

检测模块21，用于采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；

分析模块22，用于在异常得分满足预设条件的情况下，待检测图像为异常图像；其中：

图像异常检测模型为基于预先建立的样本集训练得到的，样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。

需要说明的是，本发明实施例中所提供的图像异常检测装置具有与上述实施例中所涉及到的图像异常检测方法相同的有益效果，并且对于本发明实施例中所涉及到的图像异常检测方法的具体介绍请参照上述实施例，本发明在此不再赘述。

在上述实施例的基础上，本发明实施例还提供了一种图像异常检测系统，该系统包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述图像异常检测方法的步骤。

例如，本发明实施例中的处理器具体可以用于实现采用预先建立的图像异常检测模型对待检测图像进行检测，得出异常得分；在异常得分满足预设条件的情况下，待检测图像为异常图像；其中：图像异常检测模型为基于预先建立的样本集训练得到的，样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。

在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述图像异常检测方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种图像异常检测方法，其特征在于，包括：

所述图像异常检测模型为基于预先建立的样本集训练得到的，所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的；

其中，所述图像异常检测模型为基于预先建立的样本集训练得到的包括：

基于所述最优权重参数的特征提取网络及所述最优参数的分类器构建图像异常检测模型；

其中，所述采用预先建立的样本集对特征提取网络进行训练，得到所述特征提取网络的最优权重参数包括：

计算所述第一投影向量和所述第二投影向量的对比损失；

根据与每个样本对应的对比损失，计算出总对比损失；

判断所述总对比损失是否满足结束条件，若是，则结束，并得到所述第一特征提取网络和所述第二特征提取网络的最优权重参数；若否，则对所述第一特征提取网络和所述第二特征提取网络的权重参数进行更新，并进入下一轮训练；

其中，对样本集中的样本进行对比式SSL训练；对比损失函数为：其中，/>表示x和x⁺所属分布，x表示样本，x+表示样本x的数据增强，x_i ^-表示负样本的数据增强，p表示分布，f(x)^T表示对x提取特征后的转置，f(x⁺)表示对x+提取特征，f(x_i ^-)表示对x_i ^-提取特征，i表示样本标号，N表示总样本量。

2.根据权利要求1所述的图像异常检测方法，其特征在于，所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的包括：

3.根据权利要求2所述的图像异常检测方法，其特征在于，所述将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上，得到模拟异常样本，包括：

4.根据权利要求2所述的图像异常检测方法，其特征在于，所述从各个原始异常样本中选取出目标原始异常样本，从各个原始正常样本中选取出目标原始正常样本包括：

5.根据权利要求1至4任一项所述的图像异常检测方法，其特征在于，所述分类器为KDE分类器。

6.一种图像异常检测装置，其特征在于，包括：

计算所述第一投影向量和所述第二投影向量的对比损失；

根据与每个样本对应的对比损失，计算出总对比损失；

7.一种图像异常检测系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述图像异常检测方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像异常检测方法的步骤。