CN116543450A - 一种基于背景解耦的异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于背景解耦的异常行为检测方法，包括以下步骤：步骤1、图像数据收集；步骤2、图像数据预处理；步骤3、对预处理后的数据进行特征提取或特征构建；步骤4、选择适当的深度学习模型并训练；步骤5、模型评估：使用评估指标对训练好的模型进行评估，根据评估结果，调整模型参数或更换模型，以提高检测的准确率；步骤6、部署与监测：将训练好的模型部署到实际应用场景中，并对输入的数据进行实时监测和检测。本发明解决了现有检测方法容易具有偏向型、检测精度上下波动大等问题。

Description

一种基于背景解耦的异常行为检测方法

技术领域

本发明属于目标行为检测领域，特别是涉及一种基于背景解耦的异常行为检测方法。

背景技术

异常行为检测是指在特定场景下检测出背离正常行为模式的行为，在目标检测领域中异常行为检测可看作是一个高层次的图像理解操作，从输入的图像序列中提取逻辑信息并进行行为建模。通常建模的思路有两种：一种是首先学习正常行为的模型并以此为基础检测异常；另一种是通过批量或在线观察数据的统计特性自动学习正常和异常模型。对于特定场景下，人体异常行为存在复杂多样、较难明确定义的问题，对此，一种简单的解决方式是将人体行为分为两类，忽略中间的过渡行为，而分为正常行为和异常行为。因为对于如实验室这样的特定场景，异常行为识别的需求可能只是是否穿戴工作服和工作帽这类简单的分类问题，所以分为两类可以很好的解决异常行为定义的问题。目前随着社会保障体系的不断完善，公共摄像头已经形成了一个庞大的监控网络。然而，由于相关的视频监控录像中涉及的行人图像的数量往往是海量的，传统人工监控的方法效率非常低下，利用计算机处理监控视频进行异常行为检测有着非常重要的现实意义。

随着深度学习在计算机视觉领域的不断发展，学者们开始用深度学习进行异常行为的检测。Yi等将全局特征与局部特征融合同时使用卷积稀疏编码对异常行为进行分类，取得了比较好的检测效果。Jian等提出了3DCNN，通过3D卷积捕获沿空间和时间维度的特征，从而获得相邻帧之间的信息。Lim等提出了使用不同层的附加特征作为上下文和注意力机制去捕获图片多尺度信息增加检测的精度。

现有的异常行为检测模型包含如下几方面的缺点：

(1)多样本特征融合算法的缺点

现有的多样本特征融合是将两个及以上的样本通过不同比例重合堆叠在一起之后，利用模型在一个样本上学习几个样本的全局信息，然而全局信息的堆叠极易产生冗余的特征，这些冗余的特征之间有着极强的耦合性，这些特征之间的耦合性容易导致模型的学习具有偏向性，无法学习到异常行为检测的具体特征，偏向性关注了多样本杂乱信息，模型性能极其不鲁棒。

(2)数据增广算法的缺点

大部分数据增广算法(如高斯模糊、高斯噪声以及仿射变换等)在图像分类领域中达到了很好的效果，但是在异常行为检测领域内大部分数据增广算法无法使得模型性能提升，反而导致了或多或少的精度下降。究其原因在于直接对整张图片数据增广是属于粗粒度的数据增强，模型学习不到背景与前景耦合性特征，倾向于学习整张图片特征，以至于实际检测中模型检测极易受场景干扰，异常行为检测精度上下波动极大。

发明内容

为了达到上述目的，本发明提供了一种基于背景解耦的异常行为检测方法，以解决现有方法容易具有偏向型、检测精度上下波动大等问题。

为解决上述技术问题，本发明所采用的技术方案是，一种基于背景解耦的异常行为检测方法，包括以下步骤：

步骤1、图像数据收集；

步骤2、图像数据预处理；

步骤3、对预处理后的数据进行特征提取或特征构建；

步骤4、选择适当的深度学习模型并训练；

步骤5、模型评估：使用评估指标对训练好的模型进行评估，根据评估结果，调整模型参数或更换模型，以提高检测的准确率；

步骤6、部署与监测：将训练好的模型部署到实际应用场景中，并对输入的数据进行实时监测和检测。

进一步地，所述步骤1具体为：收集需要检测异常行为的数据，包括实时数据、历史数据以及模拟数据。

进一步地，所述步骤2中预处理具体为：对收集到的数据进行清洗、去重、标准化以及缺失值填充。

进一步地，所述步骤4中深度学习模型包括卷积神经网络、循环神经网络、自编码器。

进一步地，所述步骤4中的深度学习模型训练之前需对图像数据进行解耦：放入模型的每一张图像数据先进行随机策略：设定一个范围在0-1之间的随机数，若随机生成的数大于0.5不进行背景解耦；若随机生成的数小于等于0.5，则将对应的图像数据进行N×N等份切割，并分类为目标图像块和背景图像块；将分类后各图像块随机使用四种解耦方法之一，每一种解耦方法应用的图像块小于等于总图像块数的1/4。

进一步地，所述解耦方法包括基于数据增广的细粒度背景增强方法，具体为：通过自适应选择仿射变换、透视变换以及色调变换替换背景图像块区域。

进一步地，所述解耦方法包括基于多样本特征融合的细粒度背景融合方法，具体为：采用随机挑选的方式，将其他图像的背景信息进行细粒度模块化，利用基于邻域风险最小化原则的数据增强方法Mixup对其他图像的背景信息与当前解耦图像的背景信息进行融合，生成新的背景图像块，背景图像块生成方式如下：(x_n,y_n)＝λ(x_i,y_i)+(1-λ)(x_j,y_j)，其中，图像透明化的比例λ的取值范围介于0到1，(x_n,y_n)是插值生成的新背景图像块，(x_i,y_i)和(x_j,y_j)分别是当前解耦图像以及随机挑选的其他图像。

进一步地，所述解耦方法包括基于注意力机制的细粒度背景信息降权方法，具体为：利用注意力机制快速计算出原有样本背景图像块的权重值，然后在每一个背景图像块中乘上对应的权重值；所述注意力机制为：Attention＝f(g(x),x)，所述g(x)表示基于输入图像x产生注意力值，所述注意力值对应对判别区域的关注程度，f(g(x),x)表示基于注意力g(x)处理输入图像x。

进一步地，所述解耦方法包括基于高斯噪声的前景图像块增强方法，具体为：在原有图像划分为前景图像块和背景图像块后，将高斯噪声随机加在前景图像块上，计算公式为：

其中，μ，δ²为分布的参数，分别为高斯分布的期望和方差，p(x)为经过高斯函数计算后输出的带有高斯噪声的图像，x为输入图像；δ表示标准差，用于描述正态分布资料数据分布的离散程度；e是自然对数的底数。

进一步地，所述评估指标包括精确度、召回率、F1值以及ROC曲线。

本发明的有益效果是：

(1)本发明提出的基于数据增广细粒度分配机制的异常行为检测方法，首先将场景划分为前景与背景，针对性的将背景区域块划分成N×N等份区间，随后通过仿射变换、透视变换以及色调变换等数据增广算法随机对不同的背景图像块进行增强，细粒度的丰富了背景信息，可以有效避免实际场景中光照、角度变化和遮挡带来的不稳定性，同时在单一场景下极大的解除了背景对于前景的干扰性，有效提高了模型检测的抗干扰性。本发明的数据增广细粒度分配机制是对于每个背景图像块进行了随机数据增广算法，通过将每一个进行数据增广的背景图像块进行随机组合，得到一个与前景无关的背景样本，同时也极大化丰富了整张图片的纹理与颜色信息。在采用本发明方法进行背景解耦后的样本下训练的模型可以解决在单一场景下因前背景耦合性太大而引发的检测波动的问题，同时由于是在样本上进行处理，不会增加基准模型的训练消耗，同时还能提高模型的泛化性能。

(2)本发明将每一个样本分割为前景图像块与背景图像块，随后将样本之间的背景图像块使用一种特征融合策略，样本之间的前景图像块使用另外一种特征融合策略，增强前背景的独立性，大大弱化了背景对前景检测的不良影响，同时细粒度的丰富了样本数量，提升了模型的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于背景解耦的异常行为检测方法流程图。

图2是本发明实施例的解耦流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出了一种基于背景解耦的异常行为检测方法，如图1所示，包括数据收集、数据预处理、特征工程、模型选择、模型训练、模型评估、部署与监测等步骤，具体实施过程如下：

步骤1.数据收集：收集需要检测异常行为的数据，可以是实时数据、历史数据或模拟数据。本实施例中的数据通过监控摄像头采集，将完整的视频以一秒一帧切割出来作为检测数据集。

步骤2.数据预处理：对收集到的数据进行清洗、去重、标准化、缺失值填充等预处理操作，以便后续的分析和建模。例如，采集到的图像数据中部分图像过于模糊或者灰度化，将这些异常图像去除掉。

步骤3.特征工程：对预处理后的数据进行特征提取或特征构建。由于深度学习模型通常不需要手工构建特征，因此这一步通常是将原始数据转化为能够被深度学习模型处理的形式，如将图像进行标签标注，生成相应的标签文件。

步骤4.模型选择：选择适当的深度学习模型。常见的深度学习异常检测模型包括卷积神经网络(CNN)、循环神经网络(RNN)、自编码器(Autoencoder)等。本实施例中使用的基于卷积神经网络的Yolov5网络，这是目标工业领域目前效果较好的单阶段检测器。

步骤5.模型训练：利用已经清洗、预处理好的数据集对选择的模型进行训练。在训练前，图像要进行数据增强。本发明设计的解耦方法就是在此阶段对放入模型之前的图像数据进行解耦：放入模型的每一张图像数据先进行随机策略，该策略主要是判别是否对此时放进来的图像数据使用背景解耦增强，本发明的背景解耦方法可以将原始样本生成一张背景更多样性的样本。将背景解耦后的数据集输入模型进行训练，训练的目标是找到一个最优的模型，能够最好地对正常数据进行拟合，并对异常数据进行识别。

具体的，在图像放入模型之前设置有一个随机策略：用python的random函数设定一个范围在0-1之间的随机数，若随机生成的数大于0.5就不进行数据增强(背景解耦)；若随机生成的数小于等于0.5，则将该张训练图像数据进行N×N等份切割，此时N²块图像可以分类为目标图像块和背景图像块，其中不包含异常行为目标的均属于背景图像块。将所有图像块随机使用本发明提出的四种图像增强策略，例如第一块图像增加高斯噪声、第二块图像块随机替换为其他训练样本的同尺寸大小图像块，第三块图像的颜色对比度调高，诸如此类，此时样本中的目标图像块处在经过不同数据增强的背景图像块之中。上述背景解耦方法通过混合数据增强实现，最终将原始图像样本中目标替换在一个全新场景中；增加了模型训练时样本的多样性，同时引导模型在各个复杂背景中学习目标特征，解除模型检测时对背景的依赖；其应用场景为异常目标检测以及异常行为检测中，适用范围广阔。

上述图像块分类原则为：使用带有标签信息的框确定目标在图像中的位置，在切割后即可知道分割的每一块是否与目标的那个框的位置有交集，如果有交集就是目标图像块，反之则为背景图像块。

在本实施例中，为了避免产生一个极端的情况，即N×N块图像都进行同一种数据增强，所以本实施例约束每一种方法应用的图像块小于等于总图像块数的1/4。具体的，先设定四个数，这四个数代表四种方法分别对图像块使用的次数，初始为0，每对一块进行其中一种增强方法，就在那个对应的数加1即可。如果其中一个数已经到了N×N/4了，剩下的图像块则不使用该数对应的增强方法。

步骤6.模型评估：使用评估指标对训练好的模型进行评估。常见的评估指标包括精确度(Precision)、召回率(Recall)、F1值、ROC曲线等。根据评估结果，调整模型参数或更换模型，以提高检测的准确率。

步骤7.部署与监测：将训练好的模型部署到实际应用场景中，并对输入的数据进行实时监测和检测。对于一些高风险或高价值的场景，需要建立自动化的监控和预警系统，及时发现和处理异常事件。

本发明实施例提出的四种图像增强策略包括：基于数据增广的细粒度背景增强、基于多样本特征融合的细粒度背景融合、基于注意力机制的细粒度背景信息降权以及背景模块的随机重组构建出解耦样本。在通用模型训练的时候，将训练样本经过解耦生成解耦样本再放入模型里面训练，具体解耦流程如图2所示。下面将结合本发明提出的内容具体进行阐述。

(1)基于数据增广的细粒度背景增强

在原有的训练样本中，将图片划分为N×N的目标图像块和背景图像块，在N²个背景图像块中只有不超过1/4比例数目的背景图像块可以选择自适应选择仿射变换、透视变换以及色调变换等增强方式去替换解耦样本中背景图像块区域，此时的数据增广背景图像块的选择与替换区域都是随机选择编号来决定的。数据增广背景图像块的目的是增加背景的纹理多样性和颜色多样性，所以不能替换掉前景物体块。

(2)基于多样本特征融合的细粒度背景融合

多样本特征融合充分利用训练集中的其他样本信息，采用随机挑选的方式，将其他样本的背景信息进行细粒度模块化，利用基于邻域风险最小化原则的数据增强方法Mixup对其他样本的背景信息与当前解耦样本的背景信息进行融合。Mixup使用了线性差值得到新样本数据，其中(x_n,y_n)是插值生成的新背景图像块，(x_i,y_i)和(x_j,y_j)分别是当前训练样本以及随机挑选的其他样本，则背景图像块生成方式如下：

(x_n,y_n)＝λ(x_i,y_i)+(1-λ)(x_j,y_j)，

图像透明化的比例λ的取值范围介于0到1。一张图像块x·λ代表的是这张图像块所有位置的像素乘以这个λ，最终如果λ为0.1时，此时的图像块类似透明化成初始图像块的0.1倍清晰度。最终生成的背景图像块数目同样需要不超过总背景图像块数目的1/4，此时生成的背景图像块同样是替换原有训练样本背景信息块，不能替换前景物体信息块。

(3)基于注意力机制的细粒度背景信息降权

异常行为检测领域中注意力机制简单来说就是，对于一张图片快速判别各个区域的重要程度。这个过程可以简单描述为：

Attention＝f(g(x),x)

g(x)表示基于输入图像x产生注意力值，该注意力对应于对判别区域的关注程度。f(g(x),x)表示基于注意力g(x)处理输入图像x。本发明利用注意力机制快速计算出原有样本背景图像块的权重值，然后在每一个背景图像块中乘上对应的权重值。一般背景图像块的权重值很小，原有的背景图像块乘以一个很小的值，导致原有的信息值减少。这一步重加权的操作可以使原有背景的信息特征减少，保证模型更容易定位并识别目标区域。

(4)基于高斯噪声的前景图像块增强

噪声可以看作随机信号，具有统计学上的特征属性。功率谱密度(功率的频谱分布PDF)即噪声的特征之一，通过功率谱密度分类噪声。高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。概率密度函数如下所示：

其中μ，δ²为分布的参数，分别为高斯分布的期望和方差。当其有确定值时，经过高斯函数计算后输出的带有高斯噪声的图像p(x)也因此确定，特别当μ＝0，σ²＝1时，输入图像x的分布为标准正态分布；δ表示标准差，用于描述正态分布资料数据分布的离散程度；e是自然对数的底数。本发明在原有样本划分为前景图像块和背景图像块后，将高斯噪声随机加在前景图像块上，通过附加的高斯噪声使模型训练更加泛化，增加了前景图像块的抗干扰性。

表一显示了本发明提出的增强方法与目前最主流的几种增强方法相比的各项指标，本实施例以Yolov5作为基线模型，数据集使用的是某企业收集到的异常检测数据集，数据集总共三万张。通过四个广泛使用的指标评估了本发明方法与主流数据增强方法的区别。表一显示了mAP(0.5)、mAP(.5：0.95)、准确性和召回率的比较结果。

表一基于不同指标的数据增强性能

如表一所示，就Mean Average Precision(@0.5)这一指标而言，本发明与Yolov5相比提高了6.6％，与Cutout相比提高了8.1％，与Mixup相比提高15.5％，而与Mosaic相比提升了4.2％，与Copy-Paste相比提升了5.3％。本发明方法与Mosaic、Copy-Paste这两种方法都有尺度变换，所以做到了不同幅度的提升。同时本发明方法可以让目标处于不同的场景中，增强模型检测的背景无关性，所以对比这两种方法也做到了一定幅度的提升。结果表明，对于各指标本发明方法相比当前主流的方法都有不同程度的提升，更适用于现实世界监控摄像头下的异常检测。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于背景解耦的异常行为检测方法，其特征在于，包括以下步骤：

步骤1、图像数据收集；

步骤2、图像数据预处理；

步骤3、对预处理后的数据进行特征提取或特征构建；

步骤4、选择适当的深度学习模型并训练；

步骤5、模型评估：使用评估指标对训练好的模型进行评估，根据评估结果，调整模型参数或更换模型，以提高检测的准确率；

步骤6、部署与监测：将训练好的模型部署到实际应用场景中，并对输入的数据进行实时监测和检测。

2.根据权利要求1所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述步骤1具体为：收集需要检测异常行为的数据，包括实时数据、历史数据以及模拟数据。

3.根据权利要求1所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述步骤2中预处理具体为：对收集到的数据进行清洗、去重、标准化以及缺失值填充。

4.根据权利要求1所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述步骤4中深度学习模型包括卷积神经网络、循环神经网络、自编码器。

5.根据权利要求1或4所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述步骤4中的深度学习模型训练之前需对图像数据进行解耦：放入模型的每一张图像数据先进行随机策略：设定一个范围在0-1之间的随机数，若随机生成的数大于0.5不进行背景解耦；若随机生成的数小于等于0.5，则将对应的图像数据进行N×N等份切割，并分类为目标图像块和背景图像块；将分类后各图像块随机使用四种解耦方法之一，每一种解耦方法应用的图像块小于等于总图像块数的1/4。

6.根据权利要求5所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述解耦方法包括基于数据增广的细粒度背景增强方法，具体为：通过自适应选择仿射变换、透视变换以及色调变换替换背景图像块区域。

7.根据权利要求5所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述解耦方法包括基于多样本特征融合的细粒度背景融合方法，具体为：采用随机挑选的方式，将其他图像的背景信息进行细粒度模块化，利用基于邻域风险最小化原则的数据增强方法Mixup对其他图像的背景信息与当前解耦图像的背景信息进行融合，生成新的背景图像块，背景图像块生成方式如下：(x_n,y_n)＝λ(x_i,y_i)+(1-λ)(x_j,y_j)，其中，图像透明化的比例λ的取值范围介于0到1，(x_n,y_n)是插值生成的新背景图像块，(x_i,y_i)和(x_j,y_j)分别是当前解耦图像以及随机挑选的其他图像。

8.根据权利要求5所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述解耦方法包括基于注意力机制的细粒度背景信息降权方法，具体为：利用注意力机制快速计算出原有样本背景图像块的权重值，然后在每一个背景图像块中乘上对应的权重值；所述注意力机制为：Attention＝f(g(x),x)，所述g(x)表示基于输入图像x产生注意力值，所述注意力值对应对判别区域的关注程度，f(g(x),x)表示基于注意力g(x)处理输入图像x。

9.根据权利要求5所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述解耦方法包括基于高斯噪声的前景图像块增强方法，具体为：在原有图像划分为前景图像块和背景图像块后，将高斯噪声随机加在前景图像块上，计算公式为：

其中，μ，δ²为分布的参数，分别为高斯分布的期望和方差，p(x)为经过高斯函数计算后输出的带有高斯噪声的图像，x为输入图像；δ表示标准差，用于描述正态分布资料数据分布的离散程度；e是自然对数的底数。

10.根据权利要求1所述的一种基于背景解耦的异常行为检测方法，其特征在于，所述评估指标包括精确度、召回率、F1值以及ROC曲线。