CN115690677A - 基于局部直觉模糊支持向量机的异常行为识别方法 - Google Patents

Abstract

基于局部直觉模糊支持向量机(LIFSVM)的异常行为识别方法，包括：1)提取样本的局部类别信息，获得样本类内和类间的邻域信息；2)根据不均衡度、样本局部信息和离群点因子，计算样本类内权重和类间权重；3)针对不均衡异常行为识别问题，构造噪声不敏感的LIFSVM优化模型；4)对优化问题进行推导，求解线性方程组获得模型的最优解；5)分别构造异常行为和正常行为的非平行近端超平面，依此得到LIFSVM模型的最优决策函数；6)预测行为是否为危险动作。本发明能提高异常行为的识别率，更精准地完成行为识别任务。

Description

基于局部直觉模糊支持向量机的异常行为识别方法

技术领域

本发明属于异常行为图像识别领域，特别是针对不均衡噪声场景下的异常行为识别问题。具体涉及一种局部直觉模糊支持向量机(Local Intuitionistic Fuzzy SupportVector Machine，简称LIFSVM)的异常行为识别方法。

背景技术

异常行为识别，即对监控区域中人的行为是否有异常进行识别。人体行为识别在各领域中有着十分广泛的应用，包括交通安全、智能视频监控和人机交互等实际生活场景。比如，在实际生活中，行人通过斑马线时低头玩手机的情形时常出现。还有，有的人为了“方便”，通过危险翻越栅栏，来快速穿行马路，如图1所示。这些不当行为都给交通安全带来了很大的困扰，所以如何方便快速的制止此类行为，是现在很多人都在考虑研究的问题。或者家中老人出现摔倒等危害健康的场景时，由于未及时发现并送医治疗，而出现重大悲惨事件。综合上述，迫切需要一个性能优异的智能人体异常行为识别技术。

然而，人体异常行为识别将面临如下两个挑战。第一，相对正常行为，异常行为发生的概率低很多。在数据集中，异常行为样本数量远远小于正常行为样本。因此，人体异常行为识别问题是一个高度类别不均衡问题。而大部分的机器学习方法都是基于数据均衡假设的，并不能直接应用于行为识别场景中。对于类不平衡问题，由于类别样本数的差异，会使得分类器更倾向于多数类，导致少数类样本分类错误，而少数类存在样本少但价值高的现象，故使得分类器效果不佳。第二，在数据采集的过程中，由于设备故障、光线过强或过弱和外物遮挡等原因，导致数据样本存在噪音问题。对于噪音/离群点的问题，将给机器学习模型的学习带来较大的负面影响，降低模型的识别性能。因此，如何准确识别人体异常行为是一项非常具有挑战性的任务。

现有的基于机器学习的人体行为识别技术主要分为行为特征提取和异常行为识别两个阶段。具体地说，首先对监控场景中的人进行行为特征提取，然后，机器学习模型根据所提取的特征进行学习和异常行为识别。而在实际的行为特征提取过程中，监控场景中所提取的行为特征往往是有噪声的，并且不同类别的数据通常是不均衡的。因此针对这两个问题，本领域内学者在以下文献中提出相应的异常行为识别解决方案：[1]Batuwita R,Palade V.FSVM-CIL:Fuzzy Support Vector Machines for Class Imbalance Learning[J].IEEE Transactions on Fuzzy Systems,2010,18(3):558-571.[2]Richhariya B,Tanveer M.A robust fuzzy least squares twin support vector machine for classimbalance learning[J].Applied Soft Computing,2018,71:418-432.[3]Rezvani S,Wang X,Pourpanah F.Intuitionistic Fuzzy Twin Support Vector Machines[J].IEEETransactions on Fuzzy Systems,2019,27(11):2140-2151.[4]Tanveer M,Ganaie M A,Bhattacharjee A.Intuitionistic Fuzzy Weighted Least Squares Twin SVMs[J].IEEETransactions on Cybernetics,2022:1-10.

其中，文献[1]Fuzzy Support Vector Machines for Class ImbalanceLearning(FSVM-CIL)分别从样本到类中心距离、样本到估计超平面距离、样本到真实超平面距离三个层面提出了模糊隶属度函数来解决噪音和离群点问题，并将得到的权重按类别乘以预先设定的参数来解决类不平衡问题。文献[2]A robust fuzzy least squares twinsupport vector machine for class imbalance learning(RFLSTSVM-CIL)结合不平衡率IR提出了新的模糊隶属度函数计算多数类样本的权重，而设少数类的权重全为1。文献[3]Intuitionistic Fuzzy Twin Support Vector Machines(IFTSVM)使用直觉模糊的概念，提出了新的直觉模糊隶属度函数，它不仅可以减少噪声的影响，还可以将噪声与支持向量区分开。文献[4]Intuitionistic Fuzzy Weighted Least Squares Twin SVMs(IFWLSTSVM)在提出的优化问题中，不仅对另一类样本做了加权操作，而且对当前类也做了类内加权。虽然上述模糊技术能在一定程度上提高支持向量机(SVM)模型抗噪能力，但依然存在如下挑战：

1)在FSVM-CIL中，在计算模糊隶属度时，只考虑了类内信息，并不能全面考虑到样本类别之间的不同；而按类别乘以预先设定的参数来解决类不平衡问题，需要对不同数据集设定不同参数，导致使用不便。

2)RFLSTSVM-CIL为了放大少数类的影响，将所有少数类权重设定为1，但这导致模型不能正确识别少数类中的噪音/离群点，使得模型对少数类的噪音/离群点敏感。并且它混淆了噪音点和支持向量的概念，容易将重要的支持向量判为噪音点，从而分配小的权重。

3)IFTSVM和IFWLSTSVM是基于欧几里得空间距离的方法，对非高斯分布的数据会使精度降低；而且这两篇文献都未考虑类不平衡问题，所以存在很大的局限性。

发明内容

本发明要克服现有技术的上述缺点，提出一种基于局部直觉模糊支持向量机的异常行为识别方法。具体如下：

1)本发明将使用kNN(K近邻)方法来提取样本的局部类别信息，来获得样本类内和类间的邻域信息。在此基础上，本发明提出了一个基于类内邻域信息的分位数噪声数据检测算法。通过计算每个样本与其同类邻域内近邻样本的距离，并对这些距离求均值获得样本与同类样本的偏离程度，然后对所有同类样本的偏离程度求分位数。如果样本的偏离程度越接近同类别的上异常值截断点值，则说明该样本越偏离分布中心，即该样本被赋予更小的类内权重，对于偏离程度大于上异常值截断点的样本，检测为噪声样本，赋予的类内权重为0。

2)为了能更好的检测噪声数据，本发明将进一步为每个样本引入类别模糊信息二元组(μ，v)，其中μ表示样本隶属度，v表示样本非隶属度。在直觉模糊框架上，为了构造具有局部信息的类间权重，提出了一个基于类间邻域信息的类间相关性算法。该算法通过计算每个样本的邻域内另一类样本数量的占比，来确定样本的类间相关性，如果样本类间相关性越大，说明样本与另一类越相关，即该样本被赋予更小的类间权重。同时，为缓解异常行为数据存在的不均衡问题，针对少数类，在构造类间相关性时，引入不均衡率，即在理论上尽量平衡少数类数据和多数类数据样本数量。为了保护overlap区域中的少数类样本，针对多数类，在构造类间权重时，也引入了不均衡率，来减小overlap区域中多数类样本的类间权重。

3)此外，在模型上，为了降低当前类中异常点的偏差，本发明提出了新的基于类内和类间邻域信息的优化问题。该优化问题不再只对另一类样本加入类间权重，还对当前类样本加入类内权重，旨在模型学习近端超平面时，近端超平面不仅要远离另一类样本，而且要正确区分当前类的正常样本与异常样本，使正常样本尽可能聚集在近端超平面周围，而忽略异常样本。同时为了克服SVM模型更倾向于多数类的不足，本发明从算法级的角度考虑，即模型在学习少数类对应的近端超平面时，对当前类样本加入了不均衡率，以增大少数类样本错误分类的惩罚，使最终学习到的近端超平面减少对少数类样本的误分类。

为了便于更好的理解和描述，本发明制定统一的符号表示规则，其中标量用未加粗的小写字母或大写字母表示，如：x、X。向量用加粗的小写字母表示，如：x。矩阵用加粗的大写字母表示，如：X。

本发明所提出的基于局部直觉模糊支持向量机的异常行为识别方法，适用于识别人体异常行为和危险动作的应用场景。本发明总体流程如图2所示，具体步骤描述如下：

步骤一：异常行为数据集的构建。首先，使用Opencv实时捕获监控视频流，采样生成视频帧图像。然后，对采样的图像进行去噪声，灰度化，直方图均衡化等预处理，并使用mediapipe开源模块对图像中人体提取姿势关键点。然后，使用这些关键点构造姿势特征x_i，同时对样本的输出y_i进行手工标注是否为异常行为(1代表异常行为，2代表正常行为)。最后，对数据进行归一化，得到有监督数据集

其中

为维度n的样本特征，y_i为样本相应的输出，m为样本规模。将数据集按类别分为两个不重复的部分：异常行为的少数类(标注为1)的数据样本矩阵

(简称：A)和正常行为的多数类(标注为2)的数据样本矩阵

(简称：B)，其中m₁和m₂分别为少数类和多数类的样本个数。定义数据类不平衡率

k是kNN近邻算法的参数，表示选取的“近邻”个数。

为第s类样本合集，s＝1，2。

步骤二：根据kNN算法和四分位数方法分别计算少数类和多数类两个类别的类内权重，记作

表示第s类中的第i个样本的类内权重，本发明的类内权重流程如图3所示。

(2.1)通过计算每个样本与其同类领域内近邻样本的距离，并对这些距离求均值获得样本与同类样本的偏离程度，记作

表示第s类中的第i个样本的类内偏离程度。

其中，x_i是第s类中的第i个样本，x_m是x_i的kNN样本。

(2.2)按类别，对所有同类样本的偏离程度求分位数，具体包括各类别的上四分位数、下四分位数以及四分位差，分别记作

以及IQR^(s)，s＝1，2，表示第s类的上下四分位数以及四分位差。

(2.3)按类别，在不同类中分别计算各自的上异常值截断点，记作t^(s)，s＝1，2，表示第s类的上异常值截断点。

(2.4)根据上异常值截断点的性质，如果样本的偏离程度越接近同类别的上异常值截断点值，则说明该样本越偏离分布中心，即该样本被赋予更小的类内权重，但不小于0。又因为少数类和多数类样本数量不平衡，但更少的少数类样本具有更重要研究价值，所以应当最大可能的保护它们。基于以上分析，本发明的类内权重构造如下：

对于少数类样本：

对于多数类样本：

步骤三：根据kNN方法和直觉模糊方法，分别计算少数类和多数类两个类别的类间权重，本发明的类间权重流程如图4所示。

(3.1)隶属度计算：使用步骤二相同计算的方法，计算隶属度值，记作

表示第s类中的第i个样本的隶属度。其意义为第i个样本属于第s类的概率。

(3.2)非隶属度计算：结合kNN方法和直觉模糊方法，重新定义非隶属度：

(3.2.1)结合两类数据的信息计算类间相关性，记作

表示第s类中的第i个样本的类间相关性，构造如下：

其中，

和

分别表示第i个样本的kNN中，第1类样本数量和第2类样本数量。这里对少数类的类间相关性

的计算加入r，是因为少数类数据和多数类数据在样本数量上差了r倍，所以这里模拟了在每个少数类样本附近增加r倍的数据，目的是为了在理论上尽量平衡少数类数据和多数类数据样本数量。

(3.2.2)根据隶属度和类间相关性计算样本非隶属度，记作

表示第s类中的第i个样本的非隶属度。其意义为第个样本不属于第s类的概率。

(3.3)根据隶属度和非隶属度，计算样本类间权重，记作

表示第s类中的第i个样本的类间权重，构造如下：

式(8)的操作是为了构造样本类间权重，具体如下:当非隶属度为0时，类间权重等于隶属度值。当非隶属度值不小于隶属度值时，类间权重为0。其他情况时，类间权重

(3.4)对多数类样本的类间权重

进一步修正，如下：

式(9)表示在overlap区域，当多数类样本的kNN中，少数类样本数量的r倍不小于多数类样本数量时，该多数类样本的类间权重缩小r倍。否则保持不变。目的是为了在样本overlap区域中，应尽可能的保护少数类样本。

步骤四：本发明提出的LIFSVM方法，类似双子支持向量机，为少数类和多数类分别寻找一近端超平面f₁(x)，f₂(x)，即：

其中，f₁(x)和f₂(x)分别是异常行为和正常行为的近端超平面，w_1，2和b_1，2分别是对应超平面的权重和偏置，x是样本的特征。

为了实现经验风险，LIFSVM考虑下面两个损失函数

和

其中，q⁽¹⁾，q⁽²⁾是少数类和多数类样本的类内权重，f⁽¹⁾，f⁽²⁾是少数类和多数类样本的类间权重。c₁，c₂＞0是惩罚参数。

然而，如果LIFSVM只是关注经验风险最小化，这可能会导致在实践中出现过拟合，同时也会出现另一个难点，即在其学习过程中可能会出现矩阵的奇异点。为了克服以上问题，本发明通过引入一个额外的正则项||w||²+b²，提出了结构风险最小化版本。然后，得到了LIFSVM的原始问题

其中，ξ是非负的松弛变量；c_i，i＝1…4是惩罚参数。

为了表述方便，本发明将上述样本的向量形式(13)(14)，转化为下面的矩阵形式

其中，式(15)和(16)分别是，为了寻找异常行为和正常行为的近端超平面的优化问题。Q₁和Q₂是对角矩阵，其主对角线上为少数类和多数类的类内权重(4)(5)，F₁和F₂是对角矩阵，其主对角线上为少数类和多数类的类间权重(8)(9)，定义如下：

它们用于控制样本在类内或类间中的影响；e₁，e₂是适当维度的单位向量。

对少数类的优化问题(15)进行分析，最小化目标函数的第一项是为了使少数类的样本到第一个超平面距离更近，即样本尽量聚集在超平面附近；目标函数第二项是松弛变量的平方损失函数，第二个约束条件要求多数类的样本与第一个超平面的距离至少为1，松弛变量在约束条件不满足时度量误差，即最小化前两项，旨在最大化的将多数类样本与少数类样本分离开；最后一项为正则项，为了实现结构风险最小化，即权衡模型复杂度和模型精准度，避免过拟合。同理优化问题(16)与(15)类似。

步骤五：求解步骤四中的两个优化问题。

(5.1)以优化问题(15)为例，先将等式约束代入到目标函数中，可得到

(5.2)将(18)式对w₁，b₁求梯度，并设梯度等于0，得

(5.3)根据(19)和(20)式，求解

得

其中，H₁＝rQ₁[A e₁]，G₁＝F₂[B e₂]，I表示为单位矩阵。

(5.4)同理，求解

得

其中，H₂＝F₁[A e₁]，G₂＝Q₂[B e₂]。到此，LIFSVM方法的训练阶段完成。

步骤六：识别异常行为(模型预测)。当获得模型最优参数后，构建异常行为预测决策函数。对于给定待检测视频图像，首先使用Opencv实时捕获视频流，然后使用mediapipe开源模块提取人体提取姿势关键点。最后，使用这些关键点生成人体姿势特征x。针对给定的特征x，分别计算特征x到异常行为和正常行为近端超平面(10)的距离来预测场景是否为异常行为，决策函数如下：

其中，|·|表示绝对值。如果特征x离异常行为近端超平面的距离比正常行为近，那么(23)输出为1，系统判断当前样本x为异常行为，并执行异常行为记录或报警；如果特征x离正常行为近端超平面的距离比异常行为近，那么(23)输出为2，系统判断当前样本x为正常行为。

本发明，针对不均衡异常行为识别系统中，危险翻栏等应用场景，提出LIFSVM方法，当数据集具有噪音/离群点和类不平衡学习等特征时，LIFSVM方法表现更加优越。本发明具有如下优点：

1)与FSVM-CIL和RFLSTSVM-CIL相比，LIFSVM合理的构造和使用样本数据的类内信息和类间信息，并对当前类样本加入类内权重，对另一类样本加入类间权重。使模型不仅能辨别同类别中的噪音样本和正常样本，也能学习到不同类别之间的不均衡率等类间信息。针对具有噪音和类不平衡问题的异常行为识别数据，LIFSVM方法能更精准的完成识别任务。

2)与IFTSVM和IFWLSTSVM相比，在直觉模糊框架上，LIFSVM在构造具有局部信息的类间权重时，使用kNN方法来提取样本的局部类别信息，使得模型在非高斯分布的数据上，也具备优越的识别效果。

3)此外，为了克服SVM模型更倾向于正常行为的不足，本发明从算法级的角度考虑，即模型在学习异常行为对应的近端超平面时，对当前类样本加入了不均衡率，以增大少数类样本错误分类的惩罚，使最终学习到的近端超平面减少对异常行为样本的误分类。

附图说明

图1为危险翻栏行为识别应用场景案例。

图2为本发明的总体算法流程图。

图3为本发明的类内权重算法流程图。

图4为本发明的类间权重算法流程图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。此处所述的实施例，仅用于解释本发明，并不限定本发明。基于局部直觉模糊支持向量机的异常行为识别方法，具体的步骤如下：

步骤一：异常行为数据集的构建。首先，使用Opencv实时捕获监控视频流，采样生成视频帧图像。然后，对采样的图像进行去噪声，灰度化，直方图均衡化等预处理，并使用mediapipe开源模块对图像中人体提取姿势关键点。然后，使用这些关键点构造姿势特征x_i，同时对样本的输出y_i进行手工标注是否为异常行为(1代表异常行为，2代表正常行为)。最后，对数据进行归一化，得到有监督数据集

其中

为维度n的样本特征，y_i为样本相应的输出，m为样本规模。将数据集按类别分为两个不重复的部分：异常行为的少数类(标注为1)的数据样本矩阵

(简称：A)和正常行为的多数类(标注为2)的数据样本矩阵

(简称：B)，其中m₁和m₂分别为少数类和多数类的样本个数。定义数据类不平衡率

k是kNN近邻算法的参数，表示选取的“近邻”个数。

为第s类样本合集，s＝1，2。

步骤二：根据kNN算法和四分位数方法分别计算少数类和多数类两个类别的类内权重，记作

表示第s类中的第i个样本的类内权重，本发明的类内权重流程如图3所示。

(2.1)通过计算每个样本与其同类领域内近邻样本的距离，并对这些距离求均值获得样本与同类样本的偏离程度，记作

表示第s类中的第i个样本的类内偏离程度。

其中，x_i是第s类中的第i个样本，x_m是x_i的kNN样本。

(2.2)按类别，对所有同类样本的偏离程度求分位数，具体包括各类别的上四分位数、下四分位数以及四分位差，分别记作

以及IQR^(s)，s＝1，2，表示第s类的上下四分位数以及四分位差。

(2.3)按类别，在不同类中分别计算各自的上异常值截断点，记作t^(s)，s＝1，2，表示第s类的上异常值截断点。

(2.4)根据上异常值截断点的性质，如果样本的偏离程度越接近同类别的上异常值截断点值，则说明该样本越偏离分布中心，即该样本被赋予更小的类内权重，但不小于0。又因为少数类和多数类样本数量不平衡，但更少的少数类样本具有更重要研究价值，所以应当最大可能的保护它们。基于以上分析，本发明的类内权重构造如下：

对于少数类样本：

对于多数类样本：

步骤三：根据kNN方法和直觉模糊方法，分别计算少数类和多数类两个类别的类间权重，本发明的类间权重流程如图4所示。

(3.1)隶属度计算：使用步骤二相同计算的方法，计算隶属度值，记作

表示第s类中的第i个样本的隶属度。其意义为第i个样本属于第s类的概率。

(3.2)非隶属度计算：结合kNN方法和直觉模糊方法，重新定义非隶属度：

(3.2.1)结合两类数据的信息计算类间相关性，记作

表示第s类中的第i个样本的类间相关性，构造如下：

其中，

和

分别表示第i个样本的kNN中，第1类样本数量和第2类样本数量。这里对少数类的类间相关性

的计算加入r，是因为少数类数据和多数类数据在样本数量上差了r倍，所以这里模拟了在每个少数类样本附近增加r倍的数据，目的是为了在理论上尽量平衡少数类数据和多数类数据样本数量。

(3.2.2)根据隶属度和类间相关性计算样本非隶属度，记作

表示第s类中的第i个样本的非隶属度。其意义为第个样本不属于第s类的概率。

(3.3)根据隶属度和非隶属度，计算样本类间权重，记作

表示第s类中的第i个样本的类间权重，构造如下：

式(8)的操作是为了构造样本类间权重，具体如下:当非隶属度为0时，类间权重等于隶属度值。当非隶属度值不小于隶属度值时，类间权重为0。其他情况时，类间权重

(3.4)对多数类样本的类间权重

进一步修正，如下：

式(9)表示在overlap区域，当多数类样本的kNN中，少数类样本数量的r倍不小于多数类样本数量时，该多数类样本的类间权重缩小r倍。否则保持不变。目的是为了在样本overlap区域中，应尽可能的保护少数类样本。

步骤四：本发明提出的LIFSVM方法，类似双子支持向量机，为少数类和多数类分别寻找一近端超平面f₁(x)，f₂(x)，即：

其中，f₁(x)和f₂(x)分别是异常行为和正常行为的近端超平面，w_1，2和b_1，2分别是对应超平面的权重和偏置，x是样本的特征。

为了实现经验风险，LIFSVM考虑下面两个损失函数

和

其中，q⁽¹⁾，q⁽²⁾是少数类和多数类样本的类内权重，f⁽¹⁾，f⁽²⁾是少数类和多数类样本的类间权重。c₁，c₂＞0是惩罚参数。

然而，如果LIFSVM只是关注经验风险最小化，这可能会导致在实践中出现过拟合，同时也会出现另一个难点，即在其学习过程中可能会出现矩阵的奇异点。为了克服以上问题，本发明通过引入一个额外的正则项||w||²+b²，提出了结构风险最小化版本。然后，得到了LIFSVM的原始问题

其中，ξ是非负的松弛变量；c_i，i＝1…4是惩罚参数。

为了表述方便，本发明将上述样本的向量形式(13)(14)，转化为下面的矩阵形式

其中，式(15)和(16)分别是，为了寻找异常行为和正常行为的近端超平面的优化问题。Q₁和Q₂是对角矩阵，其主对角线上为少数类和多数类的类内权重(4)(5)，F₁和F₂是对角矩阵，其主对角线上为少数类和多数类的类间权重(8)(9)，定义如下：

它们用于控制样本在类内或类间中的影响；e₁，e₂是适当维度的单位向量。

对少数类的优化问题(15)进行分析，最小化目标函数的第一项是为了使少数类的样本到第一个超平面距离更近，即样本尽量聚集在超平面附近；目标函数第二项是松弛变量的平方损失函数，第二个约束条件要求多数类的样本与第一个超平面的距离至少为1，松弛变量在约束条件不满足时度量误差，即最小化前两项，旨在最大化的将多数类样本与少数类样本分离开；最后一项为正则项，为了实现结构风险最小化，即权衡模型复杂度和模型精准度，避免过拟合。同理优化问题(16)与(15)类似。

步骤五：求解步骤四中的两个优化问题。

(5.1)以优化问题(15)为例，先将等式约束代入到目标函数中，可得到

(5.2)将(18)式对w₁，b₁求梯度，并设梯度等于0，得

(5.3)根据(19)和(20)式，求解

得

其中，H₁＝rQ₁[A e₁]，G₁＝F₂[B e₂]，I表示为单位矩阵。

(5.4)同理，求解

得

其中，H₂＝F₁[A e₁]，G₂＝Q₂[B e₂]。到此，LIFSVM方法的训练阶段完成。

步骤六：异常行为识别阶段(模型预测)。当获得模型最优参数后，构建异常行为预测决策函数。对于给定待检测视频图像，首先使用Opencv实时捕获视频流，然后使用mediapipe开源模块提取人体提取姿势关键点。最后，使用这些关键点生成人体姿势特征x。针对给定的特征x，分别计算特征x到异常行为和正常行为近端超平面(10)的距离来预测场景是否为异常行为，决策函数如下：

其中，|·|表示绝对值。如果特征x离异常行为近端超平面的距离比正常行为近，那么(23)输出为1，系统判断当前样本x为异常行为，并执行异常行为记录或报警；如果特征x离正常行为近端超平面的距离比异常行为近，那么(23)输出为2，系统判断当前样本x为正常行为。

本发明应用的数据集是人体异常行为检测中的危险翻栏数据。它是从实际生活中的翻栏视频中截取得到的，其中既包括危险翻栏行为，也有正常经过栏杆行为。为了比较本发明方法应对噪音和不平衡数据的优越性，向每个数据集加入了0.4的扰乱噪音，且数据集的类别不平衡率分别为r＝4，6，8，10。在实验中，为了保证实验训练集和测试集分配的公平性，使用了十折交叉验证方法，取其均值作为结果，而最终结果是十一次十折交叉验证结果的均值，目的是为了避免十折交叉验证中随机划分数据带来的偶然性。由于实验涉及类不平衡学习，所以本发明将G_mean作为衡量模型优劣指标。G_mean计算如下：

其中，TP表示正类样本预测为正类的个数，FN表示正类样本预测为负类的个数，FP表示负类样本预测为正类的个数，TN表示负类样本预测为负类的个数。

本发明将LIFSVM与双边界支持向量机(TBSVM)、最小二乘双边界支持向量机(LSTBSVM)、IFTSVM和三个现热门的合成不平衡数据方法，即合成少数类过采样技术(SMOTE)、自适应合成抽样(ADASYN)和边界合成少数类过采样技术(BLSMOTE)做比较，最终以平均排名度量方法的优劣。

表1本发明方法与现有的支持向量机方法在危险翻栏数据上的比较

表2本发明方法与三个现热门的合成不平衡数据方法在危险翻栏数据上的比较

从表1和表2可以看出，IFTSVM只有在不平衡率为4的数据集上略优于本发明提出的LIFSVM方法，而在其他三个数据集上，LIFSVM方法都比IFTSVM方法更优。而其他几个方法在每个数据集上最终结果都要低于LIFSVM方法。所以经以上实验检验，本发明提出的LIFSVM方法在含有噪音/离群点和类不平衡学习中，具有一定的优越性。

以上是本发明的较佳实施方式，本发明的保护范围不限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围之内，未经创造性劳动所想到的变换或替换，都涵盖在本发明的保护范围之内。本发明的保护范围以权利要求所限定的保护范围为准。

Claims (1)

1.基于局部直觉模糊支持向量机的异常行为识别方法，包括如下步骤：

步骤一：异常行为数据集的构建；首先，使用Opencv实时捕获监控视频流，采样生成视频帧图像；然后，对采样的图像进行去噪声，灰度化，直方图均衡化等预处理，并使用mediapipe开源模块对图像中人体提取姿势关键点；然后，使用这些关键点构造姿势特征x_i，同时对样本的输出y_i进行手工标注是否为异常行为，1代表异常行为，2代表正常行为；最后，对数据进行归一化，得到有监督数据集

其中

为维度n的样本特征，y_i为样本相应的输出，m为样本规模；将数据集按类别分为两个不重复的部分：异常行为的少数类(标注为1)的数据样本矩阵

(简称：A)和正常行为的多数类(标注为2)的数据样本矩阵

((简称：B()，其中m₁和m₂分别为少数类和多数类的样本个数；定义数据类不平衡率

k是kNN近邻算法的参数，表示选取的“近邻”个数；

为第s类样本合集，s＝1，2；

步骤二：根据kNN算法和四分位数方法分别计算少数类和多数类两个类别的类内权重，记作

表示第s类中的第i个样本的类内权重；

(2.1)通过计算每个样本与其同类领域内近邻样本的距离，并对这些距离求均值获得样本与同类样本的偏离程度，记作

表示第s类中的第i个样本的类内偏离程度；

其中，x_i是第s类中的第i个样本，x_m是x_i的kNN样本；

(2.2)按类别，对所有同类样本的偏离程度求分位数，具体包括各类别的上四分位数、下四分位数以及四分位差，分别记作

以及IQR^(s)，s＝1，2，表示第s类的上下四分位数以及四分位差；

(2.3)按类别，在不同类中分别计算各自的上异常值截断点，记作t^(s)，s＝1，2，表示第s类的上异常值截断点；

(2.4)根据上异常值截断点的性质，如果样本的偏离程度越接近同类别的上异常值截断点值，则说明该样本越偏离分布中心，即该样本被赋予更小的类内权重，但不小于0；又因为少数类和多数类样本数量不平衡，但更少的少数类样本具有更重要研究价值，所以应当最大可能的保护它们；基于以上分析，类内权重构造如下：

对于少数类样本：

对于多数类样本：

步骤三：根据kNN方法和直觉模糊方法，分别计算少数类和多数类两个类别的类间权重；

(3.1)隶属度计算：使用步骤二相同计算的方法，计算隶属度值，记作

表示第s类中的第i个样本的隶属度；其意义为第i个样本属于第s类的概率；

(3.2)非隶属度计算：结合kNN方法和直觉模糊方法，重新定义非隶属度：

(3.2.1)结合两类数据的信息计算类间相关性，记作

表示第s类中的第i个样本的类间相关性，构造如下：

其中，

和

分别表示第i个样本的kNN中，第1类样本数量和第2类样本数量；这里对少数类的类间相关性

的计算加入r，是因为少数类数据和多数类数据在样本数量上差了r倍，所以这里模拟了在每个少数类样本附近增加r倍的数据，目的是为了在理论上尽量平衡少数类数据和多数类数据样本数量；

(3.2.2)根据隶属度和类间相关性计算样本非隶属度，记作

表示第s类中的第i个样本的非隶属度；其意义为第i个样本不属于第s类的概率；

(3.3)根据隶属度和非隶属度，计算样本类间权重，记作

表示第s类中的第i个样本的类间权重，构造如下：

式(8)的操作是为了构造样本类间权重，具体如下:当非隶属度为0时，类间权重等于隶属度值；当非隶属度值不小于隶属度值时，类间权重为0；其他情况时，类间权重

(3.4)对多数类样本的类间权重

进一步修正，如下：

式(9)表示在overlap区域，当多数类样本的kNN中，少数类样本数量的r倍不小于多数类样本数量时，该多数类样本的类间权重缩小r倍；否则保持不变；目的是为了在样本overlap区域中，应尽可能的保护少数类样本；

步骤四：LIFSVM方法，类似双子支持向量机，为少数类和多数类分别寻找一近端超平面f₁(x)，f₂(x)，即：

其中，f₁(x)，f₂(x)是异常行为和正常行为的近端超平面，w_1，2，b_1，2是对应超平面的权重和偏置，x是样本的特征；

为了实现经验风险，LIFSVM考虑下面两个损失函数

和

其中，q⁽¹⁾，q⁽²⁾是少数类和多数类样本的类内权重，f⁽¹⁾，f⁽²⁾是少数类和多数类样本的类间权重；c₁，c₂＞0是惩罚参数；

然而，如果LIFSVM只是关注经验风险最小化，这可能会导致在实践中出现过拟合，同时也会出现另一个难点，即在其学习过程中可能会出现矩阵的奇异点；为了克服以上问题，通过引入一个额外的正则项||w||²+b²，提出了结构风险最小化版本；然后，得到了LIFSVM的原始问题

其中，ξ是非负的松弛变量；c_i，i＝1…4是惩罚参数；

为了表述方便，将上述样本的向量形式式(13)和式(14)，转化为下面的矩阵形式：

其中，式(15)和(16)分别是，为了寻找异常行为和正常行为的近端超平面的优化问题；Q₁和Q₂是对角矩阵，其主对角线上为少数类和多数类的类内权重式(4)和式(5)，F¹和F²是对角矩阵，其主对角线上为少数类和多数类的类间权重式(8)和式(9)，定义如下：

用于控制样本在类内或类间中的影响；e₁，e₂是适当维度的单位向量；

对少数类的优化问题式(15)进行分析，最小化目标函数的第一项是为了使少数类的样本到第一个超平面距离更近，即样本尽量聚集在超平面附近；目标函数第二项是松弛变量的平方损失函数，第二个约束条件要求多数类的样本与第一个超平面的距离至少为1，松弛变量在约束条件不满足时度量误差，即最小化前两项，旨在最大化的将多数类样本与少数类样本分离开；最后一项为正则项，为了实现结构风险最小化，即权衡模型复杂度和模型精准度，避免过拟合；同理优化问题式(16)与式(15)类似；

步骤五：求解步骤四中的两个优化问题；

(5.1)以优化问题(15)为例，先将等式约束代入到目标函数中，可得到

(5.2)将(18)式对ω₁，b₁求梯度，并设梯度等于0，得

(5.3)根据式(19)和式(20)，求解

得

其中，H₁＝rQ₁[A e₁]，G₁＝F₂[B e₂]，I表示为单位矩阵；

(5.4)同理，求解

得

其中，H₂＝F₁[A e₁]，G₂＝Q₂[B e₂]；到此，LIFSVM方法的训练阶段完成；

步骤六：识别异常行为；当获得模型最优参数后，构建异常行为预测决策函数；对于给定待检测视频图像，首先使用Opencv实时捕获视频流，然后使用mediapipe开源模块提取人体提取姿势关键点；最后，使用这些关键点生成人体姿势特征x；针对给定的特征x，分别计算特征x到异常行为和正常行为近端超平面(10)的距离来预测场景是否为异常行为，决策函数如下：

其中，|·|表示绝对值；如果特征x离异常行为近端超平面的距离比正常行为近，那么式(23)输出为1，系统判断当前样本x为异常行为，并执行异常行为记录或报警；如果特征x离正常行为近端超平面的距离比异常行为近，那么式(23)输出为2，系统判断当前样本x为正常行为。

Images