CN109034062B - 一种基于时序一致性的弱监督异常行为检测方法 - Google Patents

Abstract

本发明公开了一种基于时序一致性的弱监督异常行为检测方法，包括步骤：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；基于人类行为的时态一致性和平滑特征性处理行为视频对，形成一个行为单元对，获得相关行为片段，并定位行为片段中相关异常动作类的开始帧和结束帧；基于弱监督对获取得到的行为片段进行学习，得到可判断各种行为特征的操作分类器；基于字典学习和求解稀疏编码重建操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。本发明提供的弱监督异常行为检测方法很容易学习相关行为分类的特征，而不用手动标注帧的边界建立相关的行为模型。

Description

一种基于时序一致性的弱监督异常行为检测方法

技术领域

本发明涉及图像处理技术领域，涉及一种异常行为检测方法，尤其涉及一种基于时序一致性的弱监督异常行为检测方法。

背景技术

基于弱监督的异常行为检测方法是国内外学者的研究热点，其主要原理是利用人类行为推进的时态一致性和平滑特性形成一个行为单元对，定位视频中相关异常动作类的开始和结束帧，并训练相应的操作分类器，然后进行基于稀疏重建的异常行为检测。弱监督的异常行为检测方法关键在于如何定位视频中相关异常动作类的开始和结束帧。

现有的异常行为检测大多采用人工特征，然而人工特征计算复杂度高，且在复杂场景下很难选择并设计一种有效的行为特征。现在大多数方法依赖于有标注的视频数据，也就是在训练数据集中，行为的开始和结束时间都是有标注的。生活的应用中，这需要创建大量的训练数据，花费代价很大。

发明内容

本发明的主要目的在于解决现有技术中人工特征计算复杂度高，且在复杂场景下很难选择并设计一种有效的行为特征的问题，提供一基于时序一致性的弱监督异常行为检测方法，具体技术方案如下：

一种基于时序一致性的弱监督异常行为检测方法，包括如下步骤：

构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；

基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；

基于弱监督对获取得到的所述行为片段进行学习，得到可判断各种行为特征的操作分类器；

基于字典学习和求解稀疏编码重建所述操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。

本发明的进一步改进，还包括步骤：

定义所述行为视频对，并对定义后的视频进行预设大小长度和宽度子序列的构造；

提取视频中帧级别的特征并应用序列池来获得所述行为视频对中每一个视频固定长度的时序编码；

根据所述行为视频对构造一相似矩阵，并根据现有公式对每对视频片段进行内积的计算。

本发明的进一步改进，还包括步骤，通过算法找到行为视频对中两个行为视频具备预设匹配度的片段。

本发明的进一步改进，还包括步骤，分割所述行为视频对，使两个所述行为视频具有相同数量的子行为数。

本发明的进一步改进，还包括步骤：

将每一个行为视频分割成一系列的帧片段，并给每一个所述帧片段分配一个行为片段。

本发明的进一步改进，还包括步骤，对所述行为片段中的子行为进行帧大小调整。

本发明的进一步改进，还包括步骤：

将所述行为视频对中的每一个行为作为一系列所述子行为顺序组合而成的模型；以及

对每一个行为进行分类，并对每一类行为中的子行为进行相对应的定义，使所述子行为顺序排列。

本发明的进一步改进，所述行为检测系统基于RNN和HMM建立形成。

本发明实施例中，通过将RNN和HMM组合在一起建立一个行为检测系统，首先在行为检测系统中导入一行为视频对，通过所述行为视频对构造一时序矩阵，然后基于人类行为推荐的时态一致性和平滑特性对时序矩阵进行处理，得到一行为单元对，获得候选的行为片段，并且同时定位行为视频中的相关异常行为的起始帧和结束帧，将获取得到的行为片段进行分割成若干帧级别，并且每一帧级别匹配一更小的行为片段；随后基于弱监督对获取得到的候选行为片段进行学习，得到可以对视频片段中各异常行为动作进行判断的操作分类器，最后基于字典学习和求解稀疏编码对获取的行为片段进行重建，形成新的检测异常行为类的行为判断逻辑，从而达到对异常行为的检测和判断；本发明提供的方法很容易学习相关行为分类的特征，不用手动标注帧的边界建立相关的行为模型，简单而有效。

附图说明

图1为本发明所述方法的流程示意图；

图2为本发明每一个动作的迭代过程示意图；

图3为本发明实施例结果所得ROC曲线图；

图4为基于行为匹配的无监督行为检测示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

和完全监督检测或分割的方法不同，弱监督学习中视频中只有一个有序的行为发生列表可用来训练，基于帧的真实数据是可获得的。参阅图1，在本发明实施例中，提供了一种基于时序一致性的弱监督异常行为检测方法，所述方法包括步骤：

S1：构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；

在本发明实施例中，通过RNN和HMM组合建立一个行为检测系统，通过所述行为检测系统完成对异常行为的检测和监督，其中，所述RNN是一种节点定向连接成环的人工神经网络，其内部状态可以展示动态时序行为；HMM为一种分析统计模型；在本发明实施例中，RNN主要作为一个反馈动力系统，HMM主要对行为动作进行分析统计，通过RNN和HMM结合实现基于时序一致性的弱监督异常行为检测功能。

实施例中，在构建行为检测系统完成后，给定一行为视频对，定义为X_a和X_b，将X_a和X_b导入行为检测系统中，按照预设要求构造出长度为l_w宽度为l_s的子序列；优选的，分别将X_a和X_b的子序列称为A和B，并将视频帧序列称为视频片段，对于每一个视频片段，提取帧级别的特征并应用序列池来获得固定长度的时序编码；与之相对应的，X_a获得的时序池向量的有续集为

X_b获得的时序池向量的有续集为

同时，构造一个大小为A×B的相似矩阵(Gram矩阵)G，由于A×B的相似矩阵G来自行为视频对X_a和X_b，所以每对视频片段的内积可根据公式

计算得到。

S2：基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；

在本发明实施例中，基于人类行为推进的时态一致性和平滑特性形成一个行为单元对，定义为(u_a,u_b)；并通过使用上述相似矩阵进行处理得到最好的候选视频片段；同时设定一个阈值thr，设置为相似矩阵均值的标准差，用于判断两个视频中匹配片段的匹配度大小，并选定相似得分高于阈值thr匹配片段；具体的，如果thr非正，就声明没有匹配段，然后通过搜索算法找到顶部时间一致的候选匹配片段，所述搜索算法具体如下：

在本发明实施例中，需要找到匹配度最高的k个子序列，本实施例采用启发式算法来减少搜索维度，相比较与传统方法计算复杂度O(A²B²)，本实施例采用的方法在寻找过程中可有效减少计算复杂度；具体的，将识别动作单元对的问题形式化为具有时间一致性约束的二部图匹配问题，如图4所示，图中虚线连接的表示权重小于阈值的边；假设这个图是稀疏的(通过丢弃小于阈值权重的边)，则视频片段匹配的子序列的长度相同并满足时间一致性(也就是有同样的顺序)；当且仅当所有的P∈{0,…,k}时，内积

时，子序列

和

相匹配。

在本发明实施例中，给定X_a和X_b视频编码视频片段W_a和W_b，该算法查找包含多于L个(L>1)视频段的所有匹配动作单元候选的所有运行；例如可以获得长时间行为单元的策略，也就是超过原来窗口尺寸l_w，而不用多尺度的策略(多种窗口尺度)作为监督行为检测；

在具体实施例中，一旦获得一组候选，使用非最大抑制算法(NMS)来消除多余的候选，如果交叉IoU(交并比)超过0.5，两队候选视频的行为匹配单元将被认为是多余的；例如，如果视频X_a的两段序列为

和

视频X_b的两段序列为

和

同时假设

和

是匹配的；然而当

和

的交叉IoU高于0.5且

和

的交叉IoU高于0.5，那么这两对的行为单元就是多余的，在这种情况下，只保留匹配分数最高的一对；候选行为单元对

的匹配分数是候选行为单元对也就是

中所有匹配视频段(大小为l_w)的总分。

S3：基于弱监督对获取得到的所述行为片段进行学习，得到可判断各种行为特征的操作分类器；

在本发明实施例中，基于弱监督对获取的行为片段进行学习的过程中需要分割所述行为视频对，使两个所述行为视频具有相同数量的子行为数，以及将每一个行为视频分割成一系列的帧片段，并给每一个所述帧片段分配一个行为片段；同时，每一次训练过程中，可对子行为的帧大小进行调整，以便达到最佳的效果，详细可如下实例说明：

例如，一个翻越闸机的动作序列中，包含用手臂支撑，抬腿，翻越，落地的过程，充分的监督任务将提供每个动作的开始和结束时间的时间标注；而在本实施例中，通过RNN和HMM结合形成的系统将翻越闸机过程所有给出的信息视为是有序的动作序列，从手臂支撑到抬腿、到翻越，最后到落地的过程序列；具体为，假设行为视频数据是一系列的

其中

是T个帧的视频中的帧级别特征，

是视频中行为发生的有序序列(w₁,...,w_N)，视频中的分割被定义为映射：n(t):{1,...,T}→{1,...,N}，表示给每个帧分配行为片段；同时，本发明实施例提出一种可以迭代优化动作分割的模型，所述模型可以只对所提供的动作进行线性分割，结合图2所示，其中视频帧

的似然函数给出行为副本

被定义为：

其中p(c_t|a_n(t))是c_t帧被行为a_n(t)生成的概率。

在实际情况中，用于训练的行为通常是较长的、任务驱动的，自然地包含多个行为，比如一个翻越闸机的动作，包含用手臂支撑、抬腿、翻越以及落地，这使得很难将长期的、异构的行为做为一个整体训练；为了有效地获取这些特征，本实施例通过将每一个行为做为子行为的顺序组合的模型，即将每一个行为定义为由一系列的子行为

构成的行为s，其中，初始Ka是由启发式算法和精炼算法估计得到；在实施例中，由原长动作类分割为一组较小的子行为不是由给定的命令动作序列，而是潜在变量，需要通过模型学习。

S4：基于字典学习和求解稀疏编码重建所述操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。

根据上述步骤得到行为的特征后，采用稀疏重建来进行异常行为检测，其基本思想是任何行为可以用一组正常训练样本的稀疏线性组合表示；对于正常行为，稀疏重建误差小，而异常行为稀疏重建误差比较大，据此，在本实施例中，可根据重建误差来进行异常检测，具体描述如下：

设有F类正常行为，每个行为用上述特征向量表示，用D表示，D＝[D₁,D₂,...,D_F]表示稀疏字典，其中D_i是由K个第i类行为构成的子字典，对于测试样本y可表示为；y＝Dα，这里，α＝[α₁，α₂，α_F]^T为稀疏编码向量。稀疏重建的关键是字典学习和求解稀疏编码，其中：

字典学习具体如下：

给定训练样本集Y＝{y₁,y₂,...,y_N}∈R^m×N,y_i∈R^m表示第i个正常样本的特征向量，目的是学习字典D和稀疏编码向量α使Y可以通过字典的加权和来重建，即Y＝D_α也就是求解下列优化问题：

这里λ控制参数，第一项是重建误差，第二项是稀疏性约束。这是一个非凸的优化问题。但是如果D和α中的一个固定，则问题就变为线性的。因此，通过依次固定D和α可以导出D和α具体算法如下：(1)输入训练样本集Y初始字典D⁰∈R^m×K，i＝0；(2)令i＝i+1；(3)固定D利用式

求αⁱ；(4)固定α利用式

求Dⁱ；(5)重复(2)、(3)和(4)步，直到收敛；(6)输出字典Dⁱ，算法中每一步确定Dⁱ和αⁱ，从而得出最后结果，其中，Dⁱ＝argmin_D||Y-Dα||_F，αⁱ＝argmin_D||Y-Dα||_F+λ||α||_2.1。

具体的，式Dⁱ＝argmin_D||Y-Dα||_F采用K-SVD算法来求解；由于||α||_2,1是非平滑的，所以，式αⁱ＝argmin_D||Y-Dα||_F+λ||α||_2.1对应的优化问题是凸的、非平滑的优化问题，为了加快收敛速度，提高计算效率，本发明实施例利用Nesterov提出的方法[26]来求解；具体为，考虑目标函数f₀(x)+g(x)，其中f₀(x)是凸的且平滑，而g(x)是凸的、非平滑Nesterov采用公式

来近似表示Z处的f₀(x)+g(x)，这里L是指Lipschitz常数，这样每次迭代，只需求解min_xP_Z.L(x)，可降低计算过程，提高效率；同时，定义f₀(α)＝||Y-Dα||_F，g(α)＝λ||α||₁,且：

此时，可得到式αⁱ＝argmin_D||Y-Dα||_F+λ||α||_2.1的解为：argmin_αP_Z.L(α)＝H_λ/L(Z-1/L▽f(Z))，其中：H_τ:M∈R^k×k→N∈R^k×k，

这里τ＝λ/L,M＝Z-(1/L)▽f(Z)，M_i是原数据的第i行,N_i是计算得到的矩阵的第i行。

异常行为检测具体如下：

给定一个字典D，对于测试样本y可用式y＝Dα表示，其中，稀疏编码α可通过求解式α^*＝min||y-Dα||₂+λ||α||₁获得。

一旦得到最优的稀疏编码a*，可以计算稀疏重建代价(SRC)，在本实施例中，通过S(y，α^*，D)＝||y-Dα||₂+λ||α^*||₁实现，对于正常行为，稀疏重建代价较小，而异常行为稀疏重建代价较大，因此如果S(y,α^*,D)＞ε，则Y为异常行为，式中ε是预先设置的阈值。

为了验证本发明方法的有效性，本实施例通过在公共数据库CAVIAR和BOSS上进行实验来验证，结合图3，其中曲线F表示本发明试验的走势；曲线A表示视频异常检测中的自适应稀疏走势；曲线S表示时空卷积神经网络在拥挤场景中的异常检测和定位；曲线I表示改进轨迹的动作识别走势；曲线L为异常检测中表象和运动的深层表示，通过比较可知，本发明提供的基于时序一致性的弱监督异常行为检测方法可快速、有效地对异常行为进行判断，实现很好的监督效果，以便于相关人员针对实际情况及时作出相关措施。

本发明实施例中，通过将RNN和HMM组合在一起建立一个行为检测系统，首先在行为检测系统中导入一行为视频对，通过所述行为视频对构造一时序矩阵，然后基于人类行为推荐的时态一致性和平滑特性对时序矩阵进行处理，得到一行为单元对，获得候选的行为片段，并且同时定位行为视频中的相关异常行为的起始帧和结束帧，将获取得到的行为片段进行分割成若干帧级别，并且每一帧级别匹配一更小的行为片段；随后基于弱监督对获取得到的候选行为片段进行学习，得到可以对视频片段中各异常行为动作进行判断的操作分类器，最后基于字典学习和求解稀疏编码对获取的行为片段进行重建，形成新的检测异常行为类的行为判断逻辑，从而达到对异常行为的检测和判断；本发明提供的方法很容易学习相关行为分类的特征，不用手动标注帧的边界建立相关的行为模型，简单而有效。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (6)

1.一种基于时序一致性的弱监督异常行为检测方法，其特征在于，包括如下步骤：

基于RNN和HMM构建一个行为检测系统，导入一行为视频对到所述行为检测系统，处理后形成一个由所述行为视频对构建的时序矩阵；还包括步骤：

定义所述行为视频对为X_a和X_b，并对定义后的视频进行预设大小长度和宽度子序列的构造；提取视频中帧级别的特征并应用序列池来获得所述行为视频对中每一个视频固定长度的时序编码；X_a获得的时序池向量的有续集为

X_b获得的时序池向量的有续集为

根据所述行为视频对构造一相似矩阵，并根据

对每对视频片段进行内积的计算；

基于人类行为的时态一致性和平滑特征性处理所述行为视频对，形成一个行为单元对，获得候选行为片段，并定位所述行为片段中相关异常动作类的开始帧和结束帧；

基于弱监督对获取得到的所述行为片段进行学习，得到可判断各种行为特征的操作分类器；

基于字典学习和求解稀疏编码重建所述操作分类器中判断行为特征的检测标准，形成新的检测各种异常行为类的行为判断逻辑。

2.根据权利要求1所述的一种基于时序一致性的弱监督异常行为检测方法，其特征在于，还包括步骤，设定一个阈值thr，设置为相似矩阵均值的标准差，用于判断两个视频中匹配片段的匹配度大小，并选定相似得分高于阈值thr匹配片段；如果thr非正，就声明没有匹配段，然后通过启发式搜索算法，找到行为视频对中两个行为视频具备预设匹配度的片段。

3.根据权利要求1所述的一种基于时序一致性的弱监督异常行为检测方法，其特征在于，还包括步骤，分割所述行为视频对，使两个所述行为视频具有相同数量的子行为数。

4.根据权利要求3所述的一种基于时序一致性的弱监督异常行为检测方法，其特征在于，还包括步骤：

将每一个行为视频分割成一系列的帧片段，并给每一个所述帧片段分配一个行为片段。

5.根据权利要求4所述的一种基于时序一致性的弱监督异常行为检测方法，其特征在于，还包括步骤，对所述行为片段中的子行为进行帧大小调整。

6.根据权利要求3所述的一种基于时序一致性的弱监督异常行为检测方法，其特征在于，还包括步骤：

将所述行为视频对中的每一个行为作为一系列所述子行为顺序组合而成的模型；以及

对每一个行为进行分类，并对每一类行为中的子行为进行相对应的定义，使所述子行为顺序排列。

Images