CN108805015A - 加权卷积自编码长短期记忆网络人群异常检测方法 - Google Patents

Abstract

本发明公开了一种加权卷积自编码长短期记忆网络(Weighted convolutional autoencoder‑long short‑term memory network,WCAE‑LSTM网络)进行异常检测的方法，致力于学习移动行人的生成模型进行异常检测及定位，以保证公共安全。本发明提出一种新颖的双通道框架，利用WCAE‑LSTM网络分别学习原始数据通道及对应的光流通道的生成模式并对数据进行重构，基于重构误差进行异常检测。此外，针对复杂背景问题，本发明提出采用分块鲁棒主成分分析分解将稀疏前景与低秩背景分离，根据得到的背景信息设计加权欧几里德损失函数，从而抑制背景噪声。本发明设计的WCAE‑LSTM网络不仅能从全局角度检测异常，还能从局部角度粗略地定位异常区域，并通过联合考虑全局‑局部异常分析和光流异常分析的结果，最终实现对异常事件鲁棒、准确地检测。

Description

加权卷积自编码长短期记忆网络人群异常检测方法

技术领域

本发明属于计算机视觉领域，具体涉及智能监控领域，特别涉及一种使用加权卷积自编 码长短期记忆网络进行人群异常检测的方法。

背景技术

随着视频监控领域的发展，越来越多监控摄像机用于公共场所以保证公共安全。然而， 大量的监控视频数据不仅存在过多冗余信息，对监控人员来说也是一个严峻的挑战，视频分 析耗时且乏味。因此，开发能够自动检测视频异常的系统对于减轻人力、财力都有着至关重 要的作用。如果能够准确检测到连续的或潜在的异常情况，公共安全将得到进一步的保证。

传统的视频异常检测方法大多数通过光流信息检测异常，利用定向光流梯度直方图捕捉 运动信息，考虑到人群中的相互关系使用社会力模型检测异常等。此外，提出使用动态混合 纹理模型等检测异常。但是，这些方法仅适用于特定的异常行为，而不能通用于各种异常行 为。随着稀疏表示与字典学习的成功使用，研究人员通过稀疏表示构建正常行为字典，并通 过重构误差检测异常行为。尽管基于稀疏表示的异常检测方法取得了重大成功，但检测性能 仍待提高。

近期，很多研究专注于基于深度学习的异常检测，其中，一些研究人员建立正常行为的 生成模型，根据输入数据的重构误差检测异常。通过时空卷积捕获空间和时间维度特征，从 而提取在每个移动立方体中编码的外观和运动信息，同时检测和定位视频中的异常事件，但 是特征提取过程十分耗时。自动编码技术也能进行异常检测，通过对具有隐藏层的前馈多层 感知器进行训练，将正常和异常行为进行分类，但自动编码都是对视频中每一帧逐一处理， 因此无法有效捕捉视频中的时间变化信息。为捕捉时间信息，越来越多的研究人员使用卷积 自编码的方式进行异常检测，通过长短期记忆网络(long short-termmemory network，LSTM 网络)在视频预测框内进行异常检测，扩大异常事件的重构误差。然而，这些生成的模型容 易收到复杂背景的影响，无法较好重构正常行为。同时，基于整个帧的重构误差检测异常的 方法可能会忽略一小部分区域的异常行为。此外，生成式对抗网络(Generative Adversarial Network，GAN)也能检测异常，但是，GAN模型很难训练，并且无法很好地捕捉运动目标 之间的差异。此外，该模型仍旧无法解决复杂背景和小区域异常的影响。基于上述讨论，本 发明提出了一种加权卷积自编码长短期记忆网络(Weightedconvolutional autoencoder-long short-term memory network,WCAE-LSTM网络)进行人群异常检测的方法。

发明内容

本发明目的在于提出一种使用加权卷积自编码长短期记忆网络进行人群异常检测的方 法。此方法对异常行为定义复杂、背景干扰严重、局部区域异常检测具有很强的鲁棒性。

本发明的技术方案为：

一种使用加权卷积自编码长短期记忆网络进行人群异常检测的方法，包括以下步骤：

1)：提出同时对原始数据及其对应光流信息进行行人特征编码、并根据双通道数据的编 码重构结果进行异常检测的双通道框架。

2)：采用分块鲁棒主成分分析分解将运动前景与静止背景分离，设计加权欧几里德损失 函数使WCAE-LSTM网络关注运动目标，抑制背景噪声的影响，并通过最小化加权欧几里德 损失函数训练WCAE-LSTM网络，从而利用该网络估计不同通道数据的编码重构结果。

3)：根据原始数据及对应光流数据的编码重构结果计算不同通道的全局异常值，并通过 加权融合方式得到融合的全局异常值。

4)：对原始数据的编码重构结果进行分块，计算子块的局部异常值，并通过阈值化处理 检测异常子块，实现异常行为的粗略定位。综合考虑融合的全局异常值和子块的局部异常值， 实现对异常行为的最终检测。

进一步，所述步骤1)具体包括：

(1)：将原始视频数据及对应的光流数据根据时间顺序依次输入到WCAE-LSTM网络， 通过含三个卷积层的编码器对输入的双通道数据进行编码，得到不同通道数据的空间变化特 征。

(2)：将编码后的双通道数据的空间变化特征输入含三个卷积长短期记忆网络单元的时 空处理模块(sptiao-temporal processing module，STP)，获取序列输入的双通道数据的时空变 化特征。

(3)：将STP模块输出的双通道数据的时空变化特征送到含三个解卷积层的解码器，进 行不同通道的数据重构。

进一步，所述步骤2)具体为：

(1)：对于输入的原始视频数据，采用分块鲁棒主成分分析分解将运动前景与静止背景 分离，分割过程如下：其中，D表示输入图像，L表示静 止的低秩背景，F表示运动的稀疏前景，||||*表示核范数，||||₁表示L1范数。映射矩阵P_i()用 于从全局图像中提取图像子块，惩罚参数λ_i表示第i个图像子块的运动显著性。

2.2)：提出一种加权欧式损失函数，使WCAE-LSTM网络更加专注于学习移动前景目标 的时空特征表示，抑制背景噪声对于网络学习能力的影响。加权欧式损失函数定义如下：L＝||(E(I,O)-I)⊙W||₂，其中O是训练好的网络参数，I是输入数据，E(I,O)是数据的输出重 构数据(用R表示)，W是根据前景分割结果得到的权重矩阵，与I大小相同，⊙表示对矩阵进行逐元素相乘。

(3)：对于不同通道的数据，在训练阶段，通过最小化加权欧式损失函数使WCAE-LSTM 网络学习得到原始数据与对应光流数据的时空编码特征，在测试阶段利用训练好的网络分别 估计原始数据与对应光流数据的编码重构结果，利用编码重构结果进行后续的异常行为检测。

进一步，所述步骤3)具体包括：

(1)：根据原始数据中某一帧的所有像素点处重构误差求和计算该帧处的重构误差，计 算公式如下：E_R(t)＝∑_(x,y)e_R(x,y,t)，其中eR(x,y,t)表示原始数据中第t帧在坐标(x,y)处的重 构误差，即e_R(x,y,t)＝||I_R(x,y,t)-R_R(x,y,t)||₂，其中I_R是原始数据的像素强度值，R_R是编码 重构结果的像素强度值。

(2)：计算第t帧原始数据的正则性得分S_R(t)，定义如下：其中T表示输入原始数据的总帧数。

(3)：根据(1)与(2)所示步骤计算光流数据的正则性得分S_OP(t)，融合原始数据及对 应光流的正则性得分，定义如下：其中α₁和 α₂是融合的权重。

进一步，所述步骤4)具体包括：

(1)：将原始数据的编码重构结果平均分成9×9的小块，计算每一小块的重构得分S_LR(t_m) (m＝1,2,…,81)。如果某一小块的重构得分小于给定阈值(阈值为(S_LR(t_m))-k×std(S_LR(t_m))，其 中k是经验参数)，则视该小块为异常块，计算所得异常小块的重构得分的平均值其 中n表示异常块的个数。

(2)：根据融合的全局异常值S_F(t)的大小判断其是否需要与进行融合，阈值可按 照经验值进行设定(假设为0.7)，如果需要进行再次融合，那么输入数据第t帧的异常得分 定义为其中α₁和α₂是融合的权重。

本发明的有益效果：

(1)通过构建一个双通道网络架构，将光流信息作为补充信息辅助原始数据完成异常检 测。将原始视频数据及其光流信息根据时间顺序依次输入到WCAE-LSTM网络，通过含三个 卷积层的编码器编码空间特征，将编码后的特征输入含三个卷积长短期记忆网络模块的STP 模块编码时空特征，通过含三个解卷积层的解码器将时空特征重构输出，根据重构误差检测 异常。

(2)考虑到背景噪声对人群异常检测的影响，对原始数据及其对应的光流信息进行前景 检测，采用分块鲁棒主成分分析分解将稀疏前景与低秩背景分离，并通过设计加权欧几里德 损失抑制背景噪声对网络的干扰，使网络关注感兴趣的移动行人的异常行为。

(3)由于一些异常事件多发生于小区域内，如果对整个帧进行检测容易忽略异常信息。 本发明联合考虑全局异常检测及局部异常定位和重建光流的结果，扩大异常事件的重构误差， 更精确地检测局部异常事件。

附图说明

图1是本发明基于加权卷积自编码长短期记忆网络进行人群异常检测的系统流程图。

图2是本发明中提出的WCAE-LSTM网络结构示意图。

图3是本发明在Avenue，Ped1和Ped2数据集上分块前景分割示意图。

图4是本发明在Avenue数据集局部异常定位示意图。

具体实施方式

下面将结合附图对本发明作进一步的说明，但本发明的保护范围并不限于此。

图1给出了基于加权卷积自编码长短期记忆网络进行人群异常检测的系统流程图：

本发明提出的人群异常检测方法，检测原始数据及其对应的光流信息中的前景信息，抑 制背景噪声干扰。通过建立一个WCAE-LSTM网络，以卷积自编码方式获取空间变化信息， 以三个卷积长短期记忆网络模块获取时域变化信息，对原始数据及其对应光流信息重构，基 于重构误差进行异常检测。此外，通过全局检测异常，局部定位异常，联合考虑全局局部分 析与光流重建的结果，实现对小区域异常事件的检测。

本发明的具体操作步骤：

(1)重构原始数据及其对应光流信息

首先将原始视频数据及其光流信息根据时间顺序依次输入到WCAE-LSTM网络，通过含 三个卷积层的编码器编码空间特征，然后将编码后的空间特征输入含三个卷积长短期记忆网 络模块的时空处理模块(sptiao-temporal processing module，STP)编码时空特征，最后通过 含三个解卷积层的解码器将STP时空特征重构输出。

图2给出了本发明中提出的WCAE-LSTM网络结构示意图：

其中，编码器，解码器和STP模块中每一层的参数(Conv为C，ConvLSTM为CL，Deconv为D)分别为核大小—跨步—池化参数，滤波器个数附于网络层后。

(2)前景分割

图3给出了本发明在Avenue，Ped1和Ped2数据集上分块前景分割示意图。

将输入帧分为不同的图像子块，采用分块鲁棒主成分分析分解将运动前景与静止背景分 离，分割过程如下：其中，D表示输入图像，L表示静止 的低秩背景，F表示运动的稀疏前景，||||*表示核范数，||||₁表示L1范数。映射矩阵P_i()用于 从全局图像中提取图像子块，惩罚参数λ_i表示第i个图像子块的运动显著性。

使用一种加权欧式损失函数突出移动的前景目标的时空变化，抑制背景噪声的影响。 输入数据与对应重构结果之间的损失定义如下：L＝||(E(I,O)-I)⊙W||₂，其中O是训练好 的网络参数，I是输入数据，E(I,O)是数据的输出重构数据(用R表示)，W是根据前景分割结果得到的权重矩阵，与I大小相同，⊙表示对矩阵进行逐元素相乘。

(3)联合考虑全局-局部分析和重建光流的结果，实现对异常事件的最终检测

首先根据原始数据中某一帧的所有像素点处重构误差求和计算该帧处的重构误差，计算 公式如下：E_R(t)＝∑_(x,y)e_R(x,y,t)，其中eR(x,y,t)表示原始数据中第t帧在坐标(x,y)处的重构 误差，即e_R(x,y,t)＝||I_R(x,y,t)-R_R(x,y,t)||₂，其中I_R是原始数据的像素强度值，R_R是编码重 构结果的像素强度值。

其次计算第t帧原始数据的正则性得分S_R(t)，定义如下：其中T表示输入原始数据的总帧数。

然后根据上述步骤步骤计算光流数据的正则性得分S_OP(t)，融合原始数据及对应光流的正 则性得分，定义如下：其中α₁和α₂是融合 的权重。

S_F(t)需要与局部异常定位的结果进行进一步融合。

图4给出了本发明在Avenue数据集局部异常定位示意图。

将原始数据的编码重构结果平均分成9×9的小块，计算每一小块的重构得分S_LR(t_m)(m＝1, 2,…,81)。如果某一小块的重构得分小于给定阈值(阈值为(S_LR(t_m))-k×std(S_LR(t_m))，其中k 是经验参数)，则视该小块为异常块，计算所得异常小块的重构得分的平均值其中n 表示异常块的个数。图中X轴表示图像子块的编号，Y轴表示每个图像子块的局部得分，得 分低于阈值的图像子块视为异常，以填充点表示，这些异常图像子块编号可用于定位异常块。

根据融合的全局异常值S_F(t)的大小判断其是否需要与进行融合，阈值可按照经验 值进行设定(假设为0.7)，如果需要进行再次融合，那么输入数据第t帧的异常得分定义为 其中α₁和α₂是融合的权重。

Claims (5)

1.一种加权卷积自编码长短期记忆网络(Weighted convolutional autoencoder-long short-term memory network,WCAE-LSTM)进行移动人群异常行为检测的方法，其特征在于：

1)：提出同时对原始数据及其对应光流信息进行行人特征编码，并根据双通道数据的编码重构结果进行异常检测的双通道框架。

2)：采用分块鲁棒主成分分析分解将运动前景与静止背景分离，设计加权欧几里德损失函数使WCAE-LSTM网络关注运动目标，抑制背景噪声的影响，并通过最小化加权欧几里德损失函数训练WCAE-LSTM网络，从而利用该网络估计不同通道数据的编码重构结果。

3)：根据原始数据及对应光流数据的编码重构结果计算不同通道的全局异常值，并通过加权融合方式得到融合的全局异常值。

4)：对原始数据的编码重构结果进行分块，计算子块的局部异常值，并通过阈值化处理检测异常子块，实现异常行为的粗略定位，综合考虑融合的全局异常值和子块的局部异常值，实现对异常行为的最终检测。

2.根据权利要求1所述的利用WCAE-LSTM网络进行移动人群异常行为检测的方法，其特征在于，所述步骤1)具体包括：

(1)：将原始视频数据及对应的光流数据根据时间顺序依次输入到WCAE-LSTM网络，通过含三个卷积层的编码器对输入的双通道数据进行编码，得到不同通道数据的空间变化特征。

(2)：将编码后的双通道数据的空间变化特征输入含三个卷积长短期记忆网络单元的时空处理模块(sptiao-temporal processing module，STP)，获取序列输入的双通道数据的时空变化特征。

(3)：将STP模块输出的双通道数据的时空变化特征送到含三个解卷积层的解码器，进行不同通道的数据重构。

3.根据权利要求1所述的利用WCAE-LSTM网络进行移动人群异常行为检测的方法，其特征在于，所述步骤2)具体包括：

(1)：对于输入的原始视频数据，采用分块鲁棒主成分分析分解将运动前景与静止背景分离，分割过程如下：其中，D表示输入图像，L表示静止的低秩背景，F表示运动的稀疏前景，||||_*表示核范数，||||₁表示L1范数。映射矩阵P_i()用于从全局图像中提取图像子块，惩罚参数λ_i表示第i个图像子块的运动显著性。

(2)：提出一种加权欧式损失函数，使WCAE-LSTM网络更加专注于学习移动前景目标的时空特征表示，抑制背景噪声对于网络学习能力的影响。加权欧式损失函数定义如下：L＝||(E(I,O)-I)⊙W||₂，其中O是训练好的网络参数，I是输入数据，E(I,O)是数据的输出重构数据(用R表示)，W是根据前景分割结果得到的权重矩阵，与I大小相同，⊙表示对矩阵进行逐元素相乘。

(3)：对于不同通道的数据，在训练阶段，通过最小化加权欧式损失函数使WCAE-LSTM网络学习得到原始数据与对应光流数据的时空编码特征，在测试阶段利用训练好的网络分别估计原始数据与对应光流数据的编码重构结果，利用编码重构结果进行后续的异常行为检测。

4.根据权利要求1所述的利用WCAE-LSTM网络进行移动人群异常行为检测的方法，其特征在于，所述步骤3具体包括：

(1)：根据原始数据中某一帧的所有像素点处重构误差求和计算该帧处的重构误差，计算公式如下：E_R(t)＝∑_(x,y)e_R(x,y,t)，其中e_R(x,y,t)表示原始数据中第t帧在坐标(x,y)处的重构误差，即e_R(x,y,t)＝||I_R(x,y,t)-R_R(x,y,t)||₂，其中I_R是原始数据的像素强度值，R_R是编码重构结果的像素强度值。

(2)：计算第t帧原始数据的正则性得分S_R(t)，定义如下：其中T表示输入原始数据的总帧数。

(3)：根据(1)与(2)所示步骤计算光流数据的正则性得分S_OP(t)，融合原始数据及对应光流的正则性得分，定义如下：其中α₁和α₂是融合的权重。

5.根据权利要求1所述的利用WCAE-LSTM网络进行移动人群异常行为检测的方法，其特征在于，所述步骤4具体包括：

(1)：将原始数据的编码重构结果平均分成9×9的小块，计算每一小块的重构得分S_LR(t_m)(m＝1,2,…,81)。如果某一小块的重构得分小于给定阈值(阈值为(S_LR(t_m))-k×std(S_LR(t_m))，其中k是经验参数)，则视该小块为异常块，计算所得异常小块的重构得分的平均值其中n表示异常块的个数。

(2)：根据融合的全局异常值S_F(t)的大小判断其是否需要与进行融合，阈值可按照经验值进行设定(假设为0.7)，如果需要进行再次融合，那么输入数据第t帧的异常得分定义为其中α₁和α₂是融合的权重。