CN111738218B - 人体异常行为识别系统及方法 - Google Patents

Abstract

本发明公开了一种人体异常行为识别系统及方法，属于智能监控领域。本发明包括：收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度；抽取收集的异常行为的时间序列视频片段中的多帧图像，构造空域蒙版；利用空域蒙版、收集的异常行为的时间序列视频片段及对应的标签数据，训练并得到稳定的行为识别网络模型；利用输入的视频构造实时空域蒙版，并将实时空域蒙版及输入视频中对应的视频片段一并输入到模型中，由该模型输出对该视频片段的判断结果。本发明可实时处理监控系统下的人体异常行为检查，可在异常行为刚刚发生时进行及时预警，且对于监控系统中的较小目标依然能够有很好的异常行为检测。

Description

人体异常行为识别系统及方法

技术领域

本发明涉及智能监控领域，尤其涉及一种人体异常行为识别系统及方法。

背景技术

摄像机等监控设备成本的日益降低，视频监控系统已经广泛地应用于各种公共场所及军事基地等，在公共安全领域起着重要的作用。但是，现有的监控系统功能大多停留在监控人员对视频信号的人工监控和事后录像分析，或者只是简单对场景中的运动目标进行检查或跟踪，而实际公共场所的监控系统的布设更重要的目的就是能够实时的对场景中的异常事件或者人体异常行为检查和分析。随着计算机视觉的快速发展，基于计算机视觉的智能监控系统的能够实时的对监控场景进行理解和判断，可以及时的发现视频场景中的异常行为，准确的向安保人员发送报警信息，避免犯罪或者危险行为的发生，同时可以节省大量的视频存储空间，避免在异常行为发生后工作人员在海量的视频中查找和取证。

传统的视频分类和检测方法一般采用手工选取的特征描述子表示视频内容，再采用分类器进行分类完成对视频的分类和检测。常用的特征描述方法有尺度不变特征变换（scale-invariant feature transform，SIFT)描述子、光流直方图（histogram oforiented optical flow，H0F)等，采用此类特征描述方法提取视频的静态信息和运动信息，再使用词袋模型进行特征编码，最终将特征编码送入分类器中进行视频分类和检测，常用的分类器如支持向量机(support vector machine，SVM)。IDT (improved densetrajectories)算法可以算是传统方法中的典此代表，该方法是由Wang等人在2013年提出，发表于ICCV会议中，文献名为“Action Recognition with Improved Trajectories”。该算法在多尺度空间上对视频帧密集采样特征点、跟踪特征点并提取轨迹、HOF等四种特征，同时通过估计相机的运动消除背景干扰轨迹和光流，之后采用Fisher向量对四种特征进行特征编码得到IDT特征。IDT算法在传统视频分类方法中取得了较好的效果，并具有很好的鲁棒性，不过算法速度较慢，同时手工特征难以表达视频内容的高层语义信息，在大规模视频数据和大量语义类别场景下的视频分类中表现出一定的局限性。

相比于传统方法，深度学习的方法能够具有很强的特征学习能力，通过网络模型学习得到的特征也能够更好的表达视频的高层语义信息。随着深度学习技术在图像分类、目标识别等领域取得的突破性进展，近年来也有相关研究将深度学习技术应用于视频分类研究中，用深度网络学习视频中的静态特征和运动特征进行分类、检测。经典代表有2014年Simonyan等人提出的基于two-stream结构的CNN(convolutional neural network，CNN)网络结构，文献名文献“Two-Stream Convolutional Networks for Action Recognition inVideos”，该方法用两个卷积神经网络 (convolutional neural network，CNN)分别从视频帧和光流中建模视频内容的静态信息和运动信息，最后进行信息融合，完成视频分类、检测。该方法在视频分类、检测中取得了较好，但由于此方法依赖于光流信息，光流信息的计算量过大，难以满足实时监控的需求。

发明内容

本发明的目的是提供一种人体异常行为识别系统及方法，可实时处理监控系统下的人体异常行为检查，可在异常行为刚刚发生时进行及时预警，且对于监控系统中的较小目标依然能够有很好的异常行为检测。

本发明解决其技术问题，采用的技术方案是：人体异常行为识别系统，包括异常行为视频片段收集模块、空域注意力学习模块及行为识别网络模型；

所述异常行为视频片段收集模块，用于收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度，并输入至行为识别网络模型；

所述空域注意力学习模块，用于在所述行为识别网络模型训练时，抽取收集的异常行为的时间序列视频片段中的多帧图像，并输入至所述空域注意力学习模块，空域注意力学习模块利用输入视频的多帧图像构造空域蒙版，并将其输入至行为识别网络模型中相应尺寸的特征层中；

所述行为识别网络模型，用于当接收到输入的异常行为的时间序列视频片段时，通过卷积操作输出特征图至所述相应尺寸的特征层中，将空域蒙版与该尺寸的特征层进行点乘操作，形成新的特征层，并将新的特征层进行分类，结合与输入的异常行为的时间序列视频片段对应的标签数据计算对应的损失函数，同时将损失函数进行反向传播，对行为识别网络模型进行优化，经过多次的训练后，最终得到稳定的行为识别网络模型；

当有视频输入时，通过所述稳定的行为识别网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将其输入至所述稳定的行为识别网络模型中，同时按照与训练方式相同的抽帧方式进行抽帧，将抽取的帧输入至空域注意力学习模块中构造实时空域蒙版，将实时空域蒙版一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

进一步的是，所述异常行为视频片段为打架视频片段和/或老人摔倒视频片段；所述行为识别模型为TSN网络模型或ECO网络模型；所述损失函数为softmax损失函数。

进一步的是，通过跳帧的方式抽取收集的异常行为的时间序列视频片段中的多帧图像。

进一步的是，构造空域蒙版的方法为：将多帧视频进行分块均值差分，将差分得到的结果取绝对值作为该块区域的权重信息，由此可以作为空域注意力学习机制，构造出空域蒙版。

进一步的是，预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值，当有视频输入时，将输入视频对应的视频片段及实时空域蒙版一并输入至所述稳定的行为识别网络模型中，通损失函数计算该视频片段对应的标签数据的分数值；

当计算得到的分数值在所述预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值范围内时，则判定输入的视频为正常行为，否则判定输入的视频为异常行为。

本发明还提出一种人体异常行为识别方法，应用于所述的人体异常行为识别系统，包括如下步骤：

步骤1、收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度；

步骤2、抽取收集的异常行为的时间序列视频片段中的多帧图像，利用多帧图像构造空域蒙版；

步骤3、利用所述空域蒙版、收集的异常行为的时间序列视频片段及对应的标签数据，训练行为识别网络模型，得到稳定的行为识别网络模型；

步骤4、利用输入的视频构造实时空域蒙版，并将实时空域蒙版及输入视频中对应的视频片段一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

进一步的是，步骤3中，在训练所述行为识别网络模型时，将构造出的空域蒙版输入至行为识别网络模型中相应尺寸的特征层中。

进一步的是，步骤3中，当行为识别网络模型接收到输入的异常行为的时间序列视频片段时，通过卷积操作输出特征图至所述相应尺寸的特征层中，并将空域蒙版与该尺寸的特征层进行点乘操作，形成新的特征层，并将新的特征层进行分类，结合与输入的异常行为的时间序列视频片段对应的标签数据计算对应的损失函数，同时将损失函数进行反向传播，对行为识别网络模型进行优化，经过多次的训练后，最终得到稳定的行为识别网络模型。

进一步的是，步骤4具体为：当有视频输入时，通过所述稳定的行为识别网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将其输入至所述稳定的行为识别网络模型中，同时按照与训练方式相同的抽帧方式进行抽帧，将抽取的帧输入至空域注意力学习模块中构造实时空域蒙版，将实时空域蒙版一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

进一步的是，步骤4中，预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值，当有视频输入时，将输入视频对应的视频片段及实时空域蒙版一并输入至所述稳定的行为识别网络模型中，通损失函数计算该视频片段对应的标签数据的分数值；

当计算得到的分数值在所述预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值范围内时，则判定输入的视频为正常行为，否则判定输入的视频为异常行为。

本发明的有益效果是，通过上述人体异常行为识别系统及方法，利用监控系统中背景在短时间里极少变化的特性，构造空域注意力学习机制，该注意力机制只是采用简单的分块、求均值、差分的方法实现，引入的额外计算量小，能够满足实际应用场景中的实时性要求；并且，空域注意力学习机制方法不受人体在视频中大小的影响，能够很好的捕获较小目标人体行为，即时对于小目标人体行为也有较好的检测结果；另外，将空域注意力学习机制与时序信息的结合能够很好的识别人体异常行为。

附图说明

图1为本发明实施例1中构造空域蒙版的流程示意图；

图2为本发明实施例1中输出检测结果的整体流程示意图；

图3为本发明实施例2中人体异常行为识别方法的流程图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

实施例1

本实施例提出一种人体异常行为识别系统，包括异常行为视频片段收集模块、空域注意力学习模块及行为识别网络模型，其中：

异常行为视频片段收集模块，用于收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度，并输入至行为识别网络模型；空域注意力学习模块，用于在行为识别网络模型训练时，抽取收集的异常行为的时间序列视频片段中的多帧图像，并输入至空域注意力学习模块，空域注意力学习模块利用输入视频的多帧图像构造空域蒙版，并将其输入至行为识别网络模型中相应尺寸的特征层中；行为识别网络模型，用于当接收到输入的异常行为的时间序列视频片段时，通过卷积操作输出特征图至相应尺寸的特征层中，将空域蒙版与该尺寸的特征层进行点乘操作，形成新的特征层，并将新的特征层进行分类，结合与输入的异常行为的时间序列视频片段对应的标签数据计算对应的损失函数，同时将损失函数进行反向传播，对行为识别网络模型进行优化，经过多次的训练后，最终得到稳定的行为识别网络模型。

当有视频输入时，通过稳定的行为识别网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将其输入至稳定的行为识别网络模型中，同时按照与训练方式相同的抽帧方式进行抽帧，将抽取的帧输入至空域注意力学习模块中构造实时空域蒙版，将实时空域蒙版一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

上述系统中，一般情况下，异常行为视频片段可以为打架视频片段和/或老人摔倒视频片段等，为了实现行为识别功能，行为识别模型优选为TSN网络模型或ECO网络模型等。

另外，为了快速、有效抽取多帧图像，优选通过跳帧的方式抽取收集的异常行为的时间序列视频片段中的多帧图像。

为了便于对稳定的行为识别网络模型输出的数据进行高效处理，损失函数优选为softmax损失函数。

需要指出的是，构造空域蒙版的方法优选为：将多帧视频进行分块均值差分，将差分得到的结果取绝对值作为该块区域的权重信息，由此可以作为空域注意力学习机制，构造出空域蒙版。

在构造空域蒙版时，其流程示意图见图1，在图1中，抽取第1帧图像与第4帧图像，首先将图像由彩色图像转为灰度图并进行分块，如图所示分割成3X4的矩形块，分别计算第1帧图像与第4帧图像各个分块的图像均值；将对应分块的均值进行差分运算，并将差分后的结果取绝对值作为每一个分块的权重，如图所示的第1帧图像与第4帧图像经过空域注意力学习模块后最终能够得到一个3X4的蒙版矩阵，该蒙版能够凸显图像中的运动目标以及该目标所在的位置区域。

本发明提出的空域注意力学习机制与时序信息的结合采用如下定义实现，其输出检测结果的整体流程示意图见图2，其中，将蒙版与特征在同一尺度下进行点乘作为新的特征，应用于深度学习网络中，最终输出视频的检测结果。

并且，本发明中还可以预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值，当有视频输入时，将输入视频对应的视频片段及实时空域蒙版一并输入至稳定的行为识别网络模型中，通损失函数计算该视频片段对应的标签数据的分数值；

当计算得到的分数值在预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值范围内时，则判定输入的视频为正常行为，否则判定输入的视频为异常行为。

因此，通过本发明提出的上述人体异常行为识别系统，一方面利用监控系统在较长时间内背景的极少变化特殊性构造注意力蒙版，利用蒙版信息凸显视频帧中不同区域的重要性，强调视频帧内起到决定性作用的区域（人/动作），以此作为空域注意力学习机制学习空域显著性，图像人体及人体动作。

另一方面将空域注意力学习机制作用于每一帧视频图像中，凸显人体动作的时序性。本发明提出空域注意力学习机制并将其与时序信息相结合，提高了人体异常行为的检测能力。

实施例2

本实施例提出一种人体异常行为识别方法，应用于上述实施例1的人体异常行为识别系统，其流程图见图3，其中，该方法包括如下步骤：

步骤1、收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度。

步骤2、抽取收集的异常行为的时间序列视频片段中的多帧图像，利用多帧图像构造空域蒙版。

步骤3、利用空域蒙版、收集的异常行为的时间序列视频片段及对应的标签数据，训练行为识别网络模型，得到稳定的行为识别网络模型。

步骤4、利用输入的视频构造实时空域蒙版，并将实时空域蒙版及输入视频中对应的视频片段一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

上述方法中，步骤3中，在训练行为识别网络模型时，将构造出的空域蒙版输入至行为识别网络模型中相应尺寸的特征层中。当行为识别网络模型接收到输入的异常行为的时间序列视频片段时，通过卷积操作输出特征图至相应尺寸的特征层中，并将空域蒙版与该尺寸的特征层进行点乘操作，形成新的特征层，并将新的特征层进行分类，结合与输入的异常行为的时间序列视频片段对应的标签数据计算对应的损失函数，同时将损失函数进行反向传播，对行为识别网络模型进行优化，经过多次的训练后，最终得到稳定的行为识别网络模型。

需要指出的是，步骤4具体可以为：当有视频输入时，通过稳定的行为识别网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将其输入至稳定的行为识别网络模型中，同时按照与训练方式相同的抽帧方式进行抽帧，将抽取的帧输入至空域注意力学习模块中构造实时空域蒙版，将实时空域蒙版一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

同样的，步骤4中，还可预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值，当有视频输入时，将输入视频对应的视频片段及实时空域蒙版一并输入至稳定的行为识别网络模型中，通损失函数计算该视频片段对应的标签数据的分数值；

当计算得到的分数值在预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值范围内时，则判定输入的视频为正常行为，否则判定输入的视频为异常行为。

Claims (10)

1.人体异常行为识别系统，其特征在于，包括异常行为视频片段收集模块、空域注意力学习模块及行为识别网络模型；

所述异常行为视频片段收集模块，用于收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度，并输入至行为识别网络模型；

所述空域注意力学习模块，用于在所述行为识别网络模型训练时，抽取收集的异常行为的时间序列视频片段中的多帧图像，并输入至所述空域注意力学习模块，空域注意力学习模块利用输入视频的多帧图像构造空域蒙版，并将其输入至行为识别网络模型中相应尺寸的特征层中，该蒙版能够凸显图像中的运动目标以及该目标所在的位置区域；

所述行为识别网络模型，用于当接收到输入的异常行为的时间序列视频片段时，通过卷积操作输出特征图至所述相应尺寸的特征层中，将空域蒙版与该尺寸的特征层进行点乘操作，形成新的特征层，并将新的特征层进行分类，结合与输入的异常行为的时间序列视频片段对应的标签数据计算对应的损失函数，同时将损失函数进行反向传播，对行为识别网络模型进行优化，经过多次的训练后，最终得到稳定的行为识别网络模型；

当有视频输入时，通过所述稳定的行为识别网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将其输入至所述稳定的行为识别网络模型中，同时按照与训练方式相同的抽帧方式进行抽帧，将抽取的帧输入至空域注意力学习模块中构造实时空域蒙版，将实时空域蒙版一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

2.根据权利要求1所述的人体异常行为识别系统，其特征在于，所述异常行为视频片段为打架视频片段和/或老人摔倒视频片段；

所述行为识别模型为TSN网络模型或ECO网络模型；

所述损失函数为softmax损失函数。

3.根据权利要求1所述的人体异常行为识别系统，其特征在于，通过跳帧的方式抽取收集的异常行为的时间序列视频片段中的多帧图像。

4.根据权利要求1所述的人体异常行为识别系统，其特征在于，构造空域蒙版的方法为：将多帧视频进行分块均值差分，将差分得到的结果取绝对值作为该块区域的权重信息，由此可以作为空域注意力学习机制，构造出空域蒙版。

5.根据权利要求1-4任意一项所述的人体异常行为识别系统，其特征在于，预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值，当有视频输入时，将输入视频对应的视频片段及实时空域蒙版一并输入至所述稳定的行为识别网络模型中，通损失函数计算该视频片段对应的标签数据的分数值；

当计算得到的分数值在所述预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值范围内时，则判定输入的视频为正常行为，否则判定输入的视频为异常行为。

6.人体异常行为识别方法，应用于权利要求1-5任意一项所述的人体异常行为识别系统，其特征在于，包括如下步骤：

步骤1、收集异常行为的时间序列视频片段并做好对应的标签数据，并将其切分为行为识别网络模型所需要的视频长度；

步骤2、抽取收集的异常行为的时间序列视频片段中的多帧图像，利用多帧图像构造空域蒙版；

步骤3、利用所述空域蒙版、收集的异常行为的时间序列视频片段及对应的标签数据，训练行为识别网络模型，得到稳定的行为识别网络模型；

步骤4、利用输入的视频构造实时空域蒙版，并将实时空域蒙版及输入视频中对应的视频片段一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

7.根据权利要求6所述的人体异常行为识别方法，其特征在于，步骤3中，在训练所述行为识别网络模型时，将构造出的空域蒙版输入至行为识别网络模型中相应尺寸的特征层中。

8.根据权利要求7所述的人体异常行为识别方法，其特征在于，步骤3中，当行为识别网络模型接收到输入的异常行为的时间序列视频片段时，通过卷积操作输出特征图至所述相应尺寸的特征层中，并将空域蒙版与该尺寸的特征层进行点乘操作，形成新的特征层，并将新的特征层进行分类，结合与输入的异常行为的时间序列视频片段对应的标签数据计算对应的损失函数，同时将损失函数进行反向传播，对行为识别网络模型进行优化，经过多次的训练后，最终得到稳定的行为识别网络模型。

9.根据权利要求6所述的人体异常行为识别方法，其特征在于，步骤4具体为：当有视频输入时，通过所述稳定的行为识别网络模型读取输入视频的视频流数据，将视频流数据按照所需要的帧数组织成视频片段，并将其输入至所述稳定的行为识别网络模型中，同时按照与训练方式相同的抽帧方式进行抽帧，将抽取的帧输入至空域注意力学习模块中构造实时空域蒙版，将实时空域蒙版一并输入到稳定的行为识别网络模型中，由该稳定的行为识别网络模型输出对该视频片段的判断结果。

10.根据权利要求9所述的人体异常行为识别方法，其特征在于，步骤4中，预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值，当有视频输入时，将输入视频对应的视频片段及实时空域蒙版一并输入至所述稳定的行为识别网络模型中，通损失函数计算该视频片段对应的标签数据的分数值；

当计算得到的分数值在所述预先设定异常行为的时间序列视频片段对应的标签数据的分数值阈值范围内时，则判定输入的视频为正常行为，否则判定输入的视频为异常行为。

Images