CN111027482A - 基于运动向量分段分析的行为分析方法及装置 - Google Patents

Abstract

为了解决的现有技术中行为分析技术的问题，本公开提供了一种基于运动向量分段分析的行为分析方法和装置，降低运算量；基于运动向量分段分析的行为分析方法，包括：获取待识别视频；检测待检测视频中是否有人头；若待检测视频中有人头，则提取视频中的光流特征；对光流特征进行分段编码以获得分段特征数据；基于分段特征数据和预设的行为分类器获取行为分析结果。本公开的技术方案根据人头检测的结果确定是否执行行为分析，在未检测到人头时，不进行提取视频中的光流特征及其后续的步骤，保留运行能力以备需要时使用，减少了整体的运算量，便于技术方案在嵌入式设备上实施。

Description

基于运动向量分段分析的行为分析方法及装置

技术领域

本公开涉及一种行为分析方法及装置，尤其涉及一种基于运动向量分段分析的行为分析方法及装置。

背景技术

通过计算机视觉技术进行人体行为分析是视频智能分析中的一个重要领域,当前常用的技术典型包括使用光流方法,对图像相邻帧进行光流提取,然后特征编码,并送到分类器进行分类,判断是否有相应行为发生,其不足在于：该方法的实时运算量大，若要满足实时性，其对芯片的运算速度要求较高，而针对嵌入式设备等运行能力相对薄弱的设备，若采用该现有技术的方法，往往会因为运算能力不足而影响行为判断结果输出的及时性。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于运动向量分段分析的行为分析方法和装置，降低运算量。

本公开的一方面，基于运动向量分段分析的行为分析方法，包括：

获取待识别视频；

检测待检测视频中是否有人头；

若待检测视频中有人头，则提取视频中的光流特征；

对光流特征进行分段编码以获得分段特征数据；

基于分段特征数据和预设的行为分类器获取行为分析结果。

可选的，所述对光流特征进行分段编码以获得分段特征数据包括：

根据光流特征获取光流X方向增幅和光流Y方向增幅；

根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据。

可选的，所述根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据包括：

当光流X方向增幅和光流Y方向增幅均大于第一预设阈值且小于第二预设阈值时，将像素信息统计在1到8维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

当光流X方向增幅大于第二预设阈值或光流Y方向增幅大于第二预设阈值时，将像素信息统计在9到16维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

基于1到8维度的点个数和9到16维度的点个数得到分段特征数据；

其中所述第二预设阈值大于第一预设阈值。

可选的，基于1到8维度的点个数和9到16维度的点个数得到分段特征数据包括：

对1到8维度的点个数和9到16维度的点个数进行L1归一化并合并得到图像的空间特征；

基于预设数量的连续若干帧图像的空间特征形成当前帧图像的分段特征数据。

可选的，检测待检测视频中是否有人头包括：以预设的改进后的mobilenetv2-ssd卷积神经网络检测人头，若检测到人头，则通过SORT跟踪人头，在预设帧图片内均跟踪到人头，则判断待检测视频中有人头；其中改进后的mobilenetv2-ssd卷积神经网络为：将mobilenetv2第10个Bottleneck之后的卷积层裁剪掉，并将mobilenetv2的卷积通道数宽度调成0.5，然后在第10个Bottleneck之后接一个卷积层，作为第一个预测输出层，在此基础上再接一个卷积层网络，作为第二个预测输出层，然后再一个卷积层作为第三个预测输出层。

本发明的另一方面，基于运动向量分段分析的行为分析装置，包括：

获取模块，用于获取待识别视频；

检测模块，用于检测待检测视频中是否有人头；

光流特征提取模块，用于在待检测视频中包含人头时，提取视频中的光流特征；

分段特征数据模块，用于对光流特征进行分段编码以获得分段特征数据；

行为分析模块，用于基于分段特征数据和预设的行为分类器获取行为分析结果。

可选的，对光流特征进行分段编码以获得分段特征数据包括：

根据光流特征获取光流X方向增幅和光流Y方向增幅；

根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据。

可选的，所述根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据包括：

当光流X方向增幅和光流Y方向增幅均大于第一预设阈值且小于第二预设阈值时，将像素信息统计在1到8维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

当光流X方向增幅大于第二预设阈值或光流Y方向增幅大于第二预设阈值时，将像素信息统计在9到16维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

基于1到8维度的点个数和9到16维度的点个数得到分段特征数据。

本公开的技术方案中，通过预先检测待检测视频中是否包含人头，检测到待检测视频中包含人头后，再基于光流特征和行为分类器获取行为分析结果；由于人头检测的复杂度远低于行为分析检测的复杂度，根据人头检测的结果确定是否执行行为分析，在未检测到人头时，不进行提取视频中的光流特征及其后续的步骤，保留运行能力以备需要时使用，减少了整体的运算量。该方法运用到嵌入式设备后，可以降低嵌入式设备的芯片要求，进而降低成本。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本公开的示例性实施方式的方法流程图；

图2是本公开的示例性实施方式的系统流程图。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。

实施例1：

如图1所示，基于运动向量分段分析的行为分析方法，包括：

步骤S1:获取待识别视频；

步骤S2:检测待检测视频中是否有人头；

步骤S3:若待检测视频中有人头，则提取视频中的光流特征；

步骤S4:对光流特征进行分段编码以获得分段特征数据；

步骤S5:基于分段特征数据和预设的行为分类器获取行为分析结果。

本实施例的技术方案中，通过预先检测待检测视频中是否包含人头，检测到待检测视频中包含人头后，再基于光流特征和行为分类器获取行为分析结果；由于人头检测的复杂度远低于行为分析检测的复杂度，根据人头检测的结果确定是否执行行为分析，在未检测到人头时，不进行步骤S3中的提取视频中的光流特征的步骤和步骤S4，保留运行能力以备使用，减少了整体的运算量。该方法运用到嵌入式设备后，可以降低嵌入式设备的芯片要求，进而降低成本。

本实施例中，分段编码指的是根据设定的方式将光流特征其划分为预设数量的区间，并基于光流特征落入各区间的次数形成分段特征数据；行为分类器根据分段特征数据得到行为分析结果；由区间数量可以根据需要设置，如16等；又由于区间数量有限，故光流特征落入各区间的次数作为输入项、将行为分析结果作为输出项进行样本训练得到的行为分类器进行行为分析时，其速度要远快于纯粹根据光流特征(不进行转换)作为输入项的分类器。

可以知道的，行为分类器是根据包含分段特征数据及其行为的样本训练而成。

作为上述实施方式的可选方案，对光流特征进行分段编码以获得分段特征数据；包括：

根据光流特征获取光流X方向增幅和光流Y方向增幅；

根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据。

本实施例中，根据设定的方式将光流X方向增幅和光流Y方向增幅其划分为预设数量的区间，并将光流X方向增幅和光流Y方向增幅落入各区间的次数，作为行为分类器的输入项，得到行为分析结果。

作为上述实施方式的可选方案，根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据包括：

当光流X方向增幅和光流Y方向增幅均大于第一预设阈值且小于第二预设阈值时，将像素信息统计在1到8维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

当光流X方向增幅大于第二预设阈值或光流Y方向增幅大于第二预设阈值时，将像素信息统计在9到16维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

基于1到8维度的点个数和9到16维度的点个数得到分段特征数据包括；

其中第二预设阈值大于第一预设阈值。

作为上述实施方式的可选方案，基于1到8维度的点个数、9到16维度的点个数以及预设的行为分类器获取行为分析结果包括：

对1到8维度的点个数和9到16维度的点个数进行L1归一化并合并得到图像的空间特征；

基于预设数量的连续若干帧图像的空间特征形成当前帧图像的分段特征数据。

作为上述实施方式的可选方案，检测待检测视频中是否有人头包括：以预设的改进后的mobilenetv2-ssd卷积神经网络检测人头，若检测到人头，则通过SORT跟踪人头，在预设帧图片内均跟踪到人头，则判断待检测视频中有人头；其中改进后的mobilenetv2-ssd卷积神经网络为：将mobilenetv2第10个Bottleneck之后的卷积层裁剪掉，并将mobilenetv2的卷积通道数宽度调成0.5，然后在第10个Bottleneck之后接一个卷积层，作为第一个预测输出层，在此基础上再接一个卷积层网络，作为第二个预测输出层，然后再一个卷积层作为第三个预测输出层。

可以使用192*192的分辨率训练网络模型，整理约10000个顶视(摄像机垂直安装方式)人头数据样本作为训练。裁剪后的网络模型，转换为ncnn调用的模型，使用ncnn在嵌入式设备上加载和预测模型，并输出人头检测的结果。

如果在指定区域检测到人头，并进行跟踪，跟踪算法使用sort跟踪，sort跟踪算法原理描述为：1.对第一帧检测到的人头初始化并创建新的跟踪器，并分配id，后续进来的帧，需要先用卡尔曼滤波得到上一帧目标框产生的状态预测和协方差预测；2.求当前跟踪器所有目标状态预测与当前帧检测框的重叠度，通过匈牙利匹配算法得到重叠度最大的唯一匹配；3.用当前帧匹配到的目标检测框去更新卡尔曼增益和状态更新以及协方差更新，将状态更新后的值输出，作为当前帧跟踪的结果框，对于当前帧中没有匹配到的目标重新分配和初始化跟踪器。为了确认是否有人，设置阈值，在连续几帧检测跟踪到人头后才判断为有人头进入区域。

在确认有行人进入后，需要开始提取光流特征，并对特征进行编码，使用的光流方法是Farneback稠密光流，使用openCV开源函数calcOpticalFlowFarneback可以获取图像每个像素点的光流信息，为了节省计算资源，将图像缩放到180*100分辨率后再使用光流算法提取光流。在获取光流信息后，需要对光流进行编码。编码主要思想为：1.将编码划分17个维度进行统计运动矢量到底落在哪个区间，并采用运动矢量分段方式进行编码，为运动矢量设置两个阈值T1和T2，并且T1>T2。这样的方法主要是考虑到运动幅度在一定程度上反应了人行为异常的程度，同时可以减少噪声对结果产生的负面影响，使得效果更加鲁棒。具体编码方式为：首先确定编码的维度，在光流x方向幅值和y方向幅值均小于T1时，则将其此像素信息统计在0维度上，如果光流幅值(x方向或者y方向)大于T1并且小于T2，则在1-8个维度上统计，1到8维度的划分依据是将360度划分为8个区间，根据光流x方向的幅值和y方向的幅值进行比较编码，如果落在哪个区间，则此区间的点个数加1，同理如果x方向幅值或者y方向幅值大于T2，则在9-16维度上进行统计信息，9-16维度的划分主要依据是将360度划分为8个区间，也是根据光流x方向的幅值和y方向的幅值进行比较编码，如果落在哪个区间，则此区间的点个数加1。最终得到17个区间的每个区间点的总数，其中0维度是噪声，我们在训练时此维度丢弃。然后分别对1-8维和9-16维进行L1归一化，将1-8和9-16维信息合并得到当前帧的空间特征。2.行为分析一般需要考虑时间维度来描述运动目标的特征，具体地，就是结合当前帧之前的连续若干帧图像的运动矢量构成时空特征，经过大量实验验证，取连续帧视频20-30帧构建时空特征得到较好的结果。将空间特征与时间特征结合在一起，作为当前帧最终的特征。

上述描述的对特征编码具体方法描述为:360度划分为8个区间，根据光流x方向的幅值和y方向的幅值进行比较编码，如果落在哪个区间，则此区间的点个数加1.具体地,我们对每个光流矢量都执行同样的操作,首先根据光流的方向进行编码,约定矢量方向的x方向从左到右为正方向,矢量方向的y方向从上往下为正方向,约定光流矢量的x方向为正,则该光流矢量x方向的编码结果记录为Tx＝1,否则Tx＝0；约定光流矢量的y方向为正,则该光流矢量y方向编码结果记录为Ty＝1,否则Ty＝0.然后我们对光流矢量的幅值部分进行编码,记该光流矢量x方向的幅值大小为Gx,该光流矢量y方向的幅值大小为Gy,则我们记幅值编码结果F为:如果Gx>Gy,F＝1,否则F＝0；根据编码公式计算:M＝4*Ty+2*Tx+F+1得到当前的光流矢量落在哪个区间,即M等于几就落在第几个区间。

将得到的特征使用机器学习分类器进行训练得到模型用于预测，使用的机器学习分类方法是：SVM支持向量机，SVM核函数类型使用RFB函数，通过使用网格搜索方法寻找最优参数C和gamma，得到最优模型用于行为分析分类。

实施例2：

如图2所示，基于运动向量分段分析的行为分析装置，包括：

获取模块1，用于获取待识别视频；

检测模块2，用于检测待检测视频中是否有人头；

光流特征提取模块3，用于在待检测视频中包含人头时，提取视频中的光流特征；

分段特征数据模块4，用于对光流特征进行分段编码以获得分段特征数据；；

行为分析模块5，用于基于分段特征数据和预设的行为分类器获取行为分析结果。

作为上述实施方式的可选方案，对光流特征进行分段编码以获得分段特征数据；包括：

根据光流特征获取光流X方向增幅和光流Y方向增幅；

根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据。

作为上述实施方式的可选方案，根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据包括：

当光流X方向增幅和光流Y方向增幅均大于第一预设阈值且小于第二预设阈值时，将像素信息统计在1到8维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

当光流X方向增幅大于第二预设阈值或光流Y方向增幅大于第二预设阈值时，将像素信息统计在9到16维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

基于1到8维度的点个数和9到16维度的点个数得到分段特征数据。

作为上述实施方式的可选方案，基于1到8维度的点个数和9到16维度的点个数得到分段特征数据包括：

对1到8维度的点个数和9到16维度的点个数进行L1归一化并合并得到图像的空间特征；

基于预设数量的连续若干帧图像的空间特征形成当前帧图像的分段特征数据。

作为上述实施方式的可选方案，检测待检测视频中是否有人头包括：以预设的改进后的mobilenetv2-ssd卷积神经网络检测人头，若检测到人头，则通过SORT跟踪人头，在预设帧图片内均跟踪到人头，则判断待检测视频中有人头；其中改进后的mobilenetv2-ssd卷积神经网络为：将mobilenetv2第10个Bottleneck之后的卷积层裁剪掉，并将mobilenetv2的卷积通道数宽度调成0.5，然后在第10个Bottleneck之后接一个卷积层，作为第一个预测输出层，在此基础上再接一个卷积层网络，作为第二个预测输出层，然后再一个卷积层作为第三个预测输出层。

本实施例的技术方案的原理和效果与实施例1中的一致，本实施例不再重复描述。

在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (8)

1.基于运动向量分段分析的行为分析方法，其特征在于，包括：

获取待识别视频；

检测待检测视频中是否有人头；

若待检测视频中有人头，则提取视频中的光流特征；

对光流特征进行分段编码以获得分段特征数据；

基于分段特征数据和预设的行为分类器获取行为分析结果。

2.如权利要求1所述的方法，其特征在于，所述对光流特征进行分段编码以获得分段特征数据包括：

根据光流特征获取光流X方向增幅和光流Y方向增幅；

根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据。

3.如权利要求2所述的方法，其特征在于，所述根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据包括：

当光流X方向增幅和光流Y方向增幅均大于第一预设阈值且小于第二预设阈值时，将像素信息统计在1到8维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

当光流X方向增幅大于第二预设阈值或光流Y方向增幅大于第二预设阈值时，将像素信息统计在9到16维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

基于1到8维度的点个数和9到16维度的点个数得到分段特征数据；

其中所述第二预设阈值大于第一预设阈值。

4.如权利要求1所述的方法，其特征在于，基于1到8维度的点个数和9到16维度的点个数得到分段特征数据包括：

对1到8维度的点个数和9到16维度的点个数进行L1归一化并合并得到图像的空间特征；

基于预设数量的连续若干帧图像的空间特征形成当前帧图像的分段特征数据。

5.如权利要求1所述的方法，其特征在于，检测待检测视频中是否有人头包括：以预设的改进后的mobilenetv2-ssd卷积神经网络检测人头，若检测到人头，则通过SORT跟踪人头，在预设帧图片内均跟踪到人头，则判断待检测视频中有人头；其中改进后的mobilenetv2-ssd卷积神经网络为：将mobilenetv2第10个Bottleneck之后的卷积层裁剪掉，并将mobilenetv2的卷积通道数宽度调成0.5，然后在第10个Bottleneck之后接一个卷积层，作为第一个预测输出层，在此基础上再接一个卷积层网络，作为第二个预测输出层，然后再一个卷积层作为第三个预测输出层。

6.基于运动向量分段分析的行为分析装置，其特征在于，包括：

获取模块，用于获取待识别视频；

检测模块，用于检测待检测视频中是否有人头；

光流特征提取模块，用于在待检测视频中包含人头时，提取视频中的光流特征；

分段特征数据模块，用于对光流特征进行分段编码以获得分段特征数据；

行为分析模块，用于基于分段特征数据和预设的行为分类器获取行为分析结果。

7.如权利要求1所述的装置，其特征在于，对光流特征进行分段编码以获得分段特征数据包括：

根据光流特征获取光流X方向增幅和光流Y方向增幅；

根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据。

8.如权利要求1所述的装置，其特征在于，所述根据光流X方向增幅和光流Y方向增幅进行分段编码以得到分段特征数据包括：

当光流X方向增幅和光流Y方向增幅均大于第一预设阈值且小于第二预设阈值时，将像素信息统计在1到8维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

当光流X方向增幅大于第二预设阈值或光流Y方向增幅大于第二预设阈值时，将像素信息统计在9到16维度上；根据光流X方向增幅和光流Y方向增幅判断落入哪个维度，并将所落入的维度的点个数加1；

基于1到8维度的点个数和9到16维度的点个数得到分段特征数据。

Images