CN109711344A - 一种前端智能化的特定异常行为检测方法 - Google Patents

Abstract

本发明公开了一种前端智能化的特定异常行为检测方法，该方法中对采集到的视频图像分别对连续两帧中行人的位置信息进行对比得到每个行人在视频中的时空运动轨迹，该方法分别从表观特征和运动特征中判断视频图像中是否有暴力行为，其中通过前端智能化降低了大规模监控视频流入带来的带宽不足的问题，并且降低了后端处理多路视频的运算压力。该方法有效地检测了视频监控中几种常见的异常行为，降低了人工检索的低效性。同时该方法中还提供了有效且具有较低运算量的入侵，徘徊，逗留，打架的检索算法。

Description

一种前端智能化的特定异常行为检测方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种前端智能化的特定异常行为检测方法。

背景技术

从目前的智能监控领域分析大多数智能化的监控系统在后端进行图像数据的处理，这样做的原因是一方面是后端系统采用非嵌入式系统，可以运行更多的智能化算法，另一方面后端的硬件系统可以根据运算需求采用性能更好的硬件设备，但是该方式仍然存在一定的问题，例如由于所有的图像信息都要传送到后端，对网络带宽的要求较高，在前置摄像头个数较多的情况下，后端的运算负荷较重，因此在视频监控领域技术人员希望将摄像头智能化处理，摄像头可以图像的特征提取、异常判断等等，这样可以降低大规模监控视频流入带来的带宽不足的问题，并且可以减少后端进行实时编解码以及由于智能化带来的运算压力。

目前现有技术中的视频监控领域的异常行为识别一般包含以下几种，入侵检测、逗留检测、徘徊检测、越界检测和暴力检测等。检测方法一般是基于静态差分和动态差分方法检测到运动物体，然后再进行异常行为的判断。目前学界关于异常动作检测大多依靠深度学习中的动作识别方法，而基于标准数据集UCF101和HMDB51的深度网络方法检测对象具有单一重复性的特点，例如，骑自行车，荡秋千，游泳。视频中往往只有单个个体并且动作比较单一，而真实视频监控场景下的异常动作则不具有重复性，例如，打架(相同的动作很难执行两遍)等，此外，无论是动作识别的深度学习方法还是传统特征方法，一般都离不开光流的计算，而光流消耗了大量的计算量，实际监控中很难实时性计算，尤其在多路视频同时流入后端的情况。

发明内容

根据现有技术存在的问题，本发明公开了一种前端智能化的特定异常行为检测方法，具体包括以下步骤：S1:提取每一帧图像中行人的位置信息，其中行人的位置信息包括行人的中心点位置、长度和宽度信息；

S2：分别对连续两帧中行人的位置信息进行对比得到每个行人在视频中的时空运动轨迹：采用度量函数获取前后帧图像中每个行人之间的相似性数值，选择相似性数值小于设定阈值的结果，使用匈牙利算法对前面小于阈值的结果进行匹配、得到前后两帧行人与行人之间唯一的匹配结果，在连续的视频帧中重复上述过程得到每一个行人的时空运动轨迹；

S3：通过行人的时空运动轨迹判断视频中行人的状态信息，其中该状态包括行人逗留、徘徊和正常行走：对时空运动轨迹进行稀疏采样得到稀疏时空运动轨迹，由稀疏时空运动轨迹和稀疏采样间隔形成同等维度的特征向量，通过特征向量训练一个SVM判别模型进行逗留、徘徊、正常三种状态的判断；

S4：分别从表观特征和运动特征中判断视频图像中是否有暴力行为。

进一步的，S4具体采用如下方式：

S41：根据行人识别算法得到行人检测框，计算监控画面中不同行人是否具有交叠区域，如果存在交叠区域则进行如下暴力检测；

S42：抽取触发暴力检测的帧前面的n帧图像和等待监控中的n帧图像构成帧长度为2n的视频片段，在该视频片段中进行稀疏采样出b帧，其中稀疏采样间隔为k；

S43:分别从表观特征和运动特征中判断是否属于暴力行为；

其中从表观特征中判断是否属于暴力行为采用如下方式：

Step3_1：获取待测视频帧中每一帧的局部区域，将局部区域定义为掩膜图像，将行人之间安全距离小于设定阈值的掩膜图像合并；

Step3_2：将原始的彩色图像转换变成灰度图像，在所有的运动区域中求取梯度直方图特征；

Step3_3:通过稀疏采样进行尺度归一化，将梯度直方图特征输入至SVM判别模型中得到单幅图像的暴力判别结果；

Step3_4:表观图像视频级别的融合：所有帧图像的判别结果为暴力的比例大于比例阈值则判断在视频级别的表观图像特征上属于暴力行为；

从运动特征中判断是否属于暴力行为具体采用如下方式：

Step4_1：生成待测视频帧的时空运动轨迹，采用时空运动轨迹将待测视频帧中的每个行人进行连接、生成新待测视频帧的时空运动轨迹；

Step4_2：从视频帧中选取行人的位置信息得到局部运动区域、生成新局部运动区域子图，根据时空运动轨迹将行人前后对应的子图扩展到相同尺寸：对比两张子图、将长、宽高信息作为标定尺寸，然后将两张图扩展至标定尺寸，扩展部分通过零像素填充，最后将相同尺寸的子图进行绝对值差分；

Step4_3：将step4_2中生成的每一个行人的子图进行二值化，使图像突出图像中人体姿态变化的区域，将通过膨胀腐蚀操作进一步融合的运动区域。

Step4_4:选择step4_3中所有的子图中并计算获取HOG特征，对所有子图的HOG特征进行稀疏采样获取相同维度的特征维度，再通过SVM分类器得到该运动图像的分类得分值；

Step4_5:运动图像视频级别的融合：所有帧图像的判别结果为暴力的比例大于比例阈值则判断在视频级别的运动图像中属于暴力行为。

进一步的，所述行人在视频中的时空运动轨迹采用如下方式获得：：

f(Pc)函数由两部分组成、分别用于表征运动信息和空间状态信息，第一部分是其中欧式距离用于度量位移，v作为方向因子、表征人体的运动惯性。

由于采用了上述技术方案，本发明提供的一种前端智能化的特定异常行为检测方法，该方法中对采集到的视频图像分别对连续两帧中行人的位置信息进行对比得到每个行人在视频中的时空运动轨迹，该方法分别从表观特征和运动特征中判断视频图像中是否有暴力行为，其中通过前端智能化降低了大规模监控视频流入带来的带宽不足的问题，并且降低了后端处理多路视频的运算压力。该方法有效地检测了视频监控中几种常见的异常行为，降低了人工检索的低效性。同时该方法中还提供了有效且具有较低运算量的入侵，徘徊，逗留，打架的检索算法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程图。

图2为本发明中图像中行人存在交叠区域的示意图；

图3为本发明中单帧表观图像判断暴力行为的流程图；

图4为本发明中一种新的局部对应差分方式示意图；

图5为本发明中暴力行为检测整体流程图；

图6为本发明中匈牙利算法的匹配方式示意图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1-图6所示的一种前端智能化的特定异常行为检测方法，具体包括以下步骤：

S1：使用Single Shot MultiBox(SSD)网络提取每一帧图像中行人的位置信息，每一个行人的位置信息包含两个坐标即中心点位置和长宽信息，该过程使用英伟达的TensorRT对该网络进行加速。

S2：分别对连续两帧中行人的位置信息进行比对，得到每一个个体在视频中的时空运动轨迹。具体采用如下操作：通过构造一个用于表示连续两帧中每一个个体两两之间是否相似的度量函数，得到一个表示相似性大小的数值，选择小于某个阈值的数值、以及最小的数值，通过匈牙利算法进行匹配，得到两帧之间每一个个体最优匹配结果。重复上述操作，得到每一个行人的时空运动轨迹。

S3：通过行人的时空运动轨迹判断视频中行人的状态信息，包括逗留，徘徊，正常。该过程具体采用如下操作：对时空运动轨迹进行稀疏采样，得到更为稀疏的时空运动轨迹；生成特征序列：由稀疏的时空运动轨迹和稀疏采样间隔形成同等维度的特征向量。这里的时空运动轨迹只需要保留中心点的位置，可以舍弃空间中的宽高信息。因此，生成的特征向量维度是两倍的采样个数加上采样间隔。通过特征向量，训练一个SVM的判别模型进行逗留、徘徊、正常三种状态的判断。

S4：分别从表观特征和运动特征中判断视频图像中是否有暴力行为。具体采用如下步骤：

Step1：判断当前帧是否触发暴力检测。根据行人识别算法得到的行人检测框，计算监控画面中不同行人是否具有交叠区域，如果存在交叠区域，则进行接下来的检测。如图2所示：

Step2：抽取待测视频帧。在触发暴力检测的帧前面的视频中取n帧图像，并从等待监控中n帧图像产生，构成帧长度为2n的视频片段，在该视频片段中进行稀疏采样出b帧，稀疏采样间隔为k；接下来将分成两个并行的步骤。

Step3:从表观特征中判断是否属于暴力行为。

Step3_1：获取待测视频帧中每一帧的局部区域，将该区域称为掩膜图像。并其将行人之间安全距离小于设定阈值的矩形框进行合并。

Step3_2：将原始的彩色图像转换变成灰度图像，在所有的运动区域中求取的梯度直方图特征。如图3所示

Step3_3:为了输入到判别模型，通过稀疏采样进行尺度归一化。送入到SVM判别模型中，得到单幅图像的判别结果。

Step3_4:表观图像视频级别的融合，所有暴力比例大于一定阈值(ξ∈(0.2,0.4))就判断在视频级别的表观图像中属于暴力行为。

Step4:从运动特征中判断是否属于暴力行为。

Step4_1：生成待测视频帧的时空运动轨迹。使用S2中生成的时空运动轨迹，将待测视频帧中的每个行人进行连接，生成新的待测视频帧的时空运动轨迹。

Step4_2：一种新的局部对应差分。首先从视频帧中取出行人的位置信息，得到局部运动区域，生成一个新的局部运动区域子图，根据step4_1中的时空运动轨迹，将前后对应行人生成的子图按照较长的宽高将较小的子图扩展到相同大小，其扩展的部分通过零像素填充，最后将相同维度的图像进行绝对值差分。如图4所示。

Step4_3：将step4_2中生成的每一个行人的子图进行二值化，使图像突出图像中人体姿态变化的区域，然后将通过膨胀腐蚀操作进一步剔除小的运动区域。

Step4_4:选择step4_3中所有的子图中并计算获取HOG特征，对所有子图的HOG特征进行稀疏采样获取相同维度的特征维度，之后通过SVM分类器得到该运动图像的分类得分值。判断所述类别

Step4_5:运动图像视频级别的融合，所有暴力比例大于一定阈值(ξ∈(0.2,0.4))就判断在视频级别的运动图像中属于暴力行为。

Step5:对表观和运动结果进行判别。其中表观特征的比重大于运动特征的比重。如图5所示为暴力检测的整体流程图。

进一步的，行人在视频中的时空运动轨迹采用如下方式获得：：

f(Pc)函数由两部分组成，函数值越小表明相关性越大，其由两部分组成，分别用于表征运动信息和空间状态信息，第一部分是其中欧式距离用于度量位移，v作为方向因子，表征人体的运动惯性，按如下方式计算v。

θ_c＝(1-η)θ_c+η*arctan2(y_(i-1)c-y_(i-2)c,x_(i-1)c-x_(i-2)c){η∈(0,1)}

θ_n＝arctan2(y_ic-y_(i-1)c,x_ic-x_(i-1)c)

if(|θ_n-θ_c|>5/6×2×π)

θ'＝(2×π-|θ_n-θ_c|)

else

θ'＝θ_n-θ_c

v_c＝max(0.1,|1/(1+e_-θ')|)

在上述数学表述中，θ_c表示历史运动方向角，使用一阶低通滤波算法剔除噪声干扰，arctan2反三角函数的取值范围是(-pi，pi)，输出弧度，pi表示圆周率，条件语句过滤掉临界跳变点，最后通过sigmoid函数将其转换成0到1之间的方向因子，值越大表明当前运动方向与之前的运动方向差异越大。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种前端智能化的特定异常行为检测方法，其特征在于包括以下步骤：

S1:提取每一帧图像中行人的位置信息，其中行人的位置信息包括行人的中心点位置、长度和宽度信息；

S2：分别对连续两帧中行人的位置信息进行对比得到每个行人在视频中的时空运动轨迹：采用度量函数获取前后帧图像中每个行人之间的相似性数值，选择相似性数值小于设定阈值的结果，使用匈牙利算法对前面小于阈值的结果进行匹配、得到前后两帧行人与行人之间唯一的匹配结果，在连续的视频帧中重复上述过程得到每一个行人的时空运动轨迹；

S3：通过行人的时空运动轨迹判断视频中行人的状态信息，其中该状态包括行人逗留、徘徊和正常行走：对时空运动轨迹进行稀疏采样得到稀疏时空运动轨迹，由稀疏时空运动轨迹和稀疏采样间隔形成同等维度的特征向量，通过特征向量训练一个SVM判别模型进行逗留、徘徊、正常三种状态的判断；

S4：分别从表观特征和运动特征中判断视频图像中是否有暴力行为。

2.根据权利要求1所述的一种前端智能化的特定异常行为检测方法，其特征在于：S4具体采用如下方式：

S41：根据行人识别算法得到行人检测框，计算监控画面中不同行人是否具有交叠区域，如果存在交叠区域则进行如下暴力检测；

S42：抽取触发暴力检测的帧前面的n帧图像和等待监控中的n帧图像构成帧长度为2n的视频片段，在该视频片段中进行稀疏采样出b帧，其中稀疏采样间隔为k；

S43:分别从表观特征和运动特征中判断是否属于暴力行为；

其中从表观特征中判断是否属于暴力行为采用如下方式：

Step3_1：获取待测视频帧中每一帧的局部区域，将局部区域定义为掩膜图像，将行人之间安全距离小于设定阈值的掩膜图像合并；

Step3_2：将原始的彩色图像转换变成灰度图像，在所有的运动区域中求取梯度直方图特征；

Step3_3:通过稀疏采样进行尺度归一化，将梯度直方图特征输入至SVM判别模型中得到单幅图像的暴力判别结果；

Step3_4:表观图像视频级别的融合：所有帧图像的判别结果为暴力的比例大于比例阈值则判断在视频级别的表观图像特征上属于暴力行为；

从运动特征中判断是否属于暴力行为具体采用如下方式：

Step4_1：生成待测视频帧的时空运动轨迹，采用时空运动轨迹将待测视频帧中的每个行人进行连接、生成新待测视频帧的时空运动轨迹；

Step4_2：从视频帧中选取行人的位置信息得到局部运动区域、生成新局部运动区域子图，根据时空运动轨迹将行人前后对应的子图扩展到相同尺寸：对比两张子图、将长、宽高信息作为标定尺寸，然后将两张图扩展至标定尺寸，扩展部分通过零像素填充，最后将相同尺寸的子图进行绝对值差分；

Step4_3：将step4_2中生成的每一个行人的子图进行二值化，使图像突出图像中人体姿态变化的区域，将通过膨胀腐蚀操作进一步融合的运动区域。

Step4_4:选择step4_3中所有的子图中并计算获取HOG特征，对所有子图的HOG特征进行稀疏采样获取相同维度的特征维度，再通过SVM分类器得到该运动图像的分类得分值；

Step4_5:运动图像视频级别的融合：所有帧图像的判别结果为暴力的比例大于比例阈值则判断在视频级别的运动图像中属于暴力行为。

3.根据权利要求1所述的一种前端智能化的特定异常行为检测方法，其特征在于：所述行人在视频中的时空运动轨迹采用如下方式获得：

f(Pc)函数由两部分组成、分别用于表征运动信息和空间状态信息，第一部分是其中欧式距离用于度量位移，v作为方向因子、表征人体的运动惯性。