CN114821808A - 一种攻击行为预警方法及系统 - Google Patents

Abstract

本发明涉及一种攻击行为预警方法及系统。采用的技术方案是：包括监控端和数据处理端。所述监控端设置在被监控空间顶部，用于拍摄监控范围内的行人图像，并利用内置的轻量神经网络识别当前图像是否包含行人，当所述图像中包含行人时，跟踪可能发生攻击行为的躯干器官，并将实时摄像画面传输至系统数据处理端；所述数据处理端将计算该目标行为动作特征，利用实时摄像画面中截取的躯干部位移动路径计算运动距离，通过结合行为耗费的时间计算行为特征，与数组的攻击行为对比，当符合危险行为报警条件后，将向当前区域治安管理人员发送警报信息。本发明的有益效果：智能算法比对、及时发现群体异常行为、有效辅助系统监控管理人员提前进行科学预警。

Description

一种攻击行为预警方法及系统

技术领域

本发明属于攻击行为预警系统领域，涉及一种攻击行为预警方法及系统。

背景技术

人体动作识别技术广泛应用于监控识别等领域。在收到视频监控的环境下，监控系统利用深度学习技术分析人群异常行为，以达到规避风险提前预警的目的。现有的单一阶段式动作识别技术，在获取行人信息方面，存在不易预判的问题，无法对人群异常行为做出准确的判断和及时预警。

因此，本发明提供一种攻击行为预警方法及系统，构建攻击行为数组，并将其与实时监测到的疑似攻击行为进行比对，结合行为的动作特征和截止特征进行攻击行为判断及计数并发出预警。

发明内容

鉴于现有技术中所存在的问题，本发明公开了一种攻击行为预警方法及系统，采用的技术方案是，所述该系统包括监控端和数据处理端。所述监控端设置在被监控空间顶部，用于拍摄监控范围内的行人图像，并利用内置的轻量神经网络识别当前图像是否包含行人，当所述图像中包含行人时，跟踪可能发生攻击行为的躯干器官，并将实时摄像画面传输至系统数据处理端；所述数据处理端将计算该目标行为动作特征，利用实时摄像画面中截取的躯干部位移动路径计算运动距离，通过结合行为耗费的时间计算行为特征，与数组的攻击行为对比，当符合危险行为报警条件后，将向当前区域治安管理人员发送警报信息。

作为本发明的一种优选方案，所述的一种攻击行为预警系统，其特征在于，包含以下实现方法：

Step1：构建行人检测和攻击部位跟踪网络；

1)使用FASTER R-CNN算法对视频各帧进行人脸检测。在预警系统工作时，首先将实时摄像图片归一化为长宽为448像素、3通道的格式；然后经过17次卷积和4次池化后，图片将被转换为7×7像素、30通道的特征图。对每一行人而言，其位置信息以数组形式存在，该数组包含2个值，分别为bx、by，其中bx、by分别为包含该行人的矩形边框中心点横纵坐标；位置信息以数组形式存在，即包含行人的边框的中心位置，边框通常为矩形框。位置数组包含2个值依次为数组位置中心点的坐标bx，by；

2)使用Residual Pose算法对行人肢体部位进行跟踪识别。该预警系统在监测范围内检测到行人时，利用Residual Pose算法对行人可能发生攻击行为的部位进行跟踪，例如肘部、手腕、脚踝、膝盖等。

Step2：进行行为特征提取，该特征提取模块提取特征分为样本特征提取和实时特征提取两种情况。在两种情况下，都可以将攻击行为划分为攻击实施阶段和攻击截止阶段。在本系统中，首先进行样本特征提取。样本特征提取方法是预获取样本场景图像及其中人员信息，样本场景可以包括咖啡厅、餐厅等营业场所，也可以包括体育场、公园等活动场所，图像中获取到的人员位置用矩形框标记，其矩形框中心位置信息(bx，by)用一维向量存储，样本场景的行人将做出拳击、挥手、伸手等动作；实时特征通过视频监控系统中当前需要监控的对象进行实时特征提取；

Step3：建立攻击行为数组方法，本过程中将攻击行为分为攻击阶段和截止阶段。定义攻击阶段为：攻击行为产生而尚未达成目的或造成伤害；定义截止阶段为：攻击行为因击中或未击中目的时的停顿行为。使用FASTER R-CNN对监控范围内的目标人物进行识别，在识别出行人后，然后使用Residual Pose算法对攻击行为发生部位(如肩膀、肘部、手腕、膝盖和脚踝)进行识别跟踪，通过识别跟踪得到攻击动作部位坐标s；

1)通过对移动距离进行对时间的微分，获取攻击行为发生时的行为速度，计算公式为：v＝ds/dt；

2)通过对行为速度进行对时间的微分获取攻击行为的加速度，计算公式为：a＝dv/dt；

3)建立攻击行为关于v和a的数组，Step2中提取的样本特征和实时特征两种特征均包含v和a两种数组。

Step4：实时行为监测判断，在攻击预警系统实时工作过程中，速度采样频率可设计为每秒6-10次，使用的采样频率为每秒钟8次，对应时间间隔0.125s。设定攻击行为累计数count，为每次攻击行为进行计数。一次异常行为被判定为攻击行为时，count会增加，当异常行为被判定为危险性较大的攻击行为时，如多人斗殴、剧烈攻击行为等会使攻击行为计数count增加值更大；

Step5：设置报警模块，在本系统持续运作期间，报警计数count出现变化，即可启动预设应急预案。

作为本发明的一种优选方案，所述Step2中，对攻击示范样本的行为特征提取过程介绍如下：

Step2.1：将样本行为进行预分类，根据攻击与否分为攻击性行为与非攻击性行为两类，然后剔除掉非攻击性行为样本，形成只有攻击行为的样本特征数组。依据给定的分类，将样本图像用Step3中的方法，用Residual Pose算法提取出图片中攻击部位的坐标位置s，对攻击部位进行追踪。对预选中被标记为攻击行为的视频片段，记录其跟随时间变化的位移量，形成位移数组(s1,s2,…，sn)；对于位移数据进行时间的微分形成速度数组(v1,v2,…,vn)；对速度数组进行时间的微分获得加速度数组(a1,a2,…,an)。然后将每个样本数组按照攻击行为的不同阶段人工手动划分为攻击实施阶段和攻击截止阶段两个子数组；

Step2.2：对于预设定为攻击行为一类的样本图像，对所有样本视频片段中的攻击行为时长统计，取攻击时长最大时间为归一化目标时长，并对攻击行为进行归一化处理，归一化的功能是：将所有攻击行为数据片段都设置为相同的归一化目标时长，从而可用相同的方式进行采样或者对比处理；

Step2.3：根据提取对应攻击行为获得的速度与加速度数据，对每次攻击行为采样n次实时速度，n取8，拟合绘制攻击行为特征曲线。该拟合方法适合于样本特征和实时特征，以拟合样本特征为例，综合全部攻击行为样本归纳出攻击行为特征方程为：

V_dbi(t)＝ae^t+bt⁵+ct⁴+dt³+ht²+kt+m；

A_dbi(t)＝ae^t+5bt⁴+4ct³+3dt²+2ht+n；

其中a、b、c、d、h、k、m、n为系数，i＝1,2；

攻击实施阶段和攻击截止阶段的两个方程分别为：Vdb1(t)，Adb1(t)以及Vdb2(t)，Adb2(t)。

作为本发明的一种优选方案，所述Step3中，当FASTER R-CNN行人监测网络检测到当前监控区域出现行人时，开始对目标方框进行Residual Pose攻击部位跟踪。获取实时特征的速度数组和加速度数组。对当前行为进行采样，获取归一化(根据Step2.2进行处理得到)后的当前行为特征片段数据Vpre(t)，Apre(t)。特征片段数据又可以划分为攻击实施阶段和攻击截止阶段，分别为Vpre1(t)，Apre1(t)和Vpre2(t)，Apre2(t)。实时特征的攻击实施阶段和攻击截止阶段划分方法：设速度数据的最大值的时间为划分时间th，小于划分时间th的为攻击实施阶段，大于划分时间th的为攻击截止阶段；

在v和a的数组中取归一化后的特征片段数据(攻击实施阶段和攻击截止阶段)：Vdb1(t),Adb1(t)，Vdb2(t),Adb2(t)，然后使用以下公式做差值计算：

其中tmax为归一化后片段的统一时长；

判断Li的取值范围：当L1+L2值小于阈值Lm时，认定为一次攻击行为；当L1+L2值大于Lm、小于Ln时，判断方法；

求偏离系数x(x的范围为[0,1])：

求加速度基准值：

如果：

则认定为一次攻击行为，α和β是攻击实施阶段和攻击截止阶段的权重系数，攻击计数count＝count+K，K为攻击计数值，取经验值；

作为本发明的一种优选方案，所述Step5中，对报警计数count的变化幅度作出以下判断：一般地，对于小幅增加的报警计数count，可联络当前场所配备的安保人员；当报警计数在较短时间内，如两分钟，出现跳跃式的上升，向当前系统监控管理人员发出警报，人工确认是否为严重突发事态，如确认，立即联络公安部门。

本发明的有益效果：构建攻击行为数组，并将其与实时监测到的疑似攻击行为进行比对，判断动作是否存在截止区间，结合行为的动作特征和截止特征进行攻击行为判断及计数并发出预警，及时发现群体异常行为，有效辅助系统监控管理人员提前进行科学预判，协同公安部门，制止违法行为。

附图说明

图1为本发明的系统模块示意图；

图2为本发明的系统流程示意图；

图3为本发明的行为特征提取过程中的攻击阶段判定v-t示意图。

具体实施方式

实施例1

如图1所示，本发明所述的一种攻击行为预警方法及系统，采用的技术方案是，包括所述该系统包括监控端和数据处理端；

所述监控端设置在被监控空间顶部，用于拍摄监控范围内的行人图像，并利用内置的轻量神经网络识别当前图像是否包含行人，当所述图像中包含行人时，跟踪可能发生攻击行为的躯干器官，并将实时摄像画面传输至系统数据处理端；

所述数据处理端将计算该目标行为动作特征，利用实时摄像画面中截取的躯干部位移动路径计算运动距离，通过结合行为耗费的时间计算行为特征，与数组的攻击行为对比，当符合危险行为报警条件后，将向当前区域治安管理人员发送警报信息。

所述的一种攻击行为预警系统，其特征在于，包含以下实现方法：

Step1：构建行人检测和攻击部位跟踪网络：

1)使用FASTER R-CNN算法对视频各帧进行人脸检测。在预警系统工作时，首先将实时摄像图片归一化为长宽为448像素、3通道的格式；然后经过17次卷积和4次池化后，图片将被转换为7×7像素、30通道的特征图。对每一行人而言，其位置信息以数组形式存在，该数组包含2个值，分别为bx、by，其中bx、by分别为包含该行人的矩形边框中心点横纵坐标；位置信息以数组形式存在，即包含行人的边框的中心位置，边框通常为矩形框。位置数组包含2个值依次为数组位置中心点的坐标bx，by；

2)使用Residual Pose算法对行人肢体部位进行跟踪识别。该预警系统在监测范围内检测到行人时，利用Residual Pose算法对行人可能发生攻击行为的部位进行跟踪，例如肘部、手腕、脚踝、膝盖等。

Step2：进行行为特征提取，该特征提取模块提取特征分为样本特征提取和实时特征提取两种情况。在两种情况下，都可以将攻击行为划分为攻击实施阶段和攻击截止阶段。在本系统中，首先进行样本特征提取。样本特征提取方法是预获取样本场景图像及其中人员信息，样本场景可以包括咖啡厅、餐厅等营业场所，也可以包括体育场、公园等活动场所，图像中获取到的人员位置用矩形框标记，其矩形框中心位置信息(bx，by)用一维向量存储，样本场景的行人将做出拳击、挥手、伸手等动作；实时特征通过视频监控系统中当前需要监控的对象进行实时特征提取；

所述Step2中，对攻击示范样本的行为特征提取过程介绍如下：

Step2.1：将样本行为进行预分类，根据攻击与否分为攻击性行为与非攻击性行为两类，然后剔除掉非攻击性行为样本，形成只有攻击行为的样本特征数组。依据给定的分类，将样本图像用Step3中的方法，用Residual Pose算法提取出图片中攻击部位的坐标位置s，对攻击部位进行追踪。对预选中被标记为攻击行为的视频片段，记录其跟随时间变化的位移量，形成位移数组(s1,s2,…，sn)；对于位移数据进行时间的微分形成速度数组(v1,v2,…,vn)；对速度数组进行时间的微分获得加速度数组(a1,a2,…,an)。然后将每个样本数组按照攻击行为的不同阶段人工手动划分为攻击实施阶段和攻击截止阶段两个子数组；

Step2.2：对于预设定为攻击行为一类的样本图像，对所有样本视频片段中的攻击行为时长统计，取攻击时长最大时间为归一化目标时长，并对攻击行为进行归一化处理，归一化的功能是：将所有攻击行为数据片段都设置为相同的归一化目标时长，从而可用相同的方式进行采样或者对比处理；

Step2.3：根据提取对应攻击行为获得的速度与加速度数据，对每次攻击行为采样n次实时速度，n可以取8，拟合绘制攻击行为特征曲线。该拟合方法适合于样本特征和实时特征，以拟合样本特征为例，综合全部攻击行为样本归纳出攻击行为特征方程为：

V_dbi(t)＝ae^t+bt⁵+ct⁴+dt³+ht²+kt+m；

A_dbi(t)＝ae^t+5bt⁴+4ct³+3dt²+2ht+n；

其中a、b、c、d、h、k、m、n为系数，i＝1,2；

攻击实施阶段和攻击截止阶段的两个方程分别为：Vdb1(t)，Adb1(t)以及Vdb2(t)，Adb2(t)。

Step3：建立攻击行为数组方法，本过程中将攻击行为分为攻击阶段和截止阶段。定义攻击阶段为：攻击行为产生而尚未达成目的或造成伤害；定义截止阶段为：攻击行为因击中或未击中目的时的停顿行为。使用FASTER R-CNN对监控范围内的目标人物进行识别，在识别出行人后，然后使用Residual Pose算法对攻击行为发生部位(如肩膀、肘部、手腕、膝盖和脚踝)进行识别跟踪，通过识别跟踪得到攻击动作部位坐标s；

1)通过对移动距离进行对时间的微分，获取攻击行为发生时的行为速度，计算公式为：v＝ds/dt；

2)通过对行为速度进行对时间的微分获取攻击行为的加速度，计算公式为：a＝dv/dt；

建立攻击行为关于v和a的数组，Step2中提取的样本特征和实时特征两种特征均包含v和a两种数组。

所述Step3中，当FASTER R-CNN行人监测网络检测到当前监控区域出现行人，开始对目标方框进行Residual Pose攻击部位跟踪。获取实时特征的速度数组和加速度数组。对当前行为采样获取归一化(根据Step2.2进行处理得到)后的当前行为特征片段数据Vpre(t)，Apre(t)。特征片段数据又可以划分为攻击实施阶段和攻击截止阶段，分别为Vpre1(t)，Apre1(t)和Vpre2(t)，Apre2(t)。实时特征的攻击实施阶段和攻击截止阶段划分方法：设速度数据的最大值的时间为划分时间th，小于划分时间th的为攻击实施阶段，大于划分时间th的为攻击截止阶段；

在v和a的数组中取归一化后的特征片段数据(攻击实施阶段和攻击截止阶段)：Vdb1(t),Adb1(t)，Vdb2(t),Adb2(t)，然后使用以下公式做差值计算：

其中tmax为归一化后片段的统一时长；

判断Li的取值范围：

当L1+L2值小于阈值Lm时，认定为一次攻击行为；

当L1+L2值大于Lm、小于Ln时，判断方法；

求偏离系数x(x的范围为[0,1])：

求加速度基准值：

如果：

则认定为一次攻击行为，α和β是攻击实施阶段和攻击截止阶段的权重系数，攻击计数count＝count+K，K为攻击计数值，取经验值。

Step4：实时行为监测判断，在攻击预警系统实时工作过程中，速度采样频率可设计为每秒6-10次，使用的采样频率为每秒钟8次，对应时间间隔0.125s。设定攻击行为累计数count，为每次攻击行为进行计数。一次异常行为被判定为攻击行为时，count会增加，当异常行为被判定为危险性较大的攻击行为时，如多人斗殴、剧烈攻击行为等会使攻击行为计数count增加值更大。

Step5：设置报警模块，在本系统持续运作期间，报警计数count出现变化，即可启动预设应急预案。一般地，对于小幅增加的报警计数count，可联络当前场所配备的安保人员；当报警计数在较短时间内，如两分钟，出现跳跃式的上升，向当前系统监控管理人员发出警报，人工确认是否为严重突发事态，如确认，立即联络公安部门。

本文中未详细说明的电气连接方式或者结构为现有技术。

上述虽然对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种攻击行为预警系统，其特征在于：所述该系统包括监控端和数据处理端；

所述监控端设置在被监控空间顶部，用于拍摄监控范围内的行人图像，并利用内置的轻量神经网络识别当前图像是否包含行人，当所述图像中包含行人时，跟踪可能发生攻击行为的躯干器官，并将实时摄像画面传输至系统数据处理端；

所述数据处理端将计算该目标行为动作特征，利用实时摄像画面中截取的躯干部位移动路径计算运动距离，通过结合行为耗费的时间计算行为特征，与数组的攻击行为对比，当符合危险行为报警条件后，将向当前区域治安管理人员发送警报信息。

2.根据权利要求1所述的一种攻击行为预警系统，其特征在于，包含以下实现方法：

Step1：构建行人检测和攻击部位跟踪网络；

1)使用FASTER R-CNN算法对视频各帧进行人脸检测。在预警系统工作时，首先将实时摄像图片归一化为长宽为448像素、3通道的格式；然后经过17次卷积和4次池化后，图片将被转换为7×7像素、30通道的特征图。对每一行人而言，其位置信息以数组形式存在，该数组包含2个值，分别为bx、by，其中bx、by分别为包含该行人的矩形边框中心点横纵坐标；位置信息以数组形式存在，即包含行人的边框的中心位置，边框通常为矩形框。位置数组包含2个值依次为数组位置中心点的坐标bx，by；

2)使用Residual Pose算法对行人肢体部位进行跟踪识别。该预警系统在监测范围内检测到行人时，利用Residual Pose算法对行人可能发生攻击行为的部位进行跟踪，例如肘部、手腕、脚踝、膝盖等。

Step2：进行行为特征提取，该特征提取模块提取特征分为样本特征提取和实时特征提取两种情况。在两种情况下，都可以将攻击行为划分为攻击实施阶段和攻击截止阶段。在本系统中，首先进行样本特征提取。样本特征提取方法是预获取样本场景图像及其中人员信息，样本场景可以包括咖啡厅、餐厅等营业场所，也可以包括体育场、公园等活动场所，图像中获取到的人员位置用矩形框标记，其矩形框中心位置信息(bx，by)用一维向量存储，样本场景的行人将做出拳击、挥手、伸手等动作；实时特征通过视频监控系统中当前需要监控的对象进行实时特征提取；

Step3：建立攻击行为数组方法，本过程中将攻击行为分为攻击阶段和截止阶段。定义攻击阶段为：攻击行为产生而尚未达成目的或造成伤害；定义截止阶段为：攻击行为因击中或未击中目的时的停顿行为。使用FASTER R-CNN对监控范围内的目标人物进行识别，在识别出行人后，然后使用Residual Pose算法对攻击行为发生部位(如肩膀、肘部、手腕、膝盖和脚踝)进行识别跟踪，通过识别跟踪得到攻击动作部位坐标s；

1)通过对移动距离进行对时间的微分，获取攻击行为发生时的行为速度，计算公式为：v＝ds/dt；

2)通过对行为速度进行对时间的微分获取攻击行为的加速度，计算公式为：a＝dv/dt；

建立攻击行为关于v和a的数组，Step2中提取的样本特征和实时特征两种特征均包含v和a两种数组。

Step4：实时行为监测判断，在攻击预警系统实时工作过程中，速度采样频率可设计为每秒6-10次，使用的采样频率为每秒钟8次，对应时间间隔0.125s。设定攻击行为累计数count，为每次攻击行为进行计数。一次异常行为被判定为攻击行为时，count会增加；当异常行为被判定为危险性较大的攻击行为时，如多人斗殴、剧烈攻击行为等会使攻击行为计数count增加值更大；

Step5：设置报警模块，在本系统持续运作期间，报警计数count出现变化，即可启动预设应急预案。

3.根据权利要求2所述的一种攻击行为预警系统，其特征在于：所述Step2中，对攻击示范样本的行为特征提取过程介绍如下：

Step2.1：将样本行为进行预分类，根据攻击与否分为攻击性行为与非攻击性行为两类，然后剔除掉非攻击性行为样本，形成只有攻击行为的样本特征数组。依据给定的分类，将样本图像用Step3中的方法，用Residual Pose算法提取出图片中攻击部位的坐标位置s，对攻击部位进行追踪。对预选中被标记为攻击行为的视频片段，记录其跟随时间变化的位移量，形成位移数组(s1,s2,…，sn)；对于位移数据进行时间的微分形成速度数组(v1,v2,…,vn)；对速度数组进行时间的微分获得加速度数组(a1,a2,…,an)。然后将每个样本数组按照攻击行为的不同阶段人工手动划分为攻击实施阶段和攻击截止阶段两个子数组；

Step2.2：对于预设定为攻击行为一类的样本图像，对所有样本视频片段中的攻击行为时长统计，取攻击时长最大时间为归一化目标时长，并对攻击行为进行归一化处理，归一化的功能是：将所有攻击行为数据片段都设置为相同的归一化目标时长，从而可用相同的方式进行采样或者对比处理；

Step2.3：根据提取对应攻击行为获得的速度与加速度数据，对每次攻击行为采样n次实时速度，n取8，拟合绘制攻击行为特征曲线。该拟合方法适合于样本特征和实时特征，以拟合样本特征为例，综合全部攻击行为样本归纳出攻击行为特征方程为：

V_dbi(t)＝ae^t+bt⁵+ct⁴+dt³+ht²+kt+m；

A_dbi(t)＝ae^t+5bt⁴+4ct³+3dt²+2ht+n；

其中a、b、c、d、h、k、m、n为系数，i＝1,2；

攻击实施阶段和攻击截止阶段的两个方程分别为：Vdb1(t)，Adb1(t)以及Vdb2(t)，Adb2(t)。

4.根据权利要求2所述的一种攻击行为预警系统，其特征在于：所述Step3中，当FASTERR-CNN行人监测网络检测到当前监控区域出现行人，开始对目标方框进行Residual Pose攻击部位跟踪。获取实时特征的速度数组和加速度数组。对当前行为采样获取归一化(根据Step2.2进行处理得到)后的当前行为特征片段数据Vpre(t)，Apre(t)。特征片段数据又可以划分为攻击实施阶段和攻击截止阶段，分别为Vpre1(t)，Apre1(t)和Vpre2(t)，Apre2(t)。实时特征的攻击实施阶段和攻击截止阶段划分方法：设速度数据的最大值的时间为划分时间th，小于划分时间th的为攻击实施阶段，大于划分时间th的为攻击截止阶段；

1)在v和a的数组中取归一化后的特征片段数据(攻击实施阶段和攻击截止阶段)：Vdb1(t),Adb1(t)，Vdb2(t),Adb2(t)，然后使用以下公式做差值计算：

其中tmax为归一化后片段的统一时长；

2)判断Li的取值范围：

当L1+L2值小于阈值Lm时，认定为一次攻击行为；

当L1+L2值大于Lm、小于Ln时，判断方法；

3)求偏离系数x(x的范围为[0,1])：

4)求加速度基准值：

如果：

则认定为一次攻击行为，α和β是攻击实施阶段和攻击截止阶段的权重系数，攻击计数count＝count+K，K为攻击计数值，取经验值。

5.根据权利要求2所述的一种攻击行为预警系统，其特征在于：所述Step5中，对报警计数count的变化幅度作出以下判断：一般地，对于小幅增加的报警计数count，可联络当前场所配备的安保人员；当报警计数在较短时间内，如两分钟，出现跳跃式的上升，向当前系统监控管理人员发出警报，人工确认是否为严重突发事态，如确认，立即联络公安部门。

Images