CN113792656B - 一种人员移动中使用移动通讯设备的行为检测及报警系统 - Google Patents

Abstract

本发明公开了一种人员移动中使用移动通讯设备的行为检测及报警系统，包括视频获取模块、人员行为检测模块、行为人重识别模块、行为人移动判断模块、风险控制和报警模块，所述视频获取模块、人员行为检测模块、行为人重识别模块、行为人移动判断装置、风险控制和报警模块均与中心模块通讯连接。本发明将移动通讯设备检测应用到工厂的安全防护机制，提高监测效率，不需要人工监督，降低人工成本，能够及时对于边移动边打电话等违规操作做出反应，发出报警信息，极大的提高了工厂的安全防护能力，为工厂的移动通信设备检测提供了一个标准的、及时的、高效的、先进的安全防护系统。

Description

一种人员移动中使用移动通讯设备的行为检测及报警系统

技术领域

本发明涉及安防技术领域，更近一步涉及安防领域下的摄像头监测领域，尤其是一种人员移动中使用移动通讯设备的行为检测及报警系统。

背景技术

在工厂车间等地方，存在的安全隐患有很多，如坑洞、障碍等，如果工作人员专注于打电话或者玩手机，那么可能注意不到周围的环境，行走过程中受到伤害，因此有些工厂规定，行走时不能拨打手机，在使用手机时不能随便走动，保持静止状态，等打完电话，通信完毕后再继续行走，这项规定可以有效的提高工作人员自身安全保护，提高安全防护机制。但实际工作中，仍有部分人员不遵守规定，需要依靠人员监督，而依靠人员监督难以起到实时监督的作用，如果采用事后监控视频进行检查，也需要大量的人力和时间成本，对于预防安全事故来说，其效果远不如即时发现、即时处理。

发明内容

为了克服现有技术中存在的上述问题，本发明提出一种人员移动中使用移动通讯设备的行为检测及报警系统。

本发明解决其技术问题所采用的技术方案是：一种人员移动中使用移动通讯设备的行为检测及报警系统，包括视频获取模块：采集具有时序性的短时视频图像序列；

人员行为检测模块：利用深度学习的YOLO v5目标检测网络对图像中的人员及动作进行检测，并将使用移动通讯设备人员的检测框特征保存并正规化为同一尺寸；

行为人重识别模块：利用人员行为检测模块所得到的正规化特征判断不同帧之间的行为人是否为同一人；

行为人移动判断模块：根据设定好的移动判断准则，通过检测框的距离判断行为人是否移动；

风险控制和报警模块：将图片和风险信息上传到存储器，存储器收到风险信息后触发报警模块，发出报警信号；

所述视频获取模块、人员行为检测模块、行为人重识别模块、行为人移动判断装置、风险控制和报警模块均与中心模块通讯连接。

上述的一种人员移动中使用移动通讯设备的行为检测及报警系统，所述人员行为检测模块对使用移动通讯设备人员的检测框进行正规化的具体操作过程为：检测到人员的检测框特征σ₀的尺寸为c×h₀×w₀，目标特征σ₂尺寸为c×h₂×w₂，其中c,h,w三项分别表示通道数、高和宽，首先需要一个中间过渡尺寸σ₁:c×h₁×w₁，其中h₁≥h₂,w₁≥w₂，具体过程如下：

当h₀≥h₂,w₀≥w₂时，直接取h₁＝h₀,w₁＝w₀,σ₁＝σ₀；

当h₀＜h₂,w₀≥w₂时，取比例因子进一步取h₁＝δ_hh₀,w₁＝w，σ₁(：，iδ_h:(i+1)δ_h-1，:)＝σ₀(:，i，:)，其中i＝1,2,...,h⁰；

当h₀≥h₂,w₀＜w₂时，取比例因子进一步取h₁＝h₀,w₁＝δ_ww，σ₁(：,:,jδ_w:(j+1)δ_w-1)＝σ₀(：，:，j)，其中j＝1,2,...,w₀；

当h₀＜h₂,w₀＜w₂时，取比例因子进一步取h¹＝δ^hh⁰,w¹＝δ^ww⁰，σ₁(:,iδ_h:(i+1)δ_h-1,jδ^w:(j+1)δ_w-1)＝σ₀(:,i,j)，其中i＝1,2,...,h₀,j＝1,2,...,w₀；

然后再映射到目标尺寸c×h₂×w₂，具体过程如下：取比例因子进一步取σ₂(c，i，j)＝max{σ₁(c，iδ_h:(i+1)δ_h-1，jδ_w:(j+1)δ_w-1)}，其中i＝1,2,...,h₂,j＝1,2,...,w₂。

上述的一种人员移动中使用移动通讯设备的行为检测及报警系统，判断不同帧之间的行为人是否为同一人的方法为：

其中，t为设定的阈值，且0＜t＜1，σ₂₁、σ₂₂分别为两帧正规化特征。

上述的一种人员移动中使用移动通讯设备的行为检测及报警系统，所述行为人移动判断装置中的移动判断准则具体为：检测到的一帧使用移动通信设备的人员检测框为(x_s，y_s，w_s，h_s)，检测到的另一帧该人员仍然在使用移动通信设备检测框为(x_e，y_e，w_e，h_e)，其中检测框前两个参数为检测框左上角的坐标或中心坐标，后两个参数为检测框的宽度和高度，根据检测框的位置及大小设定三个判断条件分别为：

条件1：其中α为常数系数，α＝5；

条件2：其中β为常数系数，β＝1；

条件3：其中γ为常数系数，γ＝0.5；

满足条件1、2、3中的一个条件则认为使用移动通信设备的人员发生移动。

上述的一种人员移动中使用移动通讯设备的行为检测及报警系统，所述视频获取模块只采集保存有工作人员出现的帧的图像。

上述的一种人员移动中使用移动通讯设备的行为检测及报警系统，所述视频获取模块对获取的图片使用时间戳打上标签。

本发明的有益效果是，本发明将移动通讯设备检测应用到工厂的安全防护机制，提高监测效率，不需要人工监督，降低人工成本，能够及时对于边移动边打电话等违规操作做出反应，发出报警信息，极大的提高了工厂的安全防护能力，为工厂的移动通信设备检测提供了一个标准的、及时的、高效的、先进的安全防护系统；同时本发明将相关配置，相关接口，相关功能模块化，条理化，系统化，保证了本发明的系统开放性和系统可扩充性，系统易用性和系统易维护性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明系统工作流程图；

图2为本发明系统检测过程示意图；

图3为本发明GPU移动通讯设备检测过程示意图。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。

如图1所示，本发明总共可以分为6个模块，视频获取模块负责从摄像头获取视频，人员行为检测模块负责对图像进行人员行为检测，行为人重识别模块用于检测两帧视频中是否为同一行为人，行为人移动判断模块用于检测行为人是否移动了，风险控制和报警模块负责进行风险预测，判断是否有风险，发出警报信号，并将相关风险信息等进行存储。

如图2所示，上述的6个模块均与中间模块通讯连接，视频获取模块将获取的图片上传到中心模块，中心模块接收图片后，将图片发送给GPU移动通讯设备检测模块包括人员行为检测模块、行为人重识别模块、行为人移动判断模块，GPU移动通讯设备检测模块判断行为人是否移动后将风险图片和信息上传到中心模块，中心模块将风险信息发送给风险控制模块，将风险图片发送给报警模块，报警模块将风险图片存储到存储器中，同时报警模块处理风险并发出警报。

具体的检测过程如图3所示：本实施例首先对工厂的多个摄像头进行取流，使用RTSP协议或者HLS协议，视频流获取方法主要通过实时流传输协议(RTSP)或基于HTTP的流媒体网络传输协议(HLS)对摄像头进行取流操作，协议在工作时会指定具体摄像头，所监测的每个摄像头都作为一个独立的对象，都有2个线程来为其工作，一个线程实现视频获取的功能，一个线程实现上传图片的功能。

视频获取线程的工作主要是通过RTSP协议或HLS协议来获取视频，实现视频图片按一定FPS使用线程池获取功能，FPS是可变参数，根据现实情况工厂实际要求可进行调整和指定。

上传图片线程的工作主要是对于本摄像头相关的模型，将获取的视频进行取帧操作，得到图片，然后将图片按照时间顺序放入提前准备好的图片队列，因为依据现实情况，摄像头下不是每时每刻都有工作人员出现的，所以为了减少GPU移动通讯设备检测模块的负担，我们只保存有工作人员出现的帧的图像，然后通过中心模块上传给GPU移动通讯设备检测模块。在这里需要注意的是，因为移动通信设备的判断是判断一个人在一段时间内是否边打电话边移动，所以对视频进行取帧操作时，帧和帧的前后顺序不能出错，为了保证摄像头模块图片的发出顺序和中心模块图片的接收顺序相同，防止出错，本发明使用时间戳对图片打上标签。

中心模块收到图片后，就会上传到GPU移动通讯设备检测模块,然后通过GPU移动通讯设备检测模块中的人员行为检测模块使用已经训练好的神经网络模型对图片进行人员检测，将使用手机或者对讲机打电话的人，看手机的人，没有使用移动设备的人分别进行标注，然后对前两类进行检测，此外，人员行为检测模块还需要将使用移动通讯设备人员的检测框进行正规化到同一尺寸，供后续模块使用，具体操作过程为：检测到人员的检测框特征σ₀的尺寸为c×h₀×w₀，目标特征σ₂尺寸为c×h₂×w₂，其中c，h，w三项分别表示通道数、高和宽，首先需要一个中间过渡尺寸σ₁：c×h₁×w₁，其中h₁≥h₂，w₁≥w₂，具体过程如下：

当h₀≥h₂，w₀≥w₂时，直接取h₁＝h₀，w₁＝w₀，σ₁＝σ₀；

当h₀＜h₂，w₀≥w₂时，取比例因子进一步取h₁＝δ_hh₀，w₁＝w，σ₁(：，iδ_h：(i+1)δ_h-1，：)＝σ₀(：，i，：)，其中i＝1，2，...，h₀；

当h₀≥h₂，w₀＜w₂时，取比例因子进一步取h₁＝h₀，w₁＝δ_ww，σ₁(：，：，jδ_w：(j+1)δ_w-1)＝σ₀(：，：，j)，其中j＝1，2，...，w₀；

当h₀＜h₂，w₀＜w₂时，取比例因子进一步取h₁＝δ_hh₀，w₁＝δ_ww₀，σ₁(：，iδ_h：(i+1)δ_h-1，jδ_w：(j+1)δ_w-1)＝σ₀(：，i，j)，其中i＝1，2，...，h₀，j＝1，2，...，w₀；

然后再映射到目标尺寸c×h₂×w₂，具体过程如下：取比例因子进一步取σ₂(c，i，j)＝max{σ₁(c，iδ_h：(i+1)δ_h-1，jδ_w：(j+1)δ_w-1)}，其中i＝1，2，...，h₂，j＝1，2，...，w₂。

GPU移动通讯设备检测模块中的行为人重识别模块使用人员行为检测模块得到的正规化特征σ₂判断不同帧之间的行为人是否为同一人，两帧正规化特征分别记为σ₂₁、σ₂₂，则满足以下条件的为同一人，否则不是同一人，

其中t为设定的阈值，0<t<1。

GPU移动通讯设备检测模块中的行为人移动判断装置包括针对同一人员，通过移动判断准则判断行为人是否移动，两帧图像中的人员是否是同一人员的判断方法是针对每张图片的每个框，将其与上一帧离得最近的框进行一一匹配，如果正在检测的本帧多出一个框，那么一一匹配结束后剩余的框就视为新框，相应的添加一个list进行存储，当将不同的人员检测框匹配到不同的list之后，那么针对每个list，即每个打电话的工作人员或者是正在看手机的工作人员进行移动判断。

移动判断准则：假设检测到的第一帧使用移动通信设备的人员，其检测框为(x_s，y_s，w_s，h_s)，检测到的另一帧该人员仍然在使用移动通信设备检测框为(x_e，y_e，w_e，h_e)，其中检测框前两个参数为检测框左上角的坐标或中心坐标，后两个参数为检测框的宽度和高度，根据检测框的位置及大小设定三个判断条件分别为：

条件1：即如果两帧之间的检测框在这段时间内横向移动超过了α个身体宽度，就说明在这段时间内，工作人员在使用通信设备的同时移动了，本实施例α取值为5；

条件2：即如果两帧之间的检测框在这段时间内纵向移动超过了β个身体高度，就说明在这段时间内，工作人员在使用通信设备的同时移动了，本实施例β取值为1。β取较小值1的原因是工作人员的高度基数要比宽度基数大得多，工作人员移动在高度上表现的没有在宽度上表现的明显；

条件3：即如果某个工作人员所在的检测框正对摄像头，那么随着工作人员的移动，摄像头检测到的检测框会随之变大或变小，因此通过判断其比例大小来判定是否该工作人员边使用通信设备边移动，本实施例γ取0.5。

对于每个list都需要使用上述三个判断准则依次进行判断，如果前面的判断准则成立，那么后面的就不需要进行判断了。

根据图片的检测结果进行风险预测。如果检测到有的工作人员是边走路边打电话或者边走路边看手机就会生成风险信息，同时也会将涉及风险的图片或者视频进行保留。来自多个摄像头的风险会上传到不同的风险队列，同时设置了多个线程监听风险队列，并及时上传风险。上传风险可以分为两步：第一步是将图片编码为二进制，并上传至minio存储服务器。第二步是打包风险信息，上传至kafka网络，完成风险上传任务。

当收到风险信息后，就会触发警报系统，发出报警信号，当风险图片和风险信息都上传进行保存后，原来的风险队列就会清空，从而准备接收下一次风险信息，风险状态也会从发现风险转换为解除风险。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (4)

1.一种人员移动中使用移动通讯设备的行为检测及报警系统，其特征在于：包括视频获取模块：采集具有时序性的短时视频图像序列；

人员行为检测模块：利用深度学习的YOLO v5目标检测网络对图像中的人员及动作进行检测，并将使用移动通讯设备人员的检测框特征保存并正规化为同一尺寸；

行为人重识别模块：利用人员行为检测模块所得到的正规化特征判断不同帧之间的行为人是否为同一人；

行为人移动判断模块：根据设定好的移动判断准则，通过检测框的距离判断行为人是否移动；

风险控制和报警模块：将图片和风险信息上传到存储器，存储器收到风险信息后触发报警模块，发出报警信号；

所述视频获取模块、人员行为检测模块、行为人重识别模块、行为人移动判断装置、风险控制和报警模块均与中心模块通讯连接；

所述人员行为检测模块对使用移动通讯设备人员的检测框进行正规化的具体操作过程为：检测到人员的检测框特征σ₀的尺寸为c×h₀×w₀，目标特征σ₂尺寸为c×h₂×w₂，其中c,h,w三项分别表示通道数、高和宽，首先需要一个中间过渡尺寸σ₁:c×h₁×w₁，其中h₁≥h₂,w₁≥w₂，具体过程如下：

当h₀≥h₂,w₀≥w₂时，直接取h₁＝h₀,w₁＝w₀,σ₁＝σ₀；

当h₀＜h₂,w₀≥w₂时，取比例因子进一步取h₁＝δ_hh₀,/>σ₁(:，iδ_h:(i+1)δ_h-1，:)＝σ₀(:，i，:)，其中i＝1,2,...,h₀；

当h₀≥h₂,w₀＜w₂时，取比例因子进一步取h₁＝h₀,/>σ₁(：，:，jδ_w:(j+1)δ_w-1)＝σ₀(：，：，j)，其中j＝1,2,...,w₀；

当h₀＜h₂，w₀＜w₂时，取比例因子进一步取h₁＝δ_hh₀，w₁＝δ_ww₀，σ₁(：，iδ_h：(i+1)δ_h-1，jδ_w：(j+1)δ_w-1)＝σ₀(：，i，j)，其中i＝1，2，...，h₀，j＝1，2，...，w₀；

然后再映射到目标尺寸c×h₂×w₂，具体过程如下：取比例因子进一步取σ₂(c，i，j)＝max{σ₁(c，iδ_h：(i+1)δ_h-1，jδ_w：(j+1)δ_w-1)}，其中i＝1，2，...，h₂，j＝1，2，...，w₂；

所述行为人移动判断装置中的移动判断准则具体为：检测到的一帧使用移动通信设备的人员检测框为(x_s，y_s，w_s，h_s)，检测到的另一帧该人员仍然在使用移动通信设备检测框为(x_e，y_e，w_e，h_e)，其中检测框前两个参数为检测框左上角的坐标或中心坐标，后两个参数为检测框的宽度和高度，根据检测框的位置及大小设定三个判断条件分别为：

条件1：其中α为常数系数，α＝5；

条件2：其中β为常数系数，β＝1；

条件3：其中γ为常数系数，γ＝0.5；

满足条件1、2、3中的一个条件则认为使用移动通信设备的人员发生移动。

2.根据权利要求1所述的一种人员移动中使用移动通讯设备的行为检测及报警系统，其特征在于，判断不同帧之间的行为人是否为同一人的方法为：

其中，t为设定的阈值，且0＜t＜1，σ₂₁、σ₂₂分别为两帧正规化特征。

3.根据权利要求1所述的一种人员移动中使用移动通讯设备的行为检测及报警系统，其特征在于，所述视频获取模块只采集保存有工作人员出现的帧的图像。

4.根据权利要求1所述的一种人员移动中使用移动通讯设备的行为检测及报警系统，其特征在于，所述视频获取模块对获取的图片使用时间戳打上标签。