CN113411542A - 一种智能化的工作状况监测设备 - Google Patents

Abstract

本发明公开一种智能化的工作状况监测设备；包括数据采集模块，视频监测模块，结果反馈模块；用户自行设定json文件和相应规格的摄像头进行员工状态视频的采集，作为视频监测设备的数据采集模块；用户选择需要进行监测的监控区域，同时摄像头采集该区域的员工状态视频，在线将视频传到安装好视频监测软件的主机上，然后用户开启检测，视频监测软件开始对输入的视频进行检测，使用训练好Yolo v3，slow fast模型，分别对工位上的人头，人的姿势进行检测，查看视频中是否有上班时间里违反公司规定的行为，并将检测结果反馈给用户；通过该模型实现的视频监测设备具体检测正确率高，检测速度快等一系列优点。通过该设备可以优化以往的考勤方式，减少人力资源的浪费。

Description

一种智能化的工作状况监测设备

技术领域

本发明涉及一种智能化的员工工作状况监测设备，主要适用于办公场所人员行为活动的监测，为管理提供相应的反馈，可作为员工考勤的辅助办法。

背景技术

在公司日常管理中，经常会在员工考勤、员工的日常状态考察上费尽精力，在人工日常工作情况考察方面上，经常采用的员工日常考核管理办法通过人工的方式，例如，主管会对手下员工的工作作出评价，尽可能地量化其所在岗位的工作指标，来衡量员工的工作成果及进行成长状况，然而这种方式很显然过于感性化，过于凭借主管感觉或过于印象考核，很大程度上会造成不公平的现象，上述员工考察方式都是过于以人为主，这样不仅造成人力资源浪费，同时有耗费精力和时间，采用技术的方法，通过对监控视频内容进行监测，对员工日常行为进行考核，作为员工考核一部分，更加量化工作状况，以及员工的进步成长状况，减少公司在该方面的物力、财力等浪费，更好、更公平地展现员工的工作状况，对于公司的管理来说，能够对员工日常工作情况进行监测管理，能够提高公司的工作效率，提高员工的工作效率，提高员工的工作效率，减少员工在工作时间，迟到早退、睡岗以及其余的违背公司员工管理规范的情况，更加量化员工工作，以及成长情况，本发明结合摄像设备和主机在线对员工工作时行为活动进行监测，对员工工作状况进行实时监测，同时对监测情况给出相应的反馈，对监测的内容作出评价，采用相应的深度算法，搭建相应的模型进行训练，提高行为活动监测的准确性，结合相应的公司管理规范，对员工是否存在相应的违反公司规定行为，给出结论，为公司管理提供帮助，同时提高员工积极性，促进员工的成长，为公司带来积极的效应。

发明内容：

本发明所述的一种智能化的员工工作状况监测设备，又称工作状态监测设备。是针对目前公司所采取人员考勤管理方面使用办法的现状，提供一种辅助公司进行员工管理的技术办法，采用深度学习算法进行模型的训练，结合视频监控设备在线实时地对员工工作状态进行监测分析，然后反馈一个监测结果，来判断员工是否在工作时间有违反公司规定的行为，提高员工积极性，提供一种公平性的员工考勤凭证，辅助公司人员管理，进一步实现提高公司的经济效益；采用软件与硬件相结合的方式对人员的状态进行检测，软件上采用深度学习算法进行模型训练，实现员工各个状态的监测与反馈，然后将研发的系统部署在相应的主机上，联合监控设备摄像头进行工位状态视频的采集，通过内部软件的各功能模块对采集的视频流数据进行监测处理，然后通过可视化的界面，将监测结果反馈给用户；视频监测系统通过视频监控设备对上班时间的摄像头所拍摄范围的视频进行采集，实时对图像进行分析，对员工在工作时间的状态进行统计，通过监测系统对在岗，不在岗状态进行分析，并将结果反馈给用户(该用户可以是管理人员)。通过这种方式对员工进行公平打分，简化对员工考勤工作，同时促进员工成长，提高公司的效益，适用于公司员工日常管理工作。

本发明具有以下优点：

本发明采用软件和硬件相结合的方式，呈现了一种适用于公司人员工作管理的智能化的监测设备，结合视频监控设备和相应配置的主机在线对员工在工作时的行为状况进行监测，针对监控设备采集的视频进行实时检测，并给出反馈，判断员工是否存在在工作时间有违反公司规定的行为。

为了提高对员工工作状态监测精确度，采用相关的算法进行模型训练，在获取训练数据时，需要对数据进行处理，对采集的视频的每帧图像进行标注，提高模型训练的效果，进一步提高后面对员工工作状态监测的准确率。

采用Yolo v3模型训练模型检测所在员工工位的人头，对员工是否在岗等情况进行分析，采用slow fast对员工睡岗以及玩手机状态的进行检测，对存在相应的违反公司规定的行为进行报警提示，将人工智能与硬件设备相结合，改变以往的人工方式，减轻压力，实现智能化检测。采用MQTT(消息队列遥测传输)协议进行多个监控设备的视频采集工作，对监控设备采集的不同区域的视频进行检测分析，实现多进程的视频检测，适合多场所的工位状态检测。

关键技术：本专利一种智能化的工作状况监测设备，结合视频摄像设备和主机实时地对工作时间员工存在行为状态进行监测，通过监控设备采集的视频图像实时进行分析，得出相应的结论，判断员工是否存在违反公司规定的活动，采用软硬件结合的方式对工位上员工状态信息进行检测，监控设备采集了视频流数据之后，采用opencv等方法进行视频信息读取，之后采用yolo，slowfast进行员工状态识别。其中采用通信协议联合多台监控设备进行视频流的采集，实时对员工工位状态进行检测。检测员工的姿势进一步判断工位上员工是否正常工作，或者说是否存在违反工作规定的行为，给出相应的反馈结果。

附图说明：

图1工作状态监测设备工作流程图

图2视频监测系统软件功能模块图

图3视频监测系统工作逻辑结构图

图4模型训练数据预处理流程图

图5判断‘是否在岗’模块逻辑结构图

图6判断是否‘迟到’模块逻辑结构图

图7判断‘是否早退’模块逻辑结构图

图8检测‘工位人头’的训练模型流程图

图9判断‘是否睡觉玩手机’模块逻辑结构图

图10检测‘睡觉、玩手机’的训练模型流程图

图11 Yolo v3网络结构图

图12工位上‘人头’检测模块结构图

图13 slowfast模型结构图

图14视频检测效果图

具体实施方案：

下面结合附图和具体实施方案对本发明作详细介绍。

设备整体结构概述：

本发明所述的工作状态监测设备，工作状态监测设备工作流程图如图1所示，其主要两个板块组成，一个是由相关的监控摄像设备组成的硬件板块，另一模块是以深度学习算法为核心的软件模块，不使用硬盘录像机的情况，采用主机加上网络摄像机，在线获取视频图像，监测系统实时地对视频图像进行检测分析，若存在违反规定的行为，进行报警提示。

下面针对上述两方面对设备结构进行描述：

硬件上：

该设备在硬件上主要是由监控摄像头，相应配置的主机，以及实时进行画面显示的显示器，将检测结果反馈给用户所需的网络配置，具体的描述如下：

摄像设备：在进行工位状态的视频流采集时所需的摄像头配置可以参考HIKVISION/海康威视该品牌的规格信息，摄像头的型号可参考DS-IPC-E20H-IW/E22H-IW/E22H-IWT类似的配置。

主机：为了不影响软件运行的效果，以及进行视频检测准确度，部署软件的主机需要达到相应的配置标准，具体的可以参考：微星(MSI)海皇戟X Trident X游戏小型台式电脑机(i9-9900K 32G RTX2080Ti 11G独显)类似配置的设备。

网络：为了进行视频监控，以及相应的视频流采集，检测，为了确保检测的正确率，要求网络带宽达到4M-6M，为了采集多个工作区域的工作状态视频流数据，可以联合多台摄像设备进行操作，为了避免在对多台视频流数据进行检测时造成系统冲突。

软件上：

本发明所述工作状态监测设备，在软件上主要采用深度学习算法进行模型的训练，实现设备核心的功能模块，智能化地对摄像设备采集的视频图像进行检测，形成工作状态监测系统，视频监测系统软件功能模块图如图2所示，视频监测系统工作逻辑结构图如图3所示，按功能模块划分可分为：数据采集，数据处理。各模块功能概述如下：

数据采集：对系统用户来说，需要创建json文件，用于存放监控摄像头相关信息，摄像头id、以及进行检测的视频流路径，以及工位信息(工位坐标，工位id、离岗时间限制、上下班时间，以及判断是否存在违反公司规定行为的阈值，如：睡岗阈值),该文件由用户设定其中参数，同时可以多个摄像头信息设置为写进程提供数据支持。

(1)写进程：创建队列以及列表存储摄像头id和每隔20帧(该数值可由用户自行设置)读取的视频对象

(2)读进程：从存放在列表中的摄像头id以及视频流对象取出；使用Yolo v3模型检测人头判断是否在岗，每隔2秒(该值可由用户自行设置)统计每个工位状态信息

数据处理：模型训练数据预处理流程图如图4所示，通过上述‘数据采集’过程采集的用户设定相关参数信息，从中获取监控摄像头采集的视频流数据所保存地址信息，从而可以获取员工状态视频数据，视频流数据进入到视频监测系统中，对员工状态视频进行重重的检测，判断员工是否存在违反规定的行为，系统检测内容如下所示：

判断‘是否在岗’：判断‘是否在岗’模块逻辑结构图如图5所示，读取每隔两秒(该项目所设值为两秒，用户可自行设定)统计到的每个工位的状态信息，检测‘工位人头’的训练模型流程图如图8所示，若模型没有检测到人头，则从当前时间开始计算时间差，若时间差超过两分钟(该项目目前所设阈值为两分钟，用户可自行设定)，模型仍未检测到人头，则说明该工位存在人员脱岗离岗，将报警10秒钟(报警时间可自行设定)，并清空该工位的所有状态。

判断‘是否迟到’：判断是否‘迟到’模块逻辑结构图如图6所示，读取每隔两秒(该项目所设值为两秒，用户可自行设定)统计到的每个工位的状态信息，若在上班时间内模型未检测到人头且当前时间大于所设置的迟到时间阈值范围，从当前时间开始计算时间差，若时间差超过两分钟(该项目目前所设阈值为两分钟，用户可自行设定)，模型仍未检测到人头，则说明该工位存在人员迟到，具体描述如图5所示。

判断‘是否早退’：判断‘是否早退’模块逻辑结构图如图7所示，读取每隔两秒(该项目所设值为两秒，用户可自行设定)统计到的每个工位的状态信息，若在上班时间内模型未检测到人头且当前时间小于所设置的早退时间阈值范围，从当前时间开始计算时间差，若时间差超过两分钟(该项目目前所设阈值为两分钟，用户可自行设定)，模型仍未检测到人头，则说明该工位存在人员早退。

判断‘是否睡觉玩手机’：判断‘是否睡觉玩手机’模块逻辑结构图如图9所示，检测‘睡觉、玩手机’的训练模型流程图如图10所示，使用大量数据训练出的slowfast模型检测员工的姿势，判断工位上员工是否正常工作、睡觉、玩手机。slowfast模型通过快慢两个通道的C3D网络，训练连续的视频帧，模型根据训练权重能够预测一段视频内人的动作，用户可以调用训练slowfast模型权重信息对项目大厅中的工作人员工作状态进行识别，返回员工是否正常工作、睡觉、玩手机。

设备工作流程：

视频监测设备由两部分构成，通过摄像头采集员工工作状态视频数据，然后视频监测系统对视频流进行检测，查看是否存在违反公司规定的行为，并将检测结果反馈给用户，下面对该设备具体工作流程进行描述。

步骤1：首先用户需要事先安装好摄像头，确保可以采集到高清的监控视频数据，避免由于采集的图像过于模糊不清导致的视频检测出现误差。

步骤2：在电脑上须事先安装好与视频流数据采集卡相匹配的本视频监测软件，若多于16个摄像头，可在一台电脑上装两张16路视频卡，共用一个本监测系统软件即可实现32个摄像头画面的监控。

步骤3：摄像头可通过视频线连接到装有视频采集卡的主机中，同时已经在主机中安装好自研的视频监测系统。

步骤4：用户打开视频监测系统软件进行视频信息模块上传。

(1)视频信息模块就是数据采集的json文件中保存的信息。该信息，用户可根据自己情况而定。

步骤5：将从摄像头拍摄到的视频流信息读入到视频监控系统中，用户通过界面的指示，开启检测，视频监测系统工作开启。

步骤6：视频监测系统的工作执行流程如下所示：

当上班时间到时，在线连接监控设备与主机，然后开启监测，而在下班时就关闭检测，在检测时以每25帧次数监测一次人的状态，然后通过相应的功能模块进行分析，在进行检测时，主要分为两种工作方式：‘不在岗’检测分析、‘在岗’检测分析。

‘不在岗’检测：

当系统判断当前时间是否达到上班时间，达到上班时间后，连接相应的监控设备，采用Yolo v3训练模型对监控区域内的工位进行检测，检测所在工位的人头，来判断是否在岗，若经过上一步对监控区域内工位上的人头检测，不在工位后，进一步对不在岗位的原因进行分析，通过用户根据公司情况规定相应的判断存在违反规定相应的一个判断是否早退时间范围，也称早退阈值，根据下班时间与早退阈值的差值情况进行判断，若当前阈值达到早退允许最大时间，则判断为早退，然后进行持续十秒的报警；当当前时间不为下班时间减去早退阈值，并且大于离岗阈值时，开始进行员工脱岗告警，当人状态切换告警即停；当前时间为上班时间加上迟到阈值，开始进行迟到告警，告警将持续十秒；当前时间不等于上班时间与迟到阈值之和，进一步判断不在岗时间是否大于离岗时间阈值，若大于离岗阈值，开始进行脱岗告警，直到人的状态切换才暂停。

(1)离岗阈值：离开岗位时间达到一定的值，判断为离岗

(1)迟到阈值：迟到的时间达到一定的值判断为迟到，

‘在岗’检测：

系统判断达到上班时间后，使用训练好的Yolo v3模型对人头进行检测，人员在工位上后，采用slowfast训练好模型，对人的姿势进行检测，判断是否存在‘在岗睡觉’，‘在岗玩手机’的行为；对人姿势进行识别，判断是否存在睡岗，存在睡觉行为，进一步判断睡觉的时间阈值，若大于睡岗阈值，开始睡岗报警，直至人状态切换，告警即停；采用slowfast训练好的模型，对人的姿势进行检测，若判断为玩手机，当时间大于玩手机的时间阈值时，开始进行玩手机告警，直至人的状态转换。

(1)睡岗时间阈值：当工位上睡觉行为持续到一定值，判断为睡岗。

(2)玩手机阈值：当玩手机时间达到一定的值，则判断为玩手机

步骤:7：将上述视频监测系统软件对监控设备所采集视频流进行实时分析后，经过上述的软件的功能模块对视频内容进行检测，视频检测效果图如图14所示，若存在上述行为，如脱岗、睡岗，将进行报警提示，并将结果通过显示屏呈现给用户。

设备的功能结构概述：

1‘在岗’检测：

1.1工位上‘人头’状况检测：

本发明通过对工位上的人头进行检测，判断员工是否在岗，进而判断员工是否存在脱岗、早退的行为，如图11所示为Yolo v3网络结构图，工位上员工状态的检测主要包括视频抽帧处理模块，Darknet-53特征提取模块，FPN实现多尺度预测模块，最后得到工位人头检测结果。模型结构详细介绍：如图12所示工位上‘人头’检测模块结构图，本发明在对员工是否在岗状态进行检测，采用的是Yolo v3模型，其工作原理是通过特征提取网络对输入的图像进行特征提取，得到一定大小的特征图，然后将特征图像划分为单元格，然后根据中心坐标的所处的情况，对目标进行预测。

模型的工作流程：

在对工位上‘人头’进行检测时使用到OpenCV对监控设备采集的视频流数据进行处理，将其存储为图片序列，作为‘人头’检测模型输入，并将人的工作状态检测结果显示给用户，然后使用Darknet-53对处理后的图像进行特征提取，如：对采集的工位状态的图像，对工位上是否存在‘人头’进行目标检测，最用使用到FPN进行多个尺寸的特征图进行融合，增强对工位上人头检测的准确度，最后通过模型对输入图像的检测结果，判断工位上人头是否存在，结合用户设定的时间阈值判断员工是否存在早退，脱岗等行为。

2.‘在岗’检测：

2.1工位上员工行为姿势检测：

本发明通过对工位上的人员姿势进行检测判断员工是否存在上班玩手机、睡觉行为。如图13所示是slow fast模型结构图，通过slow，fast快慢两个通道对经过监控设备采集的视频图像进行分析解读，实现对姿势进行预测，进而判断员工是否存在睡觉玩手机的行为。

模型结构描述：slowfast模型的工作原理是对同一视频片段应用两个平行的卷积神经网络，一个慢通道，一个快通道，slowfast使用了一个慢速高辨率CNN(slow通道)来分析视频中的静态内容，同时使用一个快速低分辨率CNN(fast通道)来分析视频中的动态内容，两通道都使用到C3D网络，用于提取三维图像特征，捕获时序上的信息，实现对图像中的行为进行识别。

模型的工作流程:

对监控设备采集的视频流数据进行处理，对连续帧进行训练，通过模型训练的权重对一段视频内的员工行为姿势进行预测，在此使用到C3D神经网络对捕捉的员工状态的若干帧图像进行3D卷积操作，在其中将fast通道数据侧向连接送入到slow通道中进行数据变换，在每个通道末端，使用slowfast进行全局平均池化，将slow，fast两通道的图像送入到全连接分类层中，完成对输入的图像中的动作进行识别，判断监控设备采集的员工状况视频是否存在睡觉玩手机的情况。

Claims (4)

1.一种智能化的工作状况监测设备，其特征在于，包含以下模块：

(1)数据采集：负责采集用户设定相关的参数信息，以及监控设备采集的上班时间员工状态视频。用户根据公司情况进行相应参数的调整，和监控摄像头拍摄员工工作状态的视频数据，作为视频监测系统的数据输入。

(2)视频监测：负责对采集的视频数据进行监测。对用户要求监测的监控区域，将其摄像头采集的视频输入到监测系统软件中进行检测，判断是否存在违反有公司规定的行为。

(3)结果反馈：负责将视频监测结果反馈给用户。通过视频检测后，若检测发现存在违反公司规定的行为，将会进行报警提示。

2.根据权利要求1，视频监测设备，其特征在于，所述模块(1)数据采集具体包括：

(1)根据不同公司的规定，用户需要设定的参数数值不同，对于用户来说，需要创建对应的json文件，用于存放监控摄像头相关信息，如：摄像头id，需要进行检测的视频的路径，以及工位坐标(工位坐标，工位id，离岗时间限制，上下班时间，以及判断是否存在违反公司规定行为的阈值，如：睡岗阈值)，该文件由用户设定其中参数，同时可以设置多个摄像头的信息，作为多进程提供数据支持。

(2)通过事先配置的摄像头装置，将用户需要检测的区域的视频进行采集，通过网络将采集视频数据传至安装好监测系统软件的主机中，然后用户通过软件界面操作开启视频检测即可。

3.根据权利要求1，视频监测设备，其特征在于，所述模块(2)视频监测具体包括以下功能：

(1)检测‘是否在岗’：用户开启检测后，视频监测系统软件，读取每隔两秒(该项目在研发时设定值为两秒，用户可自行设定)统计到的每个工位的状态视频信息，使用已经训练好的Yolo v3模型，对监控设备采集视频中的工位状况进行检测，通过对工位的人头进行检测，来判断员工是否在岗，若时间差超过两分钟(该项目目前所设阈值为两分钟，用户可自行设定)，模型仍未检测到人头，则说明该工位存在人员脱岗离岗，将报警10秒钟(报警时间可自行设定)，并清空该工位的所有状态。

(2)检测‘是否迟到’：读取每隔两秒(该项目在研发时设定值为两秒，用户可自行设定)统计到的每个工位的状态信息，若存在上班时间内视频系统未检测到人头且当前世家小于所设置的早退时间阈值范围，从当前时间开始计算时间差，若时间差超过两分钟(该项目目前所设阈值为两分钟，用户可自行设定)，模型仍未检测到人头，则说明该工位存在人员早退(3)检测‘是否早退’：读取每隔两秒(该项目所设值为两秒，用户可自行设定)统计到的每个工位的状态信息，若在上班时间内模型未检测到人头且当前时间小于所设置的早退时间阈值范围，从当前时间开始计算时间差，若时间差超过两分钟(该项目目前所设阈值为两分钟，用户可自行设定)，模型仍未检测到人头，则说明该工位存在人员早退。

(4)检测‘是否睡觉玩手机’：使用大量数据训练出的slowfast模型检测员工的姿势，判断工位上员工是否正常工作、睡觉、玩手机。slowfast模型通过快慢两个通道的C3D网络，训练连续的视频帧，模型根据训练权重能够预测一段视频内人的动作，用户可以调用训练slowfast模型权重信息对项目大厅中的工作人员工作状态进行识别，返回员工是否正常工作、睡觉、玩手机。

4.根据权利要求1，视频监测设备，其特征在于，所述模块(3)结果反馈具体包括以下内容：(1)通过事先配置的相应的监控摄像头进行视频数据采集，用户对json文件的相应参数信息进行调整，将采集的视频数据以及配置好的json文件作为视频监测系统的输入，然后用户通过相应的软件界面提示，选择需要检测的监控区域视频进行监测，监测完成后，若存在违反规定的行为，将进行报警提示，并将检测结果通过显示屏反馈给用户。

Images