CN115116004A - 一种基于深度学习的办公区域异常行为检测系统及方法 - Google Patents

Abstract

本发明涉及图像检测技术领域，公开了一种基于深度学习的办公区域异常行为检测系统及方法，该系统包括监控摄像头、图像存储服务器以及后台管理服务器，监控摄像头分别设置于办公区域内，监控摄像头用于监控办公区域内人员的行为情况，监控摄像头均与图像存储服务器数据连接，图像存储服务器分别与后台管理服务器数据连接，本发明能够自动识别办公区域中的人及其对应的行为，以及发生异常行为时对应的视频片段，并将其上传后台管理服务器，从而大大减少人工巡检工作量，实现办事窗口质量服务质量监督，有效地帮助企业提高工作效能。

Description

一种基于深度学习的办公区域异常行为检测系统及方法

技术领域

本发明涉及图像检测技术领域，特别涉及一种基于深度学习的办公区域异常行为检测系统及方法。

背景技术

现如今，高效率的办公不仅是个人，也是公司所需要的，然而目前很多办事大厅存在员工上班偷懒的现象，这不仅让个人办公效率变得低下，也对公司的产能发展造成困扰。

然而，目前传统的办公环境下的异常行为检测往往依靠人力通过摄像头实时传输的画面来判断员工是否有异常行为，这样会存在两个问题：一是效率低下且大量消耗人力，大量增加公司运营成本，二是无法对突然发生的异常行为做到及时记录留存。

发明内容

本发明的主要目的是提出一种基于深度学习的办公区域异常行为检测系统及方法，旨在对办公区域中员工的异常行为进行检测，通过多路摄像头将监控画面实时传输给图像存储服务器后，图像存储服务器将处理后的图像输入卷积神经网络，检测人体目标以及对应的行为，判断是否有聚众和睡觉等异常行为，当有办公区域中存在上述异常行为时，会及时对人员、异常行为类型和异常行为发生时间段及其视频画面进行保留以作留存和记录，待后续管理人员复查时使用，同时将对上述异常行为进行报警以提醒管理员，还可以方便管理员用浏览器访问后台管理系统查询各办公区域的员工行为状态。

为实现上述目的，本发明提出的基于深度学习的办公区域异常行为检测系统，包括监控摄像头、图像存储服务器以及后台管理服务器，所述监控摄像头分别设置于办公区域内，所述监控摄像头用于监控办公区域内人员的行为情况，所述监控摄像头均与所述图像存储服务器数据连接，所述图像存储服务器分别与所述后台管理服务器数据连接，所述图像存储服务器用于自动识别办公区域中的人及其对应的行为情况，以及发生异常行为时将对应的视频片段和对应异常的截图上传至所述后台管理服务器，所述后台管理服务器用于在收到所述图像存储服务器发出的信息后，及时将异常行为及其人员、视频做记录，并告警通知管理员，使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。

本发明还提供一种基于深度学习的办公区域异常行为检测方法，采用上述的系统进行，包括如下步骤：

图像服务器接入监控内网；

管理员登陆后台管理网站，配置图像存储服务器绑定的摄像头视频流地址等参数；

管理员通过后台管理网站启动指定的图像存储服务器；

图像存储服务器通过内置的异常行为识别算法，自动识别办公区域中的人及其对应的行为，以及发生异常行为时对应的视频片段，并将其上传后台管理服务器；

后台管理服务器在收到图像存储服务器发出的信息后，及时将异常行为及其人员、视频做记录，并告警通知管理员。

进一步地，所述的异常行为识别算法包括如下步骤：

步骤1：视频流输入作为数据输入源，首先通过实时流协议(RTSP)接入监控网络中的多个摄像头，并使用多个进程来并行处理多视频流，每个进程负责处理一路RTSP视频流，读取最新视频帧经过预处理后传递给下层目标检测网络；

步骤2：目标检测，目标检测网络以Yolov5为模型，Yolov5目标检测网络以416至640分辨率之间的图像作为输入，经过卷积神经网络提取图像特征，预测出每张图像中的人员位置及对应行为的置信度，通过Yolov5检测图像中的目标对象是否睡觉，在经过置信度阈值筛选后，将符合置信阈值的人员标注为“睡觉的人”和“其他的人”；

步骤3：分类，若步骤2中的目标检测网络检测到“睡觉”行为，会将该目标框送入ResNet50分类网络，该网络是一个二分类的网络，用于二次判断“是否睡觉”，最终会输出二值目标，即判断“睡觉”与“非睡觉”；

步骤4：光流法，若步骤3中的分类网络检测到“睡觉”行为，会对该目标框做光流法来检测是否存在运动，光流法可以计算每个像素的平均光流，并判断光流是否大于设定阈值，若大于该阈值，则判定处于运动状态，即“非睡觉”行为，否则判定处于静止状态，即“睡觉”行为；

步骤5：若上述步骤2、3、4中出现判定为“非睡觉”行为状态的目标，则将该目标归为“其他的人”集合；

步骤6：“聚众”行为的检测，该步骤将步骤5中所有“其他的人”目标框作为输入，首先设定“聚众”距离阈值，检索出画面中所有距离小于阈值的人员集合，然后计算所有人员框上边中点的距离矩阵，用来生成无向图，之后计算出生成无向图的极大连通子图集合，最后取出所有长度大于1的极大连通子图即为所求聚众人员目标框集合，若人员阈值均大于设定的“聚众”距离阈值，则代表无“聚众”行为发生，即为正常工作的行为；

步骤7：后台管理，最终将预测的人员的位置、以及行为以及异常行为视频段发送给后台管理服务器。

采用本发明的技术方案，具有以下有益效果：本发明的技术方案，通过多路视频对办公区域进行视频覆盖监控，实现日常视频巡查、问题追溯、问题取证的监察辅助能力，应用视频分析技术对人员行为进行智能分析，从而能够及时发现办公区域、办事窗口人员异常状态并报警，大大减少人工巡检工作量，实现办事窗口质量服务质量监督，有效地帮助企业提高工作效能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提出的一种基于深度学习的办公区域异常行为检测系统的整体框架结构示意图；

图2为本发明提出的一种基于深度学习的办公区域异常行为检测方法的的步骤流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种基于深度学习的办公区域异常行为检测系统及方法。

如图1所示，在本发明一实施例中，该基于深度学习的办公区域异常行为检测系统，包括监控摄像头101、图像存储服务器102以及后台管理服务器103，监控摄像头分别设置于办公区域内，监控摄像头用于监控办公区域内人员的行为情况，监控摄像头均与图像存储服务器数据连接，图像存储服务器分别与后台管理服务器数据连接，图像存储服务器用于自动识别办公区域中的人及其对应的行为情况，以及发生异常行为时将对应的视频片段和对应异常的截图上传至后台管理服务器，后台管理服务器用于在收到图像存储服务器发出的信息后，及时将异常行为及其人员、视频做记录，并告警通知管理员，使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。

如图2所示，本发明提供一种基于深度学习的办公区域异常行为检测方法，采用上述的系统进行，包括如下步骤：

S100：图像服务器接入监控内网；

S200：管理员登陆后台管理网站，配置图像存储服务器绑定的摄像头视频流地址等参数；

S300：管理员通过后台管理网站启动指定的图像存储服务器；

S400：图像存储服务器通过内置的异常行为识别算法，自动识别办公区域中的人及其对应的行为，以及发生异常行为时对应的视频片段，并将其上传后台管理服务器；

S500：后台管理服务器在收到图像存储服务器发出的信息后，及时将异常行为及其人员、视频做记录，并告警通知管理员。

本系统的核心算法是目标检测算法和分类算法。目标检测以Yolov5网络框架为基础，分类算法以ResNet50网络框架为基础，整体流程主要分为两个阶段：模型训练阶段和模型部署阶段，两个阶段相辅相成，缺一不可。

一、模型训练

异常行为识别的算法主要以自制的多场景多视角数据为主，以现有的开源数据集补充为辅。自制的数据集主要是通过两种途径到的，第一种是对安装在实验室的摄像头，以俯视视角固定时间间隔定期拍摄视频；第二种是政务大厅日常办公的画面。对每天采集的视频和图片进行汇总，对视频分段取帧得到图片，删除其中的无效帧、模糊帧等坏帧，将一张张图片进行人工手动标注生成YOLO格式标签，最后将数据集汇总交由算法模型去训练。

二、模型部署

具体地，所述的异常行为识别算法包括如下步骤：

步骤1：视频流输入作为数据输入源，首先通过实时流协议(RTSP)接入监控网络中的多个摄像头，并使用多个进程来并行处理多视频流，每个进程负责处理一路RTSP视频流，读取最新视频帧经过预处理后传递给下层目标检测网络；

步骤2：目标检测，目标检测网络以Yolov5为模型，Yolov5目标检测网络以416至640分辨率之间的图像作为输入，经过卷积神经网络提取图像特征，预测出每张图像中的人员位置及对应行为的置信度，这里为了加快多路视频帧并行输入下的处理速度，采用批处理的方式同时预测多张输入图像，通过Yolov5检测图像中的目标对象是否睡觉，在经过置信度阈值筛选后，将符合置信阈值的人员标注为“睡觉的人”和“其他的人”；

步骤3：分类，若步骤2中的目标检测网络检测到“睡觉”行为，会将该目标框送入ResNet50分类网络，该网络是一个二分类的网络，用于二次判断“是否睡觉”，最终会输出二值目标，即判断“睡觉”与“非睡觉”；该步骤的目的是为了进一步强化“睡觉”目标的置信度，可以大大降低误检测的发生；

步骤4：光流法，若步骤3中的分类网络检测到“睡觉”行为，会对该目标框做光流法来检测是否存在运动，光流法可以计算每个像素的平均光流，并判断光流是否大于设定阈值，若大于该阈值，则判定处于运动状态，即“非睡觉”行为，否则判定处于静止状态，即“睡觉”行为；该步骤的目的是为了进一步确保步骤2、3中判定的“睡觉”行为是否为真实睡觉状态，确保不会出现漏判和错判；

步骤5：若上述步骤2、3、4中出现判定为“非睡觉”行为状态的目标，则将该目标归为“其他的人”集合；

步骤6：“聚众”行为的检测，该步骤将步骤5中所有“其他的人”目标框作为输入，首先设定“聚众”距离阈值，检索出画面中所有距离小于阈值的人员集合，然后计算所有人员框上边中点的距离矩阵，用来生成无向图，之后计算出生成无向图的极大连通子图集合，最后取出所有长度大于1的极大连通子图即为所求聚众人员目标框集合，若人员阈值均大于设定的“聚众”距离阈值，则代表无“聚众”行为发生，即为正常工作的行为；

步骤7：后台管理，最终将预测的人员的位置、以及行为以及异常行为视频段发送给后台管理服务器。

具体地，本发明的技术方案利用人体目标检测与行为检测来监管办公区域人员上班状态，并且将识别检测结果上传到后台管理服务器进行处理、存储，最终通过浏览器将办公区域的办公状态展示给管理员：

1、系统更简单，无需安装特定的AI摄像头，能够兼容绝大部分现有的监控系统，有效降低成本；

2、更智能，实时检测所有办公区域的人群状态，实时、精准记录员工及其是否有异常行为；

3、更便捷，数据云端存储，管理员可以通过浏览器随时随地查看、管理系统运行状态。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (3)

1.一种基于深度学习的办公区域异常行为检测系统，其特征在于，包括监控摄像头、图像存储服务器以及后台管理服务器，所述监控摄像头分别设置于办公区域内，所述监控摄像头用于监控办公区域内人员的行为情况，所述监控摄像头均与所述图像存储服务器数据连接，所述图像存储服务器分别与所述后台管理服务器数据连接，所述图像存储服务器用于自动识别办公区域中的人及其对应的行为情况，以及发生异常行为时将对应的视频片段和对应异常的截图上传至所述后台管理服务器，所述后台管理服务器用于在收到所述图像存储服务器发出的信息后，及时将异常行为及其人员、视频做记录，并告警通知管理员，使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。

2.一种基于深度学习的办公区域异常行为检测方法，其特征在于，采用如权利要求1所述的系统进行，包括如下步骤：

图像服务器接入监控内网；

管理员登陆后台管理网站，配置图像存储服务器绑定的摄像头视频流地址等参数；

管理员通过后台管理网站启动指定的图像存储服务器；

图像存储服务器通过内置的异常行为识别算法，自动识别办公区域中的人及其对应的行为，以及发生异常行为时对应的视频片段，并将其上传后台管理服务器；

后台管理服务器在收到图像存储服务器发出的信息后，及时将异常行为及其人员、视频做记录，并告警通知管理员。

3.根据权利要求2所述的基于深度学习的办公区域异常行为检测方法，其特征在于，所述的异常行为识别算法包括如下步骤：

步骤1：视频流输入作为数据输入源，首先通过实时流协议(RTSP)接入监控网络中的多个摄像头，并使用多个进程来并行处理多视频流，每个进程负责处理一路RTSP视频流，读取最新视频帧经过预处理后传递给下层目标检测网络；

步骤2：目标检测，目标检测网络以Yolov5为模型，Yolov5目标检测网络以416至640分辨率之间的图像作为输入，经过卷积神经网络提取图像特征，预测出每张图像中的人员位置及对应行为的置信度，通过Yolov5检测图像中的目标对象是否睡觉，在经过置信度阈值筛选后，将符合置信阈值的人员标注为“睡觉的人”和“其他的人”；

步骤3：分类，若步骤2中的目标检测网络检测到“睡觉”行为，会将该目标框送入ResNet50分类网络，该网络是一个二分类的网络，用于二次判断“是否睡觉”，最终会输出二值目标，即判断“睡觉”与“非睡觉”；

步骤4：光流法，若步骤3中的分类网络检测到“睡觉”行为，会对该目标框做光流法来检测是否存在运动，光流法可以计算每个像素的平均光流，并判断光流是否大于设定阈值，若大于该阈值，则判定处于运动状态，即“非睡觉”行为，否则判定处于静止状态，即“睡觉”行为；

步骤5：若上述步骤2、3、4中出现判定为“非睡觉”行为状态的目标，则将该目标归为“其他的人”集合；

步骤6：“聚众”行为的检测，该步骤将步骤5中所有“其他的人”目标框作为输入，首先设定“聚众”距离阈值，检索出画面中所有距离小于阈值的人员集合，然后计算所有人员框上边中点的距离矩阵，用来生成无向图，之后计算出生成无向图的极大连通子图集合，最后取出所有长度大于1的极大连通子图即为所求聚众人员目标框集合，若人员阈值均大于设定的“聚众”距离阈值，则代表无“聚众”行为发生，即为正常工作的行为；

步骤7：后台管理，最终将预测的人员的位置、以及行为以及异常行为视频段发送给后台管理服务器。

Images