CN113269039A - 一种在岗人员行为识别方法和系统 - Google Patents

Abstract

本发明提供一种在岗人员行为识别方法和系统，利用人工智能算法和大数据分析技术提高了在岗人员监管的效率，解决了人工巡视存在的工作量大、耗时长、覆盖范围少的问题，包括以下步骤：获取图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像以完成人员检测；根对所述在岗人员检测的结果进行分析，获取人员在岗情况；将场景图像输入SSD目标检测模型，识别场景图像中是否带有香烟或手机；判断在岗人员行为是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

Description

一种在岗人员行为识别方法和系统

技术领域

本发明涉及视觉识别技术领域，具体涉及一种在岗人员行为识别方法和系统。

背景技术

在一些行业当中，对在岗人员的行为进行监测是一种通行的管理方法，其目的在于避免在岗人员因为个人自制力和行为习惯做出不恰当的行为，以保证岗位纪律。传统的岗位监测采用监控摄像头结合人力巡查的方式，其巡检时间和范围受到人力等各种资源的限制，存在监管力度不够，监管效率低下的问题。

近年来随着人工智能技术和大数据分析技术的发展，基于深度学习的视觉算法在目标检测和目标识别领域取得了很大的进步，但采用视觉识别技术对岗位行为监测也存在假警率高，预警类型有限，且易受现场环境影响的缺点。

发明内容

本发明的目的是提供一种在岗人员行为识别方法和系统，对于在岗人员的行为进行监控和智能分析，以提高监管人员的工作效率，增强监管的质量。

为了达到上述目的，本发明一方面提供一种在岗人员行为识别方法，包括：

获取监控摄像头的图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像，以完成在岗人员检测；

根据人员在岗分析策略对所述在岗人员检测的结果进行分析，以获取人员在岗分析结果；

将所述场景图像输入经过优化的SSD目标检测模型，识别场景图像中是否带有香烟或手机，以获取行为分析结果；

判断在岗分析结果和行为分析结果是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

进一步的，所述YOLOV3模型的优化过程包括：

根据站立或坐下的人形轮廓的特征修改模型预设获选框的特征和数量；

修改YOLOV3模型的cfg配置文件，将linear激活层修改为swish激活函数；

将YOLOV3模型的目标检测类别数修改为1。

进一步的，，所述YOLOV3模型的训练和部署过程包括：

利用标注工具对数据集进行标注以获得训练数据集；

基于Darknet深度学习框架部署所述YOLOV3模型，并将训练数据集输入模型完成训练；

基于开源前向推理框架TensorRT部署经过训练的YOLOV3模型，以进行在岗人员检测。

进一步的，，所述目标检测模型采用以Mobilenetv2为主干网络的SSD目标检测算法，其训练过程包括：

将香烟或手机的图像作为训练数据集，利用caffe-ssd框架进行目标检测模型的训练；

基于TensorRT框架部署目标检测模型，以完成香烟或手机的目标识别。

进一步的，，所述人员在岗分析策略包括：

判断场景图像中是否存在上班时间是否存在长时间离岗的行为；

判断场景图像中是否存在无人在岗的行为；

判断场景图像中是否存在有人闯入的行为；

判断场景图像中是否存在上班迟到或者下班早退的行为。

进一步的，所述人员行为分析策略包括：

判断场景图像中是否识别出手机，如是则判断为打电话行为；

判断场景图像中是否识别出香烟，如是则判断为抽烟行为。

进一步的，所述预警策略包括：

根据所述分析结果设定预警等级，其中无人在岗和长时间离岗为最优先级，抽烟为次优先级，打电话为一般优先级，迟到早退和有人闯入为一般级；

发送预警信息，所述预警信息包括，场景图片、时间和预警等级。

进一步的，对于预警信息进行数据挖掘，包括：

根据不同的监控组别，分析每个组别的预警信息，形成月度，季度，年度报表；

根据预警信息的等级，分析不同预警行为出现的概率，形成月度，季度，年度报表。

另一方面，本发明还提供一种在岗人员行为识别系统，包括：

人员识别模块，用以获取监控摄像头的图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像，以完成在岗人员检测，并根据人员在岗分析策略对所述在岗人员检测的结果进行分析，以获取人员在岗分析结果；

行为识别模块，用以将所述场景图像输入经过优化的SSD目标检测模型，识别场景图像中是否带有香烟或手机，以获取行为分析结果；

行为预警模块，用以判断在岗分析结果和行为分析结果是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

进一步的，本系统还包括：

摄像头管理模块：所述摄像头管理模块通过RTSP协议与摄像头连接，用于获取摄像头所拍摄的场地图像。

本发明与现有技术相比，其显著优点在于：

1、采用RTSP协议，具有统一的摄像头对接接口，摄像头支持类型多且对接方式简单。

2、基于最新的深度学习算法对于监控的人员进行特定行为的识别，具有识别类型多，识别精度高的有点。

3、基于大数据分析技术对于智能识别后的数据进行二次挖掘分析，进一步的将分析结果进行利用，最大化的提高了预警的范围和预警的质量。

4、额外的预警管理模块，对于预警的信息进行分级，分区域处理，避免了预警消息轻重缓急不分，预警消息区域不分的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的在岗人员识别装置的系统框架图。

图2是本发明一个实施例的摄像头管理模块的框架图；

图3是本发明一个实施例的在岗人员行为识别方法的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。、

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

本发明的一种在岗人员行为识别方法采用人工智能和大数据分析的技术，将在岗人员行为监控数据和分析预计结果存储在服务器端上，并且允许外部的用户通过客户端查找这些数据资源。

首先，本发明提供一种在岗人员行为识别系统用以实现上述在岗人员行为识别方法。

图1为是本发明一个实施例的在岗人员行为识别系统的系统框架图，图2为一个实施例的在岗人员识别装置的系统框架图。

如图1所示，本发明的在岗人员行为识别系统包括摄像头管理模块101、人员识别模块102、行为识别模块103和行为预警模块104。

摄像头管理模块101用于管理安装于工作场地中的摄像头200，摄像头200可布置于多个工位，以拍摄各工位的视频。摄像头管理模块用以接收各摄像头200所拍摄的视频数据，并将视频数据实时传输到人员识别模块102进行处理。摄像头管理模块支持摄像头的添加，删除和修改等管理操作。

在一个实施例中，摄像头管理模块101采用RTSP协议与摄像头200数据连接，RTSP协议可兼容市面上主流品牌的摄像头如海康、大华、宇视和安迅视，这样本发明的在岗人员行为识别系统在部署时可灵活地兼容各种类型的现有摄像头，降低了对接的难度。

人员识别模块102用以获取监控摄像头的图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像，以完成在岗人员检测。

具体的，YOLOV3模型作为一个物体检测算法具有精度高和速度快的优点，针对人员检测这个问题对YOLOV3模型进行了定制化修改，具体修改内容包括：

(1)根据包含站立的行人或者坐着的人的外接矩形框的特性，修改原算法中的候选框中的9个不同尺度和大小的候选框为6个候选框具体为修改，将候选框[10,13,16,30,33,23,30,61,62,45,59,119,116,90,156,198,373,326]修改为[10,13,16,30,33,35,59,119,156,300,310,320]。

(2)修改YOLOV3模型网络结构配置文件cfg中的linear激活层为swish激活函数，是模型具有更好的收敛性。

(3)修改YOLOV3算法目标检测的类别数为1。

具体的，YOLOV3模型在优化完毕以后，其具体实现的过程包括以下模型训练和部署的步骤，：

(1)：利用编写的标注工具，在整理的海量数据集上进行人工标注，得到可以用来进行训练的训练数据集。

步骤(2)：利用步骤(1)中标注的海量训练数据，基于修改的YOLOV3算法利用开源深度学习框架Darknet进行人员检测的训练，以得到一个训练好的网络模型。

步骤(3)：利用步骤(2)中训练得到的网络模型，基于开源前向推理框架TensorRT进行人员检测，得到结果。

人员识别模块102在得到人员检测结果以后，根据人员在岗分析策略对所述在岗人员检测的结果进行分析，以获取人员在岗分析结果。具体的，分析策略包括：

判断场景图像中是否存在上班时间是否存在长时间离岗的行为；

判断场景图像中是否存在无人在岗的行为；

判断场景图像中是否存在有人闯入的行为；

判断场景图像中是否存在上班迟到或者下班早退的行为。

人员识别模块102在获取人员在岗分析结果后，将上述分析结果发送到行为预警模块104进行处理。

行为识别模块103将人员识别模块102识别的场景图像输入经过优化的SSD目标检测模型，识别场景图像中是否带有香烟或手机，以获取行为分析结果。

具体的，行为识别包含三个核心的步骤：

步骤(1)：获取基于YOLOV3模型算法定位到监控中的人员的场景图像。

步骤(2)：根据步骤(1)中获取的人员的场景图像，从原监控画面中抠取出人员图片，将图片送入到行为识别算法中定位出手机或香烟的位置区域。

步骤(3)根据步骤(2)中的结果如果发现手机或香烟，则判定为当前视频流中有打电话的行为或抽烟的行为，否则判定为没有打电话或抽烟的行为。

在本发明的一个实施例中，SSD目标检测模型采用的是以Mobilenetv2为主干网络的SSD目标检测算法。通过整理人员打电话的数据集直接利用caffe-ssd框架进行网络模型的训练，得到训练好的网络模型，基于开源前向推理框架TensorRT进行电话检测，得到结果。

行为识别模块103通过行为分析策略对目标检测模型的检测结果进行分析，包括：

判断场景图像中是否识别出手机，如是则判断为打电话行为；

判断场景图像中是否识别出香烟，如是则判断为抽烟行为。

行为预警模块104用以判断在岗分析结果和行为分析结果是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

其中，预警等级为三级，无人在岗和长时间离岗为最优先级，抽烟为次优先级，打电话为一般优先级，迟到早退和有人闯入为一般级。行为预警模块104将预警的信息以预警图片、时间、级别、窗口固定的格式推送到客户端300的访问界面。

行为预警模块104同时还对在岗分析结果和行为分析结果进行深度挖掘。具体挖掘方法包括：

(1)根据不同监控组的预警信息，分析每个监控组的预警记录，形成月度，季度，年度报表。

(2)根据预警的等级信息，分析不同预警行为出现的概率，形成月度，季度，年度报表。

(3)根据摄像头的状态信息，形成摄像头健康状态报表。

图2是本发明一个实施例的在岗人员识别装置的系统框架图，如图2所示，本发明的在岗人员识别装置还包括摄像头300，摄像头管理模块101、人员识别模块102、行为识别模块103、行为预警模块104服务器管理模块106和客户端访问界面300。

客户端访问界面300用于提供用户交互操作和显示界面，可通过网络连接到服务器端的在岗人员行为识别系统，完成在岗人员告警行为监控和维护操作。

服务器管理系统106用以部署和运行在岗人员行为识别系统，服务器管理系统200采用云端服务器框架，通过大数据存储在岗人员识别系统。

图3为本发明一个实施例的在岗人员行为识别方法，包括以下步骤：

S1，获取监控摄像头的图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像，以完成在岗人员检测。

具体的，YOLOV3模型作为一个物体检测算法具有精度高和速度快的优点，针对人员检测这个问题对YOLOV3模型进行了定制化修改，具体修改内容包括：

(1)根据包含站立的行人或者坐着的人的外接矩形框的特性，修改原算法中的候选框中的9个不同尺度和大小的候选框为6个候选框具体为修改，将候选框[10,13,16,30,33,23,30,61,62,45,59,119,116,90,156,198,373,326]修改为[10,13,16,30,33,35,59,119,156,300,310,320]。

(2)修改YOLOV3模型网络结构配置文件cfg中的linear激活层为swish激活函数，是模型具有更好的收敛性。

(3)修改YOLOV3算法目标检测的类别数为1。

具体的，YOLOV3模型在优化完毕以后，其具体实现的过程包括以下模型训练和部署的步骤，：

(1)：利用编写的标注工具，在整理的海量数据集上进行人工标注，得到可以用来进行训练的训练数据集。

步骤(2)：利用步骤(1)中标注的海量训练数据，基于修改的YOLOV3算法利用开源深度学习框架Darknet进行人员检测的训练，以得到一个训练好的网络模型。

步骤(3)：利用步骤(2)中训练得到的网络模型，基于开源前向推理框架TensorRT进行人员检测，得到结果。

S2，在得到人员检测结果以后，根据人员在岗分析策略对所述在岗人员检测的结果进行分析，以获取人员在岗分析结果。具体的，分析策略包括：

判断场景图像中是否存在上班时间是否存在长时间离岗的行为；

判断场景图像中是否存在无人在岗的行为；

判断场景图像中是否存在有人闯入的行为；

判断场景图像中是否存在上班迟到或者下班早退的行为。

S3，识别的场景图像输入经过优化的SSD目标检测模型，识别场景图像中是否带有香烟或手机，以获取行为分析结果。

具体的，行为识别包含三个核心的步骤：

步骤(1)：获取基于YOLOV3模型算法定位到监控中的人员的场景图像。

步骤(2)：根据步骤(1)中获取的人员的场景图像，从原监控画面中抠取出人员图片，将图片送入到行为识别算法中定位出手机或香烟的位置区域。

步骤(3)根据步骤(2)中的结果如果发现手机或香烟，则判定为当前视频流中有打电话的行为或抽烟的行为，否则判定为没有打电话或抽烟的行为。

在本发明的一个实施例中，SSD目标检测模型采用的是以Mobilenetv2为主干网络的SSD目标检测算法。通过整理人员打电话的数据集直接利用caffe-ssd框架进行网络模型的训练，得到训练好的网络模型，基于开源前向推理框架TensorRT进行电话检测，得到结果。

之后，通过行为分析策略对目标检测模型的检测结果进行分析，包括：

判断场景图像中是否识别出手机，如是则判断为打电话行为；

判断场景图像中是否识别出香烟，如是则判断为抽烟行为。

S4判断在岗分析结果和行为分析结果是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

其中，预警等级为三级，无人在岗和长时间离岗为最优先级，抽烟为次优先级，打电话为一般优先级，迟到早退和有人闯入为一般级。行为预警模块104将预警的信息以预警图片、时间、级别、窗口固定的格式推送到客户端300的访问界面。

进一步的，对在岗分析结果和行为分析结果还进行深度挖掘。具体挖掘方法包括：

(1)根据不同监控组的预警信息，分析每个监控组的预警记录，形成月度，季度，年度报表。

(2)根据预警的等级信息，分析不同预警行为出现的概率，形成月度，季度，年度报表。

(3)根据摄像头的状态信息，形成摄像头健康状态报表。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在岗人员行为识别方法，其特征在于，包括：

获取监控摄像头的图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像，以完成在岗人员检测；

根据人员在岗分析策略对所述在岗人员检测的结果进行分析，以获取人员在岗分析结果；

将所述场景图像输入经过优化的SSD目标检测模型，识别场景图像中是否带有香烟或手机，以获取行为分析结果；

判断在岗分析结果和行为分析结果是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

2.如权利要求1所述的一种在岗人员行为识别方法，其特征在于，所述YOLOV3模型的优化过程包括：

根据站立或坐下的人形轮廓的特征修改模型预设获选框的特征和数量；

修改YOLOV3模型的cfg配置文件，将linear激活层修改为swish激活函数；

将YOLOV3模型的目标检测类别数修改为1。

3.如权利要求2所述的一种在岗人员行为识别方法，其特征在于，所述YOLOV3模型的训练和部署过程包括：

利用标注工具对数据集进行标注以获得训练数据集；

基于Darknet深度学习框架部署所述YOLOV3模型，并将训练数据集输入模型完成训练；

基于开源前向推理框架TensorRT部署经过训练的YOLOV3模型，以进行在岗人员检测。

4.如权利要求1所述的一种在岗人员行为识别方法，其特征在于，所述目标检测模型采用以Mobilenetv2为主干网络的SSD目标检测算法，其训练过程包括：

将香烟或手机的图像作为训练数据集，利用caffe-ssd框架进行目标检测模型的训练；

基于TensorRT框架部署目标检测模型，以完成香烟或手机的目标识别。

5.如权利要求1所述的一种在岗人员行为识别方法，其特征在于，所述人员在岗分析策略包括：

判断场景图像中是否存在上班时间是否存在长时间离岗的行为；

判断场景图像中是否存在无人在岗的行为；

判断场景图像中是否存在有人闯入的行为；

判断场景图像中是否存在上班迟到或者下班早退的行为。

6.如权利要求1所述的一种在岗人员行为识别方法，其特征在于，所述人员行为分析策略包括：

判断场景图像中是否识别出手机，如是则判断为打电话行为；

判断场景图像中是否识别出香烟，如是则判断为抽烟行为。

7.如权利要求5或6所述的任一种在岗人员行为识别方法，其特征在于，所述预警策略包括：

根据所述分析结果设定预警等级，其中无人在岗和长时间离岗为最优先级，抽烟为次优先级，打电话为一般优先级，迟到早退和有人闯入为一般级；

发送预警信息，所述预警信息包括，场景图片、时间和预警等级。

8.如权利要求7所述的一种在岗人员行为识别方法，其特征在于，对于预警信息进行数据挖掘，包括：

根据不同的监控区域，分析每个组别的预警信息，形成月度，季度，年度报表；

根据不同的监控组别，分析每个组别的预警信息，形成月度，季度，年度报表；

根据预警信息的等级，分析不同预警行为出现的概率，形成月度，季度，年度报表。

9.一种在岗人员行为识别系统，其特征在于，包括：

人员识别模块，用以获取监控摄像头的图像数据，将图像数据输入经过优化的YOLOV3模型提取多个带有人形轮廓的场景图像，以完成在岗人员检测，并根据人员在岗分析策略对所述在岗人员检测的结果进行分析，以获取人员在岗分析结果；

行为识别模块，用以将所述场景图像输入经过优化的SSD目标检测模型，识别场景图像中是否带有香烟或手机，以获取行为分析结果；

行为预警模块，用以判断在岗分析结果和行为分析结果是否违反预警策略，所述预警策略包括数个预警等级，根据相应预警等级向用户发送预警信息。

10.如权利要求9所述的一种在岗人员行为识别系统，其特征在于，还包括：

摄像头管理模块：所述摄像头管理模块通过RTSP协议与摄像头连接，用于获取摄像头所拍摄的场地图像。

Images