CN116682034A

CN116682034A - 一种复杂生产作业场景下危险行为检测方法

Info

Publication number: CN116682034A
Application number: CN202310466054.6A
Authority: CN
Inventors: 刘朋杰; 刘晏伶; 田明昊; 杨恒; 刘洪宇; 王浩枫
Original assignee: Beijing Institute of Computer Technology and Applications
Current assignee: Beijing Institute of Computer Technology and Applications
Priority date: 2023-04-27
Filing date: 2023-04-27
Publication date: 2023-09-01

Abstract

本发明涉及一种复杂生产作业场景下危险行为检测方法，属于目标检测领域。本发明分为两个子系统，安全帽检测模块可以应用于吊装作业场景中或生产区域里，可以检验这些场景中员工是否正确佩戴安全帽、正确着工作服以及场景中人员数量是否超出限制，对于没有正确穿戴或人数超限等异常行为进行视觉标注和语音报警，同时可以把系统抓拍到的异常行为的视频帧存储在本地。防静电手环检测模块可以应用于装配作业场景中，可以检验这些场景中员工是否正确佩戴防静电手环，对于没有正确佩戴防静电手环的异常行为进行视觉标注和语音报警，同时把系统抓拍到的异常行为的视频帧存储在本地。本发明提升安全生产监管智能化水平。

Description

一种复杂生产作业场景下危险行为检测方法

技术领域

本发明属于目标检测领域，具体涉及一种复杂生产作业场景下危险行为检测方法。

背景技术

复杂生产作业场景下的重大事故大多是由于工作人员的不当操作导致的，因此在生产过程中，对工人危险行为的监控和预警是防止发生事故的重要方法。目前，禁止该类危险行为的主要途径是现场劝说或者人工查看监控视频。但是，人员通常需要同时监看多路视频而导致无法快速、准确、全面地处理突发情况等问题，只能做到事后追溯、滞后性强，无法满足该场景下的实际安全监控需求。因此，研究在复杂工业场景下危险行为的高效且有效检测是一个重要课题。

近年来，以人体行为识别和目标检测技术为核心的智能视频监控系统在多个领域获得了广泛应用，该系统使用计算机视觉技术实时获取、分析和处理视频数据，能够做到事前预警、事中处理以及事后追溯。与传统人工分析视频的方法相比，智能视频监控技术能及时对视频中的危险行为进行识别和预警，无需人工干涉，大大提高监控效率和有效性。因此，需要研究基于机器视觉的作业场景人员危险行为识别方法，从而实现智能视频监控系统。

目前，危险行为识别算法主要分为两类，一类是基于传统的特征提取算法，另一类则是基于深度神经网络的算法。前者主要依赖人体外观、运动信息、时空兴趣点和人体骨骼等信息，通过模板匹配、直方图和姿态估计等算法检测异常行为。后者利用深度神经网络直接从图像中学习深度特征,在使用时需根据特征提取的规则设计网络结构并通过训练和学习的方法获得网络参数。相比于人工设计特征,深度神经网络提取的特征可解释性较差,但它对于数据库的依赖较小,提取特征较为客观,对于不同视频数据中的光线变化、遮挡、视角转换等问题具有更好的普适性。

针对当下计算资源充足的条件下，使用基于深度学习的计算机视觉算法可以实时完成对复杂生产作业场景下人员危险行为的检测和识别，可以有效防止安全事故的发生，提高企业的经济效益。本发明针对来自实际生产作业的三类场景下的数据集进行了分析处理，并提出了危险行为检测的总体框架，高效且有效地实现了人员不安全行为实时检测的目的。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种复杂生产作业场景下危险行为检测方法，以解决复杂工业场景下危险行为的高效且有效检测的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种复杂生产作业场景下危险行为检测方法，该方法包括如下步骤：

S11、采集吊装作业场景、生产区域和装配作业场景中的人员行为视频，将视频分割成一系列图片；

S12、使用标注软件labelImg对步骤S11中的图片进行标注，标注模式选择YOLO；安全帽检测模块共有五类标签，分别是1：'helmet,smock,safe'，2：'no_helmet,smock,dangerousI'，3：'no_helmet,no_smock,dangerousII'，10：'smock,safe'，11：'no_smock,dangerousI'；防静电手环检测模块共有两类标签，分别是0：'no_wrist_strap,dangerous'，1：'wrist_strap,safe'；

S13、使用Yolov5s模型分别对上述两个模块中的数据集进行训练，训练好的模型权重分别存储于各自模块中等待推理调用；

S14、将步骤S13中训练好的两个模型权重及其相应的推理模块一同打包入前端框架中，分别命名为“安全帽检测”和“防静电手环检测”；

S15、点击步骤S14所述的前端框架中的“安全帽检测”或“防静电手环检测”，选择相应视频文件夹即可在线演示推理效果。

(三)有益效果

本发明提出一种复杂生产作业场景下危险行为检测方法，本发明与现有技术相比的优点在于：

本发明提供了前端可视化目标检测框架，可以对本地视频或光学实时拍摄的视频进行实时危险行为检测。对于检测到的危险行为，可以进行语音提示报警，也可以在线使用不同颜色的检测框标注，同时将含有危险行为的视频帧存储在本地，方便后续工作人员回放复查。本系统使用方法简单便捷，不须用户手动调用代码调参，检测效果较为准确，可以达到实时检测的目的。

附图说明

图1为本发明的Yolov5s模型训练框架示意图；

图2为本发明的Yolov5s模型推理框架示意图；

图3为本发明在吊装作业场景下对安全帽和工作服检测的示例图；

图4为本发明在装配作业场景下对防静电手环检测的示例图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明的目的在于提供一种复杂生产作业场景下危险行为检测方法，围绕安全监测新需求，紧密贴合前沿人工智能技术特征，聚焦生产过程中对不安全行为实时检测应用，提升安全生产监管智能化水平。

该发明分为两个子模块，分别是安全帽检测模块和防静电手环检测模块。

安全帽检测模块可以应用于吊装作业场景中或生产区域里，可以检验这些场景中员工是否正确佩戴安全帽、正确着工作服以及场景中人员数量是否超出限制，对于没有正确穿戴或人数超限等异常行为进行视觉标注和语音报警，同时可以把系统抓拍到的异常行为的视频帧存储在本地。该系统采用了Yolov5s目标检测模型对上述吊装作业场景和生产区域两类场景中部分图片数据集进行训练，采用Focal-loss作为损失函数，自适应矩估计(Adam)作为优化器，然后利用训练得到的最优权重作为推理时的模型参数。在推理时，可以点击图片或视频作为测试数据集，经过训练好的YOLOv5s的推理，再经过NMS模块，去掉推理结果中对同一目标重复的检测框，最终得到精确的检测结果。

防静电手环检测模块可以应用于装配作业场景中，可以检验这些场景中员工是否正确佩戴防静电手环，对于没有正确佩戴防静电手环的异常行为进行视觉标注和语音报警，同时把系统抓拍到的异常行为的视频帧存储在本地。该系统同样采用了Yolov5s目标检测模型对上述场景中部分图片数据集进行训练，采用Focal-loss作为损失函数，自适应矩估计(Adam)作为优化器，然后利用训练得到的最优权重作为推理时的模型参数。在推理时，可以点击图片或视频作为测试数据集，经过训练好的YOLOv5s的推理，再经过NMS模块，去掉推理结果中对同一目标重复的检测框，最终得到精确的检测结果。

一种复杂生产作业场景下危险行为检测方法，步骤如下：

S11、采集吊装作业场景、生产区域和装配作业场景中的人员行为视频，使用OpenCV软件将视频分割成一系列图片；

S12、使用标注软件labelImg对步骤S11中的图片进行标注，标注模式选择YOLO，安全帽检测模块共有五类标签，分别是1：'helmet,smock,safe'，2：'no_helmet,smock,dangerousI'，3：'no_helmet,no_smock,dangerousII'，10：'smock,safe'，11：'no_smock,dangerousI'；防静电手环检测模块共有两类标签，分别是0：'no_wrist_strap,dangerous'，1：'wrist_strap,safe'；

S15、点击步骤S14所述的前端框架中的“安全帽检测”或“防静电手环检测”并选择相应视频文件夹即可在线演示推理效果。

所述步骤S13中Yolov5s的训练过程为：

S131、将图片按4:1的比例划分训练集、验证集；

具体包括：将吊装作业场景和生产区域的图片混合在一起并按4:1的比例划分训练集、验证集；将装配场景的图片按4:1的比例划分训练集、验证集；

S132、设置训练参数：采用自适应矩估计(Adam)作为优化器，初始学习率为0.00001；采用Focal-loss作为损失函数，训练轮数epochs设置为150，一次训练的样本数量即批量大小batch_size设置为120；

S133、设置数据集文件yaml，文件中包括训练集和验证集的地址，类别总数以及各类别的标签。

S134、将yaml文件路径作为参数输入训练模块中，并执行训练代码，保存训练好的模型权重。

所述步骤S15中Yolov5s的推理过程为：

S151、将待测试的视频所在文件夹路径输入推理模块代码中；

S152、执行Yolov5s的推理代码，得到初步的检测结果；

S153、初步推理结果经过NMS去掉推理结果中对同一目标重复的检测框，最终得到精确的检测结果。

实施例1：

本发明为一种复杂生产作业场景下危险行为检测方法。

如图1所示，Yolov5s模型训练过程包括：读取数据集，Yolov5s模型拟合，计算Focal-loss并利用Adam优化器更新神经网络权重和学习率。

在读取数据集之前，需要对相应场景数据集进行标注，由于本方法可以应用于三个场景中危险行为的检测。其中吊装和生产区域场景涉及监测人数是否超限、工作人员是否穿戴工作服和安全帽，因此这两个区域的图片数据集可以合为一个数据集，对其中的人员进行标注，其中穿工作服戴安全帽的人标签定为1：'helmet,smock,safe'，穿工作服未戴安全帽的人标签定为2：'no_helmet,smock,dangerousI'，未穿工作服未戴安全帽的人标签定为3：'no_helmet,no_smock,dangerousII'，穿工作服的人标签定为10：'smock,safe'，未穿工作服的人标签定为11：'no_smock,dangerousI'；真实场景中没有出现只戴安全帽而未穿工作服的人员，因此没有标签'helmet,no_smock'。将标签联合原始图片一同构成训练集并训练一个Yolov5s模型，最终形成一个通用模块，命名为“安全帽检测”。装配场景涉及监测作业人员是否佩戴防静电手环，因此此场景的数据集单独训练，对数据集中的人员的手进行标注，未戴防静电手环的手标记为0：'no_wrist_strap,dangerous'，戴防静电手环的手标记为1：'wrist_strap,safe'，将标签联合原始数据集一同构成训练集并训练一个Yolov5s模型，最终形成另一个通用模块，即“防静电手环检测”。

图2为本发明的Yolov5s模型推理框架图，将待测试的图片或视频作为输入，经过Yolov5s的推理计算和softNMS模块的筛选，最终得到推理结果。

为方便使用本系统，开发了前端软件，如图3图4所示。用户只需要选择相应的模块，如“安全帽检测”或“防静电手环检测”，然后点击“加载检测视频”，从本地选择相应的视频文件夹，最后点击按钮“加载检测视频”右侧的“检测”按钮，即可动态实时显示检测结果。

针对有危险行为的视频帧，可以进行语音提示报警，也可以在线使用不同颜色的检测框标注，同时将含有危险行为的视频帧存储在本地，方便后续工作人员回放复查。

对于防静电手环检测模块，由于每个人最多只需戴一只手环即可保证安全，只有两只手都不戴手环的情况才算危险行为。因此，我们对每帧图像中检测出的手的标签进行统计，记戴手环的手的数量为c1，不戴手环的手的数量为c0，如果c0>c1，则该图片中必存在两只手不戴防静电手环的人，对此情况进行语音报警。

一种复杂生产作业场景下危险行为检测方法，步骤如下：

1)采集吊装作业场景、生产区域和装配作业场景中的人员行为视频，使用OpenCV软件将视频分割成一系列图片；

2)使用标注软件labelImg对步骤1)中的图片进行标注，标注模式选择YOLO，安全帽检测模块共有五类标签，分别是1：'helmet,smock,safe'，2：'no_helmet,smock,dangerousI'，3：'no_helmet,no_smock,dangerousII'，10：'smock,safe'，11：'no_smock,dangerousI'；防静电手环检测模块共有两类标签，分别是0：'no_wrist_strap,dangerous'，1：'wrist_strap,safe'；

3)使用Yolov5s模型分别对上述两个模块中的数据集进行训练，训练好的权重分别存储于各自系统中等待推理调用；

4)将步骤3)中训练好的两个模型及其相应推理模块一同打包入前端框架中，分别命名为“安全帽检测”和“防静电手环检测”；

5)点击步骤4)所述的前端框架中的“安全帽检测”或“防静电手环检测”并选择相应视频文件夹即可在线演示推理效果。

所述步骤3)中Yolov5s的训练过程为：

1)将吊装作业场景和生产区域的图片混合在一起并按4:1的比例划分训练集、验证集；

2)设置训练参数：适应矩估计(Adam)作为优化器，初始学习率为0.00001采用Focal-loss作为损失函数；

3)设置数据集文件yaml，文件中包括训练集和验证集的地址，类别总数以及各类别的标签。

4)将yaml文件路径作为参数输入训练模块中，并执行训练代码，保存训练好的模型权重。

所述步骤5)中Yolov5s的推理过程为：

1)将待测试的视频或图片所在文件夹路径输入推理模块代码中；

2)执行Yolov5s的推理代码，得到初步的检测结果；

3)初步检测结果经过softNMS将含有重叠的目标一一检测出来，最终得到精确的检测结果。

本发明适用于检测吊装作业和生产线场景中作业人员是否穿戴安全帽或工作服以及人员数量是否超限，还可用于检测装配作业场景中人员是否正确佩戴防静电手环。针对相应的危险行为进行语音报警和视觉提示，可以有效降低监察人员的工作量，降低生产车间安全事故的发生。

本发明与现有技术相比的优点在于：

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种复杂生产作业场景下危险行为检测方法，其特征在于，该方法包括如下步骤：

2.如权利要求1所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S11中，使用OpenCV软件将视频分割成一系列图片。

3.如权利要求1所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S12中，吊装和生产区域场景涉及监测人数是否超限、工作人员是否穿戴工作服和安全帽，这两个区域的图片数据集合为一个数据集，对其中的人员进行标注，其中穿工作服戴安全帽的人标签定为1：'helmet,smock,safe'，穿工作服未戴安全帽的人标签定为2：'no_helmet,smock,dangerousI'，未穿工作服未戴安全帽的人标签定为3：'no_helmet,no_smock,dangerousII'，穿工作服的人标签定为10：'smock,safe'，未穿工作服的人标签定为11：'no_smock,dangerousI'。

4.如权利要求1所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S12中，装配场景涉及监测作业人员是否佩戴防静电手环，此场景的数据集单独训练，对数据集中的人员的手进行标注，未戴防静电手环的手标记为0：'no_wrist_strap,dangerous'，戴防静电手环的手标记为1：'wrist_strap,safe'。

5.如权利要求1-4任一项所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S13具体包括：

S131、将图片按4:1的比例划分训练集、验证集；

S132、设置训练参数：采用自适应矩估计Adam作为优化器，初始学习率为0.00001；采用Focal-loss作为损失函数，训练轮数epochs设置为150，一次训练的样本数量即批量大小batch_size设置为120；

S133、设置数据集文件yaml，文件中包括训练集和验证集的地址，类别总数以及各类别的标签；

6.如权利要求5所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S131包括：将吊装作业场景和生产区域的图片混合在一起并按4:1的比例划分训练集、验证集；将装配场景的图片按4:1的比例划分训练集、验证集。

7.如权利要求5所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S15具体包括：

S151、将待测试的视频所在文件夹路径输入推理模块代码中；

S152、执行Yolov5s的推理代码，得到初步的检测结果；

8.如权利要求5所述的复杂生产作业场景下危险行为检测方法，其特征在于，所述步骤S15具体包括：用户选择相应的模块，“安全帽检测”或“防静电手环检测”，然后点击“加载检测视频”，从本地选择相应的视频文件夹，最后点击按钮“加载检测视频”右侧的“检测”按钮，即可动态实时显示检测结果。

9.如权利要求8所述的复杂生产作业场景下危险行为检测方法，其特征在于，针对有危险行为的视频帧，进行语音提示报警或在线使用不同颜色的检测框标注，同时将含有危险行为的视频帧存储在本地，方便后续工作人员回放复查。

10.如权利要求8所述的复杂生产作业场景下危险行为检测方法，其特征在于，对于防静电手环检测模块，由于每个人最多只需戴一只手环即可保证安全，只有两只手都不戴手环的情况才算危险行为；因此，对每帧图像中检测出的手的标签进行统计，记戴手环的手的数量为c1，不戴手环的手的数量为c0，如果c0>c1，则该图片中必存在两只手不戴防静电手环的人，对此情况进行语音报警。