CN115565137A - 一种基于改进YOLOv5的不安全行为检测与报警方法 - Google Patents

一种基于改进YOLOv5的不安全行为检测与报警方法 Download PDF

Info

Publication number
CN115565137A
CN115565137A CN202211315165.9A CN202211315165A CN115565137A CN 115565137 A CN115565137 A CN 115565137A CN 202211315165 A CN202211315165 A CN 202211315165A CN 115565137 A CN115565137 A CN 115565137A
Authority
CN
China
Prior art keywords
detection
model
layer
yolov5
belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211315165.9A
Other languages
English (en)
Inventor
顾清华
何鑫鑫
江松
阮顺领
李学现
王倩
陈露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202211315165.9A priority Critical patent/CN115565137A/zh
Publication of CN115565137A publication Critical patent/CN115565137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，包括如下步骤：确定皮带运输区域的危险因素；建立皮带运输区域数据集；采用YOLOv5模型，为其增加小目标检测层，替换其骨干网络为ShuffleNetV2，将其特征融合层由PANET修改为BIFPN，并添加注意力机制，得到改进的YOLOv5模型作为检测模型；利用皮带运输区域数据集训练该检测模型；利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。本发明旨在对矿山中尤其是皮带运输机区域的人员的不安全行为进行检测，借助相应图片对一些不安全行为进行预警与限制，以达到安全生产的目的，实现更加高效快速实时有效的监督。

Description

一种基于改进YOLOv5的不安全行为检测与报警方法
技术领域
本发明属于机器视觉、深度学习中目标检测领域、人工智能等技术领域，特别涉及一种基于改进YOLOv5的不安全行为检测与报警方法。
背景技术
智慧矿山建设主要包括：智慧生产系统、智慧职业健康与安全系统、智慧技术支持与后勤保障系统建设。皮带运输机是井下运输系统的重要组成部分，在矿山的生产运输环节中发挥着重要作用。由于生产管理措施或矿工安全意识方面的因素，可能会导致皮带输送机事故发生，如何在皮带输送区域进行一些不符合安全生产规范行为的检测，在亟待解决的问题。这需要定期对矿场道路模型进行精确化的更新搭建，然而这种更新与搭建因路况复杂而较难实现。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于改进YOLOv5的不安全行为检测与报警方法，旨在对矿山中尤其是皮带运输机区域的人员的不安全行为(例如是否安全穿戴装备等)进行检测，借助相应图片对一些不安全行为进行预警与限制，以达到安全生产的目的，实现更加高效快速实时有效的监督。
为了实现上述目的，本发明采用的技术方案是：
一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，包括如下步骤：
步骤1，确定皮带运输区域的危险因素；
步骤2，建立皮带运输区域数据集；
步骤3，采用YOLOv5模型，为其增加小目标检测层；
步骤4，替换所述YOLOv5模型的骨干网络为ShuffleNetV2；
步骤5，将所述YOLOv5模型的特征融合层由PANET修改为BIFPN；
步骤6，为所述YOLOv5模型添加注意力机制(SENet)，得到改进的YOLOv5模型作为检测模型；
步骤7，利用所述皮带运输区域数据集训练该检测模型；
步骤8，利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。
与现有技术相比，本发明建立了矿山皮带运输机区域的人员不安全行为检测模型，对相关行为快速而且准确地实时监测，并进行实时截图，以使得皮带运输机保持安全状态运行。本发明采用改进的YOLOv5模型构建检测模型，提高了检测速度和时效性，极大地改善了目前皮带运输的困境。考虑到矿山皮带运输的复杂性，旨在通过矿山人的不安全行为检测以及安全穿戴装备检测，满足矿山安全生产的要求。
附图说明
图1是本发明危险行为确定流程示意图。
图2是本发明运行流程。
图3是shufflenetv2的结构图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1和图2所示，本发明提出了皮带运输区域的不安全行为检测与报警方法，基于改进YOLOv5模型实现，主要用于矿山等行业中，该方法的实施过程主要包含以下步骤：
步骤1，确定皮带运输区域的危险因素。
常见危险因素主要包括攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机、抛扔杂物、手搭皮带运输机、摘安全帽、吸烟等。本发明将这些危险因素分为连续动作和特殊行为，其中摘安全帽、抛扔杂物和吸烟是连续动作，直接收集相关的动作进行学习训练就可以识别，而攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机、手搭皮带运输机是特殊行为，虽然也可以进行标记学习，但是标记比较复杂，而且识别效果也不好。
在本发明中，危险因素作为数据集的标注类型；相应的不安全行为即标注内容。
步骤2，建立皮带运输区域数据集，包括：
步骤2.1，数据收集
本发明进行自建数据集，数据来源于网络收集和线下收集。其中，网络收集，是从网上的安全教育视频中收集其模拟的危险因素。具体地，可从相应行业企业的官网、政府安全教育官网下载相关视频。线下收集，则是到皮带运输区域实地拍摄采集危险因素。对于采集的视频，通过设定截取间隔，截取若干有效图像，剔除没有检测目标的图像，并放入不存在检测目标的负样本作为背景图片。
加入自建数据集，可以使模型学习到相应背景的环境特征，加强模型的泛化能力，减少设备和周围环境的影响，最终使模型具有较强的鲁棒性。在本发明的实施例中，对所收集到的视频采取每2S取1帧的措施，共截取有效图像5500张。部分不存在检测目标的样本也被收集、整理后放入数据集(约占全部样本的5％)，作为负样本。
步骤2.2，数据处理
收集图片是建立皮带运输区域数据集的第一步，之后还需要对收集的图片数据集进行标注。数据图片来自于网络数据集，在本实施例中，统一其分辨率为640*480。
先将图片按照危险因素类型标注，即，将图片标注成攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机、抛扔杂物、手搭皮带运输机、未带安全帽、吸烟等等类型。训练过程中，预处理网络会将数据统一压缩至640*640，采用图像压缩的方法对数据的有效性影响不大，但在一定程度上可以提高整体训练效率。数据集使用LabelImg工具对本课题中的数据手动进行标注。
完成标注后生成XML文件，XML文件包含图片名称、图片路径、目标标签名称以及目标位置坐标等重要信息。在voc文件夹下创建annotations、jpegimages、imagesets三个文件夹用来存储图片和标签。annotations文件夹中存储每一个标签xml文件，jpegimages文件夹中存储所有图片，使用python脚本将创建好的voc格式的数据集随机按照8：2划分为训练集和测试集。
步骤3，采用YOLOv5模型并进行改进。
步骤3.1，为YOLOv5模型增加小目标检测层。
由于场所可能距离监控比较远，安全帽等穿戴设备或其它的一些具体危险行为会变成很小的目标，然而传统的YOLO对小目标检测效果不好，原因是小目标样本的尺寸较小，而YOLOv5的下采样倍数比较大，较深的特征图很难学习到小目标的特征信息，因此本发明提出增加小目标检测层，对较浅特征图与深特征图拼接后进行检测。同时，由于在皮带运输场景下，工作人员遍布皮带运输区域的远近高低各个层次、各个角落，所以映射到图像中的危险行为也有着众多不同大小的尺度，尤其是包含着多个安全帽目标的密集图像。一幅密集图可能包含着大尺度、中尺度、小尺度、极小尺度等众多安全帽目标。因此，为了应对复杂的密集场景，本发明在原始YOLOv5s三个检测层的基础上，又增加了一个检测层。
具体的增加方法如下：
(1)YOLOv5模型的anchors参数共有三行，每行9个数值，在本实施例中，这三行是YOLOv5中预设640乘640大小图像的锚框尺寸；且每一行代表应用不同的特征图，大特征图上的anchor数值通常设置为小数值，而小特征图上数值设置为大数值检测大的目标。对初始三个anchor进行调整，增加一组新的anchor至anchor区域，数值比初始锚框最小的一组小即满足条件。
更具体地，在本实施例中，原来存在的三组anchor分别为[10,13,16,30,33,23]、[30,61,62,45,59,119]、[116、90、156、198、373、326]，新增加一组[5,6,8,12,16,11]。将4组anchor放入模型的anchor区域。
(2)在YOLOv5模型的head模块进行修改，主要是增加几个操作层，具体地，在其第17层后，继续对特征图进行上采样等处理，使得特征图继续扩大，同时在第20层时，将获取到的大小为160*160的特征图与骨干网络中第2层特征图进行特征融合与拼接，以此获取更大的特征图进行小目标检测。在第20层继续对特征图进行卷积等处理，同时在第20层时，将获取的80*80的特征图与骨干网络中第18层特征图进行特征融合与拼接，此获取特征图进行中目标检测。在第31层，即检测层，增加小目标检测层，一共使用四层[21,24,27,30]进行检测。
步骤3.2，替换YOLOv5模型的骨干网络为ShuffleNetV2，参考图3，方法如下：
第一步：common文件修改，向其中放入ShuffleNetV2模块。
第二步：YOLO文件修改：在YOLO的parse_model函数中，加入ShuffleNet模块和一个激活函数以及一个池化层。
第三步：新建yaml文件：在models文件夹下新建ShuffleNetV2.yaml文件。
第四步：将train.py中的原yaml文件改为上边的yaml文件即可，开始训练。
步骤3.3，将YOLOv5模型的特征融合层由PANET修改为BIFPN。
加权特征金字塔(BIFPN)可以提升网络对不同尺度目标的特征融合能力。将步骤四中ShuffleNetV网络的Bneck结构所输出的有效特征层与原YOLOv5骨干网络输出有效特征层尺寸大小相同的部分进行提取，用于neck部分BiFPN的构建。将BIFPN写入YOLOv5的common文件中，并修改YOLO.py文件，最后，在该模型文件的yaml中加入Concat_BIFPN即可完成构建。
步骤3.4，为YOLOv5模型添加注意力机制(SENet)，得到改进的YOLOv5模型作为检测模型。
由于本发明修改了模型的特征融合层，所以将SENet添加到加强特征提取网络。同时也为加强特征提取，为较小目标提供保障。注意力机制是实现网络自适应注意重要的物体的一种方式，添加方法如下：
第一步：首先需要确定添加的位置，作为即插即用的注意力模块，可以添加到YOLOv5网络中的任何地方。本实施例中，将SENet注意力及机制添加到特征提取部分。
第二步：打开models文件夹中的common.py文件，将SE代码复制粘贴到common.py文件中，为了方便起见可以添加在文件末尾。
第三步：向YOLO文件添加SE判断语句，打开models文件夹中的YOLO文件，在对应部位添加SE。
第四步：修改yaml文件，添加[-1,1,SE,[1024,4]]。
第五步：将train中的yaml部分改为本发明的yaml文件即可，开始训练。
步骤4，利用皮带运输区域数据集训练该检测模型。
将自主收集的自建数据集按8：1：1的比例随机划分为训练集、验证集和测试集，并划分八次，分别进行实验。初始学习率为0.01，终止学习率为0.2，每次传入模型的数量为6，数据加载器数量为4，训练轮数为250轮，训练和测试图像尺寸均设置为640乘640。
步骤5，利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。
为实现检测应用，本发明可对得到的训练好的检测模型进行封装，将模型将以微服务的形式部署到现有的皮带运输辅助系统，需要向模型前向计算模块添加统一的可调用接口，本发明使用Django框架重新封装了模型的前向计算过程，优化了检测流程。优化后的检测过程首先获取硬件情况，载入合适的权重文件，针对支持半精度的GPU，对权重文件取半精度。在权重件完全加载完成后，服务器转入监听状态，等待图片输入。皮带运输区域辅助系统只需将视频截图发送至指定端口，即可获取识别框的位置信息。修改后的模型只需一次部署，即可同时完成同一系统内多个区域的目标检测任务。在同一时间内可以对区域内多个监控摄像头提供服务。可以最大化利用模型的计算能力。
在应用中，如果检测结果为不安全行为，则判断具体的违规类型，广播提醒并对相应行为进行截图。

Claims (7)

1.一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，包括如下步骤：
步骤1，确定皮带运输区域的危险因素；
步骤2，建立皮带运输区域数据集；
步骤3，采用YOLOv5模型，为其增加小目标检测层；
步骤4，替换所述YOLOv5模型的骨干网络为ShuffleNetV2；
步骤5，将所述YOLOv5模型的特征融合层由PANET修改为BIFPN；
步骤6，为所述YOLOv5模型添加注意力机制(SENet)，得到改进的YOLOv5模型作为检测模型；
步骤7，利用所述皮带运输区域数据集训练该检测模型；
步骤8，利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。
2.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述步骤1，危险因素包括连续动作和特殊行为，所述连续动作包括摘安全帽、抛扔杂物和吸烟；所述特殊行为包括攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机和手搭皮带运输机；所述危险因素作为数据集的标注类型；相应的不安全行为即标注内容。
3.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述建立皮带运输区域数据集包括数据收集和数据处理；所述数据收集的方法为：
自建数据集，数据来源于网络收集和线下收集；所述网络收集，是从网上的安全教育视频中收集其模拟的危险因素；所述线下收集，是到皮带运输区域实地拍摄采集危险因素；对于采集的视频，通过设定截取间隔，截取若干有效图像，剔除没有检测目标的图像，并放入不存在检测目标的负样本作为背景图片；
所述数据处理的方法为：
将图片按照危险因素类型标注，标注后生成XML文件，其中XML文件包含图片名称、图片路径、目标标签名称以及目标位置坐标；在voc文件夹下创建annotations、jpegimages、imagesets三个文件夹用来存储图片和标签；annotations文件夹中存储每一个标签xml文件，jpegimages文件夹中存储所有图片，使用python脚本将创建好的voc格式的数据集随机按照8：2划分为训练集和测试集。
4.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述步骤3，方法如下：
YOLOv5模型的anchors参数共有三行，每行9个数值，每一行代表应用不同的特征图，对初始三个anchor进行调整，增加一组新的anchor至anchor区域，数值比初始锚框最小的一组小即满足条件；
在YOLOv5模型head模块进行修改，增加操作层，其中，在其第17层后，继续对特征图进行上采样等处理，使得特征图继续扩大，同时在第20层时，将获取到的大小为160*160的特征图与骨干网络中第2层特征图进行特征融合与拼接，以此获取更大的特征图进行小目标检测；在第20层继续对特征图进行卷积等处理，同时在第20层时，将获取的80*80的特征图与骨干网络中第18层特征图进行特征融合与拼接，此获取特征图进行中目标检测；在第31层，即检测层，增加小目标检测层，一共使用四层[21,24,27,30]进行检测。
5.根据权利要求4所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述步骤4，替换骨干网络为ShuffleNetV2的方法如下：
第一步：common文件修改，向其中放入ShuffleNetV2模块；
第二步：YOLO文件修改：在YOLO的parse_model函数中，加入ShuffleNet模块和一个激活函数以及一个池化层；
第三步：新建yaml文件：在models文件夹下新建ShuffleNetV2.yaml文件；
第四步：将train.py中原来的yaml文件改为上边的yaml文件，开始训练。
6.根据权利要求5所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述步骤5，修改方法如下：将步骤四中ShuffleNetV网络的Bneck结构所输出的有效特征层与原YOLOv5骨干网络输出有效特征层尺寸大小相同的部分进行提取，用于neck部分BiFPN的构建。
7.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述步骤8，如果检测结果为不安全行为，则判断具体的违规类型，广播提醒并对相应行为进行截图。
CN202211315165.9A 2022-10-26 2022-10-26 一种基于改进YOLOv5的不安全行为检测与报警方法 Pending CN115565137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211315165.9A CN115565137A (zh) 2022-10-26 2022-10-26 一种基于改进YOLOv5的不安全行为检测与报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211315165.9A CN115565137A (zh) 2022-10-26 2022-10-26 一种基于改进YOLOv5的不安全行为检测与报警方法

Publications (1)

Publication Number Publication Date
CN115565137A true CN115565137A (zh) 2023-01-03

Family

ID=84746889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211315165.9A Pending CN115565137A (zh) 2022-10-26 2022-10-26 一种基于改进YOLOv5的不安全行为检测与报警方法

Country Status (1)

Country Link
CN (1) CN115565137A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206255A (zh) * 2023-01-06 2023-06-02 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206255A (zh) * 2023-01-06 2023-06-02 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置
CN116206255B (zh) * 2023-01-06 2024-02-20 广州纬纶信息科技有限公司 基于机器视觉的危险区域人员监控方法与装置

Similar Documents

Publication Publication Date Title
CN110769195B (zh) 输电线路施工现场违章智能监控识别系统
CN110807353A (zh) 一种基于深度学习的变电站异物识别方法、装置及系统
CN107491752A (zh) 一种基于深度学习的自然场景中船牌文字识别方法、装置
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN113553977B (zh) 一种基于改进yolo v5的安全帽检测方法和系统
CN113553979B (zh) 一种基于改进yolo v5的安全服检测方法和系统
CN113688709B (zh) 一种安全帽佩戴智能检测方法、系统、终端及介质
CN115565137A (zh) 一种基于改进YOLOv5的不安全行为检测与报警方法
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN113298077A (zh) 一种基于深度学习的变电站异物识别定位方法及装置
CN115294528A (zh) 一种行人安全监控方法及装置
CN115690730A (zh) 基于单分类和异常生成的高铁接触网异物检测方法及系统
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN108664906A (zh) 一种基于卷积网络的火灾场景中内容的检测方法
CN112766795A (zh) 一种基于云端处理的管廊智能信息管理方法及系统
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统
CN112329550A (zh) 基于弱监督学习的受灾建筑快速定位评估方法及装置
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN113688759A (zh) 一种基于深度学习的安全帽识别方法
CN114241189A (zh) 一种基于深度学习的船舶黑烟识别方法
CN111489123A (zh) 违规分拣的追溯方法和装置及存储介质
CN115937506B (zh) 用于桥侧坠落点孔位信息定位的方法、系统、设备及介质
CN115147777A (zh) 船员违规行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination