CN113158772A - 一种面向生产实际的安全帽检测方法 - Google Patents

一种面向生产实际的安全帽检测方法 Download PDF

Info

Publication number
CN113158772A
CN113158772A CN202110244719.XA CN202110244719A CN113158772A CN 113158772 A CN113158772 A CN 113158772A CN 202110244719 A CN202110244719 A CN 202110244719A CN 113158772 A CN113158772 A CN 113158772A
Authority
CN
China
Prior art keywords
image
safety helmet
target
detection
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110244719.XA
Other languages
English (en)
Inventor
王雯卿
崔滢
倪雨婷
金子钰
蒋焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110244719.XA priority Critical patent/CN113158772A/zh
Publication of CN113158772A publication Critical patent/CN113158772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

一种面向生产实际的安全帽检测方法，包括以下步骤：步骤一、初始训练数据采集及标注；步骤二、训练步骤一中得到的数据集Cf得到FCOS目标检测模型Mf；步骤三、训练步骤一中得到的数据集Cr得到Resnet18目标分类模型Mr；步骤四、输入原始图像，使用人头检测定位‑安全帽再分类二步法进行生产车间图像检测。本发明适用于复杂生产场景的鲁棒安全帽检测系统，极大程度降低了人工成本，提高本发明的实际应用价值；本方法将FCOS和Resnet18级联检测，有效解决了训练样本不足的问题；本方法在快速检测目标位置的同时，准确提取目标特征，实现了精准的目标分类。

Description

一种面向生产实际的安全帽检测方法
技术领域
本发明涉及计算机视觉领域的大数据处理与分析，特别涉及复杂的生产环境的安全帽检测，具体是一种通过人头检测定位-安全帽再分类二步法判断人员是否佩戴安全帽的方法，属于机器学习及机器视觉领域。
背景技术
安全帽作为作业工人最基本的个体防护装备，对作业人员的生命安全具有重要意义。但是部分作业人员安全意识缺乏，不佩戴安全帽的违规行为时常发生。安全帽检测已经成为构建生产安全视频监控的一项重要技术，在煤矿、变电站、建筑工地等实际场景中需求广泛。传统的检测算法依赖大量的先验知识，主观性强，分三步走的检测过程繁琐、计算开销大，在一些要求实时检测的场景，往往具有挑战性。
现如今国家越来越重视安全生产，各个企业也都采取各种措施保障员工的安全生产从而保障了企业的利益。然而，在各行各业都存在着在岗工人不佩戴安全帽和做相关安全措施危险作业，由于未佩戴安全帽而造成的伤亡时有发生。市场十分需要面对复杂生产环境的精准的鲁棒安全帽检测系统。
从已有发明来看，主要可分为基于传统方法的图像识别和基于深度学习的图像识别方法两大类，检测准确率和速度需要进一步提高。2006年，胡恬等通过BP神经网络实现了工人安全帽检测，其通过提取安全帽的16个特征向量作为BP神经网络的输入层来识别安全帽，这也是我国研究人员对工人安全帽佩戴自动识别的最初尝试。这种方法在提取安全帽特征时还需要确定与头部或脸部的位置关系，而建筑施工现场背景环境复杂，会对头部检测产生较大干扰。2015年，Park等通过提取图像安全帽的HOG特征，输入支持向量机(SVM)中，采用监督训练生成安全帽的识别模型。同年，刘云波等提出一种基于计算机视觉的安全帽检测方法。用背景差法从获得的视频图像中提取出前景，通过二值化将运动目标分割出来，再根据运动目标的特征通过尺度滤波等方法区分其是否为代表人的运动目标，对代表人的运动目标进行跟踪和标记，最后，在路面中间处设置两条检测线，当代表人的运动目标到达两条检测线中间时，通过检测其1/3部分中的像素点色度值分布情况，判断该人是否佩戴安全帽及安全帽的颜色。2017年，Mneymneh等通过图像信息分别提取工人和安全帽的几何空间位置信息进行匹配，根据特征点设置级联器，以判断工人是否佩戴安全帽。2018年，Fang等利用Fater R-CNN网络对施工现场未佩戴安全帽的工人做了大样本收集，并根据图像识别效果影响因素划分为5个大类和19个小类的数据集，结果表明对所采集数据集的识别精度为90％，为基于深度学习的图像识别方法检测工人安全帽佩戴提供了坚实的基础。
发明内容
为了解决现有安全帽检测技术存在的检测速度慢，判别准确率低的问题，本发明提供了面向生产实际的安全帽检测方法，即人头检测定位-安全帽再分类二步法。所述方法主要包括：按照VOC格式制作工人戴帽和不戴帽的数据集；分别使用FCOS和Resnet18对数据集进行训练形成两个训练模型；实时采集图片文件；使用FCOS进行目标检测；根据目标检测获得的目标位置信息对图像进行截取；使用Resnet18进行目标分类，得到最终的目标分类。。
本发明解决其技术问题所采用的技术方案是：
一种面向生产实际的安全帽检测方法，包括以下步骤：
步骤一、采集初始训练数据，对初始训练数据进行标注，得到带标签的初始训练集Cf，对训练集Cf中的图片进行主体切割并提取，获得类标分别为person与hat的初始训练集Cr，其中类标为person的训练集为Cr1，类标为hat的训练集为Cr2；
步骤二、训练步骤一中得到的数据集Cf得到FCOS目标检测模型Mf；
步骤三、训练步骤一中得到的数据集Cr得到Resnet18目标分类模型Mr；
步骤四、输入原始图像，使用人头检测定位-安全帽再分类二步法进行生产车间图像检测。
进一步，所述步骤一中，初始训练数据采集及标注的过程如下：
步骤1.1：利用摄像头拍摄或网络获取手段获取大量生产车间佩戴安全帽和未佩戴安全帽图片；
步骤1.2：按照VOC格式对采集图像集进行人工标注，框出人头位置并设置标签，其中标签person代表未佩戴安全帽、标签hat代表佩戴安全帽；
步骤1.3：经过上述步骤得到带标签的初始训练集Cf；
步骤1.4：对图片的标注框进行截取处理，并保存截取的图片，其中标签person的图片保存至person文件夹下，标签hat的图片保存至hat文件夹下；
步骤1.5：经过上述步骤得到初始训练集Cr，其中类标为person的训练集为Cr1，类标为hat的训练集为Cr2。
再进一步，所述步骤四中，人头检测定位-安全帽再分类二步法的生产车间图像检测的过程如下：
步骤4.1：输入FCOS目标检测模型Mf，获取图像中人头所在的目标位置信息；
步骤4.2：根据步骤4.1得到的目标位置信息对原图像进行截取，生成待分类目标图像队列；
步骤4.3：将步骤4.2获得的待分类目标图像队列中的图像逐一输入目标分类模型Mr，获取最高置信度对应的类别作为当前图像的所属类别进行输出，从而得到图像检测结果。
本发明可以在图像库上对所提方法进行测试，验证该算法有效性。
经过上述步骤的操作，即可实现对复杂生产环境下安全帽佩戴检测的人头检测定位-安全帽再分类二步法。
本发明通过人头检测定位-安全帽再分类二步法，首先通过FCOS深度学习模型获取人头定位，再通过定位获取人头图片，对人头图片通过Resnet18深度学习模型进行再分类，从而实现对工作人员是否佩戴安全帽进行快速准确的实时检测，有效地防止了由于工作人员不佩戴安全帽而带来的安全隐患。FCOS是一种新型的全卷积目标检测算法，以逐像素预测的方式直接输出目标的位置与边框，与Yolo等基于锚点的算法相比，摒弃了锚框和目标建议窗口，不再需要锚点相关的超参数，显著地减少了设计参数的数目，避免了复杂的IOU计算以及训练期间锚框和真实边框之间的匹配，性能明显优于基于锚点的目标检测算法。FCOS和Resnet18相结合，可以有效解决样本不足的问题。与传统将工人图像从图片中提取出来的方法相比，本发明无需提取工人图像，直接提取人头图像，获取图像尺寸减小，检测区域更加精准，对检测区域进行再分类，准确率大大提高。
本发明的有益效果主要表现在：用深度神经网络技术，研究基于人头定位与安全帽再识别的二步骤安全帽佩戴检测方法。这种处理方法适用于复杂生产场景的鲁棒安全帽检测系统，极大程度降低了人工成本，提高本发明的实际应用价值；本方法将FCOS和Resnet18级联检测，有效解决了训练样本不足的问题；本方法在快速检测目标位置的同时，准确提取目标特征，实现了精准的目标分类。
附图说明
图1是面向生产实际的安全帽检测方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种面向生产实际的安全帽检测方法，本实施案例中以佩戴安全帽的人头图像为正样本、未佩戴安全帽的人头图像为负样本。由于人工收集样本图像具有周期长、数量少、成本高等特点，不能完全满足模型训练需要的大量样本图像，因此需要采取其他方法进行样本图像的增强处理，能在一定程度上提高模型训练的识别率。
所述检测方法包括以下步骤：
步骤一、初始训练数据采集及标注，过程如下：
步骤1.1：利用摄像头拍摄或网络获取手段获取大量生产车间佩戴安全帽和未佩戴安全帽图片；
对步骤1.1获得的图片进行筛选，共计产生1万张样本图片(其中佩戴安全帽标签和非佩戴安全帽标签大致比率为1:1)；
步骤1.2：根据VOC格式对采集图像集进行人工标注，其中标签person代表未佩戴安全帽、标签hat代表佩戴安全帽；
对所有样本图像进行预处理，由于采集的样本来自不同途径，规格大小不一，需要对图像进行统一缩放到宽度或高度为416的尺寸规格，这样能有效的避免样本图像直接缩放而造成图形畸变的问题；由于采集的样本所包含的情况不能完全满足模型训练的需求，通过OpenCV函数对图片进行旋转、平移等调整，实现数据增强，共计产生3万张样本图片(其中person标签和hat标签大致比率为1:1)；
步骤1.3：经过上述步骤得到带标签的初始训练集Cf；
步骤1.4：对图片的标注框进行截取处理，并保存截取的图片，其中标签person的图片保存至person文件夹下，标签hat的图片保存至hat文件夹下；
对所有样本图像进行预处理。由于截取的图片规格大小不一。需要对图像进行统一缩放到相同的的224×224的尺寸规格，这样能有效的避免样本图像直接缩放而造成图形畸变的问题；
步骤1.5：经过上述步骤得到初始训练集Cr，其中类标为person的训练集为Cr1，类标为hat的训练集为Cr2；
步骤二、人头目标检测模型的构建及训练：基于FCOS网络训练步骤1.5得到的数据集Cf，得到训练后的深度学习目标分类模型Mf；
步骤三、安全帽目标分类模型的构建及训练：基于Resnet18残差网络训练步骤1.8得到的数据集Cr，得到训练后的深度学习目标分类模型Mr；
步骤四、人头检测定位-安全帽再分类二步法的生产车间图像检测，过程如下：
步骤4.1：将待检测图像输入目标检测模型My，从而得到该图像中人头所在的位置信息；
步骤4.2：将步骤4.1得到的位置信息使用NMS算法，消除多余的检测结果，提高准确率；从位置信息中获取目标二维位置坐标、宽度和高度，并对原图像进行截取，生成检测目标图像队列；
步骤4.3：将步骤4.2获得的检测目标图像队列中的图像逐一输入目标分类模型Mr，获取最高概率值对应的类别作为图像的所属类别进行输出，从而得到图像检测结果。
在图像库上对所提算法进行测试，验证该算法有效性。
经过上述步骤的操作，即可实现对测试图像的快速精准检测。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (3)

1.一种面向生产实际的安全帽检测方法，其特征在于，所述方法包括以下步骤：
步骤一、采集初始训练数据，对初始训练数据进行标注，得到带标签的初始训练集Cf，对训练集Cf中的图片进行主体切割并提取，获得类标分别为person与hat的初始训练集Cr，其中类标为person的训练集为Cr1，类标为hat的训练集为Cr2；
步骤二、训练步骤一中得到的数据集Cf得到FCOS目标检测模型Mf；
步骤三、训练步骤一中得到的数据集Cr得到Resnet18目标分类模型Mr；
步骤四、输入原始图像，使用人头检测定位-安全帽再分类二步法进行生产车间图像检测。
2.如权利要求1所述的一种面向生产实际的安全帽检测方法，其特征在于，所述步骤一中，初始训练数据采集及标注的过程如下：
步骤1.1：利用摄像头拍摄或网络获取手段获取大量生产车间佩戴安全帽和未佩戴安全帽图片；
步骤1.2：按照VOC格式对采集图像集进行人工标注，框出人头位置并设置标签，其中标签person代表未佩戴安全帽、标签hat代表佩戴安全帽；
步骤1.3：经过上述步骤得到带标签的初始训练集Cf；
步骤1.4：对图片的标注框进行截取处理，并保存截取的图片，其中标签person的图片保存至person文件夹下，标签hat的图片保存至hat文件夹下；
步骤1.5：经过上述步骤得到初始训练集Cr，其中类标为person的训练集为Cr1，类标为hat的训练集为Cr2。
3.如权利要求1或2所述的一种面向生产实际的安全帽检测方法，其特征在于，所述步骤四中，人头检测定位-安全帽再分类二步法的生产车间图像检测的过程如下：
步骤4.1：将待检测图像输入FCOS目标检测模型Mf，获取图像中人头所在的目标位置信息；
步骤4.2：根据步骤4.1得到的目标位置信息对原图像进行截取，生成待分类目标图像队列；
步骤4.3：将步骤4.2获得的待分类目标图像队列中的图像逐一输入目标分类模型Mr，获取最高置信度对应的类别作为当前图像的所属类别进行输出，从而得到图像检测结果。
CN202110244719.XA 2021-03-05 2021-03-05 一种面向生产实际的安全帽检测方法 Pending CN113158772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244719.XA CN113158772A (zh) 2021-03-05 2021-03-05 一种面向生产实际的安全帽检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244719.XA CN113158772A (zh) 2021-03-05 2021-03-05 一种面向生产实际的安全帽检测方法

Publications (1)

Publication Number Publication Date
CN113158772A true CN113158772A (zh) 2021-07-23

Family

ID=76884211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244719.XA Pending CN113158772A (zh) 2021-03-05 2021-03-05 一种面向生产实际的安全帽检测方法

Country Status (1)

Country Link
CN (1) CN113158772A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723786A (zh) * 2020-08-21 2020-09-29 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置
CN112149512A (zh) * 2020-08-28 2020-12-29 成都飞机工业（集团）有限责任公司 一种基于两阶段深度学习的安全帽佩戴识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723786A (zh) * 2020-08-21 2020-09-29 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置
CN112149512A (zh) * 2020-08-28 2020-12-29 成都飞机工业（集团）有限责任公司 一种基于两阶段深度学习的安全帽佩戴识别方法

Similar Documents

Publication Publication Date Title
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN111402224B (zh) 一种用于电力设备的目标识别方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN109829458B (zh) 实时自动生成记录系统操作行为的日志文件的方法
CN103530638A (zh) 多摄像头下的行人匹配方法
CN113324864A (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN113947731A (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN111144749A (zh) 电网图像智能标注众包平台及工作方法
CN107330440B (zh) 基于图像识别的海洋状态计算方法
CN105718964A (zh) 一种输电线防振锤的视觉检测方法
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质
CN104899559A (zh) 一种基于视频监控的快速行人检测方法
CN113297913A (zh) 一种配网现场作业人员穿衣规范的识别方法
CN113111728A (zh) 面向变电站内电力生产作业风险的智能识别方法及系统
CN114662594B (zh) 一种目标特征识别分析系统
CN113158772A (zh) 一种面向生产实际的安全帽检测方法
CN108734158B (zh) 一种实时列车车号识别方法及装置
CN112907734B (zh) 基于虚拟crh380a模型和深度学习的teds故障检测方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN114782808A (zh) 一种基于机器视觉算法的废钢定级识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination