CN117809351A - 一种安全帽佩戴状态检测方法和装置 - Google Patents
一种安全帽佩戴状态检测方法和装置 Download PDFInfo
- Publication number
- CN117809351A CN117809351A CN202410007657.4A CN202410007657A CN117809351A CN 117809351 A CN117809351 A CN 117809351A CN 202410007657 A CN202410007657 A CN 202410007657A CN 117809351 A CN117809351 A CN 117809351A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- helmet
- camera
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种安全帽佩戴状态检测方法和装置，涉及安全帽检测技术领域；通过配合变焦摄像头设备，以施工人员为目标合理调整摄像头焦距及角度，解决目标在图像中范围太小导致特征较少的问题，同时通过对特征增强后的头部目标信息进行专门的分类识别，使得复杂环境的安全帽是否正确佩戴识别成为可能；包括：对检测分析流程中需要用到的深度学习模型进行图像数据采集、标注及训练，以得到目标检测模型、头部目标检测模型、安全帽佩戴分类器模型以及帽带卡扣分类器模型；使用配置云台并且可调焦的摄像头，在对摄像头画面进行实时分析的过程中，配合专门训练的深度学习模型，判断目标施工人员是否正确佩戴安全帽，提高检测结果的准确率。
Description
技术领域
本发明涉及安全帽检测技术领域，具体是一种安全帽佩戴状态检测方法和装置。
背景技术
随着社会生产的发展，生产安全在整个建筑行业越来越被重视；目前很多施工现场都采用视频监控的方式，通过摄像头监控高空作业人员的安全着装情况，包括安全帽是否正确佩戴，通过视频监督降低施工现场的安全风险。
常规的解决方案是以深度学习的方式，首先通过目标查找发现图像画面中的施工人员目标，然后将裁剪出来的目标图片部分送入训练好的ResNet分类模型，判断该人员是否佩戴安全帽；还有一种方案是通过目标查看发现施工人员目标后，再在施工人员目标局部图片中查找安全帽的目标，通过查找的结果判断该人员是否佩戴安全帽；
然而在实际的应用场景，抓拍作业人员的摄像头距离目标一般都比较远，大多数是高空摄像头，拍摄到的人物目标普遍较小，而安全帽特征相对不是很明显，导致误抓拍、漏抓拍现象较多，更不用说判断安全帽是否正确佩戴(帽带锁扣是否扣好)，所以很难达到较高的准确率；因此，本发明提出一种安全帽佩戴状态检测方法和装置。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种安全帽佩戴状态检测方法和装置，通过配合变焦摄像头设备，以施工人员为目标合理调整摄像头焦距及角度，解决目标在图像中范围太小导致特征较少的问题，同时通过对特征增强后的头部目标信息进行专门的分类识别，使得复杂环境的安全帽是否正确佩戴识别成为可能。
为实现上述目的，本发明的第一方面提供了一种安全帽佩戴状态检测方法，包括如下步骤：
步骤一：对检测分析流程中需要用到的深度学习模型进行图像数据采集、标注及训练；所述深度学习模型包括目标检测模型、头部目标检测模型、安全帽佩戴分类器模型以及帽带卡扣分类器模型；
步骤二：使用配置云台并且可调焦的摄像头，在对摄像头画面进行实时分析的过程中，配合步骤一中专门训练的深度学习模型，获取图片分类，判断目标施工人员是否正确佩戴安全帽；具体包括：
V1：视频流图像目标检测：将从普通视频流中经过抽帧、解码后获取到的帧图像作为目标检测模型的输入，输出目标检测结果，判断画面中是否存在施工人员；如果有，则存储该帧图像；
V2：目标聚焦：获取到施工人员目标位置集合后，根据从上到下、从左到右的顺序对目标位置进行排序，然后按顺序对单个检测目标进行状态分析判断；
根据所选目标在整个视频帧图像中的相对位置信息，控制摄像头进行移动，将指定目标位置移动至摄像头图像区域相对居中，再控制摄像头调整焦距，放大目标位置区域，获取细节图像；
V3：特征图像定位及裁剪：完成目标聚焦后，将新的视频帧图像再次送入目标检测模型进行目标查找，获取调整后的目标位置信息；
根据新的目标位置信息，将检测目标区域图像进行裁剪，同时保存该位置信息，获取对应施工人员的区域细节图片；
V4：安全帽目标查找；获取施工人员区域细节图片后，将图像送入头部目标检测模型进行目标查找，获取施工人员的头部位置目标；
如果没有检测到头部目标，视为无效施工人员图片目标，回到步骤V2重新开始；如果有检测到头部目标，将检测的目标位置区域图片进行裁剪；
V5：目标分类判断：将裁剪后的头部图像送入安全帽佩戴分类模型进行分析，获取该图像的分类判断结果，以判断该目标施工人员是否佩戴安全帽，记录判断结果；
V6：安全帽是否正确佩戴判断：如果判断结果为戴了安全帽，则将头部图像再送入帽带卡扣分类器模型进行分析，获取该图像的分类判断结果，以判断该目标施工人员是否正确佩戴安全帽，记录判断结果；
V7：相机重置：完成V1-V6步骤后，基于onvif协议，对相机的位置、焦距进行重置；完成重置后即回到了步骤V1的状态，重新开始步骤V2，将选择聚焦检测的施工人员顺序+1，重复所有检测流程。
进一步地，步骤一具体包括：
S1：目标检测模型：
采集实际施工场景的图片作为数据集，然后将图像中的施工人员作为标注对象进行数据标注；基于目标检测网络算法进行训练，得到目标检测模型；所述目标检测网络算法包括Yolov3，Yolov4，Yolov5，SSD，Faster-RCNN，CenterNet；
S2：头部目标检测模型：
在施工人员图片基础上进行目标查找模型训练，标注图像中佩戴安全帽的人员图片和未佩戴安全帽的人员图片；通过大量的图片标注后生成目标查找数据，然后基于Yolov5网络算法进行训练，得到头部目标检测模型；
S3：安全帽佩戴分类器模型：
采集用于训练分类器的数据集图片，包括大量的佩戴安全帽的施工人员头部图片和未佩戴安全帽的施工人员头部图片；
将数据集图片进行标注分类，基于ResNet50残差网络分类器进行训练，得到安全帽佩戴分类器模型，判断是否佩戴安全帽；
S4：帽带卡扣分类器模型：
将佩戴安全帽的施工人员头部图片，按照是否扣好安全锁扣进行分类，分别将扣好安全锁扣的和未扣好安全锁扣的图片整理成数据集；
将数据集图片进行标注分类，基于ResNet50残差网络分类器进行训练，得到帽带卡扣分类器模型，判断是否扣好安全帽锁扣。
进一步地，检测过程中，针对每个施工人员的安全帽佩戴状态，都需要经过多轮判断；因为在实际检测过程中，由于安全帽佩戴位置特性，当施工人员是正面或背面对着摄像头时，无法通过当前帧来判断是否正确佩戴(系好安全锁扣)，需要经过多轮抽帧判断，综合分析；
其中，多轮判断方法有如下两种选择：
第一种：指定识别判断次数，对同一目标状态多次识别判断，每次判断中间间隔固定时间；当有一次为正向识别即返回正向结果，若多次识别均为负向识别，则返回负向结果；其中正向识别是指安全帽正确佩戴，负向识别是指安全帽未正确佩戴；
第二种：指定识别判断次数，对同一目标状态多次识别判断，每次判断中间间隔固定时间，对所有检测结果进行综合阈值判断；需满足n次以上正向识别才返回正向结果，否则返回负向结果；其中n为预设值；
进一步地，在网络训练时需要将数据集划分为训练集和测试集，将数据集的80％作为网络的训练集，剩下20％的数据集作为测试集。
进一步地，步骤V1中视频流图像目标检测，具体步骤为：
将视频流进行抽帧、解码后，获得视频图像帧；
对图像帧进行预处理后，输入到训练好的目标检测模型中；所述预处理包括resize为特定尺寸、颜色通道变换；
输出结果为网络检测出的一个或多个包含目标的包围框，以及该包围框的属性信息；所述属性信息包括坐标，长宽，置信度。
进一步地，步骤V2中目标聚焦，具体步骤为：
根据步骤V1返回的施工人员目标检测结果集合，将集合中数据按照从上到下、从左到右顺序进行排序，按照顺序获取对应的施工人员目标数据位置信息；
根据该位置在整个视频帧图像中的相对位置信息，计算出摄像头需要移动的角度；具体计算方法如下：
假设：目标位置的中心点与帧图像的中心点x轴偏差像素为a，y轴偏差像素为b，帧图像长度像素为c，宽度像素为d，摄像头可视角度为e，显示比例为f；则计算得到：摄像头水平偏移角度＝a*e/c，垂直偏移角度＝b*e*f/d；
基于onvif协议，通过PTZ控制摄像头云台旋转指定角度，将目标位置移动到摄像头视角相对居中的位置；
待目标处于摄像头图像居中位置时，通过控制摄像头调整焦距，放大目标位置，放大比例计算方法如下：
假设：目标位置区域水平宽度为a，垂直高度为b，帧图像长度像素为c，宽度像素为d，摄像头原缩放系数为e；
计算得到：放大比例＝e*(c/a与d/b结果相比较小的数值)/3；
摄像头聚焦后，画面区域为指定施工人员目标区域3倍大小；
通过控制变焦摄像头对检测目标进行聚焦，放大目标区域，获取更多目标特征信息，提高安全帽佩戴识别准确率；
进一步地，步骤V3中特征图像定位及裁剪，具体步骤为：
摄像头聚焦后，将新的图像帧预处理后输入之前的目标检测模型，再次检测对应的施工人员目标；
如果聚焦后的画面再次目标检测没有结果返回，说明之前的检测目标可能是误报，结束当前步骤，进行下一轮循环；
如果有目标结果返回，则进行图像裁剪，裁剪区域计算如下：
目标检测结果框位置信息：[[x1,y1,x2,y2]]，对应图像中的目标位置左上角坐标(x1,y1)，右下角坐标(x2,y2)，根据坐标位置裁剪相关区域；
通过对比不同阶段视频帧指定目标位置图像区域，对目标区域施工人员进行捕获，对特征增强后的头部目标信息进行专门的分类识别，使得复杂环境的安全帽是否正确佩戴识别成为可能；
进一步地，一种安全帽佩戴状态检测装置，该装置包括处理器以及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行上述的一种安全帽佩戴状态检测方法。
与现有技术相比，本发明的有益效果是：
本发明通过onvif协议控制变焦摄像头，以施工人员为目标合理调整摄像头焦距及角度，增加目标在采集的图像画面中的占比大小，增强目标特征，解决目标在图像中范围太小导致特征较少的问题，提高对施工人员是否佩戴安全帽的检测效果；
通过对目标进行多次检测识别配合逻辑判断的方式，减少目标因特定角度等因素导致的误识别问题，提高检测结果的准确率；同时通过对特征增强后的头部目标信息进行专门的分类识别，使得复杂环境的安全帽是否正确佩戴识别成为可能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种安全帽佩戴状态检测方法的原理框图。
图2为本发明安全帽佩戴状态检测的实现流程图。
图3为本发明多轮判断方法的流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
针对安全帽佩戴检测在实际实现过程中的难点，本提案通过以下方式解决常规检测方案中面临的难点问题，提高整体的检测效果。
通过onvif协议控制变焦摄像头，实现对施工现场高空作业人员的定位聚焦，增加目标在采集的图像画面中的占比大小，增强目标特征，提高对施工人员是否佩戴安全帽的检测效果(召回率和准确率)；
通过对单个目标多次检测分析，设定逻辑阈值判断的方式，提高检测结果的准确率(解决因目标施工人员相对摄像头角度问题导致安全帽特征不明显，比如背面对着摄像头)；通过对施工人员活动过程中安全帽帽带锁扣状态的检测，来判断安全帽是否正确佩戴；
如图1至图3所示，本发明第一方面实施例提供了一种安全帽佩戴状态检测方法，包括两大部分：
第一部分：对检测分析流程中需要用到的深度学习模型进行图像数据采集、标注及训练，具体如下：
S1：目标检测模型：在数据采集阶段，为了提升目标检测效果，采集的图片素材可以偏向于实际的施工场景，然后将图像中的施工人员作为标注对象进行数据标注；
然后基于常用的目标检测网络算法(包括Yolov3，Yolov4，Yolov5，SSD，Faster-RCNN，CenterNet等)进行训练，得到目标检测模型；
其中，在网络训练时需要将数据划分为训练集和测试集，将数据集的80％作为网络的训练集，剩下20％的数据集作为测试集；
S2：头部目标检测模型：在施工人员图片基础上进行目标查找模型训练，标注图像中佩戴安全帽的人员图片和未佩戴安全帽的人员图片；
通过大量的图片标注后生成目标查找数据，然后基于常用的目标检测网络算法(如Yolov5)进行训练，得到头部目标检测模型；
S3：安全帽佩戴分类器模型：采集用于训练分类器的数据集图片，包括大量的佩戴安全帽的施工人员头部图片和未佩戴安全帽的施工人员头部图片；
将数据集图片进行标注分类，基于常用的残差网络分类器(如ResNet50)进行训练，得到安全帽佩戴分类器模型(判断是否佩戴安全帽)；
S4：帽带卡扣分类器模型：将佩戴安全帽的施工人员头部图片，按照是否扣好安全锁扣进行分类，分别将扣好安全锁扣的和未扣好安全锁扣的图片整理成数据集；
将数据集图片进行标注分类，基于常用的残差网络分类器(如ResNet50)进行训练，得到帽带卡扣分类器模型(判断是否扣好安全帽锁扣)；
具体地，完成了第一部分深度学习模型的训练后，下面我们来看下第二部分：具体的安全帽佩戴状态检测实现流程；
在实际检测过程中，使用配置云台并且可调焦的摄像头(通常为带变焦的球机)，在对摄像头画面进行实时分析的过程中，根据画面中施工人员的位置，调整摄像头角度使得该位置居中，再调整焦距，缩放画面聚焦该位置，这样就会得到一个该检测目标的特写；此时配合专门训练的残差网络分类器，获取图片分类，判断目标施工人员是否佩戴安全帽；
具体流程如下：
V1：视频流图像目标检测；
在本案例的实现流程中，目标检测模型的输入是从普通监控摄像头(非抓拍摄像头，支持RTMP、RTSP协议)的视频流中经过抽帧、解码后获取到的帧图像，输出是从图像中检测到的目标(施工人员)；
根据目标检测结果(指定阈值)，判断画面中是否存在施工人员，如果有，存储该帧图像；
V2：目标聚焦；
经过上面的步骤获取到施工人员目标位置集合后，根据从上到下、从左到右的顺序对目标位置进行排序，然后按顺序对单个检测目标进行状态分析判断；
根据所选目标在整个视频帧图像中的相对位置信息，控制摄像头进行移动，将指定目标位置移动至摄像头图像区域相对居中，再控制摄像头调整焦距，放大目标位置区域，获取细节图像；
V3：特征图像定位及裁剪；
完成目标聚焦后，将新的视频帧图像再次送入目标检测模型进行目标查找，获取调整后的目标位置信息；
根据新的目标位置信息，将检测目标区域图像进行裁剪，同时保存该位置信息，获取对应施工人员的区域细节图片；
V4：安全帽目标查找；
完成摄像头目标位置聚焦并获取指定施工人员区域细节图片后，将图像送入头部目标检测模型进行目标查找，获取施工人员的头部位置目标；
如果没有检测到头部目标，视为无效施工人员图片目标，回到步骤V2重新开始；如果有检测到头部目标，将检测的目标位置区域图片进行裁剪；
V5：目标分类判断；
将裁剪后的头部图像送入安全帽佩戴分类模型进行分析，获取该图像的分类判断结果，以判断该目标施工人员是否佩戴安全帽，记录判断结果；
V6：安全帽是否正确佩戴判断；
如果在步骤V5中判断结果为戴了安全帽，将头部图像再送入帽带卡扣分类器模型进行分析，获取该分类器判断结果，以判断该目标施工人员是否正确佩戴安全帽(系好安全锁扣)，记录判断结果；
V7：相机重置；
完成以上步骤后，基于onvif协议，对相机的位置、焦距进行重置，完成重置后即回到了步骤V1的状态，重新开始步骤V2，将选择聚焦检测的施工人员顺序+1，重复所有检测流程；
需要注意的是：检测过程中，针对每个施工人员的安全帽佩戴状态，都需要经过多轮判断；因为在实际检测过程中，由于安全帽佩戴位置特性，当施工人员是正面或背面对着摄像头时，无法通过当前帧来判断是否正确佩戴(系好安全锁扣)，需要经过多轮抽帧判断，综合分析；
在本实施例中，多轮判断方法有如下两种选择：
第一种：指定识别判断次数，对同一目标状态多次识别判断，每次判断中间间隔固定时间(比如1秒)，当有一次为正向识别(安全帽正确佩戴)即返回正向结果；若多次识别均为负向识别(安全帽未正确佩戴)，则返回负向结果；例如总共检测5次，若第3次为正向识别即返回正向结果；若5次均为负向识别，则返回负向结果；
第二种：指定识别判断次数，对同一目标状态多次识别判断，每次判断中间间隔固定时间(比如1秒)，对所有检测结果进行综合阈值判断；例如总共检测5次，需满足2次以上正向识别才返回正向结果，否则返回负向结果；
更进一步的技术方案在于：步骤V1中视频流图像目标检测，具体步骤为：
将视频流进行抽帧、解码后，获得视频图像帧；
对图像帧进行预处理(例如resize为特定尺寸、颜色通道变换)后，输入到训练好的目标检测模型中；输出结果为网络检测出的一个或多个包含目标的包围框，以及该包围框的属性信息，例如坐标，长宽，置信度等；
需要注意的是：图像输入尺寸为640x640(由于目标特征不是特别的明显，不宜使用较小的输入图像)；置信度阈值设为0.5(用于判断检测出的目标属于某一类别的可信度，若低于该阈值则舍弃)，非极大值抑制设为0.3(用于处理重叠的包围框bounding box，若大于该值，则判断为同一目标，丢弃多余包围框)；
更进一步的技术方案在于：步骤V2中目标聚焦，具体步骤为：
根据步骤V1返回的施工人员目标检测结果集合，将集合中数据按照从上到下、从左到右(集合中每条数据包含位置坐标、框的长宽，以目标框的中心点计)顺序进行排序，按照顺序获取对应的施工人员目标数据位置信息，根据该位置在整个视频帧图像中的相对位置信息，计算出摄像头需要移动的角度；
假设：目标位置的中心点与帧图像的中心点x轴偏差像素为a，y轴偏差像素为b，帧图像长度像素为c，宽度像素为d，摄像头可视角度为e，显示比例为f(如摄像头显示模式16：9，记为9/16)；
计算得到：摄像头水平偏移角度＝a*e/c，垂直偏移角度＝b*e*f/d；
基于onvif协议，通过PTZ控制摄像头云台旋转指定角度，即可将目标位置移动到摄像头视角相对居中的位置；
待目标处于摄像头图像居中位置时，通过控制摄像头调整焦距(Zoom)，放大目标位置，放大比例计算方法如下：
假设：目标位置区域水平宽度为a，垂直高度为b，帧图像长度像素为c，宽度像素为d，摄像头原缩放系数为e；
计算得到：放大比例＝e*(c/a与d/b结果相比较小的数值)/3；
摄像头聚焦后，画面区域为指定施工人员目标区域3倍大小(如果画面区域与目标区域宽度比例大于高度比例，则满足高度比满足3倍大小，反之宽度比满足3倍大小)；
更进一步的技术方案在于：步骤V3中特征图像定位及裁剪，具体步骤为：
摄像头聚焦后，新的图像帧预处理后输入之前的目标检测模型，再次检测对应的施工人员目标，确保目标位置的精确度，同时对目标结果的准确性进行验证；
如果聚焦后的画面再次目标检测没有结果返回，说明之前的检测目标可能是误报，结束当前步骤，进行下一轮循环；
如果有目标结果返回，进行图像裁剪，裁剪区域计算如下：
目标检测结果框位置信息：[[x1,y1,x2,y2]]，对应图像中的目标位置左上角坐标(x1,y1)，右下角坐标(x2,y2)，根据坐标位置裁剪相关区域；
完成图像裁剪后，获取到施工人员目标特征图像，经过预处理后输入到训练好的残差网络分类器模型(即安全帽佩戴分类器模型和帽带卡扣分类器模型)，获取到分类结果；
本发明第二方面实施例提供了一种安全帽佩戴状态检测装置，该装置包括处理器以及存储器；
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行上述第一方面中任一种实施方式所述的一种安全帽佩戴状态检测方法；
本申请使用智能分析设备接入视频流对视频帧图像进行分析，同时通过控制变焦摄像头对检测目标进行聚焦，放大目标区域，获取更多目标特征信息，提高安全帽佩戴识别准确率；
通过对目标进行多次检测识别配合逻辑判断的方式，减少目标因特定角度等因素导致的误识别问题；
通过对比不同阶段视频帧指定目标位置图像区域，对目标区域施工人员进行捕获，对特征增强后的头部目标信息进行专门的分类识别，使得复杂环境的安全帽是否正确佩戴识别成为可能。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种安全帽佩戴状态检测方法，其特征在于，包括如下步骤：
步骤一：对检测分析流程中需要用到的深度学习模型进行图像数据采集、标注及训练；所述深度学习模型包括目标检测模型、头部目标检测模型、安全帽佩戴分类器模型以及帽带卡扣分类器模型；
步骤二：使用配置云台并且可调焦的摄像头，在对摄像头画面进行实时分析的过程中，配合步骤一中专门训练的深度学习模型，获取图片分类，判断目标施工人员是否正确佩戴安全帽；具体包括：
V1：视频流图像目标检测：将从普通视频流中经过抽帧、解码后获取到的帧图像作为目标检测模型的输入，输出目标检测结果，判断画面中是否存在施工人员；如果有，则存储该帧图像；
V2：目标聚焦：获取到施工人员目标位置集合后，根据从上到下、从左到右的顺序对目标位置进行排序，然后按顺序对单个检测目标进行状态分析判断；
根据所选目标在整个视频帧图像中的相对位置信息，控制摄像头进行移动，将指定目标位置移动至摄像头图像区域相对居中，再控制摄像头调整焦距，放大目标位置区域，获取细节图像；
V3：特征图像定位及裁剪：完成目标聚焦后，将新的视频帧图像再次送入目标检测模型进行目标查找，获取调整后的目标位置信息；
根据新的目标位置信息，将检测目标区域图像进行裁剪，同时保存该位置信息，获取对应施工人员的区域细节图片；
V4：安全帽目标查找；获取施工人员区域细节图片后，将图像送入头部目标检测模型进行目标查找，获取施工人员的头部位置目标；
如果没有检测到头部目标，视为无效施工人员图片目标，回到步骤V2重新开始；如果有检测到头部目标，将检测的目标位置区域图片进行裁剪；
V5：目标分类判断：将裁剪后的头部图像送入安全帽佩戴分类模型进行分析，获取该图像的分类判断结果，以判断该目标施工人员是否佩戴安全帽，记录判断结果；
V6：安全帽是否正确佩戴判断：如果判断结果为戴了安全帽，则将头部图像再送入帽带卡扣分类器模型进行分析，获取该图像的分类判断结果，以判断该目标施工人员是否正确佩戴安全帽，记录判断结果；
V7：相机重置：完成V1-V6步骤后，基于onvif协议，对相机的位置、焦距进行重置；完成重置后即回到了步骤V1的状态，重新开始步骤V2，将选择聚焦检测的施工人员顺序+1，重复所有检测流程。
2.根据权利要求1所述的一种安全帽佩戴状态检测方法，其特征在于，步骤一具体包括：
S1：目标检测模型：
采集实际施工场景的图片作为数据集，然后将图像中的施工人员作为标注对象进行数据标注；基于目标检测网络算法进行训练，得到目标检测模型；所述目标检测网络算法包括Yolov3，Yolov4，Yolov5，SSD，Faster-RCNN，CenterNet；
S2：头部目标检测模型：
在施工人员图片基础上进行目标查找模型训练，标注图像中佩戴安全帽的人员图片和未佩戴安全帽的人员图片；通过大量的图片标注后生成目标查找数据，然后基于Yolov5网络算法进行训练，得到头部目标检测模型；
S3：安全帽佩戴分类器模型：
采集用于训练分类器的数据集图片，包括大量的佩戴安全帽的施工人员头部图片和未佩戴安全帽的施工人员头部图片；
将数据集图片进行标注分类，基于ResNet50残差网络分类器进行训练，得到安全帽佩戴分类器模型，判断是否佩戴安全帽；
S4：帽带卡扣分类器模型：
将佩戴安全帽的施工人员头部图片，按照是否扣好安全锁扣进行分类，分别将扣好安全锁扣的和未扣好安全锁扣的图片整理成数据集；
将数据集图片进行标注分类，基于ResNet50残差网络分类器进行训练，得到帽带卡扣分类器模型，判断是否扣好安全帽锁扣。
3.根据权利要求1所述的一种安全帽佩戴状态检测方法，其特征在于，检测过程中，针对每个施工人员的安全帽佩戴状态，都需要经过多轮判断；
其中，多轮判断方法有如下两种选择：
第一种：指定识别判断次数，对同一目标状态多次识别判断，每次判断中间间隔固定时间；当有一次为正向识别即返回正向结果，若多次识别均为负向识别，则返回负向结果；其中正向识别是指安全帽正确佩戴，负向识别是指安全帽未正确佩戴；
第二种：指定识别判断次数，对同一目标状态多次识别判断，每次判断中间间隔固定时间，对所有检测结果进行综合阈值判断；需满足n次以上正向识别才返回正向结果，否则返回负向结果；其中n为预设值。
4.根据权利要求2所述的一种安全帽佩戴状态检测方法，其特征在于，在网络训练时需要将数据集划分为训练集和测试集，将数据集的80％作为网络的训练集，剩下20％的数据集作为测试集。
5.根据权利要求1所述的一种安全帽佩戴状态检测方法，其特征在于，步骤V1中视频流图像目标检测，具体步骤为：
将视频流进行抽帧、解码后，获得视频图像帧；
对图像帧进行预处理后，输入到训练好的目标检测模型中；所述预处理包括resize为特定尺寸、颜色通道变换；
输出结果为网络检测出的一个或多个包含目标的包围框，以及该包围框的属性信息；所述属性信息包括坐标，长宽，置信度。
6.根据权利要求1所述的一种安全帽佩戴状态检测方法，其特征在于，步骤V2中目标聚焦，具体步骤为：
根据步骤V1返回的施工人员目标检测结果集合，将集合中数据按照从上到下、从左到右顺序进行排序，按照顺序获取对应的施工人员目标数据位置信息；
根据该位置在整个视频帧图像中的相对位置信息，计算出摄像头需要移动的角度；具体计算方法如下：
假设：目标位置的中心点与帧图像的中心点x轴偏差像素为a，y轴偏差像素为b，帧图像长度像素为c，宽度像素为d，摄像头可视角度为e，显示比例为f；则计算得到：摄像头水平偏移角度＝a*e/c，垂直偏移角度＝b*e*f/d；
基于onvif协议，通过PTZ控制摄像头云台旋转指定角度，将目标位置移动到摄像头视角相对居中的位置；
待目标处于摄像头图像居中位置时，通过控制摄像头调整焦距，放大目标位置，放大比例计算方法如下：
假设：目标位置区域水平宽度为a，垂直高度为b，帧图像长度像素为c，宽度像素为d，摄像头原缩放系数为e；
计算得到：放大比例＝e*(c/a与d/b结果相比较小的数值)/3；
摄像头聚焦后，画面区域为指定施工人员目标区域3倍大小。
7.根据权利要求1所述的一种安全帽佩戴状态检测方法，其特征在于，步骤V3中特征图像定位及裁剪，具体步骤为：
摄像头聚焦后，将新的图像帧预处理后输入之前的目标检测模型，再次检测对应的施工人员目标；
如果聚焦后的画面再次目标检测没有结果返回，说明之前的检测目标可能是误报，结束当前步骤，进行下一轮循环；
如果有目标结果返回，则进行图像裁剪，裁剪区域计算如下：
目标检测结果框位置信息：[[x1,y1,x2,y2]]，对应图像中的目标位置左上角坐标(x1,y1)，右下角坐标(x2,y2)，根据坐标位置裁剪相关区域。
8.一种安全帽佩戴状态检测装置，其特征在于，该装置包括处理器以及存储器；所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行如权利要求1-7任一所述的一种安全帽佩戴状态检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410007657.4A CN117809351A (zh) | 2024-01-03 | 2024-01-03 | 一种安全帽佩戴状态检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410007657.4A CN117809351A (zh) | 2024-01-03 | 2024-01-03 | 一种安全帽佩戴状态检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117809351A true CN117809351A (zh) | 2024-04-02 |
Family
ID=90433610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410007657.4A Pending CN117809351A (zh) | 2024-01-03 | 2024-01-03 | 一种安全帽佩戴状态检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809351A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279804A (zh) * | 2024-05-29 | 2024-07-02 | 暗物智能科技(广州)有限公司 | 一种基于深度学习的安全帽佩戴检测方法及可读存储介质 |
-
2024
- 2024-01-03 CN CN202410007657.4A patent/CN117809351A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118279804A (zh) * | 2024-05-29 | 2024-07-02 | 暗物智能科技(广州)有限公司 | 一种基于深度学习的安全帽佩戴检测方法及可读存储介质 |
| CN118279804B (zh) * | 2024-05-29 | 2024-09-17 | 暗物智能科技(广州)有限公司 | 一种基于深度学习的安全帽佩戴检测方法及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163114B (zh) | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 | |
| CN110543867B (zh) | 一种多摄像头条件下的人群密度估测系统及方法 | |
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| CN108062349B (zh) | 基于视频结构化数据及深度学习的视频监控方法和系统 | |
| JP5032846B2 (ja) | 監視装置および監視記録装置、それらの方法 | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| CN104361327A (zh) | 一种行人检测方法和系统 | |
| CN117809351A (zh) | 一种安全帽佩戴状态检测方法和装置 | |
| JP2012088787A (ja) | 画像処理装置、画像処理方法 | |
| CN107025420A (zh) | 视频中人体行为识别的方法和装置 | |
| CN112396658A (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| JP6624877B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR20160109761A (ko) | 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템 | |
| CN113807240A (zh) | 基于非配合式人脸识别的变电站人员着装智能监控方法 | |
| CN112329532A (zh) | 基于YOLOv4的自动跟踪安全帽监测方法 | |
| CN114943923B (zh) | 基于深度学习的视频识别炮弹爆炸火光烟雾方法及系统 | |
| CN112200108A (zh) | 一种口罩人脸识别方法 | |
| CN115620192A (zh) | 一种高空作业安全绳穿戴检测的方法和装置 | |
| CN113920585A (zh) | 行为识别方法及装置、设备和存储介质 | |
| US20230051823A1 (en) | Systems, methods, and computer program products for image analysis | |
| CN116758474A (zh) | 一种陌生人逗留检测方法、装置、设备及存储介质 | |
| CN115994953A (zh) | 电力现场安监追踪方法及系统 | |
| CN113554682B (zh) | 一种基于目标跟踪的安全帽检测方法 | |
| CN109540138A (zh) | 基于视觉神经网络的室内导航方法、系统及可读存储器 | |
| CN113065491A (zh) | 一种基于多摄的客流统计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |