CN112784821A - 基于YOLOv5的工地行为安全检测识别方法及系统 - Google Patents
基于YOLOv5的工地行为安全检测识别方法及系统 Download PDFInfo
- Publication number
- CN112784821A CN112784821A CN202110247682.6A CN202110247682A CN112784821A CN 112784821 A CN112784821 A CN 112784821A CN 202110247682 A CN202110247682 A CN 202110247682A CN 112784821 A CN112784821 A CN 112784821A
- Authority
- CN
- China
- Prior art keywords
- image information
- safety helmet
- safety
- detection model
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000010276 construction Methods 0.000 claims abstract description 62
- 230000006399 behavior Effects 0.000 claims abstract description 18
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Social Psychology (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
本发明提供了基于YOLOv5的工地行为安全检测识别方法及系统，涉及建筑工程领域，包括以下步骤：获取待识别的工地现场图像信息；采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示，本发明整合机器视觉技术、智慧工地技术、神经网络技术的一体化工程安全监管应用成果，实现对工地现场工人安全帽佩戴情况的实时监测与告警，以此加强工程管理规范性、提升工程整体效率、减少成本消耗、降低意外事故与人员伤亡发生概率、并推进智慧城市与智慧工地建设等。
Description
技术领域
本发明涉及建筑工程领域，尤其涉及基于YOLOv5的工地行为安全检测识别方法及系统。
背景技术
建筑施工作业过程中，存在着较多安全隐患，安全事故的发生率居高不下。在长期的实践论证中，在开展施工作业之前，对建筑工人的行为能力和安全设施的佩戴进行检查，能够有效的减少事故发生的几率。因此，在日常施工作业工程中，监督工人的安全帽等安全设施是否佩戴显得尤为重要。但是目前大部分工地上，采用的都是人为监测，很依赖于现场经验丰富的管理人员，需要他们实时的进行观察和检查，又费时又费力，存在着自动化水平较低，工作量较大，检查项目有限的情况，极容易出现漏检等情况，造成安全隐患。因此出现了工地监管系统，实现智能化地监督工人施工。
传统工地监管系统大多由专门的工程管理干系实现，但是此种的工地监管系统需要消耗大量人力，并且由于个人疏忽等其他难以回避的因素，很难做到安全规范的广泛落实，具有可靠性较低、反应时延较长、成本较大以及管理不便等显著缺陷。因此出现了基于目标检测技术的自动化识别的工地监管系统，可以摆脱对人力的依赖，提供可靠、可控、低成本的工地安全保障，目标检测即对待检测对象的精准定位与准确识别，确定目标所在的位置和具体类别，当前对于目标检测方法的研究已经相当成熟了。不过对于施工现场，一些环境比较复杂的工矿这些特殊场景中对于目标检测的实时性、精确度都有着相当高的要求，对于这些外在的干扰特征信息，机器很多情况下无法做出准确判断，目标检测物的实时性、精确度较低，且通用性不强。
发明内容
有鉴于此，本发明的目的在于提出基于YOLOv5的工地行为安全检测识别方法及系统，以解决上述背景技术中提及的全部问题或之一。
基于上述目的，本发明提供了基于YOLOv5的工地行为安全检测识别方法，包括以下步骤：
获取待识别的工地现场图像信息；
采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；
当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示。
可选的，所述检测模型为Yolov5模型。
可选的，获取待识别的工地现场图像信息之前，还包括：
搭建所述检测模型，检测模型具有Yolov5模型结构的pytorch框架；
采集工地现场中不同环境下工人的工地现场图像信息；
响应于所述工地现场图像信息中包括有待筛选的模糊图像的区域，将所述模糊图像的区域确定为可疑候选区域；
将所述可疑候选区域切割成尺寸一致的多个区块，根据各个所述区块中安全帽颜色像素的占比，确定可疑候选区域的分割区块，其中，所述安全帽颜色像素为在安全帽目标颜色色域内的像素，通过判断像素的RGB值确定是否为安全帽颜色像素；
根据所述分割区块，确定安全帽的佩戴位置，并对安全帽的佩戴位置进行标注，得到均包括标注安全帽佩戴位置的图像信息的训练集和测试集；
采用所述训练集对检测模型进行训练，并根据训练结果对检测模型进行参数微调，得到预训练好的检测模型。
可选的，响应于所述工地现场图像信息中包括有待筛选的模糊图像的区域，将所述模糊图像的区域确定为可疑候选区域之前，还包括：
响应于任何一个区域内安全帽颜色像素的占比不高于预设阈值，确定该工地现场图像信息中不包括有安全帽图像信息，剔除该工地现场图像信息。
可选的，响应于所述工地现场图像信息中包括有待筛选的模糊图像的区域，将所述模糊图像的区域确定为可疑候选区域，具体包括：
将所述工地现场图像信息划分为多个区域；
获取每个所述区域内安全帽颜色的占比，所述占比的计算方法为公式(1)，所述公式(1)为：
响应于任意一个区域内安全帽颜色的占比低于预设阈值，将安全帽颜色的占比低于预设阈值的区域确定为待筛选的模糊图像的区域；
响应于工地现场图像信息中包括有待筛选的模糊图像的区域，将安全帽颜色的占比低于预设阈值的区域确定为可疑候选区域。
可选的，将所述可疑候选区域切割成尺寸一致的多个区块，具体为：
将可疑候选区域按等高或者等宽的原则切割成尺寸一致的多个区块。
可选的，将所述可疑候选区域切割成尺寸一致的多个区块，根据各个所述区块中安全帽颜色像素的占比，确定可疑候选区域的分割区块，具体包括：
确定基础区块；
从所述基础区块开始，获取基础区块后的每个区块中安全帽颜色像素的占比；
获取占比最小的区块，将占比最小的区块确定为可疑候选区域的分割区块。
可选的，所述训练集和所述测试集的比例为7：3。
可选的，采用所述训练集对检测模型进行训练，并根据训练结果对检测模型进行参数微调，得到预训练好的检测模型中，所述参数包括P、R和mAP，P、R和mAP分别代表识别精度、召回率和综合准确率。
进一步的，本发明还提供了基于YOLOv5的工地行为安全检测识别系统，包括：
现场信息获取模块，用于获取待识别的工地现场图像信息；
安全帽位置识别模块，用于采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；
安全警示模块，用于当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示。
从上面所述可以看出，本发明提供的基于YOLOv5的工地行为安全检测识别方法，具备以下有益效果：
该方法和系统中通过采集工地现场中不同环境下工人的工地现场图像，并对工地现场图像进行筛选，制作专有的训练集，专有的训练集具有多样性，使得利用专有的训练集训练得到检测模型能够准确快速的安全帽和安全帽的位置信息，目标检测模型为于YOLOv5模型，使得到的目标检测模型不仅具有高速数据处理能力，能够提高识别的效率，还能快速移植于其他的移动设备，通用性强。在对工地现场图像进行筛选的过程中，通过对工地现场图像的可疑候选区域进行区块划分，并根据各区块包括的安全帽颜色的占比来确定作为分界线的目标区块并进行图像切割，得到安全帽的佩戴位置，具有较高的识别准确率。
该方法和系统整合机器视觉技术、智慧工地技术、神经网络技术的一体化工程安全监管应用成果，实现对工地现场工人安全帽佩戴情况和佩戴是否规范的实时监测与告警，以此加强工程管理规范性、提升工程整体效率、减少成本消耗、降低意外事故与人员伤亡发生概率、并推进智慧城市与智慧工地建设等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程示意图一；
图2为本发明方法的流程示意图二；
图3为本发明方法的流程示意图三；
图4为本发明方法中S300步骤具体的流程示意图；
图5为本发明方法中S400步骤具体的流程示意图；
图6为本发明系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
作为本发明的一个优选实施例，本发明提出了基于YOLOv5的工地行为安全检测识别方法，包括以下步骤：
获取待识别的工地现场图像信息；
采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；
当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示。
进一步的，本发明还提出了基于YOLOv5的工地行为安全检测识别系统，包括：
现场信息获取模块，用于获取待识别的工地现场图像信息；
安全帽位置识别模块，用于采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；
安全警示模块，用于当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示。
本发明的设计，该方法和系统中通过采集工地现场中不同环境下工人的工地现场图像，并对工地现场图像进行筛选，制作专有的训练集，专有的训练集具有多样性，使得利用专有的训练集训练得到检测模型能够准确快速的安全帽和安全帽的位置信息，目标检测模型为于YOLOv5模型，使得到的目标检测模型不仅具有高速数据处理能力，能够提高识别的效率，还能快速移植于其他的移动设备，通用性强。在对工地现场图像进行筛选的过程中，通过对工地现场图像的可疑候选区域进行区块划分，并根据各区块包括的安全帽颜色的占比来确定作为分界线的目标区块并进行图像切割，得到安全帽的佩戴位置，具有较高的识别准确率。
该方法和系统整合机器视觉技术、智慧工地技术、神经网络技术的一体化工程安全监管应用成果，实现对工地现场工人安全帽佩戴情况和佩戴是否规范的实时监测与告警，以此加强工程管理规范性、提升工程整体效率、减少成本消耗、降低意外事故与人员伤亡发生概率、并推进智慧城市与智慧工地建设等。
下面结合附图对本发明的较佳实施例进行说明。
请参阅图1，该方法包括以下步骤：
S700)获取待识别的工地现场图像信息。在本实施例中，可以采用摄像头进行工地现场图像信息的采集，以摄像头为例，根据工程施工的实际要求，在工地合适的位置安装多组摄像头，构成摄像头监控网络，拍摄图片以进行后续步骤。
S800)采用预训练好的检测模型对待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，在该方法中检测模型具有Yolov5模型结构的pytorch框架，检测模型用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息。
该方法是以YOLOv5算法为核心，结合智能感知等多项技术而诞生的进阶产品，可以做到对工地现场工人安全帽佩戴情况的检测与告警。YOLOv5算法在性能和处理速度上为目前最强，足够胜任常规情况下的工地安全监管，在工程规范性与智能性上实现较大提升。
具体的，该方法所使用的Yolov5模型是one-stage网络，不同于之前的two-stage网络，one-stage网络生成的anchor框只是一个逻辑结构，或者只是一个数据块，只需要对这个数据块进行分类和回归就可以，数据处理简单，因而能够准确快速的识别信息，而原有的two-stage网络生成的anchor框会映射到featuremap的区域，然后将该区域重新输入到全连接层进行分类和回归，每个ancor映射的区域都要进行这样的分类和回归，所以它非常耗时。
pytorch框架能快速移植于其他移动设备，支持图像、视频等各种数据源处理，基于该框架下的Yolov5模型结构，在GPU等硬件支持下进行并行计算，能够提高目标检测性能。
S900)当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示，在本实施例中，警示的形式可以是屏幕实时显示、鸣笛提醒或短信通知管理层等。
因此，该方法相较于传统人力监管方式，大大节省了工程成本，提高了安全监管可靠性与规范性，并且能够做到实时监管。相较于一般的自动化监管系统，该方法还进一步提升了各项性能指标，包括识别精度、识别速度以及识别准确率等。同时，也具备较大的优化与功能拓展空间。由于处理性能上的提高，该方法可以胜任更加灵活的工程监管任务，如搭载无人机实现现场巡逻检测等。
请参阅图2，该方法在S700)步骤之前还包括：
S100)搭建检测模型，检测模型具有Yolov5模型结构的pytorch框架。
S200)采集工地现场中不同环境下工人的工地现场图像信息。
S300)响应于工地现场图像信息中包括有待筛选的模糊图像的区域，将模糊图像的区域确定为可疑候选区域，该步骤的目的在于筛选并处理图像质量较差的图像信息，因为图像质量较差的信息在后续的训练过程中会导致检测模型不够精确，对这些图像信息进行处理后，可以训练出更符合要求的检测模型。
S400)将可疑候选区域切割成尺寸一致的多个区块，在本实施例中，将可疑候选区域按等高或者等宽的原则切割成尺寸一致的多个区块，根据各个区块中安全帽颜色像素的占比，确定可疑候选区域的分割区块，其中，安全帽颜色像素为在安全帽目标颜色色域内的像素，通过判断像素的RGB值确定是否为安全帽颜色像素，通过RGB值进行判断，可以将安全帽目标颜色色域与工人衣服颜色色域进行区别。安全帽目标颜色色域是给定的，根据工地采购并统一发放的安全帽的颜色来确定。
S500)根据分割区块，确定安全帽的佩戴位置，并对安全帽的佩戴位置进行标注，得到均包括标注安全帽佩戴位置的图像信息的训练集和测试集。
S600)采用训练集对检测模型进行训练，并根据训练结果对检测模型进行参数微调，得到预训练好的检测模型。
请参阅图3，该方法在S300)响应于工地现场图像信息中包括有待筛选的模糊图像的区域，将模糊图像的区域确定为可疑候选区域步骤之前，还包括：
S210)响应于任何一个区域内安全帽颜色像素的占比不高于预设阈值，确定该工地现场图像信息中不包括有安全帽图像信息，剔除该工地现场图像信息。
请参阅图4，S300)响应于工地现场图像信息中包括有待筛选的模糊图像的区域，将模糊图像的区域确定为可疑候选区域，具体包括：
S301)将工地现场图像信息划分为多个区域。
S302)获取每个区域内安全帽颜色的占比，占比的计算方法为公式(1)，公式(1)为：
在该方法中，通过安全帽颜色占比来判断该区域中是否有安全帽的图像信息，进而获取到该区域中是否含有工人佩戴了安全帽的信息，在遍历所有区域后，整合所有区域的工人佩戴了安全帽的信息，即能够得知该工地现场图像信息中工人佩戴安全帽时，安全帽的佩戴位置，在了解到工人是否佩戴安全帽的同时了解到佩戴是否符合生产规范，进行更合理的施工指导，以此加强工程管理规范性、提升工程整体效率、减少成本消耗、降低意外事故与人员伤亡发生概率、并推进智慧城市与智慧工地建设等。
S303)响应于任意一个区域内安全帽颜色的占比低于预设阈值，将安全帽颜色的占比低于预设阈值的区域确定为待筛选的模糊图像的区域。
S304)响应于工地现场图像信息中包括有待筛选的模糊图像的区域，将安全帽颜色的占比低于预设阈值的区域确定为可疑候选区域。
请参阅图5，S400)将可疑候选区域切割成尺寸一致的多个区块，根据各个区块中安全帽颜色像素的占比，确定可疑候选区域的分割区块，具体包括：
S401)确定基础区块。
S402)从基础区块开始，获取基础区块后的每个区块中安全帽颜色像素的占比。
S403)获取占比最小的区块，将占比最小的区块确定为可疑候选区域的分割区块。
可以理解的是，工人未佩戴安全帽的位置安全帽颜色像素的占比是较低的，佩戴安全帽的位置安全帽颜色像素的占比是较高的，那么占比最小的区块就是可疑候选区域中安全帽佩戴位置的分界位置，这样就能了解到质量较差的图像信息中安全帽的佩戴位置。
模型训练过程中，具有以下特点：
1)使用大量和任务相关的数据集来训练模型；
2)通过模型在数据集上的误差不断迭代训练模型，得到对数据集拟合合理的模型；
3)将训练好调整好的模型应用到真实的场景中。
模型训练的最终目的是将训练好的模型部署到真实的环境中，希望训练好的模型能够在真实的数据上得到好的预测效果，换句话说就是希望模型在真实数据上预测的结果误差越小越好。模型在真实环境中的误差叫做泛化误差，最终的目的是希望训练好的模型泛化误差越低越好，因此模型训练中会尽可能希望通过某个信号来了解模型的泛化误差，这样就可以指导得到泛化能力更强的模型。当然可以使用泛化误差本身来作为检测信号，如果泛化误差小的话还可以接受，但是通常情况下泛化误差可能很大，这个时候会将部署的模型撤回，重新训练，实际中可能需要部署和训练之间往复很多次，这种方式虽然能够更好的指导训练模型，但是成本和效率非常的差。
使用模型在数据集上训练的拟合程度来作为评估模型的信号。但是往往取的数据集并不是完全的干净以及有代表性，通常获取到的数据集可能很少、数据的代表性不够、包含太多的噪声或者是被一些无关特征污染，获取到的数据集或多或少都会有这些问题，那么模型对训练数据集的拟合程度不能指导泛化误差，也就是说训练的时候拟合的好并不代表模型的泛化误差就小。
更好的方式就是将数据分割成两部分：训练集和测试集。可以使用训练集的数据来训练模型，然后用测试集上的误差作为最终模型在应对现实场景中的泛化误差。有了测试集，想要验证模型的最终效果，只需将训练好的模型在测试集上计算误差，即可认为此误差即为泛化误差的近似，只需让练好的模型在测试集上的误差最小即可。
通常需要在开始构建模型之前把数据集进行划分，防止数据窥探偏误，也就是说可以避免了解太多关于测试集中的样本特点，防止认为的挑选有助于测试集数据的模型。因此在构建模型的时候需要将数据进行处理，包括一些数据的清洗，数据的特征缩放(标准化或者归一化)，此时只需要在训练集上进行这些操作，然后将其在训练集上得到的参数应用到测试集中，也就是说，在工作流程中，不能使用在测试数据集上计算的得到的任何结果。常规的做法是通过计算属性值的中位数来填充缺失值。由于测试集作为对泛化误差的近似，所以训练好模型，最后在测试集上近似估计模型的泛化能力。
在本实施例中，训练集和测试集的比例为7：3。
采用训练集对检测模型进行训练，并根据训练结果对检测模型进行参数微调，得到预训练好的检测模型中，参数包括P、R和mAP，P、R和mAP分别代表识别精度、召回率和综合准确率。即对P、R以及mAP值进行优化，一般保证mAP尽可能高，同时P和R也具有一定限度。具体数值依据实际要求而定。该优化过程直接影响到目标检测的最终性能，如识别精度、识别速度和准确率等，可以通过加深网络深度和加宽特征图宽度的方式提高识别准确率。
进一步的，请参阅图6，该系统包括：
现场信息获取模块，用于获取待识别的工地现场图像信息。在本实施例中，可以采用摄像头进行工地现场图像信息的采集，以摄像头为例，根据工程施工的实际要求，在工地合适的位置安装多组摄像头，构成摄像头监控网络，拍摄图片以进行后续步骤。
安全帽位置识别模块，用于采用预训练好的检测模型对待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，在该系统中检测模型具有Yolov5模型结构的pytorch框架，检测模型用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息。
该系统是以YOLOv5算法为核心，结合智能感知等多项技术而诞生的进阶产品，可以做到对工地现场工人安全帽佩戴情况的检测与告警。YOLOv5算法在性能和处理速度上为目前最强，足够胜任常规情况下的工地安全监管，在工程规范性与智能性上实现较大提升。
具体的，该系统所使用的Yolov5模型是one-stage网络，不同于之前的two-stage网络，one-stage网络生成的anchor框只是一个逻辑结构，或者只是一个数据块，只需要对这个数据块进行分类和回归就可以，数据处理简单，因而能够准确快速的识别信息，而原有的two-stage网络生成的anchor框会映射到featuremap的区域，然后将该区域重新输入到全连接层进行分类和回归，每个ancor映射的区域都要进行这样的分类和回归，所以它非常耗时。
pytorch框架能快速移植于其他移动设备，支持图像、视频等各种数据源处理，基于该框架下的Yolov5模型结构，在GPU等硬件支持下进行并行计算，能够提高目标检测性能。
安全警示模块，用于当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示，在本实施例中，警示的形式可以是屏幕实时显示、鸣笛提醒或短信通知管理层等。
因此，该系统相较于传统人力监管方式，大大节省了工程成本，提高了安全监管可靠性与规范性，并且能够做到实时监管。相较于一般的自动化监管系统，该系统还进一步提升了各项性能指标，包括识别精度、识别速度以及识别准确率等。同时，也具备较大的优化与功能拓展空间。由于处理性能上的提高，该系统可以胜任更加灵活的工程监管任务，如搭载无人机实现现场巡逻检测等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于YOLOv5的工地行为安全检测识别方法，其特征在于：包括以下步骤：
获取待识别的工地现场图像信息；
采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；
当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示。
2.根据权利要求1所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：所述检测模型为Yolov5模型。
3.根据权利要求2所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：获取待识别的工地现场图像信息之前，还包括：
搭建所述检测模型，检测模型具有Yolov5模型结构的pytorch框架；
采集工地现场中不同环境下工人的工地现场图像信息；
响应于所述工地现场图像信息中包括有待筛选的模糊图像的区域，将所述模糊图像的区域确定为可疑候选区域；
将所述可疑候选区域切割成尺寸一致的多个区块，根据各个所述区块中安全帽颜色像素的占比，确定可疑候选区域的分割区块，其中，所述安全帽颜色像素为在安全帽目标颜色色域内的像素，通过判断像素的RGB值确定是否为安全帽颜色像素；
根据所述分割区块，确定安全帽的佩戴位置，并对安全帽的佩戴位置进行标注，得到均包括标注安全帽佩戴位置的图像信息的训练集和测试集；
采用所述训练集对检测模型进行训练，并根据训练结果对检测模型进行参数微调，得到预训练好的检测模型。
4.根据权利要求3所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：响应于所述工地现场图像信息中包括有待筛选的模糊图像的区域，将所述模糊图像的区域确定为可疑候选区域之前，还包括：
响应于任何一个区域内安全帽颜色像素的占比不高于预设阈值，确定该工地现场图像信息中不包括有安全帽图像信息，剔除该工地现场图像信息。
5.根据权利要求4所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：响应于所述工地现场图像信息中包括有待筛选的模糊图像的区域，将所述模糊图像的区域确定为可疑候选区域，具体包括：
将所述工地现场图像信息划分为多个区域；
获取每个所述区域内安全帽颜色的占比，所述占比的计算方法为公式(1)，所述公式(1)为：
响应于任意一个区域内安全帽颜色的占比低于预设阈值，将安全帽颜色的占比低于预设阈值的区域确定为待筛选的模糊图像的区域；
响应于工地现场图像信息中包括有待筛选的模糊图像的区域，将安全帽颜色的占比低于预设阈值的区域确定为可疑候选区域。
6.根据权利要求5所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：将所述可疑候选区域切割成尺寸一致的多个区块，具体为：
将可疑候选区域按等高或者等宽的原则切割成尺寸一致的多个区块。
7.根据权利要求6所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：将所述可疑候选区域切割成尺寸一致的多个区块，根据各个所述区块中安全帽颜色像素的占比，确定可疑候选区域的分割区块，具体包括：
确定基础区块；
从所述基础区块开始，获取基础区块后的每个区块中安全帽颜色像素的占比；
获取占比最小的区块，将占比最小的区块确定为可疑候选区域的分割区块。
8.根据权利要求7所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：所述训练集和所述测试集的比例为7：3。
9.根据权利要求8所述的基于YOLOv5的工地行为安全检测识别方法，其特征在于：采用所述训练集对检测模型进行训练，并根据训练结果对检测模型进行参数微调，得到预训练好的检测模型中，所述参数包括P、R和mAP，P、R和mAP分别代表识别精度、召回率和综合准确率。
10.基于YOLOv5的工地行为安全检测识别系统，其特征在于：包括：
现场信息获取模块，用于获取待识别的工地现场图像信息；
安全帽位置识别模块，用于采用预训练好的检测模型对所述待识别的工地现场图像信息进行识别，对安全帽的佩戴情况进行检测，其中，检测模型为深度学习模型，用于训练检测模型的训练集包括标注安全帽佩戴位置的图像信息；
安全警示模块，用于当识别到工人未佩戴安全帽或者佩戴位置不规范时，发出警示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110247682.6A CN112784821A (zh) | 2021-03-06 | 2021-03-06 | 基于YOLOv5的工地行为安全检测识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110247682.6A CN112784821A (zh) | 2021-03-06 | 2021-03-06 | 基于YOLOv5的工地行为安全检测识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112784821A true CN112784821A (zh) | 2021-05-11 |
Family
ID=75762345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110247682.6A Pending CN112784821A (zh) | 2021-03-06 | 2021-03-06 | 基于YOLOv5的工地行为安全检测识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784821A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781469A (zh) * | 2021-09-24 | 2021-12-10 | 南方科技大学嘉兴研究院 | 基于yolo改进模型的安全头盔佩戴检测的方法及系统 |
| CN113887952A (zh) * | 2021-09-30 | 2022-01-04 | 深圳市万睿智能科技有限公司 | 一种智慧工地安全检测管理方法、装置及相关介质 |
| CN114003058A (zh) * | 2021-10-25 | 2022-02-01 | 上海宝冶冶金工程有限公司 | 一种安全帽佩戴智慧巡检系统及方法 |
| CN114612866A (zh) * | 2022-05-12 | 2022-06-10 | 东营固泰尔建筑科技有限责任公司 | 一种建筑场地内安全性智能识别方法、装置及设备 |
| CN114831378A (zh) * | 2022-05-17 | 2022-08-02 | 杭州品茗安控信息技术股份有限公司 | 一种下颚带佩戴状态监控方法、装置、设备及存储介质 |
| CN114973080A (zh) * | 2022-05-18 | 2022-08-30 | 深圳能源环保股份有限公司 | 一种安全帽佩戴检测方法、装置、设备及存储介质 |
| CN115630771A (zh) * | 2022-12-07 | 2023-01-20 | 广东邦盛北斗科技股份公司 | 应用于智慧工地的大数据分析方法及系统 |
| CN116229570A (zh) * | 2023-02-21 | 2023-06-06 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170037375A (ko) * | 2015-09-25 | 2017-04-04 | 국민대학교산학협력단 | 영상의 색상정보를 이용한 실시간 화재 감지 시스템 및 방법 |
| CN109766869A (zh) * | 2019-01-23 | 2019-05-17 | 中国建筑第八工程局有限公司 | 一种基于机器视觉的安全帽佩戴人工智能检测方法 |
| CN109934163A (zh) * | 2018-12-27 | 2019-06-25 | 北京航空航天大学 | 一种基于场景先验和特征再融合的航空图像车辆检测方法 |
| WO2020056677A1 (zh) * | 2018-09-20 | 2020-03-26 | 中建科技有限公司深圳分公司 | 一种用于建筑施工现场的违规检测方法、系统及设备 |
| CN110942000A (zh) * | 2019-11-13 | 2020-03-31 | 南京理工大学 | 一种基于深度学习的无人驾驶车辆目标检测方法 |
| CN111028255A (zh) * | 2018-10-10 | 2020-04-17 | 千寻位置网络有限公司 | 基于先验信息与深度学习的农田区域预筛选方法及装置 |
| CN111199200A (zh) * | 2019-12-27 | 2020-05-26 | 深圳供电局有限公司 | 基于电力防护装备的佩戴检测方法、装置和计算机设备 |
| CN111382736A (zh) * | 2018-12-29 | 2020-07-07 | 浙江宇视科技有限公司 | 车牌图像的获取方法和装置 |
| CN111783860A (zh) * | 2020-06-22 | 2020-10-16 | 上海飞未信息技术有限公司 | 一种农村房屋自动影像识别方法和系统 |
| CN112183471A (zh) * | 2020-10-28 | 2021-01-05 | 西安交通大学 | 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 |
| CN112184773A (zh) * | 2020-09-30 | 2021-01-05 | 华中科技大学 | 一种基于深度学习的安全帽佩戴检测方法及系统 |
| CN112308860A (zh) * | 2020-10-28 | 2021-02-02 | 西北工业大学 | 基于自监督学习的对地观测图像语义分割方法 |
| CN112329567A (zh) * | 2020-10-27 | 2021-02-05 | 武汉光庭信息技术股份有限公司 | 自动驾驶场景中目标检测的方法及系统、服务器及介质 |
-
2021
- 2021-03-06 CN CN202110247682.6A patent/CN112784821A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170037375A (ko) * | 2015-09-25 | 2017-04-04 | 국민대학교산학협력단 | 영상의 색상정보를 이용한 실시간 화재 감지 시스템 및 방법 |
| WO2020056677A1 (zh) * | 2018-09-20 | 2020-03-26 | 中建科技有限公司深圳分公司 | 一种用于建筑施工现场的违规检测方法、系统及设备 |
| CN111028255A (zh) * | 2018-10-10 | 2020-04-17 | 千寻位置网络有限公司 | 基于先验信息与深度学习的农田区域预筛选方法及装置 |
| CN109934163A (zh) * | 2018-12-27 | 2019-06-25 | 北京航空航天大学 | 一种基于场景先验和特征再融合的航空图像车辆检测方法 |
| CN111382736A (zh) * | 2018-12-29 | 2020-07-07 | 浙江宇视科技有限公司 | 车牌图像的获取方法和装置 |
| CN109766869A (zh) * | 2019-01-23 | 2019-05-17 | 中国建筑第八工程局有限公司 | 一种基于机器视觉的安全帽佩戴人工智能检测方法 |
| CN110942000A (zh) * | 2019-11-13 | 2020-03-31 | 南京理工大学 | 一种基于深度学习的无人驾驶车辆目标检测方法 |
| CN111199200A (zh) * | 2019-12-27 | 2020-05-26 | 深圳供电局有限公司 | 基于电力防护装备的佩戴检测方法、装置和计算机设备 |
| CN111783860A (zh) * | 2020-06-22 | 2020-10-16 | 上海飞未信息技术有限公司 | 一种农村房屋自动影像识别方法和系统 |
| CN112184773A (zh) * | 2020-09-30 | 2021-01-05 | 华中科技大学 | 一种基于深度学习的安全帽佩戴检测方法及系统 |
| CN112329567A (zh) * | 2020-10-27 | 2021-02-05 | 武汉光庭信息技术股份有限公司 | 自动驾驶场景中目标检测的方法及系统、服务器及介质 |
| CN112183471A (zh) * | 2020-10-28 | 2021-01-05 | 西安交通大学 | 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 |
| CN112308860A (zh) * | 2020-10-28 | 2021-02-02 | 西北工业大学 | 基于自监督学习的对地观测图像语义分割方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781469A (zh) * | 2021-09-24 | 2021-12-10 | 南方科技大学嘉兴研究院 | 基于yolo改进模型的安全头盔佩戴检测的方法及系统 |
| CN113887952A (zh) * | 2021-09-30 | 2022-01-04 | 深圳市万睿智能科技有限公司 | 一种智慧工地安全检测管理方法、装置及相关介质 |
| CN114003058A (zh) * | 2021-10-25 | 2022-02-01 | 上海宝冶冶金工程有限公司 | 一种安全帽佩戴智慧巡检系统及方法 |
| CN114003058B (zh) * | 2021-10-25 | 2024-01-26 | 上海宝冶冶金工程有限公司 | 一种安全帽佩戴智慧巡检系统及方法 |
| CN114612866A (zh) * | 2022-05-12 | 2022-06-10 | 东营固泰尔建筑科技有限责任公司 | 一种建筑场地内安全性智能识别方法、装置及设备 |
| CN114612866B (zh) * | 2022-05-12 | 2022-09-02 | 东营固泰尔建筑科技有限责任公司 | 一种建筑场地内安全性智能识别方法、装置及设备 |
| CN114831378A (zh) * | 2022-05-17 | 2022-08-02 | 杭州品茗安控信息技术股份有限公司 | 一种下颚带佩戴状态监控方法、装置、设备及存储介质 |
| CN114973080A (zh) * | 2022-05-18 | 2022-08-30 | 深圳能源环保股份有限公司 | 一种安全帽佩戴检测方法、装置、设备及存储介质 |
| CN115630771A (zh) * | 2022-12-07 | 2023-01-20 | 广东邦盛北斗科技股份公司 | 应用于智慧工地的大数据分析方法及系统 |
| CN116229570A (zh) * | 2023-02-21 | 2023-06-06 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
| CN116229570B (zh) * | 2023-02-21 | 2024-01-23 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784821A (zh) | 基于YOLOv5的工地行为安全检测识别方法及系统 | |
| CN108009515B (zh) | 一种基于fcn的无人机航拍图像的输电线定位识别方法 | |
| CN102673979B (zh) | 输送带跑偏判断方法及判断装置 | |
| CN110458157B (zh) | 一种电力电缆生产过程智能监控系统 | |
| CN105744232A (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| CN115131283B (zh) | 目标对象的缺陷检测、模型训练方法、装置、设备及介质 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及系统 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN111753612A (zh) | 一种抛洒物检测方法、装置及存储介质 | |
| CN111814678A (zh) | 一种基于视频监控的运输皮带中煤流识别方法及系统 | |
| CN116385948B (zh) | 一种预警铁路边坡异常的系统和方法 | |
| CN111680610A (zh) | 一种施工场景异常监测方法和装置 | |
| CN111476160A (zh) | 损失函数优化方法、模型训练方法、目标检测方法及介质 | |
| CN115171022A (zh) | 一种施工场景下的安全帽佩戴检测方法及系统 | |
| CN114373162B (zh) | 用于变电站视频监控的危险区域人员入侵检测方法及系统 | |
| CN107169969B (zh) | 一种基于fpga的公路危岩崩塌堆积物大小测量及报警系统 | |
| CN114494845A (zh) | 一种用于施工项目现场人工智能隐患排查系统及其排查方法 | |
| CN112017213B (zh) | 一种目标对象的位置更新方法及系统 | |
| CN117768610A (zh) | 基于多目标识别的高速铁路周界入侵风险监测方法及系统 | |
| CN116246185A (zh) | 一种安全带佩戴检测方法、装置、存储介质及设备 | |
| CN114120658B (zh) | 一种高速公路智能巡检机器人系统以及巡检方法 | |
| CN114708544A (zh) | 一种基于边缘计算的违规行为智能监测头盔及其监测方法 | |
| CN115346170A (zh) | 一种燃气设施区域的智能监控方法及装置 | |
| KR102178202B1 (ko) | 신호등 검출 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |