CN111241959A - 一种通过工地视频流检测未佩戴安全帽人员的方法 - Google Patents

一种通过工地视频流检测未佩戴安全帽人员的方法 Download PDF

Info

Publication number
CN111241959A
CN111241959A CN202010008320.7A CN202010008320A CN111241959A CN 111241959 A CN111241959 A CN 111241959A CN 202010008320 A CN202010008320 A CN 202010008320A CN 111241959 A CN111241959 A CN 111241959A
Authority
CN
China
Prior art keywords
network model
safety helmet
training
detected
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010008320.7A
Other languages
English (en)
Other versions
CN111241959B (zh
Inventor
伍洲
李帅
刘界鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010008320.7A priority Critical patent/CN111241959B/zh
Publication of CN111241959A publication Critical patent/CN111241959A/zh
Application granted granted Critical
Publication of CN111241959B publication Critical patent/CN111241959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种通过工地视频流检测未佩戴安全帽人员的方法，主要步骤为：1)提取t时间内待检测区域监控设备的视频流，并建立训练样本集；2)建立YOLO网络模型；3)对YOLO网络模型进行训练，得到训练后的YOLO网络模型；4)将待检测图像输入到训练后的YOLO网络模型中，检测待检测区域内作业人员是否佩戴安全帽。本发明以视频流为基础，可以智能检验未佩戴安全帽的人员。

Description

一种通过工地视频流检测未佩戴安全帽人员的方法
技术领域
本发明涉及计算机视觉及模式识别领域，具体是一种通过工地视频流检测未佩戴安全帽人员的方法。
背景技术
在建筑施工的场地中，尤其是在高层建筑施工场地中，任何高空掉落的物品都会对处于下方施工的建筑工人的人身安全造成极大威胁。在这种情况下，安全帽可以起到极大的防护作用。它可以有效承受并分散落物的冲击力，防止不必要的人员伤亡。在建筑工人不慎高空坠落的情况下，也可减轻人员坠落头部先着地时的撞击伤害程度。总之，安全帽极大增加了建筑施工人员的生命安全保障系数。某种意义上，也保障了工期的按时完成和工程的项目盈利。
当前情况下，在施工场地中，为防止因为施工人员未佩戴安全帽产生人员伤亡事故，施工方采用工地入口处标语和门岗检查等方式进行一定的督导，同时工地的安全员会在工地巡回检测各种不安全行为，并且管理人员会通过设置在各处的摄像头进行未佩戴安全帽行为的检测。某些工地采用RFID的形式进行安全帽的佩戴检测。然而，这些方案都存在着各自不同的问题。门岗检测仅仅在入口处生效，安全员不能够同时监督工地的全部施工地点。RFID仅能保证安全帽在工作人员身边，不能保证施工人员佩戴安全帽。而摄像头允许管理人员同时监控工地的多个角落，但是识别未佩戴安全帽的不安全行为的责任仍然依赖于管理人员的肉眼识别。要求管理人员全天候通过摄像头排查未佩戴安全帽的人员的做法是不科学也是不现实的。
近年来，计算机视觉在许多领域取得了不小的进展。这为解决施工场地安全帽检测问题提供了新的思路。然而，截至目前，仍未出现一个采用计算机视觉技术解决该问题的成熟系统。
发明内容
本发明的目的是解决现有技术中存在的问题。
为实现本发明目的而采用的技术方案是这样的，一种通过工地视频流检测未佩戴安全帽人员的方法，主要包括以下步骤：
1)提取t时间内待检测区域监控设备的视频流，并建立训练样本集。
进一步，建立训练样本集的主要步骤如下：
1.1)提取t时间内待检测区域监控设备的视频流。
1.2)从所述视频流中逐帧截取并保存保护作业人员的图像。
1.3)对图像进行识别，为佩戴安全帽的作业人员图像和未佩戴安全帽的作业人员图像打上不同分类标签，完成图像分类，得到安全帽佩戴检测类别，从而制作出训练样本集。
2)建立YOLO网络模型。
进一步，所述YOLO网络模型为YOLO v3网络模型。
进一步，所述YOLO网络模型主要包括特征提取层和处理输出层。所述特征提取层包括输入层、低级卷积层和高级卷积层。
3)对YOLO网络模型进行训练，得到训练后的YOLO网络模型。
对YOLO网络模型进行训练的主要步骤如下：
3.1)利用COCO数据集对YOLO网络模型进行预训练，主要步骤为：
3.1.1)利用低级卷积层捕获图片中边缘、拐角等低级图像特征，利用高级卷积层捕获图片中形状、图形等更容易被识别区分的高级图像特征；所述低级图像特征包括图像边缘和拐角；所述高级图像特征包括作业人员轮廓特征和安全帽轮廓特征。
3.1.2)将低级特征插入到若干高级卷积层中，得到特征规范。
3.1.3)重复步骤3.1.1至步骤3.1.2，完成所有图像的预训练。
3.2)预训练后，删除特征值矩阵的最后一行后，对特征值矩阵的最后一行进行重写，使类别的输出与安全帽佩戴检测的类别对应。
3.3)将训练样本集输入到预训练后的YOLO网络模型中，对预训练后的YOLO网络模型进行训练，直至损失函数loss达到阈值ε。
YOLO算法是端到端网络算法，损失计算包括位置(坐标)误差，IOU误差和分类误差。
YOLO网络模型损失函数loss如下所示：
Figure BDA0002356124360000021
Figure BDA0002356124360000031
式中，
Figure BDA0002356124360000032
为中心坐标的损失函数，
Figure BDA0002356124360000033
为宽度和高度的损失函数，
Figure BDA0002356124360000034
和
Figure BDA0002356124360000035
为IOU误差，
Figure BDA0002356124360000036
为分类误差。式中，S2为网格数。B为每个单元格中的预测框数。x,y为每个单元的中心坐标。w、h为预测框的宽度和高度。C为预测框的置信度。Pi(c)指的是属于类c的对象在网格i中的真实概率。
Figure BDA0002356124360000037
是预测值。λcoord为位置损失函数的权重。λhardhat为分类损失函数的权重。
Figure BDA0002356124360000038
表示在第i个小区域的第j个预测帧中是否存在未佩戴安全帽的作业人员，如果存在，则值为1，否则为0。
Figure BDA0002356124360000039
为对应的预测值。
4)实时提取待检测区域监控设备的视频流，并转换为待检测图像。将待检测图像输入到训练后的YOLO网络模型中，检测待检测区域内作业人员是否佩戴安全帽。
检测待检测区域内作业人员是否佩戴安全帽的主要步骤如下：
4.1)确定检测边界，主要步骤如下：
4.1.1)输入图像时，首先在网络中选择目标以确定目标中心点。
4.1.2)将输入图像分成多个单元格，计算中心点所在的单元的坐标。
4.1.3)通过中心点的坐标计算预测的边界框，即：
bx＝δ(tx)+cx
by＝δ(ty)+cy
Figure BDA0002356124360000041
Figure BDA0002356124360000042
式中，(bx，by)表示预测边界框中心点的坐标，(bw，bh)表示预测边界框的宽和高，(tx，ty)表示目标中心点坐标，(tw，th)表示目标边界的宽和高，(pw，pw)表示anchor区域的宽度和高度,(cx，cy)表示坐标偏移量,δ函数为logistic函数。
4.2)对边界框中图像进行检测，使用sigmoid函数作为类预测的激活函数，判断作业人员是否佩戴安全帽。
本发明的技术效果是毋庸置疑的。本发明所提出的视频流安全帽检测方法的有益效果如下：
1)以视频流为基础，智能检验未佩戴安全帽的人员；
2)降低人员管理成本，保障施工安全质量和工期进度；
3)推动数字化施工监管和智能化施工监管在实际中的应用。
附图说明
图1为图像处理过程示意图；
图2为图像处理示意图；
图3为方法流程图；
图4为检验视频中待检验图像；
图5为图4经本发明处理后所得到的测试图像。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1至图3，一种通过工地视频流检测未佩戴安全帽人员的方法，主要包括以下步骤：
1)提取t时间内待检测区域监控设备的视频流，并建立训练样本集。
进一步，建立训练样本集的主要步骤如下：
1.1)提取t时间内待检测区域监控设备的视频流。
1.2)从所述视频流中逐帧截取并保存保护作业人员的图像。
1.3)对图像进行识别，为佩戴安全帽的作业人员图像和未佩戴安全帽的作业人员图像打上不同分类标签，完成图像分类，得到安全帽佩戴检测类别，从而制作出训练样本集。
2)建立YOLO网络模型。
进一步，所述YOLO网络模型为YOLO v3网络模型。
进一步，所述YOLO网络模型主要包括特征提取层和处理输出层。所述特征提取层包括输入层、低级卷积层和高级卷积层。
3)对YOLO网络模型进行训练，得到训练后的YOLO网络模型。
对YOLO网络模型进行训练的主要步骤如下：
3.1)利用COCO数据集对YOLO网络模型进行预训练，主要步骤为：
3.1.1)利用低级卷积层捕获图片中边缘、拐角等低级图像特征，利用高级卷积层捕获图片中形状、图形等更容易被识别区分的高级图像特征。所述低级图像特征包括图像边缘和拐角；所述高级图像特征包括作业人员轮廓特征和安全帽轮廓特征。一般来说，除低级图像特征以外的图像特征即为高级图像特征。
3.1.2)将低级特征插入到若干高级卷积层中，实现特征规范。
3.1.3)重复步骤3.1.1至步骤3.1.2，完成所有图像的预训练。
3.2)预训练后，删除特征值矩阵的最后一行后，对特征值矩阵的最后一行进行重写，使类别的输出与安全帽佩戴检测的类别对应。
3.3)将训练样本集输入到预训练后的YOLO网络模型中，对预训练后的YOLO网络模型进行训练，直至损失函数loss达到阈值ε。
YOLO网络模型总损失函数loss如下所示：
Figure BDA0002356124360000061
式中，
Figure BDA0002356124360000062
为中心坐标的损失函数，
Figure BDA0002356124360000063
为宽度和高度的损失函数，
Figure BDA0002356124360000064
和
Figure BDA0002356124360000065
为IOU误差，
Figure BDA0002356124360000066
为分类误差。
Figure BDA0002356124360000067
和
Figure BDA0002356124360000068
为坐标误差。
S2为网格数。B为每个单元格中的预测框数。x,y为每个单元的中心坐标。w、h为预测框的宽度和高度。C为预测框的置信度。Pi(c)指的是属于类c的对象在网格i中的真实概率。
Figure BDA0002356124360000069
是预测值。λcoord为位置损失函数的权重。λhardhat为分类损失函数的权重。
Figure BDA00023561243600000610
表示在第i个小区域的第j个预测帧中是否存在未佩戴安全帽的作业人员，如果存在，则值为1，否则为0。
Figure BDA00023561243600000611
分别为每个单元的中心横坐标x、纵坐标y、预测框的宽度w、高度h、预测框的置信度C和对象在网格中概率P的预测值。下标i表示第i个网格，下标j表示第j个预测框。
4)实时提取待检测区域监控设备的视频流，并转换为待检测图像。将待检测图像输入到训练后的YOLO网络模型中，检测待检测区域内作业人员是否佩戴安全帽。
检测待检测区域内作业人员是否佩戴安全帽的主要步骤如下：
4)实时提取待检测区域监控设备的视频流，并转换为待检测图像。将待检测图像输入到训练后的YOLO网络模型中，检测待检测区域内作业人员是否佩戴安全帽。
检测待检测区域内作业人员是否佩戴安全帽的主要步骤如下：
4.1)确定检测边界，主要步骤如下：
4.1.1)输入图像时，首先在网络中选择目标以确定目标中心点。
4.1.2)将输入图像分成多个单元格，计算中心点所在的单元的坐标。
4.1.3)通过中心点的坐标计算预测的边界框，即：
bx＝δ(tx)+cx
by＝δ(ty)+cy
Figure BDA0002356124360000071
Figure BDA0002356124360000072
式中，(bx，by)表示预测边界框中心点的坐标，(bw，bh)表示预测边界框的宽和高，(tx，ty)表示目标中心点坐标，(tw，th)表示目标边界的宽和高，(pw，pw)表示anchor区域的宽度和高度,(cx，cy)表示坐标偏移量,δ函数为logistic函数。
4.2)对边界框中图像进行检测，使用sigmoid函数作为类预测的激活函数，判断作业人员是否佩戴安全帽。
实施例2：
一种通过工地视频流检测未佩戴安全帽人员的方法，主要包括以下步骤：
1)提取t时间内待检测区域监控设备的视频流，并建立训练样本集。
2)建立YOLO网络模型。
3)对YOLO网络模型进行训练，得到训练后的YOLO网络模型。
4)实时提取待检测区域监控设备的视频流，并转换为待检测图像。将待检测图像输入到训练后的YOLO网络模型中，检测待检测区域内作业人员是否佩戴安全帽。
实施例3：
一种通过工地视频流检测未佩戴安全帽人员的方法，主要步骤见实施例2，其中，建立训练样本集的主要步骤如下：
1)提取t时间内待检测区域监控设备的视频流，
2)从所述视频流中逐帧截取并保存保护作业人员的图像，
3)令作业人员头戴安全帽拍照，再取下安全帽拍照。
4)对图像进行识别，为佩戴安全帽的作业人员图像和未佩戴安全帽的作业人员图像打上不同分类标签，完成图像分类，得到安全帽佩戴检测类别，从而制作出训练样本集。
实施例4：
一种通过工地视频流检测未佩戴安全帽人员的方法，主要步骤见实施例2，其中，对YOLO网络模型进行训练的主要步骤如下：
1)利用COCO数据集对YOLO网络模型进行预训练，主要步骤为：
1.1)利用低级卷积层捕获低级图像特征，利用高级卷积层捕获高级图像特征。
1.2)将低级特征插入到若干高级卷积层中，实现特征规范。
1.3)重复步骤1.1至步骤1.2，完成所有图像的预训练。
2)预训练后，删除特征值矩阵的最后一行后，对特征值矩阵的最后一行进行重写，使类别的输出与安全帽佩戴检测的类别对应。
3)将训练样本集输入到预训练后的YOLO网络模型中，对预训练后的YOLO网络模型进行训练，直至损失函数loss达到阈值ε。
YOLO网络模型损失函数loss如下所示：
Figure BDA0002356124360000081
Figure BDA0002356124360000091
式中，
Figure BDA0002356124360000092
为中心坐标的损失函数，
Figure BDA0002356124360000093
为宽度和高度的损失函数，
Figure BDA0002356124360000094
和
Figure BDA0002356124360000095
为IOU误差，
Figure BDA0002356124360000096
为分类误差。式中，S2为网格数。B为每个单元格中的预测框数。x,y为每个单元的中心坐标。w、h为预测框的宽度和高度。C为预测框的置信度。Pi(c)指的是属于类c的对象在网格i中的真实概率。
Figure BDA0002356124360000097
是预测值。λcoord为位置损失函数的权重。λhardhat为分类损失函数的权重。
Figure BDA0002356124360000098
表示在第i个小区域的第j个预测帧中是否存在未佩戴安全帽的作业人员，如果存在，则值为1，否则为0。
Figure BDA0002356124360000099
对应的预测值。
实施例5：
一种通过工地视频流检测未佩戴安全帽人员的方法，主要步骤见实施例2，其中，检测待检测区域内作业人员是否佩戴安全帽的主要步骤如下：
1)确定检测边界，主要步骤如下：
1.1)输入图像时，首先在网络中选择目标以确定目标中心点；
1.2)将输入图像分成多个单元格，并计算中心点所在的单元的坐标；
1.3)通过中心点的坐标计算预测的边界框，即：
bx＝δ(tx)+cx
by＝δ(ty)+cy
Figure BDA00023561243600000910
Figure BDA00023561243600000911
式中，(bx，by)表示预测边界框中心点的坐标，(bw，bh)表示预测边界框的宽和高，(tx，ty)表示目标中心点坐标，(tw，th)表示目标边界的宽和高，(pw，pw)表示anchor区域的宽度和高度；(cx，cy)表示坐标偏移量,δ函数为logistic函数
2)对边界框中图像进行检测，使用sigmoid函数作为类预测的激活函数，判断作业人员是否佩戴安全帽。
实施例6：
参见图1至图5，一种通过工地视频流检测未佩戴安全帽人员的方法，主要包括以下步骤：
1)检测网络的训练与检测模型的部署，具体包括：
1.1)在检测服务器搭建YOLOv3(You Only Look Once Version3)网络结构。
YOLOv3网络结构图如图1所示，网络结构可以分为特征提取层和处理输出层。YOLOv3模型可以具体分为106层(从0层开始计算)，其中有75层是卷积层，23层是shortcut层，4层是route层，3层是YOLO层，2层是上采样图层。在卷积层中，主要使用1*1和3*3滤波器，3*3卷积层用于减小宽度和高度，增加信道数量，1*1卷积层用于压缩特征表示后3*3卷积层。因为网络层越多，训练就越难。因此，shortcut层类似于ResNet网络的快捷层，可以大大降低训练难度，提高训练准确率。Route层实现跨层连接，促进多个不同特征的融合并一起学习。YOLO层用于最终输出预测对象的坐标和类别。上采样层使用两个上采样来将大分辨率特征图与小分辨率特征图连接，以增强对小目标的识别。
1.2)使YOLOv3在COCO数据集上预训练；
1.3)在制作数据集上进行训练，直至损失函数达到所设的阈值，得到检测模型并将其部署在检测服务器；
训练数据集的制作方法：对工地监控视频进行取帧，为所述图像帧中佩戴安全帽的人员及未佩戴安全帽的人员分别添加不同的标签。为保证训练数据的平衡性，对数量较少的未佩戴安全帽的标记数据进行数据增强操作，使得数据集具有较好的平衡性。为保证模型的精确性和泛化性，对所取定的图像帧的数量和质量均需满足特定的要求。
具体实施时，考虑到图像中的人员相互遮挡的情况，仅仅将未佩戴安全帽人物的头部标记为“danger”,而将佩戴安全帽的人员的头部标记为“hardhat”。同时，对于整体数量较少的未佩戴安全帽的情况，采用增加数据量和数据增强的技术来保证数据集的平衡性和训练得到的模型具的鲁棒性。
2)图像的处理，具体包括：
2.1)图像处理服务器接收视频流，转化成每一帧图片；
对将视频流转化成每一帧图片，进而完成实时检测，所述实时检测机理在于：对实时视频流取帧，得到视频流中某些连续帧的图像，取帧的频率要求大于等于25帧，即能够连续流畅播放的频率。
2.2)图片输入到部署训练好的YOLOv3检测模型，完成图片的依次检测；
YOLOv3检测过程图如图2，检测模型网络调整图片的大小，然后对图片进行检测得到检测类别、边界框，图片大小由1080*1920调至416*416，其中1080*1920是监控视频的分辨率，对于416*416大小的图片，YOLOv3下采样的总步长为32,最终得到的特征图大小为13*13，维度是奇数，这样特征图恰好只有一个中心位置。
2.3)检测结果保存到服务器并发送到显示端，未佩戴安全帽的对管理人员进行提示。图4为数据处理系统获取的图像，图5为YOLO安全帽检测系统检测后的图像。

Claims (6)

1.一种通过工地视频流检测未佩戴安全帽人员的方法，其特征在于，主要包括以下步骤：
1)提取t时间内待检测区域监控设备的视频流，并建立训练样本集；
2)建立YOLO网络模型。
3)对YOLO网络模型进行训练，得到训练后的YOLO网络模型；
4)实时提取待检测区域监控设备的视频流，并转换为待检测图像；将待检测图像输入到训练后的YOLO网络模型中，检测待检测区域内作业人员是否佩戴安全帽。
2.根据权利要求1或2所述的一种通过工地视频流检测未佩戴安全帽人员的方法，其特征在于：所述YOLO网络模型为YOLO v3网络模型。
3.根据权利要求1所述的一种通过工地视频流检测未佩戴安全帽人员的方法，其特征在于，建立训练样本集的主要步骤如下：
1)提取t时间内待检测区域监控设备的视频流；
2)从所述视频流中逐帧截取并保存保护作业人员的图像；
3)对图像进行识别，为佩戴安全帽的作业人员图像和未佩戴安全帽的作业人员图像打上不同分类标签，完成图像分类，得到安全帽佩戴检测类别，从而制作出训练样本集。
4.根据权利要求1所述的一种通过工地视频流检测未佩戴安全帽人员的方法，其特征在于：所述YOLO网络模型主要包括所述特征提取层和处理输出层；所述特征提取层包括输入层、低级卷积层和高级卷积层。
5.根据权利要求1所述的一种通过工地视频流检测未佩戴安全帽人员的方法，其特征在于：对YOLO网络模型进行训练的主要步骤如下：
1)利用COCO数据集对YOLO网络模型进行预训练，主要步骤为：
1.1)利用低级卷积层捕获低级图像特征，利用高级卷积层捕获高级图像特征；所述低级图像特征包括图像边缘和拐角；所述高级图像特征包括作业人员轮廓特征和安全帽轮廓特征；
1.2)将低级特征插入到多个高级卷积层中，实现特征规范；
1.3)重复步骤1.1)至步骤1.2)，完成所有图像的预训练；
2)预训练后，重写最后一层YOLO层，使类别的输出与安全帽佩戴检测的类别对应；
3)将训练样本集输入到预训练后的YOLO网络模型中，对预训练后的YOLO网络模型进行训练，直至损失函数loss达到阈值ε；
YOLO网络模型损失函数loss如下所示：
Figure FDA0002356124350000021
式中，
Figure FDA0002356124350000022
为中心坐标的损失函数，
Figure FDA0002356124350000023
为宽度和高度的损失函数，
Figure FDA0002356124350000024
和
Figure FDA0002356124350000025
为IOU误差，
Figure FDA0002356124350000026
为分类误差；S2为网格的数量；B为每个单元格中的预测框数的数量；x，y为预测框的中心坐标；w、h为预测框的宽度和高度；C为预测框的置信度；Pi(c)指的是属于类c的对象在网格i中的真实概率；
Figure FDA0002356124350000027
是预测值；λcoord为位置损失函数的权重；λhardhat为分类损失函数的权重；
Figure FDA0002356124350000028
表示在第i个小区域的第j个预测帧中是否存在未佩戴安全帽的作业人员，如果存在，则值为1，否则为0；
Figure FDA0002356124350000029
为对应的预测值。
6.根据权利要求1所述的一种通过工地视频流检测未佩戴安全帽人员的方法，其特征在于，检测待检测区域内作业人员是否佩戴安全帽的主要步骤如下：
1)确定检测边界，主要步骤如下：
1.1)输入图像时，首先在网络中选择目标以确定目标中心点；
1.2)将输入图像分成多个单元格，并计算中心点所在的单元的坐标；
1.3)通过中心点的坐标计算预测的边界框，即：
bx＝δ(tx)+cx
by＝δ(ty)+cy
Figure FDA0002356124350000031
Figure FDA0002356124350000032
式中，(bx，by)表示预测边界框中心点的坐标，(bw，bh)表示预测边界框的宽和高，(tx，ty)表示目标中心点坐标，(tw，th)表示目标边界的宽和高，(pw，Pw)表示anchor区域的宽度和高度；(cx，cy)表示坐标偏移量，δ函数为logistic函数
2)对边界框中图像进行检测，使用sigmoid函数作为类预测的激活函数，判断作业人员是否佩戴安全帽。
CN202010008320.7A 2020-01-06 2020-01-06 一种通过工地视频流检测未佩戴安全帽人员的方法 Active CN111241959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008320.7A CN111241959B (zh) 2020-01-06 2020-01-06 一种通过工地视频流检测未佩戴安全帽人员的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008320.7A CN111241959B (zh) 2020-01-06 2020-01-06 一种通过工地视频流检测未佩戴安全帽人员的方法

Publications (2)

Publication Number Publication Date
CN111241959A true CN111241959A (zh) 2020-06-05
CN111241959B CN111241959B (zh) 2024-06-04

Family

ID=70872919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008320.7A Active CN111241959B (zh) 2020-01-06 2020-01-06 一种通过工地视频流检测未佩戴安全帽人员的方法

Country Status (1)

Country Link
CN (1) CN111241959B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753805A (zh) * 2020-07-08 2020-10-09 深延科技(北京)有限公司 安全帽佩戴检测方法和装置
CN111814762A (zh) * 2020-08-24 2020-10-23 深延科技(北京)有限公司 头盔佩戴检测方法和装置
CN111914743A (zh) * 2020-07-31 2020-11-10 广东电网有限责任公司清远供电局 一种变电站员工安全帽检测方法及装置
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112149551A (zh) * 2020-09-21 2020-12-29 上海孚聪信息科技有限公司 一种基于嵌入式设备和深度学习的安全帽识别方法
CN112149513A (zh) * 2020-08-28 2020-12-29 成都飞机工业（集团）有限责任公司 基于深度学习的工业制造现场安全帽佩戴识别系统和方法
CN112149761A (zh) * 2020-11-24 2020-12-29 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法
CN112232199A (zh) * 2020-10-15 2021-01-15 燕山大学 基于深度学习的佩戴口罩检测方法
CN112288019A (zh) * 2020-10-30 2021-01-29 天津天地伟业智能安全防范科技有限公司 一种基于关键点定位的厨师帽检测方法
CN112329532A (zh) * 2020-09-30 2021-02-05 浙江汉德瑞智能科技有限公司 基于YOLOv4的自动跟踪安全帽监测方法
CN112434827A (zh) * 2020-11-23 2021-03-02 南京富岛软件有限公司 一种5t运维中安全防护识别单元
CN112861751A (zh) * 2021-02-22 2021-05-28 中国中元国际工程有限公司 一种机场行李房人员管理方法及装置
CN113627406A (zh) * 2021-10-12 2021-11-09 南方电网数字电网研究院有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN115457457A (zh) * 2022-08-23 2022-12-09 中国航空油料集团有限公司 航油油库周界区域安全检测方法、装置及安全运维系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN109829429A (zh) * 2019-01-31 2019-05-31 福州大学 基于YOLOv3的监控场景下的安防敏感物品检测方法
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN109829429A (zh) * 2019-01-31 2019-05-31 福州大学 基于YOLOv3的监控场景下的安防敏感物品检测方法
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SHI HUI: "Safety Helmet Wearing Detection Method of Improved YOLO v3", 《COMPUTER ENGINEERING AND APPLICATIONS》, vol. 55, no. 11, 1 June 2019 (2019-06-01), pages 213 - 220 *
张敏;刘杰;蔡高勇;: "基于卷积神经网络的柑橘溃疡病识别方法", 计算机应用, no. 1, 30 June 2018 (2018-06-30), pages 53 - 57 *
张敏;刘杰;蔡高勇;: "基于卷积神经网络的柑橘溃疡病识别方法", 计算机应用, no. 1, pages 53 - 57 *
施辉;陈先桥;杨英;: "改进YOLO v3的安全帽佩戴检测方法", 计算机工程与应用, no. 11, 13 March 2019 (2019-03-13), pages 39 - 225 *
施辉;陈先桥;杨英;: "改进YOLO v3的安全帽佩戴检测方法", 计算机工程与应用, no. 11, pages 18 - 225 *
王秋余: "基于视频流的施工现场工人安全帽佩戴识别研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 6, pages 026 - 5 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753805B (zh) * 2020-07-08 2024-06-07 深延科技(北京)有限公司 安全帽佩戴检测方法和装置
CN111753805A (zh) * 2020-07-08 2020-10-09 深延科技(北京)有限公司 安全帽佩戴检测方法和装置
CN111914743A (zh) * 2020-07-31 2020-11-10 广东电网有限责任公司清远供电局 一种变电站员工安全帽检测方法及装置
CN112084866B (zh) * 2020-08-07 2022-11-04 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN111814762A (zh) * 2020-08-24 2020-10-23 深延科技(北京)有限公司 头盔佩戴检测方法和装置
CN112149513A (zh) * 2020-08-28 2020-12-29 成都飞机工业（集团）有限责任公司 基于深度学习的工业制造现场安全帽佩戴识别系统和方法
CN112149551A (zh) * 2020-09-21 2020-12-29 上海孚聪信息科技有限公司 一种基于嵌入式设备和深度学习的安全帽识别方法
CN112329532A (zh) * 2020-09-30 2021-02-05 浙江汉德瑞智能科技有限公司 基于YOLOv4的自动跟踪安全帽监测方法
CN112232199A (zh) * 2020-10-15 2021-01-15 燕山大学 基于深度学习的佩戴口罩检测方法
CN112288019B (zh) * 2020-10-30 2023-07-14 天津天地伟业信息系统集成有限公司 一种基于关键点定位的厨师帽检测方法
CN112288019A (zh) * 2020-10-30 2021-01-29 天津天地伟业智能安全防范科技有限公司 一种基于关键点定位的厨师帽检测方法
CN112434827A (zh) * 2020-11-23 2021-03-02 南京富岛软件有限公司 一种5t运维中安全防护识别单元
CN112434827B (zh) * 2020-11-23 2023-05-16 南京富岛软件有限公司 一种5t运维中安全防护识别单元
CN112149761B (zh) * 2020-11-24 2021-06-22 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法
CN112149761A (zh) * 2020-11-24 2020-12-29 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法
CN112861751A (zh) * 2021-02-22 2021-05-28 中国中元国际工程有限公司 一种机场行李房人员管理方法及装置
CN112861751B (zh) * 2021-02-22 2024-01-12 中国中元国际工程有限公司 一种机场行李房人员管理方法及装置
CN113627406A (zh) * 2021-10-12 2021-11-09 南方电网数字电网研究院有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN113627406B (zh) * 2021-10-12 2022-03-08 南方电网数字电网研究院有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN115457457B (zh) * 2022-08-23 2023-09-26 中国航空油料集团有限公司 航油油库周界区域安全检测方法、装置及安全运维系统
CN115457457A (zh) * 2022-08-23 2022-12-09 中国航空油料集团有限公司 航油油库周界区域安全检测方法、装置及安全运维系统

Also Published As

Publication number Publication date
CN111241959B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
CN111241959B (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
Fang et al. Computer vision aided inspection on falling prevention measures for steeplejacks in an aerial environment
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
CN113516076B (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN112216049A (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN112434827B (zh) 一种5t运维中安全防护识别单元
CN112434828B (zh) 一种5t运维中安全防护智能识别方法
CN111079722B (zh) 一种吊装过程人员安全监测方法及系统
CN113506416A (zh) 一种基于智能视觉分析的工程异常预警方法及系统
CN106971142A (zh) 一种图像处理方法及装置
CN111222420A (zh) 一种基于ftp协议的低带宽要求的安全帽识别方法
CN117612249A (zh) 一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置
CN111291728A (zh) 违规翻越传输带行为的检测系统及检测设备、检测方法
CN116524428A (zh) 基于目标检测及场景融合的电力作业安全风险识别方法
KR20240040530A (ko) 딥러닝 기반 감염병 예방 시스템
CN113554682B (zh) 一种基于目标跟踪的安全帽检测方法
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant