CN112906533B - 一种基于自适应检测区域的安全帽佩戴检测方法 - Google Patents

一种基于自适应检测区域的安全帽佩戴检测方法 Download PDF

Info

Publication number
CN112906533B
CN112906533B CN202110169338.XA CN202110169338A CN112906533B CN 112906533 B CN112906533 B CN 112906533B CN 202110169338 A CN202110169338 A CN 202110169338A CN 112906533 B CN112906533 B CN 112906533B
Authority
CN
China
Prior art keywords
frame
detection
human
safety helmet
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110169338.XA
Other languages
English (en)
Other versions
CN112906533A (zh
Inventor
胥靖
肖利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shufeng Technology Co ltd
Chengdu Ruima Technology Co ltd
Original Assignee
Hangzhou Shufeng Technology Co ltd
Chengdu Ruima Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shufeng Technology Co ltd, Chengdu Ruima Technology Co ltd filed Critical Hangzhou Shufeng Technology Co ltd
Priority to CN202110169338.XA priority Critical patent/CN112906533B/zh
Publication of CN112906533A publication Critical patent/CN112906533A/zh
Application granted granted Critical
Publication of CN112906533B publication Critical patent/CN112906533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应检测区域的安全帽佩戴检测方法，收集训练数据并对模型进行训练，每N帧进行一次大尺度图片检测，将人形集中区域设为检测区域，并进行拼接图片，然后对拼接图片检测、跟踪以及确认是否佩戴了安全帽。本发明通过大尺度图像的检测结果设置注意力区域并进行图像拼接可以有效地对全区域的小目标进行有效地检测，增强了模型的检出率，模型的检出率可达95%；同时可以提高模型的平均推理速度。本发明高效、稳定的在视频中进行运动目标识别，从而能够及时预警、避免安全事件，减少人力、财力的投入，有效提高视频监视系统的实时性及有效性。

Description

一种基于自适应检测区域的安全帽佩戴检测方法
技术领域
本发明属于图像识别的技术领域，具体涉及一种基于自适应检测区域的安全帽佩戴检测方法。
背景技术
近年来，随着多媒体技术、视频压缩编码技术、网络通讯技术的发展，数字视频监控系统得到了迅速发展。基于数据进行自动目标识别、跟踪，成为处理海量视频流、连续帧图像的智能化、高效化方式；能够及时预警、避免安全事件，减少人力、财力的投入，有效提高视频监视系统的实时性及有效性。
然而，现有技术中仍然存在不足，基于传统机器视觉算法通常采用人工的方式制作选取特征并分类，如专利号为CN 111753805 A的现有技术，这类方法通常精度较低，算法的鲁棒性差，难以在复杂的实际环境中应用。基于神经网络的多阶段检测算法通过将佩戴安全帽的任务分成多个步骤来完成，如专利号为CN 111753805 A的现有技术，使用RCNN网络，这类方式虽然精度较高，但训练复杂且推理速度会随着人数的增加直线降低。基于神经网络的单阶段检测算法通常只需要训练一个模型就可以直接得到结果，如专利号为CN111881730 A的现有技术，这类算法的优点是不仅检测的精度较高且易于训练，模型的推理速度也更快。
针对工地场景的视频，具有以下特点：
①人员通常聚集在监控视频的特定区域内，大部分区域都没有人形；
②人形在监控视频内通常像素高度约100像素，而人头和安全帽的像素尺寸约为10个像素；
③在工地场景的监控视频中存在极为复杂的光线条件。
以上特点决定了目前算法存在以下弊端：
1.将很多无用区域输入模型进行推理不仅浪费计算资源，而且推理时间也较长；
2.由于模型通常需要特定的图片输入大小，因此原图片通常会进行缩放，因此加大了模型检出人形和人头位置以及分辨是否佩戴安全帽的难度；
3.复杂光线下的小目标检测加大了检测的难度。
因此，本发明提出一种基于自适应检测区域的安全帽佩戴检测方法，可对工地场景的实时视频流进行处理，并针对工地监控视频的实际场景对算法进行优化，实现快速准确的检测安全帽佩戴情况。
发明内容
本发明的目的在于提供一种基于自适应检测区域的安全帽佩戴检测方法，旨在解决监控视频原图中无用区域导致的资源浪费、检测精度差的问题。
本发明主要通过以下技术方案实现：
一种基于自适应检测区域的安全帽佩戴检测方法，包括以下步骤：
步骤S100：收集训练数据；
步骤S200：标注训练数据并进行模型训练；
步骤S300：进行大尺度图片检测，并进行拼接图片，然后对拼接图片检测、跟踪以及确认是否佩戴了安全帽：
步骤S310：每N帧进行一次大尺度图片检测，将人形集中区域设为检测区域；采用其他帧对上一次大尺度图片检测得到的检测区域进行裁剪、拼接得到拼接图片；
步骤S320：将拼接图片输入步骤S200中的模型，并检测出人头框和人形框；
步骤S330：对人头框和人形框进行匈牙利匹配，使用目标跟踪模型对人形框、人头框目标进行跟踪，并通过多帧投票的方法确定是否佩戴安全帽。
为了更好地实现本发明，进一步地，所述步骤S310中对所有的检测区域按面积从大至小进行排序，然后选择前4个区域进行拼接，且保证拼接后的图片长宽比为1。
为了更好地实现本发明，进一步地，所述步骤S330中采用人头框与人形框的IOU值进行匹配：
Figure BDA0002938451990000021
其中：s1为人头框与人形框相交区域的面积：
S为人头框的面积，单位为pixel2；
若IOU值大于等于0.95，则认为人头框和人形框属于同一个人，否则认为不属于同一个人。
为了更好地实现本发明，进一步地，所述步骤S330中多帧投票的计算公式如下：
Figure BDA0002938451990000022
其中：n1表示结果为带安全帽的帧数；
n为总的投票帧数；
prob为佩戴安全帽的置信度；
若prob大于等于0.7，则认为佩戴了安全帽；
若prob小于等于0.4，则认为未佩戴安全帽。
为了更好地实现本发明，进一步地，所述步骤S300中假设对第一帧图片进行大尺度图片检测并得到检测区域；然后采用视频第二帧对检测区域合成的拼接图片进行检测得到检测框，采用第三帧、第四帧对第二帧得到的检测框进行跟踪。
为了更好地实现本发明，进一步地，所述步骤S100包括以下步骤：
步骤S110：对工地场景的视频进行抽帧，对连续视频每隔三帧保存一帧，所得的所有图片作为训练数据；
步骤S120：对训练数据中人头位置和人形位置进行标注；
步骤S130：人工对算法标注的人头框和人形框的结果进行微调，并标注漏检的人头框和人形框，同时人工标注每个人头框对应的人头是否佩戴安全帽。
为了更好地实现本发明，进一步地，所述步骤S200中在YOLOv4的基础上，以CSPDarknet53作为Backbone，用于提取图像特征；采用SPP网络对主干网络提取到的特征进行特征融合；将网络的检测类别设为3，且包括类别检测头、置信度检测头，位置检测头，实现同时检测戴安全帽人头、不戴安全帽人头和人形的位置以及对应的置信度。
为了更好地实现本发明，进一步地，所述步骤S200中使用darknet框架在标注的数据上训练修改后的网络150epoch，然后并尝试不同的学习率和batch_size对模型进行微调，直到其损失函数不再降低。
本发明的有益效果：
(1)本发明通过大尺度图像的检测结果设置注意力区域并进行图像拼接可以有效地对全区域的小目标进行有效地检测，增强了模型的检出率，模型的检出率可达95％；同时可以提高模型的平均推理速度；
(2)本发明使用人头框与人形框的结果进行相互校验，有效地降低了复杂光线情况下模型出现的误检情况，模型的误检率约为15％；
(3)本发明使用检测与跟踪协同配合的方式，有效降低模型推理的平均时间，具有较好的实用性；
(4)本发明高效、稳定的在视频中进行运动目标识别，从而能够及时预警、避免安全事件，减少人力、财力的投入，有效提高视频监视系统的实时性及有效性。
附图说明
图1为本发明大尺度图片处理的流程图；
图2为现有技术中图像缩放的流程示意图；
图3为本发明拼接图片的流程图；
图4为本发明网络结构示意图。
具体实施方式
实施例1：
一种基于自适应检测区域的安全帽佩戴检测方法，包括以下步骤：
步骤S100：收集训练数据；
步骤S200：标注训练数据并进行模型训练；
步骤S300：进行大尺度图片检测，并进行拼接图片，然后对拼接图片检测、跟踪以及确认是否佩戴了安全帽：
步骤S310：每N帧进行一次大尺度图片检测，将人形集中区域设为检测区域；采用其他帧对上一次大尺度图片检测得到的检测区域进行裁剪、拼接得到拼接图片；
步骤S320：将拼接图片输入步骤S200中的模型，并检测出人头框和人形框；
步骤S330：对人头框和人形框进行匈牙利匹配，使用目标跟踪模型对人形框、人头框目标进行跟踪，并通过多帧投票的方法确定是否佩戴安全帽。
本发明通过大尺度图像的检测结果设置注意力区域并进行图像拼接可以有效地对全区域的小目标进行有效地检测，增强了模型的检出率，模型的检出率可达95％；同时可以提高模型的平均推理速度。本发明高效、稳定的在视频中进行运动目标识别，从而能够及时预警、避免安全事件，减少人力、财力的投入，有效提高视频监视系统的实时性及有效性。
实施例2：
本实施例是在实施例1的基础上进行优化，所述步骤S310中对所有的检测区域按面积从大至小进行排序，然后选择前4个区域进行拼接，且保证拼接后的图片长宽比为1。
如图2所示，大尺度图片检测即将视频流得到的原图直接缩放(由于模型只能输入特定大小的图片)进行输入，可以看出，模型的输入图片中人形较小，此时佩戴安全帽结果的可信度也较低。
如图3所示，本发明的拼接图片是由大尺度图片检测得到的检测区域进行重新拼接得到，拼接图片的流程如下：首先对所有的区域按面积从大到小进行排序；然后，选择前4个区域进行拼接，拼接时应尽量保证拼接后的图片的长宽比接近1。在拼接图片检测的输入图片中，人形的大小通常会比原图中的人形更大，因此佩戴安全帽检测结果的可信度也更高。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，所述步骤S330中采用人头框与人形框的IOU值进行匹配，IOU值计算公式如下：
Figure BDA0002938451990000051
其中：s1为人头框与人形框相交区域的面积：
S为人头框的面积，单位为pixel2；
若IOU值大于等于0.95，则认为人头框和人形框属于同一个人，否则认为不属于同一个人。
为了进一步减小算法对人头和人形的误检，我们采用人头框与人形框的IOU值进行匹配，IOU值较高说明人脸框和人形框属于同一个人，也证明人形框和人脸框都大概率不是误检。
进一步地，为了减少戴安全帽的误检，采取使用多帧结果进行投票来得出最终的结果，所述步骤S330中多帧投票的计算公式如下：
Figure BDA0002938451990000052
其中：n1表示结果为带安全帽的帧数；
n为总的投票帧数；
prob为佩戴安全帽的置信度；
若prob大于等于0.7，则认为佩戴了安全帽；
若prob小于等于0.4，则认为未佩戴安全帽。
若置信度prob在0.4到0.7之间则认为不确定该人是否佩戴安全帽。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例是在实施例1-3任一个的基础上进行优化，如图1所示，所述步骤S300中假设对第一帧图片进行大尺度图片检测并得到检测区域；然后采用视频第二帧对检测区域合成的拼接图片进行检测得到检测框，采用第三帧、第四帧对第二帧得到的检测框进行跟踪。
如图1所示，视频第一帧图片使用大尺度图片检测得到检测区域，视频第二帧对根据检测区域合成的拼接图片进行检测，第三帧和第四帧对第二帧得到的检测框进行跟踪，如此往复。
本发明通过大尺度图像的检测结果设置注意力区域并进行图像拼接可以有效地对全区域的小目标进行有效地检测，增强了模型的检出率，模型的检出率可达95％；同时可以提高模型的平均推理速度。本发明高效、稳定的在视频中进行运动目标识别，从而能够及时预警、避免安全事件，减少人力、财力的投入，有效提高视频监视系统的实时性及有效性。
本实施例的其他部分与上述实施例1-3任一个相同，故不再赘述。
实施例5：
本实施例是在实施例1-4任一个的基础上进行优化，所述步骤S100包括以下步骤：
步骤S110：对工地场景的视频进行抽帧，对连续视频每隔三帧保存一帧，所得的所有图片作为训练数据；
步骤S120：对训练数据中人头位置和人形位置进行标注；
步骤S130：人工对算法标注的人头框和人形框的结果进行微调，并标注漏检的人头框和人形框，同时人工标注每个人头框对应的人头是否佩戴安全帽。
进一步地，所述步骤S200中在YOLOv4的基础上，以CSPDarknet53作为Backbone，用于提取图像特征；采用SPP网络对主干网络提取到的特征进行特征融合；将网络的检测类别设为3，且包括类别检测头、置信度检测头，位置检测头，实现同时检测戴安全帽人头、不戴安全帽人头和人形的位置以及对应的置信度。
进一步地，所述步骤S200中使用darknet框架在标注的数据上训练修改后的网络150epoch，然后并尝试不同的学习率和batch_size对模型进行微调，直到其损失函数不再降低。
本实施例的其他部分与上述实施例1-4任一个相同，故不再赘述。
实施例6：
一种基于自适应检测区域的安全帽佩戴检测方法，包括训练数据准备、网络设计、模型训练和算法，步骤如下：
1.训练数据准备
训练数据主要为本司自有工地场景的监控视频和开源的COCO数据集(选取约7万张，其中均为未戴安全帽的人形数据)。采用半自动的标注方式对已有数据进行标注，具体步骤如下：
a对工地场景的视频进行抽帧。对已有连续视频每隔三帧保存一帧，所得的所有图片作为训练数据，约有7万张图片；
b采用本司自有的人头检测算法和人形检测算法分别对所有训练数据中人头位置和人形位置进行标注，即人头和人形框左上角点的坐标x和y，框的宽高w和h；
c人工对算法标注的人头框和人形框的结果进行微调并标注漏检的人头框和人形框，同时人工标注每个人头框对应的人头是否佩戴安全帽；
2.网络设计
网络整体在YOLOv4的基础上进行修改，原YOLOv4网络以CSPDarknet53作为Backbone，用于提取图像特征；SPP网络用于对主干网络提取到的特征进行特征融合；人形框位置检测头和人形框置信度检测头分别用于回归人形框的位置和对应的置信度。在此基础上我们将网络的检测类别设为3，使得检测头可以同时检测戴安全帽人头、不戴安全帽人头和人形的位置以及对应的置信度。
3.模型训练
使用darknet框架在标注的数据上训练修改后的网络，并尝试不同的学习率和batch_size不模型进行微调，直到其损失函数不再降低。
4.算法
a每隔N帧做一次大尺度图片(960x540)检测，将人形集中区域设为检测区域；
b其它N-1帧对上次大尺度图片检测得到的检测区域进行裁剪和拼接，然后送入模型进行检测；
c通过对人头框和人形框的匈牙利匹配，可以有效过滤复杂光线情况下出现人头或人形框的误检结果，有效降低误检率；
d使用基于检测的目标跟踪模型对人形框人头框目标进行跟踪，并通过多帧投票的方式确定是否佩戴安全帽。
具体的，如图1所示，在检测过程中大尺度图片检测、拼接图片检测和跟踪的策略。如视频第一帧图片使用大尺度图片检测得到检测区域，视频第二帧对根据检测区域合成的拼接图片进行检测，第三帧和第四帧对第二帧得到的检测框进行跟踪，如此往复。
如图2所示，大尺度图片检测即将视频流得到的原图直接缩放(由于模型只能输入特定大小的图片)进行输入，可以看出，模型的输入图片中人形较小，此时佩戴安全帽结果的可信度也较低。如图3所示，拼接图片检测是由大尺度图片检测得到的检测区域进行重新拼接得到，拼接图片的流程如下：首先对所有的区域按面积从大到小进行排序；然后，选择前4个区域进行拼接，拼接时应尽量保证拼接后的图片的长宽比接近1。在拼接图片检测的输入图片中，人形的大小通常会比原图中的人形更大，因此佩戴安全帽检测结果的可信度也更高。
通过跟踪算法可以对前后帧中的人形框进行匹配，进而可以确定前后帧中的人形框是否属于同一个人。当使用跟踪算法时，跟踪算法仅对人形框和人头框的位置进行更新，加入跟踪算法的目的仅是为了减少平均每帧的推理时间(跟踪算法的速度比检测算法快很多)。
通过以上流程我们可以得到图片帧中每个人佩戴安全帽的结果，为了进一步减小算法对人头和人形的误检，我们采用人头框与人形框的IOU值进行匹配，IOU值较高说明人脸框和人形框属于同一个人，也证明人形框和人脸框都大概率不是误检。采用人头框与人形框的IOU值进行匹配：
Figure BDA0002938451990000081
其中：s1为人头框与人形框相交区域的面积：
S为人头框的面积，单位为pixel2；
经测试，IOU的阈值设为0.95最佳，即IOU值大于0.95时认为人头和人形框是属于同一个人，否则认为不属于同一个人。
根据以上流程可以得到每一帧中所有人的佩戴安全帽的结果，为了减少戴安全帽的误检，采取使用多帧结果进行投票来得出最终的结果，具体计算公式如下：
Figure BDA0002938451990000082
其中：n1表示结果为带安全帽的帧数；
n为总的投票帧数；
prob为佩戴安全帽的置信度；
若prob大于等于0.7，则认为佩戴了安全帽；
若prob小于等于0.4，则认为未佩戴安全帽。
若置信度prob在0.4到0.7之间则认为不确定该人是否佩戴安全帽。
进一步地，本发明采用显卡为Nvidia 2080Ti的服务器对算法进行部署，通过TensorRT框架对训练好的算法模型进行优化，经测试，大尺度图片检测平均时间约为14ms/frame，拼接图片检测的平均时间约为6ms/frame，部署时采用一帧大尺度图片检测和三帧拼接图片检测的方式，总平均检测时间约为8ms/frame，可以实现实时视频流处理，因此本发明具有显著的进步。
本发明通过大尺度图像的检测结果设置注意力区域并进行图像拼接可以有效地对全区域的小目标进行有效地检测，增强了模型的检出率，模型的检出率可达95％；同时可以提高模型的平均推理速度。本发明高效、稳定的在视频中进行运动目标识别，从而能够及时预警、避免安全事件，减少人力、财力的投入，有效提高视频监视系统的实时性及有效性。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，包括以下步骤：
步骤S100：收集训练数据；
步骤S200：标注训练数据并进行模型训练；
步骤S300：进行大尺度图片检测，并进行拼接图片，然后对拼接图片检测、跟踪以及确认是否佩戴了安全帽：
步骤S310：每N帧进行一次大尺度图片检测，将人形集中区域设为检测区域；采用其他帧对上一次大尺度图片检测得到的检测区域进行裁剪、拼接得到拼接图片；
步骤S320：将拼接图片输入步骤S200中的模型，并检测出人头框和人形框；
步骤S330：对人头框和人形框进行匈牙利匹配，使用目标跟踪模型对人形框、人头框目标进行跟踪，并通过多帧投票的方法确定是否佩戴安全帽；
所述步骤S310中对所有的检测区域按面积从大至小进行排序，然后选择前4个区域进行拼接，且保证拼接后的图片长宽比为1。
2.根据权利要求1所述的一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，所述步骤S330中采用人头框与人形框的IOU值进行匹配，IOU值计算公式如下：
Figure FDA0003836258470000011
其中：s1为人头框与人形框相交区域的面积：
S为人头框的面积，单位为pixel2；
若IOU值大于等于0.95，则认为人头框和人形框属于同一个人，否则认为不属于同一个人。
3.根据权利要求2所述的一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，所述步骤S330中多帧投票的计算公式如下：
Figure FDA0003836258470000012
其中：n1表示结果为带安全帽的帧数；
n为总的投票帧数；
prob为佩戴安全帽的置信度；
若prob大于等于0.7，则认为佩戴了安全帽；
若prob小于等于0.4，则认为未佩戴安全帽。
4.根据权利要求1-3任一项所述的一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，所述步骤S300中假设对第一帧图片进行大尺度图片检测并得到检测区域；然后采用视频第二帧对检测区域合成的拼接图片进行检测得到检测框，采用第三帧、第四帧对第二帧得到的检测框进行跟踪。
5.根据权利要求1所述的一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，所述步骤S100包括以下步骤：
步骤S110：对工地场景的视频进行抽帧，对连续视频每隔三帧保存一帧，所得的所有图片作为训练数据；
步骤S120：对训练数据中人头位置和人形位置进行标注；
步骤S130：人工对算法标注的人头框和人形框的结果进行微调，并标注漏检的人头框和人形框，同时人工标注每个人头框对应的人头是否佩戴安全帽。
6.根据权利要求1所述的一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，所述步骤S200中在YOLOv4的基础上，以CSPDarknet53作为Backbone，用于提取图像特征；采用SPP网络对主干网络提取到的特征进行特征融合；将网络的检测类别设为3，且包括类别检测头、置信度检测头，位置检测头，实现同时检测戴安全帽人头、不戴安全帽人头和人形的位置以及对应的置信度。
7.根据权利要求6所述的一种基于自适应检测区域的安全帽佩戴检测方法，其特征在于，所述步骤S200中使用darknet框架在标注的数据上训练修改后的网络150epoch，然后并尝试不同的学习率和batch_size对模型进行微调，直到其损失函数不再降低。
CN202110169338.XA 2021-02-07 2021-02-07 一种基于自适应检测区域的安全帽佩戴检测方法 Active CN112906533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169338.XA CN112906533B (zh) 2021-02-07 2021-02-07 一种基于自适应检测区域的安全帽佩戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169338.XA CN112906533B (zh) 2021-02-07 2021-02-07 一种基于自适应检测区域的安全帽佩戴检测方法

Publications (2)

Publication Number Publication Date
CN112906533A CN112906533A (zh) 2021-06-04
CN112906533B true CN112906533B (zh) 2023-03-24

Family

ID=76123855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169338.XA Active CN112906533B (zh) 2021-02-07 2021-02-07 一种基于自适应检测区域的安全帽佩戴检测方法

Country Status (1)

Country Link
CN (1) CN112906533B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554682B (zh) * 2021-08-03 2023-03-17 同济大学 一种基于目标跟踪的安全帽检测方法
CN114387542A (zh) * 2021-12-27 2022-04-22 广州市奔流电力科技有限公司 一种基于便携布控球的视频采集单元异常识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160440A (zh) * 2019-12-24 2020-05-15 广东省智能制造研究所 一种基于深度学习的安全帽佩戴检测方法及装置
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN111524145A (zh) * 2020-04-13 2020-08-11 北京智慧章鱼科技有限公司 图片智能裁剪方法、系统、计算机设备及存储介质
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112116634A (zh) * 2020-07-30 2020-12-22 西安交通大学 一种半在线机置的多目标跟踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564010A (zh) * 2018-03-28 2018-09-21 浙江大华技术股份有限公司 一种安全帽佩戴的检测方法、装置、电子设备及存储介质
CN110070033B (zh) * 2019-04-19 2020-04-24 山东大学 一种电力领域危险工作区域内安全帽佩戴状态检测方法
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN111222420A (zh) * 2019-12-24 2020-06-02 重庆市通信产业服务有限公司 一种基于ftp协议的低带宽要求的安全帽识别方法
CN111126325B (zh) * 2019-12-30 2023-01-03 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111723749A (zh) * 2020-06-23 2020-09-29 广东电网有限责任公司 一种安全帽佩戴识别方法、系统及设备
CN111598066A (zh) * 2020-07-24 2020-08-28 之江实验室 一种基于级联预测的安全帽佩戴识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160440A (zh) * 2019-12-24 2020-05-15 广东省智能制造研究所 一种基于深度学习的安全帽佩戴检测方法及装置
CN111524145A (zh) * 2020-04-13 2020-08-11 北京智慧章鱼科技有限公司 图片智能裁剪方法、系统、计算机设备及存储介质
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN112116634A (zh) * 2020-07-30 2020-12-22 西安交通大学 一种半在线机置的多目标跟踪方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法

Also Published As

Publication number Publication date
CN112906533A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
CN103761514B (zh) 基于广角枪机和多球机实现人脸识别的系统及方法
CN103116896B (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN112906533B (zh) 一种基于自适应检测区域的安全帽佩戴检测方法
CN105654508B (zh) 基于自适应背景分割的监控视频移动目标跟踪方法及系统
CN114842397B (zh) 一种基于异常检测的实时老人跌倒检测方法
CN111931623A (zh) 一种基于深度学习的人脸口罩佩戴检测方法
CN106709436A (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN110309718A (zh) 一种电网作业人员安全帽佩戴检测方法
CN102903124A (zh) 一种运动目标检测方法
CN103546667A (zh) 一种面向海量广播电视监管的自动新闻拆条方法
CN111209820B (zh) 人脸活体检测方法、系统、设备及可读存储介质
CN112364778A (zh) 一种基于深度学习的电厂安全性行为信息自动检测方法
CN107230267A (zh) 基于人脸识别算法的幼儿园智能签到方法
CN113553979A (zh) 一种基于改进yolo v5的安全服检测方法和系统
CN112966810B (zh) 基于改进YOLOv5s的头盔检测方法、装置、电子设备和存储介质
CN111832400A (zh) 一种基于概率神经网络的口罩佩戴情况的监测系统及方法
CN113139497B (zh) 一种水面物体识别的系统、方法及基于5g mec的应用
CN105956552A (zh) 一种人脸黑名单监测方法
CN105512618A (zh) 视频跟踪方法
CN112200108A (zh) 一种口罩人脸识别方法
CN115035088A (zh) 一种基于yolov5和姿态估计的安全帽佩戴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant