CN113297900A - 基于yolo的视频流安全帽识别方法、装置、设备及存储介质 - Google Patents

基于yolo的视频流安全帽识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113297900A
CN113297900A CN202110360038.XA CN202110360038A CN113297900A CN 113297900 A CN113297900 A CN 113297900A CN 202110360038 A CN202110360038 A CN 202110360038A CN 113297900 A CN113297900 A CN 113297900A
Authority
CN
China
Prior art keywords
target
helmet
frame
grid
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110360038.XA
Other languages
English (en)
Other versions
CN113297900B (zh
Inventor
凌小宝
张健强
朱辰越
刘哲伟
肖子恺
聂钇合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110360038.XA priority Critical patent/CN113297900B/zh
Publication of CN113297900A publication Critical patent/CN113297900A/zh
Application granted granted Critical
Publication of CN113297900B publication Critical patent/CN113297900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于YOLO的视频流安全帽识别方法、装置、设备及存储介质，首先采用无人机在空中获取工地工人施工的图像信息，然后对图像进行预处理，将输入图像尺寸调整为416×416，将图像分割成S×S个网格，若物体中心落在某个网格上，则该网格负责检测该物体。此外，对YOLO算法的网络结构调整，在卷积层以及残差的跳层之间增加了小目标检测层。同时考虑到安全帽颜色为纯色，在设计损失函数时，考虑最多颜色像素数目与预测框内所有像素之比。再者安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项。本发明提高了安全帽的识别的效率和精确度。

Description

基于YOLO的视频流安全帽识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能与计算机视觉识别技术领域，尤其涉及一种基于YOLO的视频流安全帽识别方法、装置、设备及存储介质。
背景技术
随着城市化建设的不断发展，建筑业已成为推动城市化建设不可或缺的行业之一。但建筑工地发生的意外事故造成人员伤亡的案例越来越多，事故不仅给工薪家庭的生活带来不便，同时也给国家和企业造成了重大损失。
近几年，深度学习的发展让很多计算机视觉任务落地成为可能，这些任务渗透到了各行各业，在航空航天、教育医疗、智能检测等方面已经有了实践运用。在工地检测方面，包含的任务有安全帽佩戴检测、高空坠物检测、异常事故检测等等。
目标检测的难点在于待检测区域的提取与识别，为了克服这些难点，对于目标检测的探索和研究从未停止。当前，主流的安全帽检测方法基本分为两种：1)基于传统目标检测的方法，包括HOG检测器、可变形部件模型(DPM)等方法；2)基于深度学习的方法，包括Faster R—CNN、YOLO算法、SSD(single shot multibox detector)等方法。传统的目标检测方法存在较多弊端，以HOG为例，很难处理遮挡问题，人体姿势动作幅度过大或物体方向改变也不易检测，也没有选取主方向，也没有旋转梯度方向直方图，因而本身不具有旋转不变性。HOG本身不具有尺度不变性，其尺度不变性是通过缩放检测窗口图像的大小来实现的；此外，由于梯度的性质，HOG对噪点相当敏感。为了弥补这些缺陷，需要在传统的目标检测方法上做进一步改善和优化。
深度学习方法中的卷积神经网络(convolution neural network,CNN)将人工神经网络和卷积运算相结合，它可以识别各种各样的目标模式并对一定程度的扭曲和变形有良好的鲁棒性，同时它采用稀疏连接和权值共享，极大减少了传统神经网络的参数个数。YOLO算法虽然在目标检测方面有着非常强的推理速度和准确度，但经过分析后发现在不同的应用场景，传统的YOLO算法并不能快速准确的进行目标检测，有待进一步改进。
发明内容
本发明的主要目的在于，解决传统目标检测方法检测速度及精度不高的技术问题，本发明采取的技术方案是，本发明提供了一种基于YOLO的视频流安全帽识别方法、装置、设备及存储介质，在目标检测方面具有更高的效率和检测精度。
为了实现上述目的，本发明提供了一种基于YOLO的视频流安全帽识别方法，包括以下步骤：
S1、基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
S2、将预设尺寸的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述预设尺寸的待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
S3、预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
S4、对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比
Figure BDA0003005176790000021
表征；
S5、根据S4的预测结果对预测置信度进行评分，所述预测置信度的评分定义为
Figure BDA0003005176790000022
S6、根据S3、S4和S5的预测结果，计算目标边框类相关置信度，所述目标边框类相关置信度的计算公式为：
Figure BDA0003005176790000023
其中Pr(classi)表示boundingbox内存在对象classi的概率，
Figure BDA0003005176790000024
表示目标边框类相关置信度；
S7、将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
优选地，在步骤S1之前，还包括：
对所述Darknet网络识别模型进行调整：在卷积层和残差层的跳层之间增加小目标检测层。
优选地，在步骤S1之前，还包括：
对YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素之比，即：
Figure BDA0003005176790000031
若安全帽是红色的，则
Figure BDA0003005176790000032
代表红色的面积除以预测框的总面积。
考虑到安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure BDA0003005176790000033
其中，Loss为传统的YOLO算法的损失函数，
Figure BDA0003005176790000034
分别表示网格i的第j个boundingbox的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure BDA0003005176790000035
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数。
优选地，步骤S1具体包括：
获取视频图像，将所述视频图像逐帧分解为多个图像样本；
对所述图像样本中的安全帽进行标注，得到训练样本集；
以改进YOLO算法的损失函数最小为目标，通过所述训练样本集对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
优选地，在对所述图像样本中的安全帽进行标注，得到训练样本集的步骤之前，还包括：
删除图像样本中的无效图像，所述无效图像包括无安全帽的图像样本。
优选地，在步骤S2之前，还包括：
对待识别视频图像进行预处理，得到预设尺寸的待识别视频图像。
此外，为了实现上述目的，本发明还提供了一种基于YOLO的视频流安全帽识别装置，所述视频流安全帽识别装置包括：
训练模块，用于基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
输入模块，用于将待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
预测模块，用于预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
所述预测模块，还用于对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比IOU来表征；
评分模块，用于根据Pr(object)和
Figure BDA0003005176790000041
对预测置信度进行评分，所述预测置信度的评分定义为
Figure BDA0003005176790000042
计算模块，用于根据Pr(classi|object)、Pr(object)和
Figure BDA0003005176790000043
计算目标边框类相关置信度；
识别模块，用于将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
此外，本发明还提供了一种视频流安全帽识别设备，所述视频流安全帽识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流安全帽识别程序，所述视频流安全帽识别程序被所述处理器执行时实现所述的视频流安全帽识别方法的步骤。
此外，本发明还提供了一种存储介质，所述存储介质上存储有视频流安全帽识别程序，所述视频流安全帽识别程序被处理器执行时实现所述的视频流安全帽识别方法的步骤。
本发明提供的技术方案带来的有益效果是：对YOLO算法的网络结构调整，在卷积层以及残差的跳层之间增加了小目标检测层。同时考虑到安全帽颜色为纯色，在设计损失函数时，考虑最多颜色像素数目与预测框内所有像素之比。再者安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项。本发明提高了安全帽的识别的效率和精确度。
附图说明
图1是本发明提供的基于改进YOLO的视频流安全帽识别方法执行流程图；
图2是本发明提供的改进YOLO算法流程图；
图3是本发明基于改进YOLO的视频流安全帽识别装置结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1是本发明提供的基于改进YOLO的视频流安全帽识别方法执行流程图；本实施例提供的一种基于YOLO的视频流安全帽识别方法，包括以下步骤：
S1、基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
基于YOLO算法的Darknet网络识别模型是一个比较经典的one-stage结构，分为输入端、backbone、neck和prediction四个部分；
步骤S1具体包括：
对YOLO算法的Darknet网络识别模型和相关参数进行了调整，得到基于改进YOLO算法的Darknet网络识别模型；
通过无人机获取视频图像，将所述视频图像逐帧分解为多个图像样本；
对所述图像样本中的安全帽进行标注，得到训练样本集；
以改进YOLO算法的损失函数最小为目标，通过所述训练样本集对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
S2、将预设尺寸的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述预设尺寸的待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体。
步骤S2具体包括：
对待识别视频图像进行预处理，将待识别视频图像逐帧进行截图，然后对图片进行归一化，即将输入图像的尺寸调整为416×416；
将尺寸为416×416的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体。
S3、预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
S4、对每个所述网格均预测B个目标边框，在本实施例中，设置B值为2；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比
Figure BDA0003005176790000061
表征；
S5、根据S4的预测结果对预测置信度进行评分，所述预测置信度的评分定义为
Figure BDA0003005176790000062
S6、根据S3、S4和S5的预测结果，计算目标边框类相关置信度，所述目标边框类相关置信度的计算公式为：
Figure BDA0003005176790000063
其中Pr(classi)表示boundingbox内存在对象classi的概率，
Figure BDA0003005176790000064
表示目标边框类相关置信度；
S7、将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
请参考图2，图2是本发明提供的改进YOLO算法流程图；
在本实施例中，对YOLO算法的Darknet网络结构和相关参数进行了调整，得到基于改进YOLO算法的Darknet网络识别模型；具体包括：
对所述Darknet网络识别模型进行调整：在卷积层和残差层的跳层之间增加小目标检测层，以提高小目标检测精度。
对YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素数目之比，即：
Figure BDA0003005176790000071
若安全帽是红色的，则
Figure BDA0003005176790000072
代表红色的面积除以预测框的总面积。
考虑到安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure BDA0003005176790000073
其中，Loss为传统的YOLO算法的损失函数，
Figure BDA0003005176790000074
分别表示网格i的第j个boundingbox的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure BDA0003005176790000075
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数。
在本实施例中，改进YOLO算法中S值为10，C为2。
在本实施例中，在安全帽检测识别的后处理过程中，针对多个目标框的筛选，采用CIOU_Loss+DIOU_nms的方式。
请参考图3，图3是本发明基于改进YOLO的视频流安全帽识别装置结构图；
为了本实施例一种基于YOLO的视频流安全帽识别方法的实施，本实施例提供了一种基于YOLO的视频流安全帽识别装置，包括：
训练模块1，用于基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
输入模块2，用于将待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
预测模块3，用于预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
所述预测模块3，还用于对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比IOU来表征；
评分模块4，用于根据Pr(object)和
Figure BDA0003005176790000081
对预测置信度进行评分，所述预测置信度的评分定义为
Figure BDA0003005176790000082
计算模块5，用于根据Pr(classi|object)、Pr(object)和
Figure BDA0003005176790000083
计算目标边框类相关置信度；
识别模块6，用于将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
此外，本实施例还提供了一种视频流安全帽识别设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流安全帽识别程序，所述视频流安全帽识别程序被所述处理器执行时实现所述的视频流安全帽识别方法的步骤。
此外，本实施例还提供了一种存储介质，存储有视频流安全帽识别程序，所述视频流安全帽识别程序被处理器执行时实现所述的视频流安全帽识别方法的步骤。
为了验证本发明基于改进YOLO的视频流安全帽识别方法的识别效果，在具体实施例中，将24000余张照片分为训练集和测试集，训练集17000张，测试集7000张。在测试集上进行实验，结果如下表：
表1多种算法实验结果对比
算法 mAP 帧率
FasterR-CNN 82.9％ 43
传统的YOLO(YOLOv3) 87.8％ 57
改进的YOLO 89.1％ 58
从表1可以看出，本发明改进的YOLO v3平均精准度mAP高于传统的YOLO v3，且对于纯色、近似圆形的安全帽与人头部的检测较好。
本发明基于YOLO的视频流安全帽识别方法，对传统YOLO算法的网络结构进行调整，在卷积层以及残差的跳层之间增加了小目标检测层。同时考虑到安全帽颜色为纯色，在设计损失函数时，考虑最多颜色像素数目与预测框内所有像素之比。再者安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项。本发明提高了安全帽的识别效率和精确度。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于YOLO的视频流安全帽识别方法，其特征在于，所述视频流安全帽识别方法包括以下步骤：
S1、基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
S2、将预设尺寸的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述预设尺寸的待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
S3、预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
S4、对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比
Figure FDA0003005176780000011
表征；
S5、根据S4的预测结果对预测置信度进行评分，所述预测置信度的评分定义为
Figure FDA0003005176780000012
S6、根据S3、S4和S5的预测结果，计算目标边框类相关置信度，所述目标边框类相关置信度的计算公式为：
Figure FDA0003005176780000013
其中Pr(classi)表示bounding box内存在对象classi的概率，
Figure FDA0003005176780000014
表示目标边框类相关置信度；
S7、将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
2.根据权利要求1所述的视频流安全帽识别方法，其特征在于，在步骤S1之前，还包括：
对所述Darknet网络识别模型进行调整：在卷积层和残差层的跳层之间增加小目标检测层。
3.根据权利要求1所述的视频流安全帽识别方法，其特征在于，在步骤S1之前，还包括：
对传统的YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素数目之比，即：
Figure FDA0003005176780000021
考虑到安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure FDA0003005176780000022
其中，Loss为传统的YOLO算法的损失函数，
Figure FDA0003005176780000023
分别表示网格i的第j个bounding box的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure FDA0003005176780000024
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数。
4.根据权利要求1所述的视频流安全帽识别方法，其特征在于，步骤S1具体包括：
获取视频图像，将所述视频图像逐帧分解为多个图像样本；
对所述图像样本中的安全帽进行标注，得到训练样本集；
以改进YOLO算法的损失函数最小为目标，通过所述训练样本集对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
5.根据权利要求4所述的视频流安全帽识别方法，其特征在于，在对所述图像样本中的安全帽进行标注，得到训练样本集的步骤之前，还包括：
删除图像样本中的无效图像，所述无效图像包括无安全帽的图像样本。
6.根据权利要求1所述的视频流安全帽识别方法，其特征在于，在步骤S2之前，还包括：
对待识别视频图像进行预处理，得到预设尺寸的待识别视频图像。
7.一种基于YOLO的视频流安全帽识别装置，其特征在于，所述视频流安全帽识别装置包括：
训练模块，用于基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
输入模块，用于将待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
预测模块，用于预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
所述预测模块，还用于对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比IOU来表征；
评分模块，用于根据Pr(object)和
Figure FDA0003005176780000031
对预测置信度进行评分，所述预测置信度的评分定义为
Figure FDA0003005176780000032
计算模块，用于根据Pr(classi|object)、Pr(object)和
Figure FDA0003005176780000033
计算目标边框类相关置信度；
识别模块，用于将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
8.一种视频流安全帽识别设备，其特征在于，所述视频流安全帽识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流安全帽识别程序，所述视频流安全帽识别程序被所述处理器执行时实现如权利要求1至6中任一项所述的视频流安全帽识别方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有视频流安全帽识别程序，所述视频流安全帽识别程序被处理器执行时实现如权利要求1至6中任一项所述的视频流安全帽识别方法的步骤。
CN202110360038.XA 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质 Expired - Fee Related CN113297900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360038.XA CN113297900B (zh) 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360038.XA CN113297900B (zh) 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113297900A true CN113297900A (zh) 2021-08-24
CN113297900B CN113297900B (zh) 2022-08-30

Family

ID=77319446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360038.XA Expired - Fee Related CN113297900B (zh) 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113297900B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质
CN113838094A (zh) * 2021-09-28 2021-12-24 贵州乌江水电开发有限责任公司 一种基于智能视频识别的安全预警方法
CN114003058A (zh) * 2021-10-25 2022-02-01 上海宝冶冶金工程有限公司 一种安全帽佩戴智慧巡检系统及方法
CN114332632A (zh) * 2022-02-10 2022-04-12 山东中科先进技术研究院有限公司 一种安全帽识别装置及方法
CN117319662A (zh) * 2023-11-28 2023-12-29 杭州杰竞科技有限公司 一种人体目标识别的图像压缩、解压方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN110334594A (zh) * 2019-05-28 2019-10-15 昆明理工大学 一种基于批再规范化处理的yolo算法的目标检测方法
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN111931573A (zh) * 2020-07-07 2020-11-13 南京南瑞信息通信科技有限公司 基于yolo进化深度学习模型的安全帽检测与预警方法
CN112257793A (zh) * 2020-10-26 2021-01-22 大连理工大学 一种基于改进YOLO v3算法的远距离交通标志检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN110334594A (zh) * 2019-05-28 2019-10-15 昆明理工大学 一种基于批再规范化处理的yolo算法的目标检测方法
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN111931573A (zh) * 2020-07-07 2020-11-13 南京南瑞信息通信科技有限公司 基于yolo进化深度学习模型的安全帽检测与预警方法
CN112257793A (zh) * 2020-10-26 2021-01-22 大连理工大学 一种基于改进YOLO v3算法的远距离交通标志检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FAHAD A KHAN ET AL.: "Helmet and Number Plate detection of Motorcyclists using Deep Learning and Advanced Machine Vision Techniques", 《2020 SECOND INTERNATIONAL CONFERENCE ON INVENTIVE RESEARCH IN COMPUTING APPLICATIONS (ICIRCA)》 *
LI HUANG ET AL.: "Detection algorithm of safety helmet wearing based on deep learning", 《CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE》 *
韩锟 等: "施工场景下基于YOLOv3的安全帽佩戴状态检测", 《铁道科学与工程学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质
CN113838094A (zh) * 2021-09-28 2021-12-24 贵州乌江水电开发有限责任公司 一种基于智能视频识别的安全预警方法
CN113838094B (zh) * 2021-09-28 2024-03-05 贵州乌江水电开发有限责任公司 一种基于智能视频识别的安全预警方法
CN114003058A (zh) * 2021-10-25 2022-02-01 上海宝冶冶金工程有限公司 一种安全帽佩戴智慧巡检系统及方法
CN114003058B (zh) * 2021-10-25 2024-01-26 上海宝冶冶金工程有限公司 一种安全帽佩戴智慧巡检系统及方法
CN114332632A (zh) * 2022-02-10 2022-04-12 山东中科先进技术研究院有限公司 一种安全帽识别装置及方法
CN117319662A (zh) * 2023-11-28 2023-12-29 杭州杰竞科技有限公司 一种人体目标识别的图像压缩、解压方法和系统
CN117319662B (zh) * 2023-11-28 2024-02-27 杭州杰竞科技有限公司 一种人体目标识别的图像压缩、解压方法和系统

Also Published As

Publication number Publication date
CN113297900B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN113297900B (zh) 基于yolo的视频流安全帽识别方法、装置、设备及存储介质
CN111444821B (zh) 一种城市道路标志自动识别方法
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
US20210248378A1 (en) Spatiotemporal action detection method
CN110163033B (zh) 正样本获取方法、行人检测模型生成方法和行人检测方法
CN112085010B (zh) 一种基于图像识别的口罩检测和部署系统及方法
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
WO2021227366A1 (zh) 一种多个小目标的自动准确检测方法
CN108710865A (zh) 一种基于神经网络的司机异常行为检测方法
CN105608454B (zh) 基于文字结构部件检测神经网络的文字检测方法及系统
CN106372666B (zh) 一种目标识别方法及装置
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
WO2022104503A1 (zh) 一种对抗样本的识别方法及相关装置
US11194997B1 (en) Method and system for thermal infrared facial recognition
EP3696725A1 (en) Tool detection method and device
JP2006252559A (ja) 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
CN101923652A (zh) 一种基于肤色和特征部位联合检测的色情图片识别方法
CN102831411B (zh) 一种快速人脸检测方法
CN108960185A (zh) 基于YOLOv2的车辆目标检测方法及系统
CN114283469A (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN107220655A (zh) 一种基于深度学习的手写、印刷文本的分类方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN106778731B (zh) 一种车牌定位方法及终端
CN108762503A (zh) 一种基于多模态数据采集的人机交互系统
CN112163530B (zh) 基于特征增强和样本选择的ssd小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220830