CN113297900B - 基于yolo的视频流安全帽识别方法、装置、设备及存储介质 - Google Patents

基于yolo的视频流安全帽识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113297900B
CN113297900B CN202110360038.XA CN202110360038A CN113297900B CN 113297900 B CN113297900 B CN 113297900B CN 202110360038 A CN202110360038 A CN 202110360038A CN 113297900 B CN113297900 B CN 113297900B
Authority
CN
China
Prior art keywords
target
frame
helmet
class
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110360038.XA
Other languages
English (en)
Other versions
CN113297900A (zh
Inventor
凌小宝
张健强
朱辰越
刘哲伟
肖子恺
聂钇合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110360038.XA priority Critical patent/CN113297900B/zh
Publication of CN113297900A publication Critical patent/CN113297900A/zh
Application granted granted Critical
Publication of CN113297900B publication Critical patent/CN113297900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于YOLO的视频流安全帽识别方法、装置、设备及存储介质，首先采用无人机在空中获取工地工人施工的图像信息，然后对图像进行预处理，将输入图像尺寸调整为416×416，将图像分割成S×S个网格，若物体中心落在某个网格上，则该网格负责检测该物体。此外，对YOLO算法的网络结构调整，在卷积层以及残差的跳层之间增加了小目标检测层。同时考虑到安全帽颜色为纯色，在设计损失函数时，考虑最多颜色像素数目与预测框内所有像素之比。再者安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项。本发明提高了安全帽的识别的效率和精确度。

Description

基于YOLO的视频流安全帽识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能与计算机视觉识别技术领域，尤其涉及一种基于YOLO的视频流安全帽识别方法、装置、设备及存储介质。
背景技术
随着城市化建设的不断发展，建筑业已成为推动城市化建设不可或缺的行业之一。但建筑工地发生的意外事故造成人员伤亡的案例越来越多，事故不仅给工薪家庭的生活带来不便，同时也给国家和企业造成了重大损失。
近几年，深度学习的发展让很多计算机视觉任务落地成为可能，这些任务渗透到了各行各业，在航空航天、教育医疗、智能检测等方面已经有了实践运用。在工地检测方面，包含的任务有安全帽佩戴检测、高空坠物检测、异常事故检测等等。
目标检测的难点在于待检测区域的提取与识别，为了克服这些难点，对于目标检测的探索和研究从未停止。当前，主流的安全帽检测方法基本分为两种：1)基于传统目标检测的方法，包括HOG检测器、可变形部件模型(DPM)等方法；2)基于深度学习的方法，包括Faster R—CNN、YOLO算法、SSD(single shot multibox detector)等方法。传统的目标检测方法存在较多弊端，以HOG为例，很难处理遮挡问题，人体姿势动作幅度过大或物体方向改变也不易检测，也没有选取主方向，也没有旋转梯度方向直方图，因而本身不具有旋转不变性。HOG本身不具有尺度不变性，其尺度不变性是通过缩放检测窗口图像的大小来实现的；此外，由于梯度的性质，HOG对噪点相当敏感。为了弥补这些缺陷，需要在传统的目标检测方法上做进一步改善和优化。
深度学习方法中的卷积神经网络(convolution neural network,CNN)将人工神经网络和卷积运算相结合，它可以识别各种各样的目标模式并对一定程度的扭曲和变形有良好的鲁棒性，同时它采用稀疏连接和权值共享，极大减少了传统神经网络的参数个数。YOLO算法虽然在目标检测方面有着非常强的推理速度和准确度，但经过分析后发现在不同的应用场景，传统的YOLO算法并不能快速准确的进行目标检测，有待进一步改进。
发明内容
本发明的主要目的在于，解决传统目标检测方法检测速度及精度不高的技术问题，本发明采取的技术方案是，本发明提供了一种基于YOLO的视频流安全帽识别方法、装置、设备及存储介质，在目标检测方面具有更高的效率和检测精度。
为了实现上述目的，本发明提供了一种基于YOLO的视频流安全帽识别方法，包括以下步骤：
S1、基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
S2、将预设尺寸的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述预设尺寸的待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
S3、预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
S4、对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比
Figure GDA0003744103620000021
表征；
S5、根据S4的预测结果对预测置信度进行评分，所述预测置信度的评分定义为
Figure GDA0003744103620000022
S6、根据S3、S4和S5的预测结果，计算目标边框类相关置信度，所述目标边框类相关置信度的计算公式为：
Figure GDA0003744103620000023
其中Pr(classi)表示boundingbox内存在对象classi的概率，
Figure GDA0003744103620000024
表示目标边框类相关置信度；
S7、将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
优选地，在步骤S1之前，还包括：
对所述Darknet网络识别模型进行调整：在卷积层和残差层的跳层之间增加小目标检测层。
优选地，在步骤S1之前，还包括：
对YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素之比，即：
Figure GDA0003744103620000031
若安全帽是红色的，则
Figure GDA0003744103620000032
代表红色的面积除以预测框的总面积。
考虑到安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure GDA0003744103620000033
其中，Loss为传统的YOLO算法的损失函数，
Figure GDA0003744103620000034
分别表示网格i的第j个boundingbox的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure GDA0003744103620000035
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数。
优选地，步骤S1具体包括：
获取视频图像，将所述视频图像逐帧分解为多个图像样本；
对所述图像样本中的安全帽进行标注，得到训练样本集；
以改进YOLO算法的损失函数最小为目标，通过所述训练样本集对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
优选地，在对所述图像样本中的安全帽进行标注，得到训练样本集的步骤之前，还包括：
删除图像样本中的无效图像，所述无效图像包括无安全帽的图像样本。
优选地，在步骤S2之前，还包括：
对待识别视频图像进行预处理，得到预设尺寸的待识别视频图像。
此外，为了实现上述目的，本发明还提供了一种基于YOLO的视频流安全帽识别装置，所述视频流安全帽识别装置包括：
训练模块，用于基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
输入模块，用于将待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
预测模块，用于预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
所述预测模块，还用于对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比IOU来表征；
评分模块，用于根据Pr(object)和
Figure GDA0003744103620000041
对预测置信度进行评分，所述预测置信度的评分定义为
Figure GDA0003744103620000042
计算模块，用于根据Pr(classi|object)、Pr(object)和
Figure GDA0003744103620000043
计算目标边框类相关置信度；
识别模块，用于将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
此外，本发明还提供了一种视频流安全帽识别设备，所述视频流安全帽识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流安全帽识别程序，所述视频流安全帽识别程序被所述处理器执行时实现所述的视频流安全帽识别方法的步骤。
此外，本发明还提供了一种存储介质，所述存储介质上存储有视频流安全帽识别程序，所述视频流安全帽识别程序被处理器执行时实现所述的视频流安全帽识别方法的步骤。
本发明提供的技术方案带来的有益效果是：对YOLO算法的网络结构调整，在卷积层以及残差的跳层之间增加了小目标检测层。同时考虑到安全帽颜色为纯色，在设计损失函数时，考虑最多颜色像素数目与预测框内所有像素之比。再者安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项。本发明提高了安全帽的识别的效率和精确度。
附图说明
图1是本发明提供的基于改进YOLO的视频流安全帽识别方法执行流程图；
图2是本发明提供的改进YOLO算法流程图；
图3是本发明基于改进YOLO的视频流安全帽识别装置结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1是本发明提供的基于改进YOLO的视频流安全帽识别方法执行流程图；本实施例提供的一种基于YOLO的视频流安全帽识别方法，包括以下步骤：
S1、基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
基于YOLO算法的Darknet网络识别模型是一个比较经典的one-stage结构，分为输入端、backbone、neck和prediction四个部分；
步骤S1具体包括：
对YOLO算法的Darknet网络识别模型和相关参数进行了调整，得到基于改进YOLO算法的Darknet网络识别模型；
通过无人机获取视频图像，将所述视频图像逐帧分解为多个图像样本；
对所述图像样本中的安全帽进行标注，得到训练样本集；
以改进YOLO算法的损失函数最小为目标，通过所述训练样本集对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
S2、将预设尺寸的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述预设尺寸的待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体。
步骤S2具体包括：
对待识别视频图像进行预处理，将待识别视频图像逐帧进行截图，然后对图片进行归一化，即将输入图像的尺寸调整为416×416；
将尺寸为416×416的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体。
S3、预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
S4、对每个所述网格均预测B个目标边框，在本实施例中，设置B值为2；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比
Figure GDA0003744103620000061
表征；
S5、根据S4的预测结果对预测置信度进行评分，所述预测置信度的评分定义为
Figure GDA0003744103620000062
S6、根据S3、S4和S5的预测结果，计算目标边框类相关置信度，所述目标边框类相关置信度的计算公式为：
Figure GDA0003744103620000063
其中Pr(classi)表示boundingbox内存在对象classi的概率，
Figure GDA0003744103620000064
表示目标边框类相关置信度；
S7、将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
请参考图2，图2是本发明提供的改进YOLO算法流程图；
在本实施例中，对YOLO算法的Darknet网络结构和相关参数进行了调整，得到基于改进YOLO算法的Darknet网络识别模型；具体包括：
对所述Darknet网络识别模型进行调整：在卷积层和残差层的跳层之间增加小目标检测层，以提高小目标检测精度。
对YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素数目之比，即：
Figure GDA0003744103620000071
若安全帽是红色的，则
Figure GDA0003744103620000072
代表红色的面积除以预测框的总面积。
考虑到安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure GDA0003744103620000073
其中，Loss为传统的YOLO算法的损失函数，
Figure GDA0003744103620000074
分别表示网格i的第j个boundingbox的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure GDA0003744103620000075
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数。
在本实施例中，改进YOLO算法中S值为10，C为2。
在本实施例中，在安全帽检测识别的后处理过程中，针对多个目标框的筛选，采用CIOU_Loss+DIOU_nms的方式。
请参考图3，图3是本发明基于改进YOLO的视频流安全帽识别装置结构图；
为了本实施例一种基于YOLO的视频流安全帽识别方法的实施，本实施例提供了一种基于YOLO的视频流安全帽识别装置，包括：
训练模块1，用于基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
输入模块2，用于将待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
预测模块3，用于预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
所述预测模块3，还用于对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比IOU来表征；
评分模块4，用于根据Pr(object)和
Figure GDA0003744103620000081
对预测置信度进行评分，所述预测置信度的评分定义为
Figure GDA0003744103620000082
计算模块5，用于根据Pr(classi|object)、Pr(object)和
Figure GDA0003744103620000083
计算目标边框类相关置信度；
识别模块6，用于将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
此外，本实施例还提供了一种视频流安全帽识别设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流安全帽识别程序，所述视频流安全帽识别程序被所述处理器执行时实现所述的视频流安全帽识别方法的步骤。
此外，本实施例还提供了一种存储介质，存储有视频流安全帽识别程序，所述视频流安全帽识别程序被处理器执行时实现所述的视频流安全帽识别方法的步骤。
为了验证本发明基于改进YOLO的视频流安全帽识别方法的识别效果，在具体实施例中，将24000余张照片分为训练集和测试集，训练集17000张，测试集7000张。在测试集上进行实验，结果如下表：
表1多种算法实验结果对比
算法 mAP 帧率
FasterR-CNN 82.9％ 43
传统的YOLO(YOLOv3) 87.8％ 57
改进的YOLO 89.1％ 58
从表1可以看出，本发明改进的YOLO v3平均精准度mAP高于传统的YOLO v3，且对于纯色、近似圆形的安全帽与人头部的检测较好。
本发明基于YOLO的视频流安全帽识别方法，对传统YOLO算法的网络结构进行调整，在卷积层以及残差的跳层之间增加了小目标检测层。同时考虑到安全帽颜色为纯色，在设计损失函数时，考虑最多颜色像素数目与预测框内所有像素之比。再者安全帽多为近似圆形，bounding box长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项。本发明提高了安全帽的识别效率和精确度。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于YOLO的视频流安全帽识别方法，其特征在于，所述视频流安全帽识别方法包括以下步骤：
对传统的YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素数目之比，即：
Figure FDA0003747621340000011
考虑到安全帽多为近似圆形，boundingbox长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure FDA0003747621340000012
其中，Loss为传统的YOLO算法的损失函数，
Figure FDA0003747621340000013
分别表示网格i的第j个boundingbox的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure FDA0003747621340000014
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数；
S1、基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
S2、将预设尺寸的待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述预设尺寸的待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
S3、预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
S4、对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比
Figure FDA0003747621340000021
表征；
S5、根据S4的预测结果对预测置信度进行评分，所述预测置信度的评分定义为
Figure FDA0003747621340000022
S6、根据S3、S4和S5的预测结果，计算目标边框类相关置信度，所述目标边框类相关置信度的计算公式为：
Figure FDA0003747621340000023
其中Pr(classi)表示bounding box内存在对象classi的概率，
Figure FDA0003747621340000024
表示目标边框类相关置信度；
S7、将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
2.根据权利要求1所述的视频流安全帽识别方法，其特征在于，在步骤S1之前，还包括：
对所述Darknet网络识别模型进行调整：在卷积层和残差层的跳层之间增加小目标检测层。
3.根据权利要求1所述的视频流安全帽识别方法，其特征在于，步骤S1具体包括：
获取视频图像，将所述视频图像逐帧分解为多个图像样本；
对所述图像样本中的安全帽进行标注，得到训练样本集；
以改进YOLO算法的损失函数最小为目标，通过所述训练样本集对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型。
4.根据权利要求3所述的视频流安全帽识别方法，其特征在于，在对所述图像样本中的安全帽进行标注，得到训练样本集的步骤之前，还包括：
删除图像样本中的无效图像，所述无效图像包括无安全帽的图像样本。
5.根据权利要求1所述的视频流安全帽识别方法，其特征在于，在步骤S2之前，还包括：
对待识别视频图像进行预处理，得到预设尺寸的待识别视频图像。
6.一种基于YOLO的视频流安全帽识别装置，其特征在于，所述视频流安全帽识别装置包括：
训练模块，用于对传统的YOLO算法的损失函数进行改进，包括：
考虑到安全帽颜色为纯色，在设计损失函数时考虑最多颜色像素数目与预测框内所有像素数目之比，即：
Figure FDA0003747621340000031
考虑到安全帽多为近似圆形，boundingbox长宽比近似为1，在设计损失函数时考虑加上对不均衡长宽比的乘法项，即：
Figure FDA0003747621340000032
其中，Loss为传统的YOLO算法的损失函数，
Figure FDA0003747621340000033
分别表示网格i的第j个boundingbox的宽度和高度，λcoord代表矩形框中心点的调整系数，
Figure FDA0003747621340000034
表示该矩形框是否负责预测目标物体，B表示每个网格都预测的目标边框，S表示划分的网格数；
还用于基于改进YOLO算法对Darknet网络识别模型进行训练，获得训练好的Darknet网络识别模型；
输入模块，用于将待识别视频图像逐帧输入所述训练好的Darknet网络识别模型，将所述待识别视频图像分成S×S个网格，若某网格中存在被检测物体的中心，则该网格负责该被检测物体；
预测模块，用于预测每个所述网格负责的被检测物体属于C个类别中具体某一类的后验概率Pr(classi|object)；
所述预测模块，还用于对每个所述网格均预测B个目标边框；
预测所述目标边框含有目标的可能性大小，记为Pr(object)；
当所述目标边框是背景时，即不包含目标，此时Pr(object)＝0；
当所述目标边框包含目标时，Pr(object)＝1；
预测所述目标边框的准确度，所述目标边框的准确度用预测框与实际框的交并比IOU来表征；
评分模块，用于根据Pr(object)和
Figure FDA0003747621340000035
对预测置信度进行评分，所述预测置信度的评分定义为
Figure FDA0003747621340000036
计算模块，用于根据Pr(classi|object)、Pr(object)和
Figure FDA0003747621340000037
计算目标边框类相关置信度；
识别模块，用于将所述目标边框类相关置信度与阈值进行比较，若高于阈值，则识别为正确佩戴安全帽，否则识别为未正确佩戴安全帽。
7.一种视频流安全帽识别设备，其特征在于，所述视频流安全帽识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频流安全帽识别程序，所述视频流安全帽识别程序被所述处理器执行时实现如权利要求1至5中任一项所述的视频流安全帽识别方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有视频流安全帽识别程序，所述视频流安全帽识别程序被处理器执行时实现如权利要求1至5中任一项所述的视频流安全帽识别方法的步骤。
CN202110360038.XA 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质 Expired - Fee Related CN113297900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360038.XA CN113297900B (zh) 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360038.XA CN113297900B (zh) 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113297900A CN113297900A (zh) 2021-08-24
CN113297900B true CN113297900B (zh) 2022-08-30

Family

ID=77319446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360038.XA Expired - Fee Related CN113297900B (zh) 2021-04-02 2021-04-02 基于yolo的视频流安全帽识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113297900B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822197A (zh) * 2021-09-23 2021-12-21 南方电网电力科技股份有限公司 工作着装识别方法、装置、电子设备及存储介质
CN113838094B (zh) * 2021-09-28 2024-03-05 贵州乌江水电开发有限责任公司 一种基于智能视频识别的安全预警方法
CN114003058B (zh) * 2021-10-25 2024-01-26 上海宝冶冶金工程有限公司 一种安全帽佩戴智慧巡检系统及方法
CN114332632A (zh) * 2022-02-10 2022-04-12 山东中科先进技术研究院有限公司 一种安全帽识别装置及方法
CN117319662B (zh) * 2023-11-28 2024-02-27 杭州杰竞科技有限公司 一种人体目标识别的图像压缩、解压方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN110334594A (zh) * 2019-05-28 2019-10-15 昆明理工大学 一种基于批再规范化处理的yolo算法的目标检测方法
AU2020100711A4 (en) * 2020-05-05 2020-06-11 Chang, Cheng Mr The retrieval system of wearing safety helmet based on deep learning
CN111931573A (zh) * 2020-07-07 2020-11-13 南京南瑞信息通信科技有限公司 基于yolo进化深度学习模型的安全帽检测与预警方法
CN112257793A (zh) * 2020-10-26 2021-01-22 大连理工大学 一种基于改进YOLO v3算法的远距离交通标志检测方法

Also Published As

Publication number Publication date
CN113297900A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113297900B (zh) 基于yolo的视频流安全帽识别方法、装置、设备及存储介质
CN111444821B (zh) 一种城市道路标志自动识别方法
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
US11120270B2 (en) Spatiotemporal action detection method
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN108710865A (zh) 一种基于神经网络的司机异常行为检测方法
EP3696725A1 (en) Tool detection method and device
CN106780612A (zh) 一种图像中的物体检测方法及装置
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
CN102831411B (zh) 一种快速人脸检测方法
JP2006252559A (ja) 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
CN101923652A (zh) 一种基于肤色和特征部位联合检测的色情图片识别方法
CN108960185A (zh) 基于YOLOv2的车辆目标检测方法及系统
CN108288015A (zh) 基于时间尺度不变性的视频中人体动作识别方法及系统
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN108614997A (zh) 一种基于改进AlexNet的遥感图像识别方法
CN106355044A (zh) 基于随机游走模型的蛋白质复合物识别方法
CN102819733A (zh) 一种快速的街景图像中人脸的检测模糊方法
CN114283469A (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN111401145A (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN106778731B (zh) 一种车牌定位方法及终端
CN108762503A (zh) 一种基于多模态数据采集的人机交互系统
CN112270681B (zh) 一种黄板害虫深度检测与计数方法与系统
Rentao et al. Indoor smoking behavior detection based on yolov3-tiny

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220830