CN114973080A - 一种安全帽佩戴检测方法、装置、设备及存储介质 - Google Patents

一种安全帽佩戴检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114973080A
CN114973080A CN202210538267.0A CN202210538267A CN114973080A CN 114973080 A CN114973080 A CN 114973080A CN 202210538267 A CN202210538267 A CN 202210538267A CN 114973080 A CN114973080 A CN 114973080A
Authority
CN
China
Prior art keywords
safety helmet
wearing
frame
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210538267.0A
Other languages
English (en)
Inventor
许洪滨
陈联宏
王润
钟日钢
刘汉俊
王超
解鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Energy and Environmental Protection Co Ltd
Original Assignee
Shenzhen Energy and Environmental Protection Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Energy and Environmental Protection Co Ltd filed Critical Shenzhen Energy and Environmental Protection Co Ltd
Priority to CN202210538267.0A priority Critical patent/CN114973080A/zh
Publication of CN114973080A publication Critical patent/CN114973080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明涉及人工智能领域，公开了一种安全帽佩戴检测方法、装置、设备及存储介质，用于提高安全帽佩戴检测的准确率。所述安全帽佩戴检测方法包括：获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警；可选的，将所述预警信息进行推送。

Description

一种安全帽佩戴检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种安全帽佩戴检测方法、装置、设备及存储介质。
背景技术
安全帽是防物体打击和坠落时头部碰撞的头部防护装置，现场施工人员通过佩戴安全帽，用以防护头部，免受坠落的物件伤害。但经常存在施工工人没有按照规定佩戴安全帽的情况发生，对安全帽的佩戴情况进行实时的监控，并检测是否按照规定佩戴安全帽至关重要。
现有方案通过人工经验对带有安全帽的佩戴图像进行判断是否佩戴安全帽，这种情况受人为因素的影响较大，而且人工经验容易出现错误的判断，即现有方案的准确率不高。
发明内容
本发明提供了一种安全帽佩戴检测方法、装置、设备及存储介质，用于提高安全帽佩戴检测的准确率。
本发明第一方面提供了一种安全帽佩戴检测方法，所述安全帽佩戴检测方法包括：获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
可选的，在本发明第一方面的第一种实现方式中，所述对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像，包括：调用预置Labellmg工具，对所述初始图像中的安全帽佩戴区域进行选取，得到区域图像；对所述区域图像进行区域信息标注，得到标注图像。
可选的，在本发明第一方面的第二种实现方式中，所述将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型，包括：将所述标注图像输入预置目标检测模型，其中，所述目标检测模型包括：Darknet-53网络、Batch NonIlalization层、LeakyReLU层和卷积层；通过所述Darknet-53网络对所述标注图像进行特征提取，得到第一特征图；通过所述Batch NonIlalization层对所述第一特征图进行归一化处理，得到规范化的第一特征图；通过所述LeakyReLU层对所述规范化的第一特征图进行非线性转换，得到第二特征图；通过所述卷积层对所述第二特征图进行像素点预测，得到所述第二特征图对应的预测结果；调用预置损失函数计算所述第二特征图对应的预测结果和所述标注图像的损失值；根据所述损失值对所述目标检测模型的参数进行调整，直至所述目标检测模型收敛，得到安全帽佩戴检测模型。
可选的，在本发明第一方面的第三种实现方式中，所述调用预置损失函数计算所述第二特征图对应的预测结果和所述标注图像的损失值，包括：调用预置的Focal loss函数计算所述第二特征图对应的预测结果和所述标注图像的后向梯度，得到后向梯度值；对所述后向梯度值进行求导运算，得到所述第二特征图对应的预测结果和所述标注图像的损失值。
可选的，在本发明第一方面的第四种实现方式中，所述获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果，包括：获取待检测的监控视频；将所述监控视频输入所述Darknet-53网络逐帧进行特征提取，得到第三特征图；将所述第三特征图输入所述Batch NonIlalization层进行归一化处理，得到规范化的第三特征图；将所述规范化的第三特征图输入所述LeakyReLU层进行非线性转换，得到第四特征图；将所述第四特征图输入所述卷积层进行像素点预测，得到检测结果。
可选的，在本发明第一方面的第五种实现方式中，所述将所述监控视频输入所述Darknet-53网络逐帧进行特征提取，得到第三特征图，包括：基于预置的Ffmpeg框架对所述监控视频进行分帧，得到多个视频帧；对所述各视频帧依次进行色调调整、对比度增强、亮度和饱和度调整，得到多个标准视频帧；依次将所述各标准视频帧输入所述Darknet-53网络进行特征提取，得到所述各标准视频帧对应的第三特征图。
可选的，在本发明第一方面的第六种实现方式中，所述安全帽佩戴检测方法还包括：若所述检测结果为当前视频帧中安全帽佩戴规范，则获取所述当前视频帧中的安全帽对应的位置信息；根据所述位置信息对所述安全帽进行检测结果推送。
本发明第二方面提供了一种安全帽佩戴检测装置，所述安全帽佩戴检测装置包括：获取模块，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；标注模块，用于对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；训练模块，用于将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；检测模块，用于获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；预警模块，用于若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
可选的，在本发明第二方面的第一种实现方式中，所述标注模块具体用于：调用预置Labellmg工具，对所述初始图像中的安全帽佩戴区域进行选取，得到区域图像；对所述区域图像进行区域信息标注，得到标注图像。
可选的，在本发明第二方面的第二种实现方式中，所述训练模块还包括：输入单元，用于将所述标注图像输入预置目标检测模型，其中，所述目标检测模型包括：Darknet-53网络、Batch NonIlalization层、LeakyReLU层和卷积层；处理单元，用于通过所述Darknet-53网络对所述标注图像进行特征提取，得到第一特征图；通过所述BatchNonIlalization层对所述第一特征图进行归一化处理，得到规范化的第一特征图；通过所述LeakyReLU层对所述规范化的第一特征图进行非线性转换，得到第二特征图；通过所述卷积层对所述第二特征图进行像素点预测，得到所述第二特征图对应的预测结果；计算单元，用于调用预置损失函数计算所述第二特征图对应的预测结果和所述标注图像的损失值；调整单元，用于根据所述损失值对所述目标检测模型的参数进行调整，直至所述目标检测模型收敛，得到安全帽佩戴检测模型。
可选的，在本发明第二方面的第三种实现方式中，所述计算单元具体用于：调用预置的Focal loss函数计算所述第二特征图对应的预测结果和所述标注图像的后向梯度，得到后向梯度值；对所述后向梯度值进行求导运算，得到所述第二特征图对应的预测结果和所述标注图像的损失值。
可选的，在本发明第二方面的第四种实现方式中，所述检测模块还包括：获取单元，用于获取待检测的监控视频；特征提取单元，用于将所述监控视频输入所述Darknet-53网络逐帧进行特征提取，得到第三特征图；处理单元，用于将所述第三特征图输入所述Batch NonIlalization层进行归一化处理，得到规范化的第三特征图；将所述规范化的第三特征图输入所述LeakyReLU层进行非线性转换，得到第四特征图；将所述第四特征图输入所述卷积层进行像素点预测，得到检测结果。
可选的，在本发明第二方面的第五种实现方式中，所述特征提取单元具体用于：基于预置的Ffmpeg框架对所述监控视频进行分帧，得到多个视频帧；对所述各视频帧依次进行色调调整、对比度增强、亮度和饱和度调整，得到多个标准视频帧；依次将所述各标准视频帧输入所述Darknet-53网络进行特征提取，得到所述各标准视频帧对应的第三特征图。
可选的，在本发明第二方面的第六种实现方式中，所述安全帽佩戴检测装置还包括：推送模块，用于若所述检测结果为当前视频帧中安全帽佩戴规范，则获取所述当前视频帧中的安全帽对应的位置信息；根据所述位置信息对所述安全帽进行检测结果推送。
本发明第三方面提供了一种安全帽佩戴检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述安全帽佩戴检测设备执行上述的安全帽佩戴检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的安全帽佩戴检测方法。
本发明提供的技术方案中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。本发明通过训练好的深度学习模型以进行安全帽佩戴情况进行检测，有效提高了安全帽佩戴检测的准确率。
附图说明
图1为本发明实施例中安全帽佩戴检测方法的一个实施例示意图；
图2为本发明实施例中安全帽佩戴检测方法的另一个实施例示意图；
图3为本发明实施例中安全帽佩戴检测装置的一个实施例示意图；
图4为本发明实施例中安全帽佩戴检测装置的另一个实施例示意图；
图5为本发明实施例中安全帽佩戴检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种安全帽佩戴检测方法、装置、设备及存储介质，用于提高安全帽佩戴检测的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中安全帽佩戴检测方法的第一个实施例包括：
101、获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到初始图像；
可以理解的是，本发明的执行主体可以为安全帽佩戴检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器通过实时从现场的监控摄像机中读取待处理视频流，服务器将该待处理视频流进行抽帧、识别等处理，对视频图像中的人员的头部区域进行动态识别，预处理的过程包括：翻转是将原始的图像像素在位置空间上做变换，图像的翻转是将原始的图像进行镜像操作，主要包括水平镜像翻转，垂直镜像翻转和原点镜像翻转，结合数据形式选择相应翻转操作，例如：数据集是安全帽图像数据，训练集合测试集都是正常拍摄的图片，此时只使用水平镜像操作。图像可以向外或向内缩放，向外缩放时，最终图像尺寸将大于原始图像尺寸，为了保持原始图像的大小，通常需要结合裁剪，从缩放后的图像中裁剪出和原始图像大小一样的图像。另一种方法是向内缩放，它会缩小图像大小，缩小到预设的大小。缩放也会带了一些问题，如缩放后的图像尺寸和原始图像尺寸的长宽比差异较大，会出现图像失帧的现象，在实验中对最终的结果有一定的影响，需要做等比例缩放，对不足的地方进行边缘填充。JPG图像通常会做一些色域填充操作，扩充数据集合，色域填充主要是在图像的颜色方面做增强，主要调整的是图像的亮度，饱和度和对比度，最后，服务器将带有目标用户头部的视频帧输出为初始图像。
102、对初始图像中的安全帽佩戴区域进行标注，得到标注图像；
具体的，服务器对初始图像中的安全帽佩戴区域进行标注，得到标注图像，具体为：服务器调用预置Labellmg工具，对初始图像中的安全帽佩戴区域进行选取，得到区域图像；服务器对区域图像进行区域信息标注，得到标注图像，该标注图像是带有安全帽区域标注信息的图像。
103、将标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；
具体的，服务器将标注图像输入预置的目标检测模型，该目标检测模型可以为YOLOv3模型，该YOLOv3模型是一个分类与检测相结合的模型，用来做目标分类及目标检测，其建立的初衷是在保证精准度的前提下，提升模型的训练速度。YOLOv3模型由Darknet-53网络、Batch NonIlalization层、LeakyReLU层和卷积层连接而成。Darknet-53网络将增强标注图像输入该网络，提取对应的目标特征图；随后经过每一次卷积，都将目标特征图的特征深化、细化及修正。Batch NonIlalization层，从Darknet-53网络中每一个卷积层生成的目标特征图，都通过Batch NonIlalization层进行批量归一化处理，将特征图的数据进行规范化处理，用于提升模型的收敛性。LeakyReLU层通过将Darknet-53网络最后一个个池化层与最后一个卷积层进行连接，并将对应池化或者卷积后的特征图叠加，将特征的分辨率进一步扩大，细化其特征细粒度。卷积层用于预测目标特征图中的特征框位置，而其输出的数据格式为先验框数量x（5+分类编号），在YOLOv3模型中，先验框数量为5，分类编号为20位字符，括号中5代表特征图边界框的中心二维坐标、宽高尺寸、置信度，其中，特征图边界框的置信度由IOU(Intersection over Union，交并比)进行表示。
104、获取待检测的监控视频，并将监控视频输入安全帽佩戴检测模型进行逐帧检测，输出检测结果；
具体的，服务器获取待检测的监控视频，该监控视频为监控终端实时拍摄的用户通过安全闸机的监控视频，并将监控视频输入安全帽佩戴检测模型进行逐帧检测，通过该安全帽佩戴检测模型进行模型检测，最终输出检测结果。
105、若检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
具体的，若检测结果为当前视频帧中存在安全帽佩戴不规范，当人员准备进入现场工作时，将会产生报警声音，并将状态实时传输至后台服务器，服务器将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。此外，若用户进入现场没打开工作状态开关，通过视频监控设备进行比对后，后台服务器会产生报警信息并进行截图并提醒审核人。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到初始图像；对初始图像中的安全帽佩戴区域进行标注，得到标注图像；将标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将监控视频输入安全帽佩戴检测模型进行逐帧检测，输出检测结果；若检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。本发明通过训练好的深度学习模型以进行安全帽佩戴情况进行检测，有效提高了安全帽佩戴检测的准确率。
请参阅图2，本发明实施例中安全帽佩戴检测方法的第二个实施例包括：
201、获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到初始图像；
具体的，服务器通过实时从现场的监控摄像机中读取待处理视频流，服务器将该待处理视频流进行抽帧、识别等处理，对视频图像中的人员的头部区域进行动态识别，服务器将带有目标用户头部的视频帧输出为初始图像。
202、对初始图像中的安全帽佩戴区域进行标注，得到标注图像；
可选的，服务器调用预置Labellmg工具，对初始图像中的安全帽佩戴区域进行选取，得到区域图像；服务器对区域图像进行区域信息标注，得到标注图像。
具体的，Labellmg工具首先执行open file命令，再对所述初始图像中的安全帽区域进行选取，在create rectbox信息标注框中输入类别名称，最后在保存文件的路径下生成xml文件，xml文件的名字是和标注图片的名字一致，标注图像的时候，类别名称请用小写字母，例如：专业工程师安全帽。
203、将标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；
可选的，服务器将标注图像输入预置目标检测模型，其中，目标检测模型包括：Darknet-53网络、Batch NonIlalization层、LeakyReLU层和卷积层；服务器通过Darknet-53网络对标注图像进行特征提取，得到第一特征图；服务器通过Batch NonIlalization层对第一特征图进行归一化处理，得到规范化的第一特征图；服务器通过LeakyReLU层对规范化的第一特征图进行非线性转换，得到第二特征图；服务器通过卷积层对第二特征图进行像素点预测，得到第二特征图对应的预测结果；服务器调用预置损失函数计算第二特征图对应的预测结果和标注图像的损失值；服务器根据损失值对目标检测模型的参数进行调整，直至目标检测模型收敛，得到安全帽佩戴检测模型。
具体的，在Darknet-53网络后面都跟随一个Batch NonIlalization层，对训练得到的第一特征图进行归一化处理，增加网络的泛化能力，增加训练数据对训练网络的适应程度，然后再输入下一个卷积层或者池化层，如此既可提升模型的收敛性，减少对正则化的依赖，又可防止过拟合，提升模型的检测效率。具体的，对第一特征图中的训练数据先进行白化预处理，让训练数据消除特征之间的相关性，再对训练数据进行变化重构，恢复训练数据的特征分布。具体的，在构建先验框时，对增强标注图像中的每一个先验框中的目标特征都进行了标注，通过对比标注的信息与目标特征对应的数据信息，对目标特征的类别作预测，得到检测结果，其中，每一个特征类别的数据格式为先验框中的四个坐标值、一个置信度和20个类别值，其中四个坐标值分别为先验框的中心二维坐标与区域宽高尺寸。
可选的，服务器调用预置的Focal loss函数计算第二特征图对应的预测结果和标注图像的后向梯度，得到后向梯度值；服务器对后向梯度值进行求导运算，得到第二特征图对应的预测结果和标注图像的损失值。
具体的，Focal loss主要是解决目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，在候选框阶段，通过得分和nms筛选过滤掉了大量的负样本，然后在分类回归阶段又固定了正负样本比例，计算所述第二特征图对应的预测结果和所述增强标注图像的后向梯度，得到后向梯度值后对所述后向梯度值进行求导运算，得到所述第二特征图对应的预测结果和所述增强标注图像的损失值。
204、获取待检测的监控视频；
205、将监控视频输入Darknet-53网络逐帧进行特征提取，得到第三特征图；
206、将第三特征图输入Batch NonIlalization层进行归一化处理，得到规范化的第三特征图；
可选的，服务器基于预置的Ffmpeg框架对监控视频进行分帧，得到多个视频帧；服务器对各视频帧依次进行色调调整、对比度增强、亮度和饱和度调整，得到多个标准视频帧；服务器依次将各标准视频帧输入Darknet-53网络进行特征提取，得到各标准视频帧对应的第三特征图。
具体的，Ffmpeg框架包括编码器和解码器，Ffmpeg框架通过编码器和解码器对监控视频进行视频编码和解码，从而实现对监控视频分帧，得到的视频帧噪点较多，因此需要对视频帧进行去除噪点，即降噪，再进行对比度增强、亮度和饱和度调整得到的视频帧更加清晰，使的后续进行检测时的识别度更高。其中，Darknet-53网络的增强标注图像中带有先验框，根据先验框提取增强标注图像的第三特征图，第三特征图在每一次卷积后都增加其特征数量，在每一次池化后，都增加其通道数量，细化其细粒度，使得第一特征图的特征深度增加。在每一次卷积后，通过对比先验框与特征图框的中心坐标和宽高尺寸，计算先验框的偏移量，对应调整先验框的中心坐标与区域尺寸，逐步优化特征图的目标检测精准度。
207、将规范化的第三特征图输入LeakyReLU层进行非线性转换，得到第四特征图；
208、将第四特征图输入卷积层进行像素点预测，得到检测结果；
209、若检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
具体的，若检测结果为当前视频帧中存在安全帽佩戴不规范，当人员准备进入现场工作时，将会产生报警声音，并将状态实时传输至后台服务器，服务器将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。此外，若用户进入现场没打开工作状态开关，通过视频监控设备进行比对后，后台服务器会产生报警信息并进行截图并提醒审核人。
可选的，若检测结果为当前视频帧中安全帽佩戴规范，则服务器获取当前视频帧中的安全帽对应的位置信息；服务器根据位置信息对安全帽进行检测结果推送。
具体的，若检测结果为当前视频帧中不存在安全帽佩戴不规范，则服务器获取当前视频帧中的安全帽对应的位置信息；服务器根据位置信息对安全帽进行检测结果推送。进一步地，该安全帽所装配的定位标签与现场的定位基站进行数据通讯，将所在实时位置发送至服务器。该安全帽处理器带有蜂鸣器，当人员未正确佩戴安全帽时蜂鸣器主动报警；该安全帽所处位置为危险区域时，安全帽处理器接受服务器推送的检测结构，进行佩戴预警。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对待处理视频流进行预处理，得到初始图像；对初始图像中的安全帽佩戴区域进行标注，得到标注图像；将标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将监控视频输入安全帽佩戴检测模型进行逐帧检测，输出检测结果；若检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。本发明通过训练好的深度学习模型以进行安全帽佩戴情况进行检测，有效提高了安全帽佩戴检测的准确率。
上面对本发明实施例中安全帽佩戴检测方法进行了描述，下面对本发明实施例中安全帽佩戴检测装置进行描述，请参阅图3，本发明实施例中安全帽佩戴检测装置第一个实施例包括：
获取模块301，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；
标注模块302，用于对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；
训练模块303，用于将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；
检测模块304，用于获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；
预警模块305，用于若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。本发明通过训练好的深度学习模型以进行安全帽佩戴情况进行检测，有效提高了安全帽佩戴检测的准确率。
请参阅图4，本发明实施例中安全帽佩戴检测装置第二个实施例包括：
获取模块301，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；
标注模块302，用于对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；
训练模块303，用于将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；
检测模块304，用于获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；
预警模块305，用于若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
可选的，标注模块302具体用于：调用预置Labellmg工具，对所述初始图像中的安全帽佩戴区域进行选取，得到区域图像；对所述区域图像进行区域信息标注，得到标注图像。
可选的，训练模块303还包括：输入单元，用于将所述标注图像输入预置目标检测模型，其中，所述目标检测模型包括：Darknet-53网络、Batch NonIlalization层、LeakyReLU层和卷积层；处理单元，用于通过所述Darknet-53网络对所述标注图像进行特征提取，得到第一特征图；通过所述Batch NonIlalization层对所述第一特征图进行归一化处理，得到规范化的第一特征图；通过所述LeakyReLU层对所述规范化的第一特征图进行非线性转换，得到第二特征图；通过所述卷积层对所述第二特征图进行像素点预测，得到所述第二特征图对应的预测结果；计算单元，用于调用预置损失函数计算所述第二特征图对应的预测结果和所述标注图像的损失值；调整单元，用于根据所述损失值对所述目标检测模型的参数进行调整，直至所述目标检测模型收敛，得到安全帽佩戴检测模型。
可选的，计算单元具体用于：调用预置的Focal loss函数计算所述第二特征图对应的预测结果和所述标注图像的后向梯度，得到后向梯度值；对所述后向梯度值进行求导运算，得到所述第二特征图对应的预测结果和所述标注图像的损失值。
可选的，检测模块304还包括：获取单元，用于获取待检测的监控视频；特征提取单元，用于将所述监控视频输入所述Darknet-53网络逐帧进行特征提取，得到第三特征图；处理单元，用于将所述第三特征图输入所述Batch NonIlalization层进行归一化处理，得到规范化的第三特征图；将所述规范化的第三特征图输入所述LeakyReLU层进行非线性转换，得到第四特征图；将所述第四特征图输入所述卷积层进行像素点预测，得到检测结果。
可选的，特征提取单元具体用于：基于预置的Ffmpeg框架对所述监控视频进行分帧，得到多个视频帧；对所述各视频帧依次进行色调调整、对比度增强、亮度和饱和度调整，得到多个标准视频帧；依次将所述各标准视频帧输入所述Darknet-53网络进行特征提取，得到所述各标准视频帧对应的第三特征图。
可选的，安全帽佩戴检测装置还包括：
推送模块306，用于若所述检测结果为当前视频帧中安全帽佩戴规范，则获取所述当前视频帧中的安全帽对应的位置信息；根据所述位置信息对所述安全帽进行检测结果推送。
本发明实施例中，获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。本发明通过训练好的深度学习模型以进行安全帽佩戴情况进行检测，有效提高了安全帽佩戴检测的准确率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的安全帽佩戴检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中安全帽佩戴检测设备进行详细描述。
图5是本发明实施例提供的一种安全帽佩戴检测设备的结构示意图，该安全帽佩戴检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对安全帽佩戴检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在安全帽佩戴检测设备500上执行存储介质530中的一系列指令操作。
安全帽佩戴检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的安全帽佩戴检测设备结构并不构成对安全帽佩戴检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种安全帽佩戴检测设备，所述安全帽佩戴检测设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述安全帽佩戴检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述安全帽佩戴检测方法的步骤。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种安全帽佩戴检测方法，其特征在于，所述安全帽佩戴检测方法包括：
获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；
对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；
将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；
获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；
若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
2.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，所述对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像，包括：
调用预置Labellmg工具，对所述初始图像中的安全帽佩戴区域进行选取，得到区域图像；
对所述区域图像进行区域信息标注，得到标注图像。
3.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，所述将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型，包括：
将所述标注图像输入预置目标检测模型，其中，所述目标检测模型包括：Darknet-53网络、Batch NonIlalization层、LeakyReLU层和卷积层；
通过所述Darknet-53网络对所述标注图像进行特征提取，得到第一特征图；
通过所述Batch NonIlalization层对所述第一特征图进行归一化处理，得到规范化的第一特征图；
通过所述LeakyReLU层对所述规范化的第一特征图进行非线性转换，得到第二特征图；
通过所述卷积层对所述第二特征图进行像素点预测，得到所述第二特征图对应的预测结果；
调用预置损失函数计算所述第二特征图对应的预测结果和所述标注图像的损失值；
根据所述损失值对所述目标检测模型的参数进行调整，直至所述目标检测模型收敛，得到安全帽佩戴检测模型。
4.根据权利要求3所述的安全帽佩戴检测方法，其特征在于，所述调用预置损失函数计算所述第二特征图对应的预测结果和所述标注图像的损失值，包括：
调用预置的Focal loss函数计算所述第二特征图对应的预测结果和所述标注图像的后向梯度，得到后向梯度值；
对所述后向梯度值进行求导运算，得到所述第二特征图对应的预测结果和所述标注图像的损失值。
5.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，所述获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果，包括：
获取待检测的监控视频；
将所述监控视频输入所述Darknet-53网络逐帧进行特征提取，得到第三特征图；
将所述第三特征图输入所述Batch NonIlalization层进行归一化处理，得到规范化的第三特征图；
将所述规范化的第三特征图输入所述LeakyReLU层进行非线性转换，得到第四特征图；
将所述第四特征图输入所述卷积层进行像素点预测，得到检测结果。
6.根据权利要求5所述的安全帽佩戴检测方法，其特征在于，所述将所述监控视频输入所述Darknet-53网络逐帧进行特征提取，得到第三特征图，包括：
基于预置的Ffmpeg框架对所述监控视频进行分帧，得到多个视频帧；
对所述各视频帧依次进行色调调整、对比度增强、亮度和饱和度调整，得到多个标准视频帧；
依次将所述各标准视频帧输入所述Darknet-53网络进行特征提取，得到所述各标准视频帧对应的第三特征图。
7.根据权利要求1-6中任一项所述的安全帽佩戴检测方法，其特征在于，所述安全帽佩戴检测方法还包括：
若所述检测结果为当前视频帧中安全帽佩戴规范，则获取所述当前视频帧中的安全帽对应的位置信息；
根据所述位置信息对所述安全帽进行检测结果推送。
8.一种安全帽佩戴检测装置，其特征在于，所述安全帽佩戴检测装置包括：
获取模块，用于获取预置监控终端所拍摄的目标用户的待处理视频流，并对所述待处理视频流进行预处理，得到初始图像；
标注模块，用于对所述初始图像中的安全帽佩戴区域进行标注，得到标注图像；
训练模块，用于将所述标注图像输入预置目标检测模型进行模型训练，得到安全帽佩戴检测模型；
检测模块，用于获取待检测的监控视频，并将所述监控视频输入所述安全帽佩戴检测模型进行逐帧检测，输出检测结果；
预警模块，用于若所述检测结果为当前视频帧中存在安全帽佩戴不规范，则将标注有安全帽佩戴信息的视频帧传输至监控终端进行安全帽佩戴预警。
9.一种安全帽佩戴检测设备，其特征在于，所述安全帽佩戴检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述安全帽佩戴检测设备执行如权利要求1-7中任一项所述的安全帽佩戴检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的安全帽佩戴检测方法。
CN202210538267.0A 2022-05-18 2022-05-18 一种安全帽佩戴检测方法、装置、设备及存储介质 Pending CN114973080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210538267.0A CN114973080A (zh) 2022-05-18 2022-05-18 一种安全帽佩戴检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210538267.0A CN114973080A (zh) 2022-05-18 2022-05-18 一种安全帽佩戴检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114973080A true CN114973080A (zh) 2022-08-30

Family

ID=82984142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210538267.0A Pending CN114973080A (zh) 2022-05-18 2022-05-18 一种安全帽佩戴检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114973080A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630350A (zh) * 2023-07-26 2023-08-22 瑞茜时尚(深圳)有限公司 假发佩戴监测管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630350A (zh) * 2023-07-26 2023-08-22 瑞茜时尚(深圳)有限公司 假发佩戴监测管理方法及系统
CN116630350B (zh) * 2023-07-26 2023-10-03 瑞茜时尚(深圳)有限公司 假发佩戴监测管理方法及系统

Similar Documents

Publication Publication Date Title
CN112200043B (zh) 面向室外施工现场的危险源智能识别系统及方法
CN111401314B (zh) 着装信息检测方法、装置、设备及存储介质
CN103824053B (zh) 一种人脸图像的性别标注方法及人脸性别检测方法
CN112906463A (zh) 基于图像的火情检测方法、装置、设备及存储介质
CN111914819B (zh) 一种多摄像头融合的人群密度预测方法、装置、存储介质及终端
CN114937232B (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
CN103473564B (zh) 一种基于敏感区域的正面人脸检测方法
JP2015176169A (ja) 画像処理装置、画像処理方法およびプログラム
CN112488034A (zh) 基于轻量化人脸口罩检测模型的视频处理方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
US20110280442A1 (en) Object monitoring system and method
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN114782892A (zh) 违规行为目标检测方法、装置、设备及存储介质
CN114973080A (zh) 一种安全帽佩戴检测方法、装置、设备及存储介质
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN113963162A (zh) 安全帽佩戴识别方法、装置、计算机设备和存储介质
CN107368847B (zh) 一种作物叶部病害识别方法及系统
CN113221667A (zh) 一种基于深度学习的人脸口罩属性分类方法及系统
CN111582183A (zh) 一种公共场所的口罩识别方法及系统
CN116343100B (zh) 一种基于自监督学习的目标识别方法及系统
CN112989958A (zh) 基于YOLOv4与显著性检测的安全帽佩戴识别方法
CN114724348A (zh) 基于深度学习的救援报警方法
KR102194511B1 (ko) 대표 영상프레임 결정시스템 및 이를 이용한 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination