CN116935473A - 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 - Google Patents
基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 Download PDFInfo
- Publication number
- CN116935473A CN116935473A CN202310939357.5A CN202310939357A CN116935473A CN 116935473 A CN116935473 A CN 116935473A CN 202310939357 A CN202310939357 A CN 202310939357A CN 116935473 A CN116935473 A CN 116935473A
- Authority
- CN
- China
- Prior art keywords
- model
- loss
- yolo
- real
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000011897 real-time detection Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000004821 distillation Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 6
- PYZSVQVRHDXQSL-UHFFFAOYSA-N dithianon Chemical compound S1C(C#N)=C(C#N)SC2=C1C(=O)C1=CC=CC=C1C2=O PYZSVQVRHDXQSL-UHFFFAOYSA-N 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- CMAUJSNXENPPOF-UHFFFAOYSA-N n-(1,3-benzothiazol-2-ylsulfanyl)-n-cyclohexylcyclohexanamine Chemical compound C1CCCCC1N(C1CCCCC1)SC1=NC2=CC=CC=C2S1 CMAUJSNXENPPOF-UHFFFAOYSA-N 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 4
- 238000012986 modification Methods 0.000 abstract description 3
- 230000004048 modification Effects 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000002856 peripheral neuron Anatomy 0.000 description 2
- 206010019196 Head injury Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明属于作业安全监测的技术领域,尤其涉及一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,包括图像采集、图像增强及标注,构建数据集并进行随机划分;对YOLO v7模型进行改进;对改进后的YOLO v7模型进行训练,得到训练完成的模型,并对模型进行评估;将模型部署到可视化监拍设备系统,进行实时检测并判断是否发出警告。所述对YOLO v7模型进行改进包括新增特征提取层、在特征提取之后增加SimAM模块、改进ELAN和MP模块、采用归一化Wasserstein距离和损失惩罚项改进的SIoU损失函数、引入可变形卷积和轻量化的深度可分离卷积以及自监督蒸馏。本发明解决了模型样本数据需求高、精度不够高、训练时间长、模型复杂等问题,实时监测,降低了工地的安全风险。
Description
技术领域
本发明属于作业安全监测的技术领域,尤其涉及一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统。
背景技术
安全帽是用于施工场地的头部防护用品,能够保护使用者免受坠落物、小型飞溅物等因素引起的头部伤害。近年来,由于不佩戴安全帽或佩戴不规范等原因,安全生产事故频频发生,其背后的影响不容小觑,不仅会给家庭带来巨大的痛苦,也会给企业带来巨大的损失。施工场地背景复杂,安全帽存在遮挡、图像中安全帽尺寸不一,尺寸在图像中所占比例为0.02%-30%,如何规范佩戴安全帽、保障员工和企业双方利益,一直是各方关注和追求的目标。因此,研究佩戴安全帽的监测算法具有重大意义和广泛应用价值。
传统的计算机视觉方法包括目标检测、特征提取和分类等技术。常用的目标检测算法有Haar特征分类器和HOG+SVM等,这些算法主要依靠手工设计的特征和分类器进行安全帽的检测和识别。此外,还可以使用基于颜色和形状等特征的检测算法。这些算法可以通过对大量数据的训练和优化来提高安全帽佩戴的检测和识别准确率。但是,这些传统方法的准确率受到很大限制,容易受到光线、角度等环境因素的影响,对于复杂场景的安全帽佩戴检测效果不佳。
近年来,深度学习技术在安全帽佩戴检测方面得到广泛应用。常用的深度学习模型有卷积神经网络(CNN)、区域卷积神经网络(RCNN)和YOLO等。这些模型不需要手工提取特征,而是直接从原始图像中学习特征,并进行安全帽佩戴的检测和识别。与传统方法相比,深度学习方法的准确率较高,对于复杂场景的安全帽佩戴检测效果也更好。但是,深度学习方法需要大量的训练数据,训练时间长,而且模型较为复杂,计算速度存在瓶颈。
发明内容
本发明针对复杂场景下安全帽佩戴检测所存在的技术问题,提出一种设计合理、方法简单、理论性强且能够解决精度不够高、训练时间长、模型复杂等问题的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统。
为了达到上述目的,本发明采用的技术方案为:本发明提供一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,包括以下步骤:
S1、图像采集:通过图像采集设备对复杂背景下的图像数据进行采集,所述图像数据为复杂背景下正确佩戴安全帽、未正确佩戴安全帽以及未佩戴安全帽的图像;
S2、对所获得的图像进行数据增强达到扩充样本的目的,并对数据增强后的图像使用labelImg进行标注,将所获得的图像和标注制作成YOLO v7模型所需格式,得到数据集;
S3、将数据集按照一定比例随机划分为训练集、验证集和测试集;
S4、对YOLO v7模型进行改进:包括新增加一个特征提取层、增加SimAM模块、改进ELAN和MP模块以及改进损失函数,所述改进损失函数,基于SIoU函数添加归一化Wasserstein距离(NWD)、IOU损失惩罚项ε,距离损失和形状损失惩罚项α,得到Loss的最终计算公式为:
Loss=(1-β)(1-NWD(NA,NB))+β(1-IoUε+(1-α)Δ+αΩ)
其中,Δ为距离损失,Ω为形状损失,β是NWD的权重比例系数,ε为IoU损失惩罚项,α为距离损失和形状损失惩罚项;
S5、对改进后的YOLO v7模型进行训练,得到训练完成的模型,并对模型进行评估:基于自监督蒸馏使用训练集对改进后的YOLO v7模型进行训练,得到训练完成的模型后对模型进行评估;
S6、将模型部署到可视化监拍设备系统,进行实时检测并判断是否发出警告:在进行实时检测时,若检测到未佩戴安全帽或未正确佩戴安全帽,则监拍设备发出警告。
作为优选,所述步骤S2的数据增强采用随机裁剪和Mosaic技术;
作为优选,所述步骤S4的具体改进为:
S4.1所述新增加一个特征提取层,是在原有的三个提取层的基础上,新增一个尺度为160×160的特征提取层,形成四尺度预测;
S4.2所述增加SimAM模块,是在特征提取之后添加四个无参数的SimAM模块;
S4.3所述改进ELAN和MP模块,是引入可变形卷积(Deformable Convolution)和深度可分离卷积(DWConv),基于可变形卷积、BN以及SiLU构建DCBS模块,基于DWConv、BN以及SiLU构建DWBS模块,组建新的DELAN模块和DWMP模块;
S4.4所述改进损失函数,基于SIoU函数添加归一化Wasserstein距离(NWD)、IoU损失惩罚项ε,距离损失和形状损失惩罚项α,其中NWD的计算公式为:
其中,是距离度量,C是一个常数,NA为预测框A的高斯分布模型,NB为真实框B的高斯分布模型。添加惩罚项ε和α,得到最终Loss的计算公式为:
Loss=(1-β)(1-NWD(NA,NB))+β(1-IoUε+(1-α)Δ+αΩ)
其中,Δ为距离损失,Ω为形状损失,β是NWD的权重比例系数,ε为IoU损失惩罚项,α为距离损失和形状损失惩罚项。
作为优选,所述步骤S5的自监督蒸馏是不提前训练一个teacher网络模型,而是student网络本身的训练完成一个蒸馏过程,所述蒸馏过程具体是先开始训练student模型,在整个训练过程的最后几个epoch的时候,利用前面训练的student作为监督模型,在剩下的epoch中,对模型进行蒸馏。
作为优选,所述步骤S5的评估指标为:
其中,P和R分别代表精确率和召回率,TP为识别结果为真且实际也为真的数量,FP为识别结果为真但实际为假的数量,FN为识别结果为假但实际为真的数量;AP为单个目标类的平均精度,由P,R和坐标轴围成的面积计算得到;mAP表示对所有目标类的AP求取的均值,其中N代表所有目标类的数量;F1值是精确度和召回率的调和平均数。
与现有技术相比,本发明的优点和积极效果在于:
1、本发明通过新增特征提取层、在特征提取之后增加SimAM模块以及采用增加归一化Wasserstein距离和损失惩罚项改进的SIoU损失函数,用于提高模型的性能;
2、本发明通过引入可变形卷积和轻量化的深度可分离卷积,基于可变形卷积、BN以及SiLU构建DCBS模块,基于DWConv、BN以及SiLU构建DWBS模块,组建轻量化的DELAN模块和DWMP模块,在保证模型性能的情况下降低模型的复杂度,提高计算速度;
3、本发明通过数据增强减少了数据采集的样本量,通过引入自监督蒸馏,减少模型的训练时间。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的流程图;
图2为本发明实施例提供的改进的YOLO v7的模型结构图;
图3为本发明实施例提供的DCBS、DWBS模块结构图;
图4为本发明实施例提供的DELAN模块图;
图5为本发明实施例提供的DWMP模块图;
图6为本发明实施例提供的自监督蒸馏结构示意图;
图7为本发明实施例提供的可视化监拍设备系统工作流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和实施例对本发明做进一步说明。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开说明书的具体实施例的限制。
如图1、图2所示,本实施例提供一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,以解决现有复杂背景下安全帽佩戴实时检测所存在的技术问题。
考虑到复杂背景指安全帽存在遮挡、图像中安全帽尺寸不一,尺寸在图像中所占比例为0.02%-30%,这其中的小目标容易受干扰导致漏检的情况,深度学习算法需要大量的样本进行训练,所以首先进行图像采集,通过监控探头等图像采集设备对图像进行采集共挑选出3000张图像,图像为复杂背景下正确佩戴安全帽、未正确佩戴安全帽以及未佩戴安全帽的图像。
因挑选出的图像数量不能保证模型的训练结果理想,所以考虑采用随机裁剪和Mosaic技术进行数据增强扩充样本,然后使用labelImg对数据集进行标注,将所获得的图像和标注制作成YOLO v7模型所需格式,得到数据集,之后将数据集按照7:2:1的比例随机划分为训练集、验证集和测试集。
然后,考虑到YOLO v7模型需要较长的训练时间,而且模型较为复杂,计算速度存在瓶颈,需要在保证精度情况下,对模型进行轻量化处理,为此对YOLO v7模型进行改进。因增加特征提取层,形成四尺度预测,可以增加模型针对图像中尺寸不同的安全帽的目标检测尺度以及安全帽颜色特征的提取,提高模型的对安全帽的识别准确性,所以新增一个特征提取层。SimAM模块是一种概念简单且非常有效的3D注意力机制模块,可以实现不引入额外学习参数的情况下更高效地评估图像中安全帽的特征权重,实现安全帽是否佩戴以及是否正确佩戴的精确识别与定位,提高基础模型的性能。在神经科学中,信息丰富的神经元比周围神经元表现出更活跃的状态,同时对周围神经元产生抑制。所以考虑在特征提取之后添加四个无参数的SimAM模块,利用能量函数高效评估提取安全帽特征的重要性,增强了有效信息同时抑制无关特征的干扰,提高了模型定位能力与识别能力。可变形卷积(Deformable Convolution)能够使感受野随着拍摄角度、形状和尺寸的不同而改变,通过偏移量与局部或全局交互,具有长距离建模能力,通过调指标量和偏移量根据输入不同进行学习进而变化,具备类似自适应空间聚合能力,增强算子的表达能力,同时共享了卷积权重,降低算法的复杂度,通过归一化调制标量,提高训练过程的稳定性。DWConv能够将模型体积和计算量压缩,大大降低了对部署设备计算能力的要求。NWD可以提高对远距离的安全帽目标对象的检测能力,SIoU加入了预测框与真实框之间的向量角度并且重新定义了损失函数,给SIoU损失函数中的IoU损失增加惩罚项可以提高安全帽目标在回归过程中的权重。给SIoU中的距离损失和形状损失增加惩罚项,可以使损失函数自适应的调整形状损失在损失函数中的占比。所以对YOLO v7的改进包括新增加一个特征提取层、增加SimAM模块、改进ELAN和MP模块以及改进损失函数。
具体的,新增加一个特征提取层,如图2所示,是在原有的三个提取层的基础上,新增一个尺度为160×160的特征提取层,形成四尺度预测;增加SimAM模块,如图2所示,是在特征提取之后添加四个无参数的SimAM模块;所述改进ELAN和MP模块,如图3、图4和图5所示,引入可变形卷积(Deformable Convolution)和深度可分离卷积(DWConv),基于可变形卷积、BN以及SiLU构建DCBS模块,基于DWConv、BN以及SiLU构建DWBS模块,组建新的DELAN模块和DWMP模块;改进损失函数,基于SIoU函数添加归一化Wasserstein距离(NWD)、IoU损失惩罚项ε,距离损失和形状损失惩罚项α,其中NWD的计算公式为:
其中,是距离度量,C是一个常数,NA为预测框A的高斯分布模型,NB为真实框B的高斯分布模型。添加惩罚项ε和α,得到最终Loss的计算公式为:
Loss=(1-β)(1-NWD(NA,NB))+β(1-IoUε+(1-α)Δ+αΩ)
其中,Δ为距离损失,Ω为形状损失,β是NWD的权重比例系数,ε为IoU损失惩罚项,α为距离损失和形状损失惩罚项。
接着,对改进后的YOLO v7模型进行训练,得到训练完成的模型,并对模型进行评估:基于自监督蒸馏使用训练集对改进后的YOLO v7模型进行训练,得到训练完成的模型后对模型进行评估。
具体的,如图6所示,自监督蒸馏是不提前训练一个安全帽佩戴或者未正确佩戴检测的teacher网络模型,而是student网络本身的训练完成一个蒸馏过程,蒸馏过程具体是先开始训练student模型,在整个训练过程的最后几个epoch的时候,利用前面训练的student作为监督模型,在剩下的epoch中,对安全帽检测模型进行蒸馏。评估指标为:
其中,P和R分别代表精确率和召回率,TP为识别结果为真且实际也为真的数量,FP为识别结果为真但实际为假的数量,FN为识别结果为假但实际为真的数量;AP为单个目标类的平均精度,由P,R和坐标轴围成的面积计算得到;mAP表示对所有目标类的AP求取的均值,其中N代表所有目标类的数量;F1值是精确度和召回率的调和平均数。
最后,如图7所示,模型部署到可视化监拍设备系统,进行实时检测并判断是否发出警告:在进行实时检测时,若检测到未佩戴安全帽或未正确佩戴安全帽,则监拍设备发出警告。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (5)
1.一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,其特征在于,包括以下步骤:
S1、图像采集:通过图像采集设备对复杂背景下的图像数据进行采集,所述图像数据为复杂背景下正确佩戴安全帽、未正确佩戴安全帽以及未佩戴安全帽的图像;
S2、对所获得的图像进行数据增强达到扩充样本的目的,并对数据增强后的图像使用labelImg进行标注,将所获得的图像和标注制作成YOLO v7模型所需格式,得到数据集;
S3、将数据集按照一定比例随机划分为训练集、验证集和测试集;
S4、对YOLO v7模型进行改进:包括新增加一个特征提取层、增加SimAM模块、改进ELAN和MP模块以及改进损失函数,所述改进损失函数,基于SIoU函数添加归一化Wasserstein距离(NWD)、IOU损失惩罚项ε,距离损失和形状损失惩罚项α,得到Loss的最终计算公式为:
Loss=(1-β)(1-NWD(NA,NB))+β(1-IoUε+(1-α)Δ+αΩ)
其中,Δ为距离损失,Ω为形状损失,β是NWD的权重比例系数,ε为IoU损失惩罚项,α为距离损失和形状损失惩罚项;
S5、对改进后的YOLO v7模型进行训练,得到训练完成的模型,并对模型进行评估:基于自监督蒸馏使用训练集对改进后的YOLO v7模型进行训练,得到训练完成的模型后对模型进行评估;
S6、将模型部署到可视化监拍设备系统,进行实时检测并判断是否发出警告:在进行实时检测时,若检测到未佩戴安全帽或未正确佩戴安全帽,则监拍设备发出警告。
2.根据权利要求1所述的基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,其特征在于,所述步骤S2的数据增强采用随机裁剪和Mosaic技术。
3.根据权利要求1所述的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,其特征在于,所述步骤S4的具体改进为:
S4.1所述新增加一个特征提取层,是在原有的三个提取层的基础上,新增一个尺度为160×160的特征提取层,形成四尺度预测;
S4.2所述增加SimAM模块,是在特征提取之后添加四个无参数的SimAM模块;
S4.3所述改进ELAN和MP模块,是引入可变形卷积(Deformable Convolution)和深度可分离卷积(DWConv),基于可变形卷积、BN以及SiLU构建DCBS模块,基于DWConv、BN以及SiLU构建DWBS模块,组建新的DELAN模块和DWMP模块;
S4.4所述改进损失函数,基于SIoU函数添加归一化Wasserstein距离(NWD)、IoU损失惩罚项ε,距离损失和形状损失惩罚项α,其中NWD的计算公式为:
其中,是距离度量,C是一个常数,NA为预测框A的高斯分布模型,NB为真实框B的高斯分布模型。添加惩罚项ε和α,得到最终Loss的计算公式为:
Loss=(1-β)(1-NWD(NA,NB))+β(1-IoUε+(1-α)Δ+αΩ)
其中,Δ为距离损失,Ω为形状损失,β是NWD的权重比例系数,ε为IoU损失惩罚项,α为距离损失和形状损失惩罚项。
4.根据权利要求1所述的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,其特征在于,所述步骤S5的自监督蒸馏是不提前训练一个teacher网络模型,而是student网络本身的训练完成一个蒸馏过程,所述蒸馏过程具体是先开始训练student模型,在整个训练过程的最后几个epoch的时候,利用前面训练的student作为监督模型,在剩下的epoch中,对模型进行蒸馏。
5.根据权利要求1所述的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统,其特征在于,所述步骤S5的评估指标为:
其中,P和R分别代表精确率和召回率,TP为识别结果为真且实际也为真的数量,FP为识别结果为真但实际为假的数量,FN为识别结果为假但实际为真的数量;AP为单个目标类的平均精度,由P,R和坐标轴围成的面积计算得到;mAP表示对所有目标类的AP求取的均值,其中N代表所有目标类的数量;F1值是精确度和召回率的调和平均数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310939357.5A CN116935473A (zh) | 2023-07-28 | 2023-07-28 | 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310939357.5A CN116935473A (zh) | 2023-07-28 | 2023-07-28 | 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116935473A true CN116935473A (zh) | 2023-10-24 |
Family
ID=88393989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310939357.5A Pending CN116935473A (zh) | 2023-07-28 | 2023-07-28 | 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116935473A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117765502A (zh) * | 2024-02-22 | 2024-03-26 | 北京理工大学前沿技术研究院 | 一种高速公路自动驾驶预警方法、系统、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135476A (zh) * | 2019-04-28 | 2019-08-16 | 深圳市中电数通智慧安全科技股份有限公司 | 一种个人安全装备的检测方法、装置、设备及系统 |
CN114299380A (zh) * | 2021-11-16 | 2022-04-08 | 中国华能集团清洁能源技术研究院有限公司 | 对比一致性学习的遥感图像语义分割模型训练方法及装置 |
CN114879744A (zh) * | 2022-07-01 | 2022-08-09 | 浙江大学湖州研究院 | 一种基于机器视觉的夜间作业无人机系统 |
CN115455183A (zh) * | 2022-08-31 | 2022-12-09 | 用友网络科技股份有限公司 | 文本分类方法、文本分类装置、系统及可读存储介质 |
CN115527210A (zh) * | 2022-09-23 | 2022-12-27 | 昆山佰奥软件有限公司 | 基于YOLOv7算法的OCR字符检测方法及装置 |
CN115860024A (zh) * | 2022-12-16 | 2023-03-28 | 哲库科技(上海)有限公司 | 二维码的识别方法和识别装置 |
CN116229380A (zh) * | 2023-05-10 | 2023-06-06 | 国网江西省电力有限公司电力科学研究院 | 一种变电站涉鸟故障相关鸟种识别方法 |
CN116402769A (zh) * | 2023-03-22 | 2023-07-07 | 浙江理工大学桐乡研究院有限公司 | 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 |
-
2023
- 2023-07-28 CN CN202310939357.5A patent/CN116935473A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135476A (zh) * | 2019-04-28 | 2019-08-16 | 深圳市中电数通智慧安全科技股份有限公司 | 一种个人安全装备的检测方法、装置、设备及系统 |
CN114299380A (zh) * | 2021-11-16 | 2022-04-08 | 中国华能集团清洁能源技术研究院有限公司 | 对比一致性学习的遥感图像语义分割模型训练方法及装置 |
CN114879744A (zh) * | 2022-07-01 | 2022-08-09 | 浙江大学湖州研究院 | 一种基于机器视觉的夜间作业无人机系统 |
CN115455183A (zh) * | 2022-08-31 | 2022-12-09 | 用友网络科技股份有限公司 | 文本分类方法、文本分类装置、系统及可读存储介质 |
CN115527210A (zh) * | 2022-09-23 | 2022-12-27 | 昆山佰奥软件有限公司 | 基于YOLOv7算法的OCR字符检测方法及装置 |
CN115860024A (zh) * | 2022-12-16 | 2023-03-28 | 哲库科技(上海)有限公司 | 二维码的识别方法和识别装置 |
CN116402769A (zh) * | 2023-03-22 | 2023-07-07 | 浙江理工大学桐乡研究院有限公司 | 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 |
CN116229380A (zh) * | 2023-05-10 | 2023-06-06 | 国网江西省电力有限公司电力科学研究院 | 一种变电站涉鸟故障相关鸟种识别方法 |
Non-Patent Citations (2)
Title |
---|
张晨等: ""基于改进YOLOv7的安全帽佩戴检测算法"", 《信息与电脑》, pages 115 - 119 * |
张海镔等: ""改进YOLOv7的复杂环境下铅封小目标检测"", 《计算机工程与应用》, 7 July 2023 (2023-07-07), pages 1 - 12 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117765502A (zh) * | 2024-02-22 | 2024-03-26 | 北京理工大学前沿技术研究院 | 一种高速公路自动驾驶预警方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160440B (zh) | 一种基于深度学习的安全帽佩戴检测方法及装置 | |
CN105095856B (zh) | 基于掩模的有遮挡人脸识别方法 | |
Benyang et al. | Safety helmet detection method based on YOLO v4 | |
CN113516076B (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
CN110490156A (zh) | 一种基于卷积神经网络的快速车辆检测方法 | |
CN109446925A (zh) | 一种基于卷积神经网络的电力设备检测算法 | |
Han et al. | Deep learning-based workers safety helmet wearing detection on construction sites using multi-scale features | |
CN109002801B (zh) | 一种基于视频监控的人脸遮挡检测方法及系统 | |
CN110084165A (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
CN107133569A (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
CN109255298A (zh) | 一种动态背景中的安全帽检测方法与系统 | |
CN106778650A (zh) | 基于多类型信息融合的场景自适应行人检测方法和系统 | |
CN109580004A (zh) | 一种温度检测方法及装置 | |
CN103942535B (zh) | 多目标跟踪方法及装置 | |
CN112613454A (zh) | 一种电力基建施工现场违章识别方法及系统 | |
CN116935473A (zh) | 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统 | |
CN112364778A (zh) | 一种基于深度学习的电厂安全性行为信息自动检测方法 | |
CN112149514A (zh) | 一种施工作业人员的安全着装检测方法及系统 | |
CN113553977A (zh) | 一种基于改进yolo v5的安全帽检测方法和系统 | |
CN114419659A (zh) | 一种复杂场景下的安全帽佩戴检测方法 | |
CN108961358A (zh) | 一种获得样本图片的方法、装置及电子设备 | |
CN112949469A (zh) | 针对人脸篡改图像特点分布的图像识别方法、系统及设备 | |
CN112084860A (zh) | 目标对象检测、火力发电厂检测方法和装置 | |
CN111931573A (zh) | 基于yolo进化深度学习模型的安全帽检测与预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |