CN115100603A - 基于稀疏系数通道剪枝的轻量化个人防护装备检测方法 - Google Patents
基于稀疏系数通道剪枝的轻量化个人防护装备检测方法 Download PDFInfo
- Publication number
- CN115100603A CN115100603A CN202210801243.XA CN202210801243A CN115100603A CN 115100603 A CN115100603 A CN 115100603A CN 202210801243 A CN202210801243 A CN 202210801243A CN 115100603 A CN115100603 A CN 115100603A
- Authority
- CN
- China
- Prior art keywords
- sparse
- training
- protective equipment
- personal protective
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000013138 pruning Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 68
- 230000001681 protective effect Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010019196 Head injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，包括以下步骤：步骤S1：构建个人防护装备检测数据集；步骤S2：根据个人防护装备检测数据集训练网络模型得到个人防护装备检测模型；步骤S3：将个人防护装备检测模型进行通道级别的稀疏化训练，对卷积神经网络中BN层的γ参数进行稀疏正则化，得到稀疏化后的检测模型；步骤S4：对稀疏化后的检测模型进行剪枝，得到一个轻量化的检测模型；步骤S5：对轻量化的检测模型进行微调训练，得到最终的轻量化个人防护装备检测模型；步骤S6：使用轻量化个人防护装备检测模型进行目标检测，得到检测结果图。本发明能够有效减少检测模型的模型大小，参数量和计算量，并且对工人是否穿戴个人防护装备进行精准检测。
Description
技术领域
本发明涉及图像识别与计算机视觉领域，具体涉及一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法。
背景技术
日常生产生活过程中，工人在施工时穿戴个人防护装备可以有效避免安全事故的发生。美国职业安全与健康管理局(OSHA)要求所有在施工现场的工作人员穿戴个人防护装备，以最大限度地减少安全事故的发生或降低安全事故导致的伤害。美国国家职业安全与健康研究所(NIOSH)的一份报告显示，在2003年至2010年期间，全美共有2,210人因脑外伤(TBI)死亡，占同期建筑业所有死亡人数的 25％。在工业生产过程中，脑外伤事故发生的最常见原因是工人从高处坠落或物体掉落砸伤工人头部，佩戴安全帽可以最大程度地减少头部受到的伤害。同样，由于卡车、推土机、平地机等重型设备经常会在工人附近工作，在夜晚或能见度较低时可能会撞伤工人。为了防止类似事故发生，工人穿着安全背心是非常有必要的。不仅如此，手套同样是重要的个人防护装备，在工作时佩戴手套可以有效保护工人双手不受伤害，在进行电力相关的工作时，佩戴手套还可以避免触电的发生。研究表明，如果工人穿戴适当的个人防护装备，例如安全帽、安全背心、手套等，可以避免大多数安全事故的发生。
从实际效率和收益的角度出发，人工监督检查的方式效率低下，无法充分满足安全监管部门的实际需求。近年来，随着监控摄像头和传感器等互联网边缘设备的广泛应用，越来越多的研究人员使用基于机器视觉的目标检测算法在工业生产领域进行个人防护装备识别。但是由于深度学习模型的体积和计算量过于庞大，难以直接在监控摄像头、无人机等互联网边缘设备上使用，且现有的大多数检测模型检测速度较慢，无法满足实时检测需求。
发明内容
有鉴于此，本发明的目的在于提供一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，能够有效减少检测模型的模型大小，参数量和计算量，并且对工人是否穿戴个人防护装备进行精准检测。
为实现上述目的，本发明采用如下技术方案：
一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，包括以下步骤：
步骤S1：获取个人防护装备数据图片，并预处理，构建个人防护装备检测数据集；
步骤S2：对YOLOv5目标检测算法的训练超参数进行调优，并根据个人防护装备检测数据集训练网络模型得到个人防护装备检测模型；
步骤S3：将个人防护装备检测模型进行通道级别的稀疏化训练，对卷积神经网络中BN层的γ参数进行稀疏正则化，得到稀疏化后的检测模型；
步骤S4：对稀疏化后的检测模型进行剪枝，将检测模型中γ参数低于所设阈值的卷积通道删除，得到一个轻量化的检测模型；
步骤S5：对轻量化的检测模型进行微调训练，恢复因为通道剪枝操作而损失的部分精度，得到最终的轻量化个人防护装备检测模型；
步骤S6：使用轻量化个人防护装备检测模型进行目标检测，根据得到的预测结果在原图上进行绘制，添加类别名称和置信度等信息后得到检测结果图。
进一步的，所述步骤S1，具体为：
步骤S11：收集个人防护装备相关的数据图片，并统一编号；
步骤S12：依次采用邻域去噪、数据图像归一化的方法对数据图片进行处理；
步骤S13：确定个人防护装备图片中的不同物体类别，使用 LabelImg标注工具对预处理后的数据图片进行标注，生成xml格式的标注文件；
步骤S14：对图片进行数据增强操作，然后根据YOLOv5目标检测算法的要求制作个人防护装备检测数据集。
进一步的，所述步骤S2，具体为：
步骤S21：根据实验得出超参数的最优值，调优超参数将使训练模型达到最优；
步骤S23：利用k-means聚类算法，根据标注文件中每个标注框的坐标计算出个人防护装备数据集的先验框anchor；
步骤S23：设置训练迭代次数和数据图片读取批次batch-sizes，根据个人防护装备检测数据集训练后得到个人防护装备检测模型。
进一步的，所述步骤S22具体为：
步骤S221：使用标注文件中的图片的宽高wimg,himg对boundingbox 的宽高wbox,hbox做归一化，具体为：
其中，WNormalize，HNormalize为归一化后的宽和高；
步骤S222：使用交并比IOU作为度量，令 anchor＝(wanchor,hanchor),box＝(wbox,hbox)，wanchor,hanchor为先验框anchor的宽和高，其计算方式如下：
IOU的取值在0到1之间，两个bounding box越相似则IOU值越大，d为最终度量，其计算公式为：
d＝1-IOU(box,anchor)
步骤S223：在数据集中随机选取box_k个bounding box作为初始anchor，使用IOU度量将每个bounding box分配给与其距离最近的anchor，遍历所有bounding box后，计算每个簇中所有bounding box 宽和高的均值，更新anchor，对所有的标注框重复步骤S222直到 anchor不再变化或者达到了最大迭代次数。
进一步的，所述步骤S3，具体为：
步骤S31：根据个人防护装备检测数据集设置模型稀疏化训练的稀疏率参数；
步骤S32：对检测模型进行稀疏化训练，对卷积神经网络中BN 层的γ参数进行稀疏正则化，选择L1范数正则化惩罚项，作为公式如下：
g(γ)＝|γ|
步骤S33：利用Tensorboard工具查看训练过程中检测模型对验证数据集mAP的变化情况，当mAP收敛时，停止训练，得到稀疏化后的检测模型。
进一步的，所述步骤S4具体包括以下步骤：
步骤S41：对YOLOv5的网络结构配置文件进行重写，将其网络结构的编写格式改为适配剪枝算法的格式，保存为cfg文件；
步骤S42：设置剪枝阈值参数global_percent；
步骤S43：设置超参数每层保留通道数阈值layer_keep；
步骤S44：对稀疏化的检测模型进行剪枝，对所有卷积通道的γ参数进行排序，删除γ参数排序位次小于剪枝阈值参数global_percent 的卷积通道；当某个卷积层整层都将被删除时，保留该卷积层中γ值排序位次大于每层保留通道数阈值layer_keep的卷积通道。
进一步的，所属步骤S5具体为：
步骤S51：设置微调训练的参数，设置微调训练的训练迭代次数和数据图片读取批次batch-sizes；
步骤S52：对剪枝后的检测模型进行微调训练，训练完成后得到最终的轻量化模型。
进一步的，所述步骤S6具体为:
步骤S61：利用训练得到的轻量化模型对图片进行检测，图片经过检测模型的特征提取网络处理后产生多个不同尺度的特征图；
步骤S62：利用特征图和先验框anchor计算预测框的大小和位置信息，得到图片的初步预测结果；
步骤S63：使用非极大值抑制算法处理初步预测结果，对所有预测框进行筛选并得到最终的预测结果；
步骤S64：将预测结果的检测框绘制在原图中，得到结果图片。
进一步的，所述步骤S62具体为：
步骤S621：将特征图划分为S×S个网格，然后将预先设置好的先验框调整到有效特征图上；
步骤S622：从网络预测结果中获取预测框信息xoffest,yoffset，其分别表示预测框相对其对应的先验框在x、y轴的偏移值，同时获取先验框的宽、高wanchor,hanchor；
步骤S623：使用sigmoid函数对网格对应的先验框的中心点坐标进行处理后加上对应的xoffest,yoffset得到预测框的中心，再利用 wanchor,hanchor计算得到预测框的宽和高，最终得到预测框的大小和位置信息。
进一步的，所述步骤S63具体为：
步骤S631：使用非极大值抑制算法将对所有预测框进行处理，属于同一种物体类别的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算IOU；
按照交并比IOU寻找局部最大值的过程，设两个检测框B1和B2，则二者之间的交并比如下：
步骤S632：若计算结果大于所设定阈值则该预测框将被抛弃，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框重复以上操作。
本发明与现有技术相比具有以下有益效果：
1.本发明针对基于卷积神经网络的个人防护装备检测模型占用存储空间过大，提出了基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，可以显著减少检测模型的参数量和计算量，方便在嵌入式设备或移动端部署。
2.本发明在进行稀疏系数通道剪枝时，通过设置剪枝阈值和每层保留通道数这两个超参数，保证了模型的网络结构的完整性，同时减少了对检测精度的影响。
3.本发明通过稀疏化训练检测模型的缩放系数，实现通道级别的剪枝，在尽可能保持检测精度的同时大大减少了模型的参数量和计算量，可以实现实时检测。
4、本发明通过稀疏化训练检测模型的缩放系数实现通道剪枝，能够有效减少检测模型的模型大小，参数量和计算量，并且对工人是否穿戴个人防护装备进行精准检测。
附图说明
图1是本发明方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，包括以下步骤：
步骤S1：获取个人防护装备数据图片，预处理后标注图片，根据YOLOv5目标检测算法要求，对图片进行数据增强后构建个人防护装备检测数据集；
步骤S2：对YOLOv5目标检测算法的训练超参数进行调优，利用个人防护装备检测数据集训练网络模型得到个人防护装备检测模型；
步骤S3：将训练后得到的检测模型进行通道级别的稀疏化训练，对卷积神经网络中BN层的γ参数进行稀疏正则化，得到稀疏化后的检测模型；
步骤S4：对稀疏化训练得到的检测模型进行剪枝，将检测模型中γ参数低于所设阈值的卷积通道删除，得到一个轻量化的检测模型；
步骤S5：对剪枝后的模型进行微调训练，恢复因为通道剪枝操作而损失的部分精度，得到最终的轻量化个人防护装备检测模型；
步骤S6：使用轻量化个人防护装备检测模型进行目标检测，根据得到的预测结果在原图上进行绘制，添加类别名称和置信度等信息后得到检测结果图。
在本实施例中，步骤S1，具体为：
步骤S11：获取个人防护装备相关的数据图片，筛选并清除无用数据图片；
步骤S12：采用包括邻域去噪、数据图像归一化的方法对筛选后的数据图片进行预处理；
步骤S13：确定个人防护装备图片中的不同物体类别，使用 LabelImg标注工具对预处理后的数据图片进行标注，得到并保存标注信息；
步骤S14：根据YOLOv5模型要求制作数据集，将所有数据按比例分为训练集和测试集，根据包含图片数据标注信息的xml文件生成训练模型所需的txt文件；其中txt文件包含图片数据中每个目标的类别及位置信息。
在本实施例中，步骤S2，具体为：
步骤S21：根据多次实验得出相关训练文件中部分超参数的最优值，调优超参数将使训练模型达到最优；
步骤S22：在YOLOv5的训练文件中将动量梯度下降中的动量参数momentum设为0.937，能够有效防止网络训练中损失函数陷入局部最小值，加快梯度收敛到最优值的速度，将权重衰减的正则系数 decay设为0.0005，可以有效防止过拟合；
步骤S23：调整数据增强参数，将水平翻转参数fliplr和垂直翻转参数flipud分别设置为0.5和0，将mosaic和mixup两种数据增强方法的参数分别设为1.0和0.5，在训练时使用翻转等数据增强方法可以有效提升模型的精度；
步骤S24：利用k-means聚类算法，根据标注文件中每个标注框的坐标计算出个人防护装备数据集的先验框anchor。使用标注文件中的图片的宽高wimg,himg对boundingbox的宽高wbox,hbox做归一化，具体为：
其中，WNormalize，HNormalize为归一化后的宽和高；
使用交并比IOU作为度量，令anchor＝(wanchor,hanchor),box＝(wbox,hbox)， wanchor,hanchor为先验框anchor的宽和高，其计算方式如下：
IOU的取值在0到1之间，两个bounding box越相似则IOU值越大，d为最终度量，其计算公式为：
d＝1-IOU(box,anchor)
在数据集中随机选取box_k个bounding box作为初始anchor，使用IOU度量将每个bounding box分配给与其距离最近的anchor，遍历所有bounding box后，计算每个簇中所有bounding box宽和高的均值，更新anchor，对所有的标注框重复上一步骤直到anchor不再变化或者达到了最大迭代次数。
步骤S25：设置训练迭代次数为700，设置数据图片读取批次 batch-sizes为16，经过训练后得到检测模型
在本实施例中，步骤S3，具体为：
步骤S31：根据个人防护装备检测数据集设置模型稀疏化训练的稀疏率参数为0.0005。在进行稀疏训练时需要设置稀疏率，如果设置过大的稀疏率会加快模型稀疏的进程，稀疏训练后模型的压缩度较高，但同时会导致稀疏训练完成后模型的检测精度大幅下降且无法恢复。与此相反，如果设置较小的稀疏率则稀疏进程较慢，但稀疏训练后模型精度下降较少。经过反复实验与测试，最终将稀疏率设为0.0005；
步骤S32：开始对检测模型进行稀疏化训练，对卷积神经网络中 BN层的γ参数进行稀疏正则化，选择L1范数正则化惩罚项，作为公式如下：
g(γ)＝|γ|
步骤S33：利用Tensorboard工具查看训练过程中检测模型对验证数据集mAP的变化情况，mAP为平均类别精度，是衡量模型性能的指标之一。当mAP收敛时，停止训练，得到稀疏化后的检测模型。
在本实施例中，步骤S4具体包括以下步骤：
步骤S41：对YOLOv5的网络结构配置文件进行重写，将其网络结构的编写格式改为适配剪枝算法的格式，保存为cfg文件；
步骤S42：设置剪枝阈值参数global_percent为0.9，代表在剪枝时将会剪去整个检测模型中90％的卷积通道；
步骤S43：设置超参数每层保留通道数阈值layer_keep为0.4，保留部分重要性最高的卷积通道，避免整个卷积层被剪枝算法删除。稀疏训练后得到的BN层γ参数将作为衡量指标对模型进行剪枝，剪枝算法将根据各个卷积通道γ参数的大小进行排序，然后根据设置的剪枝率确定整个网络模型中要删除的卷积通道数量。如果某个卷积层中所有卷积通道的γ参数值都非常低，将导致整个卷积层被删除。与删除卷积层中的部分卷积通道相比，删除整个卷积层可能会对模型精度产生更大的影响，为了防止某个卷积层整层被删除，设置超参数 layer_keep用于保护卷积层，当卷积层的所有通道都需要被删除时，将根据超参数设置的每层保留通道数阈值，保留部分重要性最高的卷积通道。这样就可以避免整个卷积层被剪枝算法删除；
步骤S44：对稀疏化的检测模型进行剪枝，对所有卷积通道的γ参数进行排序，删除γ参数较小的90％卷积通道。当某个卷积层整层都将被删除时，保留该卷积层中γ值较大的前40％卷积通道，避免破环网络结构。剪枝完成后得到轻量化检测模型。
在本实施例中，步骤S5具体为:
步骤S51：设置微调训练的参数，将微调训练的训练迭代次数设置为700，设置数据图片读取批次batch-sizes为64；
步骤S52：对剪枝后的检测模型进行微调训练，训练完成后得到最终的轻量化模型。
在本实施例中，所述步骤S6具体为:
步骤S61：利用训练得到的轻量化模型对图片进行检测，图片经过检测模型的特征提取网络处理后产生多个不同尺度的特征图；
步骤S62：利用特征图和先验框anchor计算预测框的大小和位置信息，得到图片的初步预测结果。将特征图划分为S×S个网格，然后将预先设置好的先验框调整到有效特征图上；网络预测结果中获取预测框信息xoffest,yoffset，其分别表示预测框相对其对应的先验框在x、y 轴的偏移值，同时获取先验框的宽、高wanchor,hanchor；使用sigmoid函数对网格对应的先验框的中心点坐标进行处理后加上对应的xoffest,yoffset得到预测框的中心，再利用wanchor,hanchor计算得到预测框的宽和高，最终得到预测框的大小和位置信息；
步骤S63：非极大值抑制算法将对所有预测框进行处理，属于同一种物体类别的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算IOU；
按照交并比IOU寻找局部最大值的过程，设两个检测框B1和B2，则二者之间的交并比如下：
若计算结果大于所设定阈值则该预测框将被抛弃，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框重复以上操作；
步骤S64：将预测结果的检测框绘制在原图中，得到结果图片。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (10)
1.一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，包括以下步骤：
步骤S1：获取个人防护装备数据图片，并预处理，构建个人防护装备检测数据集；
步骤S2：对YOLOv5目标检测算法的训练超参数进行调优，并根据个人防护装备检测数据集训练网络模型得到个人防护装备检测模型；
步骤S3：将个人防护装备检测模型进行通道级别的稀疏化训练，对卷积神经网络中BN层的γ参数进行稀疏正则化，得到稀疏化后的检测模型；
步骤S4：对稀疏化后的检测模型进行剪枝，将检测模型中γ参数低于所设阈值的卷积通道删除，得到一个轻量化的检测模型；
步骤S5：对轻量化的检测模型进行微调训练，恢复因为通道剪枝操作而损失的部分精度，得到最终的轻量化个人防护装备检测模型；
步骤S6：使用轻量化个人防护装备检测模型进行目标检测，根据得到的预测结果在原图上进行绘制，添加类别名称和置信度等信息后得到检测结果图。
2.根据权利要求1所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S1，具体为：
步骤S11：收集个人防护装备相关的数据图片，并统一编号；
步骤S12：依次采用邻域去噪、数据图像归一化的方法对数据图片进行处理；
步骤S13：确定个人防护装备图片中的不同物体类别，使用LabelImg标注工具对预处理后的数据图片进行标注，生成xml格式的标注文件；
步骤S14：对图片进行数据增强操作，然后根据YOLOv5目标检测算法的要求制作个人防护装备检测数据集。
3.根据权利要求1所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S2，具体为：
步骤S21：根据实验得出超参数的最优值，调优超参数将使训练模型达到最优；
步骤S23：利用k-means聚类算法，根据标注文件中每个标注框的坐标计算出个人防护装备数据集的先验框anchor；
步骤S23：设置训练迭代次数和数据图片读取批次batch-sizes，根据个人防护装备检测数据集训练后得到个人防护装备检测模型。
4.根据权利要求3所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S22具体为：
步骤S221：使用标注文件中的图片的宽高wimg,himg对bounding box的宽高wbox,hbox做归一化，具体为：
其中，WNormalize，HNormalize为归一化后的宽和高；
步骤S222：使用交并比IOU作为度量，令anchor＝(wanchor,hanchor),box＝(wbox,hbox)，wanchor,hanchor为先验框anchor的宽和高，其计算方式如下：
IOU的取值在0到1之间，两个bounding box越相似则IOU值越大，d为最终度量，其计算公式为：
d＝1-IOU(box,anchor)
步骤S223：在数据集中随机选取box_k个bounding box作为初始anchor，使用IOU度量将每个bounding box分配给与其距离最近的anchor，遍历所有bounding box后，计算每个簇中所有bounding box宽和高的均值，更新anchor，对所有的标注框重复步骤S222直到anchor不再变化或者达到了最大迭代次数。
5.根据权利要求1所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S3，具体为：
步骤S31：根据个人防护装备检测数据集设置模型稀疏化训练的稀疏率参数；
步骤S32：对检测模型进行稀疏化训练，对卷积神经网络中BN层的γ参数进行稀疏正则化，选择L1范数正则化惩罚项，作为公式如下：
g(γ)＝|γ|
步骤S33：利用Tensorboard工具查看训练过程中检测模型对验证数据集mAP的变化情况，当mAP收敛时，停止训练，得到稀疏化后的检测模型。
6.根据权利要求1所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S41：对YOLOv5的网络结构配置文件进行重写，将其网络结构的编写格式改为适配剪枝算法的格式，保存为cfg文件；
步骤S42：设置剪枝阈值参数global_percent；
步骤S43：设置超参数每层保留通道数阈值layer_keep；
步骤S44：对稀疏化的检测模型进行剪枝，对所有卷积通道的γ参数进行排序，删除γ参数排序位次小于剪枝阈值参数global_percent的卷积通道；当某个卷积层整层都将被删除时，保留该卷积层中γ值排序位次大于每层保留通道数阈值layer_keep的卷积通道。
7.根据权利要求1所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S5具体为:
步骤S51：设置微调训练的参数，设置微调训练的训练迭代次数和数据图片读取批次batch-sizes；
步骤S52：对剪枝后的检测模型进行微调训练，训练完成后得到最终的轻量化模型。
8.根据权利要求1所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S6具体为:
步骤S61：利用训练得到的轻量化模型对图片进行检测，图片经过检测模型的特征提取网络处理后产生多个不同尺度的特征图；
步骤S62：利用特征图和先验框anchor计算预测框的大小和位置信息，得到图片的初步预测结果；
步骤S63：使用非极大值抑制算法处理初步预测结果，对所有预测框进行筛选并得到最终的预测结果；
步骤S64：将预测结果的检测框绘制在原图中，得到结果图片。
9.根据权利要求7所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S62具体为：
步骤S621：将特征图划分为S×S个网格，然后将预先设置好的先验框调整到有效特征图上；
步骤S622：从网络预测结果中获取预测框信息xoffest,yoffset，其分别表示预测框相对其对应的先验框在x、y轴的偏移值，同时获取先验框的宽、高wanchor,hanchor；
步骤S623：使用sigmoid函数对网格对应的先验框的中心点坐标进行处理后加上对应的xoffest,yoffset得到预测框的中心，再利用wanchor,hanchor计算得到预测框的宽和高，最终得到预测框的大小和位置信息。
10.根据权利要求7所述的基于稀疏系数通道剪枝的轻量化个人防护装备检测方法，其特征在于，所述步骤S63具体为：
步骤S631：使用非极大值抑制算法将对所有预测框进行处理，属于同一种物体类别的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算IOU；
按照交并比IOU寻找局部最大值的过程，设两个检测框B1和B2，则二者之间的交并比如下：
步骤S632：若计算结果大于所设定阈值则该预测框将被抛弃，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框重复以上操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210801243.XA CN115100603B (zh) | 2022-07-08 | 2022-07-08 | 基于稀疏系数通道剪枝的轻量化个人防护装备检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210801243.XA CN115100603B (zh) | 2022-07-08 | 2022-07-08 | 基于稀疏系数通道剪枝的轻量化个人防护装备检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115100603A true CN115100603A (zh) | 2022-09-23 |
| CN115100603B CN115100603B (zh) | 2024-07-26 |
Family
ID=83297185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210801243.XA Active CN115100603B (zh) | 2022-07-08 | 2022-07-08 | 基于稀疏系数通道剪枝的轻量化个人防护装备检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100603B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468102A (zh) * | 2023-05-04 | 2023-07-21 | 杭州鄂达精密机电科技有限公司 | 刀具图像分类模型剪枝方法、装置、计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001477A (zh) * | 2020-06-19 | 2020-11-27 | 南京理工大学 | 一种基于深度学习的目标检测YOLOv3的模型优化算法 |
| US11030528B1 (en) * | 2020-01-20 | 2021-06-08 | Zhejiang University | Convolutional neural network pruning method based on feature map sparsification |
| CN113469073A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 一种基于轻量级深度学习的sar图像舰船检测方法及系统 |
| CN114612860A (zh) * | 2022-02-28 | 2022-06-10 | 北京交通大学 | 基于计算机视觉的轨道交通站内客流识别与预测方法 |
-
2022
- 2022-07-08 CN CN202210801243.XA patent/CN115100603B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11030528B1 (en) * | 2020-01-20 | 2021-06-08 | Zhejiang University | Convolutional neural network pruning method based on feature map sparsification |
| CN112001477A (zh) * | 2020-06-19 | 2020-11-27 | 南京理工大学 | 一种基于深度学习的目标检测YOLOv3的模型优化算法 |
| CN113469073A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 一种基于轻量级深度学习的sar图像舰船检测方法及系统 |
| CN114612860A (zh) * | 2022-02-28 | 2022-06-10 | 北京交通大学 | 基于计算机视觉的轨道交通站内客流识别与预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIAO KE等: ""100+FPS detector of personal protective equipment for worker safety:A deep learning approach for green edge computing"", 《PEER-TO-PEER NETWORKING AND APPLICATIONS》, vol. 15, 31 March 2022 (2022-03-31), pages 950 - 972, XP037721033, DOI: 10.1007/s12083-021-01258-4 * |
| 白士磊;殷柯欣;朱建启;: "轻量级YOLOv3的交通标志检测算法", 计算机与现代化, no. 09, 15 September 2020 (2020-09-15), pages 87 - 92 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468102A (zh) * | 2023-05-04 | 2023-07-21 | 杭州鄂达精密机电科技有限公司 | 刀具图像分类模型剪枝方法、装置、计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115100603B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241959B (zh) | 一种通过工地视频流检测未佩戴安全帽人员的方法 | |
| CN112819207B (zh) | 基于相似性度量的地质灾害空间预测方法、系统及存储介质 | |
| CN112364734B (zh) | 基于yolov4和CenterNet的异常着装检测方法 | |
| CN115908424A (zh) | 基于三维激光扫描的建筑物健康检测方法、系统及介质 | |
| CN111598040A (zh) | 一种建筑工人身份识别及安全帽佩戴检测方法及系统 | |
| CN112785596B (zh) | 基于dbscan聚类的点云图螺栓分割和高度测量方法 | |
| CN111401301B (zh) | 人员着装监控方法、装置、设备及存储介质 | |
| CN115100603B (zh) | 基于稀疏系数通道剪枝的轻量化个人防护装备检测方法 | |
| CN111144377B (zh) | 一种基于人群计数算法的密集区域预警方法 | |
| CN111091110A (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
| CN111429698A (zh) | 一种地质灾害预警系统 | |
| CN115423995A (zh) | 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统 | |
| CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
| CN114973320A (zh) | 一种基于深度信息的煤矿井下人员检测方法 | |
| CN113033443B (zh) | 一种基于无人机的行人过街设施全路网自动化排查方法 | |
| CN117288094B (zh) | 基于激光传感器的掘进机实时定位系统 | |
| CN117058855B (zh) | 一种物联网云边通信方法 | |
| CN116959028B (zh) | 监管高空作业安全的方法和巡检设备及计算设备 | |
| CN115100495A (zh) | 基于子特征融合的轻量化安全帽检测方法 | |
| CN114841995B (zh) | 一种基于深度学习的铁路路基挡护设备服役状态评估方法 | |
| CN115719473A (zh) | 违章作业行为智能识别方法及系统 | |
| CN114882389A (zh) | 一种基于挤压激励残差网络改进YOLOv3的安全帽佩戴检测方法 | |
| CN112883889A (zh) | 一种适用于电力施工场景下违章行为检测方法 | |
| CN112932469A (zh) | 一种基于CNN+Transformer的三轴加速度活动识别方法 | |
| CN118551076B (zh) | 一种基于数据分析的电力施工安全监测管控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |