CN113222920A - 基于剪枝YOLOv3的吸管缺陷检测方法 - Google Patents

基于剪枝YOLOv3的吸管缺陷检测方法 Download PDF

Info

Publication number
CN113222920A
CN113222920A CN202110480801.2A CN202110480801A CN113222920A CN 113222920 A CN113222920 A CN 113222920A CN 202110480801 A CN202110480801 A CN 202110480801A CN 113222920 A CN113222920 A CN 113222920A
Authority
CN
China
Prior art keywords
yolov3
pruning
training
target
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110480801.2A
Other languages
English (en)
Inventor
徐沁岩
周良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110480801.2A priority Critical patent/CN113222920A/zh
Publication of CN113222920A publication Critical patent/CN113222920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于剪枝YOLOv3的吸管缺陷检测方法，该方法可用于对采集的吸管图像进行缺陷检测和识别。该方法首先在训练集上正常训练YOLOv3网络，在此基础上对其进行剪枝：对批处理归一化层中的稀疏因子进行L1正则化，通过L1正则化将批处理归一层稀疏因子的值缩至0，以此来识别不重要的通道和神经元，因为每个稀疏因子对应特定的卷及通道或完全连接层中的神经元，剪枝完成后再对网络进行微调。上述过程重复多次，获得剪枝后的YOLOv3网络。剪枝后的YOLOv3网络兼顾了YOLOv3网络本身的高精度性，并且在此基础上压缩了网络大小，减少计算操作，节省了所需资源，提升了算法的速度，且精度有所上升。

Description

基于剪枝YOLOv3的吸管缺陷检测方法
技术领域
本发明属于深度学习技术领域，尤其是YOLOv3模型和模型剪枝方法。
背景技术
随着深度学习的发展，越来越多的深度学习模型被应用到了图像分析和识别任务中。但是卷积神经网络在现实应用中因其高昂的计算成本而受阻，首先是模型大小的限制，卷积神经网络强大的能力通常伴随着数百万的训练参数。其次，卷积神经网络中间激活所需的内存空间对许多计算能力低的设备来说无法负担。面对这样的挑战和问题，如何压缩大型卷积神经网络模型，并且保持其高精度性，是目前迫切需要解决的问题。
发明内容
发明目的：本发明的目的在于克服现有YOLOv3模型运用于实际生产中模型过大计算成本过高的不足，提出一种设计合理且快速准确的基于剪枝YOLOv3的吸管缺陷检测算法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于剪枝YOLOv3的吸管缺陷检测方法，包括如下步骤：
步骤一：收集吸管缺陷图像，并进行预处理以及人工标注，形成训练集；
步骤二：在训练集上对YOLOv3网络模型进行训练；
步骤三：在步骤二的基础上，依次进行三次信道稀疏正则化训练；且每次信道稀疏正则化训练后，进行通道剪纸，并对剪枝后的模型进行微调；
步骤四：使用步骤三得到的模型进行缺陷检测。
进一步，步骤二中YOLOv3网络模型的损失函数为：
Figure BDA0003049171320000011
其中，λ1，λ2，λ3为系数；目标定位损失
Figure BDA0003049171320000012
目标置信度损失
Figure BDA0003049171320000013
目标分类损失
Figure BDA0003049171320000014
Figure BDA0003049171320000015
f(·)＝sigmoid(·)，
Figure BDA0003049171320000016
Lix＝gix-cix，
Figure BDA0003049171320000017
Liy＝giy-ciy，
Figure BDA0003049171320000018
Liw＝log(giw/piw)，
Figure BDA0003049171320000019
Lih＝log(gih/pih)；其中
Figure BDA00030491713200000110
表示预测目标边界框i的坐标偏移量，Lim表示与之匹配的GTbox与默认框之间的坐标偏移量；(bix,biy,biw,bih)为预测的目标矩形框参数，(cx,cy,cw,ch)为默认矩形框参数，(pix,piy,piw,pih)为与之匹配的真实目标矩形框参数；ci∈{0,1}表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在，
Figure BDA0003049171320000021
表示对应预测值；其中Cij∈{0,1}表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在，
Figure BDA0003049171320000022
表示对应预测值。
进一步，步骤三中微调指的是对剪枝后的模型进行训练。
进一步，步骤三中信道稀疏正则化训练具体为：
为每个通道引入稀疏因子γ，并乘以通道输出，并对YOLOv3的权值和稀疏因子γ进行联合训练，并对稀疏因子进行稀疏正则化处理；其中稀疏训练的目标函数为：
L＝∑(X,Y)l(f(X,W),Y)+λ∑γ∈Γg(γ)
其中(X,Y)表示训练输入和目标，W表示训练权重，∑(X,Y)l(f(X,W),Y)表示YOLOv3的训练损失，g(·)是对稀疏因子的稀疏性惩罚，λ为参数因子。
进一步，选择BN层中的γ参数作为剪枝所需要的稀疏因子。
进一步，g(·)为L1范数，并采用次梯度下降法对非光滑L1惩罚项进行优化。
有益效果：该方法首先在训练集上正常训练YOLOv3网络，在此基础上对其进行剪枝：对批处理归一化层中的稀疏因子进行L1正则化，通过L1正则化将批处理归一层稀疏因子的值缩至0，以此来识别不重要的通道和神经元，因为每个稀疏因子对应特定的卷及通道或完全连接层中的神经元，剪枝完成后再对网络进行微调。上述过程重复多次，获得剪枝后的YOLOv3网络。剪枝后的YOLOv3网络兼顾了YOLOv3网络本身的高精度性，并且在此基础上压缩了网络大小，减少计算操作，节省了所需资源，提升了算法的速度，且精度有所上升。
附图说明
图1为基于剪枝YOLOv3的吸管缺陷检测方法总体流程图；
图2为剪枝前YOLOv3网络模型图；
图3为剪枝后YOLOv3网络模型图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
本发明环境为处于基于python 3.7版本的Anaconda实验环境中，具体步骤如图1所示：
首先，对所收集的吸管缺陷图像进行预处理，预处理的内容包括：
(1)收集不同类别吸管不同缺陷类别的图像；
(2)将收集处理好图像进行高光去除工作；
(3)对高光取出后的图像进行人工标注数据；
随后，在训练集上对剪枝YOLOv3模型进行初步训练，其方法为：
(1)正常训练YOLOv3网络(如图2所示)；
(2)进行第一次信道稀疏正则化训练，稀疏因子为0.01；
(3)剪掉小尺度因子通道，剪枝率为0.5；
(4)对模型进行微调；
(5)进行第二次信道稀疏正则化训练，稀疏因子为0.01；
(6)剪掉小尺度因子通道，剪枝率为0.65；
(7)对模型进行微调
(8)进行第二次信道稀疏正则化训练，稀疏因子为0.008；
(9)剪掉小尺度因子通道，剪枝率为0.2；
(10)对模型进行微调。
最后，可以使用微调后的网络(如图3所示)进行吸管缺陷检测和识别。
具体地，YOLOv3网络模型的损失函数为：
Figure BDA0003049171320000031
Figure BDA0003049171320000032
Figure BDA0003049171320000033
Figure BDA0003049171320000034
f(X)＝sigmoid(X) (5)
Figure BDA0003049171320000035
YOLOv3的损失函数(公式1)由三个部分组成，分别为目标定位损失
Figure BDA0003049171320000036
目标置信度损失
Figure BDA0003049171320000037
目标分类损失
Figure BDA0003049171320000038
λ1，λ2，λ3为系数。
目标定位损失(公式2)采用的是真实偏差值与预测偏差值差的平方和，
Figure BDA0003049171320000039
表示预测矩形框坐标偏移量(公式6)，Lim表示与之匹配的GTbox与默认框之间的坐标偏移量(公式6)，(bx,by,bw,bh)为预测的目标矩形框参数，(cx,cy,cw,ch)为默认矩形框参数，(px,py,pw,ph)为与之匹配的真实目标矩形框参数；
目标置信度(公式3)可以理解为预测目标矩阵框中存在目标的概率，其中ci∈{0,1}，表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在。预测值
Figure BDA0003049171320000041
通过sigmoid函数可以得到预测目标矩形框i内是否存在目标的Sigmoid概率。
目标类别损失(公式4)，其中Cij∈{0,1},表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在。将预测值
Figure BDA0003049171320000042
通过sigmoid函数可以得到网络预测目标边界框i内存在第j类目标的Sigmoid概率。
具体地，使用信道稀疏正则化训练，训练的方法为：
为每个通道引入稀疏因子γ，将它乘以通道输出，并对网络的权值和稀疏因子γ进行联合训练，并对稀疏因子进行稀疏正则化处理。稀疏训练的目标函数可见公式7：
L＝∑(X,Y)l(f(X,W),Y)+λ∑γ∈Γg(γ) (7)
其中(X,Y)表示训练输入和目标，W表示训练权重，第一个求和项表示卷积神经网络正常训练时的损失值，g(x)是对稀疏因子的稀疏性惩罚，λ为参数因子。因为用于稀疏训练，因此取g(·)＝|·|，即l1范数，并采用次梯度下降法对非光滑l1惩罚项进行优化。剪枝相当于删除通道的所有进出连接，通过稀疏因子γ可以识别不重要的通道并安全剪枝，因为稀疏因子和网络权值共同优化。
批处理归一化被大多数卷积神经网络作为快速收敛和学习的方法，在批处理归一化层中目标函数可见公式8、9：
Figure BDA0003049171320000043
Figure BDA0003049171320000044
Figure BDA0003049171320000045
Figure BDA0003049171320000046
其中，z(t)是隐藏层L中的隐藏单元(公式8)，通过γ和β可以调整
Figure BDA0003049171320000047
得到
Figure BDA0003049171320000048
(公式9)，u为平均值(公式10)，σ2为方差(公式11)，ε是为了避免分母为0而加入的稳定参数，
Figure BDA0003049171320000049
为z(t)的规范值。γ和β为模型的学习参数，其作用是可以随意设置
Figure BDA00030491713200000410
的平均值，通过设置合理的参数，可以将znorm转换成任何自己想要的值。
因此，可以直接选择BN层中的γ参数作为剪枝所需要的稀疏因子，这样网络无需多余的开销。鉴于YOLOv3采用的是残差网络结构，在卷积层之前放置了BN层，因此将每一层的输入都视作后续多个层的输入。稀疏化是在一层的输入端实现的，即该层有选择地使用收到的通道子集，为了在测试时获取省下的参数和计算量，需要放置一个选择层掩盖确定的无关紧要的通道。
具体地，剪掉小尺度因子通道的方法为：
通过稀疏化训练，许多稀疏因子接近于0，然后可以通过去除所有进出连接和相应权值来对稀疏因子接近于0的通道进行修剪，即剪枝。该剪哪些通道由全局阈值θ决定，全局阈值θ根据剪枝率进行变化。如剪枝率为50％时，对所有稀疏因子绝对值进行排序，θ为从小到大排序的稀疏因子中50％的位置的稀疏因子值。剪枝会对精度造成一定影响，因此在剪枝结束后，需要对网络进行微调训练。
上述剪枝后的YOLOv3网络兼顾了YOLOv3网络本身的高精度性，并且在此基础上压缩了网络大小，减少计算操作，节省了所需资源，提升了算法的速度，且精度有所上升。

Claims (6)

1.基于剪枝YOLOv3的吸管缺陷检测方法，其特征在于，包括如下步骤：
步骤一：收集吸管缺陷图像，并进行预处理以及人工标注，形成训练集；
步骤二：在训练集上对YOLOv3网络模型进行训练；
步骤三：在步骤二的基础上，依次进行三次信道稀疏正则化训练；且每次信道稀疏正则化训练后，进行通道剪纸，并对剪枝后的模型进行微调；
步骤四：使用步骤三得到的模型进行缺陷检测。
2.根据权利要求1所述的基于剪枝YOLOv3的吸管缺陷检测方法，其特征在于，步骤二中YOLOv3网络模型的损失函数为：
Figure FDA0003049171310000011
其中，λ1，λ2，λ3为系数；目标定位损失
Figure FDA0003049171310000012
目标置信度损失
Figure FDA0003049171310000013
目标分类损失
Figure FDA0003049171310000014
Figure FDA0003049171310000015
f(·)＝sigmoid(·)，
Figure FDA0003049171310000016
Lix＝gix-cix，
Figure FDA0003049171310000017
Liy＝giy-ciy，
Figure FDA0003049171310000018
Liw＝log(giw/piw)，
Figure FDA0003049171310000019
Lih＝log(gih/pih)；其中
Figure FDA00030491713100000110
表示预测目标边界框i的坐标偏移量，Lim表示与之匹配的GTbox与默认框之间的坐标偏移量；(bix,biy,biw,bih)为预测的目标矩形框参数，(cx,cy,cw,ch)为默认矩形框参数，(pix,piy,piw,pih)为与之匹配的真实目标矩形框参数；ci∈{0,1}表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在，
Figure FDA00030491713100000111
表示对应预测值；其中Cij∈{0,1}表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在，
Figure FDA00030491713100000112
表示对应预测值。
3.根据权利要求1所述的基于剪枝YOLOv3的吸管缺陷检测方法，其特征在于，步骤三中微调指的是对剪枝后的模型进行训练。
4.根据权利要求1所述的基于剪枝YOLOv3的吸管缺陷检测方法，其特征在于，步骤三中信道稀疏正则化训练具体为：
为每个通道引入稀疏因子γ，并乘以通道输出，并对YOLOv3的权值和稀疏因子γ进行联合训练，并对稀疏因子进行稀疏正则化处理；其中稀疏训练的目标函数为：
L＝∑(X,Y)l(f(X,W),Y)+λ∑γ∈Γg(γ)
其中(X,Y)表示训练输入和目标，W表示训练权重，∑(X,Y)l(f(X,W),Y)表示YOLOv3的训练损失，g(·)是对稀疏因子的稀疏性惩罚，λ为参数因子。
5.根据权利要求4所述的基于剪枝YOLOv3的吸管缺陷检测方法，其特征在于，选择BN层中的γ参数作为剪枝所需要的稀疏因子。
6.根据权利要求4所述的基于剪枝YOLOv3的吸管缺陷检测方法，其特征在于，g(·)为L1范数，并采用次梯度下降法对非光滑L1惩罚项进行优化。
CN202110480801.2A 2021-04-30 2021-04-30 基于剪枝YOLOv3的吸管缺陷检测方法 Pending CN113222920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110480801.2A CN113222920A (zh) 2021-04-30 2021-04-30 基于剪枝YOLOv3的吸管缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110480801.2A CN113222920A (zh) 2021-04-30 2021-04-30 基于剪枝YOLOv3的吸管缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113222920A true CN113222920A (zh) 2021-08-06

Family

ID=77090366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110480801.2A Pending CN113222920A (zh) 2021-04-30 2021-04-30 基于剪枝YOLOv3的吸管缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113222920A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549441A (zh) * 2022-02-14 2022-05-27 中船重工鹏力（南京）智能装备系统有限公司 基于图像处理的吸管缺陷检测方法
CN114841931A (zh) * 2022-04-18 2022-08-02 西南交通大学 一种基于剪枝算法的轨枕实时缺陷检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465114A (zh) * 2020-11-25 2021-03-09 重庆大学 基于优化通道剪枝的快速目标检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465114A (zh) * 2020-11-25 2021-03-09 重庆大学 基于优化通道剪枝的快速目标检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549441A (zh) * 2022-02-14 2022-05-27 中船重工鹏力（南京）智能装备系统有限公司 基于图像处理的吸管缺陷检测方法
CN114841931A (zh) * 2022-04-18 2022-08-02 西南交通大学 一种基于剪枝算法的轨枕实时缺陷检测方法

Similar Documents

Publication Publication Date Title
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN110197205B (zh) 一种多特征来源残差网络的图像识别方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN112434732A (zh) 一种基于特征筛选的深度学习分类方法
CN113222920A (zh) 基于剪枝YOLOv3的吸管缺陷检测方法
CN111832432B (zh) 一种基于小波包分解和深度学习的刀具磨损实时预测方法
CN109871749B (zh) 一种基于深度哈希的行人重识别方法和装置、计算机系统
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
CN111652167A (zh) 一种染色体核型图像智能评价方法及系统
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN111882554B (zh) 一种基于SK-YOLOv3的电力线故障智能检测方法
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN112507114A (zh) 一种基于词注意力机制的多输入lstm_cnn文本分类方法及系统
CN113077444A (zh) 一种基于cnn的超声无损检测图像缺陷分类方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN114359617A (zh) 一种基于轻量级卷积神经网络识别岩石岩性的方法
CN111539931A (zh) 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN112215301A (zh) 基于卷积神经网络的影像直线探测方法
CN116626050A (zh) 一种基于图像识别的木材分类系统
CN111275109A (zh) 基于自编码器的电力设备状态数据特征选优方法及系统
CN116612382A (zh) 一种城市遥感图像目标检测方法和装置
CN115861956A (zh) 一种基于解耦头部的Yolov3道路垃圾检测方法
CN114861771A (zh) 基于特征提取和深度学习的工业ct图像缺陷分类方法
CN112734036B (zh) 基于剪枝卷积神经网络的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination