CN113066047A - 轮胎x射线图像杂质缺陷检测方法 - Google Patents

轮胎x射线图像杂质缺陷检测方法 Download PDF

Info

Publication number
CN113066047A
CN113066047A CN202110202117.8A CN202110202117A CN113066047A CN 113066047 A CN113066047 A CN 113066047A CN 202110202117 A CN202110202117 A CN 202110202117A CN 113066047 A CN113066047 A CN 113066047A
Authority
CN
China
Prior art keywords
tire
training
model
defect
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110202117.8A
Other languages
English (en)
Inventor
张岩
郑洲洲
赵蒙蒙
孙英伟
常艳康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Science and Technology
Original Assignee
Qingdao University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Science and Technology filed Critical Qingdao University of Science and Technology
Priority to CN202110202117.8A priority Critical patent/CN113066047A/zh
Publication of CN113066047A publication Critical patent/CN113066047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明涉及轮胎X射线图像杂质缺陷检测方法，其包括以下步骤S1:建立包含杂质缺陷的图像数据集；S2:使用旋转、镜像和亮度变换对数据集进行了增强；S3:搭建改进的YOLOv4‑tiny网络；S4:设置超参数和网络参数进行训练；S5:输入待检测图像进行缺陷检测；本发明实现了端到端的轮胎杂质缺陷定位，能够满足轮胎缺陷实时检测的需求，极大提高了生产效率。

Description

轮胎X射线图像杂质缺陷检测方法
技术领域
本发明涉及轮胎X射线图像杂质缺陷检测方法，具体而言涉及一种基于改进YOLOv4-tiny的轮胎X射线图像杂质缺陷检测方法。
背景技术
近年来，随着生活水平的提高，我国汽车保有量逐年增加，预计2021年将超越美国成为世界上汽车保有量最大的国家。汽车作为人们出行必备的交通工具，在人们生活中扮演着不可或缺的作用。
轮胎作为汽车的主要部件，也是汽车唯一与地面接触的部件，承担着缓解冲击，承载汽车重量的作用。轮胎质量关系着驾驶员的安全。目前国内各轮胎制造厂主要依靠进口国外的X光机辅助人工对轮胎进行质量评估，受国外技术的封锁，国内相应的轮胎缺陷自动检测算法还不完善，少数企业仍然以人工裸眼检测为主，人工肉眼检测效率较低，受人为主观性影响较大。由于轮胎多纹理各向异性的复杂背景，缺陷的形态各异，缺陷在纹理背景中占比不到1％，这些都为缺陷的检测提出了挑战。
现有的轮胎缺陷算法以传统的缺陷检测算法为主，主要分为基于统计的算法、基于频域的算法和基于模型的算法，这些算法的参数设置依赖于人为实验探索，参数的变化对实验的结果影响很大，同时算法难以实现对缺陷和背景对比度较低缺陷的检测，如位于胎面的杂质缺陷的检测，对于整张轮胎X射线图像的检测效率较低，这些都无法满足工业实时的检测要求。
随着深度学习的发展，基于深度学习的方法逐渐被运用到了诸多领域，例如医学病变区域的检测、智能驾驶道路场景分析和遥感图像的分割等，但是在轮胎缺陷检测领域基于深度学习的方法运用不多，由于深度学习方法强大的特征提取和参数自优化能力，深度学习的方法在上述领域取得了巨大的成功，也为轮胎缺陷的检测提供了参照。为提高检测精度，满足轮胎实时检测的需求，本发明提出了一种基于改进的YOLOv4-tiny算法应用于对轮胎杂质缺陷的检测。
YOLOv4的主要目的在于设计一个能够应用于实际工作环境中的快速目标检测系统，且能够被并行优化，并没有很刻意的去追求理论上的低计算量(BFLOP)。
发明内容
根据上述提出的轮胎缺陷检测领域的缺陷检测算法不完善、检测实时性差、检测精度不高，不少企业还依赖人工裸眼检测的现象，本发明提出基于改进的YOLOv4-tiny网络框架，提出了一种自动的轮胎杂质缺陷检测方法，其思想是为适应小目标轮胎杂质缺陷的检测，通过K-means聚类算法探索了轮胎缺陷的锚框尺寸，在CSPdarknet53_tiny主干特征提取网络间嵌入通道注意力机制(CAM)，增大有用特征的权值以提高检测精度，所提的方法在保证检测效率的同时，检测精度得以提升，能够满足轮胎杂质缺陷实时自动化的检测。
本发明所要解决的技术问题总的来说是提供一种轮胎X射线图像杂质缺陷检测方法。
为解决上述问题，本发明所采取的技术方案是：
提高一套基于改进YOLOv4-tiny的轮胎X射线图像杂质缺陷检测方法，包括以下步骤：
S1，对X光机采集的2469*11400的X射线轮胎图像截取416*416的包含杂质图像建立数据集；
S11，首先，在X光机上360°扫描轮胎内部一圈；然后，通过计算机采集到的2469*11400大小的轮胎X射线图像；其次，从采集的轮胎X射线图像中选取包含杂质缺陷的X射线图像；再次，从包含杂质缺陷的X射线图像中截取416*416大小且包含杂质小图，数量为387张，作为数据集图片，并文件夹命名为JPEG Images；
S12，首先，采用用于深度网络训练的数据集做标注的LabelImg对JPEGImages文件内中的数据集图片进行标记；之后，LabelImg中Open Dir打开JPEGImages文件，通过Create-RectBox绘制包含缺陷的矩形区域，并定义缺陷标签名称为defect；然后，用矩形框标出缺陷的区域，并导入相应的.xlm文件整合为标签文件夹，文件夹命名Annotations；
S2，使用旋转、镜像和亮度变换对数据集进行增强；
S21，首先，对JPEGImages文件夹中的原图进行90°或180°旋转后，沿竖直方向进行镜像操作；然后，对原图进行两种不同设定程度的亮度扩充，亮度变换因子分别为0.5和1.6；其次，相应扩充后图片放入JPEGImages文件夹；再次，相应的扩充后图片对应的标签文件放入Annotations；
S3，采用基于K-means(K-means一般指K均值聚类算法)聚类算法探究YOLOv4-tiny的锚框尺寸，对YOLOv4-tiny主干网络引入通道注意力机制，构建新的网络框架；
S31，首先，在S21中提取Annotations文件夹中.xlm文件中设定缺陷的宽高信息作为K-means聚类算法的聚类样本；
S32，锚框初始化：随机选择S31中的样本集中不同宽度和高度的k个候选框作为初始锚框尺寸；
S33，IoU距离计算：计算每个S32中的候选框和k个初始锚框间的IoU距离；
S34，距离最小化：将S33中与其他样本距离最小的锚框作为新的锚框，并在一个循环中找到最优的锚框；
d(box，centroid)＝1-IoU(box，centroid)；
其中
Figure BDA0002949439240000041
S35,首先，选取CSPdarknet53_tiny作为YOLOv4-tiny网络的神经网络模型backbone；其中，神经网络模型backbone包括3组卷积Conv2D、标准化BN、Leaky激活函数和3个残差组Resblock_body，卷积的步长为2，实现对图片宽高的压缩；其次，由于所述的backbone由Conv2D+BN+Leaky和Resblock_body组成，在Conv2D+BN+Leaky和Resblock_body之间引入通道注意力机制CAM，其中，注意力机制CAM包括1个全局平均池化层、1个全局最大池化层、4个全连接层、2个Relu激活函数层及2个Sigmoid激活函数层；其次，对经过backbone特征提取网络各阶段的特征图(即注意力机制前的特征图)全局平均、最大池化值分别得到一个维度等于等到特征图通道数的向量，通过两次全连接操作得到特征图的权重向量，相应的特征图乘于特征向量得到新的特征图，对最大池化通道和均值池化通道得到的特征图进行累加得到新的特征图；
S4，设置网络的超参数和相应的网络参数，开始网络模型训练；
S41，随机划分训练集、测试集和验证集，训练集、测试集和验证集的划分比例分别为70％、20％和10％；
S42，首先，考虑到计算能力和显存，设置网络训练的batchsize为16，初始学习率设置为0.001，采用学习率余弦退火衰减，对于网络部分参数采用迁移学习初始化；然后，迁移VOC数据集训练的YOLOv4-tiny的backbone参数作为初始化参数，在前50个Epoch冻结backbone层，训练其他层；接下来，150个Epoch解冻所有层训练所有参数，设置训练早停策略，当连续10个Epoch的val-loss不下降，训练停止，保存模型；其中，在模型的训练中采用CIoU loss损失函数最小化目标真实框和预测框的误差，相应的表达式为：
Figure BDA0002949439240000051
Figure BDA0002949439240000052
Figure BDA0002949439240000053
Figure BDA0002949439240000054
其中gt是真实框，w,h,wgt,hgt分别表示预测框和真实框的宽和高，b,bgt分别表示预测框和真实框的中点，ρ(.)表示欧式距离，c表示b,bgt的最小外界矩形的对角线距离，v用于衡量长宽比的一致性，α是一个正折中参数；
S5，将S1中的X光机采集的轮胎图像输入已训练好的网络模型实时检测轮胎缺陷；
S51，将X光机采集到的2469*11400的图像进行二倍降采样；
S52，对降采样后1235*5700图像Resize到1216*5696作为输入训练模型预测图片的大小进行预测，将相应的预测位置信息还原到原图，用矩形框、缺陷类和置信度标记。
其中，本发明采用AP值来评估训练模型的鲁棒性；
Figure BDA0002949439240000061
Figure BDA0002949439240000062
Figure BDA0002949439240000063
p(r)为精度和召回率曲线，通过p(r)曲线与横轴围成的面积AP评估训练模型的质量，设置IoU阈值为0.5，当预测框和真实框交并比大于0.5则该样本为正样本，当交并比小于0.5则该样本为负样本，用训练好的模型对20％的测试集做测试分别统计TP，FP，FN和TN，最后计算精准率precision和召回率recall。式中TP(真正例)表示为实际为正样本且被模型预测为正样本的数量，FP(假正例)表示为实际为负样本但被模型预测为正样本的数量，FN(假负例)表示为实际为正样本但被模型预测为负样本的数量，TN(真负例)表示实际为负样本但被模型预测为负样本的数量；
召回率是正例被判断为正例占整个正例的比值，召回率又称查全率；
精准率正例被判断为正例占所有被判断为正例的比值精准率又称查准率；采用Precision-recall曲线对模型的Precision与Recall之间进行权衡，PR曲线与横轴间的面积表示AP值，AP值越高模型性能越好。
改进后网络在测试集检测精度的AP达到了99.54％，检测速度达到49fps/s，从精度和检测速度上看，本发明所提算法鲁棒性强，能够实现自动化的轮胎缺陷检测。
与现有的技术相比，本发明的有益效果是：
本发明使用改进后的YOLOv4-tiny实现了轮胎缺陷的实时检测，改进后算法的AP值达到了99.54％，较未改进算法AP值提高了0.48％，对于较小的杂质缺陷检测效果更好，检测速度达到每秒49帧，能够满足工业实时检测的需求。此外，本发明可用于取代人力检测，降低检测成本，同时也避免了由于人的主观性而造成的缺陷误判，使检测更加专业化。
附图说明
图1为本发明轮胎X射线图像杂质缺陷检测方法流程图。
图2为部分数据集展示图。
图3为数据集增强方式。
图4为LabelImg标签制作图。
图5为K-means聚类锚框尺寸探索图。
图6为改进后的YOLOv4-tiny网络结构。
图7为Resblock_block模块。
图8为改进网络引入的CAM模型图。
图9为CIoU loss边界框回归图。
图10为X光机采集的轮胎X光图像。
图11为训练模型可视化检查结果图。
图12为训练模型在测试集上检测结果。
图13为改进前的YOLOv4-tiny的PR曲线图。
图14为改进后的YOLOv4-tiny的PR曲线图。
具体实施方式
如图1-14所示，本发明提供了一种基于改进YOLOv4-tiny的轮胎X射线图像杂质缺陷检测方法，包括以下步骤：
S1、对X光机采集的2469*11400的X射线轮胎图像截取416*416的包含杂质图像建立数据集；
S11、利用X光机360°扫面轮胎内部一圈，由于杂质缺陷和正常胎面间材料材质，密度等差异会对造成对射线的吸收程度差异，导致透过工件的射线均匀性不一会在胶片上形成明暗不一的影像，通过计算机接收该影像，影像为2469*11400大小的轮胎X射线图像，这些图像包含正常的和有缺陷的轮胎X射线图像，从这些图像选取包含杂质缺陷的X射线图像，截取416*416大小包含杂质小图共计387张作为数据集图片，文件夹命名为JPEGImages；
S12、采用LabelImg对JPEGImages文件内图片进行标记，通过LabelImg中Open Dir打开JPEGImages文件，通过Create-RectBox绘制包含缺陷的矩形区域，定义缺陷标签“defect”，导入相应的.xlm文件整合为标签文件夹，文件夹命名Annotations。
S2、使用旋转、镜像和亮度变换对数据集进行增强；
S21、对JPEGImages文件夹中图片进行180°旋转，沿水平、竖直方向进行镜像和对图片进行两种不同程度的亮度变换，亮度变换因子分别为0.5和1.6，相应扩充后图片放入JPEGImages文件夹，对于扩充图片的标签文件，经过旋转和镜像变化操作的，通过几何关系变换转化标签文件目标区域坐标，经过颜色变换的，目标区域坐标不变，可用原始的标签文件代替，相应的扩充后图片对应的标签文件放入Annotations。
S3、采用基于K-means聚类算法探究YOLOv4-tiny的锚框尺寸，对YOLOv4-tiny主干网络引入通道注意力机制，构建新的网络框架；
S31、提取Annotations文件夹中.xlm文件中缺陷的宽高信息坐标作为K-means聚类算法的聚类样本；
S32、锚框初始化：随机选择样本集中不同宽度和高度的k个候选框作为初始锚框尺寸；
S33、IoU距离计算：计算每个候选框和k个初始锚框间的IoU距离；
S34、距离最小化：将与其他样本距离最小的锚框作为新的锚框，并在一个循环中找到最优的锚框；
d(box，centroid)＝1-IoU(box，centroid)；
其中
Figure BDA0002949439240000091
S35、选取CSPDarknet53_tiny作为YOLOv4-tiny网络的backbone，所述的backbone由Conv2D+BN+Leaky和Resblock_body组成，在Conv2D+BN+Leaky和Resblock_body之间引入通道注意机制，注意力机制主要包括全局平均池化层、全局最大池化层、全连接层、Relu激活函数层和Sigmoid激活函数层组成，对特征图全局平局池化值得到一个维度等于等到特征图通道数的向量，通过两次全连接操作得到特征图的权重向量，相应的特征图乘于特征向量得到新的特征图，对最大池化通道和均值池化通道得到的特征图进行累加得到最终特征图。
S4、设置网络的超参数和相应的网络参数，开始网络模型训练；
S41、随机划分训练集、测试集和验证集，训练集、测试集和验证集的划分比例分别为70％、20％和10％；
S42、考虑到计算能力和显存，设置网络训练的batchsize为16，初始学习率设置为0.001，采用学习率余弦退火衰减，对于网络部分参数采用迁移学习初始化，迁移VOC数据集训练的YOLOv4-tiny的backbone参数作为初始化参数，在前50个Epoch冻结backbone层，训练其他层，接下来150个Epoch解冻所有层训练所有参数，设置训练早停策略，当连续10个Epoch的val-loss不下降，训练停止，保存模型。在模型的训练中采用CIoU loss损失函数最小化目标真实框和预测框的误差，相应的表达式为：
Figure BDA0002949439240000101
Figure BDA0002949439240000111
Figure BDA0002949439240000112
Figure BDA0002949439240000113
其中w,h,wgt,hgt分别表示预测框和真实框的宽和高，v用于衡量长宽比的一致性，α是一个正折中参数。
S5、将X光机采集的轮胎图像输入已训练好的网络模型实时检测轮胎缺陷；
S51、考虑计算机的显存，将X光机采集到的2469*11400的图像进行二倍降采样；
S52、对降采样后1235*5700图像Resize到宽高为32倍数的1216*5696大小作为输入训练模型预测图片的大小进行预测，将相应的预测位置信息还原到原图，用矩形框、缺陷类和置信度标记。本发明采用AP值来评估训练模型的鲁棒性。
Figure BDA0002949439240000114
Figure BDA0002949439240000115
Figure BDA0002949439240000116
式中TP(真正例)表示为实际为正样本且被模型预测为正样本的数量，FP(假正例)表示为实际为负样本但被模型预测为正样本的数量，FN(假负例)表示为实际为正样本但被模型预测为负样本的数量，TN(真负例)表示实际为负样本但被模型预测为负样本的数量。召回率是正例被判断为正例占整个正例的比值，召回率又称查全率。精准率正例被判断为正例占所有被判断为正例的比值精准率又称查准率。采用Precision-recall曲线对模型的Precision与Recall之间进行权衡，PR曲线与横轴间的面积表示AP值，AP值越高模型性能越好。改进后网络在测试集检测精度的AP达到了99.54％，检测速度达到49fps/s，从精度和检测速度上看，本发明所提算法鲁棒性强，能够实现自动化的轮胎缺陷检测。
本发明方法也可以应用于与轮胎有相同形状特点的其他工业检测如纸张、织物等。
本发明充分描述是为了更加清楚的公开，而对于现有技术就不再一一列举。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；作为本领域技术人员对本发明的多个技术方案进行组合是显而易见的。而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (7)

1.一种轮胎X射线图像杂质缺陷检测方法，其特征在于：包括以下步骤：
S1、对X光机采集的2469*11400的X射线轮胎图像截取416*416的包含杂质图像建立数据集；
S2、使用旋转、镜像和亮度变换对S1获取数据集进行增强；
S3、采用基于K-means聚类算法探究YOLOv4-tiny的锚框尺寸，对YOLOv4-tiny主干网络引入通道注意力机制，构建新的网络框架；
S4、设置网络的超参数和相应的网络参数，开始网络模型训练；
S5、将S1中的X光机采集的轮胎图像输入已训练好的网络模型实时检测轮胎缺陷。
2.根据权利要求1所述的轮胎X射线图像杂质缺陷检测方法，其特征在于：在步骤S1中执行以下步骤：
S11，从X光机360°扫面轮胎内部一圈，然后，通过计算机采集到的2469*11400大小的轮胎X射线图像；其次，从采集的轮胎X射线图像中选取包含杂质缺陷的X射线图像；再次，从包含杂质缺陷的X射线图像中截取416*416大小且包含杂质小图，作为数据集图片，并文件夹命名为JPEGImages；
S12，首先，采用用于深度网络训练的数据集做标注的LabelImg对JPEGImages文件内中的数据集图片进行标记；之后，LabelImg中Open Dir打开JPEGImages文件，通过Create-RectBox绘制包含缺陷的矩形区域，并定义缺陷标签名称为defect；然后，用矩形框标出缺陷的区域，并导入相应的.xlm文件整合为标签文件夹，文件夹命名Annotations。
3.根据权利要求1所述的轮胎X射线图像杂质缺陷检测方法，其特征在于：在步骤S2中执行以下步骤：
S21，首先，对JPEGImages文件夹中的原图进行90°或180°旋转后，沿竖直方向进行镜像操作；然后，对原图进行两种不同设定程度的亮度扩充；其次，相应扩充后图片放入JPEGImages文件夹；再次，相应的扩充后图片对应的标签文件放入Annotations；。
4.根据权利要求1所述的轮胎X射线图像杂质缺陷检测方法，其特征在于：在步骤S3中执行以下步骤：
S31，首先，在S21中提取Annotations文件夹中.xlm文件中设定缺陷的宽高信息作为K-means聚类算法的聚类样本；
S32，锚框初始化：随机选择S31中的样本集中不同宽度和高度的k个候选框作为初始锚框尺寸；
S33，IoU距离计算：计算S32中的每个候选框和k个初始锚框间的IoU距离；
S34，距离最小化：将S33中与其他样本距离最小的锚框作为新的锚框，并在一个循环中找到最优的锚框；
d(box，centroid)＝1-IoU(box，centroid)；
其中
Figure FDA0002949439230000021
S35，首先，选取CSPdarknet53_tiny作为YOLOv4-tiny网络的神经网络模型backbone；其中，神经网络模型backbone包括3组卷积Conv2D、标准化BN、Leaky激活函数和3个残差组Resblock_body，卷积的步长为2，实现对图片宽高的压缩；其次，由于所述的backbone由Conv2D+BN+Leaky和Resblock_body组成，在卷积块Conv2D+BN+Leaky和Resblock_body之间引入通道注意力机制CAM，其中，注意力机制CAM包括1个全局平均池化层、1个全局最大池化层、4个全连接层、2个Relu激活函数层及2个Sigmoid激活函数层。
5.根据权利要求1所述的轮胎X射线图像杂质缺陷检测方法，其特征在于：在步骤S4中执行以下步骤：
S41、随机划分训练集、测试集和验证集，训练集、测试集和验证集的划分比例分别为70％、20％和10％；
S42，首先，考虑到计算能力和显存，设置网络训练的batchsize为16，初始学习率设置为0.001，采用学习率余弦退火衰减，对于网络部分参数采用迁移学习初始化；然后，迁移VOC数据集训练的YOLOv4-tiny的backbone参数作为初始化参数，在前50个Epoch冻结backbone层，训练其他层；接下来，150个Epoch解冻所有层训练所有参数，设置训练早停策略，当连续10个Epoch的val-loss不下降，训练停止，保存模型；
其中，在模型的训练中采用CIoU loss损失函数最小化目标真实框和预测框的误差，相应的表达式为：
Figure FDA0002949439230000031
Figure FDA0002949439230000032
Figure FDA0002949439230000033
Figure FDA0002949439230000034
其中gt是真实框，w,h,wgt,hgt分别表示预测框和真实框的宽和高，b,bgt分别表示预测框和真实框的中点，ρ(.)表示欧式距离，c表示b,bgt的最小外界矩形的对角线距离，v用于衡量长宽比的一致性，α是一个正折中参数。
6.根据权利要求1所述的轮胎X射线图像杂质缺陷检测方法，其特征在于：在步骤S5中执行以下步骤：
S51，将X光机采集到的2469*11400的图像进行二倍降采样；
S52，对降采样后1235*5700图像Resize到1216*5696作为输入训练模型预测图片的大小进行预测，将相应的预测位置信息还原到原图，用矩形框、缺陷类和置信度标记。
7.根据权利要求1所述的轮胎X射线图像杂质缺陷检测方法，其特征在于：该方法采用AP值来评估训练模型的鲁棒性；
Figure FDA0002949439230000041
Figure FDA0002949439230000042
Figure FDA0002949439230000043
p(r)为精度和召回率曲线，通过p(r)曲线与横轴围成的面积AP评估训练模型的质量，设置IoU阈值为0.5；
当预测框和真实框交并比大于0.5则该样本为正样本；当交并比小于0.5则该样本为负样本，用训练好的模型对20％的测试集做测试分别统计真正例TP，假正例FP，假负例FN和真负例TN，最后计算精准率precision和召回率recall；
式中真正例TP表示为实际为正样本且被模型预测为正样本的数量；假正例FP表示为实际为负样本但被模型预测为正样本的数量，假负例FN表示为实际为正样本但被模型预测为负样本的数量，真负例TN表示实际为负样本但被模型预测为负样本的数量；
召回率是正例被判断为正例占整个正例的比值；
精准率正例被判断为正例占所有被判断为正例的比值精准率；采用Precision-recall曲线对模型的Precision与Recall之间进行权衡，PR曲线与横轴间的面积表示AP值，当AP值越高模型性能越好。
CN202110202117.8A 2021-02-23 2021-02-23 轮胎x射线图像杂质缺陷检测方法 Pending CN113066047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110202117.8A CN113066047A (zh) 2021-02-23 2021-02-23 轮胎x射线图像杂质缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110202117.8A CN113066047A (zh) 2021-02-23 2021-02-23 轮胎x射线图像杂质缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113066047A true CN113066047A (zh) 2021-07-02

Family

ID=76558886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110202117.8A Pending CN113066047A (zh) 2021-02-23 2021-02-23 轮胎x射线图像杂质缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113066047A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113333329A (zh) * 2021-08-04 2021-09-03 南京创智出彩科技有限公司 一种基于深度学习的烟支缺陷检测系统
CN114216911A (zh) * 2021-12-20 2022-03-22 河北科技大学 一种金属选择性激光熔化成型中铺粉质量监测及控制方法
CN114723750A (zh) * 2022-06-07 2022-07-08 南昌大学 基于改进yolox算法的输电线路耐张线夹缺陷检测方法
CN114972261A (zh) * 2022-05-27 2022-08-30 东北大学 一种板带钢表面质量缺陷的识别方法
CN115661667A (zh) * 2022-12-13 2023-01-31 济宁市土哥农业服务有限公司 一种基于计算机视觉的播娘蒿籽杂质识别方法
CN116468959A (zh) * 2023-06-15 2023-07-21 清软微视(杭州)科技有限公司 工业缺陷分类方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086453A1 (en) * 2011-05-17 2014-03-27 Toyo Tire & Rubber Co. Ltd. Tire defect detection method
CN112183583A (zh) * 2020-09-08 2021-01-05 昆明理工大学 一种注意力导向的太赫兹图像中的小目标检测方法
CN112381787A (zh) * 2020-11-12 2021-02-19 福州大学 一种基于迁移学习的钢板表面缺陷的分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140086453A1 (en) * 2011-05-17 2014-03-27 Toyo Tire & Rubber Co. Ltd. Tire defect detection method
CN112183583A (zh) * 2020-09-08 2021-01-05 昆明理工大学 一种注意力导向的太赫兹图像中的小目标检测方法
CN112381787A (zh) * 2020-11-12 2021-02-19 福州大学 一种基于迁移学习的钢板表面缺陷的分类方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BUBBLIIIING: "Keras搭建自己的YoloV4-tiny目标检测平台（Bubbliiiing 深度学习教程）", 《BILIBILI》 *
BUBBLIIIING: "睿智的目标检测10——先验框详解及其代码实现", 《CSDN》 *
BUBBLIIIING: "睿智的目标检测12——使用labelimg进行目标检测数据集标注", 《CSDN》 *
BUBBLIIIING: "睿智的目标检测20——利用mAP计算目标检测精确度", 《CSDN》 *
BUBBLIIIING: "睿智的目标检测29——Keras搭建YoloV4目标检测平台", 《CSDN》 *
YOLOV4(2)-BN改进、网络感受野增强技巧、注意力机制、特征融合技巧: "饮冰l", 《CSDN》 *
卞国龙: "基于卷积神经网络的轮胎X射线图像缺陷检测", 《轮胎工业》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113333329A (zh) * 2021-08-04 2021-09-03 南京创智出彩科技有限公司 一种基于深度学习的烟支缺陷检测系统
CN114216911A (zh) * 2021-12-20 2022-03-22 河北科技大学 一种金属选择性激光熔化成型中铺粉质量监测及控制方法
CN114972261A (zh) * 2022-05-27 2022-08-30 东北大学 一种板带钢表面质量缺陷的识别方法
CN114723750A (zh) * 2022-06-07 2022-07-08 南昌大学 基于改进yolox算法的输电线路耐张线夹缺陷检测方法
CN115661667A (zh) * 2022-12-13 2023-01-31 济宁市土哥农业服务有限公司 一种基于计算机视觉的播娘蒿籽杂质识别方法
CN116468959A (zh) * 2023-06-15 2023-07-21 清软微视(杭州)科技有限公司 工业缺陷分类方法、装置、电子设备及存储介质
CN116468959B (zh) * 2023-06-15 2023-09-08 清软微视(杭州)科技有限公司 工业缺陷分类方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113066047A (zh) 轮胎x射线图像杂质缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111612751B (zh) 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN109145830B (zh) 一种智能水尺识别方法
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN114612472B (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN111951253A (zh) 用于锂电池表面缺陷检测的方法、设备及可读存储介质
CN112861635A (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN112419317B (zh) 一种基于自编码网络的视觉回环检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN115019201B (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115223123A (zh) 基于计算机视觉识别的路面目标检测方法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN110889418A (zh) 一种气体轮廓识别方法
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702