CN110660049A - 一种基于深度学习的轮胎缺陷检测方法 - Google Patents
一种基于深度学习的轮胎缺陷检测方法 Download PDFInfo
- Publication number
- CN110660049A CN110660049A CN201910871079.8A CN201910871079A CN110660049A CN 110660049 A CN110660049 A CN 110660049A CN 201910871079 A CN201910871079 A CN 201910871079A CN 110660049 A CN110660049 A CN 110660049A
- Authority
- CN
- China
- Prior art keywords
- defect
- pixel
- level
- tire
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 262
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 230000006870 function Effects 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 230000002950 deficient Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开了一种基于深度学习的轮胎缺陷检测方法，所述方法包括：获取待检测的轮胎X光图像，输入至训练好的像素级缺陷区域估计网络模型；根据所述像素级缺陷区域估计网络模型的输出结果判断所述待检测的轮胎X光图像是否存在缺陷，并在判断存在缺陷时进一步判断出缺陷类型、缺陷目标框及缺陷边界。应用本发明，能实现轮胎缺陷区域的像素级估计，从而能精确得到缺陷的面积，是轮胎质量判级的重要依据，而且也提高了缺陷检测的精确度。
Description
技术领域
本发明属于图像数据处理技术领域，具体地说，是涉及一种轮胎缺陷检测方法，更具体地说，是涉及一种基于深度学习的轮胎缺陷检测方法。
背景技术
随着汽车行业的快速发展及汽车保有量的持续增长，大大增加了对轮胎的需求。而轮胎质量检测是在行驶过程中对人们生命财产安全的重要保障，亦可预测轮胎的使用寿命，同时对轮胎进行在线质量检测也便于轮胎生产企业及时发现生产线中存在的不合格产品，以此来调整机械设备甚至轮胎的生产工艺，避免造成生产材料的浪费。因此，检测轮胎质量是轮胎生产过程中必不可缺少的一部分，对轮胎工业的发展和道路交通安全有着重要的研究和经济意义。
目前排查轮胎缺陷主要有两种方法：人工目测法和计算机图象分析法。人工目测法是轮胎通过X光机成像后由人来判断轮胎内部是否存在缺陷，其方法因人的知识水平不同、劳动极限及个人主观因素等原因，检测结果有一定的偏差，而且效率低下。随着统计学、频谱分析、机器学习和深度学习等图象分析技术的发展，目前国内外学者在诸多工业应用领域提出了许多智能无损缺陷检测技术，而基于X射线的轮胎无损缺陷检测技术在轮胎工业中得到了快速的发展并取得了优异的成果。但是，基于统计学、频谱分析法的轮胎缺陷检测对阈值参数设置和最佳尺度选择要求非常严格。而对于机器学习的浅层学习方法由于其对复杂函数的表示能力有限，针对复杂检测及分类问题其泛化能力会受到一定制约。此外，又由于轮胎X射线图像的复杂多纹理结构以及轮胎缺陷的多样性，一般一种缺陷类型需要设计一种算法，使得算法的通用性较差；而且即使同类缺陷，其特征表现形式都具有较大的差别，使得轮胎缺陷检测算法的鲁棒性也较差。
近年来，因社会数字化带来的大量学习数据和计算机强大的计算性能，使深度学习得以飞速发展。由于深度学习是完全基于数据驱动的方式自动学习图像特征，具有强大的特征学习能力，使得它在目标识别领域表现出无可比拟的优越性，和传统方法的最大不同在于把特征和学习融合起来变成自动特征学习，这实际上是用深度学习的特征表示代替传统方法中繁琐的预处理、特征提取和特征选择以及学习等多个分步过程，但是传统方法分步过程间的相互结合只有达到最优，才能获得较好的实验效果，这几乎是不可能的，并且传统方法中的特征提取需要领域专家通过多年的经验积累才能手工设计出来。因此，基于深度学习检测轮胎缺陷是目前较为理想的检测方法。
公开号为CN108564563A的中国发明专利申请公开了一种基于Faster R-CNN的轮胎X光病疵检测方法，通过搭建Faster R-CNN模型检测轮胎X光病疵，提高了检测速度和准确率。但是，传统的Faster R-CNN模型只能框出轮胎病疵的大概位置，并不能对轮胎病疵区域进行精确估计，而且对小目标的缺陷检测效果较差。
发明内容
本发明的目的是提供一种基于深度学习的轮胎缺陷检测方法，实现轮胎缺陷区域的像素级估计，提高缺陷检测的精确度。
为实现上述发明目的，本发明采用下述技术方案予以实现：
一种基于深度学习的轮胎缺陷检测方法，包括：
获取待检测的轮胎X光图像，输入至训练好的像素级缺陷区域估计网络模型；
根据所述像素级缺陷区域估计网络模型的输出结果判断所述待检测的轮胎X光图像是否存在缺陷，并在判断存在缺陷时进一步判断出缺陷类型、缺陷目标框及缺陷边界；
所述像素级缺陷区域估计网络模型包括图像特征提取网络、区域候选网络、兴趣区域对齐网络以及缺陷分类检测器和缺陷区域像素级估计网络；所述图像特征提取网络接收所述待检测的轮胎X光图像，并提取出图像特征；所述区域候选网络根据所述图像特征确定感兴趣的候选框；所述兴趣区域对齐网络将所述感兴趣的候选框无误差地映射回原图兴趣区域，完成所述感兴趣区域的像素级对齐；所述缺陷分类检测器根据完成像素级对齐的所述感兴趣的候选框检测出缺陷类型和缺陷目标框并输出；所述缺陷区域像素级估计网络根据所述完成像素级对齐的所述感兴趣的候选框估计出所述缺陷目标框中的缺陷边界并输出。
如上所述的方法，采用下述过程训练所述像素级缺陷区域估计网络模型：
获取多个具有缺陷的轮胎X光图像并进行归一化处理，对归一化处理后的图像进行标注，标注出缺陷类型和缺陷边界，生成类型文件和坐标文件，归一化处理后的图像及其坐标文件和类型文件一一对应，形成数据库，将数据库中的图像分为训练集和验证集；
搭建包括所述图像特征提取网络、所述区域候选网络、所述兴趣区域对齐网络、所述缺陷分类检测器和所述缺陷区域像素级估计网络的所述像素级缺陷区域估计网络模型，并定义网络模型的损失函数；
初始化所述像素级缺陷区域估计网络模型的预设参数；
用所述训练集训练初始化后的所述像素级缺陷区域估计网络模型，直至所述损失函数的值小于设定值，获得训练后的像素级缺陷区域估计网络模型。
如上所述的方法，用所述训练集训练初始化后的所述像素级缺陷区域估计网络模型时，所述缺陷分类器和所述缺陷区域像素级估计网络采用并行训练方式训练，所述区域候选网络与所述缺陷分类器和所述缺陷区域像素级估计网络采用交替训练的方式训练。
如上所述的方法，还包括：用所述训练集训练初始化后的所述像素级缺陷区域估计网络模型时，还利用所述验证集检查模型的准确率,监控模型是否发生过拟合，以决定是否停止模型训练；
若未发生过拟合，在所述损失函数的值小于所述设定值时停止模型的训练，将所述训练后的像素级缺陷区域估计网络模型确定为所述训练好的像素级缺陷区域估计网络模型；
若发生过拟合，调整所述像素级缺陷区域估计网络模型的预设参数，重新执行训练过程及验证过程，直至调整后的像素级缺陷区域估计网络模型未发生过拟合，并将所述调整后的像素级缺陷区域估计网络模型确定为所述训练好的像素级缺陷区域估计网络模型。
优选的，所述网络模型的损失函数为多任务总损失函数loss，定义为loss=loss1+loss2+ loss3；其中，loss1为所述区域候选网络的损失函数，且为平滑L 1损失函数;loss2为所述缺陷分类检测器的损失函数，且为二分类交叉熵损失函数；loss3为所述缺陷区域像素级估计网络的损失函数，且为二分类交叉熵损失函数。
如上所述的方法，获取多个具有缺陷的轮胎X光图像并进行归一化处理，对归一化处理后的图像进行标注，标注出缺陷类型和缺陷边界，具体包括：
获取多个具有缺陷的轮胎X光图像，对图像格式、像素大小及位深度进行归一化处理，对归一化处理后的图像使用图像标注工具进行标注，标注出图像中的缺陷类型和缺陷边界。
优选的，采用Tensorflow深度学习框架搭建所述像素级缺陷区域估计网络模型。
优选的，所述图像特征提取网络包括依次连接的残差网络和特征金字塔网络，所述残差网络从所述待检测的轮胎X光图像中提取出多层图像特征，所述特征金字塔网络将所述残差网络提取的所述多层图像特征进行融合后输出图像特征。
与现有技术相比，本发明的优点和积极效果是：本发明用于检测轮胎缺陷的像素级缺陷区域估计网络模型，在缺陷分类检测器的基础上增加了缺陷区域像素级估计网络，在利用缺陷分类检测器获得缺陷类型和缺陷目标框的基础上，结合模型中的兴趣区域对齐网络对感兴趣区域的像素级对齐，提取出缺陷更精细的空间布局，进而能够利用缺陷区域像素级估计网络获得缺陷边界，实现对缺陷像素级定位估计，提高了轮胎缺陷检测的精确度，实现对轮胎缺陷面积和缺陷类别的精准估计，为轮胎的质量定级提供了重要依据。
结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于本发明基于深度学习的轮胎缺陷检测方法一个实施例的流程图；
图2是图1训练网络模型一个实施例的流程图；
图3-1和图3-2分别为0度散线缺陷的轮胎X光图像和网络模型输出结果图；
图4-1和图4-2分别为胎侧开根缺陷的轮胎X光图像和网络模型输出结果图；
图5-1和图5-2分别为胎侧异物缺陷的轮胎X光图像和网络模型输出结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。
请参见图1，该图示出了本发明基于深度学习的轮胎缺陷检测方法一个实施例的流程图。具体地说，是利用像素级缺陷区域估计网络模型检测轮胎缺陷的一个实施例的流程图。
如图1所示，该实施例采用下述过程检测轮胎缺陷：
S1：获取待检测的轮胎X光图像，输入至训练好的像素级缺陷区域估计网络模型。
该实施例能够实现轮胎生产线上轮胎缺陷的在线检测，具体的，轮胎生产线上配置有轮胎X光成像系统，用来获取生产线上的轮胎的X光图像。读取轮胎X光成像系统的输出图像，即可获得待检测的轮胎X光图像。将获取的待检测的轮胎X光图像输入到训练好的像素级缺陷区域估计网络模型中，该网络模型为深度学习网络模型，能够实现端到端的自动缺陷检测，直接输出检测结果。
具体的，像素级缺陷区域估计网络模型包括有图像特征提取网络、区域候选网络、兴趣区域对齐网络以及缺陷分类检测器和缺陷区域像素级估计网络。下面对各网络的结构、功能作具体阐述。
图像特征提取网络用来接收待检测的轮胎X光图像，并提取出图像特征。作为优选实施方式，图像特征提取网络包括依次连接的残差网络ResNet和特征金字塔网络FPN。其中，残差网络作为图像特征提取网络的主干网络，能够提取出图像中具有较强的特征表征能力的深层特征。综合考虑工业检测效果和实时性要求，残差网络采用深度为50层的结构ResNet50。一般提取图像特征的网络、如残差网络，都是直接使用最后一层的特征，虽然最后一层提取的特征语义强，但是位置和分辨率都比较低。而轮胎制造中轮胎缺陷的产生是随机的，产生的缺陷种类繁多，形态各样，而且缺陷尺度跨度大，因而，固定大小的感受野无法完全覆盖所有尺度的缺陷，会影响轮胎缺陷检测精度，尤其是对较小缺陷的检测精度。为了挖掘多尺度信息，解决轮胎多尺度缺陷目标检测的问题，图像特征提取网络中增加了特征金字塔网络FPN，特征金字塔网络FPN主要依据卷积神经网络不同层具有不同分辨率（即不同层对应着不同层次的语义特征）的特点，来分层预测对应尺度分辨率的检测结果（底层特征利于检测小尺度缺陷，高层特征利于检测大尺度缺陷）。又为了保证每一层都有合适的分辨率以及强语义特征，该实施例对每层特征都融合了高层强语义特征。进一步操作即为每种分辨率的特征图与上一层分辨率放大两倍的特征做同位相加的操作。通过这样的连接，每一层预测所用的特征都融合了不同分辨率、不同语义强度的特征，融合的不同分辨率的特征图分别做对应分辨率大小的物体检测。这样大大提高了尺度跨度大缺陷检测的效果，尤其对小尺度缺陷的检测。同时，由于此方法只是在原网络基础上加上了额外的跨层连接，在实际应用中几乎不增加额外的时间和计算量。利用残差网络和特征金字塔网络构成强化的特征提取网络，提高了整个轮胎缺陷检测网络模型的鲁棒性和通用性。
区域候选网络用来根据图像特征确定感兴趣的候选框，可以采用Faster R-CNN中的RPN网络和锚点框来实现。RPN网络是专门用来提取候选框的网络，相较于其他提取候选框的网络，RPN网络速度快，且能够把物体检测的整个流程融入到一个神经网络中，实现端到端的检测，起到弱分类器的作用。而锚点框是用于以特征图的像素点为中心产生一系列的框，各个框的大小由尺度和比例这两个参数确定。在优选实施方式中，图像特征提取网络采用特征金字塔网络时，已经考虑了缺陷的尺度问题，因此，对于每层特征图的锚点框，其尺度大小可以设置为不变，只改变每层特征图上锚点框的长宽比即可，计算量小，提高了识别速度。
兴趣区域对齐网络用于将感兴趣的候选框无误差地映射回原图兴趣区域，完成感兴趣区域的像素级对齐。在该实施例中，由于像素级缺陷区域估计网络模型包括有缺陷区域像素级估计网络，需要提取更精细的缺陷空间布局信息，因此，在网络模型中设置兴趣区域对齐网络RoIAlign，两次使用双线性插值输出缺陷坐标，将感兴趣的候选框无误差地映射回原图兴趣区域，完成感兴趣区域的像素级对齐，可以实现像素级的精准估计缺陷区域。
缺陷分类检测器是对区域候选网提取的感兴趣的候选框是背景还是前景进行再次确定，检测出缺陷类型和缺陷目标框并输出。缺陷分类检测器可以采用Faster R-CNN中的分类检测器来实现。
缺陷区域像素级估计网络用来根据完成像素级对齐的所述感兴趣的候选框估计出缺陷目标框中的缺陷边界并输出。可以采用全卷积网络FCN来实现。
S2：根据像素级缺陷区域估计网络模型的输出结果判断待检测的轮胎X光图像是否存在缺陷，并在判断存在缺陷时进一步判断出缺陷类型、缺陷目标框及缺陷边界。
图3-1和图3-2分别示出了0度散线缺陷的轮胎X光图像和网络模型输出结果图。在图3-2示出的结果图中，虚线框为缺陷目标框，目标框中的实线为缺陷边界，同时，还输出了缺陷类型为sanxian。缺陷类型为预先定义的，可以采用不同的定义方式。
图4-1和图4-2分别示出了胎侧开根缺陷的轮胎X光图像和网络模型输出结果图。在图4-2示出的结果图中，虚线框为缺陷目标框，目标框中的实线为缺陷边界，同时，还输出了缺陷类型为kaigen。缺陷类型为预先定义的，可以采用不同的定义方式。
图5-1和图5-2分别示出了胎侧异物缺陷的轮胎X光图像和网络模型输出结果图。在图5-2示出的结果图中，虚线框为缺陷目标框，目标框中的实线为缺陷边界，同时，还输出了缺陷类型为impurity。缺陷类型为预先定义的，可以采用不同的定义方式。
在上述实施例的轮胎缺陷检测过程中，像素级缺陷区域估计网络模型是已经训练好的网络模型。图2示出了训练网络模型的一个实施例的流程图。具体的，采用下述过程训练网络模型：
S11：获取多个具有缺陷的轮胎X光图像并进行归一化处理，对归一化处理后的图像进行标注，标注出缺陷类型和缺陷边界，生成坐标文件和类型文件，归一化处理后的图像及其坐标文件和类型文件一一对应，形成数据库。
在该步骤中，可以通过轮胎生产线上配置的轮胎X光成像系统获取多个具有缺陷的轮胎X光图像，然后对图像格式、像素大小及位深度进行归一化处理，并对归一化处理后的图像使用图像标注工具如labelme进行标注，标注出图像中的缺陷类型和缺陷边界。最后，将归一化处理后的图像及其坐标文件和类型文件一一对应，形成数据库。并且，将数据库中的图像至少分为训练集和验证集，训练集用于训练网络模型，验证集用于验证网络模型。在其他一些实施例中，还在数据库中设置部分未标注的图像数据作为测试集，用来评估最终模型的泛化能力。
S12：搭建像素级缺陷区域估计网络模型，并定义网络模型的损失函数。
具体的，是搭建包括有图像特征提取网络、区域候选网络、兴趣区域对齐网络以及缺陷分类检测器和缺陷区域像素级估计网络的模型，模型中各网络的结构及功能，参考图1实施例的描述。并且，优选采用Tensorflow深度学习框架搭建该像素级缺陷区域估计网络模型。同时，还要定义网络模型的损失函数。对于该实施例的像素级缺陷区域估计网络模型，其损失函数为多任务总损失函数loss，定义为loss=loss1+ loss2+ loss3。其中，loss1作为区域候选网络的损失函数，优选采用平滑L 1损失函数;loss2作为缺陷分类检测器的损失函数，优选采用二分类交叉熵损失函数；loss3作为缺陷区域像素级估计网络的损失函数，优选采用二分类交叉熵损失函数。
S13：初始化像素级缺陷区域估计网络模型的预设参数。
S14：用训练集训练初始化后的像素级缺陷区域估计网络模型，直至损失函数的值小于设定值，譬如，设定值为0.05，获得训练后的像素级缺陷区域估计网络模型。
在训练时，缺陷分类器和缺陷区域像素级估计网络采用并行训练方式训练，区域候选网络与缺陷分类器和缺陷区域像素级估计网络采用交替训练的方式训练。
为提高模型的准确性，优选还采用验证集对训练的像素级缺陷区域估计网络模型进行验证。具体来说，是用训练集训练初始化后的像素级缺陷区域估计网络模型时，还利用验证集检查模型的准确率,监控模型是否发生过拟合，以决定是否停止模型训练。若未发生过拟合，在损失函数的值小于设定值时停止模型的训练，将训练后的像素级缺陷区域估计网络模型确定为训练好的像素级缺陷区域估计网络模型；若发生过拟合，调整像素级缺陷区域估计网络模型的参数，重新执行训练过程及验证过程，直至调整后的像素级缺陷区域估计网络模型未发生过拟合，在损失函数的值小于设定值时停止训练，并将调整后的像素级缺陷区域估计网络模型确定为训练好的像素级缺陷区域估计网络模型。
若具有测试集，还利用测试集对训练好的像素级缺陷区域估计网络模型进行泛化能力评估，以评价网络模型性能。
通过测试，训练好的像素级缺陷区域估计网络模型的缺陷分类检测正确率达到100%，缺陷边界估计准确率达到92%。并且，通过生产线实际测试，获得图3-2、图4-2及图5-2的检测结果，准确地检测出缺陷类型、缺陷目标框及缺陷边界。而且，采用训练好的像素级缺陷区域估计网络模型可以检测生产线上整条X光轮胎图像，检测整条轮胎仅需19.8s的时间，完全满足工业实时性要求。
采用上述实施例的像素级缺陷区域估计网络模型，在缺陷分类检测器的基础上增加了缺陷区域像素级估计网络，在利用缺陷分类检测器获得缺陷类型和缺陷目标框的基础上，结合模型中的兴趣区域对齐网络对感兴趣区域的像素级对齐，提取出缺陷更精细的空间布局，进而能够利用缺陷区域像素级估计网络获得缺陷边界，实现对缺陷像素级定位估计，提高了轮胎缺陷检测的精确度，实现对轮胎缺陷面积和缺陷类别的精准估计，为轮胎的质量定级提供了重要依据。并且，通过设置特征金字塔网络提取图像特征，提高了尺度跨度大缺陷检测的效果，尤其对小尺度缺陷的检测，进一步提高了轮胎缺陷检测的精确度。而且，与传统的轮胎缺陷检测方法相比，上述实施例的方法不需要为每种缺陷类型而精心地设计特征提取器和分类器，也不需要因轮胎类型改变而殚精竭虑地反复设置最佳阈值，就能够检测异物缺陷、气泡缺陷、开根缺陷、劈缝缺陷等多种缺陷，通用性更强，鲁棒性更好，流程更简单，延展性也更好。并且，采用上述实施例的模型，当缺陷定义和严格要求发生变化时，还可以通过在线学习的方式学习新模型，以适应标准的变化。
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。
Claims (8)
1.一种基于深度学习的轮胎缺陷检测方法，其特征在于，所述方法包括：
获取待检测的轮胎X光图像，输入至训练好的像素级缺陷区域估计网络模型；
根据所述像素级缺陷区域估计网络模型的输出结果判断所述待检测的轮胎X光图像是否存在缺陷，并在判断存在缺陷时进一步判断出缺陷类型、缺陷目标框及缺陷边界；
所述像素级缺陷区域估计网络模型包括图像特征提取网络、区域候选网络、兴趣区域对齐网络以及缺陷分类检测器和缺陷区域像素级估计网络；所述图像特征提取网络接收所述待检测的轮胎X光图像，并提取出图像特征；所述区域候选网络根据所述图像特征确定感兴趣的候选框；所述兴趣区域对齐网络将所述感兴趣的候选框无误差地映射回原图兴趣区域，完成所述感兴趣区域的像素级对齐；所述缺陷分类检测器根据完成像素级对齐的所述感兴趣的候选框检测出缺陷类型和缺陷目标框并输出；所述缺陷区域像素级估计网络根据所述完成像素级对齐的所述感兴趣的候选框估计出所述缺陷目标框中的缺陷边界并输出。
2.根据权利要求1所述的方法，其特征在于，采用下述过程训练所述像素级缺陷区域估计网络模型：
获取多个具有缺陷的轮胎X光图像并进行归一化处理，对归一化处理后的图像进行标注，标注出缺陷类型和缺陷边界，生成类型文件和坐标文件，归一化处理后的图像及其坐标文件和类型文件一一对应，形成数据库，将数据库中的图像分为训练集和验证集；
搭建包括所述图像特征提取网络、所述区域候选网络、所述兴趣区域对齐网络、所述缺陷分类检测器和所述缺陷区域像素级估计网络的所述像素级缺陷区域估计网络模型，并定义网络模型的损失函数；
初始化所述像素级缺陷区域估计网络模型的预设参数；
用所述训练集训练初始化后的所述像素级缺陷区域估计网络模型，直至所述损失函数的值小于设定值，获得训练后的像素级缺陷区域估计网络模型。
3.根据权利要求2所述的方法，其特征在于，用所述训练集训练初始化后的所述像素级缺陷区域估计网络模型时，所述缺陷分类器和所述缺陷区域像素级估计网络采用并行训练方式训练，所述区域候选网络与所述缺陷分类器和所述缺陷区域像素级估计网络采用交替训练的方式训练。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：用所述训练集训练初始化后的所述像素级缺陷区域估计网络模型时，还利用所述验证集检查模型的准确率,监控模型是否发生过拟合，以决定是否停止模型训练；
若未发生过拟合，在所述损失函数的值小于所述设定值时停止模型的训练，将所述训练后的像素级缺陷区域估计网络模型确定为所述训练好的像素级缺陷区域估计网络模型；
若发生过拟合，调整所述像素级缺陷区域估计网络模型的预设参数，重新执行训练过程及验证过程，直至调整后的像素级缺陷区域估计网络模型未发生过拟合，并将所述调整后的像素级缺陷区域估计网络模型确定为所述训练好的像素级缺陷区域估计网络模型。
5.根据权利要求2所述的方法，其特征在于，所述网络模型的损失函数为多任务总损失函数loss，定义为loss=loss1+ loss2+ loss3；其中，loss1为所述区域候选网络的损失函数，且为平滑L 1损失函数;loss2为所述缺陷分类检测器的损失函数，且为二分类交叉熵损失函数；loss3为所述缺陷区域像素级估计网络的损失函数，且为二分类交叉熵损失函数。
6.根据权利要求2所述的方法，其特征在于，获取多个具有缺陷的轮胎X光图像并进行归一化处理，对归一化处理后的图像进行标注，标注出缺陷类型和缺陷边界，具体包括：
获取多个具有缺陷的轮胎X光图像，对图像格式、像素大小及位深度进行归一化处理，对归一化处理后的图像使用图像标注工具进行标注，标注出图像中的缺陷类型和缺陷边界。
7.根据权利要求2所述的方法，其特征在于，采用Tensorflow深度学习框架搭建所述像素级缺陷区域估计网络模型。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述图像特征提取网络包括依次连接的残差网络和特征金字塔网络，所述残差网络从所述待检测的轮胎X光图像中提取出多层图像特征，所述特征金字塔网络将所述残差网络提取的所述多层图像特征进行融合后输出图像特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871079.8A CN110660049A (zh) | 2019-09-16 | 2019-09-16 | 一种基于深度学习的轮胎缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910871079.8A CN110660049A (zh) | 2019-09-16 | 2019-09-16 | 一种基于深度学习的轮胎缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110660049A true CN110660049A (zh) | 2020-01-07 |
Family
ID=69037345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910871079.8A Pending CN110660049A (zh) | 2019-09-16 | 2019-09-16 | 一种基于深度学习的轮胎缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110660049A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539918A (zh) * | 2020-04-15 | 2020-08-14 | 复旦大学附属肿瘤医院 | 基于深度学习的磨玻璃肺结节风险分层预测系统 |
| CN112150434A (zh) * | 2020-09-22 | 2020-12-29 | 霍尔果斯奇妙软件科技有限公司 | 一种轮胎缺陷的检测方法、装置、设备及存储介质 |
| CN112418170A (zh) * | 2020-12-11 | 2021-02-26 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
| CN112557063A (zh) * | 2020-12-01 | 2021-03-26 | 安徽信息工程学院 | 一种基于视觉的跨座式单轨轮胎的胎面检测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493095A (zh) * | 2011-04-18 | 2014-01-01 | 米其林企业总公司 | 轮胎表面的数字图像的分析和非测量点的处理 |
| CN108711148A (zh) * | 2018-05-11 | 2018-10-26 | 沈阳理工大学 | 一种基于深度学习的轮胎缺陷智能检测方法 |
| CN109738452A (zh) * | 2019-02-18 | 2019-05-10 | 朝阳浪马轮胎有限责任公司 | 一种轮胎缺陷智能检测系统 |
| CN110120036A (zh) * | 2019-04-17 | 2019-08-13 | 杭州数据点金科技有限公司 | 一种多尺度的轮胎x光病疵检测方法 |
-
2019
- 2019-09-16 CN CN201910871079.8A patent/CN110660049A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493095A (zh) * | 2011-04-18 | 2014-01-01 | 米其林企业总公司 | 轮胎表面的数字图像的分析和非测量点的处理 |
| CN108711148A (zh) * | 2018-05-11 | 2018-10-26 | 沈阳理工大学 | 一种基于深度学习的轮胎缺陷智能检测方法 |
| CN109738452A (zh) * | 2019-02-18 | 2019-05-10 | 朝阳浪马轮胎有限责任公司 | 一种轮胎缺陷智能检测系统 |
| CN110120036A (zh) * | 2019-04-17 | 2019-08-13 | 杭州数据点金科技有限公司 | 一种多尺度的轮胎x光病疵检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| QIDAN ZHU，XIAOTIAN AI: "The Defect Detection Algorithm for Tire X-ray Images Based on Deep Learning", 《IEEE》 * |
| 卞国龙，李勇，戚顺青，王艳举，于胜红，宋美芹: "基于卷积神经网络的轮胎X射线图像缺陷检测", 《轮胎工业》 * |
| 崔雪红，刘云，王传旭，李辉: "基于卷积神经网络的轮胎缺陷X光图像分类", 《电子测量技术》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539918A (zh) * | 2020-04-15 | 2020-08-14 | 复旦大学附属肿瘤医院 | 基于深度学习的磨玻璃肺结节风险分层预测系统 |
| CN112150434A (zh) * | 2020-09-22 | 2020-12-29 | 霍尔果斯奇妙软件科技有限公司 | 一种轮胎缺陷的检测方法、装置、设备及存储介质 |
| CN112557063A (zh) * | 2020-12-01 | 2021-03-26 | 安徽信息工程学院 | 一种基于视觉的跨座式单轨轮胎的胎面检测系统 |
| CN112418170A (zh) * | 2020-12-11 | 2021-02-26 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
| CN112418170B (zh) * | 2020-12-11 | 2024-03-01 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660049A (zh) | 一种基于深度学习的轮胎缺陷检测方法 | |
| CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
| CN110310262A (zh) | 一种用于检测轮胎缺陷的方法、装置及系统 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN116863274B (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN112270310A (zh) | 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN111881970A (zh) | 一种基于深度学习的外破图像智能识别方法 | |
| CN115082444B (zh) | 一种基于图像处理的铜管焊缝缺陷检测方法及系统 | |
| CN114723709A (zh) | 隧道病害检测方法、装置和电子设备 | |
| CN111753877B (zh) | 一种基于深度神经网络迁移学习的产品质量检测方法 | |
| CN113627257A (zh) | 检测方法、检测系统、设备和存储介质 | |
| Tao et al. | Gap detection of switch machines in complex environment based on object detection and image processing | |
| CN109916912A (zh) | 一种铁轨扣件病害检测方法及系统 | |
| CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
| CN118037741B (zh) | 基于机器视觉的人字门焊接质量检测方法及系统 | |
| CN116152674A (zh) | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 | |
| Ashraf et al. | Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model | |
| CN109447968A (zh) | 图像区域生长算法的蜕变测试系统 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| Yang et al. | Weld defect cascaded detection model based on bidirectional multi-scale feature fusion and shape pre-classification | |
| CN117274355A (zh) | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 | |
| CN113989255A (zh) | 基于Mask-RCNN的地铁隧道衬砌脱落识别模型训练方法和识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200107 |