CN108564563A - 一种基于Faster R-CNN的轮胎X光病疵检测方法 - Google Patents

Abstract

本发明公开了一种基于Faster R‑CNN的轮胎X光病疵检测方法，该方法给出了一个有效的轮胎X光病疵检测方案，适用于所有的轮胎行业，甚至可以推广到其他工业检测领域。本发明经过数据准备、模型训练、参数调节、模型选取四个阶段得到真正适用的模型，极大的改善了目前轮胎X光病疵检测大部分企业靠人肉眼检测的方式，使得检测结果更加的可靠，检测过程更加的快速，检测的准确率极大的提高。本发明在投入到使用过程后，还是一个自适应的方法，随着轮胎X光标准的变化，本发明会跟着变化，从而达到在新标准下也能适用的效果。

Description

一种基于Faster R-CNN的轮胎X光病疵检测方法

技术领域

本发明属于计算机视觉及工业工艺检测技术领域，具体涉及一种基于Faster R-CNN的轮胎X光病疵检测方法。

背景技术

随着经济和社会的快速发展，轮胎工业在生活中扮演了越来越重要的角色，从2004年开始，我国的轮胎产量一直居世界第一位。轮胎的种类多样，一般分为斜交和子午线轮胎，子午线轮胎又分为半钢和全钢子午线轮胎，全钢子午线轮胎具有复杂的内部结构，对生产过程要求极其苛刻。生产过程中一旦出现操作不当、成型、压延和硫化大小不合理，又或者说设备老化，都会影响轮胎的最后质量。

由于全钢子午轮胎容易出现病疵，所以在生产过程中就要监测轮胎是否有病疵。目前市面上主要的监测设备是X光检测机，当轮胎经过X光机的时候，X光机给轮胎拍照，然后传到人机界面，由人来判断是否有病疵以及是什么病疵。由人来判断有过程效率低下且容易使人疲倦的缺点，因此出现了一系列轮胎X光自动判别病疵的方法；首先是传统的模板匹配方法，这种方法用模板进行严格的匹配，但是由于轮胎是橡胶制品，相对于其他精细印刷品，它本身不是那么精细，用模板来匹配要求太严格，这将会出现很多轮胎都是不合格的轮胎，实际上这其中很多轮胎是合格的。

近年来，伴随着深度学习技术的发展，计算机视觉技术蓬勃发展，计算机视觉技术主要采用卷积神经网络(Convolutional Neural Network，简称CNN)。CNN是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，它在图像领域表现的很出色，因此也被大量的运用在物体检测领域。目前主流的检测算法RCNN、FastRCNN、SPPnet、SSD、YOLO、Faster R-CNN都是采用CNN作为其主干，其中Faster R-CNN在各个目标检测任务中都体现出很好的性能，具有实时性好，检测准确率高的特点，而轮胎X光病疵检测领域正需要的是一个实时性好，准确率高的算法。

发明内容

鉴于上述，本发明提供了一种基于Faster R-CNN的轮胎X光病疵检测方法，能够解决目前国内轮胎企业人肉眼观察方法的可靠性低，成本高，准确性低，以及对人眼睛存在一定的伤害的问题。

一种基于FasterR-CNN的轮胎X光病疵检测方法，包括如下步骤：

(1)获取由大量关于病疵轮胎工业X光图像组成的数据库，标注图像中的病疵位置和病疵类型，进而将数据库中的图像分为训练集、验证集和测试集；

(2)搭建FasterR-CNN模型；

(3)利用训练集对模型进行训练，利用验证集检查模型的准确率，并根据准确率调节模型的参数，直到模型训练至收敛；

(4)重复执行步骤(2)和(3)训练得到多个模型，计算测试集运行在每个模型上的评价指标值，根据评价指标值选取最优的一个模型用于轮胎的病疵检测。

进一步地，所述步骤(1)的具体实现过程为：首先采用图片标注工具LabelImg对图像进行标注，标注时画出病疵位置以及病疵类型，利用XML描述文件记录图像的文件名、尺寸、病疵位置和类型等信息；然后创建Annotations、ImageSets和JPEGImages三个目录，其中目录Annotations用于存放每张图像对应的XML描述文件，目录JPEGImages用于存放图像，目录ImageSets存放有train.txt、val.txt、test.txt三个文件，分别记录训练集、验证集和测试集中包含的图像文件名。

进一步地，所述步骤(2)中采用Keras深度学习框架搭建Faster R-CNN模型，初始化设置Faster R-CNN模型的参数，包括输入图像数据的统一大小、模型在SearchSelective阶段方框的大小和个数、模型训练的周期数。

进一步地，所述步骤(3)的具体实现过程如下：

3.1利用训练集先对模型进行训练，训练到一定周期之后暂停并将当前的模型保存下来；

3.2通过计算观察训练集和验证集运行在当前模型上的损失函数值随周期递增的变化趋势；

3.3若训练集和验证集对应的损失函数值均呈正确下降趋势，则不必调节模型参数，恢复继续训练直至模型收敛；若训练集和验证集对应的损失函数值未呈正确下降趋势，则执行步骤3.4；

3.4分析具体原因，调节模型的相应参数，确定好参数后重新开始训练。

进一步地，所述步骤(4)的具体实现过程为：利用测试集在每个模型上运行一遍，得到每个模型的准确率和召回率；根据准确率和召回率选取其中最优的一个模型作为最终模型用于轮胎的病疵检测，最终模型的准确率和召回率均需要大于85％，若所有模型都无法满足该条件，则返回步骤(2)重新训练模型。

基于上述技术方案，本发明方法具有以下有益技术效果：

(1)本发明采用目前在目标检测领域最好的算法Faster R-CNN，并且轮胎X光病疵检测这个实际应用场景对Faster R-CNN做了改进。

(2)本发明相较于人眼观察轮胎X光病疵的好处在于，可靠性高，稳定性好，准确率高；相较于传统轮胎X光病疵检测算法的好处在于本发明的可靠性更高，流程更简单，延展性相较于传统的X光病疵检测算法也更好。

(3)轮胎X光病疵的标准并不是一成不变的，当病疵的定义发生变化时，本发明不会失效，当本发明应用于实际时将采用在线学习的方式，也就是标准变化了，本发明对病疵变化的情况可以适应。

(4)本发明检测病疵的速度快，在1900×1200的图片尺寸规格下，能达到一秒钟识别五张图片的效率。

附图说明

图1为标记有病疵的轮胎X光图像。

图2为Faster R-CNN模型的架构示意图。

图3为训练集和验证集的损失函数变化曲线图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明利用计算机视觉领域的目标检测算法，采用深度残差网络提取图片特征，然后找出病疵类型以及病疵位置，具体步骤如下：

(1)数据准备：在每张图片中标出病疵位置和病疵类型，如图1所示，白色方框代表病疵的位置，图1中展示的轮胎病疵代号64，病疵为零度散线。

拿到轮胎X光的原始图片之后，数据准备工作的具体过程步骤如下：

1.1准备LabelImg的标注工具。

1.2运用LabelImg标注图片，标注的时候画出病疵的位置以及标好相应位置的病疵类型，标注文件类型为xml文件。

1.3将步骤1.2中得到的xml文件解析成模型需要的格式，具体为三个文件夹，分别为Annotations、ImageSets、JPEGImages，其中Annotations存放步骤1.2得到xml文件，ImageSets包含了三个txt文件，这些txt文件写明了哪些图片用作测试，哪些图片用作训练，哪些图片用作验证，JPEGImages包含了所有图片，包括训练、验证、测试用的图片。

(2)模型训练：得到了步骤(1)中的数据之后，运用这些数据训练搭建好的FasterR-CNN模型。

当数据准备工作完成之后，开始模型在数据集上的训练，具体步骤如下：

2.1搭建好FasterR-CNN模型，本发明采用Keras深度学习框架搭建Faster R-CNN模型，其架构如图2所示。

2.2初始化Faster R-CNN模型，设置好Faster R-CNN的一些参数，包括输入图片后统一的大小(在本实施方式中，图片的长边可以是任意尺寸，但是短的一边为600pix)、模型在Search Selective阶段方框的大小与个数、模型训练的周期数。本实施方式最终选取模型的参数配置如表1所示：

表1

2.3步骤2.2完成之后就开始在步骤(1)中所得的数据集上开始训练。

(3)参数调节：在模型训练过程中，观察模型在验证集中的准确率，根据验证集中的准确率调节模型的一系列参数，每次改变参数，模型就从头开始训练。

模型训练是一个缓慢的过程，如果是训练完之后再查看模型的好坏，这样太费时；因此训练到一定的周期，需要检查当前的参数配置是否是正确的，具体步骤如下：

3.1在模型的训练过程中，获取模型在训练集和验证集上面的损失函数的函数值。

3.2训练到一定的周期之后，暂时停止训练，并将当前的模型保存下来，方便以后继续训练。

3.3画出训练集和验证集损失函数的函数值，横轴为周期数，纵轴为损失函数的函数值；损失函数值可能没有下降，有可能下降的比较慢，有可能开始下降后来反而上升，各种损失函数值变化情况如图3所示，需要观察训练集和验证集上的损失函数值是否是一个正确的下降趋势。

3.4如果步骤3.3中是呈正确下降趋势，则不必调节参数，这时导入在步骤3.2中保存的模型继续训练直至达到模型收敛；否则进入步骤3.5。

3.5如果损失函数的函数值没有呈健康的下降趋势，就找到可能的原因，并调节参数，参数确定好之后回到步骤2.2。

在这里，损失函数的函数值没有正确下降的原因是多种的，总共有如下几种情况：

①训练集的损失函数值降低了，但是验证集的没有，这种情况是出现了常见的过拟合情况，则调节或者加上防止过拟合的参数。

②训练集和验证集的损失函数值都没有下降，这种情况一般是模型出现了问题，需要检查模型是否是正确的。

③损失函数值在下降但是下降的比较缓慢，这种情况一般是学习率设置的太低了，可以适当的调大学习率。

④损失函数值开始减少后来增大，这种情况是是学习率过大，需要适当的降低学习率。

对于后两种情况可以动态的设置学习率，在开始的一定周期内设置一个略大的学习率，到达一定的周期后，就降低学习率。

(4)模型选取：重复步骤(2)、(3)得到多个模型，然后算出每个模型在测试集上评价指标值，由模型在评价指标值上的表现评估训练模型的好坏；如果所有的模型都表现不佳则回到步骤(2)，否则选取一些好的当作最后的候选模型。

经过步骤(3)之后我们得到一系列模型，这些模型在验证集上的准确率都是很高的，但是一个好的模型必须是泛化能力比较好的模型才行，因此我们需要看模型的泛化能力，通过测试集来筛选泛化能力比较好的模型，具体步骤如下：

4.1重复步骤(3)，我们得到多个模型，将每一个模型都在测试集上运行一遍。

4.2得到每一个模型在测试集上的准确率，所谓的准确率指的是模型正确预测的病疵类型总数与所有测试集的比值；由于有多个病疵，这样需要计算出每一类病疵的准确率与最后的平均准确率。

4.3得到每一个模型在测试集上的召回率，所谓的召回率指的是预测正确的样本数除以该样本在测试集中的总数。

4.4对比所有的模型的准确率和召回率，选在在准确率和召回率都较高(准确率和召回率都大于85％)的模型作为最后的模型，这样的模型是泛化能力比较好的模型；如果没有这样的模型，则说明模型不可用，需要回到步骤(2)初始化模型，并且重新训练模型。

在这里，模型的泛化能力不好，首先问题可能是训练集、验证集、测试集的划分有问题，训练集和验证集的病疵图片可能集中在几个病疵，并不是一个均匀分布情况；这种情况只需要重新划分训练集、验证集、测试集并回到步骤(2)即可。

其次，如果不是划分数据集出现的问题，可能是数据量不够，这个时候需要加大数据量，也可以在步骤(2)阶段采用数据增强，人为的增加数据量。

最后，观察模型对测试集的评判结构，找到问题的特点，修改相应的网络结构。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.一种基于FasterR-CNN的轮胎X光病疵检测方法，包括如下步骤：

(1)获取由大量关于病疵轮胎工业X光图像组成的数据库，标注图像中的病疵位置和病疵类型，进而将数据库中的图像分为训练集、验证集和测试集；

(2)搭建FasterR-CNN模型；

(3)利用训练集对模型进行训练，利用验证集检查模型的准确率，并根据准确率调节模型的参数，直到模型训练至收敛；

(4)重复执行步骤(2)和(3)训练得到多个模型，计算测试集运行在每个模型上的评价指标值，根据评价指标值选取最优的一个模型用于轮胎的病疵检测。

2.根据权利要求1所述的轮胎X光病疵检测方法，其特征在于：所述步骤(1)的具体实现过程为：首先采用图片标注工具LabelImg对图像进行标注，标注时画出病疵位置以及病疵类型，利用XML描述文件记录图像的文件名、尺寸、病疵位置和类型等信息；然后创建Annotations、ImageSets和JPEGImages三个目录，其中目录Annotations用于存放每张图像对应的XML描述文件，目录JPEGImages用于存放图像，目录ImageSets存放有train.txt、val.txt、test.txt三个文件，分别记录训练集、验证集和测试集中包含的图像文件名。

3.根据权利要求1所述的轮胎X光病疵检测方法，其特征在于：所述步骤(2)中采用Keras深度学习框架搭建Faster R-CNN模型，初始化设置FasterR-CNN模型的参数，包括输入图像数据的统一大小、模型在Search Selective阶段方框的大小和个数、模型训练的周期数。

4.根据权利要求1所述的轮胎X光病疵检测方法，其特征在于：所述步骤(3)的具体实现过程如下：

3.1利用训练集先对模型进行训练，训练到一定周期之后暂停并将当前的模型保存下来；

3.2通过计算观察训练集和验证集运行在当前模型上的损失函数值随周期递增的变化趋势；

3.3若训练集和验证集对应的损失函数值均呈正确下降趋势，则不必调节模型参数，恢复继续训练直至模型收敛；若训练集和验证集对应的损失函数值未呈正确下降趋势，则执行步骤3.4；

3.4分析具体原因，调节模型的相应参数，确定好参数后重新开始训练。

5.根据权利要求1所述的轮胎X光病疵检测方法，其特征在于：所述步骤(4)的具体实现过程为：利用测试集在每个模型上运行一遍，得到每个模型的准确率和召回率；根据准确率和召回率选取其中最优的一个模型作为最终模型用于轮胎的病疵检测，最终模型的准确率和召回率均需要大于85％，若所有模型都无法满足该条件，则返回步骤(2)重新训练模型。