CN111179239B - 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 - Google Patents

Abstract

本发明提供一种利用背景特征进行重排名的轮胎X光瑕疵检测方法，当训练完模型之后进行瑕疵检测时，不仅将待检测图片输入模型中，还随机选取多张不带任何瑕疵的图片输入模型中；对待检测图片进行特征提取时，也提取无瑕疵图片中对应位置的特征；然后计算瑕疵特征向量和背景特征向量之间的相似度，根据该相似度对候选框进行重排名之后再输出最终的检测结果，具有以下优点：1)基于深度学习的轮胎X光瑕疵检测可以避免人的因素造成的轮胎质检过程中效率低下、人工成本高等问题；2)充分利用无瑕疵图片的信息，对候选框的概率进行一定的修正。

Description

一种利用背景特征进行重排名的轮胎X光瑕疵检测方法

技术领域

本发明涉及计算机视觉和工业检测技术领域，具体来说是一种利用背景特征进行重排名的轮胎X光瑕疵检测方法。

背景技术

轮胎是我国国民经济的重要支柱，我国的轮胎按照其胎体的不同可以分为斜交线轮胎和子午线轮胎两种。子午线轮胎具有流动阻力小、使用寿命长、减震性能好等优点被广泛使用。但是，子午线轮胎对生产要求非常高，其制作工艺流程相比于斜交线轮胎更为复杂。在子午线轮胎的生产过程中极易受到机械设备、生产流程以及其它外部环境的影响，会出现一些如杂质、胎稀、气泡等瑕疵，这些瑕疵都会影响到轮胎的质量从而进一步影响交通驾驶的安全。

轮胎质检中重要的环节就是通过X光机照射轮胎得到X光图像，然后通过观察X光图像的特点来判断该轮胎是否存在瑕疵及其位置。最开始由人工判别，但在目标检测算法日渐成熟的背景下，已经有学者提出利用深度神经网络搭建检测模型来自动判别。

但是在训练模型或测试模型时，需要的数据集都是要包含瑕疵的图片集，而在实际生产中，最容易获取、最多的数据是不包含任何瑕疵的轮胎X光图片；另一方面，由于轮胎X光图片的特殊性，瑕疵与背景本质上都是纹理特征，存在着极大的联系，因此可以针对这些无瑕疵图片，对算法做进一步改进，充分利用轮胎X光图片中背景的信息来增强模型预测的鲁棒性。

发明内容

针对现有质检方式存在的上述问题，本发明提供了一种利用背景特征进行重排名的轮胎X光瑕疵检测方法，充分利用橡胶工厂中大量的、最易获取的不包含任何瑕疵的背景图片，增强了模型的鲁棒性。

为此，本发明采用如下解决方案：

一种利用背景特征进行重排名的轮胎X光瑕疵检测方法，其特征在于：所述利用背景特征进行重排名的轮胎X光瑕疵检测方法包括如下步骤：

(1)收集用于训练和检测的带有瑕疵的轮胎X光图片样本集和用于辅助检测的不包含任何瑕疵的轮胎X光图片样本集；

(2)对带有瑕疵的轮胎X光图片样本集中的图片进行图像预处理，图像预处理包括图像增强和几何翻转；

(3)搭建Faster R-CNN模型，并利用步骤(2)图像预处理后的带有瑕疵的轮胎X光图片样本集中的图片训练Faster R-CNN模型；

(4)训练完Faster R-CNN模型后进行瑕疵检测时，将待检测的轮胎X光图片输入到Faster R-CNN模型中，图片经过特征提取网络、RPN网络和RoI池化层卷积后得到一批固定大小的瑕疵特征向量，将这些特征向量输入到后续的分类网络以使得每个候选框都会得到一组概率值Probs；

(5)随机选择n张无瑕疵图片，其中，1≤n≤10，计算无瑕疵轮胎X光图片中对应位置的背景特征向量，并计算瑕疵特征向量和背景特征向量之间的相似度Similarity，利用该相似度对步骤(4)得到的候选框的概率值Probs进行修正，即对候选框进行重排名；

(6)将已经被重排名了的候选框进行概率阈值判断和非极大值抑制操作得到最终的检测结果，最终检测结果为瑕疵类别和瑕疵所在位置信息。

在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：

作为本发明的优选技术方案：所述步骤(3)中，所述Faster R-CNN模型主要分为四个部分：

1)Conv Layers：作为一种基于CNN网络的目标检测方法，Faster R-CNN采用一组基础卷积层+激活层+池化层提取的特征并得到关于输入图像的特征图，该特征图会作用与后续的RPN网络和RoI池化层；在本发明中，采用ResNet-50网络作为Faster R-CNN的卷积层；

2)RPN：RPN网络主要用于生成Region Proposals，利用Anchor机制生成一系列固定比例、固定大小的anchors并通过Softmax来判断某个anchor属于前景还是背景；再利用Boungding Box Regression修正anchors以获得更为精确的Proposals；

3)RoI Pooling：该层利用RPN生成的一系列Proposals和Resnet-50得到的特征图生成固定大小的Proposal Feature Map，并将这些候选框特征图输入到后续的全连接网络进行分类和定位；

4)Classifier：将RoI Pooling层得到的固定大小的特征向量进行全连接操作，利用Softmax进行具体瑕疵的分类，同时，利用L1 Loss完成Bounding Box Regression获得目标的准确位置。

作为本发明的优选技术方案：所述步骤(5)中，所述利用背景特征进行重排名的具体步骤为：

1)检测每一张轮胎图片时，除了待检测图片需要输入到检测模型外，在不包含任何瑕疵的轮胎图片集中，再随机选取n张图片一同输入到检测模型中，其中，1≤n≤10；

2)待检测图片经过特征提取网络后得到瑕疵特征图；

3)将瑕疵特征图输入到RPN网络后得到一批关于候选框的信息，其中包含候选框坐标信息、候选框个数；

4)将上述步骤得到的候选框输入到RoI池化层，得到一批大小固定的瑕疵特征向量；

5)将瑕疵特征向量输入到分类网络后，每个候选框最终得到一组关于瑕疵的概率Probs；

6)无瑕疵图片经过特征提取后得到背景特征图后，不进入后续的RPN网络中，而是将从瑕疵图片上预测得到的候选框信息直接套用在背景特征图上，并在此基础上进行RoI池化操作得到一批大小固定的、与瑕疵特征图位置一一对应的背景特征向量，对多张无瑕疵图片得到的背景特征向量取平均值；

7)计算背景特征向量和瑕疵特征向量的相似度Similarity，利用该相似度对这批候选框进行重排名，抑制相似度高的候选框的概率，提升相似度低的候选框的概率；具体公式为α×(1-Similarity)×Probs，其中α为修正因子且1.3≤α≤1.5，Probs为由分类网络得到的瑕疵概率。

作为本发明的优选技术方案：所述步骤(5)中，所述利用背景特征进行重排名中向量间的相似度计算方法选择余弦相似度，设n维空间中存在向量a和向量b，其中a＝(a₁,a₂,…,a_n),b＝(b₁,b₂,…,b_n)，则向量a,b之间的相似度计算公式为：

本发明提供一种利用背景特征进行重排名的轮胎X光瑕疵检测方法，当训练完模型之后进行瑕疵检测时，不仅将待检测图片输入模型中，还随机选取多张不带任何瑕疵的图片输入模型中；对待检测图片进行特征提取时，也提取无瑕疵图片中对应位置的特征；然后计算瑕疵特征向量和背景特征向量之间的相似度，根据该相似度对候选框进行重排名之后再输出最终的检测结果，具有以下优点：

1)基于深度学习的轮胎X光瑕疵检测可以避免人的因素造成的轮胎质检过程中效率低下、人工成本高等问题；

2)充分利用无瑕疵图片的信息，对候选框的概率进行一定的修正，也即是利用背景特征向量和瑕疵特征向量的相似度对这批候选框进行重排名，抑制相似度高的候选框的概率，提升相似度低的候选框的概率，有效地增加的检测模型的鲁棒性。

附图说明

图1为本发明的利用背景特征进行重排名的瑕疵检测示意图；

图2为本发明的利用背景特征进行重排名的流程示意图；

图3为本发明的轮胎X光瑕疵检测方法的流程图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

参照图1-2，本实例旨在按本发明实现对轮胎X光图像的瑕疵检测。该方法流程包括数据收集、图像预处理、模型训练、利用背景特征进行重排名进行瑕疵检测等步骤，如图3所示，具体实现过程图下：

步骤(1)：数据收集。本例共标注了10919张瑕疵图片，每张瑕疵图片标出所有瑕疵的位置以及瑕疵的类型，类型的标注形式为0，1，3，...，5，具体类型见表1，本实施例中，仅检测6类瑕疵类型，当然在其他的实施例中，也可以检测7、8等多类瑕疵类型，且均落在本发明的保护范围内：

表1

瑕疵编号	瑕疵类型
		0	胎稀
1	0度散线
		2	帘线弯曲
3	杂质
		4	胎侧泡
5	胎肩泡

原始图片大小为20000*1900，由于算法计算能力的制约，将原图切分为多张1900*1900大小的图片之后随机选取一张，由于轮胎的瑕疵十分稀疏，这种切图的方法几乎不会造成瑕疵的遗漏。之后设置其中2000张图片为测试集。并选取不包含任何瑕疵的图片300张。

步骤(2)图像预处理。通过水平翻转和上下翻转对训练集进行数据增广。同时，对每一张训练图片，在直方图均衡化、拉普拉斯变换、Log变换三种变换方式随机选择一种进行图像增强。

步骤(3)搭建Faster R-CNN模型，Faster R-CNN结构主要包括四个部分：

1)Conv Layers(卷积层)：作为一种基于CNN网络的目标检测方法，Faster R-CNN采用一组基础卷积层+激活层+池化层提取的特征并得到关于输入图像的特征图(FeatureMap)，该特征图会作用与后续的RPN网络和RoI池化层。在本发明中，采用ResNet-50网络作为Faster R-CNN的特征提取网络。

2)RPN(Region Proposal Network，区域候选网络)：RPN网络主要用于生成RegionProposals(候选区域)，利用Anchor机制生成一系列固定比例、固定大小的anchors并通过Softmax来判断某个anchor属于前景还是背景。再利用Boungding Box Regression修正anchors以获得更为精确的Proposals。

3)RoI Pooling(Regions of Interest Pooling，候选区域池化)：该层利用RPN生成的一系列Proposals和Resnet-50得到的特征图生成固定大小的Proposal Feature Map(候选框特征图)，并将这些候选框特征图输入到后续的全连接网络进行分类和定位。

4)Classifier(分类器)：将RoI Pooling层得到的固定大小的特征向量进行全连接操作。利用Softmax进行具体瑕疵的分类，同时，利用L1 Loss(L1损失函数)完成BoundingBox Regression获得目标的准确位置。

步骤(4)初始化模型，设置好参数。包括输入图片后统一的大小；在RPN网络中区分前景、后景的IoU阈值，Anchor的尺度、比例；在RoI池化层中需要设置输出的尺寸大小、RoIs的个数；训练的周期数；

步骤(5)训练好模型之后，针对Faster R-CNN模型中分类器(Classifier)预测出来的概率值，利用背景特征对其进行重排名。利用背景特征进行重排名的整体流程如图2所示，检测每一张轮胎图片时，除了待检测图片需要输入到检测模型外，在不包含任何瑕疵的轮胎图片集中，再随机选取5张不包含任何瑕疵的背景图片一同输入到检测模型中。其中待检测图片经过特征提取网络后得到瑕疵特征图(Flaw Feature Map)，背景图片经过特征提取网络后得到背景特征图(Background Feature Map)；将瑕疵特征图输入到RPN网络后得到一批关于候选框(Proposals)的信息，其中包含候选框坐标信息、候选框个数。将这批候选框输入到RoI池化层，得到一批大小固定的瑕疵特征向量(Flaw Feature Vector)。假设RPN针对某张图片提出了300个候选框，并且RoI池化层的输出尺寸为7×7，那么这批特征向量的具体维度为[300×7×7×channels]，其中300对应候选框个数，channels为上述瑕疵特征图的channels。之后将瑕疵特征向量输入到分类网络中，每个候选框最终得到关于某类瑕疵的概率；无瑕疵图片对应的背景特征图(Background Feature Map)，不进入后续的RPN网络中，而是将从瑕疵图片上预测得到的候选框(Proposals)信息直接套用在背景特征图上，此时可以得到300个与瑕疵特征图上在位置上一一对应的300个候选框，并在此基础上进行RoI池化操作得到一批在维度与的背景特征向量(Background Feature Vector)，背景特征向量的维度也是[300×7×7×channels]。多张无瑕疵图片得到的背景特征向量取平均值；计算背景特征向量和瑕疵特征向量的相似度(Similarity)，利用该相似度对这批候选框进行重排名，抑制相似度高的候选框的概率，提升相似度低的候选框的概率。具体公式为α×(1-Similarity)×Probs，其中α为修正因子(本发明中α设置为1.5)，Probs为由分类网络的瑕疵概率；

步骤(6)，将已经被重排名了的候选框进行概率阈值判断和非极大值抑制操作得到最终的检测结果，最终检测结果为瑕疵类别信息和瑕疵所在位置信息。

最后应说明的是，以上实例仅用以说明而非限制本发明的技术方案，尽管参照上述实例对本发明进行了详细说明，本领域的技术人员应当理解，依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种利用背景特征进行重排名的轮胎X光瑕疵检测方法，其特征在于：所述利用背景特征进行重排名的轮胎X光瑕疵检测方法包括如下步骤：

(1)收集用于训练和检测的带有瑕疵的轮胎X光图片样本集和用于辅助检测的不包含任何瑕疵的轮胎X光图片样本集；

(2)对带有瑕疵的轮胎X光图片样本集中的图片进行图像预处理，图像预处理包括图像增强和几何翻转；

(3)搭建Faster R-CNN模型，并利用步骤(2)图像预处理后的带有瑕疵的轮胎X光图片样本集中的图片训练Faster R-CNN模型；

(4)训练完Faster R-CNN模型后进行瑕疵检测时，将待检测的轮胎X光图片输入到Faster R-CNN模型中，图片经过特征提取网络、RPN网络和RoI池化层卷积后得到一批固定大小的瑕疵特征向量，将这些特征向量输入到后续的分类网络以使得每个候选框都会得到一组概率值Probs；

(5)随机选择n张无瑕疵图片，其中，1≤n≤10，计算无瑕疵轮胎X光图片中对应位置的背景特征向量，并计算瑕疵特征向量和背景特征向量之间的相似度Similarity，利用该相似度对步骤(4)得到的候选框的概率值Probs进行修正，即对候选框进行重排名；

(6)将已经被重排名了的候选框进行概率阈值判断和非极大值抑制操作得到最终的检测结果，最终检测结果为瑕疵类别和瑕疵所在位置信息；

所述步骤(5)中，所述利用背景特征进行重排名的具体步骤为：

1)检测每一张轮胎图片时，除了待检测图片需要输入到检测模型外，在不包含任何瑕疵的轮胎图片集中，再随机选取n张图片一同输入到检测模型中，其中，1≤n≤10；

2)待检测图片经过特征提取网络后得到瑕疵特征图；

3)将瑕疵特征图输入到RPN网络后得到一批关于候选框的信息，其中包含候选框坐标信息、候选框个数；

4)将上述步骤得到的候选框输入到RoI池化层，得到一批大小固定的瑕疵特征向量；

5)将瑕疵特征向量输入到分类网络后，每个候选框最终得到一组关于瑕疵的概率Probs；

6)无瑕疵图片经过特征提取后得到背景特征图后，不进入后续的RPN网络中，而是将从瑕疵图片上预测得到的候选框信息直接套用在背景特征图上，并在此基础上进行RoI池化操作得到一批大小固定的、与瑕疵特征图位置一一对应的背景特征向量，对多张无瑕疵图片得到的背景特征向量取平均值；

7)计算背景特征向量和瑕疵特征向量的相似度Similarity，利用该相似度对这批候选框进行重排名，抑制相似度高的候选框的概率，提升相似度低的候选框的概率；具体公式为α×(1-Similarity)×Probs，其中α为修正因子且1.3≤α≤1.5，Probs为由分类网络得到的瑕疵概率。

2.根据权利要求1所述的利用背景特征进行重排名的轮胎X光瑕疵检测方法，其特征在于：所述步骤(3)中，所述Faster R-CNN模型主要分为四个部分：

1)Conv Layers：作为一种基于CNN网络的目标检测方法，Faster R-CNN采用一组基础卷积层+激活层+池化层提取的特征并得到关于输入图像的特征图，该特征图会作用与后续的RPN网络和RoI池化层；采用ResNet-50网络作为Faster R-CNN的卷积层；

2)RPN：RPN网络主要用于生成Region Proposals，利用Anchor机制生成一系列固定比例、固定大小的anchors并通过Softmax来判断某个anchor属于前景还是背景；再利用Boungding Box Regression修正anchors以获得更为精确的Proposals；

3)RoI Pooling：该层利用RPN生成的一系列Proposals和Resnet-50得到的特征图生成固定大小的Proposal Feature Map，并将这些候选框特征图输入到后续的全连接网络进行分类和定位；

4)Classifier：将RoI Pooling层得到的固定大小的特征向量进行全连接操作，利用Softmax进行具体瑕疵的分类，同时，利用L1 Loss完成Bounding Box Regression获得目标的准确位置。

3.根据权利要求1所述的利用背景特征进行重排名的轮胎X光瑕疵检测方法，其特征在于：所述步骤(5)中，所述利用背景特征进行重排名中向量间的相似度计算方法选择余弦相似度，设n维空间中存在向量a和向量b，其中a＝(a₁,a₂,…,a_n),b＝(b₁,b₂,…,b_n)，则向量a,b之间的相似度计算公式为：

Images