CN110136101B

CN110136101B - 一种基于孪生距离比对的轮胎x光病疵检测方法

Info

Publication number: CN110136101B
Application number: CN201910309719.6A
Authority: CN
Inventors: 范彬彬; 陈金水; 丁启元; 李莹; 杨颖�
Original assignee: Hangzhou Data Point Gold Technology Co ltd
Current assignee: HANGZHOU YINGGE INFORMATION TECHNOLOGY CO.,LTD.
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2021-04-30
Anticipated expiration: 2039-04-17
Also published as: CN110136101A

Abstract

本发明属于图像识别和检测技术领域，具体提供一种基于孪生距离比对的轮胎X光病疵检测方法，包括：采集得到特定的轮胎花纹的标准图、正常图和病疵图的图片的集合；根据图片的不同类型对X光检测图片的所述样本集进行标注，并将具有标注信息的样本分为训练集、验证集和测试集；对X光检测图片进行预处理；搭建Siamese Network模型；基于训练集对Siamese Network模型进行训练，将训练过程迭代多个周期，最后选择使Siamese Network模型准确率最高的参数；得到的Siamese Network模型加载后可以进行对所述X光检测图片中是否有病疵部分的判别。本发明的检测方法，与传统方法相比具有能大大提高对不明显病疵的检测效果，对于不同型号、轮胎花纹、X光机拍摄出的X光片均适用，能减轻轮胎质检人员的负担，利于轮胎质量的把控。

Description

一种基于孪生距离比对的轮胎X光病疵检测方法

技术领域

本发明属于轮胎病疵检测技术领域，主要在轮胎病疵检测过程中实现一种基于孪生距离比对的轮胎X光病疵检测方法。

背景技术

轮胎的生产过程很精密，任何一个环节出错都有可能导致生产的轮胎是劣质产品，而轮胎的质量又与交通安全紧密相连，因此必须要进行严格的质量监督。其中一个重要的轮胎质量检测环节就是对轮胎拍摄X光图像，然后根据X光图像判别当前轮胎是否有某种病疵。

传统的轮胎X光病疵检测的方式是用X光机对轮胎拍照后安排质量监督人员判别轮胎是否有某种病疵。采用人工判别轮胎X光病疵存在很多不利的因素：首先，效率比较低下，一个轮胎的X光图像一般都比较大，熟练的质检人员完全判别一个轮胎是否有病疵都需要消耗数十秒的时间；其次，判别准确度不高，误判、漏判多，长期看显示屏屏幕人容易疲劳，在这种情况下，有可能将有病疵的图像判别为无病疵，造成漏判或者病疵类别判断错误，造成漏判；最后，长期进行人工鉴别对质检人员的健康损伤较大。

目前存在一些轮胎X光自动检测算法但都是基于传统的图像处理方法，这些方法只能检测出比较明显的病疵，对于比较隐晦(如气泡)这种病疵，改方法检出率不理想。根据目前轮胎X光病疵自动检测所遇到的问题，本发明提出了一种基于孪生距离比对的轮胎X光病疵检测方法。

发明内容

本发明针对传统轮胎X光病疵识别中存在的不足，提出一种基于孪生距离比对的轮胎X光病疵检测方法。

相关概念：

(1)孪生距离：两张图片经过孪生神经网络模型进行特征映射后两个部分之间的距离；

(2)正常图：工业生产流程中得到的正常轮胎进行X光检测得到的图片；

(3)病疵图：轮胎X光检测图片中含有病疵部分，就称之为病疵图。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种基于孪生距离比对的轮胎X光病疵检测方法，所述检测方法包括如下步骤：

步骤S1、对于某种特定的轮胎花纹，对所述特定的轮胎花纹的X光检测图片进行采集得到多个样本集，所述样本集为所述特定的轮胎花纹的正常图和病疵图的图片的集合；

步骤S2、根据图片的不同类型对所述X光检测图片的所述样本集进行标注，并将具有标注信息的样本分为训练集、验证集和测试集；

步骤S3、对所述X光检测图片进行预处理；

步骤S4、搭建Siamese Network(孪生神经网络)模型；

步骤S5、基于训练集对所述Siamese Network模型进行训练，每次所述训练完后基于所述验证集进行K交叉验证基于所述测试集测试所述Siamese Network模型的精度；

步骤S6、将训练过程迭代多个周期，最后选择使所述Siamese Network 模型准确率最高的参数；

步骤S7、得到的所述Siamese Network模型加载后可以进行对所述X光检测图片中是否有病疵部分的判别，输入所述轮胎的所述X光检测图片，输出所述X光检测图片是正常图或是病疵图。

步骤S2中根据图片的不同类型对所述X光检测图片的所述样本集进行标注包括：利用标注工具对所述样本集进行分类，如果有病疵将病疵位置画框并注释，最终将标注信息保存在xml文件中。

步骤S3对所述X光检测图片进行预处理进一步包括如下步骤：1)对图像进行锐化处理；2)对原始的大图进行切割，分为较多尺寸合适的小图，小图之间有一定的重叠，将相应的坐标位置进行变换改写之前标注得到的所述 xml文件。

步骤S5基于所述训练集对所述Siamese Network模型进行训练进一步包括如下步骤：

1)基于训练集对所述Siamese Network模型进行训练；

2)训练完后采用K交叉验证调整模型超参数；

3)基于所述测试集测试所述Siamese Network模型的精度；

4)反复迭代1)到3)步骤，将所述Siamese Network模型的参数和测试的精度保存下来；

5)对比所有的模型的精度，选在精度大于85％的模型作为最后的所述 SiameseNetwork模型；如果没有精度大于85％的模型，则回到步骤S4中进行模型的设计，并且重新训练模型。

步骤S7进一步包括如下步骤：对于一张原始所述X光检测图片，将它切分为很多小图，每次选择其中的两张小图输入训练好的所述Siamese Network模型，所述SiameseNetwork模型将所述两张小图通过特征映射映射到新的空间，计算这两个结果之间的距离，设定一个距离为判断的临界阈值，如果两个结果之间的距离大于临界阈值，代表两张输入图片不是一个类型，即一个是正常图一个是病疵图，则原始X光检测图片上有病疵，输出1；如果距离小于临界阈值，说明两张输入图片是一个类型，即原始X光检测图片是正常图片，输出0。

采用上述技术方案的本发明与现有技术相比，具有如下技术效果：本发明针对传统的轮胎X光病疵自动检测中存在的对不明显病疵检测效果不好的问题，提供了一种全新的解决方案，可以大大提高对不明显病疵的检测效果，对于不同型号、不同轮胎花纹、不同X光机拍摄出的X光片均适用，经过预处理的轮胎X光图片能被神经网络模型更好的训练，可以辅助轮胎厂商进行高效的轮胎X光病疵检测，因而能够大大减轻轮胎质检人员的负担，而且能够帮助他们更好的对轮胎质量进行把控。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明基于孪生距离比对的轮胎X光病疵检测方法流程示意图。

图2为本发明孪生网络模型流程示意图。

图3为本发明轮胎的Faster R-CNN网络结构图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本实例旨在按本方法实施得到一个基于孪生距离比对的轮胎X光病疵检测方法。如图1所示，该实现过程包括收集轮胎X光图片、对图片进行标注、预处理图片、孪生神经网络模型搭建与训练、模型装载等步骤，具体实现过程如下：

(1)采集轮胎X光图片数据作为样本集。所采集的图片是用有拍摄效果相近的X光机拍摄的大小相同(实例中假定为20000×1900)，清晰度近似的图片，且这些轮胎的花纹是同一类型的，同时保证正常图和病疵图的样本图片都有很多张；

(2)对样本集数据进行标注并分为训练集、验证集和测试集。用LabelImg 工具标注X光图像，标注每张图片的类型，如果图片中有病疵的话，标注出病疵的位置，标注文件类型为xml文件。将样本集进行划分，划分原则是训练集70％，验证集和测试集各占15％。训练集中正常图和病疵图的分布保持原始样本集中的分布，测试集和验证集中正常图和病疵图的分布也符合原始样本集中的分布。

(3)预处理标注过的图片。预处理有两个部分的内容，一部分是用 Photoshop工具批量化的对图像进行锐化处理，第二部分是对原始图片进行切割，将20000×1900的大图切割为11张1900×1900的小图，让小图之间有一定的重叠(下一张图片与上一张图片大约重叠82个像素)，将相应的坐标位置进行变换改写之前标注得到的xml文件；

(4)孪生神经网络模型的搭建。孪生网络模型工作流程图如图2所示，孪生内部主要由三部分组成：神经网络1，神经网络2和计算孪生距离输出结果的部分。其中神经网络1和2的选择有很大的灵活性，选用LSTM(Long Short-Term Memory，长短期记忆网络)、CNN(Convolutional Neural Networks，卷积神经网络)或者其它的神经网络模型都可以，本实例中将两个神经网络都设置为Faster R-CNN，Faster R-CNN结构示意图如图3所示。FasterR-CNN 部分的训练流程设计如下：

1)初始化Faster R-CNN模型，设置好Faster R-CNN的参数，包括输入图片后统一的大小(在本实施方式中，图片的长边可以是任意尺寸，但是短的一边为600pix)、模型在Search Selective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；

2)对于任意输入大小输入的图像，先将图像进行缩放，然后送入网络 Convlayers(卷积网络层)，Conv layers(卷积网络层)中包含了13个conv 层(卷积)，13个relu层(激活函数层)，4个pooling层(池化层)，用这些基础的层提取图片的feature maps(特征图)，该feature maps(特征图) 被共享用于后续RPN层和全连接层。

3)RPN层首先经过3x3卷积，再分别生成foreground anchors(前景窗口) 与bounding box regression(边框回归)偏移量，然后计算出proposals(候选框)。

4)Roi Pooling层则利用proposals(候选框)从feature maps(特征图) 中提取proposal feature(候选框特征)送入后续全连接和softmax(归一化指数函数)网络作classification(分类)。

5)最后classification层(分类层)利用proposal feature maps(候选框特征图)计算proposal(候选框)的类别，同时再次bounding box regression(边框回归)获得检测框最终的精确位置。

根据设计好的训练过程算法，利用Python或者其它编程语言编程实现此算法过程，得到一个程序文件，在一台有较高性能gpu的计算机上搭建程序的运行环境并运行程序，这就是在真正开始训练前的准备过程。

(5)对孪生神经网络模型进行训练。整个的训练过程如下描述：

1)基于训练集对孪生网络进行一次训练；

2)训练完后采用K交叉验证调整模型超参数；

3)基于测试集测试模型精度；

4)反复迭代1)到3)步骤，将模型的参数和测试的精度(查准率和查全率)保存下来；

5)对比所有的模型的查全率、查准率，选在在查全率和查准率都较高(查全率和查准率都大于85％)的模型作为最后的模型，这样的模型是泛化能力比较好的模型；如果没有这样的模型，则说明模型不可用，需要回到步骤(4) 进行模型的设计，并且重新训练模型。

(6)完成训练，将模型加载。将在步骤(5)中得到的模型保存下来，以此模型为基础开发一个系统将模型封装起来，主要是提供一些用于人机交互的界面：允许用户批量化上传轮胎x光图片，将模型检测完的结果反馈给用户等等。因该部分与本发明无关，在此不在赘述，如此，交互部分和模型就共同组成了轮胎X光病疵检测系统。

(7)通过以上步骤，我们得到了一个基于孪生距离比对的轮胎X光病疵检测系统。将此系统安装在质检人员的计算机上，质检人员可以通过此系统将轮胎X光照片批量上传，系统将用户上传的图片逐张交给内核的模型去判断是否是病疵图，最终，系统将所有的图片编号和是否是病疵图的结果反馈给质检人员。此系统能够大大解放质检人员长期机械化的工作，并且对于提高轮胎出厂的质量有很大的帮助。

步骤(7)中加载的模型是通过之前的步骤得到的，它能够对图片进行判别的原因是：对于一张要进行判别的轮胎X图，将它切分为很多小图，每次选择其中的两张输入训练好的孪生神经网络，孪生神经网络能够将这两张图片通过特征映射映射到新的空间。在这个新的空间上计算这两个结果之间的距离，设定一个距离为判断的临界阈值，如果两个结果之间的距离大于临界阈值，代表两张输入图片不是一个类型，即一个是正常图一个是病疵图，那么就说明原始大图上有病疵，输出1；如果距离小于临界阈值，说明两张输入图片是一个类型，即都是正常图片或都是病疵图片，输出0。要说明的是，一般来说，病疵的部分会有明显的边界，不会存在一张原始图片切割出的所有小图都是病疵图的情况。综上所述，如果最终所有小图两两对比的输出结果都是0，我们就判断原始图片是正常图，否则，判断它是病疵图。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本实用新型的若干优选实施例，但如前所述，应当理解本实用新型并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述实用新型构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本实用新型的精神和范围，则都应在本实用新型所附权利要求的保护范围内。

Claims

1.一种基于孪生距离比对的轮胎X光病疵检测方法，其特征在于，所述检测方法包括如下步骤：

步骤S3、对所述X光检测图片进行预处理；

步骤S4、搭建Siamese Network模型；

步骤S5、基于训练集对所述Siamese Network模型进行训练，每次训练完后基于所述验证集进行K交叉验证，基于所述测试集测试所述Siamese Network模型的精度；

步骤S6、将训练过程迭代多个周期，最后选择使所述Siamese Network模型准确率最高的参数；

步骤S7、得到的所述Siamese Network模型加载后可以进行对所述X光检测图片中是否有病疵部分的判别，输入所述轮胎的所述X光检测图片，输出所述X光检测图片是正常图或是病疵图；

其中，步骤S5基于所述训练集对所述Siamese Network模型进行训练进一步包括如下步骤：

1)基于训练集对所述Siamese Network模型进行训练；

2)训练完后采用K交叉验证调整模型超参数；

3)基于所述测试集测试所述Siamese Network模型的精度；

5)对比所有的模型的精度，选在精度大于85％的模型作为最后的所述SiameseNetwork模型；如果没有精度大于85％的模型，则回到步骤S4中进行模型的设计，并且重新训练模型。

2.根据权利要求1所述的基于孪生距离比对的轮胎X光病疵检测方法，其特征在于，步骤S2中根据图片的不同类型对所述X光检测图片的所述样本集进行标注包括：利用标注工具对所述样本集进行分类，如果有病疵将病疵位置画框并注释，最终将标注信息保存在xml文件中。

3.根据权利要求2所述的基于孪生距离比对的轮胎X光病疵检测方法，其特征在于，步骤S3对所述X光检测图片进行预处理进一步包括如下步骤：1)对图像进行锐化处理；2)对原始的大图进行切割，分为多个尺寸合适的小图，小图之间有重叠，将相应的坐标位置进行变换改写之前标注得到的所述xml文件。

4.根据权利要求1所述的基于孪生距离比对的轮胎X光病疵检测方法，其特征在于，步骤S7进一步包括如下步骤：对于一张原始所述X光检测图片，将它切分为很多小图，每次选择其中的两张小图输入训练好的所述Siamese Network模型，所述Siamese Network模型将所述两张小图通过特征映射映射到新的空间，计算这两个结果之间的距离，设定一个距离为判断的临界阈值，如果两个结果之间的距离大于临界阈值，代表两张输入图片不是一个类型，即一个是正常图一个是病疵图，则原始X光检测图片上有病疵，输出1；如果距离小于临界阈值，说明两张输入图片是一个类型，即原始X光检测图片是正常图片，输出0。