CN108711148B - 一种基于深度学习的轮胎缺陷智能检测方法 - Google Patents

Abstract

一种基于深度学习的轮胎缺陷智能检测方法，该方法在原有X光检测设备的基础上，通过视频分配器，将原有视频分为2路，一路供操作员进行人工判定，另一路通过高速视频采集卡采集X光图像并送入识别系统；利用人工智能技术实现自动化，提高生产率，节省劳动成本。

Description

一种基于深度学习的轮胎缺陷智能检测方法

技术领域：

本发明设计一种基于深度学习的轮胎缺陷智能检测方法，属于轮胎检测领域。

背景技术：

目前国内大多数轮胎制造企业仍然依靠人眼识别X光图像来诊断轮胎缺陷，随着近年来X射线技术的快速发展，X光检测设备的运行节拍速度越来越快，这种人工判定方法的识别效率和精度已经远远不能满足生产要求，并且容易形成职业病。近些年国内很多学者也在致力于轮胎缺陷自动检测方法的研究，但是鲜有应用成功的案例，而国外已有的轮胎缺陷智能检测系统价位高，检测结果差强人意，目前我国急需具有自主知识产权的轮胎缺陷智能检测系统以克服传统人工判定方法的弊端，从而大幅度提高轮胎质量检测精度及检测速度，进而提高企业生产效率，降低企业人工成本，促进企业提质增效。本发明利用深度学习算法，对企业十余年，近百名工程师标注的数百万张样本进行深度训练学习，可有效替代现有的人工诊断工作，并具有低成本高效率等优势。

发明内容：

发明目的：

本发明提供一种基于深度学习的轮胎缺陷智能检测方法，采用计算机对X光图像进行分析和识别，完全取代人工判读，判读结果客观准确，并且能将结果自动归类。本发明可以有效克服人工评定中的由于人为原因造成的误判和漏判，使评判过程客观化、科学化和规范化。通过对轮胎缺陷进行归类统计，生产厂家还可以得到生产过程中可能存在的问题，并调整相应的生产流程，提高某些环节的生产水平，从而减少轮胎缺陷出现的几率，提高企业的生产效益，降低企业人工成本，促进企业提质增效。

技术方案：

一种基于深度学习的轮胎缺陷智能检测方法，采用该方法对半钢/全钢轮胎进行缺陷检测及识别，其特征在于：

该方法在原有X光检测设备的基础上，通过视频分配器，将原有视频分为2路，一路供操作员进行人工判定，另一路通过高速视频采集卡采集X光图像并送入识别系统；其按照以下步骤进行：

(1)识别系统经过高速采集卡将X光图像采集进管理服务器，管理服务器将图像进行拼接后，生成一个轮胎的完整图像，然后将图像根据胎冠、胎侧部分为左中右三个区域，每个区域为边长0.4×b_w的正方形，再加上按b_w×0.4b_w截取的整体情况作为第四个区域，形成四个识别区域，其中b_w为X光图像的宽度；

(2)按区域分割以后，将分割后的数据送入计算单元群并通过识别算法对轮胎缺陷进行识别，识别后的结果送回管理服务器；

(3)根据现场经验对每一种轮胎缺陷设定一个置信率C_i，大于C_i的识别结果直接显示该缺陷类别，小于C_i的识别结果则需要现场操作人员人为判定是否为真实缺陷；

(4)将小于C_i的误判样本作为新样本，自动补充到样本库，训练服务器定期自动精训一次，将精训形成的参数自动更新到计算单元群中。

(1)步骤中图像拼接方法之前，采用图像边缘提取方法进行预处理，以便图像拼接更快，图像边缘提取方法具体如下：

使用如下算子，且只在Y方向上进行卷积：

样本库、标定库和训练库的形成，具体步骤如下：

(1)建立标定采集库，其中的轮胎缺陷X光图像一方面来自于积累的历史X光图像，另一方面来自于现场采集的图像；

(2)对标定采集库里的X光图像按标定流程进行标定，由标定人员负责标定自己分工内的缺陷，不要求分工间的标定顺序，每完成一个缺陷流程的标定，标定完成度就会增加，直至所有缺陷流程标定完成，将标定结果上传至标定结果库；

(3)对标定结果库中的轮胎缺陷标定结果进行人工审核，通过审核的图片存入样本库，未通过审核的图片返回标定采集库，并重复(1)-(3)步骤；

(4)对样本库进行训练，最终生成训练参数集文件存入训练库。

所述步骤(2)中的标定流程具体如下：

(2-1)进入标定程序，选择一张未标定完成的X光图像数据，点击标定进入标定界面；

(2-2)使用鼠标和键盘方向键对图像进行缩放、移动等操作确定缺陷位置；

(2-3)通过鼠标操作对缺陷部分画框以确认位置和缺陷类别；

(2-4)重复步骤(21)～(23)，直至完成分工内所有标定任务。

(2)步骤中的识别算法为基于深度学习的轮胎缺陷识别算法，具体如下：

轮胎缺陷识别算法的关键技术具体包括识别区域分割及特征检测器的设计、卷积神经网络的结构设计和损失函数的确定；

(1)识别区域分割及特征检测器的设计：

将图像分为4个区域，区域1-3用来识别细节缺陷，区域4用来识别宏观缺陷；区域1-3每个区域为边长0.4×b_w的正方形，区域4为b_w×0.4b_w的长方形；

考虑到每个的区域特点不同，使用的特征检测器也有所不同，区域1-3检测具体小目标，一般为正方形特征，所以使用X、Y方向1：1比例变化的特征检测器；区域4检测为横向或纵向的总体缺陷，使用X、Y方向1：2比例变化的特征检测器；

(2)卷积神经网络的结构设计

网络结构每个分区切割的图像固定压缩到448x448大小的标准图片，然后经过多层卷积形成4096个特征点；

(3)神经网络损失函数的确定

对于轮胎缺陷识别，损失函数需要包含2个部分，包括位置损失和置信损失，损失函数定义如下：

L(x,c,l,g)＝L_conf(x,c)+λL_loc(x,l,g)

其中，L表示损失函数；L_conf表示缺陷分类方面损的置信损失；L_loc表示位置损失；λ表示缺陷和定位平衡常数，依据不同识别区域调整；x表示训练样本；c表示缺陷分类；l表示定位预测的外框；g表示标定样本的真实框；

置信损失L_conf定义如下：

其中，

表示预测分类，M表示一共划分的区块数量；i表示预测框；p表示i预测框中预测的分类；j表示真实框；μ表示的错误分类和背景之间的平衡系数，当p预测为错误分类时，μ＝1，当p预测为背景时，μ＝0.01

位置损失L_loc定义如下：

其中，cx表示预测/标注框的中心点X坐标；cy表示预测/标注框的中心点Y坐标；h表示预测/标注框的高度；w表示预测/标注框的宽度；Enhance(γ)为增强算子，具体描述如下：

(2)步骤中的多层卷积使用分离卷积替代正常卷积以减小计算量，分离卷积后的计算量为：

Cost_d＝D_s×D_s×M×D_c×D_c+M×N×D_c×D_c

其中，D_s表示原始图像的边长；D_c表示原始卷积核的边长；M表示原始图像的数量；N表示卷积核的数量；Cost_n表示使用正常卷积需要的的计算次数；Cost_d表示使用正常卷积需要的的计算次数。

计算单元群采用了8个模块，1个识别区域由2个模块负责。

训练服务器周期为72小时。

样本图片支持多种数据格式包括png、jpeg、jpg、bmp；图片数据管理支持本地图片、USB存储图片、远程服务器存储图片多种模式。

优点效果：

本发明利用人工智能技术代替传统依靠人工识别X光图像诊断轮胎缺陷的方法。该系统利用SSD(single shot multibox detector)+Inception深度学习算法，对企业十余年，近百名工程师标注的数百万张样本进行深度训练学习，替代了现有的人工诊断工作。利用人工智能技术实现自动化，提高生产率，节省劳动成本。具体如下：

(1)为了提高检测速率，且便于直接产生二值图像，使用如下算子，且只在Y方向上进行卷积：

处理后，速度以及匹配度均大幅度提高，图像拼接耗时小于50ms；

(2)本发明所设计的识别算法对轮胎缺陷中的大目标和小目标兼具良好的检测能力，根据不同缺陷特点，设计不同的特征检测器进行分区域检测，有效提高识别率；

(3)本发明所提算法可以直接应用在树莓派上，在保证识别精度和速度的前提下，有效降低了识别系统的整体成本，更加有利于系统的推广应用。

附图说明：

图1为系统设备采集方案图；

图2为样本库的形成、标注和训练库的形成流程图；

图3为轮胎缺陷标定流程；

图4为检测算子作用下的相邻时刻待拼接X光图像；

图5为轮胎X图像识别区域分割图；图5中数字的底色对应区域的框线颜色；

图6为根据检测缺陷特点而设计的不同识别区域特征检测器；

图7为轮胎缺陷检测卷积神经网络结构图；

图8为分离卷积替代正常卷积过程。

具体实施方式：

系统设备采集方案见图1

识别系统对原有X光进行改造，通过视频分配器，将原有视频分为2路，一路供操作员监控使用，另一路进入识别系统，识别系统经过高速采集卡将视频采集进管理服务器，管理服务器将图像进行拼接后，生成一个轮胎的完整图像，然后将图像根据胎冠、胎侧等区域分部分为左中右三个区域，每个区域为边长0.4×b_w(X光图像宽度)的正方形，并与按b_w×0.4b_w截取的整体情况形成四个识别区域。按区域分割以后，将分割后的数据送入计算单元群，通过识别算法进行识别并将识别结果送回到管理服务器。每一种轮胎的缺陷都会根据现场经验设定一个置信率C_i，当识别结果大于C_i直接显示缺陷，小于C_i则需要现场操作人员人为判定是否为真实缺陷，同时将该样本作为新样本，自动补充到样本库，训练服务器定期(一般为72小时)自动精训一次，将精训形成的参数自动更新到计算单元群中，保证系统的可持续更新，进而不断提高系统的识别率。计算单元群采用了8个模块，1个识别区域有2个模块负责，一方面解决了一用一备的问题，另一方面也解决了系统参数动态更新的问题。其中样本库的形成、标注和训练库的形成步骤具体如下(见图2)：

(1)建立标定采集库，其中的轮胎缺陷X光图像一方面来自于积累的历史X光图像，另一方面来自于现场采集的图像。图片数据支持多种数据格式包括png、jpeg、jpg、bmp，并且图片数据管理支持本地图片、USB存储图片、远程服务器存储图片等多种模式；

(2)对标定采集库里的X光图像按标定流程进行标定，系统管理员将所需标定的所有缺陷分类分解到多个分工，每个分工包含一个或者多个缺陷标定操作，然后再将标定人员与分工进行关联，每个标定人员关联一个或者多个分工，标定人员之间的分工没有重复，由标定人员负责标定自己分工内的缺陷，不要求分工间的标定顺序，每完成一个缺陷流程的标定，标定完成度就会增加，直至所有缺陷按流程标定完成，将标定结果上传至标定结果库；；

(3)对标定结果库中的轮胎缺陷标定结果进行人工审核，通过审核的图片存入样本库，未通过审核的图片返回标定采集库，并重复(1)-(3)步骤；

(4)对样本库进行训练，最终生成的训练参数集文件存入训练库。

进一步所述步骤(2)中的标定流程具体如下，见图3：

(21)进入标定程序，选择一张未标定完成的X光图像数据，点击进入标定界面；

(22)使用鼠标和键盘方向键对图像进行缩放、移动等操作确定缺陷位置；

(23)通过鼠标操作对缺陷部分画框以确认位置和缺陷类别；

(24)重复步骤(21)～(23)，直至完成分工内所有标定任务。

具体缺陷识别方法的三个关键部分：

1、X光图像拼接方法

轮胎X光视频图像有自身特点，(1)周期性强，图像帧与帧之间的区别不大；(2)系统使用采集卡对X光视频进行二次采集，由于噪声的原因，同一个位置，灰度差不为0；(3)运行节拍速度快，扫描一个轮胎的时间在10秒，必须要考虑图像拼接的效率。

以往多使用如下传统sobel算子提取图像边缘：

由于轮胎的X光图像在Y轴上有特别明显的周期性，而且钢丝与橡胶之间有较强的灰度差，为了提高检测速率，且便于直接产生二值图像，所以本发明使用如下算子，且只在Y方向上进行卷积，提取图像边缘：

检测算子作用下的相邻时刻待拼接的X光图像见图4，其中a)、b)为采集的第一帧和第二帧图像，c)、d)是经检测算子处理后的图像。

使用以上检测算子处理后，检测速度以及匹配度均大幅度提高，图像拼接耗时小于50ms。

2、识别算法

2.1轮胎缺陷识别的特殊需求

根据生产实际需求，轮胎缺陷识别系统必须同时满足识别速度及系统成本两方面的要求。为了既保证识别效率同时考虑到精度和成本需要，系统计算单元采用树莓派作为基本单元。考虑到树莓派的存储和计算能力有限，设计了高识别率、低复杂度的缺陷识别算法，该方法同样可以应用于nvidia Jetson tx1、nvidia Jetson tx2等高性能开发模块上。

从缺陷角度来讲有的缺陷宽度非常大，譬如径向变形，需要覆盖至少20％的图像范围才能判断，有的缺陷譬如气泡、出线等则需要在很小的范围判断，目前尚无在大目标和小目标同时兼具良好性能的算法，基于以上本项目针对轮胎缺陷特点设计了一套分类识别的算法。

2.2区域分割及特征检测器的设计

拼接后的轮胎X光图像分为4个区域，区域1-3用来识别细节缺陷，区域4用来识别宏观缺陷，识别区域的分割见图5；

根据区域的不同特点使用不同的特征检测器，区域1-3检测具体小目标，一般均为正方形特征，所以使用X、Y方向1：1比例变化的检测器；区域4检测横向或纵向的总体缺陷，使用X、Y方向为1：2比例变化的检测器，试验证明这种分区域单独处理的方式较比原有识别方法，识别率提高50％以上。具体的特征检测器见图6，其中图6-1为区域1-3使用的特征检测器，图6-2为区域4使用的特征检测器。

2.3卷积神经网络的结构设计

网络结构如图7所示，将每个分区切割的图像固定压缩到448x448大小的标准图片，然后经过多层卷积形成4096个特征点。

为了适应快速计算的要求，项目使用可分离卷积大幅度降低运算量，使用分离卷积替代正常卷积。

使用正常卷积计算量：

Cost_n＝D_s×D_s×M×N×D_c×D_c

分离卷积后计算量：

Cost_d＝D_s×D_s×M×D_c×D_c+M×N×D_c×D_c

因此可以计算出分离后减少的计算量

分离卷积替代正常卷积的过程见图8；

使用可分离卷积后，计算量大幅度降低，而且超参数量也大幅度减少，因此可以在内存和计算能力不高的树莓派中使用。

2.4神经网络损失函数的确定

对于轮胎缺陷识别，损失函数需要包含2个部分，需包含定位信息和缺陷分类信息，定义损失函数如下：

L(x,c,l,g)＝L_conf(x,c)+λL_loc(x,l,g)

其中，L表示损失函数；L_conf表示缺陷分类方面损失；L_loc表示定位方面损失；λ表示缺陷和定位平衡常数，依据不同识别区域调整；x表示训练样本；c表示缺陷分类；l表示定位预测的外框；g表示标定样本的真实框。

包含缺陷分类信息的置信损失函数L_conf定义如下：

其中，

表示预测分类，M表示一共划分的区块数量；i表示预测框；p表示i预测框中预测的分类；j表示真实框；μ表示的错误分类和背景之间的平衡系数，当p预测为错误分类时，μ＝1，当p预测为背景时，μ＝0.01

包含定位信息的位置损失函数L_loc定义如下：

其中，cx表示预测/标注框的中心点X坐标；cy表示预测/标注框的中心点Y坐标；h表示预测/标注框的高度；w表示预测/标注框的宽度；Enhance(γ)为增强算子，作用是增加预测准确的标注框的权重，提高训练效率，具体描述如下：

Claims (9)

1.一种基于深度学习的轮胎缺陷智能检测方法，采用该方法对半钢/全钢轮胎进行缺陷检测及识别，其特征在于：

该方法在原有X光检测设备的基础上，通过视频分配器，将原有视频分为2路，一路供操作员进行人工判定，另一路通过高速视频采集卡采集X光图像并送入识别系统；其按照以下步骤进行：

(1)识别系统经过高速采集卡将X光图像采集进管理服务器，管理服务器将图像进行拼接后，生成一个轮胎的完整图像，然后将图像根据胎冠、胎侧部分为左中右三个区域，每个区域为边长0.4×b_w的正方形，再加上按b_w×0.4b_w截取的整体情况作为第四个区域，形成四个识别区域，其中b_w为X光图像的宽度；

(2)按区域分割以后，将分割后的数据送入计算单元群并通过识别算法对轮胎缺陷进行识别，识别后的结果送回管理服务器；

(3)根据现场经验对每一种轮胎缺陷设定一个置信率C_i，大于C_i的识别结果直接显示该缺陷类别，小于C_i的识别结果则需要现场操作人员人为判定是否为真实缺陷；

(4)将小于C_i的误判样本作为新样本，自动补充到样本库，训练服务器定期自动精训一次，将精训形成的参数自动更新到计算单元群中。

2.根据权利要求1所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：(1)步骤中图像拼接方法之前，采用图像边缘提取方法进行预处理，以便图像拼接更快，图像边缘提取方法具体如下：

使用如下算子，且只在Y方向上进行卷积：

3.根据权利要求1所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：样本库、标定库和训练库的形成，具体步骤如下：

1)、建立标定采集库，其中的轮胎缺陷X光图像一方面来自于积累的历史X光图像，另一方面来自于现场采集的图像；

2)、对标定采集库里的X光图像按标定流程进行标定，由标定人员负责标定自己分工内的缺陷，不要求分工间的标定顺序，每完成一个缺陷流程的标定，标定完成度就会增加，直至所有缺陷流程标定完成，将标定结果上传至标定结果库；

3)、对标定结果库中的轮胎缺陷标定结果进行人工审核，通过审核的图片存入样本库，未通过审核的图片返回标定采集库，并重复1)-3)步骤；

4)、对样本库进行训练，最终生成训练参数集文件存入训练库。

4.根据权利要求3所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：所述步骤2)中的标定流程具体如下：

(2-1)进入标定程序，选择一张未标定完成的X光图像数据，点击标定进入标定界面；

(2-2)使用鼠标和键盘方向键对图像进行缩放、移动等操作确定缺陷位置；

(2-3)通过鼠标操作对缺陷部分画框以确认位置和缺陷类别；

(2-4)重复步骤(2-1)～(2-3)，直至完成分工内所有标定任务。

5.根据权利要求1所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：(2)步骤中的识别算法为基于深度学习的轮胎缺陷识别算法，具体如下：

轮胎缺陷识别算法的关键技术具体包括识别区域分割及特征检测器的设计、卷积神经网络的结构设计和损失函数的确定；

(一)、识别区域分割及特征检测器的设计：

将图像分为4个区域，区域1-3用来识别细节缺陷，区域4用来识别宏观缺陷；区域1-3每个区域为边长0.4×b_w的正方形，区域4为b_w×0.4b_w的长方形；

考虑到每个的区域特点不同，使用的特征检测器也有所不同，区域1-3检测具体小目标，一般为正方形特征，所以使用X、Y方向1：1比例变化的特征检测器；区域4检测为横向或纵向的总体缺陷，使用X、Y方向1：2比例变化的特征检测器；

(二)、卷积神经网络的结构设计

网络结构每个分区切割的图像固定压缩到448x448大小的标准图片，然后经过多层卷积形成4096个特征点；

(三)、神经网络损失函数的确定

对于轮胎缺陷识别，损失函数需要包含2个部分，包括位置损失和置信损失，损失函数定义如下：

L(x,c,l,g)＝L_conf(x,c)+λL_loc(x,l,g)

其中，L表示损失函数；L_conf表示缺陷分类方面损的置信损失；L_loc表示位置损失；λ表示缺陷和定位平衡常数，依据不同识别区域调整；x表示训练样本；c表示缺陷分类；l表示定位预测的外框；g表示标定样本的真实框；

置信损失L_conf定义如下：

其中，

表示预测分类，M表示一共划分的区块数量；i表示预测框；p表示i预测框中预测的分类；j表示真实框；μ表示的错误分类和背景之间的平衡系数，当p预测为错误分类时，μ＝1，当p预测为背景时，μ＝0.01

位置损失L_loc定义如下：

其中，cx表示预测/标注框的中心点X坐标；cy表示预测/标注框的中心点Y坐标；h表示预测/标注框的高度；w表示预测/标注框的宽度；Enhance(γ)为增强算子，具体描述如下：

6.根据权利要求5所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：

(二)步骤中的多层卷积使用分离卷积替代正常卷积以减小计算量，分离卷积后的计算量为：

Cost_d＝D_s×D_s×M×D_c×D_c+M×N×D_c×D_c

其中，D_s表示原始图像的边长；D_c表示原始卷积核的边长；M表示原始图像的数量；N表示卷积核的数量；Cost_d表示使用正常卷积需要的的计算次数。

7.根据权利要求1所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：计算单元群采用了8个模块，1个识别区域由2个模块负责。

8.根据权利要求1所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：训练服务器周期为72小时。

9.根据权利要求1所述的一种基于深度学习的轮胎缺陷智能检测方法，其特征在于：样本图片支持多种数据格式包括png、jpeg、jpg、bmp；图片数据管理支持本地图片、USB存储图片、远程服务器存储图片多种模式。

Images