CN113901947A - 一种小样本下的轮胎表面瑕疵智能识别方法 - Google Patents

一种小样本下的轮胎表面瑕疵智能识别方法 Download PDF

Info

Publication number
CN113901947A
CN113901947A CN202111300126.7A CN202111300126A CN113901947A CN 113901947 A CN113901947 A CN 113901947A CN 202111300126 A CN202111300126 A CN 202111300126A CN 113901947 A CN113901947 A CN 113901947A
Authority
CN
China
Prior art keywords
flaw
network
data set
defect
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111300126.7A
Other languages
English (en)
Inventor
王渊彬
谢海波
杨华勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
High End Equipment Research Institute Of Zhejiang University
Original Assignee
High End Equipment Research Institute Of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High End Equipment Research Institute Of Zhejiang University filed Critical High End Equipment Research Institute Of Zhejiang University
Priority to CN202111300126.7A priority Critical patent/CN113901947A/zh
Publication of CN113901947A publication Critical patent/CN113901947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种小样本下的轮胎表面瑕疵智能识别方法，该方法基于对抗生成网络Pix2Pix将少量的轮胎表面瑕疵图片进行数据集扩充，在图片上选定区域生成瑕疵，利用新的混合数据集训练深度卷积神经网络，用于表面瑕疵的识别。本发明基于对抗生成网络，解决了实际生产中小样本情况下难以训练出稳定深度学习网络的问题，提升了网络的瑕疵识别效果，其实现方法简单，手段灵活，适用性强。

Description

一种小样本下的轮胎表面瑕疵智能识别方法
技术领域
本发明涉及轮胎质量检测领域，具体涉及一种小样本下的轮胎表面瑕疵智能识别方法。
背景技术
轮胎表面瑕疵的智能化检测已经逐步替代以往的人工检测称为一种趋势，这也是轮胎生产企业迈向智能制造过程中需要攻克的一项技术。目前国内对轮胎表面的检验手段主要是人工检测，但人工检验需要耗费大量的人力，进而也会增加轮胎的生产成本，且检测员长时间重复大量的检测工作，容易疲惫并导致检测的准确率下降。
专利文献CN 108337900 B描述了一种基于传统机器视觉的轮胎表面细长瑕疵识别方法，提出了一种轮胎表面图像拍摄装置，基于海森矩阵、二值化、阈值过滤等多重处理得到瑕疵区域，并能够与轮胎原有的花纹区分。其他研究人员也使用了机器学习对轮胎瑕疵图像进行分类并取得了一定成功。
轮胎表面缺陷检测实际上是一个分类问题，传统的机器视觉检测存在的主要的问题是，必须人工定义瑕疵的特征，且很可能每一种瑕疵都需要与之相对应的特征提取预处理，这在识别复杂多变、种类繁多的轮胎表面瑕疵上是较难实现的，因此使用可以自动提取瑕疵特征的深度学习方法对轮胎表面瑕疵进行检测是一种可以尝试的选择。在轮胎表面瑕疵的检测上使用深度学习方法进而也面临着一个问题，即数据集的规模不足。一般而言使用深度学习方法需要较大规模的数据集，但实际生产中想获得数目较多的缺陷样本并不现实，因此仍需寻找一定方法使得深度学习模型能在初始数据集不大的情况下也能被较好地训练出来，即寻求在小样本条件下训练轮胎瑕疵识别模型的方法。
发明内容
针对现有技术的不足，本发明提供一种小样本下的轮胎表面瑕疵智能识别方法，具体技术方案如下：
一种小样本下的轮胎表面瑕疵智能识别方法，该方法包括如下步骤：
步骤一：获取轮胎表面瑕疵的RGB三通道彩色图片，并将其处理为小尺寸像素的单通道灰度图；
步骤二：对步骤一得到的灰度图进行预处理，对图片进行扩增，形成预处理数据集；
步骤三：对预处理数据集中的图片进行瑕疵位置标注，利用多边形方法对每张图片中的瑕疵区域进行框定，并输入瑕疵类型作为标签，完成瑕疵的标注工作，得到瑕疵标注后的预处理数据集；
步骤四：创建Pix2Pix对抗生成网络，所述Pix2Pix对抗生成网络包括生成器和判别器，所述生成器选择Unet网络，所述判别器选择条件判别器PatchGAN网络；
步骤五：利用步骤三瑕疵标注后的预处理数据集训练Pix2Pix对抗生成网络，得到训练后的Pix2Pix对抗生成网络，作为图片生成网络；
步骤六：从瑕疵批注后的预处理数据集中随机选取一张轮胎图片、一个瑕疵区域和瑕疵类型标签输入所述图片生成网络，通过网络处理生成一张新的瑕疵图片，用这种方式不断循环操作，将瑕疵图片数据集扩充到目标数量，形成扩充后的数据集；
步骤七：创建瑕疵分类卷积神经网络，经过若干层卷积计算，通过全连接层得到一个二维向量作为输出，每个维度代表一类瑕疵类型；
步骤八：用扩充后的数据集训练所述瑕疵分类卷积神经网络，获得训练后的瑕疵分类卷积神经网络；
步骤九：将新获取的待分类图片进行步骤一的预处理后，输入训练后的瑕疵分类卷积神经网络中，取输出的二维向量中值最大的一类瑕疵类型作为判断结果。
进一步地，所述步骤四中，生成器网络的优化器选择Adam优化器，学习率lr设置为2×10-4，一阶指数衰减率β1设置为0.5，二阶指数衰减率β2为0.999，模糊因子eplison为1×10-7。
进一步地，所述步骤六中的瑕疵分类卷积神经网络包括三个卷积层、两个池化层和一个全连接层，输入为128×128大小的灰度图，进行一次卷积并进行激活后，得到128×128×8的数据层，随后进行最大池化处理，得到64×64×8的数据层，重复进行三次卷积后得到2×2×64的数据层，最后，通过全连接层得到一个二维向量作为输出，每个维度代表一类瑕疵类型。
进一步地，所述瑕疵分类卷积神经网络训练过程中，采用Adam优化器，损失函数使用稀疏多酚类交叉熵函数，batch size取10，学习率取0.00001。
本发明的有益效果如下：
本发明仅需使用少量的轮胎瑕疵图片样本就能够实现比较高的瑕疵识别准确率，降低数据收集的难度，且分类网络可以直接从预处理的图像中识别瑕疵类型，相较于传统机器视觉方法降低了算法中特征定义的难度和工作量。该方法训练流程简单，网络构建方便，部署难度较低，更加适用于实际生产现场。
附图说明
图1是小样本下的轮胎表面瑕疵智能识别方法流程图。
图2是表面瑕疵图片对抗生成方法流程图。
图3是瑕疵分类卷积神经网络结构图。
图4是采用不同比例的真伪比例的图片进行分类的准确率；
图5为真伪比例为1：4时采用本发明的方法得到的三个不同的分类效果图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
该实施例是在Ubuntu 18.04.04系统中运行的Python 3.7开发环境中进行程序开发，选择Tensorflow 2.0作为深度学习网络开发框架，程序运行于一台笔记本电脑，CPU为Intel Core i7-8565U 1.8Hz，GPU为NVIDIA GeForce MX150。
如图1所示，该实施例的具体流程如下：
步骤一：将120张预先收集的轮胎表面瑕疵的RGB三通道彩色图片导入上述的开发环境中，为了降低计算复杂性，在tensorflow中将图片处理为128×128像素的单通道灰度图。在这120张图片中随机取25张用于制作后续实验的测试集，剩余95张用于GAN的训练。
步骤二：对95张用于训练的单通道灰度图进行180度旋转和水平翻转操作，从而将数据集的图片数量扩充为原来的三倍，形成预处理轮胎瑕疵数据集，增加数据分布的丰富性。
步骤三：在Labelme软件工具中导入预处理轮胎瑕疵数据集，进行瑕疵位置标注。因为瑕疵的形状多变，圆形、矩形等简易标签容易包含较多的正常背景，不利于神经网络抓取瑕疵的特征，因此在制作局部轮胎表面瑕疵图片的标签时，需要使用多边形标签，准确描述瑕疵的位置和形状。选择create polygons模式，利用多边形方法对每张图片中的瑕疵区域进行框定，并输入瑕疵类型作为标签，完成瑕疵的标注工作；
步骤四：在tensorflow中创建Pix2Pix对抗生成网络，作为图片生成网络，如图2所示，其中包含两个主要模块：生成器和判别器，生成器选择Unet网络，提升对细节的处理能力，判别器选择条件判别器PatchGAN网络，把图像等分成patch，分别判断每个Patch的真假，最后再取平均。经测试，训练过程迭代800次后取得较好的效果。
步骤五：利用步骤四得到的预处理轮胎瑕疵数据集和标注训练步骤五中创建的对抗生成网络，首先基于给定的瑕疵标注和随机噪声生成假数据，然后判别器判断来自预处理数据集的真数据和生成的假数据的真假，以判定结果为依据计算损失函数，优化生成器和判别器的网络参数，当循环次数达到预设的阈值后，停止训练，获得图片生成网络。生成器网络的优化器选择性能比较优秀的Adam优化器，学习率lr设置为2×10-4，一阶指数衰减率β1设置为0.5，二阶指数衰减率β2为0.999，模糊因子eplison为1×10-7。
步骤六：用步骤四得到的图片生成网络对步骤三中获得的预处理数据集进行瑕疵样本扩充，对网络输入一张轮胎图片和一个瑕疵区域和类型标签，通过网络处理能够生成一张新的瑕疵图片，用这种方式不断循环操作，将预处理轮胎瑕疵数据集扩充到目标数量，形成扩充数据集；为研究生成的瑕疵图像在整个数据集中所占比重对分类模型效果的影响，设置了真伪图像比例为1：0，1：1，1：2，1：3，1：4，1：5，1：6七个档，生成了7个数据集，分别进行后续的模型训练，对比最终的分类效果
步骤七：在tensorflow中创建瑕疵分类卷积神经网络，结构如图3所示，使用三个卷积层、两个池化层和一个全连接层，输入为128×128大小的灰度图，进行一次卷积并进行激活后，得到128×128×8的数据层，随后进行最大池化处理，得到64×64×8的数据层，重复进行三次卷积后得到2×2×64的数据层，最后，通过全连接层得到一个二维向量作为输出，每个维度代表一类瑕疵类型。
步骤八：用步骤六中获得的扩充数据集训练步骤七创建的瑕疵分类卷积神经网络，采用Adam优化器，损失函数使用稀疏多酚类交叉熵函数，batch size取10，学习率取0.00001，训练循环达到预设的阈值(本测试设定为200个迭代)后，停止训练，获得训练后的瑕疵分类卷积神经网络；分别针对步骤六中的7个数据集进行训练，获得7个分类模型。
步骤九：将步骤一中预留的没有参与训练的25张测试集图片逐一输入到步骤八获得的训练后的7个瑕疵分类卷积神经网络中，取输出的二维向量中值最大的一类瑕疵类型作为判断结果。不同真伪比例所得到的分类准确率如图4所示。其中，1：0组代表仅使用真实图片(未加入生成图片)的传统深度学习方法，在本实验中样本量较少(95张训练图片)的情况下准确率仅能达到71％左右。在应用本发明提出的方法，加入不同比例的生成图片后，其他组可以观察到明显的准确率提升。同时，当真伪比例为1：4时效果达到最优，分类效果示例如图5所示,。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (4)

1.一种小样本下的轮胎表面瑕疵智能识别方法，其特征在于，该方法包括如下步骤：
步骤一：获取轮胎表面瑕疵的RGB三通道彩色图片，并将其处理为小尺寸像素的单通道灰度图；
步骤二：对步骤一得到的灰度图进行预处理，对图片进行扩增，形成预处理数据集；
步骤三：对预处理数据集中的图片进行瑕疵位置标注，利用多边形方法对每张图片中的瑕疵区域进行框定，并输入瑕疵类型作为标签，完成瑕疵的标注工作，得到瑕疵标注后的预处理数据集；
步骤四：创建Pix2Pix对抗生成网络，所述Pix2Pix对抗生成网络包括生成器和判别器，所述生成器选择Unet网络，所述判别器选择条件判别器PatchGAN网络；
步骤五：利用步骤三瑕疵标注后的预处理数据集训练Pix2Pix对抗生成网络，得到训练后的Pix2Pix对抗生成网络，作为图片生成网络；
步骤六：从瑕疵批注后的预处理数据集中随机选取一张轮胎图片、一个瑕疵区域和瑕疵类型标签输入所述图片生成网络，通过网络处理生成一张新的瑕疵图片，用这种方式不断循环操作，将瑕疵图片数据集扩充到目标数量，形成扩充后的数据集；
步骤七：创建瑕疵分类卷积神经网络，经过若干层卷积计算，通过全连接层得到一个二维向量作为输出，每个维度代表一类瑕疵类型；
步骤八：用扩充后的数据集训练所述瑕疵分类卷积神经网络，获得训练后的瑕疵分类卷积神经网络；
步骤九：将新获取的待分类图片进行步骤一的预处理后，输入训练后的瑕疵分类卷积神经网络中，取输出的二维向量中值最大的一类瑕疵类型作为判断结果。
2.根据权利要求1所述的小样本下的轮胎表面瑕疵智能识别方法，其特征在于，所述步骤四中，生成器网络的优化器选择Adam优化器，学习率lr设置为2×10-4，一阶指数衰减率β1设置为0.5，二阶指数衰减率β2为0.999，模糊因子eplison为1×10-7。
3.根据权利要求1所述的小样本下的轮胎表面瑕疵智能识别方法，其特征在于，所述步骤六中的瑕疵分类卷积神经网络包括三个卷积层、两个池化层和一个全连接层，输入为128×128大小的灰度图，进行一次卷积并进行激活后，得到128×128×8的数据层，随后进行最大池化处理，得到64×64×8的数据层，重复进行三次卷积后得到2×2×64的数据层，最后，通过全连接层得到一个二维向量作为输出，每个维度代表一类瑕疵类型。
4.根据权利要求1所述的小样本下的轮胎表面瑕疵智能识别方法，其特征在于，所述瑕疵分类卷积神经网络训练过程中，采用Adam优化器，损失函数使用稀疏多酚类交叉熵函数，batch size取10，学习率取0.00001。
CN202111300126.7A 2021-11-04 2021-11-04 一种小样本下的轮胎表面瑕疵智能识别方法 Pending CN113901947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111300126.7A CN113901947A (zh) 2021-11-04 2021-11-04 一种小样本下的轮胎表面瑕疵智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111300126.7A CN113901947A (zh) 2021-11-04 2021-11-04 一种小样本下的轮胎表面瑕疵智能识别方法

Publications (1)

Publication Number Publication Date
CN113901947A true CN113901947A (zh) 2022-01-07

Family

ID=79028156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111300126.7A Pending CN113901947A (zh) 2021-11-04 2021-11-04 一种小样本下的轮胎表面瑕疵智能识别方法

Country Status (1)

Country Link
CN (1) CN113901947A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943684A (zh) * 2022-04-15 2022-08-26 上海波士内智能科技有限公司 一种利用对抗生成自编码神经网络的曲面异常检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943684A (zh) * 2022-04-15 2022-08-26 上海波士内智能科技有限公司 一种利用对抗生成自编码神经网络的曲面异常检测方法
CN114943684B (zh) * 2022-04-15 2023-04-07 上海波士内智能科技有限公司 一种利用对抗生成自编码神经网络的曲面异常检测方法

Similar Documents

Publication Publication Date Title
CN110097543B (zh) 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN110310259A (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN108416774A (zh) 一种基于细粒度神经网络的织物种类识别方法
CN109544522A (zh) 一种钢板表面缺陷检测方法及系统
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
Li et al. TireNet: A high recall rate method for practical application of tire defect type classification
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN112001901A (zh) 基于卷积神经网络的苹果缺陷检测方法及系统
CN111914902A (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN111724358A (zh) 基于图像和卷积神经网络的混凝土质量检测方法及系统
CN114332086B (zh) 基于风格迁移和人工智能的纺织品缺陷检测方法及系统
CN111275684A (zh) 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN113838040A (zh) 一种针对彩色纹理织物缺陷区域的检测方法
Jia Fabric defect detection based on open source computer vision library OpenCV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination