CN116152228B - 基于机器视觉和机器学习轮胎缺陷检测方法及系统 - Google Patents

基于机器视觉和机器学习轮胎缺陷检测方法及系统 Download PDF

Info

Publication number
CN116152228B
CN116152228B CN202310395012.8A CN202310395012A CN116152228B CN 116152228 B CN116152228 B CN 116152228B CN 202310395012 A CN202310395012 A CN 202310395012A CN 116152228 B CN116152228 B CN 116152228B
Authority
CN
China
Prior art keywords
tire
detection
model
module
tires
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310395012.8A
Other languages
English (en)
Other versions
CN116152228A (zh
Inventor
郑飞
刘钟涛
陈珊珊
何为凯
许芝光
王云明
陈振学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Wonderful Intelligent Technology Co ltd
Original Assignee
Shandong Wonderful Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Wonderful Intelligent Technology Co ltd filed Critical Shandong Wonderful Intelligent Technology Co ltd
Priority to CN202310395012.8A priority Critical patent/CN116152228B/zh
Publication of CN116152228A publication Critical patent/CN116152228A/zh
Application granted granted Critical
Publication of CN116152228B publication Critical patent/CN116152228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开提供了基于机器视觉和机器学习轮胎缺陷检测方法及系统，涉及轮胎缺陷检测技术领域，检测方法包括轮胎传输模块将轮胎运输到轮胎检测区，轮胎抓取模块将待测轮胎抓取放置到轮胎旋转模块的检测台，并向检测台的旋转电机和图像采集模块发送触发信号，旋转台载待测轮胎旋转，采集轮胎待检测不同部位的图像数据获取轮胎唯一标识并打包发送控制服务器，经过基于YOLOv5的缺陷检测模型获得检测结果，并将检测数据发送轮胎抓取模块和用户终端，轮胎抓取模块根据检测数据将轮胎放置在正常轮胎和缺陷轮胎对应的轮胎传送带实现分拣，在用户终端实时检查缺陷轮胎图像和缺陷类型。提高对轮胎的检测效率。

Description

基于机器视觉和机器学习轮胎缺陷检测方法及系统
技术领域
本公开涉及轮胎缺陷检测技术领域，具体涉及一种基于机器视觉和机器学习的轮胎缺陷检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着汽车保有量越来越大，现有出现一部分交通事故是因为轮胎生产过程中胎冠和胎侧出现裂缝、划伤、穿孔和气泡等缺陷，极大的破坏正常生产生活以及社会秩序，因此在轮胎生产最后一环对轮胎进行缺陷检测就显得尤为重要。目前，汽车轮胎面缺陷检测仍然依赖于人工手动翻转轮胎并进行肉眼观察判断，检测结果存在极大的检测人员主观因素，在检测结果、检测效率方面皆存在不足，严重阻碍轮胎厂生产效率，同时市场现采用的轮胎缺陷自动检测系统因其数据集较大训练效率低，并且模型检测速度慢无法满足轮胎检测的实时性，且模型检测精度易随时间下降，不利于汽车工业的现代化发展。
当在进行轮胎检测的过程中，无法实现全部自动化，无法保证轮胎输送速度匹配轮胎检测速度并稳定传输出厂，无法保证机械臂抓取终端可以稳定抓取各规格轮胎；现有的轮胎旋转模块无法保证图像采集模块用最短时间最高效方式采集完整轮胎图像，并且适配各规格轮胎。
发明内容
本公开为了解决上述问题，提出了基于机器视觉和机器学习的轮胎缺陷检测方法及系统，将机器视觉和分布式学习应用于轮胎缺陷检测，解决人工肉眼缺陷检测的主观局限性，提高轮胎检测速度从而提高轮胎生产效率，同时运用分布式机器学习提高缺陷检测模型训练速度。
根据一些实施例，本公开采用如下技术方案：
基于机器视觉和机器学习轮胎缺陷检测方法，包括：
获取待检测轮胎的不同部位的图像数据，并进行预处理；
提取图像数据中的图像特征，将图像特征输入到TensorRT模型中，利用所述TensorRT模型对图像特征进行分析，输出轮胎缺陷结果；
其中，所述TensorRT模型获取的过程为：深度学习推理优化器TensorRT接收训练好的基于YOLOv5的缺陷检测模型，将基于YOLOv5的缺陷检测模型进行层间融合以及模型校准，最终输出获得所述TensorRT模型;
基于YOLOv5的缺陷检测模型的优化过程包括：采用数据并行分布式的方式；设定一个站点中每个NVIDIA Jetson Nano都有缺陷检测模型的完整副本，整个输入的训练集被划分为多个数据块，并以数据块为单位分配到不同NVIDIA Jetson Nano来计算模型参数变化量，每次训练迭代中，NVIDIA Jetson Nano交换本地计算的模型参数变化量以获得全局机器学习模型的参数变化量。
根据一些实施例，本公开采用如下技术方案：
基于机器视觉和机器学习轮胎缺陷检测系统，包括：
图像采集模块，用于采集待检测轮胎的不同部位的图像数据；
控制服务器，用于提取图像数据中的图像特征，将图像特征输入到经过与深度学习推理优化器TensorRT优化的YOLOv5的缺陷检测模型最终输出的TensorRT模型中；利用所述TensorRT模型对图像特征进行分析；基于YOLOv5的缺陷检测模型的优化过程包括：采用数据并行分布式的方式；设定一个站点中每个NVIDIA Jetson Nano都有缺陷检测模型的完整副本，整个输入的训练集被划分为多个数据块，并以数据块为单位分配到不同NVIDIAJetson Nano来计算模型参数变化量，每次训练迭代中，NVIDIA Jetson Nano交换本地计算的模型参数变化量以获得全局机器学习模型的参数变化量；
用户终端，用于输出轮胎缺陷结果。
进一步的，还包括轮胎输送模块、轮胎抓取模块以及轮胎旋转模块，所述轮胎抓取模块与图像采集模块以及所述轮胎旋转模块连接；
所述轮胎输送模块包括传输单元和传输动停检测单元；所述轮胎旋转模块包括检测台和自适应转速单元。
进一步的，所述传输单元用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂；传输动停检测单元用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取，若有，则向传输单元发送停止传输指令，若检测到待测轮胎被抓取离开传输单元，则向传输单元发送继续传输指令。
进一步的，所述检测台用于承载检测轮胎，检测轮胎平放置于检测台的旋转圆盘上，随旋转圆盘自转，以供图像采集模块的线性扫描工业相机和条形码读码器从各方向采集轮胎完整的图像数据；自适应转速单元用于根据轮胎直径大小计算出检测台所需旋转角速度。
进一步的，所述轮胎输送模块的传输单元包括从轮胎生产线到轮胎检测区的待测轮胎传送带，以及以轮胎检测区为起点运输无缺陷轮胎的正常轮胎传送带和以轮胎检测区为起点运输有缺陷轮胎的缺陷轮胎传送带，其中从轮胎生产线到轮胎检测区的传送带靠近轮胎检测区的一端设置有挡板；
所述传输动停检测单元通过两个红外测距传感器检测是否有待测轮胎在传送带滞留，所述红外测距传感器均设置于轮胎检测区一定距离的传送带侧面。
进一步的，所述轮胎抓取模块包括夹持装置，并通过所述夹持装置将待检测轮胎从传送带抓取放置到轮胎检测区的轮胎旋转模块的检测台上，所述检测台上方设置旋转圆盘，在检测过程中抓取轮胎离开旋转台辅助实现轮胎相应部位的图像完整采集，并将检测后的轮胎从检测台抓取放置到对应传送带。
进一步的，所述夹持装置包括基座、机械臂和加持末端执行器，夹持装置通过基座固定在地面，机械臂连接基座和夹持末端执行器实现带动夹持末端执行器移动，夹持末端执行器以圆盘为主框架，圆盘内部有四条中心对称的导轨，每条导轨上安装夹持杆，夹持杆可在各自导轨上往复运动。
与现有技术相比，本公开的有益效果为：
本公开的本公开提出的检测方法，通过分布式机器学习方式有效提高缺陷检测模型训练速度；在轮胎检测过程中不同种类轮胎图像分发到对应站点，通过由TensorRT优化加速的缺陷检测模型，大大减少检测时间，满足轮胎检测实时性要求；自训练学习单元按照预设训练周期，根据缺陷数据库重新整合训练集对缺陷检测模型重新训练，显著提高检测精度。
本公开提出的检测系统，使检测过程更趋于自动化，提升轮胎检测速度，大大减少检测时间，更好匹配轮胎出厂节拍。改进轮胎输送模块保证轮胎输送速度匹配轮胎检测速度并稳定传输出厂；改进轮胎抓取模块保证机械臂抓取终端可以稳定抓取各规格轮胎；改进轮胎旋转模块保证图像采集模块用最短时间最高效方式采集完整轮胎图像，且适配各规格轮胎。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的系统结构图；
图2为本公开实施例系统结构分布图；
图3为本公开实施例轮胎抓取模块外观图；
图4为本公开实施例轮胎旋转模块俯视图；
图5为本公开实施例基于YOLOv5的缺陷检测模型训练流程图；
图6为本公开实施例TensorRT优化加速模型检测流程图；
图7为本公开实施例图像数据检测流程图；
图8为本公开实施例控制流程图；
图9为本公开实施例自学习算法流程图；
其中，1.线性工业扫描相机；2.条形码读码器；3.光源；4.检测台；5.旋转圆盘；6.旋转电机；7.待测轮胎传送带；8.正常轮胎传送带；9.缺陷轮胎传送带；10.挡板；11.红外测距传感器；12.夹持装置；13.基座；14.机械臂；15.夹持末端执行器；16.圆盘；17.机械臂导轨；18.机械臂夹持杆；19.旋转台；20.旋转圆盘保留扇形部分；21.旋转圆盘外轮廓；22.旋转圆盘导轨；23.旋转圆盘夹持杆。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：NVIDIATensorRT优化器加速是指，在神经网络的部署和运行上使用NVIDIA TensorRT优化器加速缺陷检测模型的检测，能更好的部署神经网络并且提高神经网络模型的运行速度，保证轮胎检测系统的实时性。NVIDIATensorRT是一种高性能深度学习推理优化器和运行时提供低延迟和高通量的深度学习推理的应用程序。
YOLOv5是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路。
实施例1
本公开的一种实施例中提供了一种基于机器视觉和机器学习轮胎缺陷检测方法，当获取到图像数据之后，利用模型进行检测的步骤包括：
步骤1：获取待检测轮胎的不同部位的图像数据，并进行预处理；
步骤2：提取图像数据中的图像特征，将图像特征输入到TensorRT模型中；步骤3：利用所述TensorRT模型对图像特征进行分析，输出轮胎缺陷结果；
其中，所述TensorRT模型获取的过程为：深度学习推理优化器TensorRT接收训练好的基于YOLOv5的缺陷检测模型，将基于YOLOv5的缺陷检测模型进行层间融合以及模型校准，最终输出获得所述TensorRT模型。
作为一种实施例，预处理的方式为对图像数据进行图像灰度化、二值化和均值滤波，去除噪声干扰；
其中，所述图像二值化处理为通过阈值分割凸显轮胎轮廓，具体算法如下：
Figure SMS_1
其中，x，y表示像素点的位置信息，
Figure SMS_2
表示原图像该像素点的灰度值，/>
Figure SMS_3
表示阈值分割更新后该像素点的灰度值，遍历整张图像的像素点，当灰度值小于等于阈值T更新像素点灰度值为0，当灰度值大于阈值T则保留原始灰度值不变。
所述中值滤波是图像处理中一种常用的滤波手段，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，起到明显图像去噪的作用，其滤波模型如下：
Figure SMS_4
其中，x，y表示像素点的位置信息，模型选择滤波窗口大小（2L+1）*（2L+1）的矩形，
Figure SMS_5
为该点窗口的像素点灰度值序列，/>
Figure SMS_6
为灰度值序列中值，用该中值替换原像素点灰度值完成中值滤波。x+i表示从该像素点横坐标位置改变，y+j表示从该像素点纵坐标改变。
作为一种实施例，轮胎缺陷结果特征包括胎冠裂缝、胎冠划伤、胎冠穿孔、胎冠气泡、胎侧裂缝、胎侧划伤、胎侧穿孔、胎侧气泡。
作为一种实施例，基于YOLOv5的缺陷检测模型的优化训练过程为：
利用控制器的一个站点的四个NVIDIA Jetson Nano（Jetson Nano 是NVIDIA 公司研发的基于 GPU处理器的嵌入式开发板）训练一个基于YOLOv5的缺陷检测模型，采用数据并行分布式方式；所述数据并行方式是为了应对训练数据量爆炸式增长单个机器无法满足机器学习任务的庞大数据和计算需求，提高数据处理速度，减少任务执行时间的目的，本公开设定一个站点中每个NVIDIA Jetson Nano都有缺陷检测模型的完整副本，整个输入训练集被划分为多个数据块，并以数据块为单位分配到不同NVIDIA Jetson Nano来计算模型参数变化量，每次训练迭代中，NVIDIA Jetson Nano交换本地计算的模型参数变化量以获得全局机器学习模型的参数变化量，最终每个NVIDIA Jetson Nano上可运行完整缺陷检测模型。
各类图像基于YOLOv5训练好的缺陷检测模型，如图5所示，训练过程如下：
首先获得由轮胎图像构成的数据集，对所有轮胎图像的缺陷采用Labelimg标注工具进行标注，随后将数据集按照训练集和测试集8:2的比例进行随机划分，按照一定的分布式方式，采用PyTorch构建深度学习框架，图像尺寸大小img_size=(640,640),迭代次数100次，学习率Ir=0.01，批处理大小batch_size=8，最终获得胎冠缺陷检测和胎侧缺陷检测的基于YOLOv5的缺陷检测模型。
然后再利用深度学习推理优化器进行优化加速，具体的为通过高性能深度学习推理优化器TensorRT接收基于YOLOv5训练好的缺陷检测模型，将模型进行层间融合，精准化校准等优化，最终输出TensorRT模型，完成模型转换后运行在Jetson Nano的CUDA加速核心上，针对输入的轮胎图像数据进行分析，输出检测结果。
其中，NVIDIATensorRT优化器加速是指，在神经网络的部署和运行上使用NVIDIATensorRT优化器加速缺陷检测模型的检测，能更好的部署神经网络并且提高神经网络模型的运行速度，保证轮胎检测系统的实时性。NVIDIATensorRT是一种高性能深度学习推理优化器和运行时提供低延迟和高通量的深度学习推理的应用程序。
作为一种实施例，如图6所示，所述将模型进行层间融合以及精准化校准优化的过程为：
层间融合过程为：TensorRT通过对模型层间的横向或纵向合并，使得层的数量大大减少。横向合并可以把卷积、偏置和激活层合并成一个CBR结构，只占用一个CUDA核心。纵向合并可以把结构相同但是权值不同的层合并成一个更宽的层，也只占用一个CUDA核心。合并之后模型的层次更少了，占用的CUDA核心数也少了，因此整个模型结构会更小，更快，更高效。
精准化校准过程为：大部分深度学习框架在训练神经网络时网络中的张量都是32位浮点数的精度，一旦网络训练完成，在部署推理的过程中由于不需要反向传播，完全可以适当降低数据精度，比如降为FP16或INT8的精度。更低的数据精度将会使得内存占用和延迟更低，模型体积更小。而TensorRT会提供完全自动化的校准过程，会以最好的匹配性能将FP32精度的数据降低为INT8精度，最小化性能损失。
当获取到各类轮胎的缺陷数据后，保存各种缺陷数据，然后进行自训练学习，自训练学习单元按照自学习算法：按照预设机器学习训练周期，将缺陷数据库中的轮胎图像组成数据集，重新训练胎冠缺陷检测和胎侧缺陷检测的模型。
实施例2
本公开的一种实施例中提供了一种基于机器视觉和机器学习轮胎缺陷检测系统，包括：
图像采集模块，用于采集待检测轮胎的不同部位的图像数据；
控制服务器，用于提取图像数据中的图像特征，将图像特征输入到经过与深度学习推理优化器TensorRT优化的YOLOv5的缺陷检测模型最终输出的TensorRT模型中；利用所述TensorRT模型对图像特征进行分析；基于YOLOv5的缺陷检测模型的优化过程包括：采用数据并行分布式的方式；设定一个站点中每个NVIDIA Jetson Nano都有缺陷检测模型的完整副本，整个输入的训练集被划分为多个数据块，并以数据块为单位分配到不同NVIDIAJetson Nano来计算模型参数变化量，每次训练迭代中，NVIDIA Jetson Nano交换本地计算的模型参数变化量以获得全局机器学习模型的参数变化量；
用户终端，用于输出轮胎缺陷结果。
作为一种实施例，如图1、图2部分所示，所述图像采集模块包括采集单元、数据处理单元、光照感应单元和光源补充单元；采集单元用于采集轮胎胎冠、上胎侧、下胎侧、条形码不同部位的图像数据；数据处理单元根据采集单元采集的条形码图像分析获取轮胎唯一标识，将采集到的轮胎各部分图像与轮胎标识打包发送控制服务器；光照感应单元采集光照数据，并将光照数据发送光源补充单元；光源补充单元接收光照感应单元发送的光源数据，并根据光源数据设置补充光源光照强度；
由于线扫描相机以低成本采集高分辨率图像，在构建图像时每次仅采集单个像素线条，它只需在物体快速移动时查看物体的一小部分便可，因此非常适用于轮胎生产车间此类空间有限场景且高度适配本实施例中相机需要透过旋转台19底部镂空空间采集下胎侧图像的要求，故所述图像采集模块的采集单元包括三个线性工业扫描相机1和一个条形码读码器2，线性工业扫描相机1和条形码读码器2安装于轮胎检测区的检测架上，三个线性工业扫描相机1分别用于采集轮胎胎冠、上胎侧和下胎侧的图像，条形码读码器2用于采集轮胎条形码并将条形码发送图像采集模块的数据处理单元；
所述图像采集模块的光源补充单元指两块安装于轮胎旋转模块的检测台4上方和下方的光源3。
如图1、图2所示，还包括轮胎输送模块、轮胎抓取模块以及轮胎旋转模块，所述轮胎抓取模块与所述的图像采集模块以及所述轮胎旋转模块连接；
轮胎输送模块包括传输单元和传输动停检测单元；所述轮胎旋转模块包括检测台4和自适应转速单元。
还包括用户终端，其中，图像采集模块、用户终端皆与控制器连接，图像采集模块和轮胎旋转模块皆与轮胎抓取模块连接；轮胎抓取模块还与控制服务器相连。
传输单元用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂；传输动停检测单元用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取，若有，则向传输单元发送停止传输指令，若检测到待测轮胎被抓取离开传输单元，则向传输单元发送继续传输指令。
检测台4用于承载检测轮胎，检测轮胎平放置于检测台4的旋转圆盘5上，随旋转圆盘5自转，以供图像采集模块的线性扫描工业相机1和条形码读码器2从各方向采集轮胎完整的图像数据；自适应转速单元用于根据轮胎直径大小计算出需旋转角速度控制旋转电机6。
轮胎输送模块的传输单元包括从轮胎生产线到轮胎检测区的待测轮胎传送带7，以及以轮胎检测区为起点运输无缺陷轮胎的正常轮胎传送带8和以轮胎检测区为起点运输有缺陷轮胎的缺陷轮胎传送带9，其中从轮胎生产线到轮胎检测区的传送带靠近轮胎检测区的一端设置有挡板10。
具体的，轮胎输送模块的传输单元包括一条从轮胎生产线到轮胎检测区的待测轮胎传送带7，一条以轮胎检测区为起点运输无缺陷轮胎的正常轮胎传送带8和一条以轮胎检测区为起点运输有缺陷轮胎的缺陷轮胎传送带9，其中从轮胎生产线到轮胎检测区的传送带靠近轮胎检测区的一端设置挡板防止待测轮胎因未被抓取而掉落。
所述传输动停检测单元通过两个红外测距传感器11检测是否有待测轮胎在传送带滞留，所述红外测距传感器11均设置于轮胎检测区一定距离的传送带侧面。
具体的，轮胎传输动停检测单元通过两个红外测距传感器检测是否有待测轮胎在传送带滞留，一个红外测距传感器设置于距离轮胎检测区一个轮胎半径长度的传送带侧面，另一个红外测距传感器设置于距离轮胎检测区五个轮胎直径长度的传送带侧面，当第一个红外测距传感器检测到距离缩短且第二个红外测距传感器检测到距离缩短，则证明传送带靠近轮胎检测区存在至少5个轮胎滞留待检，则向传输单元发送停止传输指令，若第一个红外测距传感器检测到距离增长则证明传送带滞留轮胎被轮胎抓取模块带走检测，则向传输单元发送继续传输指令。
如图3所示，轮胎抓取模块用于将待测轮胎从轮胎输送模块的传送带抓取到轮胎检测区的轮胎旋转模块进行轮胎缺陷检测，在检测过程中抓取轮胎离开旋转台19辅助实现下胎侧图像完整采集，接收控制服务器发送的检测数据，并根据检测数据判断检测台4的轮胎是否为缺陷轮胎，若为缺陷轮胎则将轮胎放置在运输缺陷轮胎的传送带运出，若为正常轮胎则将轮胎放置在运输正常轮胎的传送带运输出厂。
轮胎抓取模块包括夹持装置12，并通过所述夹持装置12将待检测轮胎从传送带抓取放置到轮胎检测区的轮胎旋转模块的检测台4上，所述检测台4上方设置旋转圆盘5，在检测过程中抓取轮胎离开旋转台19辅助实现轮胎相应部位的图像完整采集，并将检测后的轮胎从检测台4抓取放置到对应传送带。
其中，如图3所示，夹持装置包括基座13、机械臂14和夹持末端执行器15，夹持装置通过基座固定在地面，机械臂连接基座和夹持末端执行器实现带动夹持末端执行器移动，夹持末端执行器以圆盘16为主框架，圆盘16内部有四条中心对称的机械臂导轨17，每条机械臂导轨上安装机械臂夹持杆18，机械臂夹持杆18可在各自机械臂导轨上往复运动。
作为一种实施例，轮胎抓取模块抓取轮胎的步骤为：
夹持装置的机械臂带动夹持末端执行器的机械臂夹持杆伸入待测轮胎中，四个机械臂夹持杆从加持末端执行器圆盘中心按照机械臂导轨向四周运动撑起轮胎，直至机械臂夹持杆卡住轮胎边缘，将待测轮胎放置于轮胎旋转模块的检测台4上，各机械臂夹持杆按照机械臂导轨向圆盘中心运动放下轮胎，轮胎抓取模块根据控制器发送的检测数据判断是否为缺陷轮胎，机械臂带动夹持末端执行器的机械臂夹持杆伸入待测轮胎中，四个机械臂夹持杆从加持末端执行器圆盘中心按照机械臂导轨向四周运动撑起轮胎，直至机械臂夹持杆卡住轮胎边缘，将检测后轮胎放置于对应传送带上，各机械臂夹持杆按照机械臂导轨向圆盘中心运动放下轮胎。
如图4所示，轮胎旋转模块包括检测台4和自适应转速单元；检测台4用于承载检测轮胎，检测轮胎平放置于检测台4上随检测台4自转，以供图像采集模块的线性扫描工业相机1和条形码读码器2从各方向采集检测轮胎完整图像；自适应转速单元用于根据轮胎直径大小计算出检测台4所需旋转角速度；
轮胎旋转模块的检测台4上方设置旋转圆盘5，旋转圆盘5半径40cm，旋转圆盘5镂空设计，将旋转圆盘5等分为六个扇形，即每个扇形圆心角为60°，以旋转圆盘5任一扇形半径所在直线为x轴，以x轴为起点保留0°至60°、120°至180°和240°至300°旋转圆盘三个圆盘保留扇形部分20，剩余三个旋转圆盘扇形保留距离旋转圆盘外轮廓3cm部分其余镂空，旋转圆盘三个保留扇形的中间设置有一条从距离旋转圆盘5中心15cm至距离圆盘外轮廓21 3cm的旋转圆盘导轨22，旋转圆盘导轨22中设置有可往复运动的旋转圆盘夹持杆23，在轮胎抓取模块通过夹持装置将待测轮胎从传送带抓取放置到轮胎检测区的轮胎旋转模块的检测台4后，三条旋转圆盘夹持杆23从靠近圆心一端向远离圆心的方向同步移动，在保持轮胎绝对居中的条件下向外撑起轮胎；自适应转速单元获取此时旋转圆盘夹持杆距圆心距离即待测轮胎的半径，为避免图像采集模块的线性工业扫描相机1在编码器确定采集图像频率后，由于线速度不同导致过快地采集线条从而线条重复采集和图像拉伸，或者采集线条速度过慢从而跳过一些线条使图像变得更稀薄，因此需要保证不同尺寸轮胎旋转的线速度相同，故自适应转速单元根据待测轮胎半径和预设线速度计算所需角速度并控制检测台4的旋转电机，计算公式如下：
Figure SMS_7
,
其中
Figure SMS_8
为所求旋转台旋转角速度，V为预设轮胎旋转线速度，r为待测轮胎半径；
作为一种实施例，轮胎旋转模块工作流程如下：待轮胎抓取模块通过夹持装置将待测轮胎从传送带抓取放置到轮胎检测区的轮胎旋转模块的检测台4后，三条旋转圆盘夹持杆撑起轮胎，自适应转速单元计算得出所需角速度控制旋转电机旋转，在旋转圆盘5载轮胎旋转4圈共1440°后。旋转台不旋转，旋转电机带动旋转圆盘5旋转，从而带动轮胎旋转。轮胎抓取模块提起轮胎离开旋转圆盘5cm，旋转圆盘5顺时针旋转60°，轮胎抓取模块将轮胎再次平放在旋转圆盘5上，三条旋转圆盘夹持杆撑起固定轮胎，旋转圆盘5再次载轮胎旋转4圈完成检测。
如图7所示，控制服务器包括数据处理单元、图像预处理单元、分析单元、胎冠缺陷检测模型、胎侧缺陷检测模型、缺陷数据库和自训练学习单元；数据处理单元用于接收图像采集模块发送的轮胎胎冠、上胎侧、下胎侧图像，将各类图像分别分配至不同站点通过分布式处理提高图像处理检测效率；图像预处理单元对图像进行图像灰度化、二值化和均值滤波去除噪声干扰等预处理；分析单元将预处理后图像按照图像类别输入各类图像基于YOLOv5训练好的缺陷检测模型，同时使用NVIDIA TensorRT优化器加速，获取经过模型缺陷标注的图像，并将各站点的检测输出图像按照轮胎标识汇总，轮胎图像及检测数据存储至缺陷数据库，若图像中出现目标预测框则证明出现缺陷，控制服务器将检测数据发送轮胎抓取模块；缺陷数据库存储轮胎图像和缺陷标签，同时存储用户终端发送的误判图像及缺陷标签；为保证缺陷检测模型随时间推移仍保持预测准确性。
如图9所示，自训练学习单元按照自学习算法：按照预设机器学习训练周期，将缺陷数据库中的轮胎图像组成数据集，重新训练胎冠缺陷检测模型和胎侧缺陷检测模型；
所述控制服务器指本实施例自主研发工业检测服务器；所述工业检测服务器主要由三块Jetson Mate载板，机箱风扇、12V机箱电源等构成；一个Jetson Mate载板上插四块NVIDIA Jetson Nano构成一个站点，三个站点分别训练胎冠、上胎侧和下胎侧的缺陷检测模型，分别存储胎冠、上胎侧和下胎侧的缺陷检测模型用于检测轮胎缺陷。
作为一种实施例，如图8所示，基于机器视觉和机器机器学习的轮胎裂陷检测系统总控制流程如下：
系统在正式运行之前需要通过数据服务器采用数据并行分布式训练胎冠缺陷检测模型、上胎侧缺陷检测模型和下胎侧缺陷检测模型的基于YOLOv5的缺陷检测模型，将检测模型通过TensorRT优化；系统开始运行后，轮胎经过轮胎传输模块运输到轮胎检测区，其中通过动停检测单元判断传送带前进或停止，轮胎抓取模块将待测轮胎抓取放置到轮胎旋转模块的检测台4，并向检测台4的旋转电机和图像采集模块发送触发信号，旋转圆盘5载待测轮胎旋转，图像采集模块采集轮胎胎冠图像、上胎侧图像、下胎侧图像和条形码图像，根据条形码图像获取轮胎唯一标识，打包发送控制服务器，控制服务器将图像按采集部分分类发送对应站点，经过缺陷检测模型获得检测结果，并将检测数据发送轮胎抓取模块和用户终端，轮胎抓取模块根据检测数据将轮胎放置在正常轮胎和缺陷轮胎对应的轮胎传送带实现分拣，工作人员可以在用户终端实时检查缺陷轮胎图像和缺陷类型，若出现误判，工作人员可以对出现误判图像标注并将图像及标签发送控制服务器，控制服务器按照预设周期根据缺陷数据库中的缺陷图像对各缺陷检测模型重新训练，以提高模型检测精度。
用户终端接收控制服务器发送的检测数据和轮胎缺陷图像，向工作人员发出警报，并将轮胎缺陷图像、对应缺陷类型和轮胎标识向工作人员显示，若工作人员人工判断出现误判，则可在用户终端对该轮胎缺陷图像添加缺陷标签发送数据服务器；用户终端包括包括包括手机、平板电脑等移动终端，以及PC端。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于机器视觉和机器学习轮胎缺陷检测方法，其特征在于，包括：
获取待检测轮胎的不同部位的图像数据，并进行预处理；
提取图像数据中的图像特征，将图像特征输入到TensorRT模型中，利用所述TensorRT模型对图像特征进行分析，输出轮胎缺陷结果；
其中，所述TensorRT模型获取的过程为：深度学习推理优化器TensorRT接收训练好的基于YOLOv5的缺陷检测模型，将基于YOLOv5的缺陷检测模型进行层间融合以及模型校准，最终输出获得所述TensorRT模型;
基于YOLOv5的缺陷检测模型的优化过程包括：采用数据并行分布式的方式；设定一个站点中每个NVIDIA Jetson Nano都有缺陷检测模型的完整副本，整个输入的训练集被划分为多个数据块，并以数据块为单位分配到不同NVIDIA Jetson Nano来计算模型参数变化量，每次训练迭代中，NVIDIA Jetson Nano交换本地计算的模型参数变化量以获得全局机器学习模型的参数变化量。
2.如权利要求1所述的基于机器视觉和机器学习轮胎缺陷检测方法，其特征在于，所述层间融合的过程为：TensorRT模型通过对模型层间的横向或纵向合并，降低层的数量，横向合并把卷积、偏置和激活层合并成一个CBR结构，只占用一个CUDA核心；纵向合并把结构相同但是权值不同的层合并成一个更宽的层，只占用一个CUDA核心。
3.如权利要求1所述的基于机器视觉和机器学习轮胎缺陷检测方法，其特征在于，所述轮胎缺陷结果包括胎冠裂缝、胎冠划伤、胎冠穿孔、胎冠气泡、胎侧裂缝、胎侧划伤、胎侧穿孔、胎侧气泡。
4.基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，包括：
图像采集模块，用于采集待检测轮胎的不同部位的图像数据；
控制服务器，用于提取图像数据中的图像特征，将图像特征输入到经过与深度学习推理优化器TensorRT优化的YOLOv5的缺陷检测模型最终输出的TensorRT模型中；利用所述TensorRT模型对图像特征进行分析；基于YOLOv5的缺陷检测模型的优化过程包括：采用数据并行分布式的方式；设定一个站点中每个NVIDIA Jetson Nano都有缺陷检测模型的完整副本，整个输入的训练集被划分为多个数据块，并以数据块为单位分配到不同NVIDIAJetson Nano来计算模型参数变化量，每次训练迭代中，NVIDIA Jetson Nano交换本地计算的模型参数变化量以获得全局机器学习模型的参数变化量；
用户终端，用于输出轮胎缺陷结果。
5.如权利要求4所述的基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，还包括轮胎输送模块、轮胎抓取模块以及轮胎旋转模块，所述轮胎抓取模块与所述的图像采集模块以及轮胎旋转模块连接；所述轮胎抓取模块还与所述控制服务器相连；
所述轮胎输送模块包括传输单元和传输动停检测单元；所述轮胎旋转模块包括检测台和自适应转速单元；所述轮胎输送模块与所述轮胎抓取模块连接。
6.如权利要求5所述的基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，所述传输单元用于将新生产的轮胎运输至轮胎检测区，在经过轮胎缺陷分拣后将轮胎运输出厂；传输动停检测单元用于检测是否有待测轮胎到达轮胎检测区且未被轮胎抓取模块抓取，若有，则向传输单元发送停止传输指令，若检测到待测轮胎被抓取离开传输单元，则向传输单元发送继续传输指令。
7.如权利要求5所述的基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，所述检测台用于承载检测轮胎，检测轮胎平放置于检测台的旋转圆盘上，随旋转圆盘自转，以供图像采集模块的线性扫描工业相机和条形码读码器从各方向采集轮胎完整的图像数据；自适应转速单元用于根据轮胎直径大小计算出检测台所需旋转角速度。
8.如权利要求5所述的基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，所述轮胎输送模块的传输单元包括从轮胎生产线到轮胎检测区的待测轮胎传送带，以及以轮胎检测区为起点运输无缺陷轮胎的正常轮胎传送带和以轮胎检测区为起点运输有缺陷轮胎的缺陷轮胎传送带，其中从轮胎生产线到轮胎检测区的传送带靠近轮胎检测区的一端设置有挡板；
所述传输动停检测单元通过两个红外测距传感器检测是否有待测轮胎在传送带滞留，所述红外测距传感器均设置于轮胎检测区一定距离的传送带侧面。
9.如权利要求5所述的基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，所述轮胎抓取模块包括夹持装置，并通过所述夹持装置将待检测轮胎从传送带抓取放置到轮胎检测区的轮胎旋转模块的检测台上，所述检测台上方设置旋转圆盘，在检测过程中抓取轮胎离开旋转台辅助实现轮胎相应部位的图像完整采集，并将检测后的轮胎从检测台抓取放置到对应传送带。
10.如权利要求9所述的基于机器视觉和机器学习轮胎缺陷检测系统，其特征在于，所述夹持装置包括基座、机械臂和夹持末端执行器，夹持装置通过基座固定在地面，机械臂连接基座和夹持末端执行器实现带动夹持末端执行器移动，夹持末端执行器以圆盘为主框架，圆盘内部有四条中心对称的机械臂导轨，每条机械臂导轨上安装机械臂夹持杆，机械臂夹持杆可在各自机械臂导轨上往复运动。
CN202310395012.8A 2023-04-14 2023-04-14 基于机器视觉和机器学习轮胎缺陷检测方法及系统 Active CN116152228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395012.8A CN116152228B (zh) 2023-04-14 2023-04-14 基于机器视觉和机器学习轮胎缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395012.8A CN116152228B (zh) 2023-04-14 2023-04-14 基于机器视觉和机器学习轮胎缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN116152228A CN116152228A (zh) 2023-05-23
CN116152228B true CN116152228B (zh) 2023-06-27

Family

ID=86362069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395012.8A Active CN116152228B (zh) 2023-04-14 2023-04-14 基于机器视觉和机器学习轮胎缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116152228B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076992A (zh) * 2021-03-31 2021-07-06 武汉理工大学 一种生活垃圾检测方法及装置
WO2022131822A1 (ko) * 2020-12-18 2022-06-23 한국공학대학교산학협력단 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
CN115147348A (zh) * 2022-05-05 2022-10-04 合肥工业大学 基于改进的YOLOv3的轮胎缺陷检测方法及系统
CN115273110A (zh) * 2022-08-04 2022-11-01 中国平安财产保险股份有限公司 基于TensorRT的文本识别模型部署方法、装置、设备及存储介质
CN115546108A (zh) * 2022-09-06 2022-12-30 合肥工业大学 基于边云协同和ar的汽车轮胎外观质量智能检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220076133A1 (en) * 2020-09-04 2022-03-10 Nvidia Corporation Global federated training for neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131822A1 (ko) * 2020-12-18 2022-06-23 한국공학대학교산학협력단 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
CN113076992A (zh) * 2021-03-31 2021-07-06 武汉理工大学 一种生活垃圾检测方法及装置
CN115147348A (zh) * 2022-05-05 2022-10-04 合肥工业大学 基于改进的YOLOv3的轮胎缺陷检测方法及系统
CN115273110A (zh) * 2022-08-04 2022-11-01 中国平安财产保险股份有限公司 基于TensorRT的文本识别模型部署方法、装置、设备及存储介质
CN115546108A (zh) * 2022-09-06 2022-12-30 合肥工业大学 基于边云协同和ar的汽车轮胎外观质量智能检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Privacy-preserving federated learning based on multi-key homomorphic encryption;Jing Ma et al.;https://arxiv.org/abs/2104.06824;第1-16页 *
基于深层神经网络的工业图像检测技术研究;张博豪;中国优秀硕士学位论文全文数据库 信息科技辑;第2021卷(第02期);第I138-1529页 *
轮胎外观图像采集系统的设计与实现;卓应广;白海军;;电子测试(04);全文 *

Also Published As

Publication number Publication date
CN116152228A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN112452801A (zh) 一种高效率的玻璃瓶缺陷在线检测装置及其工作方法
CN109724984B (zh) 一种基于深度学习算法的缺陷检测识别装置和方法
KR102603141B1 (ko) 제조 공정의 마지막 단계에서 타이어 상의 결함을 검출하고 검사하기 위한 장치
CN105651782A (zh) 一种发动机缸盖表面缺陷机器视觉自动检测设备
CN104483320A (zh) 工业脱硝催化剂的数字化缺陷检测装置与检测方法
CN105900610A (zh) 鲜食葡萄无损采摘分级智能一体机及其控制方法
CN104443602B (zh) 一种电能表自动拆包系统及方法
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN212301356U (zh) 一种轮毂焊缝视觉检测装置
CN109693140A (zh) 一种智能化柔性生产线及其工作方法
CN113289925A (zh) 一种基于深度学习的煤中杂物智能分拣系统及其分拣方法
CN112403934A (zh) 一种机器视觉零件分拣方法
CN106353336A (zh) 一种镜片镀膜自动检测系统
CN102615053A (zh) 柔版机添加质检剔次装置
CN115019031A (zh) 基于深度学习的锯链缺陷检测系统
CN109060833A (zh) 一种全自动检测链轮型号及缺陷的照相装置
CN112326552B (zh) 基于视觉和力觉感知的隧道掉块病害检测方法和系统
CN116152228B (zh) 基于机器视觉和机器学习轮胎缺陷检测方法及系统
CN117152093B (zh) 基于数据融合和深度学习的轮胎缺陷检测系统及方法
CN114618788A (zh) 基于视觉检测的手套分拣装置及方法
CN208840024U (zh) 一种锂电池极片正反表面缺陷检测装置
CN113077430A (zh) 基于ssd算法的激光器芯片缺陷检测及分类方法与系统
CN113763462A (zh) 一种自动化控制上料的方法及系统
CN117409005A (zh) 基于图像的收板机用不良品检测系统及方法
CN108875845B (zh) 一种药品分类装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant