CN117437186A - 一种基于深度学习算法的透明件表面缺陷检测方法及系统 - Google Patents

一种基于深度学习算法的透明件表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN117437186A
CN117437186A CN202311293453.3A CN202311293453A CN117437186A CN 117437186 A CN117437186 A CN 117437186A CN 202311293453 A CN202311293453 A CN 202311293453A CN 117437186 A CN117437186 A CN 117437186A
Authority
CN
China
Prior art keywords
defect detection
deep learning
defect
image
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311293453.3A
Other languages
English (en)
Inventor
周雄刚
王君峰
李波
加木屋匡宏
宴涛
魏昌豪
赵阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Star Seiki Xiangyang Co ltd
Original Assignee
Star Seiki Xiangyang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Star Seiki Xiangyang Co ltd filed Critical Star Seiki Xiangyang Co ltd
Priority to CN202311293453.3A priority Critical patent/CN117437186A/zh
Publication of CN117437186A publication Critical patent/CN117437186A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度学习算法的透明件表面缺陷检测方法及系统，方法包括：使用数据增强后的明暗场景融合数据集对缺陷检测模型训练，并采用暗场景数据集、应用迁移学习对缺陷检测模型进行微调；通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将不同尺度的特征图进行堆叠融合、将不同跨度的特征图进行特征上下文融合，对融合后的特征图进行目标定位并输出多个尺度的预测图，根据所述预测图得到缺陷位置以及缺陷类别。本发明提升了缺陷检测模型识别精度和识别速度，实现了透明物件缺陷的自动检测识别并满足了实时性检测要求。

Description

一种基于深度学习算法的透明件表面缺陷检测方法及系统
技术领域
本发明涉及图像识别领域，更具体地，涉及一种基于深度学习算法的透明件表面缺陷检测方法、系统、电子设备及存储介质。
背景技术
现代医学随着新技术、新业务的开展和新材料的应用,医学诊断和临床治疗的水平得到突飞猛进的发展，高分子医疗耗材已经成为医院医疗服务成本中重要的组成部分，其消耗量呈逐年递增趋势。
医疗反应杯属于高分子聚合物，主要成分为聚丙烯,运用模具挤压、注塑而成,主要应用于临床医学、药物研发、生命科学等领域。生产中医疗反应杯的常见缺陷主要包括黑点，划痕和缺胶，带有缺陷的反应杯流入市场，可能影响到医学诊断结果，甚至发生医疗事故，故医疗反应杯的缺陷检测至关重要。目前医疗反应杯的生产环节仍多采用人工检测方法，由于人工检测方法的主体不稳定，检测结果存在随机性强、稳定性差、检测效率低、误检率高、不能全天候检测等缺点。虽然已有部分厂家采用基于图像处理的传统检测方法对其进行缺陷检测,但是医疗反应杯杯体属于小体积的圆柱形透明件，缺陷特征不明显，当图像背景复杂、干扰大时，传统视觉检测方法效果不佳。
随着深度学习技术的发展，基于深度学习技术开发的缺陷检测模型因具有速度快、精度高、成本低、稳定性好等优点被广泛用于透明件表面缺陷的检测。然而，将深度学习引用到小体积透明件的缺陷检测中，识别精度和识别速度仍有较大的提升空间。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于深度学习算法的透明件表面缺陷检测方法、系统、电子设备及存储介质，实现了反应杯缺陷的自动检测识别并满足了实时性检测要求。
根据本发明的第一方面，提供了一种基于深度学习算法的透明件表面缺陷检测方法，包括：
获取透明件的待测图像，通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将不同尺度的特征图进行堆叠融合、将不同跨度的特征图进行特征上下文融合，对融合后的特征图进行目标定位并输出多个尺度的预测图，根据所述预测图得到缺陷位置以及缺陷类别。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，对缺陷检测模型的训练过程，包括：
获取透明件在明暗场景下若干帧不同缺陷类型的样本图像，基于所述样本图像进行图像预处理并建立数据集，将所述数据集按照预设比例划分为训练集和测试集；
选择合适的基于深度学习的缺陷检测模型按照所述训练集的大小和目标进行超参数修改，将所述训练集送入缺陷检测模型中进行训练，根据深度学习目标检测评价指标选取最优的模型作为输出，最后预测得到所述样本图像的缺陷位置信息和缺陷类别信息；
采用测试集验证训练后的缺陷检测模型，直到达到预设的检测精度。
可选的，对样本图像进行图像预处理，包括：
对所述样本图像的ROI区域缩小化处理；
通过标注工具对所述样本图像中的缺陷位置和缺陷类型进行标注，以得到样本图像对应的标签。
可选的，进行模型训练前，还包括基于离线有监督方式对训练集进行数据扩增，以得到更丰富的样本图像及其对应的标签。
可选的，所述数据扩增采用锐化处理、仿射变换、高斯模糊、色调随机、水平翻转和/或随机去掉像素点的变换序列，通过设置各个变换序列的预设发生概率和图片扩充倍数，使得单张带标签的样本图像随机通过所述变换序列生成新的样本图像及标签。
可选的，缺陷检测模型的初始化权重，通过ImageNet数据集对缺陷检测模型进行训练获得。
可选的，对缺陷检测模型训练后，利用暗场景图像数据集、采用迁移学习对缺陷检测模型进行微调。
根据本发明的第二方面，提供一种基于深度学习算法的透明件表面缺陷检测系统，包括：
获取模块，用于获取透明件的待测图像；
识别模块，用于通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将相同尺寸不同跨度的特征图进行特征上下文融合，得到多个不同尺寸的预测图，根据各预测图得到缺陷检测结果。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述基于深度学习算法的透明件表面缺陷检测方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述基于深度学习算法的透明件表面缺陷检测方法的步骤。
本发明提供的一种基于深度学习算法的透明件表面缺陷检测方法、系统、电子设备及存储介质，将深度学习引用到小体积透明件的缺陷检测中，经过训练后的缺陷检测模型识别精度和识别速度具有较大的提升，实现了透明物件(例如医用反应杯)缺陷的自动检测识别并满足了实时性检测要求。
附图说明
图1为本发明提供的一种基于深度学习算法的缺陷检测模型组成架构示意图；
图2为本发明提供的基于深度学习的缺陷检测模型训练过程流程图；
图3为明暗场景的反应杯缺陷图像对比示意图；
图4为缩小ROI区域后的反应杯缺陷类型对比示意图；
图5为标注工具labelimg的数据标注截图；
图6为数据增强的几种效果示意图；
图7为缺陷检测模型性能可视化绘图；
图8为缺陷反应杯检测效果示意图；
图9为迁移学习检测结果示例；
图10为多个检测模型的检测效果可视化对比图；
图11为实施例提供的一种基于深度学习算法的透明件表面缺陷检测系统框图；
图12为本发明提供的一种可能的电子设备的硬件结构示意图；
图13为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种基于深度学习算法的透明件表面缺陷检测方法涉及的深度学习缺陷检测模型组成架构示意图，该方法包括：
获取透明件的待测图像，通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将不同尺度的特征图进行堆叠融合、将不同跨度的特征图进行特征上下文融合，对融合后的特征图进行目标定位并输出多个尺度的预测图，根据所述预测图得到缺陷位置以及缺陷类别。
本发明采用如图1所示YOLOv5s网络模型结构作为缺陷检测模型。YOLOv5s是YOLO模型系列之一，YOLO模型是一种运行速度快、参数规模小、能够高效检测目标物体的深度学习模型，相较于其他模型，它在同等计算资源下能够实现更出色的检测性能，并且一直在不断地进行改进和优化，版本一直在更新迭代，适合用于本发明实施场景中对小体积的圆柱形透明件的缺陷进行高效、高精度检测。首先基于YOLOv5s网络模型结构构建适用于本发明的缺陷检测模型，调整模型分类器，使其与医疗反应杯数据集的缺陷类别相匹配，例如缺陷类型包括黑点、划痕、缺胶。
如图1所示，YOLOv5s的网络主体结构分为Input(输入端)、Backbone(主干网络)、Neck(颈部网络)和Head/Output(输出端)四个部分。具体模型结构见图1。本实施例采用的YOLOv5-6.0模型相比于旧版本，将Backbone部分的Focus结构替换成Conv(卷积)，用SPPF(Shared Packed Parse Forest)模块代替SPP(spatial pyramid pooling，空间金字塔池化)模块，其模型具有更快的训练速度和更高的检测精度。输入图片通过Backbone中多个CBS模块和C3模块处理后得到不同尺度的特征图，并将特征图送入SPPF模块中，该SPPF模块首先利用3个多尺度的最大池化模块进行池化，然后将池化后的图片进行堆叠融合，最终SPPF模块中特征图的输出尺寸与输入尺寸大小保持一致，即在SPPF模块中实现了对多个不同尺度的特征图的特征提取。
在Backbone和Output输出层之间插入Neck层，能起着特征上下文融合和特征细化的作用。YOLOv5s模型中的Neck部分采用FPN和PAN的结构，该结构具有自上而下、自下而上的特征融合特点，将多个不同跨度的特征图进行融合，从而可以实现更准确的目标定位和更快的收敛速度。
Output部分可同时输出三个不同尺度的预测图，用于检测小、中、大目标，此部分包括Bounding box损失函数和非极大值抑制。YOLOv5s中边界框损失函数采用GIoU_Loss损失值计算。非极大抑制(NMS)可以对产生的目标框进行筛选，找到最佳的物体检测位置。
调整构建好的缺陷检测模型分类器，使其与医疗反应杯数据集的缺陷类别相匹配。在COCO数据集中，有80个对象类别，输出张量的维数为3×(5+80)＝255，其中3表示每个网格预测的3个边界框，5表示每个预测框的坐标(x,y,w,h)和置信度(c)。在反应杯的缺陷检测场景中，有3种类型的缺陷，分别是划痕、黑点和缺胶，因此需修改YOLOv5s模型的分类器，修改后输出维度变为3×(5+3)＝24。为了适用于反应杯缺陷检测场景，减少了该模型网络参数的数量，降低模型的运算量，优化网络检测的准确性和速度。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种基于深度学习算法YOLOv5s的透明件表面缺陷检测方法。该方法将深度学习引用到小体积透明件的缺陷检测中，经过训练后的缺陷检测模型识别精度和识别速度具有较大的提升，实现了透明物件(例如医用反应杯)缺陷的自动检测识别并满足了实时性检测要求。
构建完成缺陷检测模型后，对缺陷检测模型的训练过程也非常重要，其关系到模型的检测精度。在一种可能的实施例方式中，如图2的流程图所示，对缺陷检测模型的训练过程，包括步骤1～3：
1.通过工业线阵相机采集透明件(医疗反应杯)在明暗场景下若干帧不同缺陷类型的样本图像，明暗场景下的带缺陷样本图像见图3所示，基于所述样本图像进行图像预处理并建立数据集，将所述数据集按照预设比例划分为训练集和测试集，例如训练集和测试集的比例设为9:1。
其中，对样本图像进行图像预处理，包括下述步骤1.1～1.2：
1.1对所述样本图像的ROI区域缩小化处理。本发明实施例中根据缺陷特征中心的位置对原图像进行缩小ROI区域处理，处理后的图像尺寸大小为1600×600，如图4所示。经过处理的图像检测目标物更突出，图像特征一致性更好，减少模型训练时间的同时，提高了特征提取的准确性；
1.2通过标注工具(例如开源图像标注软件LabelImg)对所述样本图像中的缺陷位置和缺陷类型进行标注，以得到样本图像对应的标签。
具体的，本发明实施例基于深度学习技术缺陷检测算法属于监督学习，因此，在YOLOv5s模型训练之前需要对采集到的医疗反应杯缺陷进行分类标注，本实施例标注时使用网络上开源的图像标注软件LabelImg，如图5的截图所示。将三类缺陷黑点、划痕、缺胶依次标注为类别0、1、2，缺陷标签依次对应为Spot、Scratch、Stock。图像标注后会自动生成以txt作为后缀的文本文件，其文件名与图片名保持一致，文件中的位置和类别信息如表1所示。其中，x、y、w、h分别表示为标注框中心点在x轴、y轴的坐标比例以及标注框的宽、高比例。
表1缺陷标注
可选的，进行模型训练前，对数据集的预处理还包括步骤1.3：
1.3基于离线有监督方式对训练集进行数据扩增，以得到更丰富的样本图像及其对应的标签。
具体的，数据扩增也称为数据增强，是一种扩充数据规模的有效方法。该技术的发展主要具有以下三方面重要意义：丰富数据集本身、提升相应分类检测系统性能和拓展延伸价值。由于深度学习算法是通过海量带有标签信息的样本学习图像的特征参数，如果数据集不足可能会导致训练过程中产生过拟合问题。在数据层面可通过增加数据集和对数据集进行增强处理(Augmentation)，本发明实施例中采用Imgaug+Mosaic的方法扩充数据集。
其中，所述Imgaug属于离线有监督数据增强的一类，本发明实施例根据三类缺陷(黑点、划痕、缺胶)的特征表现进行分析，编写代码调用Imgaug库中的锐化处理、仿射变换、高斯模糊、色调随机、水平翻转、随机去掉像素点等6种变换序列。如图6所示为数据增强的几种效果示意图，通过设置各个变换序列预设发生概率和图片扩充倍数，单张样本图片(带标签)会随机通过6种变换序列生成新的样本图像及对应的标签，节省时间同时也减少人工标注成本，确保了数据集泛化前后的一致性和完整性。
完成训练集的数据增强后，即可采用数据增强后的训练集对缺陷检测模型进行训练。
2.对构建的基于YOLOv5s网络结构的缺陷检测模型按照所述训练集的大小和目标进行超参数修改，将所述训练集送入缺陷检测模型中进行训练，根据深度学习目标检测评价指标选取最优的模型作为输出，最后预测得到所述样本图像的缺陷位置信息和缺陷类别信息。
具体的，本实施例中使用随机梯度下降法(SGD)优化器优化训练的缺陷检测模型，选用自动锚点检测，引入Imgaug+Mosaic数据增强策略，在模型训练开始之前对训练的超参数进行设置：初始学习率为0.001，动量为0.937，权重衰减系数为0.0005，输入图像分辨率选用1600×600，模型训练批大小设置为20，训练总轮数为500轮；缺陷检测模型的初始化权重，通过ImageNet数据集对缺陷检测模型进行训练获得。
采用包含了明暗场景下各类缺陷的训练集对设置好超参数的缺陷检测模型进行训练，训练完成后，对该模型运用模型微调的迁移学习技术，最后实现特定暗场景的缺陷检测。迁移学习与全新学习相比较，迁移学习所用的训练时间更短，使得模型能够快速收敛，减少因训练神经网络模型所需的时间成本、数据量和试验所需的算力，有效解决小型数据集在深度神经网络上产生的过拟合现象。
3.采用测试集验证训练后的缺陷检测模型，输出图像的缺陷检测识别结果，直到检测结果达到预设的检测精度。
为了对前述实施例提供的一种基于深度学习算法的透明件表面缺陷检测方法进一步验证，现通过以下述实验过程进行说明。本实施例设计实验具体内容如下：
1.数据来源
本实例采集的反应杯缺陷来自于医疗反应杯生产企业。通过在生产线不同工位上架设高分辨率高速度工业线阵相机(CCD)共收集到1200张不同类型的缺陷反应杯，图片分辨率是1600×1200，图片分为明暗两个场景。医用反应杯常见的缺陷主要有黑点、划痕、气泡、油点粗糙度等10项参数测试，本实例主要识别黑点、划痕和缺胶三种类型缺陷，便于后期批量的一体式封装工序。
2.数据预处理
本实例中根据缺陷特征中心的位置对原图像进行缩小ROI区域处理，处理后的图像尺寸大小为1600×600。
3.实验配置
模型训练和测试服务器均采用Windows10操作系统，选用Pytorch1.9架构，编译语言为Python 3.9集成工具opencv等扩展库，使用NVIDIA TESLA V100显卡进行运算，并且配置了CUDA和CUDNN环境对GPU运算进行加速。
4.参数设置
在模型训练开始之前需要对训练的超参数进行设置，初始学习率为0.001，动量为0.937，权重衰减系数为0.0005，输入图像分辨率选用1600×600，模型训练批大小设置为20，训练总轮数为500轮。
5.评价指标
为客观评价深度学习网络在透明反应杯缺陷检测中的精度，将精确率(precision,P)、召回率(recall,R)、平均精度(average precision,PAP)和平均精度均值PmAP作为评价指标。本发明中使用GIoU_loss(mAP@0.5)作为损失函数，其公式为：
其中，GIoU为预测框和真实框的重叠程度，LGIoU为GIoU的损失函数，IOU为预测框和真实框的交并比，LIOU为IOU的损失函数，AC为预测框和真实框的最小包围框的面积，U为预测框和真实框的并集的面积。
使用训练好的缺陷检测模型对反应杯的测试集进行预测，分别计算准确率P和召回率R，其具体公式为：
其中，TP为预测正确的情况，以IOU大于阈值来判定；FP为预测错误的情况，以IOU小于阈值来判定；FN为漏检的情况，即GT(ground truth)框中没有检测到的，GT框为标定的标签边界框(即真实框)。
平均精度(PAP)表示Precision-Recall曲线下面的面积，对该图片每类的平均精度求均值，即PmAP，其计算公式为：
其中，N为缺陷种类。
如图7所示为本发明采用YOLOv5s作为缺陷检测模型的性能可视化绘图，从图7中可以看出，本发明的缺陷检测模型损失值收敛快，且检测精度高。
6.结果分析
使用200张测试集图片作为实际验证材料，用训练好的缺陷检测模型对反应杯图像进行检测，将模型检测时的置信度阈值设为0.5，三种反应杯缺陷的检测效果如图8所示。图8目标框右上角显示缺陷名称和检测的置信度，从图8中不难看出，该模型对明显缺陷特征的缺胶和大尺寸划痕的反应杯检测置信度高于92％，对于不明显的细小缺陷特征，反应杯黑点缺陷检测的置信度高于90％。
分析反应杯黑点缺陷知，由于在不同工位的图片受场景扰动影响较大，尤其在暗场景工位的采样图片。本发明采用迁移学习方法训练特定暗场景下的网络模型，以对该缺陷检测模型进行微调，与无迁移暗场景的YOLOv5s训练模型形成对照组，如图9所示是对模型使用迁移学习前后对暗场景图像检测的对比结果，其中a-1、b-1、c-1分别为迁移学习前的检测结果，a-2、b-2、c-2分别为迁移学习后的检测结果。由图9可知：暗场景缺陷的迁移学习组置信度提高量大于3％。实验结果表明通过迁移学习方法微调后的模型，在鉴别暗场景下反应杯的黑点缺陷有提升空间，同时对企业生产过程中其余工位的不同场景具有参考价值。
为了更好地展示深度学习YOLOv5s算法的实验结果，在训练平台环境配置和超参数不变的条件下，分别使用主流目标检测网络Faster RCNN、SSD和EfficientDet对同一数据集进行训练与测试，绘制可视化的对比图像，对比检测结果见图10，并对检测模型各类指标进行量化，如表2所示；
表2不同模型算法的比较检测结果
结合图10和表2可知：本发明中经过数据增强和迁移学习的YOLOv5s模型的检测平均准确度为96.7％，相较于Faster RCNN、SSD和EfficientDet有大幅的性能提升，分别提高了64.3％、51.5％、61.4％。同时该模型相比于轻量化的EfficientDet网络模型损失值收敛较慢，在迭代100轮才逐渐收敛，而EfficientDet模型在迭代50轮已达收敛。但是本发明模型处理图片的速度高达61帧/s，相比于其他3个模型分别可以提高46、50、51帧/s。试验结果表明本发明缺陷检测模型的性能最佳，且能实现反应杯缺陷的实时和准确检测需求。
图11为本发明实施例提供的一种基于深度学习算法的透明件表面缺陷检测系统结构图，如图11所示，一种基于深度学习算法的透明件表面缺陷检测系统，包括获取模块和识别模块，其中：
获取模块，用于获取透明件的待测图像；
识别模块，用于通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将相同尺寸不同跨度的特征图进行特征上下文融合，得到多个不同尺寸的预测图，根据各预测图得到缺陷检测结果。
可以理解的是，本发明提供的一种基于深度学习算法的透明件表面缺陷检测系统与前述各实施例提供的基于深度学习算法的透明件表面缺陷检测方法相对应，基于深度学习算法的透明件表面缺陷检测系统的相关技术特征可参考基于深度学习算法的透明件表面缺陷检测方法的相关技术特征，在此不再赘述。
请参阅图12，图12为本发明实施例提供的电子设备的实施例示意图。如图12所示，本发明实施例提了一种电子设备1200，包括存储器1210、处理器1220及存储在存储器1210上并可在处理器1220上运行的计算机程序1211，处理器1220执行计算机程序1211时实现以下步骤：
获取透明件的待测图像，通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将不同尺度的特征图进行堆叠融合、将不同跨度的特征图进行特征上下文融合，对融合后的特征图进行目标定位并输出多个尺度的预测图，根据所述预测图得到缺陷位置以及缺陷类别。
请参阅图13，图13为本发明提供的一种计算机可读存储介质的实施例示意图。如图13所示，本实施例提供了一种计算机可读存储介质1300，其上存储有计算机程序1311，该计算机程序1311被处理器执行时实现如下步骤：
获取透明件的待测图像，通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将不同尺度的特征图进行堆叠融合、将不同跨度的特征图进行特征上下文融合，对融合后的特征图进行目标定位并输出多个尺度的预测图，根据所述预测图得到缺陷位置以及缺陷类别。
本发明实施例提供的一种基于深度学习算法的透明件表面缺陷检测方法、系统及存储介质，采用检测速度快、检测精度出色的YOLOv5模型，并利用数据增强方式处理数据集，降低局限因素的影响水平以及明暗场景对检测结果的影响，兼顾了检测效率与检测精度，最大化实现YOLOv5检测模型在医疗反应杯中的应用。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，包括：
获取透明件的待测图像，通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将不同尺度的特征图进行堆叠融合、将不同跨度的特征图进行特征上下文融合，对融合后的特征图进行目标定位并输出多个尺度的预测图，根据所述预测图得到缺陷位置以及缺陷类别。
2.根据权利要求1所述的一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，对缺陷检测模型的训练过程，包括：
获取透明件在明暗场景下若干帧不同缺陷类型的样本图像，基于所述样本图像进行图像预处理并建立数据集，将所述数据集按照预设比例划分为训练集和测试集；
选择合适的基于深度学习的缺陷检测模型按照所述训练集的大小和目标进行超参数修改，将所述训练集送入缺陷检测模型中进行训练，根据深度学习目标检测评价指标选取最优的模型作为输出，最后预测得到所述样本图像的缺陷位置信息和缺陷类别信息；
采用测试集验证训练后的缺陷检测模型，直到达到预设的检测精度。
3.根据权利要求2所述的一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，对样本图像进行图像预处理，包括：
对所述样本图像的ROI区域缩小化处理；
通过标注工具对所述样本图像中的缺陷位置和缺陷类型进行标注，以得到样本图像对应的标签。
4.根据权利要求3所述的一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，进行模型训练前，还包括基于离线有监督方式对训练集进行数据扩增，以得到更丰富的样本图像及其对应的标签。
5.根据权利要求4所述的一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，所述数据扩增采用锐化处理、仿射变换、高斯模糊、色调随机、水平翻转和/或随机去掉像素点的变换序列，通过设置各个变换序列的预设发生概率和图片扩充倍数，使得单张带标签的样本图像随机通过所述变换序列生成新的样本图像及标签。
6.根据权利要求2所述的一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，缺陷检测模型的初始化权重，通过ImageNet数据集对缺陷检测模型进行训练获得。
7.根据权利要求2～6任一项所述的一种基于深度学习算法的透明件表面缺陷检测方法，其特征在于，对缺陷检测模型训练后，利用暗场景图像数据集、采用迁移学习对缺陷检测模型进行微调。
8.一种基于深度学习算法的透明件表面缺陷检测系统，其特征在于，包括：
获取模块，用于获取透明件的待测图像；
识别模块，用于通过训练好的基于深度学习的缺陷检测模型，从待测图像中提取多个不同尺度、不同跨度的特征图，将相同尺寸不同跨度的特征图进行特征上下文融合，得到多个不同尺寸的预测图，根据各预测图得到缺陷检测结果。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的基于深度学习算法的透明件表面缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的基于深度学习算法的透明件表面缺陷检测方法的步骤。
CN202311293453.3A 2023-09-28 2023-09-28 一种基于深度学习算法的透明件表面缺陷检测方法及系统 Pending CN117437186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311293453.3A CN117437186A (zh) 2023-09-28 2023-09-28 一种基于深度学习算法的透明件表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311293453.3A CN117437186A (zh) 2023-09-28 2023-09-28 一种基于深度学习算法的透明件表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN117437186A true CN117437186A (zh) 2024-01-23

Family

ID=89557430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311293453.3A Pending CN117437186A (zh) 2023-09-28 2023-09-28 一种基于深度学习算法的透明件表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN117437186A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893952A (zh) * 2024-03-15 2024-04-16 视睿（杭州）信息科技有限公司 基于深度学习的视频马赛克缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893952A (zh) * 2024-03-15 2024-04-16 视睿（杭州）信息科技有限公司 基于深度学习的视频马赛克缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110135503B (zh) 一种装配机器人零件深度学习识别方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN111932511A (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN117437186A (zh) 一种基于深度学习算法的透明件表面缺陷检测方法及系统
CN111767962A (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112528934A (zh) 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111723815A (zh) 模型训练方法、图像处理方法、装置、计算机系统和介质
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN114882204A (zh) 船名自动识别方法
CN115937879A (zh) 基于多尺度特征融合网络的学术内容目标检测方法及系统
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN114764789A (zh) 病理细胞的量化方法、系统、装置及存储介质
CN113963333A (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113159146A (zh) 样本生成、目标检测模型训练、目标检测方法及装置
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN116824333A (zh) 一种基于深度学习模型的鼻咽癌检测系统
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN113947774B (zh) 一种轻量级的车辆目标检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination