CN118154539A - 一种孔探缺陷检测方法、设备及存储介质 - Google Patents

一种孔探缺陷检测方法、设备及存储介质 Download PDF

Info

Publication number
CN118154539A
CN118154539A CN202410268624.5A CN202410268624A CN118154539A CN 118154539 A CN118154539 A CN 118154539A CN 202410268624 A CN202410268624 A CN 202410268624A CN 118154539 A CN118154539 A CN 118154539A
Authority
CN
China
Prior art keywords
defect
defect detection
detection model
target
original video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410268624.5A
Other languages
English (en)
Inventor
郑云东
邹黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coantec Automation Technology Co ltd
Original Assignee
Shenzhen Coantec Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coantec Automation Technology Co ltd filed Critical Shenzhen Coantec Automation Technology Co ltd
Priority to CN202410268624.5A priority Critical patent/CN118154539A/zh
Publication of CN118154539A publication Critical patent/CN118154539A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及孔探缺陷检测技术领域，具体涉及一种孔探缺陷检测方法、设备及存储介质。该孔探缺陷检测方法包括从多个角度获取目标产品内腔的原始视频图像；通过缺陷检测模型提取原始视频图像中的缺陷特征，并对缺陷特征进行分析，得到目标产品内腔的缺陷类型结果；将原始视频图像和缺陷类型结果进行同屏显示。本申请能实现降低漏检率，自动化程度高，降低人工成本，并且操作人员能快速准确地获取缺陷的类型和定位缺陷在目标产品内腔中的位置。

Description

一种孔探缺陷检测方法、设备及存储介质
技术领域
本发明涉及孔探缺陷检测技术领域，特别是一种孔探缺陷检测方法、设备及存储介质。
背景技术
市面上各种喷釉瓷瓶、金属容器和一些高精密的压铸件等工件，其内腔表面在生产或使用过程中会存在过铣、污染、夹渣、裂纹、划痕、喷涂不均等缺陷情况，需要对上述缺陷情况进行检测识别，筛选出不合格产品。
现有筛选缺陷产品的方案是，配备大量的人力，对工件的内腔缺陷进行检查，识别缺陷，挑选出不合格的产品。
然而，人工筛选方式，人眼多是看较浅表面，难以深入工件内部，且人工注意力有限，漏检率高，人力成本高。
发明内容
本发明实施例要解决的技术问题在于，提供一种孔探缺陷检测方法、设备及存储介质，以解决现有技术人工检查产品内腔缺陷的漏检率高，且人力成本高的问题。
本发明公开了一种孔探缺陷检测方法，包括：
从多个角度获取目标产品内腔的原始视频图像；
通过缺陷检测模型提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，得到所述目标产品内腔的缺陷类型结果；
将所述原始视频图像和所述缺陷类型结果进行同屏显示。
可选地，所述孔探缺陷检测方法还包括：
通过六轴机器人带动探头运动至目标位置后，控制所述六轴机器人的每一运动轴在所述目标位置停留对应的预设时间，从多个角度获取目标位置的原始视频图像；
通过缺陷检测模型提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，得到所述目标产品内腔的缺陷类型结果。
可选地，所述孔探缺陷检测方法还包括：
收集训练数据集和测试数据集，所述训练数据集和测试数据集均包括正样本图像集和负样本图像集，其中，所述正样本图像集包括具有目标缺陷的正样本图像，所述负样本图像集包括不具有目标缺陷的负样本图像；
使用所述训练数据集对缺陷检测模型进行训练，得到初步的缺陷检测模型；
使用所述测试数据集对初步的缺陷检测模型进行评估；
根据评估结果优化初步的缺陷检测模型，得到最终的缺陷检测模型。
可选地，所述使用所述训练数据集对缺陷检测模型进行训练，包括：
对所述训练数据集中的图像进行标注，标注出目标缺陷的位置和类别信息；
对标注的图像进行增强操作；
基于增强操作后的训练数据集和任务需求，调整缺陷检测模型的配置文件，使用增强操作后的训练数据集对缺陷检测模型进行训练。
可选地，所述使用所述测试数据集对初步的缺陷检测模型进行评估，具体包括：
将所述测试数据集输入初步的缺陷检测模型，得到缺陷类型结果；
基于目标检测指标评估缺陷类型结果，输出评估结果，其中，所述目标检测指标包括缺陷目标的准确率和召回率。
可选地，所述通过缺陷检测模型提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，得到所述目标产品内腔的缺陷类型结果，具体包括：
将原始视频图像输入缺陷检测模型；
缺陷检测模型通过其内的主干网络提取图像特征，得到一系列特征层；
每个所述特征层通过缺陷检测模型的预测层生成一组边界框结果，其中，所述边界框结果包括边界框的位置和类别概率；
使用非极大值抑制算法对生成的边界框进行筛选和去重，得到目标边界框；
根据类别概率选择置信度最高的类别作为目标边界框的类型，输出目标产品内腔的缺陷类型结果。
可选地，所述缺陷检测模型基于YOLO V5目标检测识别算法。
本发明还公开了一种孔探缺陷检测设备，应用如上述所述的孔探缺陷检测方法对目标产品内腔进行孔探缺陷检测，所述孔探缺陷检测设备包括：
视频采集模块，用于从多个角度获取目标产品内腔的原始视频图像；
缺陷检测模型模块，用于提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，获取所述目标产品内腔的缺陷类型结果；
显示模块，用于将所述原始视频图像和所述缺陷类型结果同屏显示。
可选地，所述孔探缺陷检测设备还包括与所述视频采集模块连接的运动控制模块，用于对所述视频采集模块的运行状态进行控制，所述运行状态包括拍摄位置、运行速度、运行方向、加速度和停留时间。
本发明还公开了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于被处理器执行如上述所述的孔探缺陷检测方法。
与现有技术相比，本发明实施例提供的孔探缺陷检测方法、设备及存储介质的有益效果在于：通过从多个角度获取目标产品内腔的原始视频图像，检测覆盖目标产品内腔的每个面，并通过缺陷检测模型提取所述原始视频图像中的缺陷特征，对缺陷特征进行分析，快速准确获取缺陷类型结果，降低漏检率，自动化程度高，降低人工成本，以及将原始视频图像和缺陷类型结果进行同屏显示，使得操作人员能快速准确地获取缺陷的类型和定位缺陷在目标产品内腔中的位置。
附图说明
下面将结合附图及实施例对本发明的方案作进一步详细的说明，附图中：
图1是本发明实施例提供的孔探缺陷检测方法的一实施例的流程示意图；
图2是本发明实施例提供的获取缺陷检测模型的流程示意图；
图3是本发明实施例提供的对缺陷检测模型进行训练的流程示意图；
图4是本发明实施例提供的对缺陷检测模型进行评估的流程示意图；
图5是图1中步骤S120的一实施例的流程示意图；
图6是本发明实施例提供的孔探缺陷检测设备的结构示意图；
图7是本发明实施例提供的计算机可读存储介质的结构示意图。
图中各附图标记为：
100、孔探缺陷检测设备；
110、视频采集模块；120、缺陷检测模型模块；130、显示模块；140、运动控制模块；150、权限设置模块；160、交互接口控制模块；170、维护控制面板；180、操作界面；190、视频显示器；
200、计算机可读存储介质；210、计算机程序。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。现结合附图，对本发明的较佳实施例作详细说明。
本发明实施例提供了一种孔探缺陷检测方法，如图1所示，孔探缺陷检测方法包括：
S110、从多个角度获取目标产品内腔的原始视频图像；
S120、通过缺陷检测模型提取原始视频图像中的缺陷特征，并对缺陷特征进行分析，得到目标产品内腔的缺陷类型结果；
S130、将原始视频图像和缺陷类型结果进行同屏显示。
本申请通过从多个角度获取目标产品内腔的原始视频图像，检测覆盖目标产品内腔的每个面，并通过缺陷检测模型提取原始视频图像中的缺陷特征，对缺陷特征进行分析，快速准确获取缺陷类型结果，降低漏检率，自动化程度高，降低人工成本，以及将原始视频图像和缺陷类型结果进行同屏显示，使得操作人员能快速准确地获取缺陷的类型和定位缺陷在目标产品内腔中的位置。
其中，本申请能够对以下缺陷类型进行检测识别：目标产品内腔表面毛刺、划痕、裂纹、污染、夹渣、喷涂不均、台阶、过铣、螺纹及其他加工缺陷等。
在获取原始视频图像之后，在将原始视频图像输入缺陷检测模型之前，还可对原始视频图像进行预处理，如去噪、增强、校正等处理，可以提高后续缺陷识别效果。以及从预处理后的图像中提取有用的特征信息，如边缘、纹理、颜色等。
本实施例中，孔探缺陷检测方法还包括：
通过六轴机器人带动探头运动至目标位置后，控制六轴机器人的每一运动轴在目标位置停留对应的预设时间，从多个角度获取目标位置的原始视频图像；
通过缺陷检测模型提取原始视频图像中的缺陷特征，并对缺陷特征进行分析，得到目标产品内腔的缺陷类型结果。
通过六轴机器人每一运动轴在目标位置停留预设时间，使得探头在目标位置并在对应的角度能够有足够的时间获取原始视频图像，并经缺陷检测模型检测获取缺陷类型。操作人员能够同时获取目标产品具有目标缺陷的缺陷类型以及对应原始的视频图像，快速定位缺陷位置，实时监测目标产品的检测情况。
六轴机器人带动探头在目标产品内腔中运动，拍摄覆盖内腔每个面的内孔，减少目标缺陷的检测遗漏。六轴机器人通过伺服电控系统的控制，带动探头完成避障功能。
其中，预设时间是指运动轴运动到目标位置后，运动轴停留在该位置的时间间隔。预设时间还可以在满足拍摄获取原始视频图像，处理原始视频图像获取缺陷类型结果的基础上，根据目标产品的工艺需求、工作流程需求设置预设时间，以进行其他的操作，确保下一步操作的准备和顺利进行。该预设时间尽量控制在最小范围内，以最大程度提高生产效率，同时保证工艺的正确执行和质量的控制。
参考图2，本实施例中，孔探缺陷检测方法还包括：
S210、收集训练数据集和测试数据集，训练数据集和测试数据集均包括正样本图像集和负样本图像集，其中，正样本图像集包括具有目标缺陷的正样本图像，负样本图像集包括不具有目标缺陷的负样本图像；
S220、使用训练数据集对缺陷检测模型进行训练，得到初步的缺陷检测模型；
S230、使用测试数据集对初步的缺陷检测模型进行评估；
S240、根据评估结果优化初步的缺陷检测模型，得到最终的缺陷检测模型。
通过训练数据集对缺陷检测模型进行训练，使缺陷检测模型能够从输入图像中提取特征并进行缺陷检测的任务。基于此，使用测试数据集对训练得到的缺陷检测模型进行评估，评估训练好的模型在新数据上的性能表现，以验证模型的泛化能力和准确性，进一步优化缺陷检测模型，提高缺陷检测模型对目标缺陷识别的准确性。
其中，正样本图像集包括具有目标缺陷的正样本图像。这些图像是缺陷检测模型学习缺陷特征和进行缺陷检测的关键，通过正样本图像集，缺陷检测模型可以学习如何准确地识别和定位不同类型的缺陷。
负样本图像集包括不具有目标缺陷的负样本图像。这些图像用于帮助缺陷检测模型区分缺陷和非缺陷区域，避免缺陷检测模型在训练过程中产生误判。负样本图像集有助于模型学习正常区域的特征，从而提高模型的准确性和泛化能力。
在步骤S240中，根据评估结果优化初步的缺陷检测模型，具体是根据评估结果，对缺陷检测模型的运行参数进行调整和优化，以确保缺陷检测模型能够对不同类型的缺陷具有较高的准确率和鲁棒性，提高缺陷识别的性能和效果。
参考图3，本实施例中，步骤S220中，使用训练数据集对缺陷检测模型进行训练，包括：
S310、对训练数据集中的图像进行标注，标注出目标缺陷的位置和类别信息；
S320、对标注的图像进行增强操作；
S330、基于增强操作后的训练数据集和任务需求，调整缺陷检测模型的配置文件，使用增强操作后的训练数据集对缺陷检测模型进行训练。
通过对图像进行标注，可以为缺陷检测模型提供更丰富、多样的训练数据，帮助缺陷检测模型更好地理解不同类型的缺陷，增强操作后的图像可以提高模型的泛化能力，减少过拟合的风险，提高所训练得到缺陷检测模型的检测能力和泛化能力，同时，通过调整模型配置文件和使用增强后的数据集进行训练，可以优化模型的训练过程，提高模型在实际应用中的性能表现。
其中，对标注的图像进行增强操作，包括随机缩放、裁剪、旋转、翻转等，以增加数据样本的多样性和泛化能力。
本申请中，缺陷检测模型基于YOLO V5目标检测识别算法。在对缺陷检测模型进行训练时，下载YOLOv5的源代码和预训练权重文件，根据增强操作后的训练数据集和任务需求，调整缺陷检测模型的配置文件，网络结构、输入图像尺寸、类别数量等。
在缺陷检测模型的训练过程中，使用目标检测任务中常用的损失函数，如YOLO v5目标检测识别算法中的GIoU损失和类别损失，来衡量预测框和真实框之间的差异。并且，模型训练过程中，采用迭代的方式，通过反向传播和优化算法来更新网络参数，使其逐渐收敛到最优解。
参考图4，步骤S230中，使用测试数据集对初步的缺陷检测模型进行评估，具体包括：
S410、将测试数据集输入初步的缺陷检测模型，得到缺陷类型结果；
S420、基于目标检测指标评估缺陷类型结果，输出评估结果，其中，目标检测指标包括缺陷目标的准确率和召回率。
通过目标检测指标评估缺陷检测模型的缺陷类型结果，全面了解模型在测试数据集上的表现，发现模型存在的问题和改进空间，从而指导后续的模型优化工作，提高缺陷检测模型的性能和准确性。
其中，缺陷目标的准确率可以衡量模型预测为缺陷的样本中有多少是真正的缺陷，评估模型的预测准确性。缺陷目标的召回率可以衡量模型能够正确检测出所有真正的缺陷样本的能力，评估模型的检测能力。
参考图5，本实施例中，步骤S120中，通过缺陷检测模型提取原始视频图像中的缺陷特征，并对缺陷特征进行分析，得到目标产品内腔的缺陷类型结果，具体包括：
S510、将原始视频图像输入缺陷检测模型；
S520、缺陷检测模型通过其内的主干网络提取图像特征，得到一系列特征层；
S530、每个特征层通过缺陷检测模型的预测层生成一组边界框结果，其中，边界框结果包括边界框的位置和类别概率；
S540、使用非极大值抑制算法对生成的边界框进行筛选和去重，得到目标边界框；
S550、根据类别概率选择置信度最高的类别作为目标边界框的类型，输出目标产品内腔的缺陷类型结果。
上述步骤能利用缺陷检测模型提取图像中的缺陷特征，并通过分析这些特征得到目标产品内腔的缺陷类型结果，实现自动化的缺陷检测过程，提高检测效率和准确性。
其中，缺陷检测模型的主干网络所提取的图像特征包含了图像的关键信息，有助于模型理解图像内容并识别其中的缺陷。对边界框进行筛选和去重，确保最终输出的边界框结果准确且不重叠，从而得到目标产品内腔的缺陷类型结果。
本申请中，在步骤S510中，缺陷检测模型基于YOLO V5目标检测识别算法。YOLO V5目标检测识别算法的工作原理是将整个图像划分为网格，并在每个网格中预测目标的边界框和类别。具体而言，YOLO V5目标检测识别算法将输入图像分成S\times SS×S个网格，并为每个网格预测BB个边界框和对应的置信度分数。每个边界框包含了目标的位置和尺寸信息，而置信度分数表示该边界框包含目标的可信度。YOLO V5目标检测识别算法还使用了卷积神经网络(CNN)来提取图像特征，并通过多层感知机(MLP)来预测目标的类别。在训练过程中，YOLOV5使用了标注的边界框和类别信息来计算损失，并通过反向传播算法来更新网络参数。
本实施例中，孔探缺陷检测方法还可包括：
根据缺陷类型结果，统计目标产品内腔中各种缺陷类型的数量；
基于得到的数量评估目标产品的质量。
通过统计各种缺陷类型的数量，有利于用户了解目标产品的质量状况，进行质量控制和改进。
本申请还提供一种孔探缺陷检测设备100，应用上述的孔探缺陷检测方法对目标产品内腔进行孔探缺陷检测。如图6所示，孔探缺陷检测设备100包括视频采集模块110、缺陷检测模型模块120和显示模块130。
视频采集模块110用于从多个角度获取目标产品内腔的原始视频图像；
缺陷检测模型模块120用于提取原始视频图像中的缺陷特征，并对缺陷特征进行分析，获取目标产品内腔的缺陷类型结果；
显示模块130用于将原始视频图像和缺陷类型结果同屏显示。
本申请的孔探缺陷检测设备100通过视频采集模块110从多个角度获取目标产品内腔的原始视频图像，检测覆盖目标产品内腔的每个面，并通过缺陷检测模型模块120提取原始视频图像中的缺陷特征，对缺陷特征进行分析，快速准确获取缺陷类型结果，降低漏检率，自动化程度高，降低人工成本，以及通过显示模块130将原始视频图像和缺陷类型结果进行同屏显示，使得操作人员能快速准确地获取缺陷的类型和定位缺陷在目标产品内腔中的位置。
其中，视频采集模块110可以是高分辨率的摄像头、探头等可以拍摄原始视频图像的拍摄设备。本实施例中，视频采集模块110具体采用探头，探头是用于获取内腔实际视频图像的设备，它可以是一个小型摄像头或光学探头等。探头通常由相机模组、镜头和金属连接件等组成，以便将其安装在需要检测的内腔位置。探头的类型和规格可以根据具体应用需求进行选择和定制，以确保能够获取清晰、准确的内腔视频图像。
显示模块130将原始视频图像和缺陷类型结果同屏显示，缺陷类型结果可以通过在图像上标记、警示符号、颜色编码等方式来呈现，以便操作员能够快速了解目标产品内腔的情况。显示模块130具体可以采用三视视窗，三视视窗是一个显示界面，用于同时显示视频采集模块110获取的实际视频和内腔缺陷判断的状态实时显示。它通常分为多个窗口，每个窗口显示不同的视角或功能，例如正视图、侧视图、缺陷检测结果等。三视视窗的实时显示功能可以帮助操作员全面了解内腔的情况，包括实际图像和缺陷检测结果。
显示模块130还可用于显示设备的实时运行状态和参数信息，如设备的当前状态(例如正常、故障等)、运行时间、速度、位置等，以及可以显示设备的实时生产数据，例如产量、良品率、故障次数等，包括数据的实时显示窗口、统计图表或图形化指示，以及与其相关的数据筛选、导出和分析选项。
缺陷检测模型模块120具体可以是ONNX、TensorFlow SavedModel或PyTorch模型格式的模型，集成到孔探缺陷检测设备100中，与其他模块进行数据的传输。
进一步地，孔探缺陷检测设备100还包括与视频采集模块110连接的运动控制模块140，用于对视频采集模块110的运行状态进行控制，运行状态包括拍摄位置、运行速度、运行方向、加速度和停留时间。
通过对视频采集模块110的运行状态进行控制，使其能多角度拍摄获取目标产品内腔的原始视频图像，覆盖内腔的各个面，降低漏检率。
在具体操作过程中，可以采用六轴机器人带动视频采集模块110进行运动，通过控制六轴机器人的位置、运行速度、运行方向、加速度和停留时间来控制视频采集模块110的运行状态。
具体地，对六轴机器人的位置的控制可以是通过输入或调节位置调整按钮，对选定轴的位置进行微调。可以通过增加或减少位置值来调整轴的位置，以实现精确的定位。
对六轴机器人的运行速度的控制可以是通过输入或调节速度调整按钮，增加或减少速度值，以控制轴的运动速度。
对六轴机器人的运动方向的调整可以是通过界面或控制器上的方向按钮，选择正向或反向运动，以控制轴的运动方向。
对六轴机器人的加速度的调整可以是设定轴的加速度和减速度的数值。通过设置适当的加减速值，可以控制轴的平滑启动和停止，避免突然的加速或减速对设备和工件造成的冲击。其中，根据设备和工件的质量、惯性和敏感性等特性，选择适当的加减速数值，如较大质量或惯性的工件可能需要较长的加减速时间，以避免冲击和损坏。过大的加速度或减速度可能导致冲击和振动，而过小的数值可能会导致运动时间延长；在保证设备和工件安全的前提下，尽可能选择较小的加减速数值，以提高生产效率和运动速度。
六轴机器人的停留时间指在运动轴运动到目标位置后，运动轴停留在该位置的时间间隔。停顿时间可以用于等待其他操作的完成或者进行一些特定的处理。例如，在某些工艺中，可能需要在轴到达目标位置后等待一段时间，以便进行下一步的工作或者进行测量和检测。根据工作流程的要求，合理设置停顿时间，以确保下一步操作的准备和顺利进行；尽量将停顿时间控制在最小范围内，以提高生产效率，同时保证工艺的正确执行和质量的控制。
在一个实施例中，孔探缺陷检测设备100还可包括权限设置模块150，系统管理员通过该权限设置模块150可以设置不同的用户角色和权限级别，以实现管理员、工程师和操作员的不同控制权限，如管理员具有最高权限，可以对设备进行全面管理和配置，可以添加、删除和管理用户账户，设置用户的权限级别，以及对设备的各项功能进行配置和调整；工程师具有较高的权限，可以进行设备的维护和调试。可以访问主运动控制模块140和各参数设置模块，对设备的运动控制和参数进行调整和优化。此外，工程师还可以查看设备的运行日志和故障信息，进行故障排查和维修；操作员是设备的操作人员，他们具有较低的权限，主要用于设备的日常操作和监控，可以登录系统，查看主界面模块，监控设备的运行情况，并进行基本的操作，如启动检测、停止检测和查看检测结果报表等；操作员的权限受到限制，不能进行系统配置和参数调整；设备开发者具有包括设备参数、工艺参数、设定所有权限；维护工程师具有包括设备参数、设定线长、操作员权限；线长具有包括工艺参数、操作员权限；操作员仅有操作权限。
通过权限设置模块150对不同用户角色的权限划分，可以确保系统的安全性和操作的合理性。管理员可以灵活管理用户账户和权限，工程师可以进行系统的调试和维护，操作员则可以进行设备的日常操作和监控，这样的权限分级设计有助于提高设备的安全性和操作的效率。
在一个实施例中，孔探缺陷检测设备100还可包括交互接口控制模块160，用户可通过交互接口控制模块160对设备的交互接口进行控制，如设备的开关、传感器等的打开或关闭。
在一个实施例中，孔探缺陷检测设备100还可包括维护控制面板170，提供设备维护和故障排查的功能，维护控制面板170包含信息：设备的状态信息、故障报警信息、报警清除功能(报警提示框、灯光、蜂鸣器清除)、维护操作指南和维修记录等。
在一个实施例中，孔探缺陷检测设备100可工作在自动模式下，设备会需要循环读取设备预标定制程数据，允许用户使用预设的参数进行自动化控制，可能包含的资料包括预设的标定参数(例如位置、速度、加速度等)、运动序列和循环次数等。
其中，设备预标定制程数据的读取过程具体为，设备会周期性地读取预标定制程数据，以获取用户预设的参数和控制信息。预标定制程数据可能包括位置、速度、加速度等参数，用于运动轴的运动控制。设备可以通过接口或者网络连接获取预标定制程数据，以确保实时性和准确性。在自动模式下，设备使用预设的参数进行自动化控制，无需人工干预。设备根据预设的标定参数，按照设定的运动序列和循环次数进行运动控制，运动控制可以包括位置调整、速度调整和运动方向控制等，以实现轴的平稳运动和准确控制。
用户对参数进行预设包括位置、速度、加速度等，根据具体需求进行设定。标定参数的设定可以通过设备的界面或者控制器进行操作，提供用户友好的设置界面和交互方式。用户可以根据实际应用需求，灵活地调整标定参数，以满足不同工艺和工件的要求。
进一步地，用户可以设定运动序列和循环次数，设备的运动序列即运动轴的运动顺序和顺序之间的时间间隔。循环次数表示设备将按照预设的运动序列进行多少次循环。运动序列和循环次数的设定可以根据工艺流程和生产需求进行调整，以实现自动化的多次运动控制。
在一个实施例中，孔探缺陷检测设备100还包括操作界面180和视频显示器190。操作界面180提供了各种功能和操作的选项，例如基础设置、参数设置、数据导出等，可以包括不同功能选项的名称、图标或按钮，以及与其相关的操作指南或说明。它通常以图标、按钮或文本的形式呈现，用户可以通过点击或选择相应的选项来执行相应的功能；菜单/工具栏的内容可以根据具体应用需求进行设计和定制，以满足用户的操作需求；每个功能选项可能会伴随着操作指南或说明，以帮助用户了解如何正确使用和配置该功能。视频显示器190可以显示探头获取的实际视频图像。视频显示器190通常位于操作员所在的控制室或操作台上，以便操作员可以清晰地观察内腔的情况。
在一个具体实施场景中，视频采集模块110采用三个探头，三个探头可位于不同位置或角度，从多个角度获取目标产品内腔的原始视频图像，以覆盖内腔的不同区域。以下对该场景下孔探缺陷检测设备100的工作流程进行说明：将目标产品安装到适配的夹具上，以确保三个探头能进入内腔进行拍摄获取原始视频图像；启动运动控制模块140，控制探头在内腔中移动，以使探头移动至目标位置，移动覆盖整个内腔表面，获取全面的原始视频图像；通过缺陷检测模型提取原始视频图像中的缺陷特征，并对缺陷特征进行分析，得到目标产品内腔的缺陷类型结果；将原始视频图像和缺陷类型结果进行同屏显示，将该目标产品归类为不合格产品，若目标产品没有缺陷，则归类为合格产品。
请参阅图7，图7是本发明提供的计算机可读存储介质200的一实施例的结构示意图。计算机可读存储介质200中存储有至少一个计算机程序210，计算机程序210用于被处理器执行以实现如上述孔探缺陷检测方法，详细的步骤可参见上述，在此不再赘述。在一个实施例中，计算机可读存储介质200可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当理解的是，以上实施例仅用以说明本发明的技术方案，而非对其限制，对本领域技术人员来说，可以对上述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而所有这些修改和替换，都应属于本发明所附权利要的保护范围。

Claims (10)

1.一种孔探缺陷检测方法，其特征在于，包括：
从多个角度获取目标产品内腔的原始视频图像；
通过缺陷检测模型提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，得到所述目标产品内腔的缺陷类型结果；
将所述原始视频图像和所述缺陷类型结果进行同屏显示。
2.根据权利要求1所述的孔探缺陷检测方法，其特征在于，所述孔探缺陷检测方法还包括：
通过六轴机器人带动探头运动至目标位置后，控制所述六轴机器人的每一运动轴在所述目标位置停留对应的预设时间，从多个角度获取目标位置的原始视频图像；
通过缺陷检测模型提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，得到所述目标产品内腔的缺陷类型结果。
3.根据权利要求2所述的孔探缺陷检测方法，其特征在于，所述孔探缺陷检测方法还包括：
收集训练数据集和测试数据集，所述训练数据集和测试数据集均包括正样本图像集和负样本图像集，其中，所述正样本图像集包括具有目标缺陷的正样本图像，所述负样本图像集包括不具有目标缺陷的负样本图像；
使用所述训练数据集对缺陷检测模型进行训练，得到初步的缺陷检测模型；
使用所述测试数据集对初步的缺陷检测模型进行评估；
根据评估结果优化初步的缺陷检测模型，得到最终的缺陷检测模型。
4.根据权利要求3所述的孔探缺陷检测方法，其特征在于，所述使用所述训练数据集对缺陷检测模型进行训练，包括：
对所述训练数据集中的图像进行标注，标注出目标缺陷的位置和类别信息；
对标注的图像进行增强操作；
基于增强操作后的训练数据集和任务需求，调整缺陷检测模型的配置文件，使用增强操作后的训练数据集对缺陷检测模型进行训练。
5.根据权利要求4所述的孔探缺陷检测方法，其特征在于，所述使用所述测试数据集对初步的缺陷检测模型进行评估，具体包括：
将所述测试数据集输入初步的缺陷检测模型，得到缺陷类型结果；
基于目标检测指标评估缺陷类型结果，输出评估结果，其中，所述目标检测指标包括缺陷目标的准确率和召回率。
6.根据权利要求1-5任一项所述的孔探缺陷检测方法，其特征在于，所述通过缺陷检测模型提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，得到所述目标产品内腔的缺陷类型结果，具体包括：
将原始视频图像输入缺陷检测模型；
缺陷检测模型通过其内的主干网络提取图像特征，得到一系列特征层；
每个所述特征层通过缺陷检测模型的预测层生成一组边界框结果，其中，所述边界框结果包括边界框的位置和类别概率；
使用非极大值抑制算法对生成的边界框进行筛选和去重，得到目标边界框；
根据类别概率选择置信度最高的类别作为目标边界框的类型，输出目标产品内腔的缺陷类型结果。
7.根据权利要求6所述的孔探缺陷检测方法，其特征在于，所述缺陷检测模型基于YOLOV5目标检测识别算法。
8.一种孔探缺陷检测设备，其特征在于，应用如权利要求1-7任一项所述的孔探缺陷检测方法对目标产品内腔进行孔探缺陷检测，所述孔探缺陷检测设备包括：
视频采集模块，用于从多个角度获取目标产品内腔的原始视频图像；
缺陷检测模型模块，用于提取所述原始视频图像中的缺陷特征，并对所述缺陷特征进行分析，获取所述目标产品内腔的缺陷类型结果；
显示模块，用于将所述原始视频图像和所述缺陷类型结果同屏显示。
9.根据权利要求8所述的孔探缺陷检测设备，其特征在于，所述孔探缺陷检测设备还包括与所述视频采集模块连接的运动控制模块，用于对所述视频采集模块的运行状态进行控制，所述运行状态包括拍摄位置、运行速度、运行方向、加速度和停留时间。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序用于被处理器执行如权利要求1-7任一项所述的孔探缺陷检测方法。
CN202410268624.5A 2024-03-08 2024-03-08 一种孔探缺陷检测方法、设备及存储介质 Pending CN118154539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410268624.5A CN118154539A (zh) 2024-03-08 2024-03-08 一种孔探缺陷检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410268624.5A CN118154539A (zh) 2024-03-08 2024-03-08 一种孔探缺陷检测方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118154539A true CN118154539A (zh) 2024-06-07

Family

ID=91289804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410268624.5A Pending CN118154539A (zh) 2024-03-08 2024-03-08 一种孔探缺陷检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN118154539A (zh)

Similar Documents

Publication Publication Date Title
US20210390678A1 (en) Method for monitoring manufacture of assembly units
CN110619620A (zh) 导致表面缺陷的异常定位方法、装置、系统及电子设备
CN112115927B (zh) 一种基于深度学习的机房设备智能识别方法及系统
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
KR102108956B1 (ko) 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
JP6823025B2 (ja) 検査装置及び機械学習方法
CN111126196A (zh) 一种设备漏油检测方法
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
US11521120B2 (en) Inspection apparatus and machine learning method
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
CN117382129A (zh) 注塑机数据分析系统和电子设备
CN116840240A (zh) 电源分配器视觉检测系统
CN117314829A (zh) 一种基于计算机视觉的工业零件质检方法和系统
CN110823596B (zh) 一种测试方法和装置、电子设备和计算机可读存储介质
CN118154539A (zh) 一种孔探缺陷检测方法、设备及存储介质
US20220044379A1 (en) Streamlining an automatic visual inspection process
DE112020004812T5 (de) Bewegung in bildern, die in einem visuellen prüfprozess verwendet werden
CN108181315B (zh) 一种基于图像处理的饼干损伤检测装置及检测方法
CN110895716B (zh) 检查装置以及机器学习方法
CN117496445B (zh) 一种建筑施工设备故障预测方法、设备及介质
CN113191977B (zh) 一种用于恶劣环境条件下目标检测识别的图像增强系统
CN116453223A (zh) 一种智能引控系统及其工作方法
WO2024112737A1 (en) Automated macrographic section analysis of joints
KR20240020507A (ko) 펄프몰드 제품의 불량 판정 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination