CN114972342B - 一种变速箱齿轮表面缺陷检测方法 - Google Patents

一种变速箱齿轮表面缺陷检测方法 Download PDF

Info

Publication number
CN114972342B
CN114972342B CN202210897809.3A CN202210897809A CN114972342B CN 114972342 B CN114972342 B CN 114972342B CN 202210897809 A CN202210897809 A CN 202210897809A CN 114972342 B CN114972342 B CN 114972342B
Authority
CN
China
Prior art keywords
defect
area
class
type
prone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210897809.3A
Other languages
English (en)
Other versions
CN114972342A (zh
Inventor
周益新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Xinsidi Electromechanical Co ltd
Original Assignee
Nantong Xinsidi Electromechanical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Xinsidi Electromechanical Co ltd filed Critical Nantong Xinsidi Electromechanical Co ltd
Priority to CN202210897809.3A priority Critical patent/CN114972342B/zh
Publication of CN114972342A publication Critical patent/CN114972342A/zh
Application granted granted Critical
Publication of CN114972342B publication Critical patent/CN114972342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种变速箱齿轮表面缺陷检测方法，包括以下步骤：步骤S1、表面缺陷进行类别分组得到多个类别的缺陷样本集，对每个缺陷类别的缺陷样本集进行区域特征提取以构建出每个缺陷类别的缺陷画像；步骤S2、定位出缺陷易发区域和非缺陷易发区域，并将缺陷易发区域的表面图像进行增强优化；步骤S3、对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，并确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别。本发明为缺陷易发区域构建单类别缺陷识别模型，为非缺陷易发区域构建多类别缺陷识别模型，对易发生缺陷的区域和不易发生缺陷的区域进行差别识别，提高缺陷检测时效性，降低运算冗余。

Description

一种变速箱齿轮表面缺陷检测方法
技术领域
本发明涉及表面缺陷检测技术领域，具体涉及一种变速箱齿轮表面缺陷检测方法。
背景技术
在工业缺陷检测领域中，利用深度学习目标检测进行缺陷识别技术已经趋向成熟，但是目标检测的弊端也随之产生，由于零件缺陷数量少，缺陷种类不定，在常规的深度学习目标检测算法中，需要提供大量的缺陷数据供神经网络进行学习，但是由于缺陷的成像有位置、形状、光源等影响因素存在，不同因素会组合成各种各样的缺陷，且可能出现极少数且形态大的未知缺陷，将使得AI目标检测算法学习起来变得异常困难。且工业零件的真实缺陷收集困难，可能持续推迟设备的交付日期，这使得生产方将在节省人力成本上继续投入。
针对大多数工业零件的缺陷，多数采用人工肉眼质检的方式进行检测。但是此方法存在以下缺陷：效率低：检查零件的效率其实考验一个人的熟练程度，工作时间较长将会有更高的检测效率，但是随着工作时间的增加，个人疲惫与懒惰性也会增加，这将降低质检人员的检测效率；漏检风险：随着工作时间增加，个人注意力也会降低，将会带来漏检风险，而机械不会疲惫，不存在这种问题；难界定：由于工业缺陷尺寸都是毫米级别的，人工通过肉眼将较难界别毫米级尺寸的缺陷；量化分析困难：人工判定缺陷将无法进行数据统计，对工厂智能化会带来阻碍；人工成本高：企业将不断对不确定性高的人工质检付出相应的费用，成本效益较低；更进一步采用传统视觉算法，人工非标准化的算法的编写局限性很大，仅通过判断灰度值或者面积进行缺陷判定，误判风险将增加；且编写算法过程复杂，通用性不高，如果型号多的话，每款型号都将耗费算法工程师进行算法编写，人工成本高。现有的缺陷检测算法大多是进行静态检测，需要停至运行后进行检测，无法实现在线监测，导致无法在运行过程中检测处零件的损伤，因而也就无法进行提前预警，造成运行危险性的增加，而且在检测是对零件的整个外观图像进行无差别式缺陷识别，对易发生缺陷的区域和不易发生缺陷的区域进行相同模式的识别，会导致对易发生缺陷区域的关注度不够，而不易发生缺陷区域的关注度过剩，最终造成缺陷检测时效性差，以及运算冗余。
发明内容
本发明的目的在于提供一种变速箱齿轮表面缺陷检测方法，以解决现有技术中无法实现在线监测，缺陷检测时效性差，以及运算量冗余的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种变速箱齿轮表面缺陷检测方法，包括以下步骤：
步骤S1、获取变速箱齿轮的生产残缺品和使用残缺品作为分析样品，并在分析样品中标记出表面缺陷，将表面缺陷进行类别分组得到多个类别的缺陷样本集，对每个缺陷类别的缺陷样本集进行区域特征提取以使用区域特征构建出每个缺陷类别的缺陷画像，所述生产残缺品为齿轮生产过程中检验出包含缺陷的残缺品，所述使用残缺品为齿轮使用过程中检验出包含缺陷的残缺品；
步骤S2、利用每个缺陷类别的缺陷画像与待检测变速箱齿轮进行区域特征匹配以实现在待检测变速箱齿轮的表面定位出缺陷易发区域和非缺陷易发区域，并将缺陷易发区域的表面图像进行增强优化；
步骤S3、对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，并将优化后的缺陷易发区域表面图像依缺陷识别顺序输入至对应类别的单类别缺陷识别模型，以确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别；
步骤S4、将非缺陷易发区域表面图像输入至多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，结合缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别实现了对待检测变速箱齿轮表面的缺陷定位和缺陷类别判定，所述单类别缺陷识别模型和多类别缺陷识别模型均基于神经网络预先建立而成。
作为本发明的一种优选方案，所述将表面缺陷进行类别分组得到多个类别缺陷样本集，包括：
将每个表面缺陷进行缺陷类别人工标记，并将表面缺陷按缺陷类别进行分类以将同一缺陷类别的表面缺陷汇集至同一集合内得到多个缺陷类别的缺陷样本集。
作为本发明的一种优选方案，所述对每个缺陷类别的缺陷样本集进行区域特征提取以使用区域特征构建出每个缺陷类别的缺陷画像，包括：
依次对每个缺陷类别的缺陷样本集中每个表面缺陷进行区域位置和区域结构的提取以得到每个缺陷样本集中每个表面缺陷的区域特征，并将每个缺陷样本集中每个表面缺陷的区域特征汇聚至同一集合作为每个缺陷类别的区域特征样本集；
将每个缺陷类别的缺陷样本集中每个表面缺陷进行缺陷程度的量化以得到每个缺陷样本集中每个表面缺陷的缺陷程度，并将每个缺陷样本集中每个表面缺陷的缺陷程度汇聚至同一集合作为每个缺陷类别的缺陷程度特征样本集；
所述缺陷程度的量化过程包括：
获取每个表面缺陷的缺陷面积以及缺陷深度，并对缺陷面积和缺陷深度设定可调权重，利用可调权重对缺陷面积和缺陷深度进行权重求和以及归一化处理得到每个表面缺陷的缺陷程度；
所述缺陷程度的量化公式为：
Figure 100002_DEST_PATH_IMAGE001
；
式中，F k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷程度，S k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷面积，H k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷深度，w表征为缺陷面积的可调权重，v表征为缺陷深度的可调权重，n k 表征为第k个缺陷类别的表面缺陷总数量，w+v=1，w∈[0,1]，v∈[0,1]；
利用BP神经网络基于每个区域特征样本集和每个缺陷程度特征样本集进行学习训练得到表征每个缺陷类别缺陷画像的特征表征模型；
所述特征表征模型的建立过程包括：
将每个区域特征样本集中的区域特征作为神经网络输入项，将对应缺陷类别的缺陷程度特征样本集作为BP神经网络输出项，利用BP神经网络对所述输入项和输出项进行学习训练得到每个缺陷类别的特征表征模型。
作为本发明的一种优选方案，所述利用每个缺陷类别的缺陷画像与待检测变速箱齿轮进行区域特征匹配以实现在待检测变速箱齿轮的表面定位出缺陷易发区域，包括：
将待检测变速箱齿轮进行网格化分割得到一组待检测区域，并依次提取出每个待检测区域的区域位置和区域结构作为每个待检测区域的区域特征；
将所有待检测区域的区域特征依次输入至每个缺陷类别的特征表征模型中进行模型预测，并由每个缺陷类别的特征表征模型依次输出所有待检测区域的缺陷程度；
将每个待检测区域在所有缺陷类别下的缺陷程度进行求和得到每个待检测区域的缺陷易发度；
将缺陷易发度与预设阈值进行比较，其中，
若缺陷易发度高于预设阈值，则将对应的待检测区域标记为缺陷易发区域；
若缺陷易发度低于或等于预设阈值，则将对应的待检测区域标记为非缺陷易发区域。
作为本发明的一种优选方案，所述将缺陷易发区域的表面图像进行增强优化，包括：
将缺陷易发区域的表面图像输入至频率域增强算法中得到频率域增强图像，并将缺陷易发区域的表面图像输入至空间域增强算法中得到空间域增强图像；
将频率域增强图像和空间域增强图像利用基于结构相似度的图像质量评价算法进行增强效果评价，并在频率域增强图像和空间域增强图像中选取增强效果强的图像作为所述缺陷易发区域的增强表面图像。
作为本发明的一种优选方案，所述对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，包括：
对每个缺陷易发区域按缺陷程度对缺陷类别进行由高到低的排序得到单类别缺陷识别顺序。
作为本发明的一种优选方案，所述将优化后的缺陷易发区域表面图像依缺陷识别顺序输入至对应类别的单类别缺陷识别模型，以确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，包括：
在所有单类别缺陷识别模型中选取出与缺陷易发区域的缺陷类别对应的单类别缺陷识别模型，将缺陷易发区域的增强表面图像依缺陷识别顺序输入至对应的单类别缺陷识别模型，并由对应的单类别缺陷识别模型输出缺陷易发区域在对应缺陷类别下的缺陷产生结果以及产生缺陷的缺陷类别，其中，
当单类别缺陷识别模型的输出结果为：yes，则缺陷易发区域发生了与单类别缺陷识别模型相对应的缺陷类别的表面缺陷；
当单类别缺陷识别模型的输出结果为：no，则缺陷易发区域未发生与单类别缺陷识别模型相对应的缺陷类别的表面缺陷；
所述单类别缺陷识别模型的建立过程包括：
将每个缺陷类别的缺陷样本集中表面图像作为CNN神经网络的输入项，将缺陷样本集对应的缺陷类别作为CNN神经网络的输出项，利用CNN神经网络在每个缺陷类别的所述输入项和输出项上进行学习训练得到每个缺陷类别的所述单类别缺陷识别模型；
所述单类别缺陷识别模型的模型函数表达式为：
Figure DEST_PATH_IMAGE002
；
式中，Label(yes,no)为输出结果的函数标识符，CNN为CNN神经网络的函数标识符，G为表面图像的函数标识符。
作为本发明的一种优选方案，所述将非缺陷易发区域表面图像输入至多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，包括：
将非缺陷易发区域的增强表面图像输入至对应的多类别缺陷识别模型，并由对应的多类别缺陷识别模型输出缺陷易发区域在对应缺陷类别下的缺陷产生结果以及产生缺陷的缺陷类别，其中，
当多类别缺陷识别模型的输出结果为：X，则非缺陷易发区域发生了缺陷类别X的表面缺陷；
当多类别缺陷识别模型的输出结果为：no，则非缺陷易发区域未发生表面缺陷；
所述多类别缺陷识别模型的建立过程包括：
将多个缺陷类别的缺陷样本集混合得到多类别缺陷样本，将多类别缺陷样本中表面图像作为CNN神经网络的输入项，将缺陷样本集对应的缺陷类别作为CNN神经网络的输出项，利用CNN神经网络在所述输入项和输出项上进行学习训练得到所述多类别缺陷识别模型；
所述多类别缺陷识别模型的模型函数表达式为：
Figure 100002_DEST_PATH_IMAGE003
；
式中，Label(X,no)为输出结果的函数标识符，CNN为CNN神经网络的函数标识符，G为表面图像的函数标识符。
作为本发明的一种优选方案，所述表面图像的获得方法包括：
拍摄设备在待检测变速箱齿轮在进行工况运行时在线拍摄出待检测变速箱齿轮的全景表面图像，在全景表面图像中获取出缺陷易发区域和非缺陷易发区域的表面图像，以实现表面缺陷检测的在线性。
作为本发明的一种优选方案，所述表面图像处于YCbCr颜色空间，以便于模型利用Y分量有效的学习到缺陷细节。
本发明与现有技术相比较具有如下有益效果：
本发明为缺陷易发区域构建单类别缺陷识别模型，为非缺陷易发区域构建多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，结合缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别实现了对待检测变速箱齿轮表面的缺陷定位和缺陷类别判定，并且表面图像来自于在线拍摄，因此在线缺陷监测可实时获取齿轮在运行过程中的表面缺陷情况，无需停工检测影像正常使用，而且实时掌握损伤情况能够进行提前预警，降低运行危险性，对易发生缺陷的区域和不易发生缺陷的区域进行差别识别，会避免对易发生缺陷区域的关注度不够，以及不易发生缺陷区域的关注度过剩的问题，提高缺陷检测时效性，降低运算冗余。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的变速箱齿轮表面缺陷检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种变速箱齿轮表面缺陷检测方法，包括以下步骤：
步骤S1、获取变速箱齿轮的生产残缺品和使用残缺品作为分析样品，并在分析样品中标记出表面缺陷，将表面缺陷进行类别分组得到多个类别的缺陷样本集，对每个缺陷类别的缺陷样本集进行区域特征提取以使用区域特征构建出每个缺陷类别的缺陷画像，生产残缺品为齿轮生产过程中检验出包含缺陷的残缺品，使用残缺品为齿轮使用过程中检验出包含缺陷的残缺品；
在收集表面缺陷时，既利用了生产过程中会产生的表面缺陷，又利用了使用过程中会产生的表面缺陷，汇总生产过程和使用过程易产生的表面缺陷，从而能够更为全面的了解到变速箱齿轮上会出现各种类别的表面缺陷的易发区域，易发区域利用包括生产工艺会造成的易发性，以及在长期使用过程中造成的易发性，因而提高表面缺陷的收集全面性，同时也能增加样本数据量。
将表面缺陷进行类别分组得到多个类别缺陷样本集，包括：
将每个表面缺陷进行缺陷类别人工标记，并将表面缺陷按缺陷类别进行分类以将同一缺陷类别的表面缺陷汇集至同一集合内得到多个缺陷类别的缺陷样本集。
对每个缺陷类别的缺陷样本集进行区域特征提取以使用区域特征构建出每个缺陷类别的缺陷画像，包括：
依次对每个缺陷类别的缺陷样本集中每个表面缺陷进行区域位置和区域结构的提取以得到每个缺陷样本集中每个表面缺陷的区域特征，并将每个缺陷样本集中每个表面缺陷的区域特征汇聚至同一集合作为每个缺陷类别的区域特征样本集；
将每个缺陷类别的缺陷样本集中每个表面缺陷进行缺陷程度的量化以得到每个缺陷样本集中每个表面缺陷的缺陷程度，并将每个缺陷样本集中每个表面缺陷的缺陷程度汇聚至同一集合作为每个缺陷类别的缺陷程度特征样本集；
缺陷程度的量化过程包括：
获取每个表面缺陷的缺陷面积以及缺陷深度，并对缺陷面积和缺陷深度设定可调权重，利用可调权重对缺陷面积和缺陷深度进行权重求和以及归一化处理得到每个表面缺陷的缺陷程度；
缺陷程度的量化公式为：
Figure DEST_PATH_IMAGE004
；
式中，F k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷程度，S k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷面积，H k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷深度，w表征为缺陷面积的可调权重，v表征为缺陷深度的可调权重，n k 表征为第k个缺陷类别的表面缺陷总数量，w+v=1，w∈[0,1]，v∈[0,1]；
利用BP神经网络基于每个区域特征样本集和每个缺陷程度特征样本集进行学习训练得到表征每个缺陷类别缺陷画像的特征表征模型；
将缺陷面积和缺陷深度的权重设置为可调权重，可由使用者进行自调整，来调整缺陷程度中缺陷面积和缺陷深度的占比，即当更侧重于利用缺陷面积来量化缺陷程度时，就可以将缺陷面积的可调权重设定的较高，相应的缺陷深度的可调权重就会较低，而当更侧重于利用缺陷深度来量化缺陷程度时，就可以将缺陷深度的可调权重设定的较高，相应的缺陷面积的可调权重就会较低。缺陷程度越大，则表明变速箱齿轮的表面缺陷越严重，对齿轮的正常运行影响越大。
特征表征模型的建立过程包括：
将每个区域特征样本集中的区域特征作为神经网络输入项，将对应缺陷类别的缺陷程度特征样本集作为BP神经网络输出项，利用BP神经网络对输入项和输出项进行学习训练得到每个缺陷类别的特征表征模型。
步骤S2、利用每个缺陷类别的缺陷画像与待检测变速箱齿轮进行区域特征匹配以实现在待检测变速箱齿轮的表面定位出缺陷易发区域和非缺陷易发区域，并将缺陷易发区域的表面图像进行增强优化；
利用每个缺陷类别的缺陷画像与待检测变速箱齿轮进行区域特征匹配以实现在待检测变速箱齿轮的表面定位出缺陷易发区域，包括：
将待检测变速箱齿轮进行网格化分割得到一组待检测区域，并依次提取出每个待检测区域的区域位置和区域结构作为每个待检测区域的区域特征；
将所有待检测区域的区域特征依次输入至每个缺陷类别的特征表征模型中进行模型预测，并由每个缺陷类别的特征表征模型依次输出所有待检测区域的缺陷程度；
将每个待检测区域在所有缺陷类别下的缺陷程度进行求和得到每个待检测区域的缺陷易发度，缺陷易发度是每个待检测区域的缺陷程度总和，总和越高，则表明该待检测区域发生各个缺陷类别的数量越多，进一步表名了该检测区域易发生表面缺陷；
将缺陷易发度与预设阈值进行比较，其中，
若缺陷易发度高于预设阈值，则将对应的待检测区域标记为缺陷易发区域；
若缺陷易发度低于或等于预设阈值，则将对应的待检测区域标记为非缺陷易发区域。
将缺陷易发区域的表面图像进行增强优化，包括：
将缺陷易发区域的表面图像输入至频率域增强算法中得到频率域增强图像，并将缺陷易发区域的表面图像输入至空间域增强算法中得到空间域增强图像；
将频率域增强图像和空间域增强图像利用基于结构相似度的图像质量评价算法进行增强效果评价，并在频率域增强图像和空间域增强图像中选取增强效果强的图像作为缺陷易发区域的增强表面图像。
将变速箱齿轮表面进行网格化处理，并将各个网格区域分为缺陷易发区域和非缺陷易发区域，并对缺陷易发区域进行图像增强，突出区域内部图像结构特征，从而增加图像识别的准确度，而非易发区域中出现表面缺陷是小概率事件，因此无需进行图像增强，避免进行图像增强而导致的计算量冗余，最终影响识别效率。
步骤S3、对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，并将优化后的缺陷易发区域表面图像依缺陷识别顺序输入至对应类别的单类别缺陷识别模型，以确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别；
对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，包括：
对每个缺陷易发区域按缺陷程度对缺陷类别进行由高到低的排序得到单类别缺陷识别顺序。
将优化后的缺陷易发区域表面图像依缺陷识别顺序输入至对应类别的单类别缺陷识别模型，以确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，包括：
在所有单类别缺陷识别模型中选取出与缺陷易发区域的缺陷类别对应的单类别缺陷识别模型，将缺陷易发区域的增强表面图像依缺陷识别顺序输入至对应的单类别缺陷识别模型，并由对应的单类别缺陷识别模型输出缺陷易发区域在对应缺陷类别下的缺陷产生结果以及产生缺陷的缺陷类别，其中，
当单类别缺陷识别模型的输出结果为：yes，则缺陷易发区域发生了与单类别缺陷识别模型相对应的缺陷类别的表面缺陷；
当单类别缺陷识别模型的输出结果为：no，则缺陷易发区域未发生与单类别缺陷识别模型相对应的缺陷类别的表面缺陷；
单类别缺陷识别模型的建立过程包括：
将每个缺陷类别的缺陷样本集中表面图像作为CNN神经网络的输入项，将缺陷样本集对应的缺陷类别作为CNN神经网络的输出项，利用CNN神经网络在每个缺陷类别的输入项和输出项上进行学习训练得到每个缺陷类别的单类别缺陷识别模型；
单类别缺陷识别模型的模型函数表达式为：
Figure DEST_PATH_IMAGE005
；
式中，Label(yes,no)为输出结果的函数标识符，CNN为CNN神经网络的函数标识符，G为表面图像的函数标识符。
步骤S4、将非缺陷易发区域表面图像输入至多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，结合缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别实现了对待检测变速箱齿轮表面的缺陷定位和缺陷类别判定，单类别缺陷识别模型和多类别缺陷识别模型均基于神经网络预先建立而成。
将非缺陷易发区域表面图像输入至多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，包括：
将非缺陷易发区域的增强表面图像输入至对应的多类别缺陷识别模型，并由对应的多类别缺陷识别模型输出缺陷易发区域在对应缺陷类别下的缺陷产生结果以及产生缺陷的缺陷类别，其中，
当多类别缺陷识别模型的输出结果为：X，则非缺陷易发区域发生了缺陷类别X的表面缺陷；
当多类别缺陷识别模型的输出结果为：no，则非缺陷易发区域未发生表面缺陷；
多类别缺陷识别模型的建立过程包括：
将多个缺陷类别的缺陷样本集混合得到多类别缺陷样本，将多类别缺陷样本中表面图像作为CNN神经网络的输入项，将缺陷样本集对应的缺陷类别作为CNN神经网络的输出项，利用CNN神经网络在输入项和输出项上进行学习训练得到多类别缺陷识别模型；
多类别缺陷识别模型的模型函数表达式为：
Figure DEST_PATH_IMAGE006
；
式中，Label(X,no)为输出结果的函数标识符，CNN为CNN神经网络的函数标识符，G为表面图像的函数标识符。
单类别识别更有类别针对性，能够确定出该缺陷易发区域的缺陷类别，而且单类别识别模型运算速率相较于多类别识别模型更快，从而保证的缺陷易发区域的识别时效性。非缺陷易发区域对于时效性的要求较低，因此利用多类别缺陷识别模型即可满足使用，体现了对运算资源的合理配置，互不干扰，避免非缺陷易发区域与缺陷易发区域使用同种运算模型而造成的非缺陷易发区域对缺陷易发区域识别模型的运算通道挤占，造成缺陷易发区域的识别不及时。
表面图像的获得方法包括：
拍摄设备在待检测变速箱齿轮在进行工况运行时在线拍摄出待检测变速箱齿轮的全景表面图像，在全景表面图像中获取出缺陷易发区域和非缺陷易发区域的表面图像，以实现表面缺陷检测的在线性。
表面图像处于YCbCr颜色空间，以便于模型利用Y分量有效的学习到缺陷细节。
本发明为缺陷易发区域构建单类别缺陷识别模型，为非缺陷易发区域构建多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，结合缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别实现了对待检测变速箱齿轮表面的缺陷定位和缺陷类别判定，并且表面图像来自于在线拍摄，因此在线缺陷监测可实时获取齿轮在运行过程中的表面缺陷情况，无需停工检测影像正常使用，而且实时掌握损伤情况能够进行提前预警，降低运行危险性，对易发生缺陷的区域和不易发生缺陷的区域进行差别识别，会避免对易发生缺陷区域的关注度不够，以及不易发生缺陷区域的关注度过剩的问题，提高缺陷检测时效性，降低运算冗余。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (8)

1.一种变速箱齿轮表面缺陷检测方法，其特征在于，包括以下步骤：
步骤S1、获取变速箱齿轮的生产残缺品和使用残缺品作为分析样品，并在分析样品中标记出表面缺陷，将表面缺陷进行类别分组得到多个类别的缺陷样本集，对每个缺陷类别的缺陷样本集进行区域特征提取以使用区域特征构建出每个缺陷类别的缺陷画像，所述生产残缺品为齿轮生产过程中检验出包含缺陷的残缺品，所述使用残缺品为齿轮使用过程中检验出包含缺陷的残缺品；
步骤S2、利用每个缺陷类别的缺陷画像与待检测变速箱齿轮进行区域特征匹配以实现在待检测变速箱齿轮的表面定位出缺陷易发区域和非缺陷易发区域，并将缺陷易发区域的表面图像进行增强优化；
步骤S3、对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，并将优化后的缺陷易发区域表面图像依缺陷识别顺序输入至对应类别的单类别缺陷识别模型，以确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别；
步骤S4、将非缺陷易发区域表面图像输入至多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，结合缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别实现了对待检测变速箱齿轮表面的缺陷定位和缺陷类别判定，所述单类别缺陷识别模型和多类别缺陷识别模型均基于神经网络预先建立而成；
所述将表面缺陷进行类别分组得到多个类别缺陷样本集，包括：
将每个表面缺陷进行缺陷类别人工标记，并将表面缺陷按缺陷类别进行分类以将同一缺陷类别的表面缺陷汇集至同一集合内得到多个缺陷类别的缺陷样本集；
所述对每个缺陷类别的缺陷样本集进行区域特征提取以使用区域特征构建出每个缺陷类别的缺陷画像，包括：
依次对每个缺陷类别的缺陷样本集中每个表面缺陷进行区域位置和区域结构的提取以得到每个缺陷样本集中每个表面缺陷的区域特征，并将每个缺陷样本集中每个表面缺陷的区域特征汇聚至同一集合作为每个缺陷类别的区域特征样本集；
将每个缺陷类别的缺陷样本集中每个表面缺陷进行缺陷程度的量化以得到每个缺陷样本集中每个表面缺陷的缺陷程度，并将每个缺陷样本集中每个表面缺陷的缺陷程度汇聚至同一集合作为每个缺陷类别的缺陷程度特征样本集；
所述缺陷程度的量化过程包括：
获取每个表面缺陷的缺陷面积以及缺陷深度，并对缺陷面积和缺陷深度设定可调权重，利用可调权重对缺陷面积和缺陷深度进行权重求和以及归一化处理得到每个表面缺陷的缺陷程度；
所述缺陷程度的量化公式为：
Figure DEST_PATH_IMAGE001
；
式中，F k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷程度，S k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷面积，H k，i 表征为第k个缺陷类别的第i个表面缺陷的缺陷深度，w表征为缺陷面积的可调权重，v表征为缺陷深度的可调权重，n k 表征为第k个缺陷类别的表面缺陷总数量，w+v=1，w∈[0,1]，v∈[0,1]；
利用BP神经网络基于每个区域特征样本集和每个缺陷程度特征样本集进行学习训练得到表征每个缺陷类别缺陷画像的特征表征模型；
所述特征表征模型的建立过程包括：
将每个区域特征样本集中的区域特征作为神经网络输入项，将对应缺陷类别的缺陷程度特征样本集作为BP神经网络输出项，利用BP神经网络对所述输入项和输出项进行学习训练得到每个缺陷类别的特征表征模型。
2.根据权利要求1所述的一种变速箱齿轮表面缺陷检测方法，其特征在于：所述利用每个缺陷类别的缺陷画像与待检测变速箱齿轮进行区域特征匹配以实现在待检测变速箱齿轮的表面定位出缺陷易发区域，包括：
将待检测变速箱齿轮进行网格化分割得到一组待检测区域，并依次提取出每个待检测区域的区域位置和区域结构作为每个待检测区域的区域特征；
将所有待检测区域的区域特征依次输入至每个缺陷类别的特征表征模型中进行模型预测，并由每个缺陷类别的特征表征模型依次输出所有待检测区域的缺陷程度；
将每个待检测区域在所有缺陷类别下的缺陷程度进行求和得到每个待检测区域的缺陷易发度；
将缺陷易发度与预设阈值进行比较，其中，
若缺陷易发度高于预设阈值，则将对应的待检测区域标记为缺陷易发区域；
若缺陷易发度低于或等于预设阈值，则将对应的待检测区域标记为非缺陷易发区域。
3.根据权利要求2所述的一种变速箱齿轮表面缺陷检测方法，其特征在于：所述将缺陷易发区域的表面图像进行增强优化，包括：
将缺陷易发区域的表面图像输入至频率域增强算法中得到频率域增强图像，并将缺陷易发区域的表面图像输入至空间域增强算法中得到空间域增强图像；
将频率域增强图像和空间域增强图像利用基于结构相似度的图像质量评价算法进行增强效果评价，并在频率域增强图像和空间域增强图像中选取增强效果强的图像作为所述缺陷易发区域的增强表面图像。
4.根据权利要求3所述的一种变速箱齿轮表面缺陷检测方法，其特征在于：所述对缺陷易发区域的缺陷类别进行排序得到单类别缺陷识别顺序，包括：
对每个缺陷易发区域按缺陷程度对缺陷类别进行由高到低的排序得到单类别缺陷识别顺序。
5.根据权利要求4所述的一种变速箱齿轮表面缺陷检测方法，其特征在于，所述将优化后的缺陷易发区域表面图像依缺陷识别顺序输入至对应类别的单类别缺陷识别模型，以确定出缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，包括：
在所有单类别缺陷识别模型中选取出与缺陷易发区域的缺陷类别对应的单类别缺陷识别模型，将缺陷易发区域的增强表面图像依缺陷识别顺序输入至对应的单类别缺陷识别模型，并由对应的单类别缺陷识别模型输出缺陷易发区域在对应缺陷类别下的缺陷产生结果以及产生缺陷的缺陷类别，其中，
当单类别缺陷识别模型的输出结果为：yes，则缺陷易发区域发生了与单类别缺陷识别模型相对应的缺陷类别的表面缺陷；
当单类别缺陷识别模型的输出结果为：no，则缺陷易发区域未发生与单类别缺陷识别模型相对应的缺陷类别的表面缺陷；
所述单类别缺陷识别模型的建立过程包括：
将每个缺陷类别的缺陷样本集中表面图像作为CNN神经网络的输入项，将缺陷样本集对应的缺陷类别作为CNN神经网络的输出项，利用CNN神经网络在每个缺陷类别的所述输入项和输出项上进行学习训练得到每个缺陷类别的所述单类别缺陷识别模型；
所述单类别缺陷识别模型的模型函数表达式为：
Figure 79464DEST_PATH_IMAGE002
；
式中，Label(yes,no)为输出结果的函数标识符，CNN为CNN神经网络的函数标识符，G为表面图像的函数标识符。
6.根据权利要求5所述的一种变速箱齿轮表面缺陷检测方法，其特征在于，所述将非缺陷易发区域表面图像输入至多类别缺陷识别模型，以确定出非缺陷易发区域的缺陷产生结果以及产生缺陷的缺陷类别，包括：
将非缺陷易发区域的增强表面图像输入至对应的多类别缺陷识别模型，并由对应的多类别缺陷识别模型输出缺陷易发区域在对应缺陷类别下的缺陷产生结果以及产生缺陷的缺陷类别，其中，
当多类别缺陷识别模型的输出结果为：X，则非缺陷易发区域发生了缺陷类别X的表面缺陷；
当多类别缺陷识别模型的输出结果为：no，则非缺陷易发区域未发生表面缺陷；
所述多类别缺陷识别模型的建立过程包括：
将多个缺陷类别的缺陷样本集混合得到多类别缺陷样本，将多类别缺陷样本中表面图像作为CNN神经网络的输入项，将缺陷样本集对应的缺陷类别作为CNN神经网络的输出项，利用CNN神经网络在所述输入项和输出项上进行学习训练得到所述多类别缺陷识别模型；
所述多类别缺陷识别模型的模型函数表达式为：
Figure DEST_PATH_IMAGE003
；
式中，Label(X,no)为输出结果的函数标识符，CNN为CNN神经网络的函数标识符，G为表面图像的函数标识符。
7.根据权利要求6所述的一种变速箱齿轮表面缺陷检测方法，其特征在于，所述表面图像的获得方法包括：
拍摄设备在待检测变速箱齿轮在进行工况运行时在线拍摄出待检测变速箱齿轮的全景表面图像，在全景表面图像中获取出缺陷易发区域和非缺陷易发区域的表面图像，以实现表面缺陷检测的在线性。
8.根据权利要求7所述的一种变速箱齿轮表面缺陷检测方法，其特征在于，所述表面图像处于YCbCr颜色空间，以便于模型利用Y分量有效的学习到缺陷细节。
CN202210897809.3A 2022-07-28 2022-07-28 一种变速箱齿轮表面缺陷检测方法 Active CN114972342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210897809.3A CN114972342B (zh) 2022-07-28 2022-07-28 一种变速箱齿轮表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210897809.3A CN114972342B (zh) 2022-07-28 2022-07-28 一种变速箱齿轮表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114972342A CN114972342A (zh) 2022-08-30
CN114972342B true CN114972342B (zh) 2022-10-21

Family

ID=82969310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210897809.3A Active CN114972342B (zh) 2022-07-28 2022-07-28 一种变速箱齿轮表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114972342B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704177B (zh) * 2023-08-01 2023-11-17 东莞市零越传动科技有限公司 基于图像数据的齿轮变速箱故障检测方法
CN117274257B (zh) * 2023-11-21 2024-01-23 山西集智数据服务有限公司 基于机器视觉的图书品相自动分级系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419237B (zh) * 2020-11-03 2023-06-30 中国计量大学 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法
CN113252790A (zh) * 2021-06-21 2021-08-13 四川轻化工大学 基于宽卷积与循环神经网络的磁瓦内部缺陷检测方法
CN113421263B (zh) * 2021-08-24 2021-11-30 深圳市信润富联数字科技有限公司 零件缺陷检测方法、设备、介质及计算机程序产品
CN113470024B (zh) * 2021-09-02 2021-12-21 深圳市信润富联数字科技有限公司 轮毂内部缺陷检测方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
CN114972342A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114972342B (zh) 一种变速箱齿轮表面缺陷检测方法
CN113989279B (zh) 基于人工智能及图像处理的塑料薄膜质量检测方法
Liming et al. Automated strawberry grading system based on image processing
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN110852395A (zh) 一种基于自主学习和深度学习的矿石粒度检测方法和系统
CN101739570B (zh) 棉花异性纤维在线分类方法和系统
CN106874929B (zh) 一种基于深度学习的珍珠分类方法
CN109726730A (zh) 自动光学检测图像分类方法、系统及计算机可读介质
CN112802016A (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN115063409A (zh) 一种机械刀具表面材质检测方法及系统
CN106934801A (zh) 一种基于Laws纹理滤波的荧光磁粉缺陷自动识别方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
Wah et al. Analysis on feature extraction and classification of rice kernels for Myanmar rice using image processing techniques
CN114066848A (zh) 一种fpca外观缺陷视觉检测系统
CN107610119A (zh) 基于直方图分解的带钢表面缺陷精准检测方法
CN116385758A (zh) 基于YOLOv5网络对传送带表面损伤的检测方法
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
CN115294136A (zh) 基于人工智能的纺织布瑕疵检测模型的构建检测方法
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
Zhang et al. Fabric defect detection based on visual saliency map and SVM
CN114494103A (zh) 缺陷检测方法及检测装置
Zhang et al. Design of tire damage image recognition system based on deep learning
Sun et al. A novel method for multi-feature grading of mango using machine vision
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
Mansano et al. Inspection of metallic surfaces using local binary patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant