CN113469951A - 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 - Google Patents

一种基于级联区域卷积神经网络的轮毂缺陷检测方法 Download PDF

Info

Publication number
CN113469951A
CN113469951A CN202110638698.XA CN202110638698A CN113469951A CN 113469951 A CN113469951 A CN 113469951A CN 202110638698 A CN202110638698 A CN 202110638698A CN 113469951 A CN113469951 A CN 113469951A
Authority
CN
China
Prior art keywords
hub
defect
neural network
convolutional neural
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110638698.XA
Other languages
English (en)
Other versions
CN113469951B (zh
Inventor
程淑红
芦嘉鑫
张仕军
张典范
杨镇豪
谢文锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110638698.XA priority Critical patent/CN113469951B/zh
Publication of CN113469951A publication Critical patent/CN113469951A/zh
Application granted granted Critical
Publication of CN113469951B publication Critical patent/CN113469951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种基于级联区域卷积神经网络的轮毂缺陷检测方法，包括如下步骤：S1、采集轮毂X光图像；S2、采用自适应阈值分割对轮毂X光图像进行预处理；S3、训练并优化轻量级卷积神经网络模型，用训练和优化后的模型对轮毂X光图像进行初步筛选，如有严重缺陷则过检失败，回炉重铸，非严重缺陷则进行轮毂缺陷检测；S4、建立基于级联区域卷积神经网络的缺陷检测模型，基于级联区域卷积神经网络的缺陷检测模型包括特征提取网络、特征金字塔网络以及级联检测器；S5、获取轮毂缺陷信息并计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级，本发明实现了铝合金轮毂缺陷的实时检测，以满足轮毂全自动生产的需求。

Description

一种基于级联区域卷积神经网络的轮毂缺陷检测方法
技术领域
本发明涉及图像处理、计算机视觉技术领域，尤其是一种基于级联区域卷积神经网络的轮毂缺陷检测方法。
背景技术
目前国内从事各类铝合金轮毂生产加工的企业近300家，产能1.8亿只/年，每年还不断有老企业扩产、新企业兴建。但是国内铝合金轮毂行业整体的装备水平较国际标准仍有一定的差距，极少部分企业的生产线可以实现“全自动化”管理，少数企业的硬件仍处于“手工作坊”式的阶段。
目前轮毂缺陷检测很难精确在线监测，主要依靠人工进行检测，其检测误差大、效率低。计算机技术的发展推动了缺陷检测的自动化与智能化，一般检测都会用到图像的识别、分割等技术，在轮毂缺陷的检测中也不例外。通过对半自动检测模型存在问题进行分析可知，只要避免人工检测带来的各种局限，就可以大大提升轮毂检测的自动化和智能化，所以考虑使用计算机检测替代人工检测来完成轮毂的全自动化检测，全自动化检测会自动记录缺陷轮毂的位置、种类、等级等各种信息，可以有效地指导轮毂生产，减少出错环节，使得轮毂生产报废率大大降低。为了有效地检测轮毂缺陷，并提升轮毂无损检测的自动化与智能化，将深度学习和轮毂缺陷检测相结合，采用一种基于深度学习的轮毂缺陷检测方法。
轮毂缺陷具有尺度多样，缺陷类型复杂的特点，导致缺少局部与整体的关系且数据标注困难，针对不同缺陷标注的位置、大小以及从属关系都不同，难于建立一个精确的轮毂缺陷检测模型。
发明内容
本发明需要解决的技术问题是提供一种基于级联区域卷积神经网络的轮毂缺陷检测方法，用以解决现有的轮毂半自动生产导致检测效率低的问题，该方法所需算力小、检测精度高同时节省人力、物力和财力，实现了铝合金轮毂缺陷的实时检测，以满足轮毂全自动生产的需求。
为解决上述技术问题，本发明所采用的技术方案是：一种基于级联区域卷积神经网络的轮毂缺陷检测方法，具体包括如下步骤：
S1、采集轮毂X光图像；
S2、采用自适应阈值分割对轮毂X光图像进行预处理；
S3、训练并优化轻量级卷积神经网络模型，用训练和优化后的模型对轮毂X光图像进行初步筛选；
S4、建立基于级联区域卷积神经网络的缺陷检测模型，所述基于级联区域卷积神经网络的缺陷检测模型包括特征提取网络、特征金字塔网络以及级联检测器；
S5、获取轮毂缺陷信息并计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级；
本发明技术方案的进一步改进在于：所述步骤S1中利用机械臂带动铝合金轮毂，使其旋转到对应拍摄点，获取不同区域的铝合金轮毂X光图像。
本发明技术方案的进一步改进在于：所述机械臂旋转到固定点位，触发相机拍照，从而保持相同区域拍摄角度的一致性。
本发明技术方案的进一步改进在于：所述步骤S2中首先对轮毂X光图象进行平滑处理，再根据轮毂图像灰度分布，计算不同的局部阈值，实现轮毂X光图像的阈自适应分割，具体如下：
预处理的自适应阈值矩阵为θ＝(1-η)×Im，对输入轮毂图像进行平滑处理，平滑结果记为Im，η一般取0.5；阈值分割规则为
Figure BDA0003106833520000021
其中I(r,c)为输入轮毂图像，O(r,c)为阈值分割后的图像。
本发明技术方案的进一步改进在于：所述步骤S3中用训练和优化后的轻量级卷积神经网络模型对轮毂X光图像进行初步筛选的具体步骤如下：
在模型训练过程中通过反向传播算法最小化分类误差，并不断调整和迭代模型参数，然后将训练好的模型用剪枝算法进行压缩，形成轻量级网络模型，模型压缩过程为：
首先，确定待分析参数，在剪裁之前需要确定待裁卷积层的参数的名称,通过观察参数名称和参数的形状，筛选出所有卷积层参数，并确定要裁剪的卷积层；
其次，启动剪枝任务，剪裁掉res4f_branch2b_weights和res4f_branch2a_weights两个权重参数，参数压缩后的模型利于发现冗余参数的共同特征，根据这些特征来削减参数，使得模型携带更少的网络参数，从而解决内存问题和运行速度问题；
最后评估剪枝模型，剪裁掉27％的参数权重，在不损失准确率的同时加快计算速率。
本发明技术方案的进一步改进在于：所述步骤S4中建立基于级联区域卷积神经网络的缺陷检测模型，提取轮毂X光图像特征的具体步骤如下：
步骤1：采用可变形卷积对轮毂X光图像进行特征提取，在常规卷积上对卷积核加入偏移量，偏移后的卷积核通过学习是否在边缘区域来更新权重，继续增加偏移量，卷积核在附近位置随意采样，卷积核根据轮毂形状发生自适应变换，从而适应尺度多样的轮毂缺陷；
步骤2：利用特征金字塔网络将每一层输出的特征图由深层至浅层进行多尺度融合，使浅层网络保留位置信息的同时融入更多语义信息，再将融合后的特征图输入区域建议网络；
步骤3：级联检测器将三个检测器串联，对前一层输出的边框回归域重采样，微调作为新输入送到下一层检测器中，逐步提升样本质量和网络训练效果，得到一系列铸件缺陷分类和区域预测框，实现对多尺度缺陷的定位以及缺陷类别的估计。
本发明技术方案的进一步改进在于：所述步骤1中可变形卷积表示为y(p)＝∑wkx(p0+pk+Δpk)Δmk,记该卷积有k个采样点，wk为第k点的权重，pk为第k点已存在的偏移，Δpk为可学习的偏移量，Δmk为可调节的参数，其中Δmk∈[0,1]；通过双线性插值计算偏移位置像素值
Figure BDA0003106833520000041
其中p＝p0+pk+Δpk，表示偏移后的任意位置，G(q,p)是一个二维矩阵，对应着偏移后四个位置坐标像素值的权重，G(q,p)＝g(qx,px)·g(qy,py)，其中g(a,b)＝max(0.1-|a-b|)。
本发明技术方案的进一步改进在于：所述步骤2中在特征提取过程中，特征分辨率以
Figure BDA0003106833520000042
的速率由低层到高层依次衰减，设每层特征图为
Figure BDA0003106833520000043
Figure BDA0003106833520000044
其中li为网络层，卷积计算将特征图降维，上采样将特征图放大到上一阶段的尺寸，将两个相同尺寸的特征图像素相加，得到融合后的特征图
Figure BDA0003106833520000045
展开为
Figure BDA0003106833520000046
其中conv为卷积操作，Resize为采样操作。
本发明技术方案的进一步改进在于：所述步骤3中在级联结构中串联的三个检测器的阈值采用逐渐递增的方式，分别设置为(0.5，0.6，0.7)；
级联检测器的位置损失函数为
Figure BDA0003106833520000047
其中bi为候选框，gi为标准框，f(xi,bi)为回归方程，
Figure BDA0003106833520000048
分类损失函数为
Figure BDA0003106833520000051
其中h(xi)为分类器，yi表示类别标签(正取1，负取0)；
Figure BDA0003106833520000052
式中M为类别数量，pic为样本i中为c类的概率，当检测结果为真时，yic＝1，否则为0；
级联损失函数为
Figure BDA0003106833520000053
其中bt＝ft-1(xt-1,bt-1)，λ＝1为折中系数，
Figure BDA0003106833520000054
指代函数变量。
本发明技术方案的进一步改进在于：所述步骤S5中调用训练好的级联区域卷积神经网缺陷检测模型，输入轮毂X光图像，对轮毂进行检测，获取轮毂缺陷类别和位置信息；利用回归边框信息计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级，如轮毂缺陷等级过高则过检失败；
缺陷等级划分规则为：轮缘、轮辋、轮心-轮辐过渡区和轮辐轮缘过渡区，单个缺陷面积小于1mm2为一级缺陷，大于1mm2小于3mm2为二级缺陷，大于3mm2为三级缺陷，三级缺陷即为过检失败；轮辐区域单个缺陷面积小于3mm2为一级缺陷，大于3mm2小于7mm2为二级缺陷，大于7mm2为三级缺陷，三级缺陷即为过检失败。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明算法针对轮毂缺陷尺度多样、类型复杂等特点，利用级联区域卷积神经网络强大的自适应能力作为轮毂缺陷检测模型，所需算力小、检测精度高，实现了铝合金轮毂缺陷的实时检测；
2、本发明根据轮毂缺陷的形状，动态调整卷积核的位置和大小，从而适应尺度多样的轮毂缺陷；
3、本发明充分利用深层特征的语义信息和浅层的空间位置信息，增强特征的表达，提升轮毂缺陷定位的准确度。实现了对多尺度缺陷的定位以及缺陷类别的估计，满足轮毂生产的需求。
附图说明
图1为本发明提出的轮毂缺陷检测模型系统流程图；
图2为可变形卷积示意图；
图3为机械臂采集轮毂X光图像示例图；
图4为基于级联区域卷积神经网络的缺陷检测模型结构图；
图5为轮毂缺陷检测结果示例图。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
本发明提出了一种基于级联区域卷积神经网络的轮毂缺陷检测方法，检测方法的系统流程框图如图1所示，具体包括如下步骤：
S1、采集轮毂X光图像；
利用机械臂带动铝合金轮毂，使其旋转到对应拍摄点，获取不同区域的铝合金轮毂X光图像，图3为机械臂采集轮毂X光图像示例图。
由于缩松、缩孔等轮毂缺陷尺度变化较大，利用机械臂带动路合金轮毂旋转拍摄可以增大缺陷区域在整张图像的占比。机械臂旋转到固定点位，触发相机拍照，从而保持相同区域拍摄角度的一致性。
S2、采用自适应阈值分割对轮毂X光图像进行预处理；
首先对轮毂X光图象进行平滑处理，再根据轮毂图像灰度分布，计算不同的局部阈值，实现轮毂X光图像的阈自适应分割。具体如下：
预处理的自适应阈值矩阵为θ＝(1-η)×Im，对输入轮毂图像进行平滑处理，平滑结果记为Im，η一般取0.5；阈值分割规则为
Figure BDA0003106833520000061
其中I(r,c)为输入轮毂图像，O(r,c)为阈值分割后的图像。
S3、训练并优化轻量级卷积神经网络模型，用训练和优化后的模型对轮毂X光图像进行初步筛选；如有严重缺陷(如轮毂浇灌不足、夹渣等)则过检失败，回炉重铸；非严重缺陷则进行缺陷检测。加快了轮毂生产效率，减少了轮毂缺陷检测计算量。具体步骤如下：
在模型训练过程中通过反向传播算法最小化分类误差，并不断调整和迭代模型参数，然后将训练好的模型用剪枝算法进行压缩，形成轻量级网络模型，模型压缩过程为：
首先，确定待分析参数，在剪裁之前需要确定待裁卷积层的参数的名称,通过观察参数名称和参数的形状，筛选出所有卷积层参数，并确定要裁剪的卷积层；
其次，启动剪枝任务，剪裁掉res4f_branch2b_weights和res4f_branch2a_weights两个权重参数，参数压缩后的模型利于发现冗余参数的共同特征，根据这些特征来削减参数，使得模型携带更少的网络参数，从而解决内存问题和运行速度问题；
最后评估剪枝模型，剪裁掉27％的参数权重，在不损失准确率的同时加快计算速率。
S4.建立基于级联区域卷积神经网络的缺陷检测模型，所述基于级联区域卷积神经网络的缺陷检测模型包括特征提取网络、特征金字塔网络以及级联检测器，模型结构图如图4所示；
具体步骤如下：
步骤1：采用可变形卷积对轮毂X光图像进行特征提取，可变形卷积结构如图2所示。在常规卷积(如附图2(a)所示)上对卷积核加入偏移量，偏移后的卷积核通过学习是否在边缘区域来更新权重(如图2(b)所示)。继续增加偏移量，卷积核在附近位置随意采样(如图2(c)所示)，卷积核根据轮毂形状发生自适应变换，从而适应尺度多样的轮毂缺陷；可变形卷积表示为y(p)＝∑wkx(p0+pk+Δpk)Δmk,记该卷积有k个采样点，wk为第k点的权重，pk为第k点已存在的偏移，Δpk为可学习的偏移量，Δmk为可调节的参数，其中Δmk∈[0,1]；通过双线性插值计算偏移位置像素值
Figure BDA0003106833520000081
其中p＝p0+pk+Δpk，表示偏移后的任意位置，G(q,p)是一个二维矩阵，对应着偏移后四个位置坐标像素值的权重，G(q,p)＝g(qx,px)·g(qy,py)，其中g(a,b)＝max(0.1-|a-b|)。
步骤2：利用特征金字塔网络将每一层输出的特征图由深层至浅层进行多尺度融合，使浅层网络保留位置信息的同时融入更多语义信息，再将融合后的特征图输入区域建议网络；
在特征提取过程中，特征分辨率以
Figure BDA0003106833520000082
的速率由低层到高层依次衰减，设每层特征图为
Figure BDA0003106833520000083
其中li为网络层，卷积计算将特征图降维，上采样将特征图放大到上一阶段的尺寸，将两个相同尺寸的特征图像素相加，得到融合后的特征图
Figure BDA0003106833520000084
展开为
Figure BDA0003106833520000085
其中conv为卷积操作，Resize为采样操作。
步骤3：级联检测器将三个检测器串联，对前一层输出的边框回归域重采样，微调作为新输入送到下一层检测器中，逐步提升样本质量和网络训练效果，得到一系列铸件缺陷分类和区域预测框，实现对多尺度缺陷的定位以及缺陷类别的估计，图5为轮毂X光图像的检测结果图。
所述步骤3中在级联结构中串联的三个检测器的阈值采用逐渐递增的方式，分别设置为(0.5，0.6，0.7)。
级联检测器的位置损失函数为
Figure BDA0003106833520000086
其中bi为候选框，gi为标准框，f(xi,bi)为回归方程，
Figure BDA0003106833520000091
分类损失函数为
Figure BDA0003106833520000092
其中h(xi)为分类器，yi表示类别标签(正取1，负取0)；
Figure BDA0003106833520000093
式中M为类别数量，pic为样本i中为c类的概率，当检测结果为真时，yic＝1，否则为0。
级联损失函数为L(xt,g)＝Lcls(ht(xt),yt)+λ[yt＞1]Lloc(ft(xt,bt),g)，其中bt＝ft-1(xt-1,bt-1)，λ＝1为折中系数，
Figure BDA0003106833520000094
指代函数变量。
S5、获取轮毂缺陷信息并计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级；具体的，调用训练好的级联区域卷积神经网缺陷检测模型，输入轮毂X光图像，对轮毂进行检测，获取轮毂缺陷类别和位置信息；利用回归边框信息计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级，如轮毂缺陷等级过高则过检失败；
缺陷等级划分规则为：轮缘、轮辋、轮心-轮辐过渡区和轮辐轮缘过渡区，单个缺陷面积小于1mm2为一级缺陷，大于1mm2小于3mm2为二级缺陷，大于3mm2为三级缺陷，三级缺陷即为过检失败；轮辐区域单个缺陷面积小于3mm2为一级缺陷，大于3mm2小于7mm2为二级缺陷，大于7mm2为三级缺陷，三级缺陷即为过检失败。

Claims (10)

1.一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：包括如下步骤：
S1、采集轮毂X光图像；
S2、采用自适应阈值分割对轮毂X光图像进行预处理；
S3、训练并优化轻量级卷积神经网络模型，用训练和优化后的模型对轮毂X光图像进行初步筛选，如有严重缺陷则过检失败，回炉重铸，所述严重缺陷包括轮毂浇灌不足、夹渣，非严重缺陷则进行轮毂缺陷检测；
S4、建立基于级联区域卷积神经网络的缺陷检测模型，所述基于级联区域卷积神经网络的缺陷检测模型包括特征提取网络、特征金字塔网络以及级联检测器；
S5、获取轮毂缺陷信息并计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级。
2.根据权利要求1所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤S1中利用机械臂带动铝合金轮毂，使其旋转到对应拍摄点，获取不同区域的铝合金轮毂X光图像。
3.根据权利要求2所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述机械臂旋转到固定点位，触发相机拍照，从而保持相同区域拍摄角度的一致性。
4.根据权利要求1所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤S2中首先对轮毂X光图象进行平滑处理，再根据轮毂图像灰度分布，计算不同的局部阈值，实现轮毂X光图像的阈自适应分割，具体如下：
预处理的自适应阈值矩阵为θ＝(1-η)×Im，对输入轮毂图像进行平滑处理，平滑结果记为Im，η一般取0.5；阈值分割规则为
Figure FDA0003106833510000011
其中I(r,c)为输入轮毂图像，O(r,c)为阈值分割后的图像。
5.根据权利要求1所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤S3中用训练和优化后的轻量级卷积神经网络模型对轮毂X光图像进行初步筛选的具体步骤如下：
在模型训练过程中通过反向传播算法最小化分类误差，并不断调整和迭代模型参数，然后将训练好的模型用剪枝算法进行压缩，形成轻量级网络模型，模型压缩过程为：
首先，确定待分析参数，在剪裁之前需要确定待裁卷积层的参数的名称,通过观察参数名称和参数的形状，筛选出所有卷积层参数，并确定要裁剪的卷积层；
其次，启动剪枝任务，剪裁掉res4f_branch2b_weights和res4f_branch2a_weights两个权重参数，参数压缩后的模型利于发现冗余参数的共同特征，根据这些特征来削减参数，使得模型携带更少的网络参数，从而解决内存问题和运行速度问题；
最后评估剪枝模型，剪裁掉27％的参数权重，在不损失准确率的同时加快计算速率。
6.根据权利要求1所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤S4中建立基于级联区域卷积神经网络的缺陷检测模型，提取轮毂X光图像特征的具体步骤如下：
步骤1：采用可变形卷积对轮毂X光图像进行特征提取，在常规卷积上对卷积核加入偏移量，偏移后的卷积核通过学习是否在边缘区域来更新权重，继续增加偏移量，卷积核在附近位置随意采样，卷积核根据轮毂形状发生自适应变换，从而适应尺度多样的轮毂缺陷；
步骤2：利用特征金字塔网络将每一层输出的特征图由深层至浅层进行多尺度融合，使浅层网络保留位置信息的同时融入更多语义信息，再将融合后的特征图输入区域建议网络；
步骤3：级联检测器将三个检测器串联，对前一层输出的边框回归域重采样，微调作为新输入送到下一层检测器中，逐步提升样本质量和网络训练效果，得到一系列铸件缺陷分类和区域预测框，实现对多尺度缺陷的定位以及缺陷类别的估计。
7.根据权利要求6所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤1中可变形卷积表示为y(p)＝∑wkx(p0+pk+Δpk)Δmk,记该卷积有k个采样点，wk为第k点的权重，pk为第k点已存在的偏移，Δpk为可学习的偏移量，Δmk为可调节的参数，其中Δmk∈[0,1]；通过双线性插值计算偏移位置像素值
Figure FDA0003106833510000031
其中p＝p0+pk+Δpk，表示偏移后的任意位置，G(q,p)是一个二维矩阵，对应着偏移后四个位置坐标像素值的权重，G(q,p)＝g(qx,px)·g(qy,py)，其中g(a,b)＝max(0.1-|a-b|)。
8.根据权利要求6所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤2中在特征提取过程中，特征分辨率以
Figure FDA0003106833510000032
的速率由低层到高层依次衰减，设每层特征图为
Figure FDA0003106833510000036
Figure FDA0003106833510000033
其中li为网络层，卷积计算将特征图降维，上采样将特征图放大到上一阶段的尺寸，将两个相同尺寸的特征图像素相加，得到融合后的特征图
Figure FDA0003106833510000034
展开为
Figure FDA0003106833510000035
其中conv为卷积操作，Resize为采样操作。
9.根据权利要求6所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤3中在级联结构中串联的三个检测器的阈值采用逐渐递增的方式，分别设置为(0.5，0.6，0.7)；
级联检测器的位置损失函数为
Figure FDA0003106833510000041
其中bi为候选框，gi为标准框，f(xi,bi)为回归方程，
Figure FDA0003106833510000042
分类损失函数为
Figure FDA0003106833510000043
其中h(xi)为分类器，yi表示类别标签(正取1，负取0)；
Figure FDA0003106833510000044
式中M为类别数量，pic为样本i中为c类的概率，当检测结果为真时，yic＝1，否则为0；
级联损失函数为L(xt,g)＝Lcls(ht(xt),yt)+λ[yt＞1]Lloc(ft(xt,bt),g)，其中bt＝ft-1(xt-1,bt-1)，λ＝1为折中系数，[yt＞1]指代函数变量。
10.根据权利要求1所述的一种基于级联区域卷积神经网络的轮毂缺陷检测方法，其特征在于：所述步骤S5中调用训练好的级联区域卷积神经网缺陷检测模型，输入轮毂X光图像，对轮毂进行检测，获取轮毂缺陷类别和位置信息；利用回归边框信息计算缺陷面积，根据轮毂缺陷所在位置和缺陷大小对轮毂缺陷划分等级；
缺陷等级划分规则为：轮缘、轮辋、轮心-轮辐过渡区和轮辐轮缘过渡区，单个缺陷面积小于1mm2为一级缺陷，大于1mm2小于3mm2为二级缺陷，大于3mm2为三级缺陷，三级缺陷即为过检失败；轮辐区域单个缺陷面积小于3mm2为一级缺陷，大于3mm2小于7mm2为二级缺陷，大于7mm2为三级缺陷，三级缺陷即为过检失败。
CN202110638698.XA 2021-06-08 2021-06-08 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 Active CN113469951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110638698.XA CN113469951B (zh) 2021-06-08 2021-06-08 一种基于级联区域卷积神经网络的轮毂缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110638698.XA CN113469951B (zh) 2021-06-08 2021-06-08 一种基于级联区域卷积神经网络的轮毂缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113469951A true CN113469951A (zh) 2021-10-01
CN113469951B CN113469951B (zh) 2022-08-16

Family

ID=77869213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110638698.XA Active CN113469951B (zh) 2021-06-08 2021-06-08 一种基于级联区域卷积神经网络的轮毂缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113469951B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399719A (zh) * 2022-03-25 2022-04-26 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法
CN114549997A (zh) * 2022-04-27 2022-05-27 清华大学 一种基于区域特征提取的x光图像缺陷检测方法和装置
CN114581510A (zh) * 2022-02-28 2022-06-03 扬州宝祥节能科技有限公司 基于模式识别的卷帘窗阻力点定位方法及人工智能系统
CN116429800A (zh) * 2023-06-15 2023-07-14 鹰普罗斯叶轮（宜兴）有限公司 一种用于铝合金叶轮的无触式探伤方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN112053317A (zh) * 2020-04-26 2020-12-08 张辉 一种基于级联神经网络的工件表面缺陷检测方法
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053317A (zh) * 2020-04-26 2020-12-08 张辉 一种基于级联神经网络的工件表面缺陷检测方法
CN111650204A (zh) * 2020-05-11 2020-09-11 安徽继远软件有限公司 基于级联目标检测的输电线路金具缺陷检测方法及系统
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI ET AL.: "Deformable Convolutional Networks", 《ARXIV》, 5 June 2017 (2017-06-05), pages 1 - 12 *
LI ZHENYE ET AL.: "Defect Detection of Industry Wood Veneer Based on NAS and Multi-Channel Mask R-CNN", 《SENSORS》, 31 August 2020 (2020-08-31), pages 1 - 17 *
ZHAOWEI CAI ET AL.: "Cascade R-CNN: Delving into High Quality Object Detection", 《ARXIV》, 3 December 2017 (2017-12-03), pages 1 - 9 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581510A (zh) * 2022-02-28 2022-06-03 扬州宝祥节能科技有限公司 基于模式识别的卷帘窗阻力点定位方法及人工智能系统
CN114399719A (zh) * 2022-03-25 2022-04-26 合肥中科融道智能科技有限公司 一种变电站火灾视频监测方法
CN114549997A (zh) * 2022-04-27 2022-05-27 清华大学 一种基于区域特征提取的x光图像缺陷检测方法和装置
CN116429800A (zh) * 2023-06-15 2023-07-14 鹰普罗斯叶轮（宜兴）有限公司 一种用于铝合金叶轮的无触式探伤方法及其系统
CN116429800B (zh) * 2023-06-15 2023-09-12 鹰普罗斯叶轮（宜兴）有限公司 一种用于铝合金叶轮的无触式探伤方法及其系统

Also Published As

Publication number Publication date
CN113469951B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN115063409B (zh) 一种机械刀具表面材质检测方法及系统
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN112258470B (zh) 基于缺陷检测的工业图像临界压缩率智能分析系统及方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN115690001A (zh) 一种用于检测钢管焊接数字射线图像中缺陷的方法
CN115457323A (zh) 基于视觉检测系统的手机玻璃屏非均衡表面缺陷分类方法
CN114862786A (zh) 基于Retinex图像增强和Ostu阈值分割的隔离带检测方法及系统
CN114240822A (zh) 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant