CN115482220A - 基于改进Faster RCNN的高反光金属表面缺陷检测方法 - Google Patents

基于改进Faster RCNN的高反光金属表面缺陷检测方法 Download PDF

Info

Publication number
CN115482220A
CN115482220A CN202211154288.9A CN202211154288A CN115482220A CN 115482220 A CN115482220 A CN 115482220A CN 202211154288 A CN202211154288 A CN 202211154288A CN 115482220 A CN115482220 A CN 115482220A
Authority
CN
China
Prior art keywords
image
feature
network
module
metal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211154288.9A
Other languages
English (en)
Inventor
周健
邱军林
邵鹤帅
高丽
蒋晓玲
陈礼青
李敏
叶德阳
马志鹏
于金玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202211154288.9A priority Critical patent/CN115482220A/zh
Publication of CN115482220A publication Critical patent/CN115482220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进Faster RCNN的高反光金属表面缺陷检测方法,对样本数据中的缺陷进行标注,将样本数据集进行数据增强处理和模糊性消除处理,并分为训练集和测试集;构建Faster RCNN网络,将ResNet152网络作为Faster RCNN的主干特征提取网络,对小目标特征的提取;结合AC‑FPN网络,使用CEM、AM模块提取多尺度特征,进行目标的定位和分类;将处理好样本数据集输入到的改进的Faster RCNN网络中进行训练,获得改进后的Faster RCNN金属缺陷检测模型;将待检测的金属缺陷图像输入到训练好的金属缺陷检测模型中,最终得到金属缺陷检测的结果。与现有技术相比,本发明提高了金属缺陷检测的准确率和检测速度,具有较好的实时性。

Description

基于改进Faster RCNN的高反光金属表面缺陷检测方法
技术领域
本发明涉及图像处理检测技术领域,具体涉及一种基于改进Faster RCNN的高反光金属表面缺陷检测方法。
背景技术
铝材再生利用率高、实用性强,在化工、建筑及汽车行业的应用几乎不会被其他材料取代,但在需求增加的同时,铝型材的表面质量也愈显重要。挤压性铝型材也经常应用于汽车零件、火车车架、建筑门窗、摩天大楼的支撑结构中等等。在生产过程中,由于器具磨损和工艺条件的变化,经常会出现表面缺陷、划痕、起泡等缺陷。在生产过程中产生的表面缺陷必须正确识别,以防止把有缺陷的材料交付给客户。根据每个缺陷的严重程度和位置,可以适当地对相应地概要文件进行排序,从而对缺陷进行定级。
目前,检测铝型材表面质量的主要方式,依旧是人工抽样检验并目测判断,但由于人工检测不仅效率较低而且检测精度依赖工人经验,因此其远远达不到我国大力推进铝型材产能优化及扩充的需求。我国现有检测铝型材表面瑕疵的技术较为落后,与国际先进技术水平相去甚远,迫切需要一种更加适合现代企业的检测方法。当下,铝型材设备的表面故障的检测主要依靠人眼来实现,相反在软木和纺织品等高纹理材料的工业生产现场,已经广泛采用机器视觉系统进行质量检测。例如,Gonzalez Adrados and Pereira,应用图像分析技术和判别分析技术对软木中的某些缺陷进行分类,准确度在90%以上。Lopes和Pereira通过自动视觉检测技术确定软木板材的质量。此外,Jordanov采用自动视觉检测系统来分类四种不同类型的软木瓷砖,首先他们提取特征,然后应用前馈神经网络进行分类,分类的准确度高达95%。因此在铝型材相关领域使用机器视觉来进行缺陷检测是非常必要的。基于机器视觉的铝型材表面瑕疵检测是一种非接触式的检测方式,利用非接触式的检测方式能够快速、有效地提取铝型材表面的信息,实现铝型材表面瑕疵的检测。
图像分析技术在金属加工行业并不普遍的原因是,挤压铝具有高反射性,这将导致图像的光照成像问题,因此更难执行分类任务。但是,通过人眼进行质量控制的高成本和时间密集型等问题,迫使金属加工行业向自动化缺陷检测方向发展,同时为铝型材自动化缺陷检测的发展提供了强大的动力。
发明内容
发明目的:针对背景技术中指出的问题,本发明提供一种基于改进Faster RCNN的高反光金属表面缺陷检测方法,用于解决在对高反光金属各类缺陷检测时准确率低,检测速度慢的技术问题。
技术方案:本发明公开一种基于改进Faster RCNN的高反光金属表面缺陷检测方法,包括以下步骤:
S1:对样本数据中的缺陷进行标注,将样本数据集进行数据增强处理和模糊性消除处理,并分为训练集和测试集;
S2:构建Faster RCNN网络,将ResNet 152网络作为Faster RCNN的主干特征提取网络,对小目标特征的提取;
S3:结合AC-FPN网络,使用CEM、AM模块提取多尺度特征,进行目标的定位和分类;
S4:将经过S1处理好的样本数据集输入到的改进的Faster RCNN网络中进行训练,获得改进后的Faster RCNN金属缺陷检测模型;
S5:将待检测的金属缺陷图像输入到训练好的金属缺陷检测模型中,最终得到金属缺陷检测的结果。
进一步地,所述步骤S1的具体方法如下:
S1.1:从公开的GC10-DET数据集中获得高反光金属表面缺陷检测所需的数据样本;
S1.2:对数据样本进行预处理,将数据样本进行格式转换,转换为标准的VOC数据格式,再通过Labelme标注工具对图像数据中的金属缺陷进行标注,金属缺陷类型的标签包括折痕、油点、压痕、焊缝;
S1.3:通过对样本数据进行旋转、裁剪进行数据增强处理,用以扩充样本数据集;
S1.4:将待处理图像转为灰度图像,利用拉普拉斯算子实现一次卷积运算,生成系统的计算图,再通过计算图得到该图的方差,利用计算图的方差阈值来判断图像的清晰度,差值越大,图像越清晰,消除较为模糊的图像数据;
S1.5:将预处理完成的样本数据分为训练集和测试集。
进一步地,所述步骤S2的具体方法如下:
S2.1:获取在ImageNet数据集上进行过预训练的ResNet 152网络,用于接下来的缺陷分类任务,其中ResNet 152网络结构主要包括卷积层、残差块、平均值池化层和全连接层;
S2.2:构建Faster RCNN网络,以ResNet 152网络替换原来的VGG 16网络;
S2.3:向所述卷积层输入高反光金属缺陷图像数据,将所有输入的高反光金属图像数据利用卷积核进行卷积操作;
S2.4:对经过卷积核卷积操作后的高反光金属图像数据进行标准化处理,来得到标准的图像样本数据集合;
S2.5:对进行过标准化处理的图像数据利用非线性激活函数进行激活,得到激活图像样本数据集合,将激活图像样本数据集合经最大池化层,得到新的金属缺陷特征图像;
S2.6:利用ResNet 152网络中的残差块对新的特征图像进行处理,这个残差块由四个残差子块组合而成,每个残差子块会将新的图像数据的数量增加两倍并将尺寸缩小一半;
S2.7:将经残差块处理后的特征图像输入到平均值池化层,使用平均值池化函数对特征图像进行特征综合;
S2.8:将综合后的特征图像输入到全连接层,对经过前面各层处理后的特征图像进行特征分类,通过softmax函数将输出结果映射到[0,1]区间内,最终得到高反光金属缺陷的分类概率;
S2.9:根据高反光金属缺陷的分类概率划分相应类别,进而完成对ResNet 152网络的训练。
进一步地,所述步骤S3的具体方法如下:
S3.1:将通过ResNet 152网络提取的金属缺陷图像的特征输入AC-FPN特征提取网络,并对其输入至CEM模块中进行目标特征提取,得到多尺度特征图;
S3.2:引入AM注意力引导模块,AM模块主要包括CxAM环境注意力模块和CnAM内容注意力模块,将经过CEM模块后的特征图,输入到CxAM环境注意力模块;
S3.3:将经过CEM模块后的特征图进一步利用CnAM内容注意力模块,维持每个目标的精确位置信息。
进一步地,所述步骤S3.1具体过程如下:
S3.1.1:将训练样本数据集中的缺陷图片通过ResNet 152进行特征提取;
S3.1.2:当图像特征进入到AC-FPN特征提取网络后,在获得前几层的特征图后,将其输入到CEM背景提取模块,CEM背景提取模块由不同比率的多路径扩展卷积层组成,每个扩展层的输出与输入特征图连接,然后输入到下一个扩展层,图像经过这些分离的卷积层后,获得多个特征图;
S3.1.3:将扩展层的输出特征与上采样的输入连接起来,并将最小值输入到1×1的卷积层中,融合粗粒度和细粒度的特征。
进一步地,所述步骤3.2中AM模块的CxAM环境注意力模块处理过程如下:
S3.2.1:以CEM模块输出的特征图作为CxAM的输入,给定特征图F∈RC×H×W,通过两个卷积层,Wq和Wk将特征转换到隐空间中,转换后的特征如
Figure BDA0003857313630000041
且{Q,K}∈RC×H×W,之后Q,K转化为RC′×N,其中N=H×W,为获取每个子区域之间的关系;
S3.2.2:计算一个关系矩阵R=QTK,其中R∈RN×N,然后再将其转化为R∈RN×H×W,之后经过sigmoid激活函数和平均池化,可以得到一个注意力矩阵R′,其中R′∈R1×H×W,接下来通过卷积层Wv,将特征F转化为另一个表征V,
Figure BDA0003857313630000042
其中V∈RC×H×W,最后对R′和V做逐元素乘,Ei=R′⊙V,从而获得注意力表征E,其中Ei表示通道维度C的第i层特征;
S3.2.3:经过CxAM模块后,获取到子区间的语义依赖项,提取更加准确的特征图像。
进一步地,所述S3.3中CnAM内容注意力模块具体过程如下:
S3.3.1:特征图像进入CnAM模块后,使用1×1卷积层转换给定特征图,使用F5∈RC ″×H×W来产生注意力矩阵,首先对F5使用两个1×1卷积WP和WZ
Figure BDA0003857313630000043
Figure BDA0003857313630000044
其中{P,Z}∈RC′×H×W,之后将P,Z转化为RC′×N,其中N=H×W,进而获得相关矩阵S=PTZ,S∈RN×N,再将其转化为S∈RN×H×W,之后经过sigmoid激活函数和平均池化,得到注意力矩阵S′,其中S′∈R1×H×W,最后结合V进行逐像素相乘,Di=S′⊙V,其中D∈RC×H×W,Di为通道维度C的第i层特征;
S3.3.2:经过CnAM模块特征处理后,输出目标位置更加精确的特征图,用于之后的特征训练。
有益效果:
本发明通过对高反光金属缺陷图像数据集进行数据增强来增加样本数据的多样性,以层次更加深的ResNet 152网络结构作为改进Faster RCNN主干特征提取网络,结合AC-FPN网络,使用CEM、AM模块提取多尺度特征,以此进行金属缺陷的分类和定位,达到多尺度目标检测的效果,提高了高反光金属缺陷检测的准确率和检测速度,具有较好的实时性。
附图说明
图1为本发明实施例的方法流程图;
图2为本发明实施例的高反光金属缺陷类型图;
图3为本发明实施例中AC-FPN网络结构图;
图4为本发明实施例中CEM背景提取模块结构图;
图5为本发明实施例中AM注意力引导模块结构图;
图6为本发明实施例中FasterRCNN算法的网络结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示,本发明实施例公开的一种基于改进Faster RCNN的高反光金属表面缺陷检测方法,主要包括以下步骤:
(1)制作数据集。本实施例数据集来源为GC10-DET金属缺陷图像数据,图像数据为在生产或运输途中因为某些因素造成的不同类型缺陷图像,对采集的金属缺陷图像数据进行分类,将金属缺陷分为5类分别为折痕、油点、压痕、焊缝,金属缺陷图像如图2所示,不同类型的金属缺陷图像采样尽可能平均,将分类完成的图像数据进行编号命名保存到同一目录。
(2)对数据样本进行预处理,将数据样本进行格式转换,转换为标准的VOC数据格式,再通过Labelme标注工具对图像数据中的金属缺陷进行标注,金属缺陷类型的标签包括折痕、油点、穿孔、压痕、焊缝,通过对样本数据进行旋转,裁剪等操作进行数据增强处理,用以扩充样本数据集。
图像模糊性消除处理,将待处理图像转为灰度图像,利用拉普拉斯算子实现一次卷积运算,运算过程是将金属缺陷图像看成二维空间,x,y表示像素点的二维坐标,各个点的像素值表示该位置的函数值大小即f(x,y),后利用拉普拉斯算子表达式
Figure BDA0003857313630000061
计算一像素点的Δf,从而得出缺陷图像的边缘,计算Δf求出x,y的二阶导数即可,即f(x,y+1)+f(x,y-1)+f(x+1,y)+f(x-1,y)-4*f(x,y),根据Δf的计算结果,得到拉普拉斯卷积模块
Figure BDA0003857313630000062
从而生成了系统的计算图,再通过计算图得到该图的方差,利用计算图的方差阈值来判断图像的清晰度,差值越大,图像越清晰,进而消除较为模糊的图像数据,减少模糊图像的干扰,最后将预处理完成的样本数据分为训练集和测试集。
(3)构建Faster RCNN网络,对主干网络进行优化,将ResNet 152网络作为FasterRCNN的主干特征提取网络,其中ResNet152网络前5组卷积层结构如表1所示:
表1为本发明实施例中ResNet 152前5组卷积层网络结构图
Figure BDA0003857313630000063
Figure BDA0003857313630000071
具体步骤如下:
获取在ImageNet数据集上进行过预训练的ResNet 152网络,用于接下来的缺陷分类任务,其中ResNet 152网络结构主要包括卷积层、残差块、平均值池化层和全连接层构建Faster RCNN网络,对主干网络进行优化,以ResNet 152网络替换原来的VGG 16网络。
向卷积层输入高反光金属缺陷图像数据,将所有输入的高反光金属图像数据利用卷积核进行卷积操作,对经过卷积核卷积操作后的高反光金属图像数据进行标准化处理,来得到标准的图像样本数据集合对进行过标准化处理的图像数据利用非线性激活函数进行激活,得到激活图像样本数据集合,将激活图像样本数据集合经最大池化层,得到新的金属缺陷特征图像利用ResNet 152网络中的残差块对新的特征图像进行处理,这个残差块由四个残差子块组合而成,每个残差子块会将新的图像数据的数量增加两倍并将尺寸缩小一半,将经残差块处理后的特征图像输入到平均,值池化层,使用平均值池化函数对特征图像进行特征综合,将综合后的特征图像输入到全连接层,对经过前面各层处理后的特征图像进行特征分类,通过softmax函数将输出结果映射到[0,1]区间内,最终得到高反光金属缺陷的分类概率,根据高反光金属缺陷的分类概率划分相应类别,进而完成对ResNet 152网络的训练。
(4)结合AC-FPN网络,使用CEM、AM模块提取多尺度特征,进行目标的定位和分类,过程如图3所示,具体步骤如下:
将通过ResNet 152网络提取的金属缺陷图像的特征输入AC-FPN特征提取网络,进行目标特征提取,得到多尺度特征图,具体过程如下:
将训练样本数据集中的缺陷图片通过ResNet 152进行特征提取。
当图像特征进入到AC-FPN特征提取网络后,在获得前几层的特征图后,将其输入到CEM背景提取模块,CEM由不同比率的多路径扩展卷积层组成,比率为3,6,12等,每个扩展层的输出与输入特征图连接,然后输入到下一个扩展层,图像经过这些分离的卷积层后,可以获得多个特征图,特征提取过程如图4所示。
为保持初始输入特征的粗粒度信息,将扩展层的输出特征与上采样的输入连接起来,并将最小值输入到1×1的卷积层中,来融合粗粒度和细粒度的特征。
经过CEM模块后,图像特征会具有较丰富的感受野信息,但并非所有信息都会对检测精度有效果,冗余的信息可能会对检测精度有所干扰,为了减少冗余信息和增加特征图的表征能力,引入AM注意力引导模块,将经过CEM模块后的特征图,输入到AM模块中去,AM模块主要包括CxAM环境注意力模块和CnAM内容注意力模块,AM模块网络结构如图5所示,AM模块处理过程如下:
以CEM模块输出的特征图作为CxAM的输入,给定特征图F∈RC×H×W,通过两个卷积层,Wq和Wk将特征转换到隐空间中,转换后的特征如
Figure BDA0003857313630000083
K=Wk TF,且{Q,K}∈RC×H×W,之后Q,K转化为RC′×N,其中N=H×W,为获取每个子区域之间的关系;
计算一个关系矩阵R=QTK,其中R∈RN×N,然后再将其转化为R∈RN×H×W,之后经过sigmoid激活函数和平均池化,可以得到一个注意力矩阵R′,其中R′∈R1×H×W,接下来通过卷积层Wv,将特征F转化为另一个表征V,V=Wv TF,其中V∈RC×H×W,最后对R′和V做逐元素乘,Ei=R′⊙V,从而获得注意力表征E,其中Ei表示通道维度C的第i层特征。
经过CxAM模块后,获取到子区间的语义依赖项,提取更加准确的特征图像。
考虑图像在CEM模块中受可变形卷积的影响,输入图像的几何特性会遭到破坏,导致位置偏移,因此引入CnAM内容注意力模块,来维持每个目标的精确位置信息,具体过程如下:
特征图像进入CnAM模块后,使用1×1卷积层转换给定特征图,但不同于CxAM模块,这里使用F5∈RC×H×w,来产生注意力矩阵,首先对F5使用两个1×1卷积WP和WZ
Figure BDA0003857313630000081
Figure BDA0003857313630000082
其中{P,Z}∈RC′×H×W,之后将P,Z转化为RC′×N,其中N=H×W,进而获得相关矩阵S=PTZ,S∈RN×N,再将其转化为S∈RN×H×W,之后经过sigmoid激活函数和平均池化,得到注意力矩阵S′,其中S′∈R1×H×W,最后结合V进行逐像素相乘,Di=S′⊙V,其中D∈RC×H×W,Di为通道维度C的第i层特征。
经过CnAM模块特征处理后,输出目标位置更加精确的特征图,用于之后的特征训练。
(5)利用AC-FPN网络和ResNet 152网络去训练优化Faster RCNN网络参数,将处理好样本数据集输入到优化后的Faster RCNN网络中进行训练,得到训练好的Faster RCNN高反光金属缺陷检测模型,Faster RCNN网络结构如图6所示。
(6)将待检测高反光金属缺陷图像输入到训练好的Faster RCNN的高反光金属表面缺陷检测模型,金属缺陷图像经过候选区域生成、缺陷特征提取、缺陷分类和位置回归,最终输出金属缺陷检测的结果。
上述实施方式只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,包括以下步骤:
S1:对样本数据中的缺陷进行标注,将样本数据集进行数据增强处理和模糊性消除处理,并分为训练集和测试集;
S2:构建Faster RCNN网络,将ResNet 152网络作为Faster RCNN的主干特征提取网络,对小目标特征的提取;
S3:结合AC-FPN网络,使用CEM、AM模块提取多尺度特征,进行目标的定位和分类;
S4:将经过S1处理好的样本数据集输入到的改进的Faster RCNN网络中进行训练,获得改进后的Faster RCNN金属缺陷检测模型;
S5:将待检测的金属缺陷图像输入到训练好的金属缺陷检测模型中,最终得到金属缺陷检测的结果。
2.根据权利要求1所述的基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,所述步骤S1的具体方法如下:
S1.1:从公开的GC10-DET数据集中获得高反光金属表面缺陷检测所需的数据样本;
S1.2:对数据样本进行预处理,将数据样本进行格式转换,转换为标准的VOC数据格式,再通过Labelme标注工具对图像数据中的金属缺陷进行标注,金属缺陷类型的标签包括折痕、油点、压痕、焊缝;
S1.3:通过对样本数据进行旋转、裁剪进行数据增强处理,用以扩充样本数据集;
S1.4:将待处理图像转为灰度图像,利用拉普拉斯算子实现一次卷积运算,生成系统的计算图,再通过计算图得到该图的方差,利用计算图的方差阈值来判断图像的清晰度,差值越大,图像越清晰,消除较为模糊的图像数据;
S1.5:将预处理完成的样本数据分为训练集和测试集。
3.根据权利要求1所述的基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,所述步骤S2的具体方法如下:
S2.1:获取在ImageNet数据集上进行过预训练的ResNet 152网络,用于接下来的缺陷分类任务,其中ResNet 152网络结构主要包括卷积层、残差块、平均值池化层和全连接层;
S2.2:构建Faster RCNN网络,以ResNet 152网络替换原来的VGG 16网络;
S2.3:向所述卷积层输入高反光金属缺陷图像数据,将所有输入的高反光金属图像数据利用卷积核进行卷积操作;
S2.4:对经过卷积核卷积操作后的高反光金属图像数据进行标准化处理,来得到标准的图像样本数据集合;
S2.5:对进行过标准化处理的图像数据利用非线性激活函数进行激活,得到激活图像样本数据集合,将激活图像样本数据集合经最大池化层,得到新的金属缺陷特征图像;
S2.6:利用ResNet 152网络中的残差块对新的特征图像进行处理,这个残差块由四个残差子块组合而成,每个残差子块会将新的图像数据的数量增加两倍并将尺寸缩小一半;
S2.7:将经残差块处理后的特征图像输入到平均值池化层,使用平均值池化函数对特征图像进行特征综合;
S2.8:将综合后的特征图像输入到全连接层,对经过前面各层处理后的特征图像进行特征分类,通过softmax函数将输出结果映射到[0,1]区间内,最终得到高反光金属缺陷的分类概率;
S2.9:根据高反光金属缺陷的分类概率划分相应类别,进而完成对ResNet 152网络的训练。
4.根据权利要求3所述的基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,所述步骤S3的具体方法如下:
S3.1:将通过ResNet 152网络提取的金属缺陷图像的特征输入AC-FPN特征提取网络,并对其输入至CEM模块中进行目标特征提取,得到多尺度特征图;
S3.2:引入AM注意力引导模块,AM模块主要包括CxAM环境注意力模块和CnAM内容注意力模块,将经过CEM模块后的特征图,输入到CxAM环境注意力模块;
S3.3:将经过CEM模块后的特征图进一步利用CnAM内容注意力模块,维持每个目标的精确位置信息。
5.根据权利要求4所述的基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,所述步骤S3.1具体过程如下:
S3.1.1:将训练样本数据集中的缺陷图片通过ResNet 152进行特征提取;
S3.1.2:当图像特征进入到AC-FPN特征提取网络后,在获得前几层的特征图后,将其输入到CEM背景提取模块,CEM背景提取模块由不同比率的多路径扩展卷积层组成,每个扩展层的输出与输入特征图连接,然后输入到下一个扩展层,图像经过这些分离的卷积层后,获得多个特征图;
S3.1.3:将扩展层的输出特征与上采样的输入连接起来,并将最小值输入到1×1的卷积层中,融合粗粒度和细粒度的特征。
6.根据权利要求4所述的基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,所述步骤3.2中AM模块的CxAM环境注意力模块处理过程如下:
S3.2.1:以CEM模块输出的特征图作为CxAM的输入,给定特征图F∈RC×H×W,通过两个卷积层,Wq和Wk将特征转换到隐空间中,转换后的特征如
Figure FDA0003857313620000031
且{Q,K}∈RC ′×H×W,之后Q,K转化为RC′×N,其中N=H×W,为获取每个子区域之间的关系;
S3.2.2:计算一个关系矩阵R=QTK,其中R∈RN×N,然后再将其转化为R∈RN×H×W,之后经过sigmoid激活函数和平均池化,可以得到一个注意力矩阵R′,其中R′∈R1×H×W,接下来通过卷积层Wv,将特征F转化为另一个表征V,
Figure FDA0003857313620000032
其中V∈RC×H×W,最后对R′和V做逐元素乘,Ei=R′⊙V,从而获得注意力表征E,其中Ei表示通道维度C的第i层特征;
S3.2.3:经过CxAM模块后,获取到子区间的语义依赖项,提取更加准确的特征图像。
7.根据权利要求4所述的基于改进Faster RCNN的高反光金属表面缺陷检测方法,其特征在于,所述S3.3中CnAM内容注意力模块具体过程如下:
S3.3.1:特征图像进入CnAM模块后,使用1×1卷积层转换给定特征图,使用F5∈RC″×H×W来产生注意力矩阵,首先对F5使用两个1×1卷积WP和WZ
Figure FDA0003857313620000033
Figure FDA0003857313620000034
其中{P,Z}∈RC′×H×W,之后将P,Z转化为RC′×N,其中N=H×W,进而获得相关矩阵S=PTZ,S∈RN×N,再将其转化为S∈RN×H×W,之后经过sigmoid激活函数和平均池化,得到注意力矩阵S′,其中S′∈R1 ×H×W,最后结合V进行逐像素相乘,Di=S′⊙V,其中D∈RC×H×W,Di为通道维度C的第i层特征;
S3.3.2:经过CnAM模块特征处理后,输出目标位置更加精确的特征图,用于之后的特征训练。
CN202211154288.9A 2022-09-21 2022-09-21 基于改进Faster RCNN的高反光金属表面缺陷检测方法 Pending CN115482220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211154288.9A CN115482220A (zh) 2022-09-21 2022-09-21 基于改进Faster RCNN的高反光金属表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211154288.9A CN115482220A (zh) 2022-09-21 2022-09-21 基于改进Faster RCNN的高反光金属表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115482220A true CN115482220A (zh) 2022-12-16

Family

ID=84423815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211154288.9A Pending CN115482220A (zh) 2022-09-21 2022-09-21 基于改进Faster RCNN的高反光金属表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115482220A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078608A (zh) * 2023-08-06 2023-11-17 武汉纺织大学 一种基于双掩码引导的高反光皮革表面缺陷检测方法
CN117333383A (zh) * 2023-09-07 2024-01-02 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078608A (zh) * 2023-08-06 2023-11-17 武汉纺织大学 一种基于双掩码引导的高反光皮革表面缺陷检测方法
CN117078608B (zh) * 2023-08-06 2024-01-26 武汉纺织大学 一种基于双掩码引导的高反光皮革表面缺陷检测方法
CN117333383A (zh) * 2023-09-07 2024-01-02 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备
CN117333383B (zh) * 2023-09-07 2024-05-24 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN115482220A (zh) 基于改进Faster RCNN的高反光金属表面缺陷检测方法
CN106952250B (zh) 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置
CN109002824B (zh) 一种基于OpenCV的建筑图纸标签信息检测方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN115880223A (zh) 一种基于改进yolox的高反光金属表面缺陷检测方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN112614105B (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN111127454A (zh) 基于深度学习生成工业缺陷样本的方法及系统
Saisree et al. Pothole detection using deep learning classification method
CN113379737A (zh) 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN112669313A (zh) 一种金属表面缺陷定位及分类方法
CN114841992A (zh) 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN114998216A (zh) 透明件表面缺陷快速检测方法及装置
Kamani et al. Automatic paint defect detection and classification of car body
CN117593244A (zh) 一种基于改进注意力机制的膜产品缺陷检测方法
CN112418207A (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN115587989B (zh) 一种工件ct图像缺陷检测分割方法及系统
CN115393654A (zh) 基于改进Faster-RCNN的石墨矿品位检测的方法
CN114862755A (zh) 一种基于小样本学习的表面缺陷检测方法及系统
CN115496960A (zh) 样本生成方法、目标检测模型训练、目标检测方法及系统
CN117274148B (zh) 基于深度学习的无监督晶圆缺陷检测方法
Gandhi Deep Learning Based Car Damage Detection, Classification and Severity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination