CN116703848A - 金属表面缺陷检测方法、可读介质、装置 - Google Patents
金属表面缺陷检测方法、可读介质、装置 Download PDFInfo
- Publication number
- CN116703848A CN116703848A CN202310629798.5A CN202310629798A CN116703848A CN 116703848 A CN116703848 A CN 116703848A CN 202310629798 A CN202310629798 A CN 202310629798A CN 116703848 A CN116703848 A CN 116703848A
- Authority
- CN
- China
- Prior art keywords
- module
- result
- metal surface
- sppf
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 33
- 239000002184 metal Substances 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims description 27
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 17
- 230000000052 comparative effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种金属表面缺陷检测方法、可读介质、装置,涉及图像检测的技术领域,本发明旨在解决金属表面缺陷检测精度差的问题,本发明设计改SPPF模块并引入Neck部分,同时引入SE模块增加了注意力机制,将C3TR模块替换Backbone部分中末位的C3模块、将SPD模块引入Backbone部分中。
Description
技术领域
本发明涉及图像检测的技术领域,具体涉及一种金属表面缺陷检测方法、可读介质、装置。
背景技术
金属表面缺陷即可发生于生产阶段,也可以发生于使用阶段。这类缺陷不仅影响外观,而且还会影响性能,所以对金属金属表面进行缺陷检测成为了把控质量的关键环节之一。
基于图像识别缺陷的检测方法因其能够胜任繁重的工作量,所以相关技术得到了长足的发展。最为常用手段的便是借助YOLO网络结构进行缺陷检测。
YOLO网络结构可以分为Input、Backbone、Neck以及Head四部分,其内部又有若干个不同的处理模块。处理过程可以大致划分为图像特征提取、边界框预测以及损失回归处理。
现有技术存在检测精度差的问题,原因包括金属缺陷与金属表面的对比通常并不十分明显,例如缺陷很小或是颜色差距不大,还会受到图像经裁切放大后分辨率下降的影响,所以,在检测过程中,图像中的特征并不能够充分准确的提取,也就是最终导致部分缺陷无法检测出来,造成检测精度差的问题。
发明内容
本发明提出了一种金属表面缺陷检测方法,其包括以下步骤:
S1、获取金属表面的初始图像;
S2、建立YOLO网络结构;
S3、将所述初始图像输入YOLO网络结构,对所述初始图像中金属表面的缺陷进行识别和定位;
所述YOLO网络结构包括Input部分、Backbone部分、Neck部分以及Head部分;
将SPPF模块改进为改SPPF模块,将所述改SPPF模块引入所述Neck部分,设置于所述Neck部分中至少一个所述Concat模块的后侧,用于对所述Concat模块的输出进行处理。
本发明的进一步设置为:所述改SPPF模块包括GhostConv模块、MAXP00L模块、Concat模块、SE模块;
所述ChostConv模块设置两个,其中一个用于接收外部输入并生成第一结果;
所述MAXPOOL模块设置有三个,分别用于获取所述第一结果并生成第二结果、获取所述第二结果并生成第三结果、获取所述第三结果并生成第四结果;
Concat模块获取所述第一结果、所述第二结果、所述第三结果以及所述第四结果,并生成第五结果;
所述第五结果顺次经过另一个所述GhostConv模块以及所述SE模块处理。
本发明的进一步设置为:包括SE模块,所述SE模块至少设置于所述Backbone和/或Neck部分中的一个C3模块的后侧,用于对所述C3模块的输出进行处理。
本发明的进一步设置为:所述SE模块执行以下步骤:
A、对输入进行卷积以得到特征图;
B、依式(1)对所述特征图进行压缩操作,以提取出所述特征图中各通道的权重
式中:H×W为通道空间大小;Xc为输入特征图;(i,j)为Xc上横坐标i、纵坐标j的点;Fsq(Xc)表示对特征图进行压缩操作;Z为经过压缩后得到的全局特征;
C、依式(2)进行激励操作,
Sc=Fex(Z,Q)=Sigmoid[Q2×ReLU(Q1,Z)] 式(2)
式中:SC为目标参数,即经过激励操作后的注意力权重;Fex()是获取注意力权重的函数,其中需要用Z和Q两个参数;Q为全连接层的权重矩阵,是经神经网络学习得到的参数,其中又包括Q1和Q2两个参数;Q1是降维参数;Q2是升维参数;Q1与Z相乘表示全连接层的降维操作,经过ReLU激活函数处理后,与Q2相乘进行升维操作,最后进行Sigmoid激活,可得到SC。激励操作的最终目的是为每个特征通道生成权重,即学习到各个通道的激活值(Sigmoid激活,值在0-1之间);
D、依式(3)进行重定权重操作,将各通道各自权重相乘,将权重重新分配
式中:Fscale代表重定权重操作;为经过SE通道注意力得出的结果。
本发明的进一步设置为:所述Backbone部分中最后一个C3模块替换为C3TR模块。
本发明的进一步设置为:将GhostConv模块替代普通Conv模块。
本发明的进一步设置为:在所述Backbone部分中,加入SPD模块,设置于至少一个ConvBNSIL模块的后侧,用于对所述ConvBNSIL模块的输出进行处理。
本发明提出一种可读介质,其存储有计算机程序,所述计算机程序用于执行如上述所述的方法。
本发明提出一种装置,配置有图像采集装置、存储装置、处理器,所述图像采集装用于采集金属表面的初始图像;所述存储装置存储有一个或多个程序,所述处理器用于执行所述程序以实现如上述所述的方法。
本发明的有益效果为:
在改SPPF模块中,经卷积,以及三处最大池化处理后,会得到四种不同尺寸的特征图从而得到不同的感受野,然后在Concat模块进行特征图的融合,得到了一个特征更加丰富的特征图,随后再次卷积,这种方式保证了输入与输出的特征图大小相同,提高了模型对不同尺度物体的感知能力,有利于后续的检测任务。
由于金属表面缺陷信息模糊以及缺陷形状不规律,所以将改SPPF模块引入Neck部分后,提升了网络结构对多尺度目标的感知能力以及网络结构对特征信息的提取与融合能力,提高了网络结构的检测精度。
附图说明
图1是本发明中YOLO网络结构的系统框图;
图2是本发明中SPPF模块的系统框图;
图3是现有技术中YOLO网络结构的系统框图;
图4是本发明中实施例1的检测效果图;
图5是现有技术中原始YOLOv5算法的检测效果图;
图6是本发明中对比例1的检测效果图。
具体实施方式
为了更进一步阐述本发明为达到预定发明目的所采取的技术手段及功效,以下结合附图及实施例,对依据本发明提出的方法和/或系统,详细说明如下。
实施例1
本实施例提出一种金属表面缺陷检测方法,包括以下步骤:
S1、获取金属表面的初始图像;
S2、建立YOLO网络结构;
S3、将初始图像输入YOLO网络结构,对初始图像的金属表面进行识别和定位。
YOLO网络结构基于YOLOv5建立,包括Input部分、Backbone部分、Neck部分以及Head部分。各部分中又有各种不同的模块,分别进行不同的处理。四个部分的功能可以归纳为:Input部分用于图像缩放、裁剪等一系列预处理操作;Backbone部分用于图像特征提取;Neck部分用于特征融合;Head部分主要完成回归和分类任务,包括损失函数和非极大值抑制等。
现有技术中的YOLO网络结构如图3所示,其中包括了Focus模块、ConvBNSIL模块、C3模块、SPD模块、SPPF模块、Conv模块、Upsample模块、Concat模块、Conv2d模块。相比之下,在本方法中,将GhostConv模块替代普通Conv模块;将Backbone部分中最后一个C3模块替换为C3TR模块;在所述Backbone部分中加入SPD模块,设置于第二个和第三个ConvBNSIL模块的后侧,用于对所述ConvBNSIL模块的输出进行处理。
参见图1-2,本方法中对网络结构的改进包括:1、使用GhostConv模块替代普通Conv模块,能够显著减小计算量,实现YOLO网络结构轻量化。2、SPD模块可使网络结构在处理低分辨率图像和小对象时有所改善。3、C3TR模块是将C3模块中n个Bottleneck更换为1个常用于自然语言处理的TransformerBlock模块。C3TR整体的操作思想是跨层连接和卷积。通过将输入特征图分别进行两个尺度的卷积操作,将结果进行跨层连接,并使用卷积操作来减少内存消耗。这样可以在增强模型的特征提取能力,同时还提高了检测速度。
本方法中对网络结构最重要的改进是:将SPPF模块改进,即生成改SPPF模块,并将改SPPF模块替换原始SPPF模块在Backbone部分中的位置,进一步将改SPPF模块引入Neck部分。本方法中将改SPPF模块替换Backbone部分中的原始SPPF模块且处于末位,用于对C3TR模块的输出进行处理;本方法中将改SPPF模块设置于Neck部分中第二个和第三个Concat模块的后侧,用于对Concat模块的输出进行处理。
改SPPF模块的改进方案是:改SPPF模块包括GhostConv模块、MAXPOOL模块、Concat模块、SE模块。ChostConv模块设置两个,其中一个用于接收外部输入并生成第一结果。MAXPOOL模块设置有三个,MAXPOOL模块是做最大池化处理的,分别用于获取第一结果并生成第二结果、获取第二结果并生成第三结果、获取第三结果并生成第四结果。Concat模块获取第一结果、第二结果、第三结果以及第四结果,并生成第五结果。第五结果顺次经过另一个GhostConv模块以及SE模块处理,然后输出。
关于改SPPF模块需要详细说明一下。输入到改SPPF模块内的是一张特征图,经卷积,以及三处最大池化处理后,会得到四种不同尺寸的特征图从而得到不同的感受野,然后在Concat模块进行特征图的融合,得到了一个特征更加丰富的特征图,随后再次卷积,这种方式保证了输入与输出的特征图大小相同,提高了模型对不同尺度物体的感知能力,有利于后续的检测任务。在经过GhostConv模块进行特征提取,再由SE模块对提取的特征进行权重的分配。最终的效果是能够有效的提高特征的提取能力和融合能力。
SE模块不仅仅应用于改SPPF模块中,还设置于Backbone部分和Neck部分中。在Backbone部分中,SE模块设置于每一个C3模块的后侧,在Neck部分中,SE模块设置于除首位C3模块以外的其他C3模块的后侧。SE模块用于对C3模块的输出进行处理。SE模块是在整个网络结构中增加注意力机制,对于C3模块生成的特征图,SE模块对各个通道分配不同的权重,可以加强相关通道的信息,而抑制次要的通道信息,提高模型对检测目标的精度。
具体来说,SE模块执行以下步骤:
A、对输入进行卷积以得到特征图;
B、依式(1)对所述特征图进行压缩操作,以提取出所述特征图中各通道的权重
式中:H×W为通道空间大小;Xc为输入特征图;(i,j)为Xc上横坐标j、纵坐标j的点;Fsq(Xc)表示对特征图进行压缩操作;Z为经过压缩后得到的全局特征。
C、依式(2)进行激励操作,
Sc=Fex(Z,Q)=Sigmoid[Q2×ReLU(Q1,Z)] 式(2)
式中:SC为目标参数,即经过激励操作后的注意力权重;Fex()是获取注意力权重的函数,其中需要用Z和Q两个参数;Q为全连接层的权重矩阵,是经神经网络学习得到的参数,其中又包括Q1和Q2两个参数;Q1是降维参数;Q2是升维参数;Q1与Z相乘表示全连接层的降维操作,经过ReLU激活函数处理后,与Q2相乘进行升维操作,最后进行Sigmoid激活,可得到SC。激励操作的最终目的是为每个特征通道生成权重,即学习到各个通道的激活值(Sigmoid激活,值在0-1之间);
D、依式(3)进行重定权重操作,将各通道各自权重相乘,将权重重新分配
式中:Fscale代表重定权重操作;为经过SE通道注意力得出的结果。
由于金属表面缺陷信息模糊以及缺陷形状不规律,所以将改SPPF模块引入Neck部分后,提升了网络结构对多尺度目标的感知能力以及网络结构对特征信息的提取与融合能力,提高了网络结构的检测精度。
实施例2
本实施例公开了一种可读介质,其存储有计算机程序,计算机程序用于执行如实施例1的方法。
实施例3
本实施例公开了一种装置,配置有图像采集装置、存储装置、处理器,图像采集装用于采集金属表面的初始图像;存储装置存储有一个或多个程序,处理器用于执行程序以实现如实施例1的方法。
对比例1
本例相比于实施例1,区别仅在于:没有对SPPF模块做出改进,而且Neck部分中也没有引入改SPPF模块,即本例不针对SPPF模块做出任何调整,其余均与实施例1相同。
对比试验1
为了评价实施例1方案的性能,与现有技术中未作改进的YOLOv5算法进行对比试验,试验前,采用东北大学的NEU-DEF数据集进行试验、训练以及测试。由于实施例1不涉及迁移学习,所以对比的现有技术算法也均不进行迁移学习。
本对比试验将上述两种算法在同一套软硬件上进行测试,并且采用相同的参数设置。
软硬件配置如下表所示:
网络训练的超参数设置:学习效率为0.001,动量为0.937;epoch为180,Batchsize为8;且学习率衰减方式为余弦退火方式。
本对比试验针对五种不同的金属表面缺陷进行检测,包括裂纹、斑块、麻点、压入氧化皮、划痕5种金属表面缺陷,实施例1的检测结果于图4中进行展示,现有技术中原始YOLOv5算法的检测结果于图5中进行展示。图4-6中展示的检测结果从左至右依次是裂纹、斑块、麻点、压入氧化皮、划痕的检测图。
除对比结果的图片外,选用mAP(Mean Average Precision)和FPS(Frames PerSecond)作为性能的评价指标。
mAP是所有类别平均精度AP的值,如式(4)所示
式中K表示总类别数目,APi表示第i类的AP值。
FPS(Frames Per Second)表示每秒钟模型检测图片的数量,如式(5)所示,其越大,表示模型每秒钟检测的图片数量越多
其中,FrameNum为检测图片总数;ElapsedTime为模型检测运行的总时间。
不同算法测试后的mAP和FPS对比如下表所示:
由于改进的算法比未改进的原始YOLOv5模型具有一定的复杂度,所以FPS稍逊于原模型,但是在精度方面相较于原模型则有提高。
对比试验2
参照对比试验1进行软硬件以及参数、训练等设置,将实施例1与对比例1针对五种不同的金属表面缺陷进行检测,包括裂纹、斑块、麻点、压入氧化皮、划痕5种金属表面缺陷,与对比试验1采用相同的样图,对比例的检测结果于图6中进行展示。
不同算法测试后的mAP和FPS对比如下表所示:
可见,将SPPF模块进行改进并且引入到NECK部分能够进一步改善检测精度,使得检测结果更加的准确。
本领域技术人员可以借鉴本文内容,适当改进工艺参数实现。特别需要指出的是,所有类似的替换和改动对本领域技术人员来说是显而易见的,他们都被视为包括在本发明中。本发明的方法及应用已经通过较佳实施例进行了描述,相关人员能够在不脱离本发明内容、精神和范围对本文所述的方法和应用进行改动或适当变更与组合,来实现和应用本发明技术。
以上所述仅是本发明的优选实施方式,应当指出,以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制。对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应是为本发明的保护范围。
Claims (9)
1.一种金属表面缺陷检测方法,其特征在于:包括以下步骤:
S1、获取金属表面的初始图像;
S2、建立YOLO网络结构;
S3、将所述初始图像输入YOLO网络结构,对所述初始图像中金属表面的缺陷进行识别和定位;
所述YOLO网络结构包括Input部分、Backbone部分、Neck部分以及Head部分;
将SPPF模块改进为改SPPF模块,将所述改SPPF模块引入所述Neck部分,设置于所述Neck部分中至少一个所述Concat模块的后侧,用于对所述Concat模块的输出进行处理。
2.根据权利要求1所述的金属表面缺陷检测方法,其特征在于:所述改SPPF模块包括GhostConv模块、MAXPOOL模块、Concat模块、SE模块;
所述ChostConv模块设置两个,其中一个用于接收外部输入并生成第一结果;
所述MAXPOOL模块设置有三个,分别用于获取所述第一结果并生成第二结果、获取所述第二结果并生成第三结果、获取所述第三结果并生成第四结果;
Concat模块获取所述第一结果、所述第二结果、所述第三结果以及所述第四结果,并生成第五结果;
所述第五结果顺次经过另一个所述GhostConv模块以及所述SE模块处理。
3.根据权利要求1所述的金属表面缺陷检测方法,其特征在于:包括SE模块,所述SE模块至少设置于所述Backbone和/或Neck部分中的一个C3模块的后侧,用于对所述C3模块的输出进行处理。
4.根据权利要求3所述的金属表面缺陷检测方法,其特征在于:所述SE模块执行以下步骤:
A、对输入进行卷积以得到特征图;
B、依式(1)对所述特征图进行压缩操作,以提取出所述特征图中各通道的权重
式中:H×W为通道空间大小;Xc为输入特征图;(i,j)为Xc上横坐标i、纵坐标j的点;Fsq(Xc)表示对特征图进行压缩操作;Z为经过压缩后得到的全局特征。
C、依式(2)进行激励操作,
Sc=Fex(Z,Q)=Sigmoid[Q2×ReLU(Q1,Z)] 式(2)
式中:SC为目标参数,即经过激励操作后的注意力权重;Fex()是获取注意力权重的函数,其中需要用Z和Q两个参数;Q为全连接层的权重矩阵,是经神经网络学习得到的参数,其中又包括Q1和Q2两个参数;Q1是降维参数;Q2是升维参数;Q1与Z相乘表示全连接层的降维操作,经过ReLU激活函数处理后,与Q2相乘进行升维操作,最后进行Sigmoid激活,可得到SC。激励操作的最终目的是为每个特征通道生成权重,即学习到各个通道的激活值(Sigmoid激活,值在0-1之间);
D、依式(3)进行重定权重操作,将各通道各自权重相乘,将权重重新分配
式中:Fscale代表重定权重操作;为经过SE通道注意力得出的结果。
5.根据权利要求1所述的金属表面缺陷检测方法,其特征在于:所述Backbone部分中最后一个C3模块替换为C3TR模块。
6.根据权利要求1所述的金属表面缺陷检测方法,其特征在于:将GhostConv模块替代普通Conv模块。
7.根据权利要求1所述的金属表面缺陷检测方法,其特征在于:在所述Backbone部分中,加入SPD模块,设置于至少一个ConvBNSIL模块的后侧,用于对所述ConvBNSIL模块的输出进行处理。
8.一种可读介质,其存储有计算机程序,其特征在于:所述计算机程序用于执行如权利要求1-7中任意一项所述的方法。
9.一种装置,配置有图像采集装置、存储装置、处理器,其特征在于:所述图像采集装用于采集金属表面的初始图像;所述存储装置存储有一个或多个程序,所述处理器用于执行所述程序以实现如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310629798.5A CN116703848A (zh) | 2023-05-30 | 2023-05-30 | 金属表面缺陷检测方法、可读介质、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310629798.5A CN116703848A (zh) | 2023-05-30 | 2023-05-30 | 金属表面缺陷检测方法、可读介质、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116703848A true CN116703848A (zh) | 2023-09-05 |
Family
ID=87835042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310629798.5A Pending CN116703848A (zh) | 2023-05-30 | 2023-05-30 | 金属表面缺陷检测方法、可读介质、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116703848A (zh) |
-
2023
- 2023-05-30 CN CN202310629798.5A patent/CN116703848A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
CN109741318B (zh) | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 | |
CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
CN111860171B (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及系统 | |
CN112070158B (zh) | 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法 | |
CN110163069B (zh) | 用于辅助驾驶的车道线检测方法 | |
CN114998210A (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
CN113628297A (zh) | 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 | |
CN110414516B (zh) | 一种基于深度学习的单个汉字识别方法 | |
CN116229552A (zh) | 一种基于yolov7模型的面向嵌入式硬件的人脸识别方法 | |
CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN116977624A (zh) | 一种基于YOLOv7模型的目标识别方法、系统、电子设备及介质 | |
CN111242216A (zh) | 基于条件生成对抗卷积神经网络的图像生成方法 | |
CN116703848A (zh) | 金属表面缺陷检测方法、可读介质、装置 | |
CN115311544A (zh) | 一种水下鱼类目标检测方法及装置 | |
CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
CN113962928A (zh) | 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |