CN114037684A - 一种基于yolov5和注意力机制模型的疵点检测方法 - Google Patents
一种基于yolov5和注意力机制模型的疵点检测方法 Download PDFInfo
- Publication number
- CN114037684A CN114037684A CN202111316595.8A CN202111316595A CN114037684A CN 114037684 A CN114037684 A CN 114037684A CN 202111316595 A CN202111316595 A CN 202111316595A CN 114037684 A CN114037684 A CN 114037684A
- Authority
- CN
- China
- Prior art keywords
- module
- residual error
- output
- fusion
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 111
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 230000007246 mechanism Effects 0.000 title claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 87
- 238000000605 extraction Methods 0.000 claims description 82
- 238000005070 sampling Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000012770 industrial material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于yo1ov5和注意力机制模型的疵点检测方法,包括:基于yo1ov5网络和注意力机制模型构建疵点检测模型;对导入的工业疵点图像进行预处理,将预处理图像导入疵点检测模型,得到形状不同的三个输出特征层;对形状不同的三个输出特征层进行预测,生成边界框并预测类别;对图像上疵点的类别和疵点的位置信息进行显示,得到疵点检测图像。本发明可以有效的提高模型对空间特征和通道特征的学习,通过检测头可以实现对不同大小的疵点进行检测,提高了对于大疵点的检测效果,从而提高检测效率,解决了当前工业疵点检测算法很难同时保证检测算法的准确率及实时性。
Description
技术领域
本发明涉及图像检测技术领域,具体而言涉及一种基于yolov5和注意力机制模型的疵点检测方法。
背景技术
工业材料是制作工业产品必不可少的材料,与人们生活息息相关。在工业生产过程中,为确保工业材料的质量,疵点检测是一个必不可少的步骤。目前大部分工厂仍然采用传统的人工,或者半人工的检测方式,但由于人工长时间的工作,会导致疲惫、注意力不集中,这些因素都会导致工业疵点的漏检。工业材料表面的自动缺陷检测可以克服这个问题,自动缺陷检测的核心技术是算法,目前最具影响力的方法是基于深度学习图像检测算法。由于神经网络模型在工业方面的应用,使得疵点检测领域走向了完全自动化的阶段。
疵点检测算法分为无监督学习和有监督学习两种,其中大部分算法都是基于有监督学习的。在有监督学习中一般分为两类:一阶段算法和两阶段算法。其中两阶段算法中较为经典的有R-CNN、Fast-R-CNN、Faster-R-CNN。两阶段算法的优点是精度高,但其效率相对低下,实时性不高。一阶段算法是在两阶段的基础上提出来的,能有效解决两阶段算法的效率低问题,但其缺陷是牺牲了算法的检测精度,一阶段算法主要包括yolov1、yolov2、yolov3等。
目前疵点检测存在的主要缺陷是,在算法保持较高精度的同时,很难保障算法的时效性;或保持了算法的时效性时,算法的精度难以得到保证。
专利号为2021111205541的发明中提出了一种基于扩张坐标注意力的改进YOLOv3目标检测方法,采用具有不同扩张率的并行的多个扩张卷积结构对坐标注意力模块进行改进,引入扩张坐标注意力模块,构建得到改进YOLOv3目标检测网络;采用多尺度训练策略,预先设定更多不同尺度的图像进行训练。但该方法主要是针对YOLOv3网络。专利号为CN112990392A的发明中提出了一种基于改进YOLOv5算法的新材料地板缺陷目标检测系统,包括改进YOLOv5网络模型,改进YOLOv5网络模型包括输入端、主干网络模块、颈部网络模型和输出端;所述输入端的自适应锚框计算单元内的初始锚框根据尺度划分为4类,每类具有3个初始锚框;并在所述颈部网络的4个检测头前嵌入注意力机制块,改进YOLOv5网络模型的检测精度和速度满足实际生产需求,同时具有较低的参数量,更易于嵌入小型设备使用。虽然提到了特征融合相加,但是是通过下采样增大特征图尺寸再与CBL模块中卷积块输出的特征图进行特征融合相加,仍然是传统的特征堆叠方法,特征融合度仍然不够。
发明内容
本发明针对现有技术中的不足,提供一种基于yolov5和注意力机制模型的疵点检测方法,可以有效的提高模型对空间特征和通道特征的学习,通过检测头可以实现对不同大小的疵点进行检测,提高了对于大疵点的检测效果,从而提高检测效率,解决了当前工业疵点检测算法很难同时保证检测算法的准确率及实时性。
为实现上述目的,本发明采用以下技术方案:
第一方面,本发明实施例提出了一种基于yolov5和注意力机制模型的疵点检测方法,所述疵点检测方法包括以下步骤:
S1,基于yolov5网络和注意力机制模型构建疵点检测模型,疵点检测模型用于对输入图片进行下采样后,采用注意力模块筛选出有意义的特征,再进行5层进一步的特征卷积处理,最后,将中层特征图与深层特征图上采样的结果进行堆叠后再次做卷积和上采样处理,将处理结果与浅层特征图进行融合和残差处理,得到第一个输出特征层;将第一个输出特征层再次与中层特征图与深层特征图的堆叠结果进行融合和残差处理,得到第二个输出特征层;将第二个输出特征层再次与深层特征图进行融合和残差处理,得到第三个输出特征层;
S2,对导入的工业疵点图像进行预处理,将预处理图像导入疵点检测模型,得到形状不同的三个输出特征层;
S3,对形状不同的三个输出特征层进行预测,生成边界框并预测类别;
S4,对图像上疵点的类别和疵点的位置信息进行显示,得到疵点检测图像。
进一步地,步骤S1中,疵点检测模型包括下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块、第一融合模块、第五残差模块、第六特征提取模块、第二上采样模块、第二融合模块、第七残差模块、第一卷积模块、第七特征提取模块、第三融合模块、第八残差模块、第二卷积模块、第八特征提取模块、第四融合模块、第九残差模块和第三卷积模块;
所述下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块依次相连;第三残差模块的输出结果与第一上采样模块的输出结果同时输入第一融合模块,第一融合模块的输出端再依次与第五残差模块、第六特征提取模块、第二上采样模块相连;第二上采样模块的输出结果与第二残差模块的输出结果同时输入第二融合模块,第二融合模块的输出端再依次与第七残差模块、第一卷积模块相连,以输出第一个输出特征层;
所述第七残差模块的输出结果经第七特征提取模块处理后,与第六特征提取模块的输出结果同时输入第三融合模块,第三融合模块的输出结果再依次与第八残差模块、第二卷积模块相连,以输出第二个输出特征层;
所述第八残差模块的输出结果经第八特征提取模块处理后,与第五特征提取模块的输出结果同时输入第四融合模块,第四融合模块的输出结果再依次与第九残差模块、第三卷积模块相连,以输出第三个输出特征层。
进一步地,每个特征提取模块均包括依次相连的卷积层、归一化层和激活层。
进一步地,所述注意力模块包括通道注意力单元、空间注意力单元、第一融合单元和第二融合单元;
所述第一融合单元用于融合下采样结果和经过通道注意力单元处理后下采样结果;所述第二融合单元用于融合第一融合单元的处理结果和经过空间注意力单元处理后的第一融合单元的处理结果。
进一步地,所述对导入的工业疵点图像进行预处理是指:
采用Mosaic数据增强技术对导入的工业疵点图像进行数据增强处理。
进一步地,步骤S3中,对形状不同的三个输出特征层进行预测,生成边界框并预测类别的过程包括以下步骤:
S31,利用目标框损失函数,计算出目标框的信息;再利用非极大值抑制,将不符合的目标框筛选出来,进行丢弃,输出符合的目标框信息;
S32,利用交叉熵损失对学习到的特征进行类别的分类,输出类别的信息。
第二方面,本发明实施例提出了一种基于yolov5和注意力机制模型的疵点检测装置,所述疵点检测装置包括预处理模块、疵点检测模型和预测显示模型;
所述预处理模块用于对导入的工业疵点图像进行预处理;
所述疵点检测模型用于对预处理后的工业疵点图像进行处理,对输入图片进行下采样后,采用注意力模块筛选出有意义的特征,再进行5层进一步的特征卷积处理,最后,将中层特征图与深层特征图上采样的结果进行堆叠后再次做卷积和上采样处理,将处理结果与浅层特征图进行融合和残差处理,得到第一个输出特征层;将第一个输出特征层再次与中层特征图与深层特征图的堆叠结果进行融合和残差处理,得到第二个输出特征层;将第二个输出特征层再次与深层特征图进行融合和残差处理,得到第三个输出特征层;
所述预测显示模型用于对形状不同的三个输出特征层进行预测,生成边界框并预测类别;以及对图像上疵点的类别和疵点的位置信息进行显示,得到疵点检测图像。
进一步地,所述疵点检测模型包括下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块、第一融合模块、第五残差模块、第六特征提取模块、第二上采样模块、第二融合模块、第七残差模块、第一卷积模块、第七特征提取模块、第三融合模块、第八残差模块、第二卷积模块、第八特征提取模块、第四融合模块、第九残差模块和第三卷积模块;
所述下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块依次相连;第三残差模块的输出结果与第一上采样模块的输出结果同时输入第一融合模块,第一融合模块的输出端再依次与第五残差模块、第六特征提取模块、第二上采样模块相连;第二上采样模块的输出结果与第二残差模块的输出结果同时输入第二融合模块,第二融合模块的输出端再依次与第七残差模块、第一卷积模块相连,以输出第一个输出特征层;
所述第七残差模块的输出结果经第七特征提取模块处理后,与第六特征提取模块的输出结果同时输入第三融合模块,第三融合模块的输出结果再依次与第八残差模块、第二卷积模块相连,以输出第二个输出特征层;
所述第八残差模块的输出结果经第八特征提取模块处理后,与第五特征提取模块的输出结果同时输入第四融合模块,第四融合模块的输出结果再依次与第九残差模块、第三卷积模块相连,以输出第三个输出特征层。
进一步地,所述注意力模块包括通道注意力单元、空间注意力单元、第一融合单元和第二融合单元;
所述第一融合单元用于融合下采样结果和经过通道注意力单元处理后下采样结果;所述第二融合单元用于融合第一融合单元的处理结果和经过空间注意力单元处理后的第一融合单元的处理结果。
本发明的有益效果是:
与目前疵点检测算法相比,本发明的yolov5结合注意力机制的疵点检测算法通过数据增强进行预处理,提高模型的学习效果;利用yolov5模型对图像进行特征的提取和学习,在模型中加入注意力机制,且是在网络的第一次focus卷积层后在入注意力机制模块,这样可以保证在原有输入信息丢失很少的情况下,更好的学习到输入信息的空间信息和通道信息,从而在使用极少量参数量的情况下,实现对于疵点更精准的定位和分类;只是通过检测头就可以实现对不同大小的疵点进行检测,提高了对于大疵点的检测效果,从而提高检测效率,解决了当前工业疵点检测算法很难同时保证检测算法的准确率及实时性的问题。
附图说明
图1为本发明实施例的基于yolov5和注意力机制模型的疵点检测方法流程图。
图2为本发明实施例的疵点检测模型的结构示意图。
图3(a)为带疵点的图像示意图;图3(b)为针对图3(a)图像的疵点检测效果示意图。
图4(a)为带疵点的图像示意图;图4(b)为针对图4(a)图像的疵点检测效果示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
图1为本发明实施例的基于yolov5和注意力机制模型的疵点检测方法流程图。参见图1,该疵点检测方法包括以下步骤:
S1,基于yolov5网络和注意力机制模型构建疵点检测模型,疵点检测模型用于对输入图片进行下采样后,采用注意力模块筛选出有意义的特征,再进行5层进一步的特征卷积处理,最后,将中层特征图与深层特征图上采样的结果进行堆叠后再次做卷积和上采样处理,将处理结果与浅层特征图进行融合和残差处理,得到第一个输出特征层;将第一个输出特征层再次与中层特征图与深层特征图的堆叠结果进行融合和残差处理,得到第二个输出特征层;将第二个输出特征层再次与深层特征图进行融合和残差处理,得到第三个输出特征层。
S2,对导入的工业疵点图像进行预处理,将预处理图像导入疵点检测模型,得到形状不同的三个输出特征层。示例性地,可以采用Mosaic数据增强技术,包括随机缩放、随机裁剪、随机排布的方式进行拼接,对于小目标的检测效果还是很不错的,得到预处理图像。
s3,对形状不同的三个输出特征层进行预测,生成边界框并预测类别。具体的,包括以下步骤:S31,利用目标框损失函数,计算出目标框的信息;再利用非极大值抑制,将不符合的目标框筛选出来,进行丢弃,输出符合的目标框信息;S32,利用交叉熵损失对学习到的特征进行类别的分类,输出类别的信息。
S4,对图像上疵点的类别和疵点的位置信息进行显示,得到疵点检测图像。
参见图2,所述疵点检测模型包括下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块、第一融合模块、第五残差模块、第六特征提取模块、第二上采样模块、第二融合模块、第七残差模块、第一卷积模块、第七特征提取模块、第三融合模块、第八残差模块、第二卷积模块、第八特征提取模块、第四融合模块、第九残差模块和第三卷积模块。
所述下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块依次相连;第三残差模块的输出结果与第一上采样模块的输出结果同时输入第一融合模块,第一融合模块的输出端再依次与第五残差模块、第六特征提取模块、第二上采样模块相连;第二上采样模块的输出结果与第二残差模块的输出结果同时输入第二融合模块,第二融合模块的输出端再依次与第七残差模块、第一卷积模块相连,以输出第一个输出特征层。
所述第七残差模块的输出结果经第七特征提取模块处理后,与第六特征提取模块的输出结果同时输入第三融合模块,第三融合模块的输出结果再依次与第八残差模块、第二卷积模块相连,以输出第二个输出特征层。
所述第八残差模块的输出结果经第八特征提取模块处理后,与第五特征提取模块的输出结果同时输入第四融合模块,第四融合模块的输出结果再依次与第九残差模块、第三卷积模块相连,以输出第三个输出特征层。
下面对每个模块的工作原理进行说明。
下采样模块(Focus层):首先对输入图片进行切片操作,然后通过concat操作连接到一起,形成图片大小为输入图片的一半通道数为输入图像的4倍,最后进行卷积输出特征图。将平面上的信息转换到通道维度,再通过卷积的方式提取不同特征。采用Focus层的目的是下采样,Focus层能够有效减少下采样带来的信息损失,同时减少计算量。
注意力模块(CBAM层):由于每个特征图相当于捕获了原图中的某一个特征,通道注意力有助于筛选出有意义的特征,即告诉CNN原图哪一部分特征具有意义。由于特征图中一个像素代表原图中某个区域的某种特征,空间注意力相当于告诉网络应该注意原图中哪个区域的特征。获得需要重点关注的目标区域,以获取更多所需要关注目标的细节信息,而抑制其他无用信息。
特征提取模块(CBL层):每个特征提取模块均包括依次相连的卷积层(Conv)、归一化层(BN)和激活层(SiLU)。卷积层的作用是进一步地提取特征,批归一化的作用是使得每一层神经网络的输入保持相同分布的,而BN就是通过一定的规范化手段,把每层神经网络任意神经元。这个输入值的分布强行拉回到均值为0方差为1的标准正态分布,其实就是把越来越偏的分布强制拉回比较标准的分布,这样使得激活输入值落在非线性函数对输入比较敏感的区域,这样输入的小变化就会导致损失函数较大的变化,意思是这样让梯度变大,避免梯度消失问题产生,而且梯度变大意味着学习收敛速度快,能大大加快训练速度。
残差模块(C3):C3中包含Res unit(残差单元)结构,C3层是为了进一步提取特征,同时加上输入信息,在没有损失特征信息的前提下,进一步学习特征中的信息。
映射模块(SPP):SPP模块首要作用是用来解决输入特征图尺寸不统一的问题。大部分目标检测网络中,一般都会在最后使用全连接层作为输出层,这要求输入特征图的尺寸固定。SPP模块,使用固定分块的池化操作,可以对不同尺寸的输入实现相同大小的输出,因此能够避免这一问题。此外,SPP中不同大小特征的融合,有利于待检测图像中目标大小差异较大的情况。
上采样模块:上采样模块的作用是放大原图像,从而改变图样的大小。
融合模块:融合模块的作用是将特征图沿通道相加。
本发明主要解决工业疵点检测问题,通过yolov5结合注意力机制的策略,建立一种新的基于深度学习的疵点检测方法。最终实现对工业材料智能检测的目的。与目前疵点检测算法相比,yolov5结合注意力机制的疵点检测算法通过数据增强进行预处理,提高模型的学习效果;利用yolov5模型对图像进行特征的提取和学习,在模型中加入注意力机制,从而可以有效的提高模型对空间特征和通道特征的学习,通过检测头可以实现对不同大小的疵点进行检测,提高了对于大疵点的检测效果,从而提高检测效率。下面给出两组具体的检测样例。如图3(a)、图3(b)、图4(a)、图4(b)所示,图1(a)和图4(a)分别为两种不同材料不同疵点的图像示意图,图3(b)和图4(b)为相应的基于yolov5结合注意力机制的疵点检测效果。其中class1代表疵点的类别为1,0.88表示对于这个疵点的置信度为0.88。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (9)
1.一种基于yolov5和注意力机制模型的疵点检测方法,其特征在于,所述疵点检测方法包括以下步骤:
S1,基于yolov5网络和注意力机制模型构建疵点检测模型,疵点检测模型用于对输入图片进行下采样后,采用注意力模块筛选出有意义的特征,再进行5层进一步的特征卷积处理,最后,将中层特征图与深层特征图上采样的结果进行堆叠后再次做卷积和上采样处理,将处理结果与浅层特征图进行融合和残差处理,得到第一个输出特征层;将第一个输出特征层再次与中层特征图与深层特征图的堆叠结果进行融合和残差处理,得到第二个输出特征层;将第二个输出特征层再次与深层特征图进行融合和残差处理,得到第三个输出特征层;
S2,对导入的工业疵点图像进行预处理,将预处理图像导入疵点检测模型,得到形状不同的三个输出特征层;
S3,对形状不同的三个输出特征层进行预测,生成边界框并预测类别;
S4,对图像上疵点的类别和疵点的位置信息进行显示,得到疵点检测图像。
2.根据权利要求1所述的基于yolov5和注意力机制模型的疵点检测方法,其特征在于,步骤S1中,疵点检测模型包括下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块、第一融合模块、第五残差模块、第六特征提取模块、第二上采样模块、第二融合模块、第七残差模块、第一卷积模块、第七特征提取模块、第三融合模块、第八残差模块、第二卷积模块、第八特征提取模块、第四融合模块、第九残差模块和第三卷积模块;
所述下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块依次相连;第三残差模块的输出结果与第一上采样模块的输出结果同时输入第一融合模块,第一融合模块的输出端再依次与第五残差模块、第六特征提取模块、第二上采样模块相连;第二上采样模块的输出结果与第二残差模块的输出结果同时输入第二融合模块,第二融合模块的输出端再依次与第七残差模块、第一卷积模块相连,以输出第一个输出特征层;
所述第七残差模块的输出结果经第七特征提取模块处理后,与第六特征提取模块的输出结果同时输入第三融合模块,第三融合模块的输出结果再依次与第八残差模块、第二卷积模块相连,以输出第二个输出特征层;
所述第八残差模块的输出结果经第八特征提取模块处理后,与第五特征提取模块的输出结果同时输入第四融合模块,第四融合模块的输出结果再依次与第九残差模块、第三卷积模块相连,以输出第三个输出特征层。
3.根据权利要求2所述的基于yolov5和注意力机制模型的疵点检测方法,其特征在于,每个特征提取模块均包括依次相连的卷积层、归一化层和激活层。
4.根据权利要求1所述的基于yolov5和注意力机制模型的疵点检测方法,其特征在于,所述注意力模块包括通道注意力单元、空间注意力单元、第一融合单元和第二融合单元;
所述第一融合单元用于融合下采样结果和经过通道注意力单元处理后下采样结果;所述第二融合单元用于融合第一融合单元的处理结果和经过空间注意力单元处理后的第一融合单元的处理结果。
5.根据权利要求1所述的基于yolov5和注意力机制模型的疵点检测方法,其特征在于,所述对导入的工业疵点图像进行预处理是指:
采用Mosaic数据增强技术对导入的工业疵点图像进行数据增强处理。
6.根据权利要求1所述的基于yolov5和注意力机制模型的疵点检测方法,其特征在于,步骤S3中,对形状不同的三个输出特征层进行预测,生成边界框并预测类别的过程包括以下步骤:
S31,利用目标框损失函数,计算出目标框的信息;再利用非极大值抑制,将不符合的目标框筛选出来,进行丢弃,输出符合的目标框信息;
S32,利用交叉熵损失对学习到的特征进行类别的分类,输出类别的信息。
7.一种基于yolov5和注意力机制模型的疵点检测装置,其特征在于,所述疵点检测装置包括预处理模块、疵点检测模型和预测显示模型;
所述预处理模块用于对导入的工业疵点图像进行预处理;
所述疵点检测模型用于对预处理后的工业疵点图像进行处理,对输入图片进行下采样后,采用注意力模块筛选出有意义的特征,再进行5层进一步的特征卷积处理,最后,将中层特征图与深层特征图上采样的结果进行堆叠后再次做卷积和上采样处理,将处理结果与浅层特征图进行融合和残差处理,得到第一个输出特征层;将第一个输出特征层再次与中层特征图与深层特征图的堆叠结果进行融合和残差处理,得到第二个输出特征层;将第二个输出特征层再次与深层特征图进行融合和残差处理,得到第三个输出特征层;
所述预测显示模型用于对形状不同的三个输出特征层进行预测,生成边界框并预测类别;以及对图像上疵点的类别和疵点的位置信息进行显示,得到疵点检测图像。
8.根据权利要求7所述的基于yolov5和注意力机制模型的疵点检测装置,其特征在于,所述疵点检测模型包括下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块、第一融合模块、第五残差模块、第六特征提取模块、第二上采样模块、第二融合模块、第七残差模块、第一卷积模块、第七特征提取模块、第三融合模块、第八残差模块、第二卷积模块、第八特征提取模块、第四融合模块、第九残差模块和第三卷积模块;
所述下采样模块、注意力模块、第一特征提取模块、第一残差模块、第二特征提取模块、第二残差模块、第三特征提取模块、第三残差模块、第四特征提取模块、映射模块、第四残差模块、第五特征提取模块、第一上采样模块依次相连;第三残差模块的输出结果与第一上采样模块的输出结果同时输入第一融合模块,第一融合模块的输出端再依次与第五残差模块、第六特征提取模块、第二上采样模块相连;第二上采样模块的输出结果与第二残差模块的输出结果同时输入第二融合模块,第二融合模块的输出端再依次与第七残差模块、第一卷积模块相连,以输出第一个输出特征层;
所述第七残差模块的输出结果经第七特征提取模块处理后,与第六特征提取模块的输出结果同时输入第三融合模块,第三融合模块的输出结果再依次与第八残差模块、第二卷积模块相连,以输出第二个输出特征层;
所述第八残差模块的输出结果经第八特征提取模块处理后,与第五特征提取模块的输出结果同时输入第四融合模块,第四融合模块的输出结果再依次与第九残差模块、第三卷积模块相连,以输出第三个输出特征层。
9.根据权利要求7所述的基于yolov5和注意力机制模型的疵点检测装置,其特征在于,所述注意力模块包括通道注意力单元、空间注意力单元、第一融合单元和第二融合单元;
所述第一融合单元用于融合下采样结果和经过通道注意力单元处理后下采样结果;所述第二融合单元用于融合第一融合单元的处理结果和经过空间注意力单元处理后的第一融合单元的处理结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111316595.8A CN114037684B (zh) | 2021-11-08 | 2021-11-08 | 一种基于yolov5和注意力机制模型的疵点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111316595.8A CN114037684B (zh) | 2021-11-08 | 2021-11-08 | 一种基于yolov5和注意力机制模型的疵点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114037684A true CN114037684A (zh) | 2022-02-11 |
CN114037684B CN114037684B (zh) | 2024-06-14 |
Family
ID=80136745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111316595.8A Active CN114037684B (zh) | 2021-11-08 | 2021-11-08 | 一种基于yolov5和注意力机制模型的疵点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037684B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114677377A (zh) * | 2022-05-30 | 2022-06-28 | 成都数之联科技股份有限公司 | 显示屏缺陷检测方法、训练方法、装置、设备及介质 |
CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580439A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
WO2021151336A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
-
2021
- 2021-11-08 CN CN202111316595.8A patent/CN114037684B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
WO2021151336A1 (zh) * | 2020-09-08 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
CN112580439A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
Non-Patent Citations (2)
Title |
---|
蔡鹏;杨磊;罗俊丽;: "一种基于卷积神经网络模型融合的织物疵点检测方法", 北京服装学院学报(自然科学版), no. 01, 30 March 2020 (2020-03-30) * |
陈亚当;郝川艳;: "动态双边网格实现的视频前景分割算法", 计算机辅助设计与图形学学报, no. 11, 15 November 2018 (2018-11-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114841977A (zh) * | 2022-05-17 | 2022-08-02 | 南京信息工程大学 | 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法 |
CN114677377A (zh) * | 2022-05-30 | 2022-06-28 | 成都数之联科技股份有限公司 | 显示屏缺陷检测方法、训练方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114037684B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
CN108460764B (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
CN111882620B (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
CN114037684A (zh) | 一种基于yolov5和注意力机制模型的疵点检测方法 | |
CN111507357B (zh) | 一种缺陷检测语义分割模型建模方法、装置、介质及设备 | |
CN110688905A (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
CN112967271B (zh) | 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法 | |
CN112749741B (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
CN116645328A (zh) | 一种高精度轴承套圈表面缺陷智能检测方法 | |
CN116664478A (zh) | 一种基于深度学习的钢材表面缺陷检测算法 | |
CN112365478A (zh) | 一种基于语义分割的电机换向器表面缺陷检测模型 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN114612456A (zh) | 一种基于深度学习的钢坯自动语义分割识别方法 | |
CN117474863A (zh) | 一种压缩多头自注意力神经网络的芯片表面缺陷检测方法 | |
CN112101113A (zh) | 一种轻量化的无人机图像小目标检测方法 | |
CN117557779A (zh) | 一种基于yolo的多尺度目标检测方法 | |
CN116778581A (zh) | 一种基于改进YOLOv7模型的考场异常行为检测方法 | |
CN117576095A (zh) | 一种多尺度学习任务的金属表面缺陷检测和分类方法 | |
CN118172308A (zh) | 融合注意力机制与可变形卷积的轮毂表面缺陷检测方法、装置、电子设备及存储介质 | |
CN113936034A (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |