CN114677355A - 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法 - Google Patents
基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法 Download PDFInfo
- Publication number
- CN114677355A CN114677355A CN202210354415.3A CN202210354415A CN114677355A CN 114677355 A CN114677355 A CN 114677355A CN 202210354415 A CN202210354415 A CN 202210354415A CN 114677355 A CN114677355 A CN 114677355A
- Authority
- CN
- China
- Prior art keywords
- attention
- channel
- groups
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title description 6
- 238000010586 diagram Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000011176 pooling Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 abstract description 5
- 238000009776 industrial production Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000011179 visual inspection Methods 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及视觉检测技术领域，公开了一种基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，包括：获取电子元器件表面缺陷图像；对图像分组，将其分为两条独立分支，对前n组、后m组分别使用不同的卷积核进行卷积，并将得到的图像模块输入到通道注意力模块和空间注意力模块中，分别生成通道注意力权重特征图和空间注意力权重特征图；最终得到同时具有通道权重和空间权重的特征图，再分别将前n组、后m组得到的特征图拼接，最终将两条独立分支得到的特征图传输至检测器中；使用NMS算法从中做出最优选择。与现有技术相比，解决了当前人工抽检的低效与人工抽检的不稳定性的问题，并且降低了芯片使用要求，为工业生产降低成本变得可能。
Description
技术领域
本发明涉及视觉检测技术领域，具体涉及一种基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法。
背景技术
电子元器件以其具有电器特性，在电力系统中有着巨大的作用，但电子元器件在生产、运输以及储存搬动过程中，极其容易造成电子元器件的表面的缺陷，这对后续的销售以及日常使用产生严重的影响。因此电子元器件的表面的缺陷检测显得尤为重要。
传统的检测电子元器件表面缺陷的方式为人工抽检，在进行人工抽检过程中，效率低且人工抽检存在很大的人为因素在里面，存在不稳定性。
传统的检测电子元器件表面缺陷的方式还有通过获取表面缺陷图像，利用CNN、RNN等模型算法对缺陷图像进行处理，从而检测其表面是否存在缺陷。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于GAYOLOv3的压敏电阻表面缺陷检测方法，解决了当前人工抽检的低效与人工抽检的不稳定性的问题，并且降低了芯片使用要求，为工业生产降低成本变得可能。
技术方案：本发明提供了一种基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，包括如下步骤：
步骤1：获取电子元器件表面缺陷图像，并对其进行预处理；
步骤2：对预处理后的图像分组，将其分为两条独立分支，对前n组、后m组分别使用不同的卷积核进行卷积，并将得到的图像模块输入到注意力模块中；
步骤3：所述注意力模块分为通道注意力模块和空间注意力模块，将各所述图像模块分别输入至通道注意力模块和空间注意力模块中，分别生成对应的通道注意力图和空间注意力图，将对应的两通道注意力图拼接，通过Sigmoid函数激活得到通道注意力权重特征图，空间注意力图也通过Sigmoid函数激活得到空间注意力权重特征图；
步骤4：将步骤2分组后的图像模块先与步骤3各自通道注意力权重特征图相乘，得到具有通道权重的特征图，再与步骤3中空间注意力权重特征图相乘，得到同时具有通道权重和空间权重的特征图，再分别将前n组、后m组得到的特征图拼接，最终将两条独立分支得到的特征图传输至检测器中；
步骤5：所述检测器获取具有通道权重和空间权重的特征图后，使用NMS算法从中做出最优选择。
进一步地，所述步骤1中预处理操作包括：
对获取的电子元器件表面缺陷图像进行灰度图像处理，并得到大小为Hin*Win*1的图像，将处理后的图像使用1*1*128的卷积核进行。
进一步地，所述步骤2中图像进行分组时，分为4组，每组均为Hin*Win*32，在进行分组卷积时，前两组使用3*3*32的卷积核卷积，后两组使用5*5*32的卷积核进行卷积，输出大小为Hout1*Wout1*32和Hout2*Wout2*32的图像模块。
进一步地，所述步骤4中的通道注意力模块使用全局平均池化汇总全局信息，使用全局最大池化来获得更精细的通道特征，并将全局最大池化和全局平均池化送入具有隐藏层的多层感知器中，分别生成对应的通道注意力图，并将两通道注意力图拼接，通过Sigmoid函数激活得到1*1*32的通道注意力权重特征图。
进一步地，所述步骤4中的空间注意力模块在通道轴向进行全局最大池化和全局平均池化，并通过卷积层生成一个空间注意力图，通过Sigmoid函数激活得到Hout*Wout*1的空间注意力权重特征图。
进一步地，所述Sigmoid函数为：
。
有益效果：
1、本发明所使用的分组卷积可以减小GPU的使用，这也意味着可以使用更低级的GPU处理器，减少工业生产成本；由于卷积被划分为多个路径，因此每个路径可以由不同的GPU分别处理，此过程允许以并行方式在多个GPU上进行模型训练。与使用一个GPU进行所有训练相比，通过多GPU进行的模型并行化，可以将更多图像传到网络中。模型并行化被认为比数据并行化更好的方式，最终将数据集分成多个批次，然后对每个批次进行训练。其次，在大容量的数据中模型化会更有效，在模型化中卷积核随着组数的增多而变得更小，计算量将降低，速度将提升。且分组卷积可以提供比标准的2D卷积更好的模型。
2、本发明引入空间注意力模型和通道注意力模型相较于CNN、RNN相比，复杂度更小，参数也更少。所以对算力的要求也就更小。注意力模型解决了 RNN 不能并行计算的问题。注意力模型机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。注意力机制可以在处理过程中抓住重要信息，减小非必要信息的干扰。
附图说明
图1为本发明GAYOLOv3_Tiny网络结构图；
图2为本发明空间注意力模型图；
图3为本发明通道注意力模型图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明公开了一种基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，参见附图1，包括如下步骤：
S1.通过在固定生产线上的高清摄像头，对生产线中极板到固定位置进行拍摄，并对上述所拍摄的图像进行灰度图像处理，并得到大小为Hin*Win*1的图片，将处理后的图片使用1*1*128的卷积核进行图像通道加深，将原有的图像加深为128层，以便得到所采集的图像更多的特征。
S2.在得到加深后的图像后，将加深的图像进行分组，使得每组均为Hin*Win*32，将其分为两条独立分支，并对前两组使用3*3*32的卷积核进行卷积，对后两组使用5*5*32的卷积核进行卷积，将空间尺寸缩小，输出大小为Hout1*Wout1*32和Hout2*Wout2*32的图像模块，并将得到的所有图像模块输入到注意力模块中。
S3.注意力模块分为通道注意力模块和空间注意力模块。
参照图1通过引入通道注意力模块，对特征图的每个通道进行权重的重新分配，有选择性的加强重要信息的学习并对弱相关的特征部分的抑制，使检测网络对信息重要的通道信息进行关注，减少对非重要信息的学习， 以提高检测模型的表征能力。通道注意力模块对输入的中间层尺寸为H*W*C的图像首先使用全局平均池化汇总全局信息，使用全局最大池化来获得更精细的通道特征，以弥补全局平均池化对细节区域的忽视。然后将由全局平均池化和全局最大池化操作所得到的空间信息分别生成两个不同的空间上下文描述符Fcavg和Fcmax,然后送入一个由多层感知器构成的隐藏层组成的共享网络，以生成通道注意力图，为减少参数量，对隐藏层进行缩放。最后，将两个通道注意力拼接，并通过Sigmoid函数将权值映射到0-1之间，得到尺寸为1*1*C的通道注意力权重特征图，本实施例中，生成1*1*32的通道注意力权重特征图。
参照图3通过引入空间注意力模块，在特征图内部空间不同通道的同一位置进行权重分配，并对特征图中像素之间的空间关系进行选择性编码。空间注意力可以更好地获取空间位置关系信息，弥补通道注意力的不足。其结构如图3所示。对于输入中间层，大小为H×Ｗ×C特征图，为了有效地突出区域信息，沿通道轴进行平均池和最大池操作，将两者拼接起来以生成有效的特征描述符，并通过卷积层生成空间注意力图。与通道注意力模块相同，使用sigmoid激活函数将权重值映射到0-1之间，以获得H×Ｗ×1空间注意权重特征图。
上述的sigmoid激活函数为：。
S4.将分组后的图像模块先与各自通道注意力权重特征图相乘，得到具有通道权重的特征图，再与空间注意力权重特征图相乘，得到同时具有通道权重和空间权重的特征图，再分别将前两组得到的特征图拼接，最终将两条独立分支得到的特征图输给检测器中；
S5.在知道具有通道权重和空间权重的特征图后，在两支路输出给检测器中，检测器使用NMS算法从中做出最优选择。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，其特征在于，包括如下步骤：
步骤1：获取电子元器件表面缺陷图像，并对其进行预处理；
步骤2：对预处理后的图像分组，将其分为两条独立分支，对前n组、后m组分别使用不同的卷积核进行卷积，并将得到的图像模块输入到注意力模块中；
步骤3：所述注意力模块分为通道注意力模块和空间注意力模块，将各所述图像模块分别输入至通道注意力模块和空间注意力模块中，分别生成对应的通道注意力图和空间注意力图，将对应的两通道注意力图拼接，通过Sigmoid函数激活得到通道注意力权重特征图，空间注意力图也通过Sigmoid函数激活得到空间注意力权重特征图；
步骤4：将步骤2分组后的图像模块先与步骤3各自通道注意力权重特征图相乘，得到具有通道权重的特征图，再与步骤3中空间注意力权重特征图相乘，得到同时具有通道权重和空间权重的特征图，再分别将前n组、后m组得到的特征图拼接，最终将两条独立分支得到的特征图传输至检测器中；
步骤5：所述检测器获取具有通道权重和空间权重的特征图后，使用NMS算法从中做出最优选择。
2.根据权利要求1所述的基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，其特征在于，所述步骤1中预处理操作包括：
对获取的电子元器件表面缺陷图像进行灰度图像处理，并得到大小为Hin*Win*1的图像，将处理后的图像使用1*1*128的卷积核进行。
3.根据权利要求1所述的基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，其特征在于，所述步骤2中图像进行分组时，分为4组，每组均为Hin*Win*32，在进行分组卷积时，前两组使用3*3*32的卷积核卷积，后两组使用5*5*32的卷积核进行卷积，输出大小为Hout1*Wout1*32和Hout2*Wout2*32的图像模块。
4.根据权利要求1所述的基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，其特征在于，所述步骤4中的通道注意力模块使用全局平均池化汇总全局信息，使用全局最大池化来获得更精细的通道特征，并将全局最大池化和全局平均池化送入具有隐藏层的多层感知器中，分别生成对应的通道注意力图，并将两通道注意力图拼接，通过Sigmoid函数激活得到1*1*32的通道注意力权重特征图。
5.根据权利要求1所述的基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，其特征在于，所述步骤4中的空间注意力模块在通道轴向进行全局最大池化和全局平均池化，并通过卷积层生成一个空间注意力图，通过Sigmoid函数激活得到Hout*Wout*1的空间注意力权重特征图。
6.根据权利要求4或5所述的基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法，其特征在于，所述Sigmoid函数为：
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354415.3A CN114677355A (zh) | 2022-04-06 | 2022-04-06 | 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354415.3A CN114677355A (zh) | 2022-04-06 | 2022-04-06 | 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114677355A true CN114677355A (zh) | 2022-06-28 |
Family
ID=82077556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210354415.3A Pending CN114677355A (zh) | 2022-04-06 | 2022-04-06 | 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677355A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576109A (zh) * | 2024-01-19 | 2024-02-20 | 成都数之联科技股份有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309876A (zh) * | 2019-06-28 | 2019-10-08 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、计算机可读存储介质和计算机设备 |
| CN111612751A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 |
| CN112085735A (zh) * | 2020-09-28 | 2020-12-15 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
| CN113393371A (zh) * | 2021-06-28 | 2021-09-14 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置及电子设备 |
-
2022
- 2022-04-06 CN CN202210354415.3A patent/CN114677355A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309876A (zh) * | 2019-06-28 | 2019-10-08 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、计算机可读存储介质和计算机设备 |
| CN111612751A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 |
| CN112085735A (zh) * | 2020-09-28 | 2020-12-15 | 西安交通大学 | 一种基于自适应锚框的铝材质图像缺陷检测方法 |
| CN113393371A (zh) * | 2021-06-28 | 2021-09-14 | 北京百度网讯科技有限公司 | 一种图像处理方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 刘忠雨著: "深入浅出图神经网络 GNN原理解析", 机械工业出版社, pages: 53 - 56 * |
| 唐纲浩等: "基于改进YOLOv3_Tiny的压敏电阻表面缺陷检测", 光电子•激光, vol. 32, no. 11, pages 1148 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576109A (zh) * | 2024-01-19 | 2024-02-20 | 成都数之联科技股份有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
| CN117576109B (zh) * | 2024-01-19 | 2024-04-02 | 成都数之联科技股份有限公司 | 一种缺陷检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360171B (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| US11882357B2 (en) | Image display method and device | |
| CN113962858B (zh) | 一种多视角深度获取方法 | |
| CN115393231B (zh) | 一种缺陷图像的生成方法、装置、电子设备和存储介质 | |
| CN114677355A (zh) | 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法 | |
| CN110503149B (zh) | 一种图像中局部特征分类方法及系统 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
| CN113901928A (zh) | 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 | |
| JP2017068577A (ja) | 演算装置、方法及びプログラム | |
| WO2021057091A1 (zh) | 视点图像处理方法及相关设备 | |
| CN111681236B (zh) | 一种带注意力机制的目标密度估计方法 | |
| CN117392116A (zh) | 一种超宽幅金属表面瑕疵检测与识别方法 | |
| Li et al. | An improved method for underwater image super-resolution and enhancement | |
| CN113516676B (zh) | 角点检测方法、脉冲神经网络处理器、芯片及电子产品 | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
| WO2022227024A1 (zh) | 神经网络模型的运算方法、训练方法及装置 | |
| CN115511760A (zh) | 一种基于金字塔卷积的多曝光图像融合方法 | |
| CN114049251A (zh) | 一种用于ai视频分析的模糊图像超分辨率重建方法及装置 | |
| Dawwd | The multi 2D systolic design and implementation of Convolutional Neural Networks | |
| CN111899161A (zh) | 一种超分辨率重建方法 | |
| CN114202071B (zh) | 一种基于数据流模式的深度卷积神经网络推理加速方法 | |
| Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
| Hou et al. | Redefining Night Vision: The Power of MSR-Driven Neural ISP | |
| CN114882222B (zh) | 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |