CN115035082B - 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 - Google Patents
一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 Download PDFInfo
- Publication number
- CN115035082B CN115035082B CN202210721927.9A CN202210721927A CN115035082B CN 115035082 B CN115035082 B CN 115035082B CN 202210721927 A CN202210721927 A CN 202210721927A CN 115035082 B CN115035082 B CN 115035082B
- Authority
- CN
- China
- Prior art keywords
- feature map
- yolov4
- detection
- defects
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000013138 pruning Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 210000003128 head Anatomy 0.000 description 10
- 238000002372 labelling Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004132 cross linking Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000071 blow moulding Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
一种基于YOLOv4改进算法的航空器透明件缺陷检测方法，采集带有缺陷的透明件图像并进行标准化处理和数据增强，得到透明件缺陷增强数据集，对YOLOv4网络模型进行改进，增加了152×152维度大小的特征图提升对小目标的检测效果，降低了透明件小尺度缺陷出现漏检或误检的概率，并可在目标检测网络的颈部引入CBAM，增强了特征图上目标通道和空间的特征，从而使网络着重关注包含重要信息的区域。并且对网络模型进行剪枝，在不影响检测精度的情况下加快了网络的检测速度。本发明不仅加强了对透明件缺陷特征提取的能力，提升了对小尺度缺陷的检测效果，还减少了网络的参数量，提高缺陷检测的速度。
Description
技术领域
本发明属于图像目标检测技术领域，特别涉及一种基于YOLOv4改进算法的航空器透明件缺陷检测方法。
背景技术
近年来，随着计算机视觉领域的快速化发展，有大量目标检测的算法应用于现代日常生活，目标检测技术一直认为是当代计算机视觉领域应用中一门十分新颖前沿和热门的基础研究方向。现代工业对透明件质量的要求越来越高，使得透明件表面缺陷的检测成为相关行业的研究热点。航空透明件一般都由阳模压制成形的整体圆弧风挡、吹塑成形后的水泡式舱盖等所共同组成，或者为风挡座舱盖一体化结构，其材料主要包括了高性能微交联定向有机玻璃，聚碳酸酯，或者两者层合的透明材料。这些航空光学透明件尺寸形状新颖独特、外形尺寸精度和光学质量检测要求高，制造工艺较复杂。航空透明件作为飞行员的视觉窗口，直接影响到飞行员对外部信息的获取和判断，这就决定了飞机透明件的高标准、严要求。在飞机飞行升降过程中，由于长期受到多种不可事先预料到的恶劣环境因素所影响，如风载荷的重大突变、飞行急速下降上升等过程中飞机部件与高速空气产生的激烈摩擦，风挡或飞机坐舱的玻璃由此产生了各种质量缺陷，这些质量缺陷的广泛存在就会导致玻璃透明件本身的透光率减小和能见度降低，从而导致其产品结构的质量有所下降，直接影响着飞机系统的安全工作和飞行员个体的生命安全。目前飞机航空透明件的长期失效情况成为直接影响一架飞机维修期长短和可靠性的主要因素之一。因此为了充分掌握航空透明件长期使用的状况进而科学预估其实际有效寿命、延长飞机服务保障时间、降低服务成本，对其缺陷的早期检测以及对于各种失效老化和潜在损伤等进行正确定性评估和定量描述具有十分重要的应用意义。
目前透明件表面质量的检测主要依靠人工检测。人工检测方式不仅在工作效率上不能满足生产需要，而且受检测人员主观经验的影响。透明件表面的一些缺陷尺寸较小，人眼很难观察到这些缺陷，容易漏检。同时，眼睛长时间工作对检测人员的健康有害。因此，人工检测技术无法满足国内当前更大规模自动化生产系统的应用要求。与纯人工的检测系统相比，基于机器视觉的图像检测技术不仅有效提高了缺陷检测的准确性和精度，并且由于其非接触性，具有安全可靠的优点。但是传统的机器视觉检测算法在特征提取方面灵活性较差，需要根据产品表面缺陷的类型构建特征提取算法。由于工业产品表面缺陷的形状和大小不同，使用图像算法进行特征提取需要大量的资源进行算法设计，对目标对象的通用性较差。与传统的视觉检测算法相比，基于深度学习算法的表面缺陷检测不仅具有较高的适应性和稳定性，而且在面对变化的场景和目标时具有较高的检测精度。本文提出了一种基于YOLOv4改进算法的透明件缺陷检测方法，通过对YOLOv4网络结构进行改进，使其更适合于工业透明件表面缺陷检测。
发明内容
针对目前工业视觉中现有技术检测上的不足，本发明的目的在于提供一种基于YOLOv4改进算法的航空器透明件缺陷检测方法，以期解决现有透明件缺陷检测中存在的缺陷检出率低、对小尺度缺陷检测易出现漏检或误解等问题，提高检测精度，并对小目标检测更加友好。
为了实现上述目的，本发明采用的技术方案是：
一种基于YOLOv4改进算法的航空器透明件缺陷检测方法，包括如下步骤：
S1：采集带有缺陷的透明件图像并进行标准化处理，构建得到透明件缺陷数据集，对其中的每张图片进行标注，所述标注至少包括缺陷的位置和类别；
S2：对所述透明件缺陷数据集进行增强，得到透明件缺陷增强数据集，并按比例划分为训练集、验证集和测试集；
S3：对YOLOv4网络模型进行改进，用于检测透明件表面的缺陷，改进的YOLOv4网络模型中：
其主干网络CSPDarknet-53，输出四个不同尺度的有效特征图，按照维度由小到大依次为：第一尺度特征图、第二尺度特征图、第三尺度特征图、第四尺度特征图；所述改进的YOLOv4网络模型具有四个检测头；
所述第一尺度特征图经过金字塔池化并进行拼接和卷积得到特征图C1，所述特征图C1上采样与第二尺度特征图进行拼接和卷积得到特征图C2；所述特征图C2上采样与所述第三尺度特征图进行拼接和卷积得到特征图C3；所述特征图C3上采样与第四尺度特征图进行拼接和卷积得到特征图C4；所述特征图C4下采样与特征图C3进行拼接和卷积得到特征图P4；所述特征图P4下采样与特征图C2进行拼接和卷积得到特征图P3；所述特征图P3下采样与特征图C1进行拼接和卷积得到特征图P2；
所述特征图C4、特征图P4特征图P3和特征图P2，分别输入一个检测头进行检测，检测结果的通道数为num_anchors×(5+num_classes)，num_anchors是每个网格先验框的个数，num_classes是缺陷类别个数；
S4：利用训练集对改进的YOLOv4网络模型进行训练，得到最优模型参数，将采集到的透明件缺陷图片输入至到训练得到的模型进行检测，输出缺陷的位置和类型。
在一个实施例中，所述S1包括：
S1-1、通过照片采集得到透明件缺陷图片，缺陷种类有点状、线状、面状三种；
S1-2、对采集得到的图片进行标准化，统一格式和大小；
S1-3、采用标注工具，以标注框标注并记录缺陷在图片上的位置和类别，将标注内容存放为xml格式文件，图片里的点状、线状、面状缺陷分别用数字0，1，2记录在文件中，文件名称与对应图片名相同。
在一个实施例中，所述S2，增强方法包括：水平、垂直、随机亮度和随机倾斜。
在一个实施例中，所述S3，第一尺度特征图、第二尺度特征图、第三尺度特征图和第四尺度特征图的维度大小依次为19×19×1024、38×38×512、76×76×256和152×152×128；所述特征图C1、特征图C2、特征图C3、特征图C4、特征图P4、特征图P3、特征图P2的维度大小依次为19×19×512、38×38×256、76×76×128、152×152×128、76×76×256、38×38×512和19×19×1024；所述特征图C4输入检测头得到152×152×3×(5+class_num)大小的特征图R4。
在一个实施例中，所述第一尺度特征图经过金字塔池化和拼接后的卷积次数为三次；所述特征图C1上采样与第二尺度特征图拼接后的卷积次数为五次；所述特征图C2上采样与第三尺度特征图拼接后的卷积次数为五次；所述特征图C3上采样与第四尺度特征图拼接后的卷积次数为五次；所述特征图C4下采样与特征图C3后的卷积次数为五次；所述特征图P4下采样与特征图C2拼接后的卷积次数为五次；所述特征图P3下采样与特征图C1拼接后的卷积次数为五次。
在一个实施例中，所述特征图C4、特征图P4特征图P3和特征图P2分别经一个轻量级混合注意力CBAM模块之后，再送入各自的检测头。
在一个实施例中，所述轻量级混合注意力CBAM模块由通道注意力模块和空间注意力模块串联构成，其中：
所述空间注意力模块以通道注意力模块输出的特征图作为输入，分别进行全局最大池化和全局平均池化，然后对池化操作后得到的两个特征图进行通道拼接，拼接后的特征图进行空洞卷积，然后利用sigmoid激活函数生成空间注意力，将生成的空间注意力与所述空间注意力模块的输入按对应元素相乘，得到经过空间注意力模块后的特征图。
在一个实施例中，所述空洞卷积的卷积核为3×3，空洞率设置为2。
在一个实施例中，对模型进行剪枝，以减少模型参数，对模型进行剪枝后，模型的主干网络CSPDarknet53共有5个大残差块，每个大残差块所包含的小残差单元个数由1、2、8、8、4变为1、2、5、5、4。
与现有技术相比，本发明的有益效果是：
(1)本发明基于YOLOv4算法进行改进，在特征融合部分，首先从主干网络底层引出感受野较小的特征图作为第四尺度特征图，引出后与原有的三个尺度的特征图进行特征融合。引出152×152大小的特征图有利于精确的检测小尺度缺陷，解决了原有技术对小尺度缺陷检测易出现漏检或误解的问题。
(2)其次，对混合注意力CBAM模块中的空间注意力部分进行改进，将空洞率为2的3×3大小的空洞卷积代替原来的7×7大小的卷积核，降低了原有CBAM模块的参数量，有利于提高网络检测速度。将改进后的轻量级混合注意力CBAM模块加入到特征融合网络末端的四个分支后面，使网络着重关注更重要的特征信息，有效的提升了缺陷检测的准确率。
(3)经过上述改进，新加入的结构使网络参数量大为增加，对主干网络进行剪枝不仅降低了网络参数量，较大程度提升了网络检测速度，还有效避免了因网络层数太深导致小尺度信息丢失的情况。采用改进后的YOLOv4模型对透明件缺陷进行检测，一方面加强了对透明件缺陷特征提取能力，提升了对小尺度缺陷的检测效果，另一方面减少了网络的参数量，提高缺陷检测的速度，满足现代工业生产中对透明件缺陷检测高准确率和实时性的要求。
附图说明
图1是本发明流程图。
图2是本发明中用到的透明件缺陷测试样本。
图3是本发明中用到的训练样本标注示例，其中(a)是点状缺陷标注结果图；(b)是线状缺陷标注结果图；(c)是块状缺陷标注结果图。
图4是对数据集进行数据增强的结果示意图。
图5是本发明改进的YOLOv4网络模型结构示意图。
图6是本发明轻量级混合注意力CBAM模块结构示意图。
图7是本发明空间注意力模块结构示意图。
图8是本发明改进的YOLOv4网络模型对测试样本的检测效果图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本实施例提供了一种基于YOLOv4改进算法的航空器透明件缺陷检测方法，方法的具体流程如图1，图2是本实施例用到的透明件缺陷测试样本，该图像是通过工业相机对带有缺陷的透明件进行图像采集得到的，对该图像按照图1的流程进行处理，以详细说明本发明的具体步骤及检测效果。
1、收集数据集并进行图像标注：
(1)通过工业相机等图像、视频采集工具，采集带有缺陷的透明件图像，并对采集得到的图片进行标准化处理，构建得到透明件缺陷数据集。本发明的标准化处理是指统一图片的格式和大小。示例地，本实施例中，是将图片统一变为png格式，大小为1000×1000。之后运用标注工具例如LabelImg等，对所构建的透明件缺陷数据集的每张图片进行标注，标注至少应包括缺陷的位置和类别。
(2)参考图2，图片缺陷一般划分为点状、线状、面状三种类型，每张图片存在但不限于一种缺陷，在用标注工具LabelImg进行缺陷标注时，标注出缺陷的位置同时，分别用标签0、1、2对应缺陷类型点状、线状、面状进行标识并记录在文件中，最后将标注的结果以xml格式文件存储，文件名称与对应图片名相同。三种缺陷的标注结果如图3中(a)、(b)、(c)所示。标注手段为以标注框标注并记录缺陷在图片上的位置和类别。
2、数据增强并划分数据集：
(1)由于拍照所得图片数量较少，数据集少易导致过拟合，为了更好的训练模型，将采集到的透明件缺陷数据集进行数据增强，进行增强的方法包括：水平、垂直、随机亮度和随机倾斜，数据增强的结果如图4所示。本实施例最终得到的透明件缺陷增强数据集包括8436张图片。
(2)对透明件缺陷增强数据集按比例划分训练集、验证集和测试集。本实施例中，训练集、验证集、测试集分别占数据集的65％、15％、20％。
3、设计改进的YOLOv4网络模型，用于检测透明件表面的缺陷。参考图5，改进的YOLOv4模型通过以下方法得到：
(1)原YOLOv4算法采用3个不同尺度的特征图，其中适合检测小目标的特征图维度大小为76×76，对应宽和高为原始图像的1/8，故YOLOv4对于像素大小在8×8范围内的目标检测效果不佳，容易出现漏检或误检现象，影响检测精确度。为了检测到更细微的缺陷，基于现有的YOLOv4网络结构，增加了152×152维度大小的特征图，以更精确地检测小尺度缺陷。通过YOLOv4的主干网络CSPDarknet-53进行特征提取，输出四个不同尺度的有效特征图，将这四个特征图按照维度大小由小到大分别称为：第一尺度特征图、第二尺度特征图、第三尺度特征图、第四尺度特征图，同时，改进的YOLOv4网络模型具有四个检测头。在本实施例中，第一～第四尺度特征图的维度大小(长度×宽度×深度)依次为19×19×1024、38×38×512、76×76×256和152×152×128。其中，第四尺度特征图为新增的特征图，从主干网络引出并与其余尺度特征图进行特征融合，特征融合的详细内容如下：
a.第一尺度特征图经过金字塔池化并进行拼接和卷积得到特征图C1，示例地，卷积次数为三次，特征图C1的大小为19×19×512；特征图C1进行上采样与第二尺度特征图进行拼接和卷积得到特征图C2，示例地，卷积次数为五次，特征图C2的大小为38×38×256。
b.将特征图C2进行上采样与第三尺度特征图进行拼接和卷积得到特征图C3，示例地，卷积次数为五次，特征图C3的大小为76×76×128；
c.将特征图C3进行上采样与第四尺度特征图进行拼接和卷积得到特征图C4，示例地，卷积次数为五次，特征图C4的大小为152×152×128；
d.将特征图C4进行下采样与特征图C3进行拼接和卷积得到特征图P4，示例地，卷积次数为五次，特征图P4的大小为76×76×256；
e.将特征图P4进行下采样与特征图C2进行拼接和卷积得到特征图P3，示例地，卷积次数为五次，特征图P3的大小为38×38×512；
f.将特征图P3进行下采样与特征图C1进行拼接和卷积得到特征图P2，示例地，卷积次数为五次，特征图P2的大小为19×19×1024；
g.将得到的C4、P4、P3、P2特征图分别输入一个检测头进行检测，检测结果的通道数为num_anchors×(5+num_classes)，num_anchors是每个网格先验框的个数，num_classes是缺陷类别个数。其中，特征图C4输入检测头得到152×152×3×(5+class_num)大小的特征图R4。
(2)在步骤(1)的基础上，本发明进一步引入了轻量级混合注意力CBAM模块，使神经网络更加关注包含重要信息的目标区域，抑制不相关信息，提高目标检测的整体精度。CBAM是一个高效、轻量级块，可以集成到任何卷积神经网络架构中。本发明改进的YOLOv4模型的特征融合网络末端具四个分支，分别对应前述的四个检测头。在这四个分支中各添加一个改进后的轻量级混合注意力CBAM模块，再送入各层的检测头进行预测，即，特征图C4、特征图P4、特征图P3和特征图P2分别经一个轻量级混合注意力CBAM模块之后，再送入各自的检测头。本发明对原CBAM模型进行改进，改进后的轻量级混合注意力CBAM模块是由通道注意力模块和改进的空间注意力模块串联构成，其中：
空间注意力模块将经过通道注意力模块后输出的特征图作为输入，分别进行全局最大池化和全局平均池化，对池化操作后得到的两个特征图进行通道拼接，拼接后的特征图进行1个3×3的空洞卷积，空洞率设置为2，卷积后的特征图经过sigmoid激活函数生成空间注意力，将生成的空间注意力与空间注意力模块的输入按对应元素相乘得到经过空间注意力后的特征图。本发明改进后的轻量级混合注意力CBAM模块如图6所示。改进后的空间注意力模块如图7所示。
其中，生成通道注意力的方法为：
其中，σ是Sigmoid激活函数，W0和W1为MLP的权值，W0∈RC/R×C，W1∈RC×C/r，r为压缩因子，本发明中r＝16。
生成空间注意力的方法为：
其中，表示3×3大小的空洞卷积，空洞率为2。
(3)添加152×152维度大小的特征图和CBAM模块后的YOLOv4网络参数量比原本网络大，为了提高缺陷检测速度，本发明对改进后的模型进行剪枝，以减少模型参数，在不影响检测精度的情况下加快了网络的检测速度。剪枝操作具体为：
主干网络CSPDarknet53共有5个大残差块，将每个大残差块所包含的小残差单元个数由1、2、8、8、4变为1、2、5、5、4，如图5所示。
4、将训练集输入改进的YOLOv4网络模型进行训练：
实验在Ubuntu 16.04操作系统下完成，开发框架为pytorch-GPU，编程语言为python。
(1)为了进一步提高模型训练的效率，本发明采用迁移学习的方法，在训练前加载预训练模型。针对本实施例数据集的特点，选择通用性好、类型丰富的COCO数据集进行迁移学习。其中，COCO为深度学习领域的公开图像数据集。
(2)本发明设置了YOLOv4算法的超参数，整个训练过程为200epoch，学习率为1e-4，在最后30个epoch中学习率设置为5e-5。图像大小为608×608，批大小为2。
(3)梯度优化采用Adam。
(4)训练的损失函数为：
LOSS＝Lfl+Lciou+Lconf+Lclass
其中，γ、α、y′：分别是减少易分样本损失值的因子、平衡正负样本比例不均衡的因子、预测概率；
S2、B：特征图、先验框；
λnoobj：负样本的加权因子；
如果第i个网格的第j个先验框里有目标则分别取1和0，若没有目标分别取0和1；
ρ()：欧氏距离；
c2：真实框和边界框中心点的欧几里得距离的平方；
b、w、h：预测框的中心坐标、宽、高；
bgt、wgt、hgt：真实框的中心坐标、宽、高；
预测框置信度、预测框与真实框的IoU；
Pi j、预测框类别概率、真实框类别概率。
5、根据训练得到的最优模型参数，选出最优模型，即训练得到的模型。
6、使用最优模型检测透明件图片上的缺陷位置和缺陷种类：
模型进行透明件缺陷检测时，设置置信度阈值为0.85。检测结果如图8所示，用不同线型的旋转框来表示不同类型缺陷的检测结果，实线框、虚线框、点线框分别代表点状、线状、块状缺陷。
本发明方法与现有其他方法的精度、速度对比测试如表1所示。从表1中可以看出本发明方法在满足高精度情况下，还具有很快的检测速度，满足了现代工业生产中对透明件缺陷检测高准确率和实时性的要求。
表1本发明方法与现有其他模型精度、速度对比结果
| 模型 | 平均精度 | 缺失率 | 时间/s |
| Faster RCNN | 87.57％ | 0.17 | 0.2473 |
| YOLOv3 | 90.78％ | 0.14 | 0.2291 |
| YOLOv4 | 93.23％ | 0.13 | 0.2230 |
| Our model | 95.27％ | 0.07 | 0.2187 |
综上，本发明对YOLOv4模型结构进行改进，在特征检测网络方面增加了152×152维度大小的特征图提升对小目标的检测效果，降低了透明件小尺度缺陷出现漏检或误检的概率。在目标检测网络的颈部引入轻量级混合注意力模块CBAM(Convolutional BlockAttention Module)，增强了特征图上目标通道和空间的特征，从而使网络着重关注包含重要信息的区域。并且对网络模型进行剪枝，在不影响检测精度的情况下加快了网络的检测速度。本发明采用改进的YOLOv4模型对透明件缺陷进行检测，不仅加强了对透明件缺陷特征提取的能力，提升了对小尺度缺陷的检测效果，还减少了网络的参数量，提高缺陷检测的速度，满足现代工业生产中对透明件缺陷检测高准确率和实时性的要求。
Claims (10)
1.一种基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，包括如下步骤：
S1：采集带有缺陷的透明件图像并进行标准化处理，构建得到透明件缺陷数据集，对其中的每张图片进行标注，所述标注至少包括缺陷的位置和类别；
S2：对所述透明件缺陷数据集进行增强，得到透明件缺陷增强数据集，并按比例划分为训练集、验证集和测试集；
S3：对YOLOv4网络模型进行改进，用于检测透明件表面的缺陷，改进的YOLOv4网络模型中：
其主干网络CSPDarknet-53，输出四个不同尺度的有效特征图，按照维度由小到大依次为：第一尺度特征图、第二尺度特征图、第三尺度特征图、第四尺度特征图；所述改进的YOLOv4网络模型具有四个检测头；
所述第一尺度特征图经过金字塔池化并进行拼接和卷积得到特征图C1，所述特征图C1上采样与第二尺度特征图进行拼接和卷积得到特征图C2；所述特征图C2上采样与所述第三尺度特征图进行拼接和卷积得到特征图C3；所述特征图C3上采样与第四尺度特征图进行拼接和卷积得到特征图C4；所述特征图C4下采样与特征图C3进行拼接和卷积得到特征图P4；所述特征图P4下采样与特征图C2进行拼接和卷积得到特征图P3；所述特征图P3下采样与特征图C1进行拼接和卷积得到特征图P2；
所述特征图C4、特征图P4、特征图P3和特征图P2，分别输入一个检测头进行检测，检测结果的通道数为num_anchors×(5+num_classes)，num_anchors是每个网格先验框的个数，num_classes是缺陷类别个数；
S4：利用训练集对改进的YOLOv4网络模型进行训练，得到最优模型参数，将采集到的透明件缺陷图片输入至训练得到的模型进行检测，输出缺陷的位置和类型。
2.根据权利要求1所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述S1包括：
S1-1、通过照片采集得到透明件缺陷图片，缺陷种类有点状、线状、面状三种；
S1-2、对采集得到的图片进行标准化，统一格式和大小；
S1-3、采用标注工具，以标注框标注并记录缺陷在图片上的位置和类别，将标注内容存放为xml格式文件，图片里的点状、线状、面状缺陷分别用数字0，1，2记录在文件中，文件名称与对应图片名相同。
3.根据权利要求1所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述S2，增强方法包括：水平、垂直、随机亮度和随机倾斜。
4.根据权利要求1所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述S3，第一尺度特征图、第二尺度特征图、第三尺度特征图和第四尺度特征图的维度大小依次为19×19×1024、38×38×512、76×76×256和152×152×128；所述特征图C1、特征图C2、特征图C3、特征图C4、特征图P4、特征图P3、特征图P2的维度大小依次为19×19×512、38×38×256、76×76×128、152×152×128、76×76×256、38×38×512和19×19×1024；所述特征图C4输入检测头得到152×152×3×(5+class_num)大小的特征图R4。
5.根据权利要求1所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述第一尺度特征图经过金字塔池化和拼接后的卷积次数为三次；所述特征图C1上采样与第二尺度特征图拼接后的卷积次数为五次；所述特征图C2上采样与第三尺度特征图拼接后的卷积次数为五次；所述特征图C3上采样与第四尺度特征图拼接后的卷积次数为五次；所述特征图C4下采样与特征图C3后的卷积次数为五次；所述特征图P4下采样与特征图C2拼接后的卷积次数为五次；所述特征图P3下采样与特征图C1拼接后的卷积次数为五次。
6.根据权利要求1或2或3或4或5所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述特征图C4、特征图P4特征图P3和特征图P2分别经一个轻量级混合注意力CBAM模块之后，再送入各自的检测头。
7.根据权利要求6所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述轻量级混合注意力CBAM模块由通道注意力模块和空间注意力模块串联构成，其中：
所述空间注意力模块以通道注意力模块输出的特征图作为输入，分别进行全局最大池化和全局平均池化，然后对池化操作后得到的两个特征图进行通道拼接，拼接后的特征图进行空洞卷积，然后利用sigmoid激活函数生成空间注意力，将生成的空间注意力与所述空间注意力模块的输入按对应元素相乘，得到经过空间注意力模块后的特征图。
8.根据权利要求7所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，所述空洞卷积的卷积核为3×3，空洞率设置为2。
9.根据权利要求1所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，对模型进行剪枝，以减少模型参数。
10.根据权利要求9所述基于YOLOv4改进算法的航空器透明件缺陷检测方法，其特征在于，对模型进行剪枝后，模型的主干网络CSPDarknet53共有5个大残差块，每个大残差块所包含的小残差单元个数由1、2、8、8、4变为1、2、5、5、4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210721927.9A CN115035082B (zh) | 2022-06-24 | 2022-06-24 | 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210721927.9A CN115035082B (zh) | 2022-06-24 | 2022-06-24 | 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115035082A CN115035082A (zh) | 2022-09-09 |
| CN115035082B true CN115035082B (zh) | 2024-03-29 |
Family
ID=83127577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210721927.9A Active CN115035082B (zh) | 2022-06-24 | 2022-06-24 | 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035082B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115564775B (zh) * | 2022-12-05 | 2023-04-14 | 北京矩视智能科技有限公司 | 基于轻量级注意力机制的缺陷检测方法、装置及存储介质 |
| CN116071309B (zh) * | 2022-12-27 | 2024-05-17 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 元器件的声扫缺陷检测方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696077A (zh) * | 2020-05-11 | 2020-09-22 | 余姚市浙江大学机器人研究中心 | 一种基于WaferDet网络的晶圆缺陷检测方法 |
| CN114092415A (zh) * | 2021-11-04 | 2022-02-25 | 浙江理工大学 | 一种大尺寸导光板缺陷视觉检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114283117A (zh) * | 2021-11-24 | 2022-04-05 | 广西大学 | 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
-
2022
- 2022-06-24 CN CN202210721927.9A patent/CN115035082B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696077A (zh) * | 2020-05-11 | 2020-09-22 | 余姚市浙江大学机器人研究中心 | 一种基于WaferDet网络的晶圆缺陷检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN114092415A (zh) * | 2021-11-04 | 2022-02-25 | 浙江理工大学 | 一种大尺寸导光板缺陷视觉检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114283117A (zh) * | 2021-11-24 | 2022-04-05 | 广西大学 | 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进型SSD算法的空瓶表面缺陷检测;吴华运;任德均;付磊;郜明;吕义昭;邱吕;;计算机与现代化;20200415(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115035082A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115035082B (zh) | 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法 | |
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN111951249A (zh) | 基于多任务学习网络的手机导光板缺陷可视化检测方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN114092389A (zh) | 一种基于小样本学习的玻璃面板表面缺陷检测方法 | |
| CN110929795B (zh) | 高速焊线机焊点快速识别与定位方法 | |
| CN109242830A (zh) | 一种基于深度学习的机器视觉技术检测方法 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN109948696A (zh) | 一种多语言场景字符识别方法及系统 | |
| CN112232263B (zh) | 一种基于深度学习的番茄识别方法 | |
| CN113252614B (zh) | 一种基于机器视觉的透明度检测方法 | |
| CN113807464A (zh) | 基于改进yolo v5的无人机航拍图像目标检测方法 | |
| CN113393438B (zh) | 一种基于卷积神经网络的树脂镜片缺陷检测方法 | |
| CN112614105B (zh) | 一种基于深度网络的3d点云焊点缺陷检测方法 | |
| CN112419237B (zh) | 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN112434723A (zh) | 一种基于注意力网络的日/夜间图像分类及物体检测方法 | |
| CN112700476A (zh) | 一种基于卷积神经网络的红外船视频跟踪方法 | |
| Chen et al. | Real-time defect detection of TFT-LCD displays using a lightweight network architecture | |
| Surinwarangkoon et al. | Traffic sign recognition system for roadside images in poor condition | |
| CN117593244A (zh) | 一种基于改进注意力机制的膜产品缺陷检测方法 | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN113537397B (zh) | 基于多尺度特征融合的目标检测与图像清晰联合学习方法 | |
| CN114898290A (zh) | 一种海上船舶实时检测方法及系统 | |
| CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |