CN114972181A - 基于多尺度检测的重型部件涂装表面缺陷检测方法 - Google Patents

基于多尺度检测的重型部件涂装表面缺陷检测方法 Download PDF

Info

Publication number
CN114972181A
CN114972181A CN202210394202.3A CN202210394202A CN114972181A CN 114972181 A CN114972181 A CN 114972181A CN 202210394202 A CN202210394202 A CN 202210394202A CN 114972181 A CN114972181 A CN 114972181A
Authority
CN
China
Prior art keywords
detection
convolution
network
coating surface
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210394202.3A
Other languages
English (en)
Inventor
石争浩
韩荣杰
刘奔
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202210394202.3A priority Critical patent/CN114972181A/zh
Publication of CN114972181A publication Critical patent/CN114972181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度检测的重型部件涂装表面缺陷检测方法，具体按照以下步骤实施：步骤1、将数据集进行划分，划分为训练集和测试集。对训练集图像进行预处理；步骤2、构建一个端到端的网络结构，即基于可变形卷积和注意力卷积神经网络的多尺度模型，包括主干网络、特征增强网络、检测头和特征解码模块组成；步骤3、利用步骤1中预处理后的图像对步骤2构建的网络进行训练；步骤4、将测试集中的数据输入到训练好的基于可变形卷积和注意力卷积神经网络的多尺度模型中，最终输出检测结果。解决了现有技术中存在检测精度低和微小型缺陷存在漏检的问题。

Description

基于多尺度检测的重型部件涂装表面缺陷检测方法
技术领域
本发明涉及图像处理应用中缺陷检测技术领域，特别是涉及一种基于多尺度检测的重型部件涂装表面缺陷检测方法。
背景技术
挖掘机作为是一种重型工程机械，不但应用于各大建筑工程中，也适用于紧迫的道路疏通和灾害救援中，如清理障碍物，疏通道路，使救援物资及时送到灾区。它的动臂和斗杆是由钢材制作而成的，长时间暴露在空气中容易发生腐蚀和氧化。喷漆之后，部件上形成一层保护膜，能够有效阻止空气氧化和腐蚀。但是由于加工、设计、环境和人为操作等因素，在喷漆过程中，会产生涂装表面的缺陷，如漆面的颗粒、流挂、橘皮等缺陷。这些缺陷的存在是涂装行业普遍存在的难题，其直接影响产品外观、质量、生产成本和产品合格率。目前国内大部分重型机械厂主要是依靠人工检测完成。在涂漆表面缺陷检测中人类视觉和触觉发挥重要作用，但是人为控制质量也有缺点。一方面，一个挖掘机的动臂或是斗杆部件的尺寸相比较部件尺寸较大，检查完需要花费很长时间，会导致高昂的人工成本。另一方面，对于精确度方面，工厂工人长期手持手电筒工作，这种单一的工作形式会改变一个人的判断能力，还会因为多种主观因素的影响(如情感、眼睛疲劳等)，会出现不可避免和质量控制不统一的人为错误。同时，在缺陷尺寸小于0.5mm且无较大光学形变时，人眼检测不到缺陷信息，不适用于大规模工业生产的要求，因此，自动化检查涂漆表面缺陷必不可少。
随着计算机视觉技术的发展，CV也将被广泛应用在产品缺陷检测中。因此，如何借助机器或是计算机等手段代替人工检测成为行业发展趋势。传统机械检测方法有涡流检测法、磁粉检测法、渗透检测法等，这些检测方法有些只是针对特征的检测材料，或是受限于检测人员的专业素质，并且有些检测方法会对检查员的身体受到伤害。基于机器视觉的检测方法因为缺陷的特征需要手工设计的算法得到，很难应对一些复杂的情况，如光照变化引起的图片分辨的变化，缺陷特征的几何变形等。基于深度学习的检测方法能够自动地从数据集中学习到缺陷地特征，不需要先验知识，有很强的特征学习能力。而现有基于深度学习的缺陷检测方法，虽然解决了对人工设计特征的依赖问题，但由于缺乏大量公开标注精确的数据集样本和网络设计，缺陷识别正确率低，仍然存在漏检，特别是小型缺陷。
发明内容
本发明的目的是提供一种基于多尺度检测的重型部件涂装表面缺陷检测方法，解决了现有检测方式存在的检测准确率低的问题。
本发明采用的技术方案为，基于多尺度检测的重型部件涂装表面缺陷检测方法，具体包括如下步骤：
步骤1，将图像数据集划分为训练集和测试集，并对训练集图像进行预处理；
步骤2，构建基于可变形卷积和注意力卷积神经网络的多尺度模型；
步骤3，利用步骤1中预处理后的图像对步骤2构建的模型进行训练；
步骤4，将步骤1测试集中的数据输入到步骤3训练好的模型中，最终输出检测结果。
本发明的特点还在于：
步骤1中，对训练集图像进行预处理的过程为：进行图像增强处理。
步骤2的具体过程为：
步骤2.1，构建主干网络，主干网络包括基础卷积层CBM、CSPN模块、CSP_DCN模块；
步骤2.2，基于步骤2.1构建的主干网络构建特征增强网络，得到特征向量；
步骤2.3，构建检测头网络yolo_head，将步骤2.2得到的特征向量输送到步骤2.3构建的三个不同尺寸的检测头网络yolo_head中，得到三个输出特征向量Out1、Out2、Out3；
步骤2.4对步骤2.3得到的三个输出特征向量Out1、Out2、Out3进行解码，输出图像的缺陷框、缺陷类别、置信度。
步骤3的具体过程为：利用损失函数对步骤2构建的网络进行训练，然后反向传播进行参数更新；总损失函数L为：
L＝LCIoU+Lconf+Lcls (1)；
其中，Lconf为置信度误差损失函数；Lcls为分类误差损失函数；LCIoU为位置损失函数。
步骤3中，置信度误差损失函数Lconf包括两部分，一部分为有目标时的置信度，另一个部分为没有目标时的置信度，如下公式(2)所示：
Figure BDA0003598291810000041
本发明的有益效果是：本发明基于多尺度检测的重型部件涂装表面缺陷检测方法，解决了现有技术中存在的准确度低的问题。本发明在特征提取网络中使用了可变形卷积模块，使主干网络更好的对几何变换进行建模学习，输出关联更多的目标区域；在特征加强模块中使用的不同感受野注意力模块RFA(Respective Filed Attention)，其中使用上下文推理模块CE(Context Explore)获得了在大范围内感知丰富上下文的能力；然后使用注意力机制，使网络更关注感兴趣的地方，抑制不重要的信息。这些方法实施起来比较简单，并且得到较好的检测效果。
附图说明
图1为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法的流程示意图；
图2为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中残差块resblok1的结构图；
图3为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中CSPN模块结构图；
图4为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中可变形卷积结构图；
图5为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中残差块resblok2的结构图；
图6为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中主干网络中CSP_DCN模块结构图；
图7为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中上下文推理CE(Context Explore)模块结构图；
图8为为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中不同感受野注意力模块RFA(Respective Filed Attention)模块结构图；
图9为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中卷积神经网络的整体结构图；
图10(a)～(d)为本发明基于多尺度检测的重型部件涂装表面缺陷检测方法中检测结果图。
具体实施方式
下面将结合本发明实例中的附图，对本发明的技术方案进行完整和系统的描述。
本发明基于多尺度检测的重型部件涂装表面缺陷检测方法，流程如图1所示，具体包括如下步骤：
步骤1，将图像数据集划分为训练集和测试集，并对训练集图像进行预处理；训练集与测试集的比例为9:1；对训练集图像进行预处理的过程为：
对输入的图像进行图像增强处理，首先将输入的1024×1024大小的图像改变为608×608大小的图像。每次读取四张图片，分别对四张图片进行翻转、缩放、色域变换，并按照左上角、右上角、左下角、右下角四个位置放置好，最后进行图片的组合和标注框组合。
步骤2，构建网络模型，即基于可变形卷积和注意力卷积神经网络的多尺度模型，先构建主干网络，主干网络中包含基础卷积层CBM，CSPN模块，CSP_DCN模块。主干网络的目的是提取缺陷目标特征信息，加强网络对缺陷几何形变的提取能力。然后构建特征增强网络，主要包括CBL、3层卷积块、5层卷积块、RFA模块。最后构建检测头和特征解码处理模块。
如图9所示，构建基于可变形卷积和注意力神经网络的多尺度模型，步骤2具体按照以下实施：
步骤2.1，构建主干网络的具体步骤如下：
步骤2.1.1，将卷积操作、批量归一化和激活函数Mish组合成一个基础的卷积层BasicConv，即为图9中的CBM。将预处理后的图像x经过一个卷积核为3×3，步长为1通道为32的基础卷积层，得到特征向量O1；
O1＝BasicConv(x) (1)；
如图3所示，构建主干网络中的CSPDarkNet(CSPN)模块，有基础卷积层、卷积残差块resblock1组成。具体按照以下实施。
步骤2.1.2，构建一个卷积残差块Resblock1，如图2所示，其中包含两个基础卷积层BasicConv和一个跳跃连接。其中第一个卷积层中卷积核为1×1，步长为1。第二个卷积层中卷积核为3×3，步长为1。公式如下：
xl+1＝xl+F(xl+Wl) (2)；
其中，xl+1为第l+1层卷积层的卷积结果，xl为第l层卷积层的卷积结果，wl为第l层卷积层的权重，F(xl+Wl)为残差部分。
步骤2.1.3，构建主干网络时实验代码的编写中把残差模块resblock1和部分跨阶段Cross Stage Partial封装到这个CSPN模块中，这样在后面网络编写的时候就直接调用CSPN模块。由图3所示，首先进行一个下采样，即对图像特征进行长和宽的压缩，经过一个卷积核为3×3，步长为2的基础卷积层BasicConv。然后经过两个卷积层BasicConv，卷积核大小为1×1，步长为1，进而将输出的特征向量传输到N个卷积残差块Resblock1中，再次经过一个卷积核为1×1，步长为1的BasicConv卷积层，最后将第二次卷积层输出的向量和其进行连接之后，输入到卷积核为1×1，步长为1的卷积层中。
步骤2.1.4，将步骤2.1.1中得到的特征向量O1经过残差卷积和部分跨阶段模块Cross Stage Partial组成的CSP1模块中，其中残差块有1个，得到特征向量O2：
O2＝CSP1(O1) (3)；
步骤2.1.5，将步骤2.1.4得到的特征向量O2经过残差卷积和部分跨阶段模块Cross Stage Partial组成的CSP2模块中，其中残差块有2个，得到特征向量O3：
O3＝CSP2(O2) (4)；
步骤2.1.6，将步骤2.1.5得到的特征向量O3经过残差卷积和部分跨阶段模块Cross Stage Partial组成的CSP8模块中，其中残差块有8个，得到特征向量O4：
O4＝CSP8(O3) (5)；
步骤2.1.7，将步骤2.1.6得到的特征向量O4经过残差卷积和部分跨阶段模块Cross Stage Partial组成的CSP8模块中，其中残差块有8个，得到特征向量O5
O5＝CSP8(O4) (6)；
如图6所示，构建主干网络中的CSP_DCN_4模块，有基础卷积层、卷积残差块resblock2组成。具体按照以下实施。
步骤2.1.8：构建可变形卷积层ConvOffset2D，如图4所示，(图中input features为输入特征向量，Conv代表卷积层，Offset fields表示卷积核偏移量，offsets表示偏移量，output features为输出特征向量2)首先将特征向量N×H×W输入到一个卷积核为3×3，步长为1通道数是输入通道数的两倍的卷积层中，获得偏移量2C×H×W。因为偏移量中有小数，所以通过双线性插值得到整数。最后通过偏移量和输入特征图得到变形之后的特征图。
步骤2.1.9，构建一个卷积残差块Resblock2，如图5所示，其中包含两个卷积层(一个是步骤2.1.1中的基础卷积层，另一个是可变形卷积层ConvOffset2D)和一个跳跃连接。其中第一个卷积层中卷积核为1×1，步长为1。第二个卷积层中卷积为可变形卷积，卷积核为3×3，步长为1；
步骤2.1.10，构建主干网络在实验代码的编写中把残差模块resblock2和部分跨阶段模块Cross Stage Partial封装到这个CSP_DCN4类中，这样在后面网络编写的时候就直接调用CSP_DCN类。由图6所示，首先进行一个下采样，即对图像特征进行长和宽的压缩，经过一个卷积核为3×3，步长为2的卷积层。然后经过两个卷积层，卷积核大小为1×1，步长为1，进而将输出的特征向量传输到N个卷积残差块Resblock中，再次经过一个卷积核为1×1，步长为1的卷积层，最后将第二次卷积层输出的向量和其进行连接之后，输入到卷积核为1×1，步长为1的卷积层中。将步骤2.1.7中得到的特征向量O5输入到残差卷积和部分跨阶段模块Cross Stage Partial组成的CSP_DCN4模块中，其中残差块有4个，得到特征向量O6。
O6＝CSP_DCN4(O5) (7)；
步骤2.2，构建特征增强网络。其目的是融合浅层特征丰富的细节信息和深层特征丰富的语义信息，使得用特征融合网络模块促进深浅层特征信息之间的相互融合，进一步凸显缺陷位置的特征信息。进而通过通道注意力和空间注意力使得网络自动聚焦在缺陷部位的特征信息，以优化浅层特征的几何细节信息和深层特征的全局信息，增强网络对缺陷部位的敏感度。
如图9所示，构建特征增强网络具体按照以下实施：
步骤2.2.1，将卷积操作、归一化和激活函数LeakReLU组合成一个基础的卷积层Conv2d，即为图9中的CBL模块。
步骤2.2.2，将卷积和上采样组合，得到Upsample模块，即为图9中的Up×2。其中卷积为Conv2d,卷积核大小为1×1.上采样使用(nearest)近邻插值的方式进行上采样。
步骤2.2.3，构建一个三层卷积块three_conv，即为图9中的CBL*3.其卷积块由2.2.1步骤中的基础卷积层Conv2d组成。其中第一层卷积为卷积核大小是1×1，步长为1；第二层卷积为卷积核大小是3×3，步长为1；第三层卷积为卷积核大小是1×1，步长为1。
步骤2.2.4：构建一个五层卷积块five_conv,即为图9中的CBL*5.其卷积块由2.2.1步骤中的基础卷积层Conv2d组成。其中第一层卷积为卷积核大小是1×1，步长为1；第二层卷积为卷积核大小是3×3，步长为1；第三层卷积为卷积核大小是1×1，步长为1；第四层卷积为卷积核大小是3×3，步长为1；第四层卷积为卷积核大小是3×3，步长为1；第五层卷积为卷积核大小是1×1，步长为1。
如图8所示，构建不同感受野注意力模块RFA(respective filed attention)具体按照一下实施：
步骤2.2.5，将卷积操作、归一化和激活函数ReLU组合成一个基础的卷积层Baic_conv,其中上下文探索CE(context explorez)模块，分为4个分支，如图7所示。四个分支包括用于通道缩减的1×1卷积，用于特征提取的1×ki和ki×1，以及用于上下文感知的卷积核为3×3且扩张率为1，3，5，7的扩张卷积组成，且每一个卷积后都有一个BN层和一个ReLU非线性运算。第i,i∈{1,3,5,7}个分支的输出将被送入到第i+1个分支,其中的卷积为Baic_conv基础卷积层。得到的四个特征用于下一阶段的输入。将CE模块中得到的4个特征，输入到空间注意力模块中。空间注意力是基于通道的全局最大池化和全局平均池化，得到两个H×W×1的特征，然后把这两个特征图进行通道的拼接操作。然后经过一个7×7的卷积，改变通道，通道数变为1。再经过激活函数生成空间注意力图。最后将空间注意力图和该模块的输入相乘，得到通道注意力的输入特征向量。通道注意力首先将空间注意力的特征图分别经过全局最大池化和全局平均池化，得到两个1×1×C，然后再分别送入一个两层的神经网络MLP，第一层神经元的个数为C/r,激活函数为ReLU,第二层的神经元个数为C，这两层的神经元个数是共享的。最后将输出的特征图进行基于element-wise的加和操作，再经过激活函数，生成通道注意力图，进而将输入特征和通道注意力进行element-wise乘法操作，得到通道注意力模块的输出特征图。最后将4个特征图进行拼接操作，得到RFA模块的输出特征向量。
步骤2.2.6，将步骤2.1.10得到的特征向量O6输入到三层卷积块中，通道数分别是512，1024，512得到特征向量为P6
P6＝three_conv0(O6) (8)；
步骤2.2.7，将步骤2.1.10得到的特征向量O6输入RFA模块中，其中输入的特征向量的通道数为1024，得到的特征向量为p6_1：
P6_1＝RFA0(O6) (9)；
步骤2.2.8，将步骤2.2.7得到的特征向量p6_1输入到五次卷积块中，输入的通道数为1024，输出的通道数为512，得到的特征向量为P6_2：
P6_2＝make_five_conv0(P6_1) (10)；
步骤2.2.9，将步骤2.2.6中得到的特征向量P6输入到上采样模块中，其中输入向量的通道数为512，输出的通道数为256，上采样率为2，输出的特征向量为P6_upsampling：
P6_upsampling＝Upsampling0(P6) (11)；
步骤2.2.10，将步骤2.1.7中得到的O5使用卷积核大小为1×1，步长为1通道数为256的基础卷积层，得到特征向量P5：
P5＝conv2d(O5) (12)；
步骤2.2.11，将输出特征P5和P6_upsampling进行通道连接，其中一个分支使用RFA模块，通道数为512，得到的特征向量为P5_1；另一个分支输入到三次卷积块中，输入的通道数为512，输出的通道数为256，得到的特征向量为P5_2；
P5_1＝RFA1(concat(P5，P6_upsampling)) (13)；
P5_2＝make_three_conv1(concat(P5，P6_upsampling)) (14)；
步骤2.2.12，将输出特征P5_1输入到五次卷积块中，其输入的通道数为512，输出为256，得到的特征向量为P5_3：
P5_3＝make_five_conv1(P5_1) (15)；
步骤2.2.13，对特征向量P5_2进行上采样，输入的通道数为256，输出的通道数为128，上采样率为2，得到的特征向量为P5__upsampling：
P5_upsampling＝Upsampling2(P5_2) (16)；
步骤2.2.14，将步骤2.1.6中得到的特征向量O4使用卷积核大小为1×1，步长为1通道数为128的卷积层，得到特征向量P4：
P4＝conv2d(O4) (17)；
步骤2.2.15，将输出特征P4和P5_upsampling进行通道连接，然后使用RFA模块，通道数为256，得到特征向量P4_1：
P4_1＝RFA2(concat(P4，P5_upsampling)) (18)；
步骤2.2.16，将输出特征P4_1输入到五次卷积块中，其输入的通道数为256，输出为128，得到的特征向量为P4_2：
P4_2＝make_five_conv1(P4_1) (19)；
步骤2.3.1，构建检测头网络yolo_head，有两个卷积层组成。第一层卷积的卷积核大小为3×3，步长为1。第二层卷积的卷积核大小为1×1，步长为1。
步骤2.3.2，将步骤2.2.8中得到的特征向量P6_2、步骤2.2.12中得到的特征向量P5_3，步骤2.2.16中得到的特征向量P4_2输送到3个不同尺寸的检测头中。将P6_2输入到yolo_head1中，通道数分别为1024，27，得到的输出特征为Out1；将P5_3输入到yolo_head2中，通道数分别为512，27，得到特征向量Out2；将P4_2输入到yolo_head3中，通道数为256，27，得到特征向量Out3。
Out1＝yolo_head1(P6_2) (20)；
Out2＝yolo_head2(P5_3) (21)；
Out3＝yolo_head3(P4_2) (22)；
式中，Out1的特征向量大小为19×19×27；Out2的特征向量大小为38×38×27；Out3的特征向量大小为76×76×27，其中27表示3×(4+5)(4种缺陷类别x,y,w,h,confidence)，现在得到的x,y是相当于网格的偏移量；
步骤2.4，将步骤2.3中得到的特征向量Out1,Out2,Out3，即为图9中的特征大小为19×19×27，38×38×27，76×76×27的特征张量进行解码处理，具体处理过程如下：
步骤2.4.1，利用k-means聚类得到606×608图片大小下，得到9个先验框，分别是(10,10),(13,14),(18,18),(24,24),(32,36),(32,114),(57,50),(128,100),(365,160)，顺序为w×h，w为先验框的宽，h为先验框的高。前三个分配给Out3,中间三个分配给Out2，最后分配给Out1.
根据先验框和特征向量Out1、Out2、Out3得到预测框位置和大小(x,y,w,h)。
bx＝σ(tx)+cx (23)；
by＝σ(ty)+cy (24)；
Figure BDA0003598291810000141
Figure BDA0003598291810000142
上式中，tx,ty,tw,th表示检测头网络的输出值中的x,y,w,h；cx，cy表示网格左上角相对图片左上角的距离。pw，ph表示先验框的宽和高。bx，by,bw,bh表示预测框的实际位置和大小。
步骤2.4.2，置信度解码：置信度在输出的9维中占固定一位，由sigmoid函数得到，解码之后的数值区间在[0,1]之间。
步骤2.4.3，缺陷类别解码：数据集中共有4种缺陷类别，类别数在输出维度中占4位，每一位代表一个类别的置信度。使用sigmoid激活函数解码处理，解码之后的数值区间在[0,1]之间。
步骤2.4.4，三个不同尺度的特征图out1、out2、out3一共可以解码出22743个框及相应的类别、置信度。首先根据置信度阈值0.5，筛选掉低于阈值的框，再经过非极大值抑制法后，输出缺陷框、缺陷类别、置信度。
步骤3，采用步骤1预处理好的训练集中的数据对基于可变形卷积和注意力卷积神经网络的多尺度模型进行训练，得到基于可变形卷积和注意力卷积神经网络的多尺度模型的最有权重。利用损失函数对网络进行训练，然后反向传播进行参数更新，通过100轮的训练，这里的1轮指的是训练数据集通过卷积神经网络一次并返回当次训练结果。总损失函数为：
L＝LCIoU+Lconf+Lcls (27)；
置信度误差损失函数Lconf：置信度误差使用交叉熵损失表示，损失函数包括两部分，一个是有目标时的置信度，另一个是没有目标时的置信度。
Figure BDA0003598291810000151
式(28)中第一项为存在缺陷目标的bounding box的置信度误差，第二项为不存在缺陷目标的bounding box的置信度误差。
K×K表示网格大小；
M表示每个网格产生M个候选框anchor box,每个候选框经过网络得到相应的bounding box。
Figure BDA0003598291810000161
为控制函数，第i个网格的第j个候选框是否含有这个缺陷，即该候选框中是否含有缺陷目标。如果含有目标缺陷则
Figure BDA0003598291810000162
为1，否则为0
Figure BDA0003598291810000163
为控制函数，表示第i个网格中的第j个候选框不负责该缺陷目标，如果不包含目标缺陷，则
Figure BDA0003598291810000164
为1，否则为0
Figure BDA0003598291810000165
为参数置信度，表示真实值，该值为网格中的bounding box有没有包含某个缺陷目标决定，如果包含，那么
Figure BDA0003598291810000166
为1，否则为0
Ci表示预测框bounding box是某类缺陷的置信度值。当该格点不含有物体时，该置信度的标签为0，若含有物体时，该置信度的标签为预测框与真实物体框的交并比数值，
分类误差损失函数Lcls：使用交叉熵损失函数，是优化类别预测的目标函数。当有缺陷目标框的中心落在网格i中时，即网格中包含有缺陷目标的中心。那么该bounding box就预测该缺陷目标的类别。
Figure BDA0003598291810000167
式中，P表示缺陷目标的概率，
Figure BDA0003598291810000168
表示真实概率，
Figure BDA0003598291810000169
表示预测概率。
位置损失函数LCIoU，使用CIoU误差函数。优化目标框即bounding box的位置，即优化(x,y,w,h)的值。其中(x,y)是bounding box的中心点坐标，w,h指bounding box的宽和高。
Figure BDA00035982918100001610
式中，IoU表示交并比，即预测框和真实框之间相交部分与相并部分之比；b，bgt分别表示了预测框和真实框的中心点，且ρ代表的是这两个中心点之间的欧式距离；c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；α为权重函数，ν是度量长宽比的相似性，定义为
Figure BDA0003598291810000171
wgt，hgt表示真实框的宽和高；w，h表示预测框的宽和高。
步骤4，将待处理的有缺陷的图像放入到训练好的模型中，最终得到缺陷类型和缺陷位置。结果如图10所示：(a)颗粒检测结果；(b)是凹坑检测结果；(c)是划痕检测结果；(d)是流挂检测结果。

Claims (5)

1.基于多尺度检测的重型部件涂装表面缺陷检测方法，其特征在于：具体包括如下步骤：
步骤1，将图像数据集划分为训练集和测试集，并对训练集图像进行预处理；
步骤2，构建基于可变形卷积和注意力卷积神经网络的多尺度模型；
步骤3，利用步骤1中预处理后的图像对步骤2构建的模型进行训练；
步骤4，将步骤1测试集中的数据输入到步骤3训练好的模型中，最终输出检测结果。
2.根据权利要求1所述的基于多尺度检测的重型部件涂装表面缺陷检测方法，其特征在于：所述步骤1中，对训练集图像进行预处理的过程为：进行图像增强处理。
3.根据权利要求2所述的基于多尺度检测的重型部件涂装表面缺陷检测方法，其特征在于：所述步骤2的具体过程为：
步骤2.1，构建主干网络，主干网络包括基础卷积层CBM、CSPN模块、CSP_DCN模块；
步骤2.2，基于步骤2.1构建的主干网络构建特征增强网络，得到特征向量；
步骤2.3，构建检测头网络yolo_head，将步骤2.2得到的特征向量输送到步骤2.3构建的三个不同尺寸的检测头网络yolo_head中，得到三个输出特征向量Out1、Out2、Out3；
步骤2.4对步骤2.3得到的三个输出特征向量Out1、Out2、Out3进行解码，输出图像的缺陷框、缺陷类别、置信度。
4.根据权利要求3所述的基于多尺度检测的重型部件涂装表面缺陷检测方法，其特征在于：所述步骤3的具体过程为：利用损失函数对步骤2构建的网络进行训练，然后反向传播进行参数更新；总损失函数L为：
L＝LCIoU+Lconf+Lcls (1)；
其中，Lconf为置信度误差损失函数；Lcls为分类误差损失函数；LCIoU为位置损失函数。
5.根据权利要求4所述的基于多尺度检测的重型部件涂装表面缺陷检测方法，其特征在于：所述步骤3中，置信度误差损失函数Lconf包括两部分，一部分为有目标时的置信度，另一个部分为没有目标时的置信度，如下公式(2)所示：
Figure FDA0003598291800000021
CN202210394202.3A 2022-04-15 2022-04-15 基于多尺度检测的重型部件涂装表面缺陷检测方法 Pending CN114972181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210394202.3A CN114972181A (zh) 2022-04-15 2022-04-15 基于多尺度检测的重型部件涂装表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210394202.3A CN114972181A (zh) 2022-04-15 2022-04-15 基于多尺度检测的重型部件涂装表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114972181A true CN114972181A (zh) 2022-08-30

Family

ID=82978251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210394202.3A Pending CN114972181A (zh) 2022-04-15 2022-04-15 基于多尺度检测的重型部件涂装表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114972181A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375677A (zh) * 2022-10-24 2022-11-22 山东省计算中心（国家超级计算济南中心） 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统
CN115619726A (zh) * 2022-09-29 2023-01-17 西安理工大学 汽车车身漆面缺陷检测的轻量化缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619726A (zh) * 2022-09-29 2023-01-17 西安理工大学 汽车车身漆面缺陷检测的轻量化缺陷检测方法
CN115375677A (zh) * 2022-10-24 2022-11-22 山东省计算中心（国家超级计算济南中心） 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN112085735B (zh) 一种基于自适应锚框的铝材质图像缺陷检测方法
CN109829893B (zh) 一种基于注意力机制的缺陷目标检测方法
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN105678332B (zh) 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统
CN114972181A (zh) 基于多尺度检测的重型部件涂装表面缺陷检测方法
CN114445366A (zh) 基于自注意力网络的长输管道射线影像缺陷智能识别方法
CN111553950B (zh) 一种钢卷对中判断方法、系统、介质及电子终端
CN109409327B (zh) 基于端到端深度神经网络的rru模块物件位姿检测方法
CN107545263A (zh) 一种物体检测方法及装置
CN114022586B (zh) 一种基于对抗生成网络的缺陷图像生成方法
CN110210497B (zh) 一种鲁棒实时焊缝特征检测方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN114399719B (zh) 一种变电站火灾视频监测方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及系统
CN112766136A (zh) 一种基于深度学习的空间车位检测方法
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN113538331A (zh) 金属表面损伤目标检测识别方法、装置、设备及存储介质
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination