CN116704267A - 一种基于改进yolox算法的深度学习3d打印缺陷检测方法 - Google Patents

一种基于改进yolox算法的深度学习3d打印缺陷检测方法 Download PDF

Info

Publication number
CN116704267A
CN116704267A CN202310959756.8A CN202310959756A CN116704267A CN 116704267 A CN116704267 A CN 116704267A CN 202310959756 A CN202310959756 A CN 202310959756A CN 116704267 A CN116704267 A CN 116704267A
Authority
CN
China
Prior art keywords
module
feature
feature map
cbl
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310959756.8A
Other languages
English (en)
Other versions
CN116704267B (zh
Inventor
简舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Feizheng Nengda Technology Co ltd
Original Assignee
Chengdu Feizheng Nengda Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Feizheng Nengda Technology Co ltd filed Critical Chengdu Feizheng Nengda Technology Co ltd
Priority to CN202310959756.8A priority Critical patent/CN116704267B/zh
Publication of CN116704267A publication Critical patent/CN116704267A/zh
Application granted granted Critical
Publication of CN116704267B publication Critical patent/CN116704267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，涉及3D打印缺陷检测技术领域。该方法包括获取3D打印机工作状态图像；对3D打印机工作状态图像进行预处理；采用改进后的YOLOX实时目标检测模型对预处理后的3D打印机工作状态图像进行检测，得到包含分类和定位信息的特征图；对包含分类和定位信息的特征图进行特征转换，得到匹配特征点的特征图；采用深度超限学习机对匹配特征点的特征图进行缺陷分类，并根据缺陷分类结果对3D打印机工作状态进行控制。本发明提高了在3D打印过程中缺陷检测的精度和实时性，并且实现了对3D打印控制系统的反馈控制。

Description

一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法
技术领域
本发明涉及3D打印缺陷检测技术领域，具体涉及一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法。
背景技术
在闭环3D打印中，各种传感器通过与3D打印平台进行集成，能够观察材料和打印结构的状态。传感数据被反馈到计算机视觉和机器学习算法等计算工具中，进而识别打印缺陷，并向材料进给和运动控制系统提供反馈，以纠正打印中出现的错误。
You Only Look Once，是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。YOLO 中的对象检测是作为回归问题完成的，并提供检测到的图像的类别概率。YOLO算法采用卷积神经网络(CNN)实时检测物体。顾名思义，该算法只需要通过神经网络进行一次前向传播来检测物体。这意味着整个图像中的预测是在单个算法运行中完成的。
超限学习机(Extreme Learning Machine,ELM)是近年来发展十分迅速的一种机器学习方法，已在自然图像检索与分类、生物信息识别、语音识别、遥感影像解译、工业故障识别和预测、医疗影像疾病诊断等工业领域获得有效性验证与实际应用。
就具体技术层面而言，ELM可被视为一种新型人工神经网络(Artificial NeuralNetwork,ANN)，旨在从结构、功能等方面模拟智能的生物学习系统，形成计算模型，实现对样本数据一般规律的快速学习，并将该规律应用于未观测数据的准确分析与处理任务。
发明内容
针对传统基于图像处理的3D打印缺陷检测识别特征局限、检测目标单一，灵活度较差等问题，本发明提供了一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，包括以下步骤：
S1、获取3D打印机工作状态图像；
S2、对3D打印机工作状态图像进行预处理；
S3、采用改进后的YOLOX实时目标检测模型对预处理后的3D打印机工作状态图像进行检测，得到包含分类和定位信息的特征图；
S4、对包含分类和定位信息的特征图进行特征转换，得到匹配特征点的特征图；
S5、采用深度超限学习机对匹配特征点的特征图进行缺陷分类，并根据缺陷分类结果对3D打印机工作状态进行控制。
进一步地，步骤S3中改进后的YOLOX实时目标检测模型具体包括：
骨干特征提取网络、加强特征提取网络和输出预测网络；
所述骨干特征提取网络用于对预处理后的3D打印机工作状态图像进行降采样；
所述加强特征提取网络用于对骨干特征提取网络提取的特征图进行上采样和下采样以提取特征图上下文的特征信息，并对提取的特征图上下文的特征信息进行整合；
所述输出预测网络用于对加强特征提取网络提取的加强特征图通过解耦合头网络进行解耦，得到预测结果。
进一步地，所述骨干特征提取网络具体包括：
依次连接的Focus模块、第一CBL模块、第一CSP1模块、第二CBL模块、第二CSP1模块、第三CBL模块、第三CSP1模块、第四CBL模块、第四CSP1模块、第五CBL模块、第五CSP1模块和SPP模块；
所述Focus模块对预处理后的3D打印机工作状态图像进行切分操作，并将多个切片进行通道融合，最后通过卷积标准化与激活函数进行激活处理；
所述第一CBL模块、第二CBL模块、第三CBL模块、第四CBL模块和第五CBL模块均对输入特征图进行卷积标准化与激活函数的操作；
所述第一CSP1模块、第二CSP1模块、第三CSP1模块、第四CSP1模块和第五CSP1模块均采用双通道对输入特征图分别进行卷积标准化与激活函数的操作以及卷积标准化与激活函数的操作和残差处理，并对双通道的输出特征图进行特征融合，最后再进行卷积标准化与激活函数的操作；
所述第一CSP1模块、第二CSP1模块、第三CSP1模块、第四CSP1模块和第五CSP1模块均采用相同结构，具体包括：
第六CBL模块、多个串联的残差模块、第七CBL模块和第八CBL模块；
所述第六CBL模块与多个串联的残差模块组成第一通道，对输入的特征图进行卷积标准化与激活函数的操作，然后进行残差处理；
所述第七CBL模块组成第二通道，对输入的特征图进行卷积标准化与激活函数的操作后与第一通道输出的特征图进行融合；
所述第八CBL模块对融合得到的特征图进行卷积标准化与激活函数的操作，得到包含语义信息的特征图；
所述SPP模块通过不同池化核大小对输入的特征图进行最大池化后与包含输入的特征图短接边融合，并进行卷积标准化与激活函数的操作；
所述SPP模块具体包括：
多个并联的包含不同池化核大小的最大池化层、将输入最大池化层的特征图与最大池化层输出的特征图进行连接的跳跃连接、和第十一CBL模块；
多个并联的包含不同池化核大小的最大池化层分别对输入的特征图进行最大池化后与包含输入的特征图短接边融合；
所述第十一CBL模块对融合的特征图进行卷积标准化与激活函数的操作。
进一步地，多个串联的残差模块均采用相同结构，具体包括：
第九CBL模块和第十CBL模块；
所述第九CBL模块对输入的特征图进行卷积标准化与激活函数的操作；
所述第十CBL模块对第九CBL模块输出的特征图进行卷积标准化与激活函数的操作，再与输入的特征图进行拼接。
进一步地，所述加强特征提取网络具体包括：
添加自适应注意力模块和特征增强模块的自适应特征金字塔、以及路径聚合网络；
添加自适应注意力模块和特征增强模块的自适应特征金字塔对骨干特征提取网络提取的特征图通过引入自适应注意力机制的自适应特征金字塔进行上采样，并在上采样过程中采用特征增强模块进行特征增强；
所述路径聚合网络对自适应特征金字塔提取的增强特征图进行下采样。
进一步地，添加自适应注意力模块和特征增强模块的自适应特征金字塔具体包括：
第一CSP2模块、第十二CBL模块、自适应注意力模块、第一特征增强模块、第二CSP2模块、第十三CBL模块、第二特征增强模块；
第一CSP2模块、第十二CBL模块、自适应注意力模块、第一特征增强模块依次连接构成输入网络，对骨干特征提取网络提取的特征图提取第一特征图；
第一特征图经过上采样操作与骨干特征提取网络中第四CSP1模块输出的特征图进行融合，得到第二特征图；
第二特征图依次经过第二CSP2模块和第十三CBL模块进行特征提取后，再经过第二特征增强模块进行特征增强后得到第三特征图；
第三特征图经过上采样操作与骨干特征提取网络中第二CSP1模块输出的特征图进行融合，得到第四特征图。
进一步地，路径聚合网络具体包括：
第三CSP2模块、第十四CBL模块、第四CSP2模块、第十五CBL模块、第三特征增强模块和第五CSP2模块；
第四特征图经过第三CSP2模块进行特征提取，得到第五特征图；
第五特征图经过第十四CBL模块进行特征提取后，进行下采样操作，并与第三特征图进行融合，得到第六特征图；
第六特征图经过第四CSP2模块进行特征提取，得到第七特征图；
第七特征图经过第十五CBL模块进行特征提取后，进行下采样操作，并与第一特征图进行融合，得到第八特征图；
第五特征图经过第三特征增强模块进行特征增强后得到第九特征图；
第八特征图经过第五CSP2模块进行特征提取，得到第十特征图；
第七特征图、第九特征图和第十特征图作为路径聚合网络的输出特征图。
进一步地，自适应注意力模块具体包括：
自适应池化层、第一卷积层、多个平行的双线性插值通道、第二卷积层、第一激活层、第三卷积层、第二激活层；
自适应池化层对输入的特征图提取不同尺度的上下文特征；
每个上下文特征经过第一卷积层进行通道调整后分别经过对应的双线性插值通道进行上采样到相同尺度，然后对各个通道的特征图采用空间注意机制进行通道融合；
融合后的特征图依次经过第二卷积层、第一激活层、第三卷积层、第二激活层，为每个特征图生成相应的空间权值，并得到权重图；
权重图与融合后的特征图进行Hadamard乘积操作后得到新的特征图，并将新的特征图分离得到多个上下文特征并添加到输入特征图M5中，将上下文特征聚合到自适应池化层M6中。
进一步地，第一特征增强模块、第二特征增强模块和第三特征增强模块均采用相同结构，具体包括：
多个平行分支卷积层和分支池化层；每个分支卷积层均包括扩张卷积层、批归一化层和第三激活层；其中各个扩张卷积层具有相同的内核大小和不同的扩张速率；
各个分支卷积层在输入特征图的不同感受野中进行特征提取；
分支池化层对各个分支提取的特征图进行融合。
进一步地，步骤S3中改进后的YOLOX实时目标检测模型采用置信度损失、分类损失和目标框损失以及L1范数损失组成损失函数，具体为：
；
其中，为目标框损失的权重系数，/>为置信度损失函数，/>为分类损失函数，/>为目标框损失函数，/>为L1损失函数；
置信度损失与分类损失采用包含Sigmoid函数的交叉熵损失函数，具体为：
；
其中，N为类别数，y i 为样本i的标签，x i 为样本i预测为正类的概率，为Sigmoid函数；
目标框损失采用广义IoU损失函数，具体为：
；
其中，，A为区域A，B为区域B，/>为区域落入GT框的区域，C为A、B区域相交位置；
L1损失函数具体为：
；
其中，n为类别数，为真实值，/>为预测值。
本发明具有以下有益效果：
本发明通过改进基于深度学习技术的YOLOX目标探测器和采用深度超限学习机模型作为分类器，提高了在3D打印过程中缺陷检测的精度和实时性，并且实现了对3D打印控制系统的反馈控制，可实时调节3D打印的速度、进料、温度等参数，实现了基于人工智能的闭环3D打印控制，做到了无人监管的目的。
附图说明
图1为本发明中一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法的流程示意图；
图2为本发明中一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法的框架示意图；
图3为本发明中深度超限学习机决策原理示意图；
图4为本发明中改进后的YOLOX实时目标检测模型的结构示意图；
图5为本发明中卷积标准化与激活函数结构示意图；
图6为本发明中Focus模块结构示意图；
图7为本发明中SPP模块结构示意图；
图8为本发明中CSP1模块结构示意图；
图9为本发明中残差组件结构示意图；
图10为本发明中CSP2模块结构示意图；
图11为本发明中骨干特征提取网络结构示意图；
图12为本发明中自适应注意力模块的结构示意图；
图13为本发明中特征增强模块的结构示意图；
图14为本发明中输出预测网络的结构示意图；
图15为本发明中深度超限学习机的模型结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1至图15所示，本发明实施例提供了一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，包括以下步骤S1至S5：
S1、获取3D打印机工作状态图像；
在本发明的一个可选实施例中，本实施例通过安装在3D打印机上的网络摄像头采集3D打印机工作状态图像。
S2、对3D打印机工作状态图像进行预处理；
在本发明的一个可选实施例中，本实施例基于OPENCV进行图像预处理，其中包括归一化、图像裁剪和高斯滤波，经过OPENCV预处理后的3D打印机工作状态图像缩放至640*640像素。
S3、采用改进后的YOLOX实时目标检测模型对预处理后的3D打印机工作状态图像进行检测，得到包含分类和定位信息的特征图；
在本发明的一个可选实施例中，如图4所示，本实施例的步骤S3中改进后的YOLOX实时目标检测模型具体包括：
骨干特征提取网络、加强特征提取网络和输出预测网络；
所述骨干特征提取网络用于对预处理后的3D打印机工作状态图像进行降采样；
所述加强特征提取网络用于对骨干特征提取网络提取的特征图进行上采样和下采样以提取特征图上下文的特征信息，并对提取的特征图上下文的特征信息进行整合；
所述输出预测网络用于对加强特征提取网络提取的加强特征图通过解耦合头网络进行解耦，得到预测结果。
在本实施例中，如图11所示，骨干特征提取网络主要由Darknet-53网络构成，输入图像首先经过Focus结构进行切片操作，然后经过一系列的CBL与CSP1模块后输出。
本实施例的骨干特征提取网络具体包括：
依次连接的Focus模块、第一CBL模块、第一CSP1模块、第二CBL模块、第二CSP1模块、第三CBL模块、第三CSP1模块、第四CBL模块、第四CSP1模块、第五CBL模块、第五CSP1模块和SPP模块；
所述Focus模块对预处理后的3D打印机工作状态图像进行切分操作，并将多个切片进行通道融合，最后通过卷积标准化与激活函数进行激活处理；
所述第一CBL模块、第二CBL模块、第三CBL模块、第四CBL模块和第五CBL模块均对输入特征图进行卷积标准化与激活函数的操作；
所述第一CSP1模块、第二CSP1模块、第三CSP1模块、第四CSP1模块和第五CSP1模块均采用双通道对输入特征图分别进行卷积标准化与激活函数的操作以及卷积标准化与激活函数的操作和残差处理，并对双通道的输出特征图进行特征融合，最后再进行卷积标准化与激活函数的操作；
所述第一CSP1模块、第二CSP1模块、第三CSP1模块、第四CSP1模块和第五CSP1模块均采用相同结构，具体包括：
第六CBL模块、多个串联的残差模块、第七CBL模块和第八CBL模块；
所述第六CBL模块与多个串联的残差模块组成第一通道，对输入的特征图进行卷积标准化与激活函数的操作，然后进行残差处理；
所述第七CBL模块组成第二通道，对输入的特征图进行卷积标准化与激活函数的操作后与第一通道输出的特征图进行融合；
所述第八CBL模块对融合得到的特征图进行卷积标准化与激活函数的操作，得到包含语义信息的特征图；
所述SPP模块通过不同池化核大小对输入的特征图进行最大池化后与包含输入的特征图短接边融合，并进行卷积标准化与激活函数的操作；
所述SPP模块具体包括：
多个并联的包含不同池化核大小的最大池化层、将输入最大池化层的特征图与最大池化层输出的特征图进行连接的跳跃连接、和第十一CBL模块；
多个并联的包含不同池化核大小的最大池化层分别对输入的特征图进行最大池化后与包含输入的特征图短接边融合；
所述第十一CBL模块对融合的特征图进行卷积标准化与激活函数的操作。
其中多个串联的残差模块均采用相同结构，具体包括：
第九CBL模块和第十CBL模块；
所述第九CBL模块对输入的特征图进行卷积标准化与激活函数的操作；
所述第十CBL模块对第九CBL模块输出的特征图进行卷积标准化与激活函数的操作，再与输入的特征图进行拼接。
具体而言，如图6所示，Focus模块主要用于对输入图像进行切片操作，实现无损下采样。Focus模块首先将输入图像切片为多个Slice切片，然后进行通道融合(Concat)，最后经过CBL处理后输出。
如图5所示，卷积标准化与激活函数(CBL)由卷积层(Conv)、批量归一化(BN)、激活函数(Leaky ReLU)三部分组成。
如图8所示，CSP1模块通过两个通道相连，其中一个通道是对输入特征层进行卷积标准化与激活函数(CBL)的操作，另一个通道通过CBL处理后再经过n个残差组件(Resunit)进行处理，最后两个通道进行融合(Concat)并进行CBL处理，有效的提升模型的语义信息。如图9所示，残差组件分为两个支路，其中一路经过两个CBL处理后和另一路未经处理支路合并后输出。
如图7所示，SPP模块主要通过不同池化核大小对输入的特征层进行最大池化(Maxpool)后与包含输入的特征层短接边融合(Concat)并进行CBL处理后作为该模块的输出。
本实施例的加强特征提取网络具体包括：
添加自适应注意力模块和特征增强模块的自适应特征金字塔、以及路径聚合网络；
添加自适应注意力模块和特征增强模块的自适应特征金字塔对骨干特征提取网络提取的特征图通过引入自适应注意力机制的自适应特征金字塔进行上采样，并在上采样过程中采用特征增强模块进行特征增强；
所述路径聚合网络对自适应特征金字塔提取的增强特征图进行下采样。
其中添加自适应注意力模块和特征增强模块的自适应特征金字塔具体包括：
第一CSP2模块、第十二CBL模块、自适应注意力模块、第一特征增强模块、第二CSP2模块、第十三CBL模块、第二特征增强模块；
第一CSP2模块、第十二CBL模块、自适应注意力模块、第一特征增强模块依次连接构成输入网络，对骨干特征提取网络提取的特征图提取第一特征图；
第一特征图经过上采样操作与骨干特征提取网络中第四CSP1模块输出的特征图进行融合，得到第二特征图；
第二特征图依次经过第二CSP2模块和第十三CBL模块进行特征提取后，再经过第二特征增强模块进行特征增强后得到第三特征图；
第三特征图经过上采样操作与骨干特征提取网络中第二CSP1模块输出的特征图进行融合，得到第四特征图。
其中路径聚合网络具体包括：
第三CSP2模块、第十四CBL模块、第四CSP2模块、第十五CBL模块、第三特征增强模块和第五CSP2模块；
第四特征图经过第三CSP2模块进行特征提取，得到第五特征图；
第五特征图经过第十四CBL模块进行特征提取后，进行下采样操作，并与第三特征图进行融合，得到第六特征图；
第六特征图经过第四CSP2模块进行特征提取，得到第七特征图；
第七特征图经过第十五CBL模块进行特征提取后，进行下采样操作，并与第一特征图进行融合，得到第八特征图；
第五特征图经过第三特征增强模块进行特征增强后得到第九特征图；
第八特征图经过第五CSP2模块进行特征提取，得到第十特征图；
第七特征图、第九特征图和第十特征图作为路径聚合网络的输出特征图。
其中自适应注意力模块具体包括：
自适应池化层、第一卷积层、多个平行的双线性插值通道、第二卷积层、第一激活层、第三卷积层、第二激活层；
自适应池化层对输入的特征图提取不同尺度的上下文特征；
每个上下文特征经过第一卷积层进行通道调整后分别经过对应的双线性插值通道进行下采样到相同尺度，然后对各个通道的特征图采用空间注意机制进行通道融合；
融合后的特征图依次经过第二卷积层、第一激活层、第三卷积层、第二激活层，为每个特征图生成相应的空间权值，并得到权重图；
权重图与融合后的特征图进行Hadamard（哈达玛）乘积操作后得到新的特征图，并将新的特征图分离得到多个上下文特征并添加到输入特征图中，将上下文特征聚合到自适应池化层中。
其中第一特征增强模块、第二特征增强模块和第三特征增强模块均采用相同结构，具体包括：
多个平行分支卷积层和分支池化层；每个分支卷积层均包括扩张卷积层、批归一化层和第三激活层；其中各个扩张卷积层具有相同的内核大小和不同的扩张速率；
各个分支卷积层在输入特征图的不同感受野中进行特征提取；
分支池化层对各个分支提取的特征图进行融合。
具体而言，加强特征提取网络通过CSP2模块与上采样(upsample)组成的PANet与AF-FPN结构对模型上下文提取到的特征信息进行整合。如图10所示，CSP2模块包括两个通道，一个通道对输入进来的特征层进行CBL处理，另一个通道对输入的特征层进行两个CBL的处理，最后将两个通道进行融合(Concat)并进行CBL处理后输出。
加强特征提取网络所采用的自适应特征金字塔相较于传统特征金字塔，添加了AAM模块以及FEM模块。其中AAM是自适应注意力模块，减少了由于特征通道的减少而导致的高级特征图中上下文信息的丢失。其中FEM模块是特征增强模块，增强了特征金字塔的表示，并加快了推理速度，同时提高了在3D打印环境中打印件尺度变化较大时的识别精度和速度。
将初步提取的特征层输入到Neck颈部的加强特征提取网络中，在自适应特征金字塔中，依次经过CSP2模块、CBL模块、AAM模块以及FEM模块构成的输入网络后，得到第一特征层。输入网络分为两条支路，一条支路用于输出到自适应特征金字塔，另一条支路用于输出到路径聚合网络中。首先，将自适应特征金字塔中输入网络的上采样与骨干网络中第四个CSP1模块得到的特征图进行融合(Concat)得到第二特征层。第二特征层经过第二CSP2模块及第二个CBL模块进行特征提取以及FEM模块特征增强后得到第三特征层，经过上采样后，再与骨干网络第二个CSP1模块得到的特征图进行通道融合得到第四特征层。进入到路径聚合网络后，其将第四特征层经过CSP2模块得到第五特征层，在经过第三个CBL模块后的上采样与第三特征层通道融合得到第六特征层。最后将第六特征层经过CSP2得到第七特征层，经过第四个CBL模块进行特征提取后的下采样与第一特征层通导融合得到第八特征层。最后将经过FEM特征增强的第五特征层、第七特征层与经过第五个CSP2的第八特征层输入到解耦合头部分。
如图12所示，AAM自适应注意力模块首先通过(Adaptive Pooling Layer)自适应池化层获得不同尺度(β1×S、β2×S、β3×S)的上下文特征(Feature)。然后每个上下文特征经过1×1卷积以获得相同的信道维度256。采用双线性插值法将其上采样到S的尺度，以进行后续融合。空间注意机制通过Concat层将三个上下文特征(Feature)的通道合并，然后特征图依次经过1×1卷积层(Conv)、(ReLU)激活层、3×3卷积层(Conv)和(Sigmoid)激活层，为每个特征图生成相应的空间权值并得到权重图(Weights)。合并通道后生成的权重图(Weights)和合并通道后的特征图(Features)进行Hadamard乘积操作后得到新的特征图(Features)，将其分离后得到三个上下文特征(Feature)并添加到输入特征图中，将上下文特征聚合到自适应池化层中。最终的特征图具有丰富的多尺度上下文信息，在一定程度上减轻了由于通道数量的减少而造成的信息损失。
如图13所示，FEM特征增强模块主要利用扩张卷积，根据检测到的3D打印缺陷图像的不同尺度，自适应地学习每个特征图中的不同感受野，从而提高了多尺度目标检测和识别的精度。多分支卷积层包括扩张卷积层(Dilated Conv)、BN层和ReLU激活层。其中三个平行分支中的扩张卷积具有相同的内核大小，但扩张速率不同。每个扩张卷积的核为3×3，不同分支的扩张速率d分别为1、3、5。
FEM特征增强模块采用分支池化层来融合来自不同并行分支的信息，从而避免引入附加参数。平均运算用于平衡训练过程中不同并行分支的表示，这使单个分支能够在测试过程中实现推理。输出表达式如下：
；
其中，为分支池化层的输出，/>为分支池化层的输入，B为并行分支的数量，本发明中B=3。
如图14所示，本实施例的输出预测网络要对加强特征提取网络提取到的特征层进行分支解耦操作，其中包括一系列的CBL与Conv(向量卷积运算)。包括对目标的类别预测的cls、判断目标框是前景还是背景的obj及预测目标框信息的reg三个分支。对目标的类别预测cls(类别损失收益)与目标框是前景还是背景obj(是否有物体损失收益)通过Sigmoid函数进行判断，训练当前预测框并进行调整获得最后的预测框。最后通过Reshape调节矩阵形状后输出。
本实施例的步骤S3中改进后的YOLOX实时目标检测模型采用置信度损失、分类损失和目标框损失以及L1范数损失组成损失函数，具体为：
；
其中，为目标框损失的权重系数，/>为置信度损失函数，/>为分类损失函数，/>为目标框损失函数，/>为L1损失函数；
其中置信度损失与分类损失采用包含Sigmoid函数的交叉熵损失函数，具体为：
；
其中，N为类别数，即N个交叉熵之和，y i 为样本i的标签，正类为1，负类为0，x i 为样本i预测为正类的概率，为Sigmoid函数，其表达式为/>，将输出规定到0，1之间；
其中目标框损失采用广义IoU损失函数，具体为：
；
其中，，A为区域A，B为区域B，/>为区域落入GT框的区域，C为A、B区域相交位置；
其中L1损失函数具体为：
；
其中，n为类别数，为真实值，/>为预测值。L1损失函数相对于L2损失函数和中心损失函数具有鲁棒性高，对噪声敏感度低的优点。
本发明采用训练预热的方法先对模型的初始学习率进行调整，使得前几个周期内的学习率较小，在较小的学习率的预热下模型将逐步趋于稳定，当模型较为稳定后便使用余弦退火调整学习率，使学习率先缓慢下降，然后加速下降，再减速下降，这有利于加快模型的收敛速度，模型效果更佳。
本实施例采用上述改进后的YOLOX实时目标检测模型对预处理后的3D打印机工作状态图像进行检测，得到包含分类和定位信息的特征图，其中三个预测分支，对目标的类别预测的cls、判断目标框是前景还是背景的obj及预测目标框信息的reg三个分支，通过concat对三个分支即三个通道进行融合特征，并进行Transpose转置，得到最终包含定位信息特征图。
S4、对包含分类和定位信息的特征图进行特征转换，得到匹配特征点的特征图；
在本发明的一个可选实施例中，本实施例首先通过SimOTA算法对concat后分类和定位信息的特征图进行预筛选，只有当样本点同时落入GT框和fixed center area区域时，才会通过筛选，筛选后的特征图进行尺度不变特征转换SIFT，将匹配得到的特征点提供给下一步的深度超限学习机DELM进行决策。
S5、采用深度超限学习机对匹配特征点的特征图进行缺陷分类，并根据缺陷分类结果对3D打印机工作状态进行控制。
在本发明的一个可选实施例中，本实施例将转换的特征图参数输入到DELM深度超限学习机进行训练，训练成一个精准度高于传统单层超限学习机的3D打印缺陷检测分类器，深度超限学习机通过增加特征映射的次数来提升模型对样本数据的特征表示能力，深度超限学习机DELM的最后一层对分类结果进行输出，其分类包括如下缺陷：
(a)边缘与填充之间有缝隙；
(b)为模型与热床粘不牢靠；
(c)为打印中途不出丝；
(d)为顶层封口不足；
(e)为弱填充；
(f)为开始时没有材料挤出；
(g)为物件过热；
(h)为挤出材料不足或过多；
(i)为偏移；
(j)为拉丝和渗漏；
(k)为顶层表面刮痕；
(l)为震动和波纹。
对以上缺陷分类进行回归，得到最终决策，不同的决策对应了不同的事件。
其中(a)(b)(e)(i)(l)组为降低打印速度决策，通过触发调节打印机喷头运动速度事件对3D打印控制系统进行速度控制。
其中(d)(h)组为提高进给量决策，通过触发调节打印机喷头进给量模块事件对3D打印控制系统进行进料控制。
其中(j)(h)组为降低进给量决策，通过触发调节打印机喷头进给量模块事件对3D打印控制系统进行进料控制。
其中(g)组为降低喷嘴温度决策，通过触发调节打印头温度模块事件对3D打印控制系统进行温度控制。
其中(c)(f)组为暂停打印决策，通过触发打印机工作状态控制模块事件对3D打印控制系统进行启停控制。
如图15所示，是本发明所采用的一种DELM深度超限学习机的模型结构图，应用于上述步骤S6中的3D打印控制系统的分类、决策。深度超限学习机可直接用于多特征分类，和其他深度学习相比，深度超限学习机无需微调，ELM-AE与最终的ELM分类层(或回归层)均采用最小二乘法且只进行一步反向计算得到更新后的权重，因此显著特点是速度快。本发明所述DELM深度超限学习机的网络模型主要分为两个部分，无监督分层特征表示和有监督的特征分类。
第一部分是由ELM-AE组成的自动编码器，用于提取输入数据的多层稀疏特征。
ELM-AE是一种面向单隐藏层特征映射函数的无监督学习方法，通常由编码单元与解码单元两部分构成。重要部分分为以下三部分：
1.ELM-AE的输出为：
；
其中，和/>即为ELM随机生成的隐藏层节点参数：/>为连接第i个隐藏层节点和输入节点间的权重（行）向量，/>为第i个隐藏层节点的偏置项（标量），/>为非线性激活函数。/>为输出权重，/>为第j个输入数据的属性向量，/>为网络对第j个输入数据/>的响应值或预测值，L为隐藏层节点个数，N为样本个数，a为连接隐藏层节点和输入节点间的权重（行）向量，b为隐藏层节点的偏置项（标量），R m 为m维实数，T为转置。
2.隐藏层的输出权重为：，其中，/>是输入数据；
其中为输出权重，/>为隐层节点矩阵的转置，H为隐层节点矩阵，/>为求逆运算，S为期望输出。
3.ELM-AE的训练可以通过最小化损失函数优化。
其中为ELM-AE输出权重/>的最优解，/>为ELM-AE的输出权重, H为隐层节点矩阵，/>是输入数据，/>为取L2范数。
第二部分，由传统ELM做最终分类。传统ELM一般是针对于单隐层前馈神经网络的求解，对于有K个隐层节点的单隐层神经网络可以表示为：
；
其中为激活函数，可以是任意非线性分段连续函数；/>为响应值或预测值；为输入权重参数；/>为输出权重参数；/>是第/>个隐层单元的偏置参数；/>为/>和/>的内积值，X j 为第j个输入数据，N为样本个数。
在单隐层神经网络中，最小化输出误差值是其学习的目标，其公式为：
；
其中，为响应值或预测值，/>为对应的目标真值，/>为取L2范数，N为样本个数。/>
即存在、/>和/>，使得/>，/>，可以用矩阵表示为：
；
其中是隐层节点的输出，/>为输出权重，S为期望输出。/>、/>、S分别为：
；/>；；
其中，为激活函数，/>为/>和的内积值，/>为隐层单元的偏置参数，/>为输出权重的转置，/>为期望输出的转置。
为了能够训练单隐层神经网络，希望得到、/>和/>，使得：，式中：/>，其中/>为输入权重参数，/>为输出权重，/>是第i个隐层单元的偏置参数，S为期望输出，/>为隐层节点的输出。/>为输入权重参数的最优解，/>为第/>个隐层单元的偏置参数的最优解，/>为输出权重的最优解，/>为取范数，上式等价于最小化损失函数：；
其中E为输出，为输出权重，/>是第/>个隐层单元的偏置参，/>为/>和的内积值，/>为对应的目标真值。N为样本个数，L为隐藏层节点个数。/>
为了训练单隐层神经网络，可以将其转化为求解一个线性系统的问题，输出权重可以被确定为：
；
其中是矩阵/>的Moore-Penrose广义逆，可以证明求得的解/>的范数是最小并且唯一的。
由上述第一、第二部分得出，每一个深度超限学习机的输出隐层可表示为：；其中，/>是第i层的输出，/>是第/>层的输出，/>是隐藏层的激活函数，/>是输出权值。
本领域技术人员应当理解的是，深度超限学习机中的每一层都是一个独立的模块，作为分开的特征提取器。一旦前面的隐藏层特征被提取，当前隐层的权值或参数将被固定，并且不需要微调，从降低了算法的调试难度。
综上所述，本发明提出的一种基于YOLOX算法的深度学习3D打印缺陷检测方法通过改进基于深度学习技术的YOLOX目标探测器和采用深度超限学习机模型作为分类器，提高了在3D打印过程中缺陷检测的精度和实时性，并且实现了对3D打印控制系统的反馈控制，可实时调节3D打印的速度、进料、温度等参数，实现了基于人工智能的闭环3D打印控制，做到了无人监管的目的。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，包括以下步骤：
S1、获取3D打印机工作状态图像；
S2、对3D打印机工作状态图像进行预处理；
S3、采用改进后的YOLOX实时目标检测模型对预处理后的3D打印机工作状态图像进行检测，得到包含分类和定位信息的特征图；
S4、对包含分类和定位信息的特征图进行特征转换，得到匹配特征点的特征图；
S5、采用深度超限学习机对匹配特征点的特征图进行缺陷分类，并根据缺陷分类结果对3D打印机工作状态进行控制。
2.根据权利要求1所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，步骤S3中改进后的YOLOX实时目标检测模型具体包括：
骨干特征提取网络、加强特征提取网络和输出预测网络；
所述骨干特征提取网络用于对预处理后的3D打印机工作状态图像进行降采样；
所述加强特征提取网络用于对骨干特征提取网络提取的特征图进行上采样和下采样以提取特征图上下文的特征信息，并对提取的特征图上下文的特征信息进行整合；
所述输出预测网络用于对加强特征提取网络提取的加强特征图通过解耦合头网络进行解耦，得到预测结果。
3.根据权利要求2所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，所述骨干特征提取网络具体包括：
依次连接的Focus模块、第一CBL模块、第一CSP1模块、第二CBL模块、第二CSP1模块、第三CBL模块、第三CSP1模块、第四CBL模块、第四CSP1模块、第五CBL模块、第五CSP1模块和SPP模块；
所述Focus模块对预处理后的3D打印机工作状态图像进行切分操作，并将多个切片进行通道融合，最后通过卷积标准化与激活函数进行激活处理；
所述第一CBL模块、第二CBL模块、第三CBL模块、第四CBL模块和第五CBL模块均对输入特征图进行卷积标准化与激活函数的操作；
所述第一CSP1模块、第二CSP1模块、第三CSP1模块、第四CSP1模块和第五CSP1模块均采用双通道对输入特征图分别进行卷积标准化与激活函数的操作以及卷积标准化与激活函数的操作和残差处理，并对双通道的输出特征图进行特征融合，最后再进行卷积标准化与激活函数的操作；
所述第一CSP1模块、第二CSP1模块、第三CSP1模块、第四CSP1模块和第五CSP1模块均采用相同结构，具体包括：
第六CBL模块、多个串联的残差模块、第七CBL模块和第八CBL模块；
所述第六CBL模块与多个串联的残差模块组成第一通道，对输入的特征图进行卷积标准化与激活函数的操作，然后进行残差处理；
所述第七CBL模块组成第二通道，对输入的特征图进行卷积标准化与激活函数的操作后与第一通道输出的特征图进行融合；
所述第八CBL模块对融合得到的特征图进行卷积标准化与激活函数的操作，得到包含语义信息的特征图；
所述SPP模块通过不同池化核大小对输入的特征图进行最大池化后与包含输入的特征图短接边融合，并进行卷积标准化与激活函数的操作；
所述SPP模块具体包括：
多个并联的包含不同池化核大小的最大池化层、将输入最大池化层的特征图与最大池化层输出的特征图进行连接的跳跃连接、和第十一CBL模块；
多个并联的包含不同池化核大小的最大池化层分别对输入的特征图进行最大池化后与包含输入的特征图短接边融合；
所述第十一CBL模块对融合的特征图进行卷积标准化与激活函数的操作。
4.根据权利要求3所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，多个串联的残差模块均采用相同结构，具体包括：
第九CBL模块和第十CBL模块；
所述第九CBL模块对输入的特征图进行卷积标准化与激活函数的操作；
所述第十CBL模块对第九CBL模块输出的特征图进行卷积标准化与激活函数的操作，再与输入的特征图进行拼接。
5.根据权利要求2所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，所述加强特征提取网络具体包括：
添加自适应注意力模块和特征增强模块的自适应特征金字塔、以及路径聚合网络；
添加自适应注意力模块和特征增强模块的自适应特征金字塔对骨干特征提取网络提取的特征图通过引入自适应注意力机制的自适应特征金字塔进行上采样，并在上采样过程中采用特征增强模块进行特征增强；
所述路径聚合网络对自适应特征金字塔提取的增强特征图进行下采样。
6.根据权利要求5所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，添加自适应注意力模块和特征增强模块的自适应特征金字塔具体包括：
第一CSP2模块、第十二CBL模块、自适应注意力模块、第一特征增强模块、第二CSP2模块、第十三CBL模块、第二特征增强模块；
第一CSP2模块、第十二CBL模块、自适应注意力模块、第一特征增强模块依次连接构成输入网络，对骨干特征提取网络提取的特征图提取第一特征图；
第一特征图经过上采样操作与骨干特征提取网络中第四CSP1模块输出的特征图进行融合，得到第二特征图；
第二特征图依次经过第二CSP2模块和第十三CBL模块进行特征提取后，再经过第二特征增强模块进行特征增强后得到第三特征图；
第三特征图经过上采样操作与骨干特征提取网络中第二CSP1模块输出的特征图进行融合，得到第四特征图。
7.根据权利要求5所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，路径聚合网络具体包括：
第三CSP2模块、第十四CBL模块、第四CSP2模块、第十五CBL模块、第三特征增强模块和第五CSP2模块；
第四特征图经过第三CSP2模块进行特征提取，得到第五特征图；
第五特征图经过第十四CBL模块进行特征提取后，进行下采样操作，并与第三特征图进行融合，得到第六特征图；
第六特征图经过第四CSP2模块进行特征提取，得到第七特征图；
第七特征图经过第十五CBL模块进行特征提取后，进行下采样操作，并与第一特征图进行融合，得到第八特征图；
第五特征图经过第三特征增强模块进行特征增强后得到第九特征图；
第八特征图经过第五CSP2模块进行特征提取，得到第十特征图；
第七特征图、第九特征图和第十特征图作为路径聚合网络的输出特征图。
8.根据权利要求7所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，自适应注意力模块具体包括：
自适应池化层、第一卷积层、多个平行的双线性插值通道、第二卷积层、第一激活层、第三卷积层、第二激活层；
自适应池化层对输入的特征图提取不同尺度的上下文特征；
每个上下文特征经过第一卷积层进行通道调整后分别经过对应的双线性插值通道进行上采样到相同尺度，然后对各个通道的特征图采用空间注意机制进行通道融合；
融合后的特征图依次经过第二卷积层、第一激活层、第三卷积层、第二激活层，为每个特征图生成相应的空间权值，并得到权重图；
权重图与融合后的特征图进行Hadamard乘积操作后得到新的特征图，并将新的特征图分离得到多个上下文特征并添加到输入特征图中，将上下文特征聚合到自适应池化层中。
9.根据权利要求8所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，第一特征增强模块、第二特征增强模块和第三特征增强模块均采用相同结构，具体包括：
多个平行分支卷积层和分支池化层；每个分支卷积层均包括扩张卷积层、批归一化层和第三激活层；其中各个扩张卷积层具有相同的内核大小和不同的扩张速率；
各个分支卷积层在输入特征图的不同感受野中进行特征提取；
分支池化层对各个分支提取的特征图进行融合。
10.根据权利要求1所述的一种基于改进YOLOX算法的深度学习3D打印缺陷检测方法，其特征在于，步骤S3中改进后的YOLOX实时目标检测模型采用置信度损失、分类损失和目标框损失以及L1范数损失组成损失函数，具体为：
;
其中，为目标框损失的权重系数，/>为置信度损失函数，/>为分类损失函数，为目标框损失函数，/>为L1损失函数；
置信度损失与分类损失采用包含Sigmoid函数的交叉熵损失函数，具体为：
;
其中，N为类别数，y i 为样本i的标签，x i 为样本i预测为正类的概率，为Sigmoid函数；
目标框损失采用广义IoU损失函数，具体为：
;
其中，，A为区域A，B为区域B，/>为区域落入GT框的区域，C为A、B区域相交位置；
L1损失函数具体为：
;
其中，n为类别数，为真实值，/>为预测值。
CN202310959756.8A 2023-08-01 2023-08-01 一种基于改进yolox算法的深度学习3d打印缺陷检测方法 Active CN116704267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310959756.8A CN116704267B (zh) 2023-08-01 2023-08-01 一种基于改进yolox算法的深度学习3d打印缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310959756.8A CN116704267B (zh) 2023-08-01 2023-08-01 一种基于改进yolox算法的深度学习3d打印缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116704267A true CN116704267A (zh) 2023-09-05
CN116704267B CN116704267B (zh) 2023-10-27

Family

ID=87837748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310959756.8A Active CN116704267B (zh) 2023-08-01 2023-08-01 一种基于改进yolox算法的深度学习3d打印缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116704267B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340280A (zh) * 2023-12-05 2024-01-05 成都斐正能达科技有限责任公司 一种lpbf增材制造过程监测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359534A (zh) * 2018-09-12 2019-02-19 鲁东大学 一种三维物体几何特征提取方法及系统
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN112131933A (zh) * 2020-08-11 2020-12-25 安徽大学 一种基于改进yolo网络的快速行人检测方法与系统
CN114219753A (zh) * 2021-10-27 2022-03-22 国网福建省电力有限公司检修分公司 一种基于深度学习的电力设备表面缺陷检测方法及终端
CN114236528A (zh) * 2022-02-23 2022-03-25 浙江高信技术股份有限公司 一种基于毫米波雷达和视频融合的目标检测方法及系统
CN114240821A (zh) * 2021-10-25 2022-03-25 上海电机学院 一种基于改进型yolox的焊缝缺陷检测方法
CN114663365A (zh) * 2022-03-04 2022-06-24 重庆中科云从科技有限公司 缺陷检测方法、装置及计算机存储介质
US20230137337A1 (en) * 2021-10-28 2023-05-04 Texas Instruments Incorporated Enhanced machine learning model for joint detection and multi person pose estimation
CN116311042A (zh) * 2023-02-23 2023-06-23 河南科技大学 一种改进yolo模型的智能草坪修剪机目标检测方法
CN116343330A (zh) * 2023-03-07 2023-06-27 云南电网有限责任公司玉溪供电局 一种红外-可见光图像融合的异常行为识别方法
CN116486340A (zh) * 2023-04-25 2023-07-25 神华准格尔能源有限责任公司 传送带的异物检测方法、装置、存储介质和处理器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359534A (zh) * 2018-09-12 2019-02-19 鲁东大学 一种三维物体几何特征提取方法及系统
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN112131933A (zh) * 2020-08-11 2020-12-25 安徽大学 一种基于改进yolo网络的快速行人检测方法与系统
CN114240821A (zh) * 2021-10-25 2022-03-25 上海电机学院 一种基于改进型yolox的焊缝缺陷检测方法
CN114219753A (zh) * 2021-10-27 2022-03-22 国网福建省电力有限公司检修分公司 一种基于深度学习的电力设备表面缺陷检测方法及终端
US20230137337A1 (en) * 2021-10-28 2023-05-04 Texas Instruments Incorporated Enhanced machine learning model for joint detection and multi person pose estimation
CN114236528A (zh) * 2022-02-23 2022-03-25 浙江高信技术股份有限公司 一种基于毫米波雷达和视频融合的目标检测方法及系统
CN114663365A (zh) * 2022-03-04 2022-06-24 重庆中科云从科技有限公司 缺陷检测方法、装置及计算机存储介质
CN116311042A (zh) * 2023-02-23 2023-06-23 河南科技大学 一种改进yolo模型的智能草坪修剪机目标检测方法
CN116343330A (zh) * 2023-03-07 2023-06-27 云南电网有限责任公司玉溪供电局 一种红外-可见光图像融合的异常行为识别方法
CN116486340A (zh) * 2023-04-25 2023-07-25 神华准格尔能源有限责任公司 传送带的异物检测方法、装置、存储介质和处理器

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JUNFAN WANG 等: "Improved YOLOv5 network for real-time multi-scale traffic sign detection", 《NEURAL COMPUTING AND APPLICATIONS》, vol. 35, pages 7853 - 7865 *
YU CHEN 等: "AMFF-YOLOX: Towards an Attention Mechanism and Multiple Feature Fusion Based on YOLOX for Industrial Defect Detection", 《ELECTRONICS》, pages 1 - 20 *
ZHENG GE 等: "YOLOX: Exceeding YOLO Series in 2021", 《ARXIV》, pages 1 - 7 *
倪天宇: "晶圆表面缺陷自动检测技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 135 - 460 *
廖延娜 等: "改进 YOLOX 的桥梁病害检测识别", 《应用光学》, vol. 44, no. 4, pages 792 - 800 *
张玉蓉: "巡检机器人目标检测算法在变电站故障检测中的研究与应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, pages 042 - 1819 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340280A (zh) * 2023-12-05 2024-01-05 成都斐正能达科技有限责任公司 一种lpbf增材制造过程监测方法
CN117340280B (zh) * 2023-12-05 2024-02-13 成都斐正能达科技有限责任公司 一种lpbf增材制造过程监测方法

Also Published As

Publication number Publication date
CN116704267B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
Azizah et al. Deep learning implementation using convolutional neural network in mangosteen surface defect detection
CN106991372B (zh) 一种基于混合深度学习模型的动态手势识别方法
Alani et al. Hand gesture recognition using an adapted convolutional neural network with data augmentation
Mahdi et al. DeepFeat: A bottom-up and top-down saliency model based on deep features of convolutional neural networks
CN109886225A (zh) 一种基于深度学习的图像手势动作在线检测与识别方法
Prakash et al. Face recognition with convolutional neural network and transfer learning
Papandreou et al. Untangling local and global deformations in deep convolutional networks for image classification and sliding window detection
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
Yang et al. Semi-supervised learning of feature hierarchies for object detection in a video
CN116704267B (zh) 一种基于改进yolox算法的深度学习3d打印缺陷检测方法
CN116704431A (zh) 水污染的在线监测系统及其方法
CN113221852A (zh) 一种目标识别方法及装置
CN112507114A (zh) 一种基于词注意力机制的多输入lstm_cnn文本分类方法及系统
CN114998601A (zh) 基于Transformer的在线更新目标跟踪方法及系统
Xue et al. Research on edge detection operator of a convolutional neural network
Dan et al. Pf-vit: Parallel and fast vision transformer for offline handwritten chinese character recognition
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN111027472A (zh) 一种基于视频光流和图像空间特征权重融合的视频识别方法
CN113052091A (zh) 一种基于卷积神经网络的动作识别方法
CN115066691A (zh) 生成或者处理图像序列的循环单元
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN114693997A (zh) 基于迁移学习的图像描述生成方法、装置、设备及介质
Wirayasa et al. Comparison of Convolutional Neural Networks Model Using Different Optimizers for Image Classification
CN114666571A (zh) 视频敏感内容检测方法及系统
EP4244768A1 (en) Automatic early-exiting machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant