CN115272252A - 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 - Google Patents
一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 Download PDFInfo
- Publication number
- CN115272252A CN115272252A CN202210919538.7A CN202210919538A CN115272252A CN 115272252 A CN115272252 A CN 115272252A CN 202210919538 A CN202210919538 A CN 202210919538A CN 115272252 A CN115272252 A CN 115272252A
- Authority
- CN
- China
- Prior art keywords
- carbon fiber
- fiber yarn
- yolox
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229920000049 Carbon (fiber) Polymers 0.000 title claims abstract description 158
- 239000004917 carbon fiber Substances 0.000 title claims abstract description 158
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 title claims abstract description 158
- 230000007547 defect Effects 0.000 title claims abstract description 92
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims description 49
- 238000004821 distillation Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000013140 knowledge distillation Methods 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 11
- 230000001965 increasing effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000003014 reinforcing effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007380 fibre production Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005470 impregnation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- SLCVBVWXLSEKPL-UHFFFAOYSA-N neopentyl glycol Chemical group OCC(C)(C)CO SLCVBVWXLSEKPL-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000012779 reinforcing material Substances 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Treatment Of Fiber Materials (AREA)
Abstract
本发明涉及碳纤维丝表面缺陷检测技术领域，解决了碳纤维丝缺陷检测中易出现的检测效率低下、精度低、定位追溯难的技术问题，尤其涉及一种基于改进YOLOX的碳纤维缺陷的检测方法，包括以下步骤：S1、获取待检测的碳纤维丝图像；S2、构建改进型YOLOX网络；S3、将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；S4、输出对碳纤维丝图像中表面缺陷的检测结果。本发明实现对碳纤维丝表缺陷的高效识别与定位，降低人为主观性的干扰，从而提升碳纤维丝表制品质量和使用年限、减轻劳动人员工作强度。
Description
技术领域
本发明涉及碳纤维丝表面缺陷检测技术领域，尤其涉及一种基于改进YOLOX的碳纤维缺陷的检测方法、装置及系统。
背景技术
在航空航天、风电叶片、建筑补强材料等领域快速发展的带动下，我国碳纤维市场规模进一步扩大，2026年市场规模有望超20亿美元。在碳纤维丝生产过程中，表面缺陷(毛丝、断丝、接头等)问题突出，严重威胁碳纤维丝制品质量(如飞机制造碳纤维复合材料、补强碳纤维混凝土结构物等)。
现阶段，碳纤维丝缺陷检测主要有以下难点：碳纤维丝缺陷呈细长特征，使用基于锚框的检测方法需要根据长毛丝的比例将锚框尺寸预设为特定比例，该方法过于依赖手动设计且比例设置影响识别结果；碳纤维丝束分布密集，使用人工检测效率低下且易受外界环境影响；碳纤维丝生产中由于凝固速度慢丝条的表面存在一定的粘性或浸渍油剂不均匀产生并丝，导致碳纤维丝缺陷定位追溯难，缺陷严重影响了碳纤维丝制品的质量和使用年限。
发明内容
针对现有技术的不足，本发明提供了一种基于改进YOLOX的碳纤维缺陷的检测方法、装置及系统，解决了碳纤维丝缺陷检测中易出现的检测效率低下、精度低、定位追溯难的技术问题，本发明针对碳纤维丝缺陷的细长特征，设计改进后的YOLOX网络，增加自注意力机制学习特征的内部相关性，无锚框设计避免冗余的锚框计算，提高模型识别的精度和速度，从而快速、高效、自动地完成碳纤维丝缺陷的检测。
为解决上述技术问题，本发明提供了如下技术方案：一种基于改进YOLOX的碳纤维缺陷的检测方法，包括以下步骤：
S1、获取待检测的碳纤维丝图像，图像的获取可在碳纤维生产线上通过工业相机进行拍摄，工业相机会对碳纤维丝的表面进行多个角度拍摄生成相应的图像；
S2、构建改进型YOLOX网络；
S3、将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；
S4、输出对碳纤维丝图像中表面缺陷的检测结果。
进一步地，在步骤S2中，构建改进型YOLOX网络包括以下步骤：
S21、获取若干具有各种缺陷样例的碳纤维丝图像作为碳纤维丝数据集，碳纤维丝数据集中包含若干带有标注的碳纤维丝图像，其中各个碳纤维丝图像中涵盖碳纤维丝表面的各种缺陷样例，碳纤维丝数据集由人工对碳纤维丝表面带有缺陷的图像进行标注，经过整理筛分得到涵盖碳纤维丝表面的各种缺陷样例；
S22、采用尺度感知的自动增强方法对碳纤维丝数据集进行增强；
S23、在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏，提升特征代表性；
S24、将碳纤维丝数据集输入YOLOX网络中主动学习碳纤维丝表面缺陷特征。
进一步地，在步骤S22中，采用尺度感知的自动增强方法对碳纤维丝数据集进行增强包括图像级的数据增强以及目标框级的数据增强；
所述图像级的数据增强包括：根据自动增强方法的随机指定概率P和缩放比R对碳纤维丝图像进行指定倍数的放大、缩小或维持原图操作，增加图像数据的多样性。
进一步地，所述目标框级的数据增强包括以下步骤：
S221、根据自动增强方法对碳纤维丝图像的每个目标框进行增强；
S222、通过高斯函数对增强后的目标框的区域与剩余原始图片区域之间存在的明显边界间隙做平滑处理。
进一步地，在步骤S23中，在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏包括以下步骤：
S231、采用焦点局部蒸馏分离图像前景和背景，引导学生检测器聚焦在教师检测器的关键像素和通道信息上；
S232、在焦点蒸馏的基础上使用全局蒸馏从特征图中提取不同像素之间的全局关系；
S233、计算全局知识蒸馏FGD模块的特征蒸馏总损失。
进一步地，在步骤S231中，采用焦点局部蒸馏分离图像前景和背景包括以下步骤：
S2311、在焦点局部蒸馏中分别设置一二进制掩码M、比例掩码S以及教师检测器的空间注意力掩码AP和通道注意力掩码AC；
S2312、通过二进制掩码M、比例掩码S以及教师检测器的空间注意力掩码AP和通道注意力掩码AC计算焦点损失损失函数Lfocal。
进一步地，在步骤S24中，将碳纤维丝数据集输入YOLOX网络中学习碳纤维丝表面缺陷特征包括以下步骤：
S241、在YOLOX主干网络中增加自注意力模块以速获取碳纤维丝数据集中数据或特征的内部相关性；
S242、在YOLOX网络的检测头部分，将预测分支解耦为分类、目标框和目标识别三部分，分类包括区分前景和背景信息，目标框包括输出位置坐标信息，目标识别为识别缺陷属于某类；
S243、采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本。
进一步地，在步骤S243中，采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本包括以下步骤：
S2431、通过无锚框算法确定正样本候选区域；
S2432、在候选区域内计算每个样本对各真实框的分类和回归损失；
S2433、使用每个真实框的预测样本确定它需要分配的正样本数k，对每个真实框取损失最小的前k个样本作为正样本，其余为负样本；
S2434、使用正负样本计算真实框损失。
S2435、采用simOTA样本匹配算法根据真实框损失自动分析每个真实框需要拥有的正样本数。
本发明还提供了一种用于实现上述碳纤维缺陷的检测方法的装置，包括：
获取模块，所述获取模块用于获取待检测的碳纤维丝图像；
构建模块，所述构建模块用于构建改进型YOLOX网络；
输入模块，所述输入模块用于将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；
输出模块，所述输出模块用于输出对碳纤维丝图像中表面缺陷的检测结果。
本发明还提供了一种用于实现上述碳纤维缺陷的检测方法的系统，包括：
处理器；
存储器；
以及一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序用于计算机执行上述碳纤维缺陷的检测方法。
借由上述技术方案，本发明提供了一种基于改进YOLOX的碳纤维缺陷的检测方法、装置及系统，至少具备以下有益效果：
1、本发明针对碳纤维丝表缺陷的细长特征，设计改进后的YOLOX网络，增加自注意力机制学习特征的内部相关性，无锚框设计避免冗余的锚框计算，提高模型识别的精度和速度，本发明快速、高效、自动地完成碳纤维丝表缺陷检测，解决了碳纤维丝表缺陷检测时精度低、速度慢等问题。
2、本发明引入了基于尺度感知的自动增强方法对碳纤维丝表数据集进行增强，增强待检测对象的尺度不变性，有利于提升碳纤维丝表识别的准确性，根据碳纤维丝表缺陷特征改进的YOLOX网络，增加自注意力机制自主调控感受野大小，帮助网络快速获取数据或特征的内部相关性。
3、本发明在YOLOX的Neck结构部分添加FGD模块进行特征蒸馏，提升特征代表性，无锚框设计自动确定目标框大小，减少冗余的锚框计算，提升碳纤维丝表缺陷识别的精度和速度，能够有效完成碳纤维丝表缺陷检测任务，提高了检测的精度、速度和效率，是一种快速、高效、智能的处理手段。
4、本发明可以实现碳纤维丝表缺陷的高效识别与定位，降低人为主观性的干扰，这对于提升碳纤维丝表制品质量和使用年限、减轻劳动人员工作强度有很大贡献。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明碳纤维缺陷检测方法的流程图；
图2为本发明构建改进型YOLOX网络的流程图；
图3为本发明目标框级的数据增强的流程图；
图4为本发明在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏的流程图；
图5为本发明采用焦点局部蒸馏分离图像前景和背景的流程图；
图6为本发明将碳纤维丝数据集输入YOLOX网络中学习碳纤维丝表面缺陷特征的流程图；
图7为本发明改进型的YOLOX网络结构的原理图；
图8为本发明采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本的流程图；
图9为本发明碳纤维缺陷检测装置的原理框图。
图中：10、获取模块；20、构建模块；30、输入模块；40、输出模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图9，示出了本实施例的一种实施方式，本实施例。
请参照图1，一种基于改进YOLOX的碳纤维缺陷的检测方法，包括以下步骤：
S1、获取待检测的碳纤维丝图像，图像的获取可在碳纤维生产线上通过工业相机进行拍摄，工业相机会对碳纤维丝的表面进行多个角度拍摄生成相应的图像；
S2、构建改进型YOLOX网络；
请参照图2，在步骤S2中，构建改进型YOLOX网络包括以下步骤：
S21、获取若干具有各种缺陷样例的碳纤维丝图像作为碳纤维丝数据集，碳纤维丝数据集中包含若干带有标注的碳纤维丝图像，其中各个碳纤维丝图像中涵盖碳纤维丝表面的各种缺陷样例，碳纤维丝数据集由人工对碳纤维丝表面带有缺陷的图像进行标注，经过整理筛分得到涵盖碳纤维丝表面的各种缺陷样例。
S22、采用尺度感知的自动增强方法对碳纤维丝数据集进行增强；
在步骤S22中，采用尺度感知的自动增强方法对碳纤维丝数据集进行增强包括图像级的数据增强以及目标框级的数据增强；
图像级的数据增强包括：根据自动增强方法的随机指定概率P和缩放比R对碳纤维丝图像进行指定倍数的放大、缩小或维持原图操作，增加图像数据的多样性。
其中，图像级的数据增强公式为：
0≤Psmall≤0.5，0.5≤Rsmall≤1.0
0≤Plarge≤0.5，1.0≤Rlarge≤1.5
Porigin＝1-Psmall-Plarge
其中，Psmall、Rsmall分别代表进行图像缩小操作的概率和比例；Plarge、Rlarge分别代表进行图像放大操作的概率和比例；Porigin代表维持原图的概率，缩放比默认为1。
请参照图3，目标框级的数据增强包括以下步骤：
S221、根据自动增强方法对碳纤维丝图像的每个目标框进行增强；
S222、通过高斯函数对增强后的目标框的区域与剩余原始图片区域之间存在的明显边界间隙做平滑处理。
目标框级的数据增强，对每个目标框执行增强，首先通过高斯函数，对增强后的区域与剩余原始图片区域之间存在的明显边界间隙做平滑处理，公式如下，处理后边界间隙明显弱化。
A＝α(x,y)·I+(1-α(x,y))·T
其中，α(x,y)是高斯映射函数，(xc,yc)是目标框中心点坐标，σx和σy是标准差，h,w分别代表目标框的高度和宽度，H、W分别代表输入图像的高度和宽度，A表示高斯增强后的区域，I表示图像输入，T表示转换函数。
为使增强区域能够根据对象大小自适应地进行调整，引入面积比参数Rbox，计算公式如下，根据Rbox调整数据增强区域大小，使其适应图中待检测目标大小，解决不同图像中待检测目标尺度变化问题，提升网络性能。
Rbox＝V/Sbox
其中，V表示高斯映射函数的积分结果，Sbox是目标框面积大小，Rbox为两者相除得到的面积比。
本实施例引入了基于尺度感知的自动增强方法对碳纤维丝表数据集进行增强，增强待检测对象的尺度不变性，有利于提升碳纤维丝表识别的准确性，根据碳纤维丝表缺陷特征改进的YOLOX网络，增加自注意力机制自主调控感受野大小，帮助网络快速获取数据或特征的内部相关性。
S23、在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏，提升特征代表性；
请参照图4，在步骤S23中，在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏包括以下步骤：
S231、采用焦点局部蒸馏分离图像前景和背景，引导学生检测器聚焦在教师检测器的关键像素和通道信息上。
在YOLOX的Neck部分使用FGD模块进行特征蒸馏，提出焦点蒸馏(FocalDistillation)分离前景和背景信息，促使学生检测器关注教师检测器的关键像素和通道信息，提出全局蒸馏(Global Distillation)重建不同像素之间的关系，并将这种关系从教师检测器传递给学生检测器，弥补了焦点蒸馏时全局信息的缺失。
请参照图5和图7，在步骤S231中，采用焦点局部蒸馏分离图像前景和背景包括以下步骤：
S2311、在焦点局部蒸馏中分别设置一二进制掩码M、比例掩码S以及教师检测器的空间注意力掩码AP和通道注意力掩码AC。
首先设置一个二进制掩码M来分离图像背景和前景，M的公式为：
其中G表示真实框,i、j分别为当前特征图的横、纵坐标。如果(i,j)属于地面真值，则Mi,j＝1，否则为0。
一般情况下不同图像中前景与背景的比例差异很大，且大尺度目标由于拥有更多像素会在损失计算中占据更大比例，这将影响小目标的检测。为了平等对待不同大小的目标以及平衡前景和背景的损失，设计一个比例掩码S，公式为：
其中，Hg和Wg分别表示真实框G的高度和宽度。如果一个像素属于多个目标，优先选择最小的目标框来计算S，接下来我们分别计算了不同像素和通道上的绝对平均值：
其中H、W、C分别表示特征的高度、宽度和通道。EP和EC是空间和通道注意图，注意力掩码计算公式为：
AP(F)＝H·W·softmax(EP(F)/T)
AC(F)＝C·softmax(EC(F)/T)
式中T是为调整分布而提出的温度超参数，学生检测器与教师检测器的掩码之间存在明显的差异，在训练过程中，常用教师检测器的掩码来引导学生检测器，求出二进制掩码M、比例掩码S、注意力掩码AP和AC后，设计使用新的特征损失函数，函数公式如下：
式中AP和AC分别表示教师检测器的空间注意力掩码和通道注意力掩码。FT和FS分别表示教师检测器和学生检测器的特征图，f是将FS重塑与FT相同维数的函数，α和β是平衡前景和背景之间损失的超参数。
S2312、通过二进制掩码M、比例掩码S以及教师检测器的空间注意力掩码AP和通道注意力掩码AC计算焦点损失损失函数Lfocal。
新建注意力损失函数Lat促进学生检测器模仿教师检测器的空间和通道注意力掩码，公式为：
其中t和S分别表示教师检测器和学生检测器。l为L1损失函数，γ为平衡损失函数的超参数。焦点损失Lfocal是特征损失Lfea和注意力损失Lat的总和：
Lfocal＝Lfea+Lat
S232、在焦点蒸馏的基础上使用全局蒸馏从特征图中提取不同像素之间的全局关系。
使用焦点蒸馏分离图像，促使学生关注关键像素和通道信息，然而，这种蒸馏切断了前景和背景的关系，不同像素之间的相互关系具有重要作用，可以用来提高检测任务的性能，为解决上述问题，在焦点蒸馏的基础上使用全局蒸馏，目的是从特征图中提取不同像素之间的全局关系，全局损失Lglobal如下：
Lglobal＝λ·∑(H(FT)-H(FS))2
其中，F为未处理前的原始特征图，Conv表示卷积操作，LReLU为Leaky ReLU损失函数，BN表示归一化操作，Np表示当前特征中所有像素数，λ为平衡损失的超参数。
S233、计算全局知识蒸馏FGD模块的特征蒸馏总损失。
总损失公式如下：
L＝Lori+Lfocal+Lglobal
其中Lori为检测器的原始损失函数，Lfea是特征损失函数，Lat是注意力损失函数。
特征蒸馏通过教师模型指导学生模型训练，将学习能力强的教师模型学到的特征蒸馏出来后，传递给参数少、学习能力弱的学生模型，从而得到一个速度快、检测能力强的学生模型，提高目标检测的精度。
S24、将碳纤维丝数据集输入YOLOX网络中主动学习碳纤维丝表面缺陷特征。
请参照图6，在步骤S24中，将碳纤维丝数据集输入YOLOX网络中学习碳纤维丝表面缺陷特征包括以下步骤：
S241、在YOLOX主干网络中增加自注意力模块以速获取碳纤维丝数据集中数据或特征的内部相关性。
在YOLOX主干网络中增加自注意力模块，让网络注意到不同输入之间的相关性，自主调控感受野大小，减少对外部信息的依赖，帮助网络快速获取数据或特征的内部相关性，自注意力机制对碳纤维丝缺陷特征加权，通过多次计算捕获不同特征空间中的相关信息，实现简便、可并行计算，有效提高了缺陷特征提取效率。
S242、在YOLOX网络的检测头部分，将预测分支解耦为分类、目标框和目标识别三部分，分类包括区分前景和背景信息，目标框包括输出位置坐标信息，目标识别为识别缺陷属于某类。
在YOLOX网络的检测头部分，将预测分支解耦为三部分：分类(区分前景和背景信息)、目标框(输出位置坐标信息)和目标识别(识别缺陷属于某类)，将预测分支解耦，不仅提升了碳纤维丝缺陷检测精度，也极大地加快了模型收敛速度，对算法复杂度的影响是微乎其微的。
S243、采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本。
使用无锚框(Anchor Free)的算法设计，将每个位置的预测次数从N个减少为1个，无锚框算法为每个目标对象选择1个正样本，该正样本处于对象的中心位置。Anchor Free设计能够避免锚框太多导致计算过程复杂、锚框(Anchor Based)模型调优时对数据进行聚类分析等，提高网络的泛化性。
本实施例在YOLOX的Neck结构部分添加FGD模块进行特征蒸馏，提升特征代表性，无锚框设计自动确定目标框大小，减少冗余的锚框计算，提升碳纤维丝表缺陷识别的精度和速度，能够有效完成碳纤维丝表缺陷检测任务，提高了检测的精度、速度和效率，是一种快速、高效、智能的处理手段。
请参照图8，在步骤S243中，采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本包括以下步骤：
S2431、通过无锚框算法确定正样本候选区域；
S2432、在候选区域内计算每个样本对各真实框的分类和回归损失；
S2433、使用每个真实框的预测样本确定它需要分配的正样本数k，对每个真实框取损失最小的前k个样本作为正样本，其余为负样本；
S2434、使用正负样本计算真实框损失。
S2435、采用simOTA样本匹配算法根据真实框损失自动分析每个真实框需要拥有的正样本数。
首先使用基于中心的检测算法确定正样本候选区域；在候选区域内计算每个样本对各真实框的分类和回归损失；使用每个真实框的预测样本确定它需要分配的正样本数(dynamic k)，对每个真实框取损失(loss)最小的前dynamic k个样本作为正样本，其余为负样本；最后使用正负样本计算loss，simOTA样本匹配算法自动分析每个真实框需要拥有的正样本数，自主决定每个真实框的检测方向，具有很高的自主性，最重要的是，simOTA使得预测框与真实框的匹配效果更好，大幅提升了模型的检测精度。
S3、将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；
S4、输出对碳纤维丝图像中表面缺陷的检测结果。
本实施例通过基于尺度感知的自动增强方法对碳纤维丝表数据集进行增强，增强碳纤维丝表缺陷的尺度不变性，有利于提升缺陷识别的准确性；在YOLOX的Neck部分使用FGD模块进行特征蒸馏，提出焦点蒸馏(Focal Distillation)分离前景和背景信息，促使学生检测器关注教师检测器的关键像素和通道信息，提出全局蒸馏(Global Distillation)重建不同像素之间的关系，并将这种关系从教师检测器传递给学生检测器，弥补了焦点蒸馏时全局信息的缺失。
请参照图9，本实施例还提供了一种用于实现上述碳纤维缺陷的检测方法的装置，包括：
获取模块10，获取模块10用于获取待检测的碳纤维丝图像；
构建模块20，构建模块20用于构建改进型YOLOX网络；
输入模块30，输入模块30用于将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；
输出模块40，输出模块40用于输出对碳纤维丝图像中表面缺陷的检测结果。
本实施例还提供了一种用于实现上述碳纤维缺陷的检测方法的系统，包括：
处理器；
存储器；
以及一个或多个程序，其中一个或多个程序被存储在存储器中，并且被配置成由处理器执行，程序用于计算机执行碳纤维缺陷的检测方法。
实施例针对碳纤维丝表缺陷的细长特征，设计改进后的YOLOX网络，增加自注意力机制学习特征的内部相关性，无锚框设计避免冗余的锚框计算，提高模型识别的精度和速度，本实施例快速、高效、自动地完成碳纤维丝表缺陷检测，解决了碳纤维丝表缺陷检测时精度低、速度慢等问题。
本实施例可以实现碳纤维丝表缺陷的高效识别与定位，降低人为主观性的干扰，这对于提升碳纤维丝表制品质量和使用年限、减轻劳动人员工作强度有很大贡献。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于改进YOLOX的碳纤维缺陷的检测方法，其特征在于，包括以下步骤：
S1、获取待检测的碳纤维丝图像；
S2、构建改进型YOLOX网络；
S3、将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；
S4、输出对碳纤维丝图像中表面缺陷的检测结果。
2.根据权利要求1所述的碳纤维缺陷的检测方法，其特征在于：在步骤S2中，构建改进型YOLOX网络包括以下步骤：
S21、获取若干具有各种缺陷样例的碳纤维丝图像作为碳纤维丝数据集；
S22、采用尺度感知的自动增强方法对碳纤维丝数据集进行增强；
S23、在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏；
S24、将碳纤维丝数据集输入YOLOX网络中主动学习碳纤维丝表面缺陷特征。
3.根据权利要求2所述的碳纤维缺陷的检测方法，其特征在于：在步骤S22中，采用尺度感知的自动增强方法对碳纤维丝数据集进行增强包括图像级的数据增强以及目标框级的数据增强；
所述图像级的数据增强包括：根据自动增强方法的随机指定概率P和缩放比R对碳纤维丝图像进行指定倍数的放大、缩小或维持原图操作。
4.根据权利要求3所述的碳纤维缺陷的检测方法，其特征在于：所述目标框级的数据增强包括以下步骤：
S221、根据自动增强方法对碳纤维丝图像的每个目标框进行增强；
S222、通过高斯函数对增强后的目标框的区域与剩余原始图片区域之间存在的明显边界间隙做平滑处理。
5.根据权利要求2所述的碳纤维缺陷的检测方法，其特征在于：在步骤S23中，在YOLOX网络的Neck结构部分添加全局知识蒸馏FGD模块进行特征蒸馏包括以下步骤：
S231、采用焦点局部蒸馏分离图像前景和背景，引导学生检测器聚焦在教师检测器的关键像素和通道信息上；
S232、在焦点蒸馏的基础上使用全局蒸馏从特征图中提取不同像素之间的全局关系；
S233、计算全局知识蒸馏FGD模块的特征蒸馏总损失。
6.根据权利要求5所述的碳纤维缺陷的检测方法，其特征在于：在步骤S231中，采用焦点局部蒸馏分离图像前景和背景包括以下步骤：
S2311、在焦点局部蒸馏中分别设置一二进制掩码M、比例掩码S以及教师检测器的空间注意力掩码AP和通道注意力掩码AC；
S2312、通过二进制掩码M、比例掩码S以及教师检测器的空间注意力掩码AP和通道注意力掩码AC计算焦点损失损失函数Lfocal。
7.根据权利要求2所述的碳纤维缺陷的检测方法，其特征在于：在步骤S24中，将碳纤维丝数据集输入YOLOX网络中学习碳纤维丝表面缺陷特征包括以下步骤：
S241、在YOLOX主干网络中增加自注意力模块以速获取碳纤维丝数据集中数据或特征的内部相关性；
S242、在YOLOX网络的检测头部分，将预测分支解耦为分类、目标框和目标识别三部分，分类包括区分前景和背景信息，目标框包括输出位置坐标信息，目标识别为识别缺陷属于某类；
S243、采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本。
8.根据权利要求7所述的碳纤维缺陷的检测方法，其特征在于：在步骤S243中，采用无锚框算法确定碳纤维丝数据集中数据或特征的正样本和负样本包括以下步骤：
S2431、通过无锚框算法确定正样本候选区域；
S2432、在候选区域内计算每个样本对各真实框的分类和回归损失；
S2433、使用每个真实框的预测样本确定它需要分配的正样本数k，对每个真实框取损失最小的前k个样本作为正样本，其余为负样本；
S2434、使用正负样本计算真实框损失。
S2435、采用simOTA样本匹配算法根据真实框损失自动分析每个真实框需要拥有的正样本数。
9.一种用于实现上述权利要求1-8任一项所述的碳纤维缺陷的检测方法的装置，其特征在于，包括：
获取模块(10)，所述获取模块(10)用于获取待检测的碳纤维丝图像；
构建模块(20)，所述构建模块(20)用于构建改进型YOLOX网络；
输入模块(30)，所述输入模块(30)用于将待检测的碳纤维丝图像输入改进型YOLOX网络中对碳纤维丝表面缺陷进行检测；
输出模块(40)，所述输出模块(40)用于输出对碳纤维丝图像中表面缺陷的检测结果。
10.一种用于实现上述权利要求1-8任一项所述的碳纤维缺陷的检测方法的系统，其特征在于，包括：
处理器；
存储器；
以及一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序用于计算机执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210919538.7A CN115272252B (zh) | 2022-08-02 | 2022-08-02 | 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210919538.7A CN115272252B (zh) | 2022-08-02 | 2022-08-02 | 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115272252A true CN115272252A (zh) | 2022-11-01 |
| CN115272252B CN115272252B (zh) | 2023-09-12 |
Family
ID=83747066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210919538.7A Active CN115272252B (zh) | 2022-08-02 | 2022-08-02 | 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272252B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830031A (zh) * | 2023-02-22 | 2023-03-21 | 深圳市兆兴博拓科技股份有限公司 | 电路板贴片的检测方法、系统及存储介质 |
| CN117576095A (zh) * | 2024-01-16 | 2024-02-20 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610822A (zh) * | 2021-08-13 | 2021-11-05 | 湖南大学 | 一种基于多尺度信息融合的表面缺陷检测方法 |
| CN114240821A (zh) * | 2021-10-25 | 2022-03-25 | 上海电机学院 | 一种基于改进型yolox的焊缝缺陷检测方法 |
| CN114529817A (zh) * | 2022-02-21 | 2022-05-24 | 东南大学 | 基于注意力神经网络的无人机光伏故障诊断及定位方法 |
| CN114627062A (zh) * | 2022-02-28 | 2022-06-14 | 湖北工业大学 | 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法 |
| CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
-
2022
- 2022-08-02 CN CN202210919538.7A patent/CN115272252B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610822A (zh) * | 2021-08-13 | 2021-11-05 | 湖南大学 | 一种基于多尺度信息融合的表面缺陷检测方法 |
| CN114240821A (zh) * | 2021-10-25 | 2022-03-25 | 上海电机学院 | 一种基于改进型yolox的焊缝缺陷检测方法 |
| CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
| CN114529817A (zh) * | 2022-02-21 | 2022-05-24 | 东南大学 | 基于注意力神经网络的无人机光伏故障诊断及定位方法 |
| CN114627062A (zh) * | 2022-02-28 | 2022-06-14 | 湖北工业大学 | 一种改进Faster R-CNN的太阳能电池片表面缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| DAWEI LI等: "Automatic Vision-Based Online Inspection System for Broken-Filament of Carbon Fiber With Multiscale Feature Learning", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 71, pages 1 - 12 * |
| ZHENDONG YANG等: "Focal and Global Knowledge Distillation for Detectors", 《ARXIV数据库》, pages 1 - 11 * |
| ZHENG GE等: "YOLOX: Exceeding YOLO Series in 2021", 《ARXIV数据库》, pages 1 - 7 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830031A (zh) * | 2023-02-22 | 2023-03-21 | 深圳市兆兴博拓科技股份有限公司 | 电路板贴片的检测方法、系统及存储介质 |
| CN117576095A (zh) * | 2024-01-16 | 2024-02-20 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
| CN117576095B (zh) * | 2024-01-16 | 2024-04-05 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115272252B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115272252A (zh) | 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 | |
| CN109815785A (zh) | 一种基于双流卷积神经网络的人脸情绪识别方法 | |
| CN111444939A (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN114842019B (zh) | 一种电池板表面缺陷检测方法、系统、存储介质及设备 | |
| CN116310785A (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
| CN107945210A (zh) | 基于深度学习和环境自适应的目标跟踪算法 | |
| CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN115272777A (zh) | 面向输电场景的半监督图像解析方法 | |
| CN116012350A (zh) | 一种基于声纹特征的变压器故障检测方法、系统及介质 | |
| CN105631410B (zh) | 一种基于智能视频处理技术的课堂检测方法 | |
| CN115810163B (zh) | 一种基于ai课堂行为识别的教学评估方法和系统 | |
| CN113688789B (zh) | 一种基于深度学习的在线学习投入度识别方法及系统 | |
| CN107563327B (zh) | 一种基于自步反馈的行人重识别方法及系统 | |
| CN115719497A (zh) | 一种学生专注度识别方法及系统 | |
| Xiong et al. | SCMT: Self-Correction Mean Teacher for Semi-supervised Object Detection. | |
| CN113205163B (zh) | 数据标注方法及装置 | |
| Heng et al. | Anti-vibration hammer detection in UAV image | |
| CN113724233A (zh) | 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法 | |
| CN112418362B (zh) | 一种目标检测训练样本筛选方法 | |
| CN115049600A (zh) | 一种小样本管道缺陷智能识别系统及方法 | |
| CN113591508A (zh) | 基于人工智能目标识别的条码解码方法、装置及存储介质 | |
| CN112287895A (zh) | 用于河流排污口检测的模型构建方法、识别方法及系统 | |
| Zhang et al. | Abnormal behavior recognition of experimental process based on improved YOLOV4 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |