CN117252817A - 一种透明导电薄膜玻璃表面缺陷检测方法及系统 - Google Patents
一种透明导电薄膜玻璃表面缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117252817A CN117252817A CN202311111087.5A CN202311111087A CN117252817A CN 117252817 A CN117252817 A CN 117252817A CN 202311111087 A CN202311111087 A CN 202311111087A CN 117252817 A CN117252817 A CN 117252817A
- Authority
- CN
- China
- Prior art keywords
- convolution
- conductive film
- transparent conductive
- channel
- film glass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 154
- 239000011521 glass Substances 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及计算机视觉目标检测技术领域,特别是涉及一种透明导电薄膜玻璃表面缺陷检测方法及系统。包括将透明导电薄膜玻璃置于光源场型结构内;采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理;构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入缺陷检测模型的骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征;将表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征,预测透明导电薄膜玻璃的缺陷类别。本发明使用轻量化结构降低了模型的参数量、计算量,提高了模型预测准确率。
Description
技术领域
本发明涉及计算机视觉目标检测技术领域,特别是涉及一种透明导电薄膜玻璃表面缺陷检测方法及系统。
背景技术
透明导电薄膜玻璃在我们的生活中尤其是各类电子产品中应用极广,其产品在生产过程中会产生种类繁多的表面缺陷,因此表面缺陷检测技术对产品质量提升有着非常重要的意义,目前应用较广的检测技术为人工检测与基于机器视觉缺陷检测。基于人工检测的方法要求工作人员在较暗的环境下,利用强光源对玻璃缺陷进行识别,这种方法效率低,对人眼危害大,且不能满足生产线上的自动化生产。基于机器视觉技术的玻璃缺陷检测技术虽然可以弥补传统人工检测的不足,但是由于缺陷检测算法复杂,算法适应能力弱,检测结果易受外界环境干扰,高端技术被国外垄断,且价格高,因此难以满足中小企业需求。
目前,基于深度学习的缺陷检测算法通常具有大规模的网络参数和复杂的网络结构,算法检测速度慢,设备部署硬件配置成本高,无法达到广泛应用的要求。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种透明导电薄膜玻璃表面缺陷检测方法及系统,用于解决现有技术中的目前的算法检测速度慢,设备部署硬件配置成本高,无法达到广泛应用的要求问题。
为实现上述目的及其他相关目的,本发明提供一种透明导电薄膜玻璃表面缺陷检测方法,包括:
S1、设计明暗交替的光源场型结构,并将所述透明导电薄膜玻璃置于所述光源场型结构内;
S2、采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理;
S3、构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入所述缺陷检测模型的骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征;
S4、根据所述缺陷检测模型,将所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征,通过检测器预测透明导电薄膜玻璃的缺陷类别。
在本发明的一实施例中,所述缺陷检测模型为轻量化YOLOv5缺陷检测模型。
在本发明的一实施例中,步骤S1中,所述光源场型结构采用线性光源。
在本发明的一实施例中,步骤S2中,使用线扫相机实时采集透明导电薄膜玻璃的表面缺陷图片。
在本发明的一实施例中,所述表面缺陷数据集包括训练集、验证集、测试集,所述训练集、验证集、测试集的比例为7:1:2。
在本发明的一实施例中,步骤S3中的构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,提取表面缺陷数据集的深层与浅层特征包括:
S31、使用非对称重参数化深度可分离卷积替换YOLOv5中3×3下采样卷积,非对称重参数化深度可分离卷积的卷积核大小为(1,3)和(3,1);
S32、所述非对称重参数化深度可分离卷积包括逐通道卷积与逐点卷积,所述逐通道卷积与非对称卷积并联,将逐通道卷积卷积后的表面缺陷数据集叠加输入到下一层中,非对称卷积的卷积核大小为(1,3)和(3,1),所述非对称卷积与逐通道卷积对表面缺陷数据集的前四分之一连续通道进行卷积处理,卷积采用残差连接,当所述非对称重参数化深度可分离卷积为下采样卷积时,所述逐通道卷积中未做卷积的表面缺陷数据集通过平均池化将尺寸放大或缩小至原尺寸的一半,所述逐点卷积不使用残差连接,所述非对称重参数化深度可分离卷积只保留逐通道卷积和逐点卷积的主体结构,所述逐通道卷积的卷积核与所述非对称卷积融合,融合后卷积核为:
其中,Φ(·)函数表示将非对称卷积的卷积核尺寸扩大至逐通道卷积的卷积核的尺寸大小,表示融合后卷积核,k表示逐通道卷积的卷积核,kX、kY分别表示横向和纵向的非对称卷积的卷积核,i表示通道数,x、y表示卷积核横向和纵向长度,逐通道卷积与残差连接融合,将残差连接等效为卷积核尺寸为1×1,卷积核值为1的卷积核并与逐点卷积的卷积核融合,同时将所有卷积核归一化层叠加至卷积操作,其公式为:
其中,yi表示输出特征图,xi表示输入特征图,a、b分别表示卷积权重和偏置,γ、β表示可学习的参数,υ、σ2表示一个批次输入的均值和标准差,ε表示为了防止分母出现为0的情况。
在本发明的一实施例中,步骤S4中的所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征包括:
将表面缺陷数据集经过骨干网络下采样五次,将下采样第三次、第四次、第五次的表面缺陷数据集与所述颈部网络中的对应尺寸的特征图拼接融合后输入到检测器中。
在本发明的一实施例中,所述骨干网络和颈部网络主体部分分别由由位置敏感卷积构成的MetaFormer结构和轻量化结构组成,在骨干网络中由位置敏感卷积构建MetaFormer结构,MetaFormer结构包括空间部分和通道部分,空间部分中的位置敏感卷积使用非对称卷积结构并联,卷积核尺寸为(Kw,1),(1,Kh),其中,Kw和Kh分别表示特征图的宽和高,在训练过程中动态匹配所述特征图的宽和高,使用并联的位置敏感卷积代替空间部分中的自注意力机制,使所述骨干网络获得全局的感受野,所述通道部分包括前馈神经网络和注意力机制,在颈部网络主体部分中由位置敏感卷积构建Cross Stage Partial轻量化结构,所述轻量化结构的输入特征图为浅层和深层特征图的拼接,将所述输入特征图的前四分之一连续通道输入至由位置敏感卷积构成的瓶颈层,所述输入特征图的后四分之三连续通道输入至1×1卷积中,将经过由瓶颈层和1×1卷积的输入特征图拼接到一起,再输入至1×1卷积中,瓶颈层由卷积核尺寸为(Kw,1)、(1,Kh)的两个位置敏感卷积和1×1卷积构成。
在本发明的一实施例中,所述检测器采用非极大值抑制算法,将置信度和IoU作为判别缺陷类别和预测框的标准,得到检测器预测透明导电薄膜玻璃的缺陷类别。
本发明还提供一种透明导电薄膜玻璃表面缺陷检测系统,包括:
光源模块,用于设计明暗交替的光源场型结构,并将所述透明导电薄膜玻璃置于所述光源场型结构内;
预处理模块,用于采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理;
模型构建与特征提取模块,用于构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入所述缺陷检测模型的骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征;
缺陷类别获取模块,用于根据所述缺陷检测模型,将所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征,通过检测器预测透明导电薄膜玻璃的缺陷类别。
如上所述,本发明的一种透明导电薄膜玻璃表面缺陷检测方法及系统,具有以下有益效果:
本发明的透明导电薄膜玻璃表面缺陷检测方法以YOLOv5为基础,使用非对称重参数化深度可分离卷积,在推理时融合次要结构,降低了模型的参数量、计算量,使用非对称卷积结构提高了模型对目标旋转的鲁棒性,增加了模型的泛化能力。
本发明的透明导电薄膜玻璃表面缺陷检测方法以YOLOv5为基础,使用位置敏感卷积构建MetaFormer结构和轻量化结构,使网络可以获得全局的感受野,进一步降低了模型的参数量、计算量,提高了模型的准确率。
本发明的透明导电薄膜玻璃表面缺陷检测方法可帮助企业降低硬件部署成本,提升缺陷识别准确率,实现生产过程中在线自动化检测,节约人工成本。
附图说明
图1为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的流程图。
图2为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的非对称重参数化深度可分离卷积结构图。
图3为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的位置敏感卷积构成的MetaFormer结构图。
图4为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的位置敏感卷积构成的轻量化结构。
图5为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的YOLOv5网络结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,图1为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的流程图。本发明提供一种透明导电薄膜玻璃表面缺陷检测方法,包括:
S1、设计明暗交替的光源场型结构,并将所述透明导电薄膜玻璃置于所述光源场型结构内;
S2、采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理;
S3、构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入所述缺陷检测模型的骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征;
S4、根据所述缺陷检测模型,将所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征,通过检测器预测透明导电薄膜玻璃的缺陷类别。
具体的,步骤S2中,使用线扫相机实时采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用传统的数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理。
步骤S2中,通过线扫相机获取透明导电薄膜玻璃明场和暗场的表面缺陷图片,将图片按固定尺寸裁剪,构建原始透明导电薄膜玻璃表面缺陷数据集,按照气泡、水滴、结石、毛絮、划痕、水渍印六种缺陷对原始数据集分类,使用超分辨率对抗网络Enhanced Super-Resolution Generative Adversarial Networks对数据集进行图像增强,将分辨率扩大到原来的四倍,将数据集按7:1:2的比例划分为训练集、验证集、测试集,从旋转、池化、高斯噪声、缩放中随机采用两种算法叠加对训练集每张图片进行数据增广预处理。
步骤S3中,构造轻量化YOLOv5缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征。
步骤S4中,根据所述构造轻量化YOLOv5缺陷检测模型,将训练集输入轻量化检测模型中提取缺陷特征,通过检测器预测透明导电薄膜玻璃的缺陷类别。
本发明的透明导电薄膜玻璃表面缺陷检测方法主要检测气泡、水滴、结石、毛絮、划痕、水渍印六种缺陷,使用非对称重参数化深度可分离卷积及位置敏感卷积,降低了计算量、参数量,节约了硬件部署成本,提高了缺陷目标识别率。
具体的,步骤S3中的构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,提取表面缺陷数据集的深层与浅层特征包括:
S31、使用非对称重参数化深度可分离卷积替换YOLOv5中3×3下采样卷积,非对称重参数化深度可分离卷积的卷积核大小为(1,3)和(3,1);
S32、所述非对称重参数化深度可分离卷积包括逐通道卷积与逐点卷积,所述逐通道卷积与非对称卷积并联,将逐通道卷积卷积后的表面缺陷数据集叠加输入到下一层中,非对称卷积的卷积核大小为(1,3)和(3,1),所述非对称卷积与逐通道卷积对表面缺陷数据集的前四分之一连续通道进行卷积处理,卷积采用残差连接,当所述非对称重参数化深度可分离卷积为下采样卷积时,所述逐通道卷积中未做卷积的表面缺陷数据集通过平均池化将尺寸放大或缩小至原尺寸的一半,所述逐点卷积不使用残差连接,所述非对称重参数化深度可分离卷积只保留逐通道卷积和逐点卷积的主体结构,所述逐通道卷积的卷积核与所述非对称卷积融合,融合后卷积核为:
其中,Φ(·)函数表示将非对称卷积的卷积核尺寸扩大至逐通道卷积的卷积核的尺寸大小,表示融合后卷积核,k表示逐通道卷积的卷积核,kX、kY分别表示横向和纵向的非对称卷积的卷积核,i表示通道数,x、y表示卷积核横向和纵向长度,逐通道卷积与残差连接融合,将残差连接等效为卷积核尺寸为1×1,卷积核值为1的卷积核并与逐点卷积的卷积核融合,同时将所有卷积核归一化层叠加至卷积操作,其公式为:
其中,yi表示输出特征图,xi表示输入特征图,a、b分别表示卷积权重和偏置,γ、β表示可学习的参数,υ、σ2表示一个批次输入的均值和标准差,ε表示为了防止分母出现为0的情况。
请参阅图2,图2为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的非对称重参数化深度可分离卷积结构图。训练时非对称重参数化深度可分离卷积由逐通道卷积与逐点卷积组成,逐通道卷积与非对称卷积并联,将其卷积后的特征图叠加输入到下一层中,非对称卷积的卷积核大小为(1,3)和(3,1),非对称卷积与逐通道卷积仅对特征图前1/4连续通道进行卷积处理,逐点卷积使用残差连接,当非对称重参数化深度可分离卷积为下采样卷积时,逐通道卷积中未做卷积的部分通道特征图通过平均池化将尺寸放缩至原尺寸的一半,逐点卷积不使用残差连接,推理时非对称重参数化深度可分离卷积只保留逐通道卷积和逐点卷积主体结构,逐通道卷积的卷积核与非对称卷积核融合,逐通道卷积与残差连接融合,将残差连接等效为卷积核尺寸为1*1,卷积核值为1的卷积核并与逐点卷积卷积核融合,同时将所有卷积批归一化层叠加至卷积操作,将非对称重参数化深度可分离卷积替换骨干网络中卷积核为3*3的下采样卷积,并将骨干网络中第一个Cross StagePartial结构替换为非对称重参数化深度可分离卷积。
请参阅图3,图3为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的位置敏感卷积构成的MetaFormer结构图。骨干网络中由位置敏感卷积构建MetaFormer结构,MetaFormer由空间和通道两部分组成,空间部分中位置敏感卷积使用非对称卷积结构并联,卷积核尺寸为(Kw,1),(1,Kh),Kw和Kh分别代表特征图的宽和高,在训练过程中动态匹配特征图的宽和高,用并联的位置敏感卷积代替空间部分中的自注意力机制使骨干网络获得全局的感受野,通道部分由前馈神经网络和CA注意力机制构成,使用MetaFormer结构替换骨干网络中第二、三、四位置的Cross Stage Partial结构。
请参阅图4,图4为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的位置敏感卷积构成的轻量化结构。轻量化结构输入特征图为浅层和深层特征图的拼接,利用输入特征图前1/4连续通道输入至由位置敏感卷积构成的瓶颈层,输入特征图后四分之三连续通道输入1*1卷积中,将经由瓶颈层和1*1卷积的特征图特征图拼接到一起后输入到1*1卷积中,瓶颈层由卷积核尺寸为(Kw,1)、(1,Kh)的两个位置敏感卷积和1*1卷积构成,使用构造的轻量化结构替换特征融合层的Cross Stage Partial结构,融合浅层和深层的特征图特征。
请参阅图5,图5为本申请实施例提供的一种透明导电薄膜玻璃表面缺陷检测方法的YOLOv5网络结构图。模型训练使用SGD优化器,优化器动量设置为0.935,初始学习率设置为0.01,学习率迭代使用余弦退火模式,将epoch设置为250,batch_size设置为64,训练总共迭代约21000次,使用经过数据增强的数据集输入到骨干网络中训练,图片尺寸固定在640*640,图片经过骨干网络下采样五次,将下采样三次、四次、五次的特征图与颈部网络中的相对应尺寸特征图拼接融合后输入到检测器中,检测器使用非极大值抑制算法,将置信度和IoU作为判别缺陷类别和预测框的标准,检测器筛选出与其它预测框重叠程度不超过设定IoU值的预测框,得到最终的预测结果。
在本实施例中,本发明中采用改进后的网络与原网络及其它目标检测网络对比验证其性能,表1为模型结果对比。
表1:
本发明改进后的轻量化YOLOv5相比于原网络在mAP提升了1.7%,计算量和参数量分别下降63%(10G)、60%(8.7MB),检测时间下降29%,相比于YOLOv7、YOLOv7_tiny与YOLOv8s模型在计算量、参数量上都有优势,在图片尺寸相同时拥有最快的检测速度。
综上所述,本发明透明导电薄膜玻璃表面缺陷检测方法检测透明导电薄膜玻璃表面缺陷,通过非对称重参数化深度可分离卷积与位置敏感卷积构建轻量化结构,减少了模型的参数量、计算量,降低了模型的硬件部署成本,提升了模型缺陷识别准确率。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于,包括:
S1、设计明暗交替的光源场型结构,并将所述透明导电薄膜玻璃置于所述光源场型结构内;
S2、采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理;
S3、构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入所述缺陷检测模型的骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征;
S4、根据所述缺陷检测模型,将所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征,通过检测器预测透明导电薄膜玻璃的缺陷类别。
2.根据权利要求1所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于:所述缺陷检测模型为轻量化YOLOv5缺陷检测模型。
3.根据权利要求1所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于:步骤S1中,所述光源场型结构采用线性光源。
4.根据权利要求1所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于:步骤S2中,使用线扫相机实时采集透明导电薄膜玻璃的表面缺陷图片。
5.根据权利要求1所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于:所述表面缺陷数据集包括训练集、验证集、测试集,所述训练集、验证集、测试集的比例为7:1:2。
6.根据权利要求1所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于,步骤S3中的构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,提取表面缺陷数据集的深层与浅层特征包括:
S31、使用非对称重参数化深度可分离卷积替换YOLOv5中3×3下采样卷积,非对称重参数化深度可分离卷积的卷积核大小为(1,3)和(3,1);
S32、所述非对称重参数化深度可分离卷积包括逐通道卷积与逐点卷积,所述逐通道卷积与非对称卷积并联,将逐通道卷积卷积后的表面缺陷数据集叠加输入到下一层中,非对称卷积的卷积核大小为(1,3)和(3,1),所述非对称卷积与逐通道卷积对表面缺陷数据集的前四分之一连续通道进行卷积处理,卷积采用残差连接,当所述非对称重参数化深度可分离卷积为下采样卷积时,所述逐通道卷积中未做卷积的表面缺陷数据集通过平均池化将尺寸放大或缩小至原尺寸的一半,所述逐点卷积不使用残差连接,所述非对称重参数化深度可分离卷积只保留逐通道卷积和逐点卷积的主体结构,所述逐通道卷积的卷积核与所述非对称卷积融合,融合后卷积核为:
其中,Φ(·)函数表示将非对称卷积的卷积核尺寸扩大至逐通道卷积的卷积核的尺寸大小,表示融合后卷积核,k表示逐通道卷积的卷积核,kX、kY分别表示横向和纵向的非对称卷积的卷积核,i表示通道数,x、y表示卷积核横向和纵向长度,逐通道卷积与残差连接融合,将残差连接等效为卷积核尺寸为1×1,卷积核值为1的卷积核并与逐点卷积的卷积核融合,同时将所有卷积核归一化层叠加至卷积操作,其公式为:
其中,yi表示输出特征图,xi表示输入特征图,a、b分别表示卷积权重和偏置,γ、β表示可学习的参数,υ、σ2表示一个批次输入的均值和标准差,ε表示为了防止分母出现为0的情况。
7.根据权利要求6所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于,步骤S4中的所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征包括:
将表面缺陷数据集经过骨干网络下采样五次,将下采样第三次、第四次、第五次的表面缺陷数据集与所述颈部网络中的对应尺寸的特征图拼接融合后输入到检测器中。
8.根据权利要求7所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于:所述骨干网络和颈部网络主体部分分别由由位置敏感卷积构成的MetaFormer结构和轻量化结构组成,在骨干网络中由位置敏感卷积构建MetaFormer结构,MetaFormer结构包括空间部分和通道部分,空间部分中的位置敏感卷积使用非对称卷积结构并联,卷积核尺寸为(Kw,1),(1,Kh),其中,Kw和Kh分别表示特征图的宽和高,在训练过程中动态匹配所述特征图的宽和高,使用并联的位置敏感卷积代替空间部分中的自注意力机制,使所述骨干网络获得全局的感受野,所述通道部分包括前馈神经网络和注意力机制,在颈部网络主体部分中由位置敏感卷积构建Cross Stage Partial轻量化结构,所述轻量化结构的输入特征图为浅层和深层特征图的拼接,将所述输入特征图的前四分之一连续通道输入至由位置敏感卷积构成的瓶颈层,所述输入特征图的后四分之三连续通道输入至1×1卷积中,将经过由瓶颈层和1×1卷积的输入特征图拼接到一起,再输入至1×1卷积中,瓶颈层由卷积核尺寸为(Kw,1)、(1,Kh)的两个位置敏感卷积和1×1卷积构成。
9.根据权利要求8所述的一种透明导电薄膜玻璃表面缺陷检测方法,其特征在于:所述检测器采用非极大值抑制算法,将置信度和IoU作为判别缺陷类别和预测框的标准,得到检测器预测透明导电薄膜玻璃的缺陷类别。
10.一种透明导电薄膜玻璃表面缺陷检测系统,其特征在于,包括:
光源模块,用于设计明暗交替的光源场型结构,并将所述透明导电薄膜玻璃置于所述光源场型结构内;
预处理模块,用于采集透明导电薄膜玻璃的表面缺陷图片,构建透明导电薄膜玻璃的表面缺陷数据集,利用数据增强算法及超分辨率对抗网络对表面缺陷数据集进行预处理;
模型构建与特征提取模块,用于构造缺陷检测模型,采用重参数化卷积对数据集进行下采样,将位置敏感卷积模块融入所述缺陷检测模型的骨干网络和颈部网络,提取表面缺陷数据集的深层与浅层特征;
缺陷类别获取模块,用于根据所述缺陷检测模型,将所述表面缺陷数据集的深层与浅层特征输入至轻量化检测模型中提取缺陷特征,通过检测器预测透明导电薄膜玻璃的缺陷类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311111087.5A CN117252817A (zh) | 2023-08-31 | 2023-08-31 | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311111087.5A CN117252817A (zh) | 2023-08-31 | 2023-08-31 | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117252817A true CN117252817A (zh) | 2023-12-19 |
Family
ID=89135977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311111087.5A Pending CN117252817A (zh) | 2023-08-31 | 2023-08-31 | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117252817A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789153A (zh) * | 2024-02-26 | 2024-03-29 | 浙江驿公里智能科技有限公司 | 基于计算机视觉的汽车油箱外盖定位系统及方法 |
-
2023
- 2023-08-31 CN CN202311111087.5A patent/CN117252817A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789153A (zh) * | 2024-02-26 | 2024-03-29 | 浙江驿公里智能科技有限公司 | 基于计算机视觉的汽车油箱外盖定位系统及方法 |
CN117789153B (zh) * | 2024-02-26 | 2024-05-03 | 浙江驿公里智能科技有限公司 | 基于计算机视觉的汽车油箱外盖定位系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
CN109241982B (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
Zhang et al. | Deep hierarchical guidance and regularization learning for end-to-end depth estimation | |
CN110555842A (zh) | 一种基于锚点集优化的硅片图像缺陷检测方法 | |
CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
Cui et al. | Improved swin transformer-based semantic segmentation of postearthquake dense buildings in urban areas using remote sensing images | |
CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
US20220366682A1 (en) | Computer-implemented arrangements for processing image having article of interest | |
CN117252817A (zh) | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 | |
CN111612717A (zh) | 一种基于对抗网络的水面图像去反光修复方法和装置 | |
CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备 | |
CN116703919A (zh) | 一种基于最优传输距离损失模型的表面杂质检测方法 | |
CN115439669A (zh) | 基于深度学习的特征点检测网络及跨分辨率图像匹配方法 | |
CN110660048A (zh) | 一种基于形状特征的皮革表面缺陷检测算法 | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN113538342A (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 | |
CN113763261B (zh) | 一种海雾气象条件下的远小目标实时检测方法 | |
CN113034432B (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
CN115661451A (zh) | 一种深度学习单帧红外弱小目标高分辨率分割方法 | |
CN115578256A (zh) | 一种无人机航拍绝缘子红外视频全景拼接方法及系统 | |
CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及系统 | |
CN114581448B (zh) | 图像检测方法、装置、终端设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |