CN116664586A - 一种基于多模态特征融合的玻璃缺陷检测方法及系统 - Google Patents

一种基于多模态特征融合的玻璃缺陷检测方法及系统 Download PDF

Info

Publication number
CN116664586A
CN116664586A CN202310964498.2A CN202310964498A CN116664586A CN 116664586 A CN116664586 A CN 116664586A CN 202310964498 A CN202310964498 A CN 202310964498A CN 116664586 A CN116664586 A CN 116664586A
Authority
CN
China
Prior art keywords
glass
defect detection
image
detection network
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310964498.2A
Other languages
English (en)
Other versions
CN116664586B (zh
Inventor
李弋舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Shaoguang Core Material Technology Co ltd
Original Assignee
Changsha Shaoguang Core Material Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Shaoguang Core Material Technology Co ltd filed Critical Changsha Shaoguang Core Material Technology Co ltd
Priority to CN202310964498.2A priority Critical patent/CN116664586B/zh
Publication of CN116664586A publication Critical patent/CN116664586A/zh
Application granted granted Critical
Publication of CN116664586B publication Critical patent/CN116664586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本发明公开了一种基于多模态特征融合的玻璃缺陷检测方法及系统，包括：S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像；S2：提取预处理后的玻璃图像的边缘特征和深度特征；S3：对提取出的边缘特征和深度特征进行融合，获得融合特征；S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。本发明提供一种高效、准确且自动化的玻璃缺陷检测方法，应用于工业生产中，帮助生产企业提高产品质量和竞争力。

Description

一种基于多模态特征融合的玻璃缺陷检测方法及系统
技术领域
本发明涉及玻璃缺陷检测的技术领域，尤其涉及一种基于多模态特征融合的玻璃缺陷检测方法及系统。
背景技术
芯片加工工艺中，通常采用玻璃基板涂覆光刻胶进行蚀刻，因此对玻璃基板的要求特别高，玻璃基板在生产加工过程中可能会出现各种缺陷，如平整度、气泡、划痕、裂纹、白斑、白边等，这些缺陷会降低产品质量并影响其使用，等级较低的玻璃基板则在精度较差的加工艺中使用，价格也相应低很多。传统的玻璃缺陷检测方法主要依赖于人工视觉检查，这种方式费时费力且容易受到主观因素的影响，特别是当对玻璃基板的等级要求高时，肉眼是很难检测出其微小缺陷的。随着深度学习技术的发展，基于图像处理和深度学习的玻璃缺陷检测方法逐渐受到关注。传统方法大多依赖人工设计的特征，如边缘、形状、颜色等特征。这需要专业的领域知识，且不同的特征对各种缺陷的区分能力不同，扩展性差，不适用于新类型缺陷的检测。现有方法主要依赖单一模态的特征，如仅使用边缘特征或表面特征，容易导致漏检和误检。同时，单一特征难以全面描述复杂的缺陷模式。
发明内容
有鉴于此，本发明提供一种基于多模态特征融合的玻璃缺陷检测方法及系统，目的在于克服传统方法在玻璃缺陷检测中存在的单一特征提取、特征融合困难和参数优化困难等缺点，提供一种高效、准确且自动化的玻璃缺陷检测方法，应用于工业生产中，帮助生产企业提高产品质量和竞争力。
实现上述目的，本发明提供的一种基于多模态特征融合的玻璃缺陷检测方法，包括以下步骤：
S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像；
S2：提取预处理后的玻璃图像的边缘特征和深度特征；
S3：对提取出的边缘特征和深度特征进行融合，获得融合特征；
S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；
S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。
作为本发明的进一步改进方法：
可选地，所述S1步骤中获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像，包括：
S11：计算玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：
玻璃图像的低亮度区阈值和高亮度区阈值的计算公式为：
；
；
其中，和/>分别表示玻璃图像的最大值和最小值；/>和/>分别表示玻璃图像的低亮度区阈值和高亮度区阈值；/>为参考调整值，计算方式为：
；
其中，M和N分别表示玻璃图像的长和宽；，/>，/>表示玻璃图像在像素坐标/>处的像素值；/>；
基于计算得到的玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：
；
其中，，/>和/>分别代表玻璃图像的低、中、高亮度区域；
S12：对玻璃图像的三个亮度区域分别进行均衡化处理：
；
其中，，/>和/>分别代表均衡化后的玻璃图像的低、中、高亮度区域；/>，和/>分别代表玻璃图像的低、中、高亮度区域的最大值；/>，/>和/>分别代表低、中、高亮度区域的均衡系数；
合并均衡化后的三个亮度区域得到预处理后的玻璃图像：
；
其中，表示集合合并操作。
可选地，所述S2步骤中提取预处理后的玻璃图像的边缘特征和深度特征，包括：
S21： 边缘特征提取：
对预处理后的玻璃图像上的每一个像素，边缘特征的计算方式为：
；
其中，表示预处理后的玻璃图像以/>为中心/>范围内的像素值，/>表示以/>为中心/>范围内的像素的序号；/>表示预处理后的玻璃图像在像素坐标/>处的像素值；/>的计算方式为：
；
S22：深度特征提取：
利用ImageNet上训练过的VGG16模型作为深度学习特征提取器，获得预处理后的玻璃图像的深度特征图：
；
对深度特征图进行采样，使其尺寸与预处理后的玻璃图像保持一致，获得提取出的深度特征，所述采样的计算方式为：
；
其中，为深度特征图的像素坐标，/>，/>，/>和/>由下式计算得到：
。
可选地，所述S3步骤中对提取出的边缘特征和深度特征进行融合，获得融合特征，包括：
对提取出的边缘特征和深度特征进行多模态融合，所述多模态融合的计算方式为：
；
；
；
其中，表示向量拼接操作，e为自然数。
可选地，所述S4步骤中构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标，包括：
S41：构建玻璃缺陷检测网络：
基于Faster-RCNN框架构建玻璃缺陷检测网络，将S3中获得的多模态融合特征输入构建的网络中，得到网络预测的缺陷位置和缺陷类别：
；
其中，为构建的玻璃缺陷检测网络；/>为玻璃缺陷检测网络包含的参数；；/>表示玻璃缺陷检测网络检测出的不同缺陷的概率，/>为缺陷的种类数目；/>表示玻璃缺陷检测网络检测出的缺陷所在位置参数，/>，决定了缺陷所在位置的中心和外包围盒的长宽；
S42：设定玻璃缺陷检测网络的优化目标：
玻璃缺陷检测网络的优化目标由两部分构成，第一部分优化玻璃缺陷检测网络检测缺陷种类的能力：
；
其中，；/>为当前检测出的缺陷的真实缺陷类别，若玻璃缺陷检测网络检测出的缺陷类别与真实缺陷类别相同则为1，否则为0；
第二部分优化玻璃缺陷检测网络定位缺陷位置的能力：
；
其中，为缺陷所在真实的位置参数；/>的计算方式为：
；
最终的优化目标表示为：
。
可选地，所述S5步骤中基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数，包括：
基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数，所述改进的梯度下降方法为：
；
其中，为参数更新次数；/>为控制权重；/>，/>和/>的计算方式分别为：
；
；
；
其中，，/>和/>为前序参考权重；/>表示第/>次更新参数时的梯度，计算方式为：
；
完成玻璃缺陷检测网络参数的训练后，输入待检测玻璃图片，玻璃缺陷检测网络输出检测出的缺陷种类和位置。
本发明还公开了一种基于多模态特征融合的玻璃缺陷检测系统，包括：
图像预处理模块：获取玻璃图像，并对其进行均衡化；
特征提取模块模块：提取预处理后的玻璃图像的边缘特征和深度特征；
特征融合模块模块：对提取出的边缘特征和深度特征进行融合，获得融合特征；
网络构建模块：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；
网络训练模块：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。
有益效果
本发明采用边缘特征和深度特征相结合的方式进行特征融合。使用多模态特征可以充分挖掘图像中不同层次的信息，提高了玻璃缺陷检测的准确性和鲁棒性。
本发明使用改进的梯度下降方法和优化目标训练网络参数，实现了自动化的玻璃缺陷检测。用户无需手动调整特征提取和算法参数，降低了使用门槛，节省了人力和时间成本。
本发明通过综合边缘特征和深度特征的融合，并利用深度学习网络进行综合检测，能够对玻璃缺陷进行更全面、准确的检测和评估，提高了产品质量控制效率。
由于采用深度学习技术，本发明在进行特征提取和检测时能够高效处理大规模的图像数据，实现了快速的缺陷检测，适用于工业生产中高产量的场景。
本发明采用基于深度学习的特征提取和融合方式，相较于传统方法，在处理复杂图像和多样化缺陷时具备更高的技术先进性和检测精度。
综上所述，本发明的玻璃缺陷检测方法能够实现多模态特征融合、自动化检测、高效快速的优势，并通过深度学习的技术先进性提供更准确、全面的缺陷检测解决方案，适用于工业生产中的玻璃制品质量控制。
附图说明
图1为本发明一实施例的一种基于多模态特征融合的玻璃缺陷检测方法的流程示意图；
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
实施例1：一种基于多模态特征融合的玻璃缺陷检测方法，如图1所示，包括以下步骤：
S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像：
S11：计算玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：
玻璃图像的低亮度区阈值和高亮度区阈值的计算公式为：
；
；
其中，和/>分别表示玻璃图像的最大值和最小值；/>和/>分别表示玻璃图像的低亮度区阈值和高亮度区阈值；/>为参考调整值，计算方式为：
；
其中，M和N分别表示玻璃图像的长和宽；，/>，表示玻璃图像在像素坐标/>处的像素值；/>；
基于计算得到的玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：
；
其中，，/>和/>分别代表玻璃图像的低、中、高亮度区域；
S12：对玻璃图像的三个亮度区域分别进行均衡化处理：
；
其中，，/>和/>分别代表均衡化后的玻璃图像的低、中、高亮度区域；/>，和/>分别代表玻璃图像的低、中、高亮度区域的最大值；/>，/>和/>分别代表低、中、高亮度区域的均衡系数，本实施例中/>，/>，/>；
合并均衡化后的三个亮度区域得到预处理后的玻璃图像：
；
其中，表示集合合并操作；
均衡化可以增强图像的对比度，使得图像中的细节更加清晰可见，从而提高图像质量。在玻璃图像拍摄过程中，可能会受到光照条件的影响，导致图像亮度不均匀。均衡化能够消除光照差异，使得图像中的物体更加突出。均衡化能够平衡图像中的像素分布，从而减少图像中的噪声干扰，提高后续处理的准确性。经过均衡化处理后的图像，可以更好地突出玻璃表面的纹理和特征，有利于后续的特征提取和检测。
S2：提取预处理后的玻璃图像的边缘特征和深度特征：
S21： 边缘特征提取：
对预处理后的玻璃图像上的每一个像素，边缘特征的计算方式为：
；
其中，表示预处理后的玻璃图像以/>为中心/>范围内的像素值，/>表示以/>为中心/>范围内的像素的序号；/>表示预处理后的玻璃图像在像素坐标/>处的像素值；/>的计算方式为：
；
S22：深度特征提取：
利用ImageNet上训练过的VGG16模型作为深度学习特征提取器，获得预处理后的玻璃图像的深度特征图：
；
对深度特征图进行采样，使其尺寸与预处理后的玻璃图像保持一致，获得提取出的深度特征，所述采样的计算方式为：
；
其中，为深度特征图的像素坐标，/>，/>，/>和/>由下式计算得到：
。
边缘特征和深度学习特征分别从不同的角度提取图像信息。边缘特征可以捕捉图像中物体的边界和轮廓信息，而深度学习特征可以通过卷积神经网络学习到图像的高级特征表示，包含更丰富的语义信息。通过综合使用不同类型的特征，可以弥补单一特征在缺陷检测中的局限性，提高检测算法的鲁棒性和泛化能力。深度学习特征是通过网络自动学习得到的，能够根据任务和数据自适应地学习最优的特征表示，使得特征表达更具有区分性。深度学习特征具有较强的语义表达能力，可以将图像中的高级语义信息编码为特征，有助于对玻璃缺陷进行更深入和准确的理解。
S3：对提取出的边缘特征和深度特征进行融合，获得融合特征：
对提取出的边缘特征和深度特征进行多模态融合，所述多模态融合的计算方式为：
；
；
；
其中，表示向量拼接操作，e为自然数。
边缘特征和深度学习特征来自不同的特征提取方式，它们在信息表达上具有互补性。通过融合这两种特征，可以综合利用它们各自的优势，增加特征的多样性和丰富性。融合特征能够将不同类型的特征信息进行整合，从而获得更加综合和全面的图像表达。这有助于提高玻璃缺陷检测算法的表达能力，增强对缺陷的识别和定位能力。边缘特征和深度学习特征的融合可以加强特征的区分性，使得玻璃缺陷和背景之间的差异更加明显，有利于缺陷的精确检测和定位。通过融合特征，可以抑制图像中的冗余信息，减少干扰因素，提高缺陷检测的准确性和稳定性。
S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标：
S41：构建玻璃缺陷检测网络：
基于Faster-RCNN框架构建玻璃缺陷检测网络，将S3中获得的多模态融合特征输入构建的网络中，得到网络预测的缺陷位置和缺陷类别：
；
其中，为构建的玻璃缺陷检测网络；/>为玻璃缺陷检测网络包含的参数；；/>表示玻璃缺陷检测网络检测出的不同缺陷的概率，/>为缺陷的种类数目；/>表示玻璃缺陷检测网络检测出的缺陷所在位置参数，/>，决定了缺陷所在位置的中心和外包围盒的长宽；
S42：设定玻璃缺陷检测网络的优化目标：
玻璃缺陷检测网络的优化目标由两部分构成，第一部分优化玻璃缺陷检测网络检测缺陷种类的能力：
；
其中，；/>为当前检测出的缺陷的真实缺陷类别，若玻璃缺陷检测网络检测出的缺陷类别与真实缺陷类别相同则为1，否则为0；
第二部分优化玻璃缺陷检测网络定位缺陷位置的能力：
；
其中，为缺陷所在真实的位置参数；/>的计算方式为：
；
最终的优化目标表示为：
。
S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数：
基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数，所述改进的梯度下降方法为：
；
其中，为参数更新次数；/>为控制权重，本实施例中/>；/>，/>和/>的计算方式分别为：
；
；
；
其中，，/>和/>为前序参考权重，本实施例中/>，/>，；/>表示第/>次更新参数时的梯度，计算方式为：
；
完成玻璃缺陷检测网络参数的训练后，输入待检测玻璃图片，玻璃缺陷检测网络输出检测出的缺陷种类和位置。
改进的梯度下降方法能够更快地找到损失函数的最优解，从而加快网络参数的收敛速度。这样可以大幅减少训练时间，提高算法的效率。传统的梯度下降可能会陷入局部最优解，导致网络性能达不到最优。改进的梯度下降方法能够更好地避免这种问题，有助于找到全局最优解，提高了算法的稳定性和准确性。
实施例2：本发明还公开了一种基于多模态特征融合的玻璃缺陷检测系统，包括以下五个模块：
图像预处理模块：获取玻璃图像，并对其进行均衡化；
特征提取模块模块：提取预处理后的玻璃图像的边缘特征和深度特征；
特征融合模块模块：对提取出的边缘特征和深度特征进行融合，获得融合特征；
网络构建模块：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；
网络训练模块：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，包括以下步骤：
S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像；
S2：提取预处理后的玻璃图像的边缘特征和深度特征；
S3：对提取出的边缘特征和深度特征进行融合，获得融合特征；
S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；
S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。
2.根据权利要求1所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S1中，包括：
S11：计算玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：
玻璃图像的低亮度区阈值和高亮度区阈值的计算公式为：
；
；
其中，和/>分别表示玻璃图像的最大值和最小值；/>和/>分别表示玻璃图像的低亮度区阈值和高亮度区阈值；/>为参考调整值，计算方式为：
；
其中，M和N分别表示玻璃图像的长和宽；，/>，/>表示玻璃图像在像素坐标/>处的像素值；/>；
基于计算得到的玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：
；
其中，，/>和/>分别代表玻璃图像的低、中、高亮度区域；
S12：对玻璃图像的三个亮度区域分别进行均衡化处理：
；
其中，，/>和/>分别代表均衡化后的玻璃图像的低、中、高亮度区域；/>，/>和/>分别代表玻璃图像的低、中、高亮度区域的最大值；/>，/>和/>分别代表低、中、高亮度区域的均衡系数；
合并均衡化后的三个亮度区域得到预处理后的玻璃图像：
；
其中，表示集合合并操作。
3.根据权利要求2所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S2中，包括：
S21： 边缘特征提取：
对预处理后的玻璃图像上的每一个像素，边缘特征的计算方式为：
；
其中，表示预处理后的玻璃图像以/>为中心/>范围内的像素值，/>表示以为中心/>范围内的像素的序号；/>表示预处理后的玻璃图像在像素坐标/>处的像素值；/>的计算方式为：
；
S22：深度特征提取：
利用ImageNet上训练过的VGG16模型作为深度学习特征提取器，获得预处理后的玻璃图像的深度特征图：
；
对深度特征图进行采样，使其尺寸与预处理后的玻璃图像保持一致，获得提取出的深度特征，所述采样的计算方式为：
；
其中，为深度特征图的像素坐标，/>，/>，/>和/>由下式计算得到：
。
4.根据权利要求3所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S3中，包括：
对提取出的边缘特征和深度特征进行多模态融合，所述多模态融合的计算方式为：
；
；
；
其中，表示向量拼接操作，e为自然数。
5.根据权利要求4所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S4中，包括：
S41：构建玻璃缺陷检测网络：
基于Faster-RCNN框架构建玻璃缺陷检测网络，将S3中获得的多模态融合特征输入构建的网络中，得到网络预测的缺陷位置和缺陷类别：
；
其中，为构建的玻璃缺陷检测网络；/>为玻璃缺陷检测网络包含的参数；；/>表示玻璃缺陷检测网络检测出的不同缺陷的概率，/>为缺陷的种类数目；/>表示玻璃缺陷检测网络检测出的缺陷所在位置参数，/>，决定了缺陷所在位置的中心和外包围盒的长宽；
S42：设定玻璃缺陷检测网络的优化目标：
玻璃缺陷检测网络的优化目标由两部分构成，第一部分优化玻璃缺陷检测网络检测缺陷种类的能力：
；
其中，；/>为当前检测出的缺陷的真实缺陷类别，若玻璃缺陷检测网络检测出的缺陷类别与真实缺陷类别相同则为1，否则为0；
第二部分优化玻璃缺陷检测网络定位缺陷位置的能力：
；
其中，为缺陷所在真实的位置参数；/>的计算方式为：
；
最终的优化目标表示为：
。
6.根据权利要求5所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S5中，包括：
基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数，所述改进的梯度下降方法为：
；
其中，为参数更新次数；/>为控制权重；/>，/>和/>的计算方式分别为：
；
；
；
其中，，/>和/>为前序参考权重；/>表示第/>次更新参数时的梯度，计算方式为：
；
完成玻璃缺陷检测网络参数的训练后，输入待检测玻璃图片，玻璃缺陷检测网络输出检测出的缺陷种类和位置。
7.一种基于多模态特征融合的玻璃缺陷检测系统，其特征在于，包括：
图像预处理模块：获取玻璃图像，并对其进行均衡化；
特征提取模块模块：提取预处理后的玻璃图像的边缘特征和深度特征；
特征融合模块模块：对提取出的边缘特征和深度特征进行融合，获得融合特征；
网络构建模块：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；
网络训练模块：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数；
以实现如权利要求1-6任意一项所述的一种基于多模态特征融合的玻璃缺陷检测方法。
CN202310964498.2A 2023-08-02 2023-08-02 一种基于多模态特征融合的玻璃缺陷检测方法及系统 Active CN116664586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310964498.2A CN116664586B (zh) 2023-08-02 2023-08-02 一种基于多模态特征融合的玻璃缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310964498.2A CN116664586B (zh) 2023-08-02 2023-08-02 一种基于多模态特征融合的玻璃缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN116664586A true CN116664586A (zh) 2023-08-29
CN116664586B CN116664586B (zh) 2023-10-03

Family

ID=87710201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310964498.2A Active CN116664586B (zh) 2023-08-02 2023-08-02 一种基于多模态特征融合的玻璃缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116664586B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058125A (zh) * 2023-09-01 2023-11-14 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统
CN117274702A (zh) * 2023-09-27 2023-12-22 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1762975A2 (en) * 2005-09-09 2007-03-14 Delphi Technologies, Inc. Histogram equalization method for a vision-based occupant sensing system
KR20090113489A (ko) * 2008-04-28 2009-11-02 선문대학교 산학협력단 유리 기판의 결함 검사 방법
CN101996405A (zh) * 2010-08-30 2011-03-30 中国科学院计算技术研究所 一种快速的玻璃图像缺陷检测及分类方法及其装置
CN102930517A (zh) * 2012-11-30 2013-02-13 江苏技术师范学院 直方图均衡化图像增强方法
US20160187654A1 (en) * 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
WO2021098323A1 (zh) * 2019-11-19 2021-05-27 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN112907531A (zh) * 2021-02-09 2021-06-04 南京航空航天大学 一种多模态融合的铺丝机复合材料表面缺陷检测系统
WO2021135331A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN113658108A (zh) * 2021-07-22 2021-11-16 西南财经大学 一种基于深度学习的玻璃缺陷检测方法
CN113706468A (zh) * 2021-07-27 2021-11-26 河北光兴半导体技术有限公司 基于bp神经网络的玻璃缺陷检测方法
CN113888485A (zh) * 2021-09-23 2022-01-04 浙江工业大学 一种基于深度学习的磁芯表面缺陷的检测方法
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN114170174A (zh) * 2021-12-02 2022-03-11 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
US20220164957A1 (en) * 2020-11-23 2022-05-26 Xi'an Creation Keji Co., Ltd. Recognition method of intracranial vascular lesions based on transfer learning
CN114881915A (zh) * 2022-02-11 2022-08-09 西安电子科技大学 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
WO2022236876A1 (zh) * 2021-05-14 2022-11-17 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN115375639A (zh) * 2022-08-11 2022-11-22 国网江苏省电力有限公司盐城供电分公司 显著感知引导的电缆管道内部缺陷检测方法
CN115439458A (zh) * 2022-09-21 2022-12-06 征图新视(江苏)科技股份有限公司 基于深度图注意力的工业图像缺陷目标检测算法
CN115965816A (zh) * 2023-01-05 2023-04-14 无锡职业技术学院 基于深度学习的玻璃缺陷分类与检测方法及系统
CN116448769A (zh) * 2023-05-10 2023-07-18 南京林业大学 一种多模态信息融合的板材缺陷检测系统及其检测方法
CN116524313A (zh) * 2023-04-28 2023-08-01 中科超睿(青岛)技术有限公司 基于深度学习和多模态图像的缺陷检测方法及相关装置

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1762975A2 (en) * 2005-09-09 2007-03-14 Delphi Technologies, Inc. Histogram equalization method for a vision-based occupant sensing system
KR20090113489A (ko) * 2008-04-28 2009-11-02 선문대학교 산학협력단 유리 기판의 결함 검사 방법
CN101996405A (zh) * 2010-08-30 2011-03-30 中国科学院计算技术研究所 一种快速的玻璃图像缺陷检测及分类方法及其装置
US20160187654A1 (en) * 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
CN102930517A (zh) * 2012-11-30 2013-02-13 江苏技术师范学院 直方图均衡化图像增强方法
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
WO2021098323A1 (zh) * 2019-11-19 2021-05-27 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
US20220414856A1 (en) * 2019-11-19 2022-12-29 Tsinghua University A fabric defect detection method based on multi-modal deep learning
WO2021135331A1 (zh) * 2019-12-30 2021-07-08 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
US20220164957A1 (en) * 2020-11-23 2022-05-26 Xi'an Creation Keji Co., Ltd. Recognition method of intracranial vascular lesions based on transfer learning
CN112907531A (zh) * 2021-02-09 2021-06-04 南京航空航天大学 一种多模态融合的铺丝机复合材料表面缺陷检测系统
WO2022236876A1 (zh) * 2021-05-14 2022-11-17 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN113658108A (zh) * 2021-07-22 2021-11-16 西南财经大学 一种基于深度学习的玻璃缺陷检测方法
CN113706468A (zh) * 2021-07-27 2021-11-26 河北光兴半导体技术有限公司 基于bp神经网络的玻璃缺陷检测方法
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN113888485A (zh) * 2021-09-23 2022-01-04 浙江工业大学 一种基于深度学习的磁芯表面缺陷的检测方法
CN114170174A (zh) * 2021-12-02 2022-03-11 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
CN114881915A (zh) * 2022-02-11 2022-08-09 西安电子科技大学 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN115375639A (zh) * 2022-08-11 2022-11-22 国网江苏省电力有限公司盐城供电分公司 显著感知引导的电缆管道内部缺陷检测方法
CN115439458A (zh) * 2022-09-21 2022-12-06 征图新视(江苏)科技股份有限公司 基于深度图注意力的工业图像缺陷目标检测算法
CN115965816A (zh) * 2023-01-05 2023-04-14 无锡职业技术学院 基于深度学习的玻璃缺陷分类与检测方法及系统
CN116524313A (zh) * 2023-04-28 2023-08-01 中科超睿(青岛)技术有限公司 基于深度学习和多模态图像的缺陷检测方法及相关装置
CN116448769A (zh) * 2023-05-10 2023-07-18 南京林业大学 一种多模态信息融合的板材缺陷检测系统及其检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马晓雄等: "金属棒材表面缺陷的机器视觉检测方法研究", 《机械设计与制造》, no. 04 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058125A (zh) * 2023-09-01 2023-11-14 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统
CN117058125B (zh) * 2023-09-01 2024-03-15 无锡维凯科技有限公司 基于手机后盖玻璃的检测方法和系统
CN117274702A (zh) * 2023-09-27 2023-12-22 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统
CN117274702B (zh) * 2023-09-27 2024-03-29 湖南景为电子科技有限公司 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统

Also Published As

Publication number Publication date
CN116664586B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN116664586B (zh) 一种基于多模态特征融合的玻璃缺陷检测方法及系统
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN105069799A (zh) 一种角点定位方法及装置
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN110751606B (zh) 一种基于神经网络算法的泡沫图像处理方法及系统
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN116630802A (zh) 一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法
CN116228730A (zh) 基于改进YOLOv7的药片表面缺陷检测方法及系统
CN115170545A (zh) 一种动态熔池尺寸检测及成形方向判别方法
CN112967271B (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN113591850A (zh) 基于计算机视觉鲁棒性目标检测的两阶段商标检测法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN116843618A (zh) 一种金属零件浅显外观缺陷检测方法
CN111612802A (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
Li Metal surface defect detection based on few defect datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant