CN117576109B - 一种缺陷检测方法、装置、设备及存储介质 - Google Patents

一种缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117576109B
CN117576109B CN202410078027.6A CN202410078027A CN117576109B CN 117576109 B CN117576109 B CN 117576109B CN 202410078027 A CN202410078027 A CN 202410078027A CN 117576109 B CN117576109 B CN 117576109B
Authority
CN
China
Prior art keywords
defect detection
defect
image
channel
channel group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410078027.6A
Other languages
English (en)
Other versions
CN117576109A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202410078027.6A priority Critical patent/CN117576109B/zh
Publication of CN117576109A publication Critical patent/CN117576109A/zh
Application granted granted Critical
Publication of CN117576109B publication Critical patent/CN117576109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种缺陷检测方法、装置、设备及存储介质，涉及缺陷检测技术领域，用于解决无法获取全局上下文信息，而使得缺陷检测精度低的问题。该方法包括：通过图像采集设备，获得原始缺陷图像；将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果；其中，所述训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器。因此，可以通过获取完整的全局上下文信息，来提高缺陷检测精度。

Description

一种缺陷检测方法、装置、设备及存储介质
技术领域
本申请涉及缺陷检测技术领域，提供一种缺陷检测方法、装置、设备及存储介质。
背景技术
针对现有的目标检测任务，常会出现目标与场景之间具有较大的尺度差异、不同目标类别之间具有较高相似性以及同类别目标之间形态变化较大等问题，进而，基于这些问题，导致目标经常在不同场景下出现结果不一致以及定位不准确的问题。此外，由于特征提取网络的卷积核感受野的局限性，使得特征提取网络无法有效捕获全局上下文信息。且近年来为了获取更大的局部信息，常会在特征提取网络中设计多种不同的卷积核尺寸，进而，导致引入了额外参数并增加了计算开销。
因此，如何获取全局上下文信息，以提高缺陷检测精度是目前亟待解决的问题。
发明内容
本申请实施例提供一种缺陷检测方法、装置、设备及存储介质，用于解决无法获取全局上下文信息，而使得缺陷检测精度低的问题。
一方面，提供一种缺陷检测方法，所述方法包括：
通过图像采集设备，获得原始缺陷图像；
将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果；其中，所述训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器。
本申请的有益效果为：由于训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器，因此，在本申请中，可以通过采用组合的全局卷积网络模块和快速卷积网络模块，取代标准卷积结构，来扩大滤波器感受野，增强语义相关性，减少模型参数量，从而，通过获取完整的全局上下文信息，来提高缺陷检测精度。
在一种实现方式中，所述将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果的步骤，包括：
根据所述通道划分模块，对所述原始缺陷图像进行通道划分，获得第一通道组和第二通道组；其中，所述第一通道组和所述第二通道组均对应多个通道；
根据所述全局卷积网络模块，对所述第一通道组中的多个通道进行全局卷积，获得多个第一图像特征；
根据所述快速卷积网络模块，对所述第二通道组中的多个通道进行快速卷积，获得多个第二图像特征；
根据所述残差模块，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得特征拼接结果；
根据所述分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果。
本申请的有益效果为：由于在进行缺陷检测时，具体将原始缺陷图像的输入通道划分为了第一通道组和第二通道组，且采用全局卷积网络模块对第一通道组，采用快速卷积网络模块对第二通道组，最后，将两组卷积结果进行拼接，以获得完整的全局上下文信息，来进一步提高缺陷检测精度。
在一种实现方式中，所述根据所述通道划分模块，对所述原始缺陷图像进行通道划分，获得第一通道组和第二通道组的步骤，包括：
根据所述通道划分模块，对所述原始缺陷图像的输入特征矩阵进行通道划分，获得所述第一通道组和所述第二通道组。
本申请的有益效果为：由于将原始缺陷图像的输入特征矩阵划分为了两组，因此，在后续进行卷积时，不仅可以减少模型参数量，还可以使随机梯度下降，从而，使得训练好的缺陷检测模型更加高效。
在一种实现方式中，所述根据所述全局卷积网络模块，对所述第一通道组中的多个通道进行全局卷积，获得多个第一图像特征的步骤，包括：
针对所述第一通道组中的任一个通道，根据所述全局卷积网络模块和所述任一个通道对应的通道索引，将网格采样滑动窗移动到相应的坐标位置；
在所述坐标位置上，采用滤波器捕获全局上下文信息，获得所述任一个通道对应的第一图像特征。
本申请的有益效果为：由于在使用全局卷积网络模块时，采用了采样位置依赖于空间坐标和不同通道的思路，因此，在本申请中，可以将全局上下文信息集成在每个像素的原始位置信息中，从而，可以使得训练好的缺陷检测模型获取更好的密集预测结果。
在一种实现方式中，所述根据所述快速卷积网络模块，对所述第二通道组中的多个通道进行快速卷积，获得多个第二图像特征的步骤，包括：
根据所述快速卷积网络模块，从所述第二通道组中的多个通道中确定出目标连续通道；
对所述连续通道进行快速卷积，获得所述多个第二图像特征。
本申请的有益效果为：由于是采用快速卷积网络模块对第二通道组中的目标连续通道进行快速卷积，因此，在本申请中，针对不同通道之间存在较大的特征冗余，可以通过将连续通道视为整个特征图的代表进行计算，以大大避免特征冗余现象，从而，进一步提高缺陷检测精度。
在一种实现方式中，所述根据所述残差模块，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得特征拼接结果的步骤，包括：
依次采用所述残差模块中包括的多个卷积层、批量归一化层、激活函数和残差连接，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得所述特征拼接结果。
本申请的有益效果为：由于通过残差模块来对两组通道的图像特征进行拼接，因此，在本申请中，不仅可以提高模型的收敛速度、减少训练时间和计算资源的消耗，还可以增强空间位置信息。
在一种实现方式中，所述根据所述分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果的步骤，包括：
根据K近邻分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果。
本申请的有益效果为：由于是采用K近邻分类器来进行缺陷分类，因此，在本申请中，可以更加简单高效的对缺陷进行分类。
在一种实现方式中，在将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果之前，所述方法还包括：
通过图像采集设备，获取多张实时原始缺陷图像；
将所述多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集；
采用所述训练集、测试集和验证集对原始缺陷检测模型进行训练，获得训练好的缺陷检测模型。
本申请的有益效果为：由于是采用实时的原始缺陷图像，来对原始缺陷检测模型进行训练，因此，在本申请中，可以使训练好的缺陷检测模型更符合当前的实际情况，更具有实时性。
在一种实现方式中，在将所述多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集之前，所述方法还包括：
对所述多张实时原始缺陷图像进行几何变换和颜色变换，获得多张预处理后的缺陷图像；其中，所述几何变换包括翻转、旋转、裁剪、变形和缩放；所述颜色变换包括模糊、擦除、填充、亮度增强；
则，所述将所述多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集的步骤，包括：
将所述多张预处理后的缺陷图像按照预设比例，获得训练集、测试集和验证集。
本申请的有益效果为：由于对原始缺陷图像进行了各种几何变换和颜色变换等操作，因此，在本申请中，可以通过增强原始缺陷图像的质量，来大大减少原始缺陷图像中的噪声，以进一步提高训练好的缺陷检测模型的缺陷检测精度。
一方面，提供一种缺陷检测装置，所述装置包括：
缺陷图像获得单元，用于通过图像采集设备，获得原始缺陷图像；
缺陷检测结果输出单元，用于将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果；其中，所述训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器。
一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法。
一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的缺陷检测方法的一种流程示意图；
图3为本申请实施例提供的缺陷检测装置的一种示意图。
图中标记：10-缺陷检测设备，101-处理器，102-存储器，103-I/O接口，104-数据库，30-缺陷检测装置，301-缺陷图像获得单元，302-缺陷检测结果输出单元，303-模型训练单元，304-图像预处理单元。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
针对现有的目标检测任务，常会出现目标与场景之间具有较大的尺度差异、不同目标类别之间具有较高相似性以及同类别目标之间形态变化较大等问题，进而，基于这些问题，导致目标经常在不同场景下出现结果不一致以及定位不准确的问题。此外，由于特征提取网络的卷积核感受野的局限性，使得特征提取网络无法有效捕获全局上下文信息。且近年来为了获取更大的局部信息，常会在特征提取网络中设计多种不同的卷积核尺寸，进而，导致引入了额外参数并增加了计算开销。
基于此，本申请实施例提供一种缺陷检测方法，在该方法中，可以通过图像采集设备，来获得原始缺陷图像；然后，可以将原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，来输出预测的缺陷检测结果；其中，训练好的缺陷检测模型中可以包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器。因此，在本申请实施例中，由于训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器，因此，在本申请中，可以通过采用组合的全局卷积网络模块和快速卷积网络模块，取代标准卷积结构，来扩大滤波器感受野，增强语义相关性，减少模型参数量，从而，通过获取完整的全局上下文信息，来提高缺陷检测精度。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
如图1所示，为本申请实施例提供的一种应用场景示意图。该应用场景中可以包括缺陷检测设备10。
其中，缺陷检测设备10可以用于对图像进行缺陷检测，例如，可以为车载电脑、个人计算机（Personal Computer，PC）、服务器与手提电脑等。缺陷检测设备10可包括一个或者多个处理器101、存储器102、I/O接口103以及数据库104。具体的，处理器101可以为中央处理单元（central processing unit，CPU），或者为数字处理单元等等。存储器102可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器102也可以是非易失性存储器（non-volatile memory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器102可以是上述存储器的组合。存储器102中可以存储本申请实施例提供的缺陷检测方法的部分程序指令，这些程序指令被处理器101执行时能够用以实现本申请实施例提供的缺陷检测方法的步骤，以解决无法获取全局上下文信息，而使得缺陷检测精度低的问题。数据库104可以用于存储本申请实施例提供的方案中涉及到的原始缺陷图像、缺陷检测结果、第一图像特征、第二图像特征和特征拼接结果等数据。
在本申请实施例中，缺陷检测设备10可以通过I/O接口103获取原始缺陷图像，然后，缺陷检测设备10的处理器101会按照存储器102中本申请实施例提供的缺陷检测方法的程序指令来解决无法获取全局上下文信息，而使得缺陷检测精度低的问题。此外，还可以将原始缺陷图像、缺陷检测结果、第一图像特征、第二图像特征和特征拼接结果等数据存储于数据库104中。
当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。下面，将结合附图对本申请实施例的方法进行介绍。
如图2所示，为本申请实施例提供的缺陷检测方法的一种流程示意图，该方法可以通过图1中的缺陷检测设备10来执行，具体的，该方法的流程介绍如下。
步骤201：通过图像采集设备，获得原始缺陷图像。
为了提高缺陷检测的精度，在本申请实施例中，在进行缺陷检测之前，首先，可以通过图像采集设备，来获得原始缺陷图像。其中，该图像采集设备可以使用工业相机、定焦镜头、光源系统、传感器以及支架等进行搭建。
步骤202：将原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果。
在本申请实施例中，训练好的缺陷检测模型中可以包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器。
进而，在获取到原始缺陷图像之后，为了获得预测的缺陷检测结果，在本申请实施例中，可以直接将原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，以输出预测的缺陷检测结果。
基于此，由于训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器，因此，在本申请中，可以通过采用组合的全局卷积网络模块和快速卷积网络模块，取代标准卷积结构，来扩大滤波器感受野，增强语义相关性，减少模型参数量，从而，通过获取完整的全局上下文信息，来提高缺陷检测精度。
在一种可能的实施方式中，为了进一步提高缺陷检测精度，在本申请实施例中，在将原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果时，具体的，首先，可以根据通道划分模块，来对原始缺陷图像进行通道划分，以获得第一通道组和第二通道组；其中，第一通道组和第二通道组均对应多个通道；然后，可以根据全局卷积网络模块，来对第一通道组中的多个通道进行全局卷积，以获得多个第一图像特征；接下来，可以根据快速卷积网络模块，来对第二通道组中的多个通道进行快速卷积，以获得多个第二图像特征；然后，可以根据残差模块，来对多个第一图像特征和多个第二图像特征进行拼接处理，以获得特征拼接结果；最后，可以根据分类器，来对特征拼接结果进行分类预测，以输出预测的缺陷检测结果。
进而，由于在进行缺陷检测时，具体将原始缺陷图像的输入通道划分为了第一通道组和第二通道组，且采用全局卷积网络模块对第一通道组，采用快速卷积网络模块对第二通道组，最后，将两组卷积结果进行拼接，以获得完整的全局上下文信息，来进一步提高缺陷检测精度。
在一种可能的实施方式中，为了使得训练好的缺陷检测模型更加高效，在本申请实施例中，在根据通道划分模块，来对原始缺陷图像进行通道划分，以获得第一通道组和第二通道组时，具体可以根据通道划分模块，来对原始缺陷图像的输入特征矩阵进行通道划分，以获得第一通道组和第二通道组，在实际应用中，可以对原始缺陷图像的输入特征矩阵的多个通道进行平均划分，来获得第一通道组和第二通道组。
进而，由于将原始缺陷图像的输入特征矩阵划分为了两组，因此，在后续进行卷积时，不仅可以减少模型参数量，还可以使随机梯度下降，从而，使得训练好的缺陷检测模型更加高效。
在一种可能的实施方式中，在根据全局卷积网络模块，对第一通道组中的多个通道进行全局卷积，获得多个第一图像特征时，针对第一通道组中的任一个通道，可以根据全局卷积网络模块和任一个通道对应的通道索引，来将网格采样滑动窗（例如，3×3的网格采样滑动窗）移动到相应的坐标位置，即，可以根据通道索引将网格采样位置移动到不同的坐标位置上；然后，在该坐标位置上，可以采用滤波器（该滤波器可以采用1×1的卷积核来获取全局视野）捕获全局上下文信息，来获得任一个通道对应的第一图像特征。
进而，由于在使用全局卷积网络模块时，采用了采样位置依赖于空间坐标和不同通道的思路，因此，在本申请中，可以将全局上下文信息集成在每个像素的原始位置信息中，从而，可以使得训练好的缺陷检测模型获取更好的密集预测结果。
在一种可能的实施方式中，为了进一步提高缺陷检测精度，在本申请实施例中，在根据快速卷积网络模块，对第二通道组中的多个通道进行快速卷积，获得多个第二图像特征时，具体可以根据快速卷积网络模块，来从第二通道组中的多个通道中确定出目标连续通道；然后，可以对连续通道进行快速卷积，来获得多个第二图像特征。
进而，由于是采用快速卷积网络模块对第二通道组中的目标连续通道进行快速卷积，因此，在本申请中，针对不同通道之间存在较大的特征冗余，可以通过将连续通道视为整个特征图的代表进行计算，以大大避免特征冗余现象，从而，进一步提高缺陷检测精度。
在一种可能的实施方式中，在根据残差模块，对多个第一图像特征和多个第二图像特征进行拼接处理，获得特征拼接结果时，具体可以依次采用残差模块中包括的多个卷积层、批量归一化层、激活函数和残差连接，来对多个第一图像特征和多个第二图像特征进行拼接处理，以获得特征拼接结果，在实际应用中，拼接处理可以为“重叠操作”。
进而，由于通过残差模块来对两组通道的图像特征进行拼接，因此，在本申请中，不仅可以提高模型的收敛速度、减少训练时间和计算资源的消耗，还可以增强空间位置信息。
在一种可能的实施方式中，为了更加简单高效的对缺陷进行分类，在本申请实施例中，在根据分类器，对特征拼接结果进行分类预测，输出预测的缺陷检测结果时，具体可以根据K近邻分类器，来对特征拼接结果进行分类预测，以输出预测的缺陷检测结果。
进而，由于是采用K近邻分类器来进行缺陷分类，因此，在本申请中，可以更加简单高效的对缺陷进行分类。
在一种可能的实施方式中，为了使训练好的缺陷检测模型更符合当前的实际情况、更具有实时性，在本申请实施例中，在将原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果之前，还可以采用实时采集的缺陷图像来对原始缺陷检测模型进行训练，以获得训练好的缺陷检测模型。
具体的，首先，可以通过图像采集设备，来获取多张实时原始缺陷图像；然后，可以将多张实时原始缺陷图像按照预设比例，来获得训练集、测试集和验证集；最后，可以采用训练集、测试集和验证集对原始缺陷检测模型进行训练，来获得训练好的缺陷检测模型。
进而，由于是采用实时的原始缺陷图像，来对原始缺陷检测模型进行训练，因此，在本申请中，可以使训练好的缺陷检测模型更符合当前的实际情况，更具有实时性。
在一种可能的实施方式中，为了进一步提高训练好的缺陷检测模型的缺陷检测精度，在本申请实施例中，在将多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集之前，还可以对多张实时原始缺陷图像进行预处理。
具体的，首先，可以对多张实时原始缺陷图像进行几何变换和颜色变换，来获得多张预处理后的缺陷图像；其中，几何变换可以包括翻转、旋转、裁剪、变形和缩放；颜色变换可以包括模糊、擦除、填充、亮度增强。
基于此，在将多张实时原始缺陷图像按照预设比例，来获得训练集、测试集和验证集时，具体可以将多张预处理后的缺陷图像按照预设比例，来获得训练集、测试集和验证集。
进而，由于对原始缺陷图像进行了各种几何变换和颜色变换等操作，因此，在本申请中，可以通过增强原始缺陷图像的质量，来大大减少原始缺陷图像中的噪声，以进一步提高训练好的缺陷检测模型的缺陷检测精度。
综上所述，在本申请实施例中，由于训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器，因此，在本申请中，可以通过采用组合的全局卷积网络模块和快速卷积网络模块，取代标准卷积结构，来扩大滤波器感受野，增强语义相关性，减少模型参数量，从而，通过获取完整的全局上下文信息，来提高缺陷检测精度。
基于同一发明构思，本申请实施例提供一种缺陷检测装置30，如图3所示，该缺陷检测装置30包括：
缺陷图像获得单元301，用于通过图像采集设备，获得原始缺陷图像；
缺陷检测结果输出单元302，用于将原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果；其中，训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器。
在一种实现方式中，缺陷检测结果输出单元302，还用于：
根据通道划分模块，对原始缺陷图像进行通道划分，获得第一通道组和第二通道组；其中，第一通道组和第二通道组均对应多个通道；
根据全局卷积网络模块，对第一通道组中的多个通道进行全局卷积，获得多个第一图像特征；
根据快速卷积网络模块，对第二通道组中的多个通道进行快速卷积，获得多个第二图像特征；
根据残差模块，对多个第一图像特征和多个第二图像特征进行拼接处理，获得特征拼接结果；
根据分类器，对特征拼接结果进行分类预测，输出预测的缺陷检测结果。
在一种实现方式中，缺陷检测结果输出单元302，还用于：
根据通道划分模块，对原始缺陷图像的输入特征矩阵进行通道划分，获得第一通道组和第二通道组。
在一种实现方式中，缺陷检测结果输出单元302，还用于：
针对第一通道组中的任一个通道，根据全局卷积网络模块和任一个通道对应的通道索引，将网格采样滑动窗移动到相应的坐标位置；
在坐标位置上，采用滤波器捕获全局上下文信息，获得任一个通道对应的第一图像特征。
在一种实现方式中，缺陷检测结果输出单元302，还用于：
根据快速卷积网络模块，从第二通道组中的多个通道中确定出目标连续通道；
对连续通道进行快速卷积，获得多个第二图像特征。
在一种实现方式中，缺陷检测结果输出单元302，还用于：
依次采用残差模块中包括的多个卷积层、批量归一化层、激活函数和残差连接，对多个第一图像特征和多个第二图像特征进行拼接处理，获得特征拼接结果。
在一种实现方式中，缺陷检测结果输出单元302，还用于：
根据K近邻分类器，对特征拼接结果进行分类预测，输出预测的缺陷检测结果。
在一种实现方式中，该缺陷检测装置30还包括模型训练单元303，模型训练单元303，用于：
通过图像采集设备，获取多张实时原始缺陷图像；
将多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集；
采用训练集、测试集和验证集对原始缺陷检测模型进行训练，获得训练好的缺陷检测模型。
在一种实现方式中，该缺陷检测装置30还包括图像预处理单元304，图像预处理单元304，用于：
对多张实时原始缺陷图像进行几何变换和颜色变换，获得多张预处理后的缺陷图像；其中，几何变换包括翻转、旋转、裁剪、变形和缩放；颜色变换包括模糊、擦除、填充、亮度增强；
则，将多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集的步骤，包括：
将多张预处理后的缺陷图像按照预设比例，获得训练集、测试集和验证集。
该缺陷检测装置30可以用于执行图2所示的实施例中所执行的方法，因此，对于该缺陷检测装置30的各功能模块所能够实现的功能等可参考图2所示的实施例的描述，不多赘述。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图2所示的实施例中所执行的方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种缺陷检测方法，其特征在于，所述方法包括：
通过图像采集设备，获得原始缺陷图像；
将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果；其中，所述训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器；所述将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果的步骤，包括：根据所述通道划分模块，对所述原始缺陷图像进行通道划分，获得第一通道组和第二通道组；其中，所述第一通道组和所述第二通道组均对应多个通道；根据所述全局卷积网络模块，对所述第一通道组中的多个通道进行全局卷积，获得多个第一图像特征；根据所述快速卷积网络模块，对所述第二通道组中的多个通道进行快速卷积，获得多个第二图像特征；根据所述残差模块，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得特征拼接结果；根据所述分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果。
2.如权利要求1所述的方法，其特征在于，所述根据所述通道划分模块，对所述原始缺陷图像进行通道划分，获得第一通道组和第二通道组的步骤，包括：
根据所述通道划分模块，对所述原始缺陷图像的输入特征矩阵进行通道划分，获得所述第一通道组和所述第二通道组。
3.如权利要求1所述的方法，其特征在于，所述根据所述全局卷积网络模块，对所述第一通道组中的多个通道进行全局卷积，获得多个第一图像特征的步骤，包括：
针对所述第一通道组中的任一个通道，根据所述全局卷积网络模块和所述任一个通道对应的通道索引，将网格采样滑动窗移动到相应的坐标位置；
在所述坐标位置上，采用滤波器捕获全局上下文信息，获得所述任一个通道对应的第一图像特征。
4.如权利要求1所述的方法，其特征在于，所述根据所述快速卷积网络模块，对所述第二通道组中的多个通道进行快速卷积，获得多个第二图像特征的步骤，包括：
根据所述快速卷积网络模块，从所述第二通道组中的多个通道中确定出目标连续通道；
对所述连续通道进行快速卷积，获得所述多个第二图像特征。
5.如权利要求1所述的方法，其特征在于，所述根据所述残差模块，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得特征拼接结果的步骤，包括：
依次采用所述残差模块中包括的多个卷积层、批量归一化层、激活函数和残差连接，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得所述特征拼接结果。
6.如权利要求1所述的方法，其特征在于，所述根据所述分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果的步骤，包括：
根据K近邻分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果。
7.如权利要求1所述的方法，其特征在于，在将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果之前，所述方法还包括：
通过图像采集设备，获取多张实时原始缺陷图像；
将所述多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集；
采用所述训练集、测试集和验证集对原始缺陷检测模型进行训练，获得训练好的缺陷检测模型。
8.如权利要求7所述的方法，其特征在于，在将所述多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集之前，所述方法还包括：
对所述多张实时原始缺陷图像进行几何变换和颜色变换，获得多张预处理后的缺陷图像；其中，所述几何变换包括翻转、旋转、裁剪、变形和缩放；所述颜色变换包括模糊、擦除、填充、亮度增强；
则，所述将所述多张实时原始缺陷图像按照预设比例，获得训练集、测试集和验证集的步骤，包括：
将所述多张预处理后的缺陷图像按照预设比例，获得训练集、测试集和验证集。
9.一种缺陷检测装置，其特征在于，所述装置包括：
缺陷图像获得单元，用于通过图像采集设备，获得原始缺陷图像；
缺陷检测结果输出单元，用于将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果；其中，所述训练好的缺陷检测模型中包括通道划分模块、全局卷积网络模块、快速卷积网络模块、残差模块和分类器；所述将所述原始缺陷图像输入训练好的缺陷检测模型中进行缺陷检测，输出预测的缺陷检测结果的步骤，包括：根据所述通道划分模块，对所述原始缺陷图像进行通道划分，获得第一通道组和第二通道组；其中，所述第一通道组和所述第二通道组均对应多个通道；根据所述全局卷积网络模块，对所述第一通道组中的多个通道进行全局卷积，获得多个第一图像特征；根据所述快速卷积网络模块，对所述第二通道组中的多个通道进行快速卷积，获得多个第二图像特征；根据所述残差模块，对所述多个第一图像特征和所述多个第二图像特征进行拼接处理，获得特征拼接结果；根据所述分类器，对所述特征拼接结果进行分类预测，输出预测的缺陷检测结果。
10.一种电子设备，其特征在于，所述设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-8中任一所述的方法。
11.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-8中任一所述的方法。
CN202410078027.6A 2024-01-19 2024-01-19 一种缺陷检测方法、装置、设备及存储介质 Active CN117576109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410078027.6A CN117576109B (zh) 2024-01-19 2024-01-19 一种缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410078027.6A CN117576109B (zh) 2024-01-19 2024-01-19 一种缺陷检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117576109A CN117576109A (zh) 2024-02-20
CN117576109B true CN117576109B (zh) 2024-04-02

Family

ID=89886800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410078027.6A Active CN117576109B (zh) 2024-01-19 2024-01-19 一种缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117576109B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111444957A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN111524117A (zh) * 2020-04-20 2020-08-11 南京航空航天大学 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN113420729A (zh) * 2021-08-23 2021-09-21 城云科技（中国）有限公司 多尺度目标检测方法、模型、电子设备及其应用
CN114663654A (zh) * 2022-05-26 2022-06-24 西安石油大学 一种改进YOLOv4网络模型及小目标检测方法
CN114677355A (zh) * 2022-04-06 2022-06-28 淮阴工学院 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法
WO2023098000A1 (zh) * 2021-11-30 2023-06-08 上海商汤智能科技有限公司 图像处理、缺陷检测方法及装置、电子设备和存储介质
CN117372424A (zh) * 2023-12-05 2024-01-09 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111444957A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN111524117A (zh) * 2020-04-20 2020-08-11 南京航空航天大学 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN113420729A (zh) * 2021-08-23 2021-09-21 城云科技（中国）有限公司 多尺度目标检测方法、模型、电子设备及其应用
WO2023098000A1 (zh) * 2021-11-30 2023-06-08 上海商汤智能科技有限公司 图像处理、缺陷检测方法及装置、电子设备和存储介质
CN114677355A (zh) * 2022-04-06 2022-06-28 淮阴工学院 基于GAYOLOv3_Tiny电子元器件表面缺陷检测方法
CN114663654A (zh) * 2022-05-26 2022-06-24 西安石油大学 一种改进YOLOv4网络模型及小目标检测方法
CN117372424A (zh) * 2023-12-05 2024-01-09 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进特征金字塔的轮胎X光图像缺陷检测;吴则举 等;《计算机工程与应用》;20231110;270-279 *

Also Published As

Publication number Publication date
CN117576109A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
US11810326B2 (en) Determining camera parameters from a single digital image
US11244157B2 (en) Image detection method, apparatus, device and storage medium
CN110008997B (zh) 图像纹理相似度识别方法、装置及计算机可读存储介质
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN111626295B (zh) 车牌检测模型的训练方法和装置
WO2021003378A1 (en) Computer vision systems and methods for blind localization of image forgery
CN114782412A (zh) 图像检测方法、目标检测模型的训练方法及装置
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
CN113744280A (zh) 图像处理方法、装置、设备及介质
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112614108A (zh) 基于深度学习检测甲状腺超声图像中结节的方法和装置
CN117576109B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN112465847A (zh) 一种基于预测清晰边界的边缘检测方法、装置及设备
CN112784675A (zh) 目标检测方法及装置、存储介质、终端
CN116206221B (zh) 一种水体耀斑检测方法和系统
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
CN116824135A (zh) 基于机器视觉的大气自然环境试验工业产品识别分割方法
CN116543295A (zh) 一种基于退化图像增强的轻量化水下目标检测方法及系统
CN112287932B (zh) 一种确定图像质量的方法、装置、设备及存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant