CN114463300A - 钢材表面缺陷检测方法、电子设备、存储介质 - Google Patents

钢材表面缺陷检测方法、电子设备、存储介质 Download PDF

Info

Publication number
CN114463300A
CN114463300A CN202210092453.6A CN202210092453A CN114463300A CN 114463300 A CN114463300 A CN 114463300A CN 202210092453 A CN202210092453 A CN 202210092453A CN 114463300 A CN114463300 A CN 114463300A
Authority
CN
China
Prior art keywords
feature map
defect detection
image
defect
downsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210092453.6A
Other languages
English (en)
Inventor
李澄非
梁辉杰
邱世汉
蔡嘉伦
徐傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202210092453.6A priority Critical patent/CN114463300A/zh
Publication of CN114463300A publication Critical patent/CN114463300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种钢材表面缺陷检测方法、电子设备、存储介质，涉及钢结构制造领域，所述方法包括：将待检测图像输入缺陷检测模型，所述缺陷检测模型用于：获取所述待检测图像对应的不同尺度的多个第一下采样特征图；通过卷积层对多个所述第一下采样特征图进行处理，得到通道数统一的多个第二下采样特征图；将最小尺度的所述第二下采样特征图作为待采样特征图；对所述待采样特征图执行循环过程直至满足预设条件，以得到最终的融合特征图；预测最终的所述融合特征图的缺陷信息；本申请能够提高缺陷检测效率。

Description

钢材表面缺陷检测方法、电子设备、存储介质
技术领域
本申请涉及钢结构制造领域，尤其是涉及一种钢材表面缺陷检测方法、电子设备、存储介质。
背景技术
钢材生产广泛应用于制造，建筑，航空等行业，是国民经济的一个重要组成部分。实际生产过程中，受加工设备，生产环境等因素的影响，不可避免会产生缺陷。传统的表面缺陷检测方法包括人眼筛选法和基于传统检测算法的模型。其中，人眼筛选的方法不仅主观性强，而且难以长时间工作，难以满足生产线对实时性和可靠性的需求。而目前的传统检测算法大多采用CenterNet模型，且CenterNet模型结构复杂，参数量和运算量比较大，导致缺陷检测效率低。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种钢材表面缺陷检测方法、电子设备、存储介质，能够提升缺陷检测效率。
本申请第一方面实施例提供了一种钢材表面缺陷检测方法，所述方法包括：
将待检测图像输入缺陷检测模型，所述缺陷检测模型用于：
获取所述待检测图像对应的不同尺度的多个第一下采样特征图；
通过卷积层对多个所述第一下采样特征图进行处理，得到通道数统一的多个第二下采样特征图；
将最小尺度的所述第二下采样特征图作为待采样特征图；
对所述待采样特征图执行循环过程直至满足预设条件，得到融合特征图；
预测所述循环过程结束时得到的所述融合特征图的缺陷信息；
所述循环过程包括：
对所述待采样特征图进行上采样，得到上采样特征图；
通过SE模块将所述上采样特征图和相同尺度的所述第二下采样特征图进行特征融合，得到所述融合特征图；
比较当前的上采样次数与目标上采样次数；
将所述融合特征图作为新的所述待采样特征图；
其中，所述预设条件为所述上采样次数与所述目标上采样次数相同。
本申请第一方面实施例提供了一种钢材表面缺陷检测方法，至少具有如下有益效果：本申请在对待检测图像进行下采样处理之后，对提取的第一下采样特征图进行卷积操作，得到通道数统一的第二下采样特征图，并基于最小倍数的第二下采样特征图进行上采样处理，并在上采样后通过SE模块融合相同尺度的第二下采样特征图，得到新的作为上采样的特征图，以此类推直至完成与下采样相同次数的上采样，最终输出融合特征图，从而可以根据最终输出的融合特征图预测缺陷信息；相比于现有技术中，CenterNet模型设置有两个Hourglass网络块，每个Hourglass网络块将输入的特征图进行多次下采样后进行上采样，并在每一次上采样完成后将当前上采样的特征图与相同尺度的下采样特征图进行融合得到下一次上采样的特征图，且其中一个Hourglass网络块的输出是另外一个Hourglass网络块的输入，这种方式计算量大且复杂，而本申请引入SE模块，将上采样、下采样次数以及融合次数大大减少，进而在确保预测准确率的同时减少了参数量和运算量，从而提高了缺陷检测效率。
根据本申请第一方面的一些实施例，所述预测最终的所述融合特征图的缺陷信息，包括：
将所述融合特征图中每一响应点的响应点值，分别与其八个相邻的响应点的响应点值进行比较，根据比较结果选取出若干峰值点；
将每一所述峰值点的响应点值分别与预设的阈值进行比较，将响应点值大于预设的阈值的所述峰值点，确定为所述融合特征图的关键点。
根据本申请第一方面的一些实施例，所述预测最终的所述融合特征图的缺陷信息还包括：根据所述关键点预测所述关键点的偏移量、所述关键点的边界框尺寸。
根据本申请第一方面的一些实施例，所述方法还包括：在每一次特征融合中，通过注意力模块修改所述第二下采样特征图的通道权重信息。
根据本申请第一方面的一些实施例，在所述将待检测图像输入缺陷检测模型之前，所述方法还包括：对所述待检测图像进行卷积操作，得到缩小至预设的尺寸的所述待检测图像。
根据本申请第一方面的一些实施例，所述方法还包括：
构建所述缺陷检测模型；
使用缺陷图像数据集对所述缺陷检测模型进行多次训练，直至所述缺陷图像数据集对应的缺陷检测准确率满足预设的训练标准。
根据本申请第一方面的一些实施例，所述缺陷图像数据集包括：烧伤图像数据集、磨不光图像数据集、划痕图像数据集、台阶图像数据集、麻点图像数据集、密锈图像数据集至少之一。
本申请第二方面实施例提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现如本申请第一方面任一项实施例所述的钢材表面缺陷检测方法。
本申请第三方面实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行如本申请第一方面任一项实施例所述的钢材表面缺陷检测方法。
附图说明
本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一些实施例提供的现有技术中CenterNet模型的结构示意图；
图2为本申请一些实施例提供的缺陷检测模型的结构图；
图3为本申请一些实施例提供的缺陷检测方法的流程图；
图4为本申请一些实施例提供的改进后的CenterNet模型的结构示意图；
图5为本申请一些实施例提供的特征融合过程示意图；
图6为本申请一些实施例提供的缺陷检测准确率对照表。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本申请的描述中，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
现有的CenterNet模型的主干网络采用四种：ResNet-18，ResNet-101，DLA-34和Hourglass。在现有模型的主干网络下，模型的最终检测性能差异明显，且呈现一定的两极化，即检测准确率高的网络检测速度较慢，而检测速度快的检测准确率低，不利于实际生产应用。
如图1所示，现有的采用Hourglass网络的CenterNet模型，需要至少两个Hourglass网络块，每个Hourglass网络块将输入的特征图进行多次下采样后进行上采样，并在每一次上采样完成后将当前上采样的特征图与相同尺度的下采样特征图进行融合得到下一次上采样的特征图，在第一个Hourglass块结束后，进入连接部分。连接部分由若干个残差块组成，同时输出结果与原始特征图相加。然后特征图进入第二个Hourglass块，最后输出最终特征图，在这种方式计算量大且复杂。
基于此，本申请实施例提出一种改进的基于CenterNet的缺陷检测方法、设备及存储介质，通过引入SE模块，减少上采样操作以及特征融合的次数，进而减少了参数量和运算量，简化了网络结构，在保持较高的检测准确率的同时，能够提高检测效率。
参照图2，本申请实施例提出一种缺陷检测模型，包括下采样模块210、上采样模块220、SE模块230、注意力模块240，下采样模块210用于提取下采样特征图，上采样模块220用于提取上采样特征图，SE模块230用于将两个以上的特征图进行特征融合，注意力模块240用于修改图像通道的权重信息，下采样模块210、上采样模块220、SE模块230、注意力模块240配合预测出待采样特征图的缺陷信息，完成钢材表面缺陷检测过程。
本领域技术人员可以理解的是，图2中示出的系统结构示意图并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
参照图3，根据本申请第一方面实施例提供的一种钢材表面缺陷检测方法，包括如下步骤：
将待检测图像输入缺陷检测模型，缺陷检测模型用于：
步骤S310、获取待检测图像对应的不同尺度的多个第一下采样特征图。
需要说明的是，参照图4和图5所示的实施例的缺陷检测模型，待检测图像在下采样模块210中进行下采样操作，示例性的，待检测图像经过5次下采样过程，每次下采样过程都把待检测图像宽高缩小
Figure BDA0003489596860000051
可以依次得到待检测图像的2倍、4倍、8倍、16倍、32倍第一下采样特征图。
步骤S320、通过卷积层对多个第一下采样特征图进行处理，得到通道数统一的多个第二下采样特征图。
需要说明的是，下采样操作中包括卷积运算，因此，得到的多个第一下采样特征图的通道数均不相同，无法进行后续的特征融合过程，在下采样操作结束后，需要对得到的每个第一下采样特征图再进行卷积运算，将其统一至预设的通道数。在一些实施例中，预设的通道数为多个第一下采样特征图的最小通道数，示例性的，进行下采样后，得到的五个第一下采样特征图的通道数分别为256、384、384、384、512，将五个第一下采样特征图的通道数统一至最小通道数256，一方面可以减少整个缺陷检测过程中的参数量和运算量，进而提高检测效率，另一方面有助于降低图像中不重要特征的通道的权重，提高缺陷检测的准确率，其中，不重要特征的通道包括图像中的非缺陷特征的通道。
需要说明的是，示例性的，2倍、4倍、8倍、16倍、32倍第一下采样特征图统一通道数256后，分别得到通道数为256的尺度为2倍、4倍、8倍、16倍、32倍第二下采样特征图。
步骤S330、将最小尺度的第二下采样特征图作为待采样特征图。
需要说明的是，示例性的，将上述2倍、4倍、8倍、16倍、32倍第一下采样特征图中的32倍第二下采样特征图作为待采样特征图。
对待采样特征图执行循环过程直至满足预设条件，以得到最终的融合特征图。其中，循环过程包括：
步骤S341、对待采样特征图进行上采样，得到上采样特征图。
步骤S342、通过SE模块将上采样特征图和相同尺度的第二下采样特征图进行特征融合，得到融合特征图。
步骤S343、比较当前的上采样次数与目标上采样次数。
步骤S344、将融合特征图作为新的待采样特征图。
其中，预设条件为上采样次数与目标上采样次数相同。
需要说明的是，可以根据缺陷检测过程以及缺陷检测要求调整预设的条件。
步骤S350、预测最终的融合特征图的缺陷信息。
需要说明的是，CenterNet的目标是生成热点图，本发明在循环过程结束时，输出的融合特征图为缺陷热点图，根据缺陷热点图预测缺陷信息。
需要说明的是，下面以一个实施例说明循环过程，参照图4和图5，在该实施例中，预设的目标上采样次数为5次，参照图2所示的实施例的缺陷检测模型，待检测图像进行上采样操作，待检测图像需经过5次上采样过程，每一次上采样过程均把待采样特征图的宽高放大2倍。对于32倍的第二下采样特征图，经过一次上采样操作后得到16倍上采样特征图；通过步骤S342将尺寸为16倍上采样特征图和16倍第二下采样特征图进行特征融合，得到16倍融合特征图；此时，上采样次数为1次，小于目标上采样次数，执行步骤S344以将16倍融合特征图作为新的待采样特征图进行新一轮的融合处理，直至上采样次数等于5，结束循环，此时，得到的融合特征图的尺寸与待检测图像的尺寸相同。
需要说明的是，本申请在对待检测图像进行下采样处理之后，对提取的第一下采样特征图进行卷积操作，得到通道数统一的第二下采样特征图，并基于最小倍数的第二下采样特征图进行上采样处理，并在上采样后通过SE模块融合相同尺度的第二下采样特征图，得到新的作为上采样的特征图，以此类推直至完成与下采样相同次数的上采样，最终输出融合特征图，从而可以根据最终输出的融合特征图预测缺陷信息；相比于现有技术中，CenterNet模型设置有两个Hourglass网络块，每个Hourglass网络块将输入的特征图进行多次下采样后进行上采样，并在每一次上采样完成后将当前上采样的特征图与相同尺度的下采样特征图进行融合得到下一次上采样的特征图，且其中一个Hourglass网络块的输出是另外一个Hourglass网络块的输入，这种方式计算量大且复杂，参照图4，本申请引入SE模块，将上采样、下采样次数以及融合次数大大减少，进而在确保预测准确率的同时减少了参数量和运算量，从而提高了缺陷检测效率。
可以理解的是，步骤S350、预测最终的融合特征图的缺陷信息，包括：将融合特征图中每一响应点的响应点值，分别与其相邻的八个响应点的响应点值进行比较，并根据比较结果选取出若干响应点对应的峰值点；将每一峰值点的响应点值分别与预设的阈值进行比较，并将响应点值大于预设的阈值的峰值点，确定为融合特征图的关键点。
需要说明的是，CenterNet的核心思想是把目标物体视为一个关键点，该关键点作为检测框的中心点，CenterNet的目标是生成热点图的关键点
Figure BDA0003489596860000071
其中，C表示图像中缺陷点的数量；对应的，在本申请中，CenterNet的目标是生成融合特征图的关键点。预测关键点前，先通过公式(1)将真实框的中心点分散到热点图中，生成对应的响应点，并根据公式(1)计算出每一响应点的响应点值。
Figure BDA0003489596860000072
需要说明的是，在一些实施例中，将每个响应点的响应点值，分别与其八个相邻响应点的响应点值进行比较；当该响应点的响应点值大于或等于，其八个相邻响应点的最大响应点值时，将该响应点确定为峰值点。
需要说明的是，在一些实施例中，当峰值点的响应点值Yxyc大于设置的阈值(如阈值设为0.3)时，将峰值点确定为融合特征图的关键点，关键点代表缺陷检测模型认定的目标缺陷，需要说明的是，可以根据缺陷检测过程以及缺陷检测要求调整阈值大小。
可以理解的是，预测最终的融合特征图的缺陷信息还包括：根据关键点预测关键点的偏移量、关键点的边界框尺寸。
需要说明的是，卷积过程中，由于步长，填充等因素的影响，不可避免会产生量化偏差，导致最终预测的关键点与真实点存在偏差，因此还需要预测偏移量来对热点图进行精炼，提高定位准确度，为标志出缺陷位置，在预测出关键点后，还需要预测以关键点为中心的边界框的尺寸，其中，偏移量以及宽高可以参考偏移量损失函数使用公式(2)、边界框的尺寸的损失函数使用公式(3)以及损失函数的加权和公式(4)得到，具体的公式如下；
Figure BDA0003489596860000081
Figure BDA0003489596860000082
Ldet＝Lk+Loff+λsizeLsize (4)
其中R代表下采样倍数，P代表关键点的真实位置，
Figure BDA0003489596860000083
代表关键点的偏移量的预测值，
Figure BDA0003489596860000084
代表关键点的预测位置。所有类别均使用同一个Loff。其中
Figure BDA0003489596860000085
代表边界框的预测尺寸，Sk代表边界框的真实尺寸。其中超参数λsize取值为0.1。
可以理解的是，缺陷检测方法还包括：在每一次特征融合中，通过注意力模块修改第二下采样特征图的通道权重信息。
需要说明的是，缺陷检测模型侧重捕捉高权重通道中的特征，示例性的，参照图2所示的实施例的缺陷检测模型，在每一次特征融合中，第二下采样特征图进入注意力模块240，注意力模块240提高第二下采样特征图中具有缺陷特征的通道的权重，降低不具有缺陷特征的通道的权重，以使缺陷检测模型侧重捕捉具有缺陷特征的通道，有助于提高缺陷检测的准确率。
可以理解的是，在将待检测图像输入缺陷检测模型之前，方法还包括：步骤对待检测图像进行卷积操作，得到缩小至预设的尺寸的待检测图像。
需要说明的是，缩小待检测图像的尺寸，扩大感受野，有助于提高缺陷检测的准确率，示例性的，预设的尺寸为待检测图像的
Figure BDA0003489596860000086
输入的待检测图像I∈RW×H×3先经过一个7×7，步长为2的卷积以及2个残差块，输出尺寸为原图
Figure BDA0003489596860000087
的特征图
Figure BDA0003489596860000088
根据
Figure BDA0003489596860000089
进行后续操作。此时，在第一下采样特征图是针对的待检测图像的
Figure BDA00034895968600000810
的特征图
Figure BDA00034895968600000811
进行不同尺度的下采样。
可以理解的是，缺陷检测方法还包括：构建缺陷检测模型；使用缺陷图像数据集对缺陷检测模型进行多次训练，直至缺陷图像数据集对应的缺陷检测准确率满足预设的训练标准。
需要说明的是，在通过公式(1)将真实框的中心点分散到热点图中时，采用的损失函数使用公式(5)表示，其中N代表每张图片上关键点数量，
Figure BDA0003489596860000091
代表该关键点的预测值，Yxyc代表该关键点的真实值，为focal loss函数的超参数，取值分别为2,4。引入超参数主要是为了改变容易样本与困难样本的损失权重，减少高置信度样本的损失，使模型更关注困难样本的分类。
Figure BDA0003489596860000092
当Yxyc＝1时，
Figure BDA0003489596860000093
就充当了矫正的作用，假如
Figure BDA0003489596860000094
接近1的话，说明这个是一个比较容易检测出来的点，那么
Figure BDA0003489596860000095
就相应比较低；而当
Figure BDA0003489596860000096
接近0的时候，说明这个中心点还没有学习到，所以要加大其训练的比重。
需要说明的是，示例性的，将本申请采集的大量钢材缺陷图像数据集，按照如上描述的步骤S310至步骤S350对缺陷检测模型进行多次训练，加大其训练的比重，同时可以参照图6中改进前采用不同网络主体结构的CenterNet模型的准确率，重复训练多次CenterNet模型，直到得到图6中改进后的CenterNet模型的准确率，可以看出，改进后的CenterNet模型在利用轻量化的方法减少参数量和运算量的同时，也保持了较高准确率值。
可以理解的是，缺陷图像数据集包括：烧伤图像数据集、磨不光图像数据集、划痕图像数据集、台阶图像数据集、麻点图像数据集、密锈图像数据集至少之一。
需要说明的是，示例性的，在使用烧伤图像数据集训练缺陷检测模型后，使缺陷检测模型预测钢材表面的缺陷时，缺陷检测模型可得到标记有burn类别的钢材表面缺陷检测结果图，其中，burn类别代表烧伤类别。
本申请第二方面实施例提供了一种电子设备，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
程序被存储在存储器中，处理器执行至少一个程序以实现如本申请第一方面任一项实施例的钢材表面缺陷检测方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态可读存储介质，可用于存储非暂态软件指令以及非暂态性可指令。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。可以理解的是，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器，上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器通过运行存储在存储器中的非暂态软件指令、指令以及信号，从而执行各种功能应用以及数据处理，即第一方面实施例的钢材表面缺陷检测方法。
实现第一方面实施例的钢材表面缺陷检测方法所需的非暂态软件指令以及指令存储在存储器中，当被处理器执行时，执行上述钢材表面缺陷检测方法，例如，执行以上描述的图3中的方法步骤S310至步骤S350。
由于第二方面的电子设备可执行本申请第一方面实施例的钢材表面缺陷检测方法，因此具有本申请第一方面实施例的所有有益效果。
本申请第三方面实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行信号，计算机可执行信号用于执行如本申请第一方面任一项实施例的钢材表面缺陷检测方法。
执行以上描述的图3中的方法步骤S310至步骤S350。
由于第三方面的计算机存储介质可执行本申请第一方面实施例的钢材表面缺陷检测方法，因此具有本申请第一方面的所有有益效果。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在可读介质上，可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、指令模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、指令模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下，做出各种变化。

Claims (9)

1.一种钢材表面缺陷检测方法，其特征在于，所述方法包括：
将待检测图像输入缺陷检测模型，所述缺陷检测模型用于：
获取所述待检测图像对应的不同尺度的多个第一下采样特征图；
通过卷积层对多个所述第一下采样特征图进行处理，得到通道数统一的多个第二下采样特征图；
将最小尺度的所述第二下采样特征图作为待采样特征图；
对所述待采样特征图执行循环过程直至满足预设条件，以得到最终的融合特征图；
预测最终的所述融合特征图的缺陷信息；
所述循环过程包括：
对所述待采样特征图进行上采样，得到上采样特征图；
通过SE模块将所述上采样特征图和相同尺度的所述第二下采样特征图进行特征融合，得到融合特征图；
比较当前的上采样次数与目标上采样次数；
将所述融合特征图作为新的所述待采样特征图；
其中，所述预设条件为所述上采样次数与所述目标上采样次数相同。
2.根据权利要求1所述的方法，其特征在于，所述预测最终的所述融合特征图的缺陷信息，包括：
将所述融合特征图中每一响应点的响应点值，分别与其相邻的八个响应点的响应点值进行比较，并根据比较结果选取出若干所述响应点对应的峰值点；
将每一所述峰值点的响应点值分别与预设的阈值进行比较，并将响应点值大于预设的阈值的所述峰值点，确定为所述融合特征图的关键点。
3.根据权利要求2所述的方法，其特征在于，所述预测最终的所述融合特征图的缺陷信息还包括：根据所述关键点预测所述关键点的偏移量、所述关键点的边界框尺寸。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在每一次特征融合中，通过注意力模块修改所述第二下采样特征图的通道权重信息。
5.根据权利要求1所述的方法，其特征在于，在所述将待检测图像输入缺陷检测模型之前，所述方法还包括：对所述待检测图像进行卷积操作，得到缩小至预设的尺寸的所述待检测图像。
6.根据权利要求1所述的方法，其特征在于，还包括：
构建所述缺陷检测模型；
使用缺陷图像数据集对所述缺陷检测模型进行多次训练，直至所述缺陷图像数据集对应的缺陷检测准确率满足预设的训练标准。
7.根据权利要求6所述的方法，其特征在于，所述缺陷图像数据集包括：烧伤图像数据集、磨不光图像数据集、划痕图像数据集、台阶图像数据集、麻点图像数据集、密锈图像数据集至少之一。
8.一种电子设备，其特征在于，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现如权利要求1至7任一项所述的钢材表面缺陷检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行如权利要求1至7任一项所述的钢材表面缺陷检测方法。
CN202210092453.6A 2022-01-26 2022-01-26 钢材表面缺陷检测方法、电子设备、存储介质 Pending CN114463300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210092453.6A CN114463300A (zh) 2022-01-26 2022-01-26 钢材表面缺陷检测方法、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210092453.6A CN114463300A (zh) 2022-01-26 2022-01-26 钢材表面缺陷检测方法、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114463300A true CN114463300A (zh) 2022-05-10

Family

ID=81411814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210092453.6A Pending CN114463300A (zh) 2022-01-26 2022-01-26 钢材表面缺陷检测方法、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN114463300A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091486A (zh) * 2023-03-01 2023-05-09 合肥联宝信息技术有限公司 表面缺陷检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091486A (zh) * 2023-03-01 2023-05-09 合肥联宝信息技术有限公司 表面缺陷检测方法、装置、电子设备及存储介质
CN116091486B (zh) * 2023-03-01 2024-02-06 合肥联宝信息技术有限公司 表面缺陷检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110991311B (zh) 一种基于密集连接深度网络的目标检测方法
CN110189255B (zh) 基于两级检测的人脸检测方法
CN111461319B (zh) 可适应用户要求的基于cnn的对象检测方法及装置
CN111767962B (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN111597945B (zh) 一种目标检测方法、装置、设备及介质
CN111091101B (zh) 基于一步法的高精度行人检测方法、系统、装置
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN115240149A (zh) 三维点云检测识别方法、装置、电子设备及存储介质
CN110879105A (zh) 量子比特检测系统及检测方法
CN111242144A (zh) 电网设备异常的检测方法和装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN112906816A (zh) 基于光微分与双通道神经网络的目标检测方法和装置
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN115965862A (zh) 基于掩码网络融合图像特征的sar舰船目标检测方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
CN114463300A (zh) 钢材表面缺陷检测方法、电子设备、存储介质
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN113012107A (zh) 电网缺陷检测方法及系统
CN116596895A (zh) 一种变电设备图像缺陷识别方法及系统
CN115526855A (zh) 电池片隐裂缺陷检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination