CN112819748A - 一种带钢表面缺陷识别模型的训练方法及装置 - Google Patents

一种带钢表面缺陷识别模型的训练方法及装置 Download PDF

Info

Publication number
CN112819748A
CN112819748A CN202011483741.1A CN202011483741A CN112819748A CN 112819748 A CN112819748 A CN 112819748A CN 202011483741 A CN202011483741 A CN 202011483741A CN 112819748 A CN112819748 A CN 112819748A
Authority
CN
China
Prior art keywords
steel surface
strip steel
reference feature
feature map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011483741.1A
Other languages
English (en)
Other versions
CN112819748B (zh
Inventor
李康宇
王西峰
姬丽娟
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jike Science and Technology Co Ltd
Original Assignee
Jike Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jike Science and Technology Co Ltd filed Critical Jike Science and Technology Co Ltd
Priority to CN202011483741.1A priority Critical patent/CN112819748B/zh
Publication of CN112819748A publication Critical patent/CN112819748A/zh
Application granted granted Critical
Publication of CN112819748B publication Critical patent/CN112819748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8858—Flaw counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明公开了一种带钢表面缺陷识别模型的训练方法及装置，涉及计算机技术领域，主要目的在于提高带钢表面缺陷的识别效果；主要技术方案包括：获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷；采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图；基于所提取的目标特征图，训练带钢表面缺陷识别模型。

Description

一种带钢表面缺陷识别模型的训练方法及装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种带钢表面缺陷识别模型的训练方法及装置。
背景技术
带钢作为电力电子、汽车制造、航空航天等领域内产品生产的重要原材料，带钢的表面质量优劣直接影响上述产品品质。在带钢的生产过程中，受轧制设备、生产工艺等多种因素的影响，带钢不可避免地出现划痕、斑块、夹杂等表面缺陷，因此为了保证带钢产品的表面质量需要对带钢表面进行缺陷识别。
目前，带钢表面缺陷的检测通常基于机器视觉技术的带钢表面缺陷检测系统进行。使用机器视觉技术进行缺陷检测的核心在于提取出能够辨识缺陷的特征。而带钢表面缺陷的提取通常依赖人工进行，在人工提取时受亮度、形状的影响，且人工对带钢表面缺陷的描述不够准确，因此机器视觉技术的带钢表面缺陷检测系统对带钢表面缺陷识别效果较差。
发明内容
有鉴于此，本发明提出了一种带钢表面缺陷识别模型的训练方法及装置，主要目的在于提高带钢表面缺陷识别效果。
第一方面，本发明提供了一种带钢表面缺陷识别模型的训练方法，该方法包括：
获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷；
采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图；
基于所提取的目标特征图，训练带钢表面缺陷识别模型。
第二方面，本发明提供了一种带钢表面缺陷识别方法，该方法包括：
采集带钢的带钢表面图像；
利用带钢表面缺陷识别模型对所述带钢表面图像进行带钢表面缺陷识别，其中，所述带钢表面缺陷识别模型训练所使用的目标特征图是采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取而得。
第三方面，本发明提供了一种带钢表面缺陷识别模型的训练装置，该装置包括：
获取单元，用于获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷；
提取单元，用于采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图；
训练单元，用于基于所提取的目标特征图，训练带钢表面缺陷识别模型。
第四方面，本发明提供了一种带钢表面缺陷识别装置，该装置包括：
采集单元，用于采集带钢的带钢表面图像；
识别单元，用于利用带钢表面缺陷识别模型对所述带钢表面图像进行带钢表面缺陷识别，其中，所述带钢表面缺陷识别模型训练所使用的目标特征图是采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取而得。
第五方面，本发明提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的带钢表面缺陷识别模型的训练方法或执行第二方面中所述的带钢表面缺陷识别方法。
第六方面，本发明提供了一种存储管理设备，所述存储管理设备包括：
存储器，用于存储程序；
处理器，耦合至所述存储器，用于运行所述程序以执行第一方面所述的带钢表面缺陷识别模型的训练方法或执行第二方面中所述的带钢表面缺陷识别方法。
借由上述技术方案，本发明提供的带钢表面缺陷识别模型的训练方法及装置，采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，并基于所提取的目标特征图训练带钢表面缺陷识别模型。由于本发明提供的方案加入多尺度特征融合的方式，将带钢表面的缺陷定位和种类判定分散到多个尺度的目标特征图上。目标特征图既能体现带钢表面尺寸较大的缺陷，又能体现带钢表面微小型缺陷，因此使用目标特征图训练而得带钢表面缺陷识别模型具有有效的带钢表面缺陷的识别能力，从而本发明实施例提供的方案能够提高带钢表面缺陷识别效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例提供的一种带钢表面缺陷识别模型的训练方法的流程图；
图2示出了本发明另一个实施例提供的一种神经网络模型的示意图；
图3示出了本发明一个实施例提供的一种神经网络模型中瓶颈层的示意图；
图4示出了本发明另一个实施例提供的一种带钢表面缺陷识别模型训练过程中的损失值变化示意图；
图5示出了本发明一个实施例提供的一种带钢表面缺陷识别方法的流程图；
图6示出了本发明一个实施例提供的一种带钢表面缺陷识别模型的训练装置的示意图；
图7示出了本发明一个实施例提供的另一种带钢表面缺陷识别模型的训练装置的示意图；
图8示出了本发明一个实施例提供的一种带钢表面缺陷识别装置的示意图。
具体实施方式
下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明实施例提供了一种带钢表面缺陷识别模型的训练方法，该方法主要包括：
101、获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷。
在实际应用中，图像样本集是训练带钢表面缺陷识别模型的训练基础，其可以从特定的存储位置获取，其内部包括有多个带钢表面图像样本，且每一个带钢表面图像样本分别标注有至少一个带钢表面缺陷。带钢表面图像样本中标注的带钢表面缺陷用于训练带钢表面缺陷识别模型具有带钢表面缺陷的识别能力。带钢表面缺陷可以包括如下中的至少一个：划痕、斑块、锈斑和边裂。
下面对获取图像样本集的具体过程进行说明，该过程具体包括如下步骤一至步骤二：
步骤一，获取拍摄设备拍摄的多个带钢表面图像。
在实际应用中，在带钢制造设备中的特定位置设置拍摄设备，采用拍摄设备拍摄带钢制造设备生产的带钢的表面图像。该拍摄设备是由工业相机、镜头及光源组成的机器视觉设备，其可以拍摄出缺陷目标突出，且具有高分辨率的图像。示例性的，拍摄设备可以拍摄出500万像素的图像。
步骤二，对各所述带钢表面图像分别进行带钢表面缺陷标注。
由于具有带钢表面缺陷的带钢表面图像能够训练出带钢表面缺陷的识别能力较高的带钢表面缺陷识别模型，在获取到多个带钢表面图像之后，需要对带钢表面图像进行标注，以筛选掉无表面缺陷的带钢表面图像，而保留存在表面缺陷的带钢表面图像。
在对带钢表面图像进行带钢表面缺陷标注时，可以采用已知“正确答案”的人工贴标的方式进行，这里所说的正确答案是人工贴标人员能够知晓的带钢表面缺陷类型，人工贴标人员能够根据该带钢表面缺陷类型正确的对带钢表面图像进行表面缺陷标注。
在采用人工贴标的方式对带钢表面图像进行标注时，所使用的标注工具可以为LabelImg，标注按照ImageNet所使用的PASCAL VOC格式保存为XML文件中。需要说明的是，这里所提出的标注工具仅为一个实例，并非是对标注工具的限定，在实际应用中，可以根据实际业务需求选用其他的标注工具。
步骤三，从标注了带钢表面缺陷的带钢表面图像中，选取第一数量的带钢表面图像作为所述带钢表面图像样本，形成所述图像样本集。
在对带钢表面图像标注完毕后，标注了带钢表面缺陷的带钢表面图像均可以作为训练带钢表面缺陷识别模型的样本使用。但是受限于图像数量、训练算力以及训练速度的要求，需要选用第一数量的带钢表面图像作为带钢表面图像样本使用，形成图像样本集。这里所述的第一数量完全受限训练算力以及训练速度，因此可以基于训练算力和训练速度来确定第一数量。
进一步的，由于制造业领域中的企业不会允许带钢制造设备在故障情况下持续运转，故而难以采集到数量充足的具有带钢表面缺陷的带钢表面图像。另外，由于采集带钢表面图像时不可避免地存在生产批次、光照条件变化等问题，带钢表面图像往往不服从同一分布，差异较大。因此需要提高具有带钢表面缺陷的带钢表面图像的数量以及丰富表面缺陷的复杂度，则在上述的步骤三“从标注了带钢表面缺陷的带钢表面图像中，选取第一数量的带钢表面图像作为所述带钢表面图像样本，形成所述图像样本集”之前，还可以包括如下步骤四“判断标注了带钢表面缺陷的带钢表面图像的总数量是否达到第二数量”。
具体的，若判断出标注了带钢表面缺陷的带钢表面图像的总数量未达到第二数量，则说明带钢表面图像数量较少且表面缺陷的复杂度不高，因此，需要对标注了带钢表面缺陷的带钢表面图像进行数据增强处理，形成第二数量的带钢表面图像，然后从第二数量的带钢表面图像中选取第一数量的带钢表面图像，形成图像样本集。
这里所述的第二数量可以与第一数量相同或不同。示例性的，考虑到训练出带钢表面缺陷识别模型之后，需要对带钢表面缺陷识别模型进行验证和测试，那么第二数量要大于第一数量，以在提取第一数量的带钢表面图像形成图像样本集之后，还有剩余的带钢表面图像能够形成测试样本集和验证样本集。
这里所述的数据增强处理为对带钢表面图像进行如下中的至少一种操作：图像的图幅平移处理、图像剪裁处理、图像亮度改变处理、图像加入噪声处理、图像旋转处理以及图像镜像处理。其中，图像的图幅平移处理是指将图像中的一部分图幅删除，然后将剩余的图幅平移拼接。图像剪裁处理是指将图像中的一部分图幅剪裁掉，留存未剪裁部分。图像亮度改变处理是指调节图像的亮度。图像加入噪声处理是指向图像加入特定的噪声。图像旋转处理是指使图像旋转特定的角度。图像镜像处理是指图像向特定的方式进行镜像。需要说明的是，上述的数据增强处理可以单独使用或多个共同使用，通过数据增强处理可以将一个带钢表明图像扩展为多个带钢表面图像，从而增加带钢表面图像的数量。
示例性的，标注了带钢表面缺陷的带钢表面图像共计2000张，经统计供标记了带钢表面缺陷5213个，如表-1所示为各表面缺陷的统计数量，对标注了带钢表面缺陷的带钢表面图像进行数据增强处理，将带钢表面图像扩增至31278张。由于数据增强处理后的带钢表面图像的数量丰富，因此将数据增强处理后的带钢表面图像按照9:2:1的比例划分为图像样本集、验证样本集和测试样本集。
表-1
Figure BDA0002838779220000071
具体的，若判断出标注了带钢表面缺陷的带钢表面图像的总数量达到第二数量，则说明带钢表面图像数量较多且表面缺陷的复杂度较高，则直接选取第一数量的带钢表面图像形成图像样本集即可。
102、采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图。
由于带钢表面的缺陷中包括尺寸较大的缺陷，还包括一些难以识别的微小型缺陷，为了既能对尺寸较大的缺陷进行有效识别，又能对微小型缺陷进行识别，则通过多尺寸特征融合的方式增强微小型缺陷的特征映射分辨率，将缺陷定位和种类判定分散到多个尺度上，以解决带钢表面缺陷种类多样、形貌多变、特别是尺寸微小等带来的检测难题。因此，需要采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，以利用目标特征图训练带钢表面缺陷识别模型，使带钢表面缺陷识别模型既能对尺寸较大的缺陷进行有效识别，又能对微小型缺陷进行有效识别。
下面对步骤102的具体实施过程进行说明，该过程至少包括如下步骤一至步骤五：
步骤一，依次将所述图像样本集中的各带钢表面图像样本作为当前带钢表面图像样本。
步骤二，采用所述神经网络模型中的N个依次层叠连接的瓶颈层，将带钢表面图像样本依次缩小，形成N个第一参考特征图，其中，N个依次层叠连接的瓶颈层中的底层输出的第一参考特征图尺寸最大，顶层输出的第一参考特征图尺寸最小。
本实施例中对神经网络模型的具体框架类型不作具体限定，只要其具有多尺寸特征融合功能即可。示例性的，神经网络模型的骨干框架为ResNet50(Residual Network，残差网络)，该神经网络模型的结构图如图2所示。
神经网络模型中存在N个依次层叠连接的瓶颈层，瓶颈层的数量可以基于业务要求确定，每一个瓶颈层均具有其对应的图像输出尺寸，若需要带钢表面图像样本进行较多的尺寸变化，则可以设定较多的瓶颈层，若需要带钢表面图像样本进行较少的尺寸变化，则可以设定较少的瓶颈层。每一个瓶颈层均可以对输入其的图像进行尺寸缩小和通道数扩增的操作。
下面对步骤一中形成第一参考特征图的具体过程进行说明，该过程具体包括：从所述N个依次层叠连接的瓶颈层中的底层开始，将底层至顶层各所述瓶颈层依次作为当前层均执行：将目标图像输入至所述当前层，利用所述当前层基于所述目标图像的原有尺寸缩小所述目标图像的尺寸以及基于所述目标图像的原有通道数扩增所述目标图像的通道数，形成所述当前层输出的第一参考特征图；其中，所述当前层为N个依次层叠连接的瓶颈层中的顶层时，所述目标图像为所述带钢表面图像样本，所述当前层不为N个依次层叠连接的瓶颈层中的顶层时，所述目标图像为与所述当前层相邻的上一层输出的第一参考特征图。
示例性的，如图2所示，图2中包括Stage 1至Stage 5，这五个分别表示N个依次层叠连接的瓶颈层(Bottleneck结构)对应的特征提取过程中的下采样阶段，其中，Stage 1对应5个依次层叠连接的瓶颈层中的底层，Stage 5对应5个依次层叠连接的瓶颈层中的顶层。在任意一个带钢表面图像样本输入到Stage 1时，利用Stage 1基于带钢表面图像样本的原有尺寸缩小带钢表面图像样本的尺寸，比如，将带钢表面图像样本的长宽尺寸缩减为原有尺寸的1/2，以及基于带钢表明图像样本的原有通道数扩增带钢表面图像的通道数，比如，将带钢表面图像样本的通道数扩增为原来的一倍，形成Stage 1输出的第一参考特征图C1。然后，将第一参考特征图C1输入到Stage 2，利用Stage 2基于第一参考特征图C1的原有尺寸缩小第一参考特征图C1的尺寸，比如，将第一参考特征图C1的长宽尺寸缩减为原有尺寸的1/2，以及基于第一参考特征图C1的原有通道数扩增第一参考特征图C1的通道数，比如，将第一参考特征图C1的通道数扩增为原来的一倍，形成Stage 2输出的第一参考特征图C2。然后，重复上述过程，带钢表面图像样本经过上述五个Stage的操作会输出五个不同尺度的第一参考特征图，这五个第一参考特征图从Stage 1至Stage 5依次为C1、C2、C3、C4、C5。
图2中的Stage 1至Stage 5，这五个分别表示N个依次层叠连接的瓶颈层(Bottleneck结构)对应的特征提取过程中的下采样阶段，其具体操作过程依据瓶颈层的结构完成。如图3所示，Bottleneck结构由卷积层(Conv)，批标准化(BN)和非线性激活(RELU)等操作组成。从图3中可以看出在Stage 3至Stage 5中，除首次设置的Bottleneck中的卷积步长s＝2以外，其余的卷积步长s均为1。输出的C1、C2、C3、C4、C5的大小及通道数分别为56×56×64、56×56×256、28×28×512、14×14×1024、7×7×2048。
步骤三，从顶层输出的第一参考特征图开始，依次对相邻的两个第一参考特征图进行上采样融合处理，形成所有相邻的两个第一参考特征图对应的第二参考特征图。
上述步骤二输出的第一参考特征图中，N个依次层叠连接的瓶颈层中的底层输出的第一参考特征图尺寸最大，顶层输出的第一参考特征图尺寸最小，也就是说，底层至顶层的第一参考特征图的尺寸越来越小。通常底层以及接近底层的第一参考特征图具有较好的结构信息，而顶层以及接近顶层的第一参考特征图具有较强的语义信息。经过步骤二的过程后，输出的顶层的第一参考特征图的尺寸缩小至原输入的带钢表面图像样本的1/32。由于带钢表面上的微小型和细长型缺陷较多，这一类缺陷特征信息本身就较少，在经过数次下采样缩放之后信息会严重丢失，为解决小型和细长型缺陷严重丢失的问题，则需要执行步骤三。
步骤三的具体执行过程为：从顶层输出的第一参考特征图开始，将顶层至底层输出的第一参考特征图依次作为当前第一参考特征图均执行：对所述当前第一参考特征图进行卷积操作，使得所述当前参考图与其相邻的下一层输出的第一参考特征图具有相同通道数；对所述当前第一参考特征图实施上采样，使得所述当前第一参考特征图与其相邻的下一层输出的第一参考特征图具有相同尺寸，形成当前第一参考特征图和与其相邻的下一层输出的第一参考特征图对应的第二参考特征图。
示例性的，该过程是从顶层输出的第一参考特征图开始进行的，如图2所示，由第一参考特征图C5开始，对第一参考特征图C5进行1×1卷积的操作使得第一参考特征图C5和第一参考特征C4的通道数相同。对第一参考特征图C5实施上采样，使得第一参考特征图C5与其相邻的下一层输出的第一参考特征图C4具有相同尺寸。图2中的×2表示采用最临近插值算法对第一参考特征图C5实施上采样，使其与下一层的第一参考特征图C4尺寸相同，形成第一参考特征图C5和第一参考特征图C4对应的第二参考特征图M5。
Figure BDA0002838779220000101
表示第一参考特征图C5和第一参考特征图C4的对应像素位置相加。对与任意相邻的两个第一参考特征图重复上述过程，得到M5至M5这四个第二参考特征图，这四个第二参考特征图为分辨率最高的特征图。
步骤四，从底层输出的第一参考特征图对应的第二参考特征图开始，依次对各所述第二参考特征图进行下采样融合处理，形成各所述第二参考特征图对应的第三参考特征图。
经过步骤三得到高分辨率的第二参考特征图之后，需要进行多尺寸特征融合，该步骤四就为融合处理过程。该步骤四的具体执行过程为：对底层的第二参考特征图进行滤波处理，得到所述第二参考特征图对应的第三参考特征图；从与底层的第二参考特征图相邻的上一个第二参考特征图开始，将各所述第二参考特征图作为当前第二参考特征图均执行：对上一个第二参考特征参考图对应的第三参考特征图实施下采样，将所述第三参考特征图的原有尺寸缩小至与所述当前第二参考特征图的尺寸相同；将缩小后的第三参考特征图与所述当前第二参考特征图中对应的像素位置相加，并在像素位置相加后，进行滤波处理，得到所述当前参考特征图对应的第三参考特征图。
示例性的，如图2所示，从第二参考特征图M2开始，先用滤波器消除步骤三上采样产生的混叠现象，得到第二参考特征图M2对应的第三参考特征图P2。然后从第三参考特征图P2开始自底层向上，对第三参考特征图P2实时下采样，使其尺寸缩小至其原有尺寸的一半，使其尺寸与第二参考特征图M3的尺寸相同，然后将缩小尺寸后的第三参考特征图P2与第二参考特征图M3对应的像素位置相加，然后经过3×3滤波器后得到第二参考特征图M3对应的第三参考特征图P3。重复上述的过程，直至所有的第二参考特征图完成多尺寸特征融合位置，得到第三参考特征图P2至P5。
步骤五，从所形成的各所述第三参考特征图中提取表征带钢表面缺陷信息的目标特征图。
第三参考特征图为经过多尺寸融合操作后的特征图，其中能够体现出各种尺寸的带钢表面缺陷，因此需要从第三参考特征图中提取表征带钢表面缺陷的目标特征图，以供训练带钢表面缺陷识别模型使用。
下面对提取目标特征的具体步骤进行说明，该过程具体包括如下过程：在各所述第三参考特征图中设置不同比例的单尺寸锚框；将各所述单尺寸锚框对应的像素位置提取为所述目标特征图。
示例性的，如图2所示，使用RPN提取目标特征图，RPN的作用为从特征提取网络中输出的特征图中提取候选区域。该候选区域就为单尺寸锚框对应的像素位置。使用RPN检测分布在P2、P3、P4、P5、P6(P6为P5下采样得到)五个尺度的特征图上，分别在这五个特征图的每个像素位置上预设不同比例(1:2、1:1、2:1)的单尺度锚框。其中，单尺度锚框锚框的像素面积随着特征图尺寸变化，由小到大分别为82，162，322，642和1282。然后将各单尺寸锚框对应的像素位置提取为目标特征图。
目标特征图实际上组成了一个多尺寸特征池(Multi-levels RoI-AlignPooling)，该多尺寸特征池能够提高训练带钢表面缺陷识别模型的训练和测试速度，并提高带钢表面缺陷识别模型的识别精度。
为提高带钢微小型缺陷的识别精度，多尺度特征融合中需要使用不同尺度的目标特征图作为图2中的RoI-Align Pooling层的输入。目标特征图与RoI(Region of interestpooling，感兴趣区域池化)的映射公式见如下公式：
Figure BDA0002838779220000111
其中k为映射特征图尺度等级，分别对应不同尺寸的第三参考特征图。k值越小，对应的第三参考特征图的尺寸越大。k0为基准值，设置为4；224为原始图像的大小；w、h表示RoI的长和宽；符号
Figure BDA0002838779220000124
表示向下取整。
由上述公式可知，映射特征图的大小与RoI面积有关，当RoI面积较小时，则将其映射到一个较大的特征图中。但在带钢缺陷识别的应用场景中，划痕、夹杂等缺陷的长宽比差异较大，使得RoI的面积不能直观地反映缺陷，这导致映射结果偏大、缺陷信息丢失。为解决该问题，提出了Multi-levels RoI-Align Pooling。如式(2)所示，同时提取第kl和kl-1等级对应的第三参考特征图并进行融合，融合方式为将小尺度的第三参考特征图上采样并与大尺度第三参考特征图像素位置对应相加。这确保了即使映射结果偏大，信息也得以在融合后的第三参考特征图中保留，提高了识别细长型缺陷的精度。
Figure BDA0002838779220000121
进一步的，本实施例中所述的具有多尺寸特征融合功能的神经网络模型具有其特有的多任务损失函数，该多任务损失函数包括分类损失函数和回归损失函数两部分，多任务损失函数如下所示：
Figure BDA0002838779220000122
下标i表示第i个候选区域；p_i为目标物类别的预测值，即判定第i个候选区域中目标物类别的离散型概率分布；pi*为第i个锚框的Ground True标定值(真实值)，当锚框中存在该目标物时pi*＝1，不存在该目标物时pi*＝0；分类损失和回归损失分别由N_cls和N_reg以及权重λ归一化，其中N_cls为mini-batch的大小，N_reg为特征图的像素点数量。t_i＝{t_x,t_y,t_w,t_h}为表示目标物位置的预测值；t_i*＝{tx*,ty*,tw*,th*}则是学习样本中人工标注的目标物位置真实值。目标通过外接矩形框的方式定位，ti和ti*与矩形框坐标值的转换关系如下：
Figure BDA0002838779220000123
Figure BDA0002838779220000131
x,y,w,h分别为矩形框中心点坐标及长宽，x,xa和x*分别为矩形框预测值、锚框和Ground True标定值(真实值)，y,w,h同理。
对于分类损失，目标与非目标之间为交叉熵损失：
Figure BDA0002838779220000132
在回归问题中，对异常点、离群点过于敏感有可能引起训练过程中梯度爆炸的问题。为避免这一情况，回归损失为更加平滑的smooth L1损失：
Figure BDA0002838779220000133
Figure BDA0002838779220000134
式中，R表示smooth L1损失函数，参数σ用于控制平滑区域的大小，取值为3。
103、基于所提取的目标特征图，训练带钢表面缺陷识别模型。
在实际应用中，带钢表面缺陷识别模型的具体类型可以基于业务要求确定，本实施例中不做具体限定。示例性的，该带钢表面缺陷识别模型基于Tensorflow深度学习框架实现。
带钢表面缺陷识别模型的模型参数设置涉及到的内容主要有参数初始化、优化求解和超参数调试。参数初始化是基于ImageNet预训练模型进行技能迁移学习，在此基础上进行微调(Fine-tuning)。优化求解选择的优化器为SGD，该优化器将全部数据集分割成数个子集，每轮训练中网络遍历固定大小的子集数据，本实施例中设置batch size为8。
超参数调试中初始学习率设置为0.001，采取如下公式所示的指数型衰减策略。
Figure BDA0002838779220000135
式中，decay_rate为衰减指数，为小于1的数。global_step为总迭代次数，本专利中迭代次数(Epoch)为100，decay_steps用于控制衰减速度。
进一步的，为了评估带钢表面缺陷识别模型，训练后的带钢表面缺陷识别模型在测试样本集进行测试。示例性的，训练后的带钢表面缺陷识别模型在测试样本集的检测效果如表2所示。
表2
Figure BDA0002838779220000141
由表2可知，划痕、边裂和锈斑缺陷的检测召回率均达到96左右，斑块更是高达98.17％。划痕、斑块、边裂和锈斑的检测平均精度分别为89.97、95.35、90.17、90.68，检测mAP为91.54。
训练中的损失值变化曲线如图4所示。在100个Epoch的训练周期内，损失值呈现出如图4的变化趋势。在训练初期中，损失值迅速降低至0.2左右。在第50个epoch到第90个epoch之间，损失值逐渐收敛至稳定值，并在稳定值上下轻微振荡。在训练后期，损失值趋于平稳，收敛效果较好。这表明该模型的预测值与真实值接近，模型的检测性能较好。
本发明提供的带钢表面缺陷识别模型的训练方法，采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，并基于所提取的目标特征图训练带钢表面缺陷识别模型。由于本发明提供的方案加入多尺度特征融合的方式，将带钢表面的缺陷定位和种类判定分散到多个尺度的目标特征图上。目标特征图既能体现带钢表面尺寸较大的缺陷，又能体现带钢表面微小型缺陷，因此使用目标特征图训练而得带钢表面缺陷识别模型具有有效的带钢表面缺陷的识别能力，从而本发明实施例提供的方案能够提高带钢表面缺陷识别效果。
如图5所示，本发明实施例提供了一种带钢表面缺陷识别方法，该方法主要包括：
201、采集带钢的带钢表面图像。
202、利用带钢表面缺陷识别模型对所述带钢表面图像进行带钢表面缺陷识别。
其中，所述带钢表面缺陷识别模型训练所使用的目标特征图是采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取而得。
本发明实施例提供的带钢表面缺陷识别方法，由于采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，并基于所提取的目标特征图训练带钢表面缺陷识别模型。由于本发明提供的方案加入多尺度特征融合的方式，将带钢表面的缺陷定位和种类判定分散到多个尺度的目标特征图上。目标特征图既能体现带钢表面尺寸较大的缺陷，又能体现带钢表面微小型缺陷，因此使用目标特征图训练而得带钢表面缺陷识别模型具有有效的带钢表面缺陷的识别能力，从而本发明实施例提供的方案能够提高带钢表面缺陷识别效果。
进一步的，依据上述图1所示方法实施例，本发明的另一个实施例还提供了一种带钢表面缺陷识别模型的训练装置，如图6所示，所述装置包括：
获取单元31，用于获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷；
提取单元32，用于采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图；
训练单元33，用于基于所提取的目标特征图，训练带钢表面缺陷识别模型。
本发明实施例提供的带钢表面缺陷识别模型的训练装置，采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，并基于所提取的目标特征图训练带钢表面缺陷识别模型。由于本发明提供的方案加入多尺度特征融合的方式，将带钢表面的缺陷定位和种类判定分散到多个尺度的目标特征图上。目标特征图既能体现带钢表面尺寸较大的缺陷，又能体现带钢表面微小型缺陷，因此使用目标特征图训练而得带钢表面缺陷识别模型具有有效的带钢表面缺陷的识别能力，从而本发明实施例提供的方案能够提高带钢表面缺陷识别效果。
可选地，如图7所示，所述提取单元32包括：
第一处理模块321，用于针对所述图像样本集中的每一个所述带钢表面图像样本均执行如下操作：采用所述神经网络模型中的N个依次层叠连接的瓶颈层，将所述带钢表面图像样本依次缩小，形成N个第一参考特征图，其中，N个依次层叠连接的瓶颈层中的底层输出的第一参考特征图尺寸最大，顶层输出的第一参考特征图尺寸最小；
第二处理模块322，用于从顶层输出的第一参考特征图开始，依次对相邻的两个第一参考特征图进行上采样融合处理，形成所有相邻的两个第一参考特征图对应的第二参考特征图；
第三处理模块323，用于从底层输出的第一参考特征图对应的第二参考特征图开始，依次对各所述第二参考特征图进行下采样融合处理，形成各所述第二参考特征图对应的第三参考特征图；
提取模块324，用于从所形成的各所述第三参考特征图中提取表征带钢表面缺陷信息的目标特征图。
可选地，如图7所示，第一处理模块321，用于从所述N个依次层叠连接的瓶颈层中的顶层开始，将顶层至底层各所述瓶颈层依次作为当前层均执行：将目标图像输入至所述当前层，利用所述当前层基于所述目标图像的原有尺寸缩小所述目标图像的尺寸以及基于所述目标图像的原有通道数扩增所述目标图像的通道数，形成所述当前层输出的第一参考特征图；其中，所述当前层为N个依次层叠连接的瓶颈层中的顶层时，所述目标图像为所述带钢表面图像样本，所述当前层不为N个依次层叠连接的瓶颈层中的顶层时，所述目标图像为与所述当前层相邻的上一层输出的第一参考特征图。
可选地，如图7所示，第二处理模块322，用于从顶层输出的第一参考特征图开始，将顶层至底层输出的第一参考特征图依次作为当前第一参考特征图均执行：对所述当前第一参考特征图进行卷积操作，使得所述当前参考图与其相邻的下一层输出的第一参考特征图具有相同通道数；对所述当前第一参考特征图实施上采样，使得所述当前第一参考特征图与其相邻的下一层输出的第一参考特征图具有相同尺寸。
可选地，如图7所示，第三处理模块323，用于对底层的第二参考特征图进行滤波处理，得到所述第二参考特征图对应的第三参考特征图；从与底层的第二参考特征图相邻的上一个第二参考特征图开始，将各所述第二参考特征图作为当前第二参考特征图均执行：对上一个第二参考特征参考图对应的第三参考特征图实施下采样，将所述第三参考特征图的原有尺寸缩小至与所述当前第二参考特征图的尺寸相同；将缩小后的第三参考特征图与所述当前第二参考特征图中对应的像素位置相加，并在像素位置相加后，进行滤波处理，得到所述当前参考特征图对应的第三参考特征图。
可选地，如图7所示，提取模块324，用于在各所述第三参考特征图中设置不同比例的单尺寸锚框；将各所述单尺寸锚框对应的像素位置提取为所述目标特征图。
可选地，如图7所示，获取单元31包括：
获取模块311，用于获取拍摄设备拍摄的多个带钢表面图像；
标注模块312，用于对各所述带钢表面图像分别进行带钢表面缺陷标注；
第一选取模块313，用于从标注了带钢表面缺陷的带钢表面图像中，选取第一数量的带钢表面图像作为所述带钢表面图像样本，形成所述图像样本集。
可选地，如图7所示，获取单元31还包括：
判断模块314，用于判断标注了带钢表面缺陷的带钢表面图像的总数量是否达到第二数量。
第二选取模块315，用于若判断模块314判断标注了带钢表面缺陷的带钢表面图像的总数量未达到第二数量，对标注了带钢表面缺陷的带钢表面图像进行数据增强处理，形成第二数量的带钢表面图像，并从第二数量的带钢表面图像中选取所述第一数量的带钢表面图像，形成所述图像样本集；
第一选取模块313，用于若判断模块314判断标注了带钢表面缺陷的带钢表面图像的总数量达到第二数量，选取第一数量的带钢表面图像，形成所述图像样本集。
可选地，如图7所示，第二选取模块315所涉及的所述数据增强处理为对所述带钢表面图像进行如下中的至少一种操作：图像的图幅平移处理、图像剪裁处理、图像亮度改变处理、图像加入噪声处理、图像旋转处理以及图像镜像处理。
本发明实施例提供的带钢表面缺陷识别模型的训练装置中，各个功能模块运行过程中所采用的方法详解可以参见图1方法实施例的对应方法详解，在此不再赘述。
进一步的，依据上述图5所示方法实施例，本发明的另一个实施例还提供了一种带钢表面缺陷识别装置，如图8所示，所述装置包括：
采集单元41，用于采集带钢的带钢表面图像；
识别单元42，用于利用带钢表面缺陷识别模型对所述带钢表面图像进行带钢表面缺陷识别，其中，所述带钢表面缺陷识别模型训练所使用的目标特征图是采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取而得。
本发明实施例提供的带钢表面缺陷识别装置，由于采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，并基于所提取的目标特征图训练带钢表面缺陷识别模型。由于本发明提供的方案加入多尺度特征融合的方式，将带钢表面的缺陷定位和种类判定分散到多个尺度的目标特征图上。目标特征图既能体现带钢表面尺寸较大的缺陷，又能体现带钢表面微小型缺陷，因此使用目标特征图训练而得带钢表面缺陷识别模型具有有效的带钢表面缺陷的识别能力，从而本发明实施例提供的方案能够提高带钢表面缺陷识别效果。
本发明实施例提供的带钢表面缺陷识别装置中，各个功能模块运行过程中所采用的方法详解可以参见图5方法实施例的对应方法详解，在此不再赘述。
进一步的，依据上述实施例，本发明的另一个实施例还提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中所述的带钢表面缺陷识别模型的训练方法或执行上述中所述的带钢表面缺陷识别方法。
进一步的，依据上述实施例，本发明的另一个实施例还提供了一种存储管理设备，所述存储管理设备包括：
存储器，用于存储程序；
处理器，耦合至所述存储器，用于运行所述程序以执行上述中所述的带钢表面缺陷识别模型的训练方法或执行上述中所述的带钢表面缺陷识别方法。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的深度神经网络模型的运行方法、装置及框架中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种带钢表面缺陷识别模型的训练方法，其特征在于，包括：
获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷；
采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图；
基于所提取的目标特征图，训练带钢表面缺陷识别模型。
2.根据权利要求1所述的方法，其特征在于，采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图，包括：
针对所述图像样本集中的每一个所述带钢表面图像样本均执行如下操作：
采用所述神经网络模型中的N个依次层叠连接的瓶颈层，将所述带钢表面图像样本依次缩小，形成N个第一参考特征图，其中，N个依次层叠连接的瓶颈层中的底层输出的第一参考特征图尺寸最大，顶层输出的第一参考特征图尺寸最小；
从顶层输出的第一参考特征图开始，依次对相邻的两个第一参考特征图进行上采样融合处理，形成所有相邻的两个第一参考特征图对应的第二参考特征图；
从底层输出的第一参考特征图对应的第二参考特征图开始，依次对各所述第二参考特征图进行下采样融合处理，形成各所述第二参考特征图对应的第三参考特征图；
从所形成的各所述第三参考特征图中提取表征带钢表面缺陷信息的目标特征图。
3.根据权利要求2所述的方法，其特征在于，采用所述神经网络模型中的N个依次层叠连接的瓶颈层，将所述带钢表面图像样本依次缩小，形成N个第一参考特征图，包括：
从所述N个依次层叠连接的瓶颈层中的底层开始，将底层至顶层各所述瓶颈层依次作为当前层均执行：
将目标图像输入至所述当前层，利用所述当前层基于所述目标图像的原有尺寸缩小所述目标图像的尺寸以及基于所述目标图像的原有通道数扩增所述目标图像的通道数，形成所述当前层输出的第一参考特征图；其中，所述当前层为N个依次层叠连接的瓶颈层中的顶层时，所述目标图像为所述带钢表面图像样本，所述当前层不为N个依次层叠连接的瓶颈层中的顶层时，所述目标图像为与所述当前层相邻的上一层输出的第一参考特征图。
4.根据权利要求2所述的方法，其特征在于，从顶层输出的第一参考特征图开始，依次对相邻的两个第一参考特征图进行上采样融合处理，形成所有相邻的两个第一参考特征图对应的第二参考特征图，包括：
从顶层输出的第一参考特征图开始，将顶层至底层输出的第一参考特征图依次作为当前第一参考特征图均执行：
对所述当前第一参考特征图进行卷积操作，使得所述当前第一参考特征图与其相邻的下一层输出的第一参考特征图具有相同通道数；
对所述当前第一参考特征图实施上采样，使得所述当前第一参考特征图与其相邻的下一层输出的第一参考特征图具有相同尺寸，形成当前第一参考特征图和与其相邻的下一层输出的第一参考特征图对应的第二参考特征图。
5.根据权利要求2所述的方法，其特征在于，从底层输出的第一参考特征图对应的第二参考特征图开始，依次对各所述第二参考特征图进行下采样融合处理，形成各所述第二参考特征图对应的第三参考特征图，包括：
对底层的第二参考特征图进行滤波处理，得到所述第二参考特征图对应的第三参考特征图；
从与底层的第二参考特征图相邻的上一个第二参考特征图开始，将各所述第二参考特征图作为当前第二参考特征图均执行：
对上一个第二参考特征参考图对应的第三参考特征图实施下采样，将所述第三参考特征图的原有尺寸缩小至与所述当前第二参考特征图的尺寸相同；
将缩小后的第三参考特征图与所述当前第二参考特征图中对应的像素位置相加，并在像素位置相加后，进行滤波处理，得到所述当前参考特征图对应的第三参考特征图。
6.根据权利要求2所述的方法，其特征在于，从所形成的各所述第三参考特征图中提取表征带钢表面缺陷信息的目标特征图，包括：
在各所述第三参考特征图中设置不同比例的单尺寸锚框；
将各所述单尺寸锚框对应的像素位置提取为所述目标特征图。
7.根据权利要求1所述的方法，其特征在于，获取图像样本集，包括：
获取拍摄设备拍摄的多个带钢表面图像；
对各所述带钢表面图像分别进行带钢表面缺陷标注；
从标注了带钢表面缺陷的带钢表面图像中，选取第一数量的带钢表面图像作为所述带钢表面图像样本，形成所述图像样本集。
8.根据权利要求7所述的方法，其特征在于，在从标注了带钢表面缺陷的带钢表面图像中，选取第一数量的带钢表面图像作为所述带钢表面图像样本，形成所述图像样本集之前，所述方法还包括：
判断标注了带钢表面缺陷的带钢表面图像的总数量是否达到第二数量；
若未达到，对标注了带钢表面缺陷的带钢表面图像进行数据增强处理，形成第二数量的带钢表面图像，并从第二数量的带钢表面图像中选取所述第一数量的带钢表面图像，形成所述图像样本集；
若达到，选取第一数量的带钢表面图像，形成所述图像样本集。
9.根据权利要求8所述的方法，其特征在于，所述数据增强处理为对所述带钢表面图像进行如下中的至少一种操作：图像的图幅平移处理、图像剪裁处理、图像亮度改变处理、图像加入噪声处理、图像旋转处理以及图像镜像处理。
10.一种带钢表面缺陷识别方法，其特征在于，包括：
采集带钢的带钢表面图像；
利用带钢表面缺陷识别模型对所述带钢表面图像进行带钢表面缺陷识别，其中，所述带钢表面缺陷识别模型训练所使用的目标特征图是采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取而得。
11.一种带钢表面缺陷识别模型的训练装置，其特征在于，包括：
获取单元，用于获取图像样本集，其中，所述图像样本集中包括有多个带钢表面图像样本，且各所述带钢表面图像样本分别标注有至少一种带钢表面缺陷；
提取单元，用于采用具有多尺寸特征融合功能的神经网络模型，对所述图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取表征带钢表面缺陷的目标特征图；
训练单元，用于基于所提取的目标特征图，训练带钢表面缺陷识别模型。
12.一种带钢表面缺陷识别装置，其特征在于，包括：
采集单元，用于采集带钢的带钢表面图像；
识别单元，用于利用带钢表面缺陷识别模型对所述带钢表面图像进行带钢表面缺陷识别，其中，所述带钢表面缺陷识别模型训练所使用的目标特征图是采用具有多尺寸特征融合功能的神经网络模型，对图像样本集中的带钢表面图像样本进行多尺寸特征融合处理，从所述图像样本集的带钢表面图像样本中提取而得。
13.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求9中任意一项所述的带钢表面缺陷识别模型的训练方法或执行权利要求10中所述的带钢表面缺陷识别方法。
14.一种存储管理设备，其特征在于，所述存储管理设备包括：
存储器，用于存储程序；
处理器，耦合至所述存储器，用于运行所述程序以执行权利要求1至权利要求9中任意一项所述的带钢表面缺陷识别模型的训练方法或执行权利要求10中所述的带钢表面缺陷识别方法。
CN202011483741.1A 2020-12-16 2020-12-16 一种带钢表面缺陷识别模型的训练方法及装置 Active CN112819748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011483741.1A CN112819748B (zh) 2020-12-16 2020-12-16 一种带钢表面缺陷识别模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011483741.1A CN112819748B (zh) 2020-12-16 2020-12-16 一种带钢表面缺陷识别模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN112819748A true CN112819748A (zh) 2021-05-18
CN112819748B CN112819748B (zh) 2023-09-19

Family

ID=75853419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011483741.1A Active CN112819748B (zh) 2020-12-16 2020-12-16 一种带钢表面缺陷识别模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN112819748B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392960A (zh) * 2021-06-10 2021-09-14 电子科技大学 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN113538342A (zh) * 2021-06-25 2021-10-22 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113592024A (zh) * 2021-08-12 2021-11-02 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN114359736A (zh) * 2022-03-02 2022-04-15 深圳市智源空间创新科技有限公司 复杂光环境下的管道缺陷检测方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030046253A (ko) * 2001-12-05 2003-06-12 주식회사 포스코 스트립표면 결함부의 검출 및 평점산출장치
CN102500733A (zh) * 2011-09-22 2012-06-20 中国科学院金属研究所 一种高效率愈合钢锭内部孔洞型缺陷的锻造方法
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108765412A (zh) * 2018-06-08 2018-11-06 湖北工业大学 一种带钢表面缺陷分类方法
CN109781737A (zh) * 2019-01-14 2019-05-21 佛山市南海区广工大数控装备协同创新研究院 一种软管表面缺陷的检测方法及其检测系统
CN110120036A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种多尺度的轮胎x光病疵检测方法
CN110490842A (zh) * 2019-07-22 2019-11-22 同济大学 一种基于深度学习的带钢表面缺陷检测方法
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
WO2020186385A1 (zh) * 2019-03-15 2020-09-24 深圳市大疆创新科技有限公司 图像处理方法、电子设备及计算机可读存储介质
US20200311890A1 (en) * 2019-03-29 2020-10-01 Apple Inc. Image fusion processing module
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
CN112070728A (zh) * 2020-08-24 2020-12-11 西安理工大学 基于目标检测算法的钢绳表面缺陷识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030046253A (ko) * 2001-12-05 2003-06-12 주식회사 포스코 스트립표면 결함부의 검출 및 평점산출장치
CN102500733A (zh) * 2011-09-22 2012-06-20 中国科学院金属研究所 一种高效率愈合钢锭内部孔洞型缺陷的锻造方法
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108765412A (zh) * 2018-06-08 2018-11-06 湖北工业大学 一种带钢表面缺陷分类方法
CN109781737A (zh) * 2019-01-14 2019-05-21 佛山市南海区广工大数控装备协同创新研究院 一种软管表面缺陷的检测方法及其检测系统
WO2020186385A1 (zh) * 2019-03-15 2020-09-24 深圳市大疆创新科技有限公司 图像处理方法、电子设备及计算机可读存储介质
US20200311890A1 (en) * 2019-03-29 2020-10-01 Apple Inc. Image fusion processing module
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110120036A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种多尺度的轮胎x光病疵检测方法
CN110490842A (zh) * 2019-07-22 2019-11-22 同济大学 一种基于深度学习的带钢表面缺陷检测方法
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
CN111696077A (zh) * 2020-05-11 2020-09-22 余姚市浙江大学机器人研究中心 一种基于WaferDet网络的晶圆缺陷检测方法
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN112070728A (zh) * 2020-08-24 2020-12-11 西安理工大学 基于目标检测算法的钢绳表面缺陷识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KANGYU LI ET AL.: "Application of Multi-Scale Feature Fusion and Deep Learning in Detection of Steel Strip Surface Defect", 《2019 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND ADVANCED MANUFACTURING》, pages 656 - 661 *
SHU LIU ET AL.: "Path Aggregation Network for Instance Segmentation", 《PATH AGGREGATION NETWORK FOR INSTANCE SEGMENTATION》, pages 1 - 11 *
YANG X ET AL.: "Automatic Ship Detection in Remote Sensing Images from Google Earth of Complex Scenes Based on Multiscale Rotation Dense Feature Pyramid Networks", 《REMOTE SENSING》, vol. 10, no. 1, pages 1 - 14 *
王立中;管声启;: "基于深度学习算法的带钢表面缺陷识别", 西安工程大学学报, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392960A (zh) * 2021-06-10 2021-09-14 电子科技大学 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN113392960B (zh) * 2021-06-10 2022-08-30 电子科技大学 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN113538342A (zh) * 2021-06-25 2021-10-22 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113538342B (zh) * 2021-06-25 2023-08-18 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113592024A (zh) * 2021-08-12 2021-11-02 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN114359736A (zh) * 2022-03-02 2022-04-15 深圳市智源空间创新科技有限公司 复杂光环境下的管道缺陷检测方法及装置

Also Published As

Publication number Publication date
CN112819748B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN110660052A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN114841244B (zh) 一种基于鲁棒采样和混合注意力金字塔的目标检测方法
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN111415353A (zh) 基于ResNet58网络的紧固件毛刺缺陷的检测结构及其检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN110728269A (zh) 一种高铁接触网支柱杆号牌识别方法
CN112132137A (zh) 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant