CN117333491A - 一种钢材表面缺陷检测方法及系统 - Google Patents
一种钢材表面缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117333491A CN117333491A CN202311635217.5A CN202311635217A CN117333491A CN 117333491 A CN117333491 A CN 117333491A CN 202311635217 A CN202311635217 A CN 202311635217A CN 117333491 A CN117333491 A CN 117333491A
- Authority
- CN
- China
- Prior art keywords
- steel
- data
- steel surface
- data set
- surface image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 127
- 239000010959 steel Substances 0.000 title claims abstract description 127
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 230000007547 defect Effects 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 24
- 239000000463 material Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000011049 filling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012770 industrial material Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像检测技术领域，尤其涉及一种钢材表面缺陷检测方法及系统，包括：S1、获取待检测钢材表面图像；S2、将所述待检测钢材表面图像输入至训练的钢材表面图像检测模型中，得到与该待检测钢材表面图像对应的检测结果；所述检测结果包括该待检测钢材表面图像所对应的缺陷类型标签和结果图像；所述结果图像为在该待检测钢材表面图像中标注出缺陷的位置的图像；其中，所述钢材表面图像检测模型包括大核卷积层、特征金字塔网络以及头部网络；预先采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
Description
技术领域
本发明涉及图像检测技术领域，尤其涉及一种钢材表面缺陷检测方法及系统。
背景技术
钢铁工业为我国国民经济的快速增长作出了巨大贡献。钢材作为重要的工业材料，在各个领域都有广泛的应用，成为工业制造中不可或缺的材料，被大量应用在建筑、轻工、机械及汽车等行业中。然而，受生产环境、机械缺陷、原材料质量问题等影响，钢材在生产过程中难免会出现一些表面缺陷，如内含物、开裂、斑块、轧制氧化皮、表面有划痕等缺陷等。这些缺陷不仅会影响钢材外观，还会损害钢材的疲劳强度、抗磨性、耐腐蚀性等性能。这些表面缺陷如果不能及时检测和修复，将严重影响钢材的质量和性能。因此，国内外钢材表面缺陷检测技术的研究和发展一直备受关注。如何快速准确地进行钢材表面缺陷检测成为钢材工业生产中亟待解决的关键问题之一。
机器视觉方法具有强大的特征提取能力，能使缺陷检测精度更高、识别速度更快，因此成为近些年钢材缺陷检测研究的热点。
但是，尽管深度学习算法在钢轨表面缺陷检测方面取得了显著进展，但仍然面临着一些挑战。随着神经网络深度的增加，网络检测的效率降低，并且由于缺陷特征较难提取，传统的卷积神经网络较难提取其中的缺陷特征。
发明内容
鉴于现有技术的上述缺点、不足，本发明提供一种钢材表面缺陷检测方法及系统，其解决了随着神经网络深度的增加，网络检测的效率降低，并且由于缺陷特征较难提取，传统的卷积神经网络较难提取其中的缺陷特征的技术问题。
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种钢材表面缺陷检测方法，包括：
S1、获取待检测钢材表面图像；
S2、将所述待检测钢材表面图像输入至训练的钢材表面图像检测模型中，得到与该待检测钢材表面图像对应的检测结果；
所述检测结果包括该待检测钢材表面图像所对应的缺陷类型标签和结果图像；所述结果图像为在该待检测钢材表面图像中标注出缺陷的位置的图像；
其中，所述钢材表面图像检测模型包括大核卷积层、特征金字塔网络以及头部网络；
预先采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
优选的，在S1之前，还包括：
S0、采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
优选的，
所述训练数据集是通过对预先获取第一数据集中的数据进行预处理所得到的；
其中，所述第一数据集为NEU-DET表面缺陷数据集中的指定的数据；
其中，所述第一数据集中每一数据均具有与该数据所对应的标识该数据所属缺陷类型的标签。
优选的，
其中，对预先获取第一数据集中的数据进行预处理，具体包括：
分别对预先获取第一数据集中的数据的像素值标准化，得到像素值标准化后的第一数据集；
针对像素值标准化后的第一数据集的每一数据，以50%的概率进行水平翻转处理，得到翻转后的第一数据集；
对翻转后的第一数据集中的每一数据，进行数据填充处理，使该数据在数据填充处理后满足第一预设条件，得到训练数据集；
其中所述第一预设条件为：该数据在数据填充处理后宽度和高度都是128的倍数。
优选的，
所述大核卷积层依次包括N个阶段层；
其中，在N个阶段层中的第n个阶段层，用于对输入大核卷积的数据进行第n次卷积操作，得到相应的卷积操作结果；
其中，卷积操作包括深度卷积、深度及展开卷积和点态卷积。
优选的，
所述特征金字塔网络，用于接收大核卷积层中每一阶段层的卷积操作结果，并基于大核卷积层中的所有阶段层的卷积操作结果进行融合得到融合结果，并将融合结果输入至头部网络；
所述特征金字塔网络包括N层；
所述特征金字塔网络每一层分别与所述大核卷积层中的N个阶段层一一对应。
优选的，
所述头部网络，用于根据所述融合结果生成分别与每层特征金字塔网络相应的候选区域，并根据生成的候选区域，对待检测钢材表面图像进行准确地分类得到该待检测钢材表面图像所对应的缺陷类型标签和并在该待检测钢材表面图像中标注出缺陷的位置。
优选的，所述S0具体包括：将所述训练数据集中的每一数据输入至对所述钢材表面图像检测模型中进行训练，直至与该钢材表面图像检测模型所对应的预先设定的回归损失函数和分类损失函数收敛，得到训练的钢材表面图像检测模型；
其中，所述回归损失函数为GIoULoss函数；所述分类损失函数为QualityFocalLoss函数。
优选的，
其中，在所述钢材表面图像检测模型训练的过程中采用AdamW优化算法，小化预先设定的回归损失函数和分类损失函数，并更新所述钢材表面图像检测模型中的所有权重参数。
另一方面，本实施例还提供一种钢材表面缺陷检测系统，包括：
至少一个图形处理器；以及
与所述图形处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述图形处理器执行的程序指令，所述图形处理器调用所述程序指令能够执行如上述任一的钢材表面缺陷检测方法。
本发明的有益效果是：本发明的一种钢材表面缺陷检测方法及系统，由于将待检测钢材表面图像输入到训练的钢材表面图像检测模型中，得到与该待检测钢材表面图像对应的检测结果；所述检测结果包括该待检测钢材表面图像所对应的缺陷类型标签和结果图像；所述结果图像为在该待检测钢材表面图像中标注出缺陷的位置的图像；所述钢材表面图像检测模型包括大核卷积层、特征金字塔网络模块以及头部网络，相对于现有技术而言，训练的钢材表面图像检测模型充分利用了钢材表面图像中的局部和全局特征信息，捕捉到了输入数据的局部特征和全局关联，提高了模型对输入数据的理解和建模能力，进一步更加容易地提取到待检测钢材表面图像中的缺陷特征，提高了钢材表面缺陷的检测效率。
附图说明
图1为本发明的一种钢材表面缺陷检测方法流程图；
图2为本发明实施例中的钢材表面图像检测模型结构示意图；
图3为按照本实施例提供的一种钢材表面缺陷检测方法的检测结果示意图。
具体实施方式
为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整地传达给本领域的技术人员。
参见图1，本实施例提供一种钢材表面缺陷检测方法，包括：
S1、获取待检测钢材表面图像。
S2、将所述待检测钢材表面图像输入至训练的钢材表面图像检测模型中，得到与该待检测钢材表面图像对应的检测结果。
所述检测结果包括该待检测钢材表面图像所对应的缺陷类型标签和结果图像；所述结果图像为在该待检测钢材表面图像中标注出缺陷的位置的图像。
本实施例中，钢轨表面图像缺陷检测完成后，将输出用不同颜色和标签标注出的不同类型的缺陷图像。
其中，参见图2，所述钢材表面图像检测模型包括大核卷积层、特征金字塔网络以及头部网络。
预先采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
本实施例提供一种钢材表面缺陷检测方法，实现对钢材表面缺陷的有效检测。建立了以大核卷积为主干，以FPN为颈部，头部网络结构，充分利用了钢材表面图像中的局部和全局特征信息，捕捉到了输入数据的局部特征和全局关联，提高了模型对输入数据的理解和建模能力。
在本实施例的实际应用中，在S1之前，还包括：
S0、采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
所述训练数据集是通过对预先获取第一数据集中的数据进行预处理所得到的。
其中，所述第一数据集为NEU-DET表面缺陷数据集中的指定的数据。
本实施例中NEU-DET表面缺陷数据集由东北大学的研究团队创建，用于评估和比较不同算法在工件表面缺陷检测任务中的性能。该数据集包含了6种常见的表面缺陷类型，如划痕、涂层破损、油污等，并提供了包含缺陷和无缺陷样本的图像，以及相关的标注信息。该数据集可以用于开发和测试表面缺陷检测和分类算法，促进该领域的研究和应用。
其中，所述第一数据集中每一数据均具有与该数据所对应的标识该数据所属缺陷类型的标签。
其中，对预先获取第一数据集中的数据进行预处理，具体包括：
分别对预先获取第一数据集中的数据的像素值标准化，得到像素值标准化后的第一数据集。
在本实施例的实际应用中，采用标准化公式进行标准化处理，这个标准化公式是一种常见的数据预处理方法，它用于将图像数据标准化为具有零均值和单位标准差的形式。下面是标准化公式的解释。
image=（image-mean）/std；
image表示原始图像数据；mean表示图像数据的平均值；std表示图像数据的标准差。
标准化公式的计算步骤如下：
1、对于图像中的每个像素值，都减去整个图像数据的平均值（mean)；
2、将得到的结果除以整个图像数据的标准差（std)。
这样，经过标准化处理后的图像数据将具有均值为0，标准差为1的特性。标准化可以提高机器学习模型的训练效果，因为它可以降低不同特征的尺度差异对算法的影响，使模型更容易学习到有效的特征表示。
针对像素值标准化后的第一数据集的每一数据，以50%的概率进行水平翻转处理，得到翻转后的第一数据集。
对翻转后的第一数据集中的每一数据，进行数据填充处理，使该数据在数据填充处理后满足第一预设条件，得到训练数据集。
其中所述第一预设条件为：该数据在数据填充处理后宽度和高度都是128的倍数。
本实施例中的训练数据集中的每一数据都保证了尺寸适应钢材表面图像检测模型的要求。
所述大核卷积层依次包括N个阶段层。
其中，在N个阶段层中的第n个阶段层，用于对输入大核卷积的数据进行第n次卷积操作，得到相应的卷积操作结果。
其中，卷积操作包括深度卷积、深度及展开卷积和点态卷积。
具体的，在大核卷积分解中，深度卷积、深度及展开卷积和点态卷积分别可以提取图像的局部空间信息、全局空间信息和通道信息，这样就可以更好地适应钢材表面缺陷检测的任务。
本实施例中，所述特征金字塔网络，用于接收大核卷积层中每一阶段层的卷积操作结果，并基于大核卷积层中的所有阶段层的卷积操作结果进行融合得到融合结果，并将融合结果输入至头部网络。
大核卷积云用作主干部分，FPN用作颈部，以及网络头部。其中，通过主干部分来提取局部和全局的特征信息。通过颈部进一步获得丰富的多尺度特征信息。最后通过网络头部计算，充分利用分类任务和回归任务之间的交互信息，以获得更为准确的预测结果。
所述特征金字塔网络包括N层；所述特征金字塔网络每一层分别与所述大核卷积层中的N个阶段层一一对应。
在本实施例的实际应用中，所述头部网络，用于根据所述融合结果生成分别与每层特征金字塔网络相应的候选区域，并根据生成的候选区域，对待检测钢材表面图像进行准确地分类得到该待检测钢材表面图像所对应的缺陷类型标签和并在该待检测钢材表面图像中标注出缺陷的位置。
所述S0具体包括：将所述训练数据集中的每一数据输入至对所述钢材表面图像检测模型中进行训练，直至与该钢材表面图像检测模型所对应的预先设定的回归损失函数和分类损失函数收敛，得到训练的钢材表面图像检测模型。
其中，所述回归损失函数为GIoULoss函数；所述分类损失函数为QualityFocalLoss函数。
具体地，在模型训练中，输入模型数据的batch_size为4，将GIoULoss作为回归损失，来衡量模型的预测结果与真实标签之间的差异；将QualityFocalLoss作为分类损失，兼顾分类得分和质量评估得分。
其中，在所述钢材表面图像检测模型训练的过程中采用AdamW优化算法，小化预先设定的回归损失函数和分类损失函数，并更新所述钢材表面图像检测模型中的所有权重参数。
另一方面，本实施例还提供一种钢材表面缺陷检测系统，包括：
至少一个图形处理器；以及与所述图形处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述图形处理器执行的程序指令，所述图形处理器调用所述程序指令能够执行如实施例中的钢材表面缺陷检测方法。
本实施例基于深度学习框架来实现本实施例中钢材表面缺陷检测方法的网络结构，编程语言为Python。使用的硬件测试平台为：处理器12th Gen Intel(R) Core(TM) i5-12400F CPU，主频为2.50 GHz，内存32GB，显卡为GeForce RTX 3060；软件平台为：Ubuntu操作系统和PyCharm 2022。
本实施例在NEU-DET数据集上验证本实施例提供的一种钢材表面缺陷检测方法。该NEU-DET数据集由东北大学发布，包括1800幅灰度图像，收集了热轧钢带的六种典型表面缺陷，分别为轧制氧化皮（RS），斑块（Pa），开裂（Cr），点蚀表面（PS），内含物（In）和划痕（Sc）。每一类缺陷包含300个样本。
表1
表1给出了各个不同检测方法在NEU-DET数据集中不同缺陷类别图像上的mAP结果。可以看出，在开裂（Cr）、内含物（In）、轧制氧化皮（RS）和划痕（Sc）四类缺陷检测中，本实施例中所提出的检测方法均得到了最高的mAP（平均精确度均值）。
表2
表2为本实施例提供的一种钢材表面缺陷检测方法在CPU和GPU上的帧率，从表2中可以看出基于GPU的钢材表面缺陷检测方法相较于CPU的方法，要效率上有较大优势。图3为按照本实施例提供的一种钢材表面缺陷检测方法的检测结果示意图。
本实施例提供一种钢材表面缺陷检测方法，实现对钢材表面缺陷的有效检测。建立了以大核卷积为主干，以FPN为颈部，头部网络结构，充分利用了钢材表面图像中的局部和全局特征信息，捕捉到了输入数据的局部特征和全局关联，提高了模型对输入数据的理解和建模能力。在GPU上进行加速运算，进一步提升了算法的效率。实现了对钢材表面缺陷的有效、实时检测。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征 “上”或“下”，可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”，可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”，可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行改动、修改、替换和变型。
Claims (10)
1.一种钢材表面缺陷检测方法，其特征在于，包括：
S1、获取待检测钢材表面图像；
S2、将所述待检测钢材表面图像输入至训练的钢材表面图像检测模型中，得到与该待检测钢材表面图像对应的检测结果；
所述检测结果包括该待检测钢材表面图像所对应的缺陷类型标签和结果图像；所述结果图像为在该待检测钢材表面图像中标注出缺陷的位置的图像；
其中，所述钢材表面图像检测模型包括大核卷积层、特征金字塔网络以及头部网络；
预先采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
2.根据权利要求1所述的钢材表面缺陷检测方法，其特征在于，在S1之前，还包括：
S0、采用训练数据集对所述钢材表面图像检测模型进行训练，得到训练的钢材表面图像检测模型。
3.根据权利要求2所述的钢材表面缺陷检测方法，其特征在于，
所述训练数据集是通过对预先获取第一数据集中的数据进行预处理所得到的；
其中，所述第一数据集为NEU-DET表面缺陷数据集中的指定的数据；
其中，所述第一数据集中每一数据均具有与该数据所对应的标识该数据所属缺陷类型的标签。
4.根据权利要求3所述的钢材表面缺陷检测方法，其特征在于，
其中，对预先获取第一数据集中的数据进行预处理，具体包括：
分别对预先获取第一数据集中的数据的像素值标准化，得到像素值标准化后的第一数据集；
针对像素值标准化后的第一数据集的每一数据，以50%的概率进行水平翻转处理，得到翻转后的第一数据集；
对翻转后的第一数据集中的每一数据，进行数据填充处理，使该数据在数据填充处理后满足第一预设条件，得到训练数据集；
其中所述第一预设条件为：该数据在数据填充处理后宽度和高度都是128的倍数。
5.根据权利要求4所述的钢材表面缺陷检测方法，其特征在于，
所述大核卷积层依次包括N个阶段层；
其中，在N个阶段层中的第n个阶段层，用于对输入大核卷积的数据进行第n次卷积操作，得到相应的卷积操作结果；
其中，卷积操作包括深度卷积、深度及展开卷积和点态卷积。
6.根据权利要求5所述的钢材表面缺陷检测方法，其特征在于，
所述特征金字塔网络，用于接收大核卷积层中每一阶段层的卷积操作结果，并基于大核卷积层中的所有阶段层的卷积操作结果进行融合得到融合结果，并将融合结果输入至头部网络；
所述特征金字塔网络包括N层；
所述特征金字塔网络每一层分别与所述大核卷积层中的N个阶段层一一对应。
7.根据权利要求6所述的钢材表面缺陷检测方法，其特征在于，
所述头部网络，用于根据所述融合结果生成分别与每层特征金字塔网络相应的候选区域，并根据生成的候选区域，对待检测钢材表面图像进行准确地分类得到该待检测钢材表面图像所对应的缺陷类型标签和并在该待检测钢材表面图像中标注出缺陷的位置。
8.根据权利要求7所述的钢材表面缺陷检测方法，其特征在于，所述S0具体包括：将所述训练数据集中的每一数据输入至对所述钢材表面图像检测模型中进行训练，直至与该钢材表面图像检测模型所对应的预先设定的回归损失函数和分类损失函数收敛，得到训练的钢材表面图像检测模型；
其中，所述回归损失函数为GIoULoss函数；所述分类损失函数为QualityFocalLoss函数。
9.根据权利要求7所述的钢材表面缺陷检测方法，其特征在于，
其中，在所述钢材表面图像检测模型训练的过程中采用AdamW优化算法，小化预先设定的回归损失函数和分类损失函数，并更新所述钢材表面图像检测模型中的所有权重参数。
10.一种钢材表面缺陷检测系统，其特征在于，包括：
至少一个图形处理器；以及
与所述图形处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述图形处理器执行的程序指令，所述图形处理器调用所述程序指令能够执行如权利要求1-9中任一所述的钢材表面缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311635217.5A CN117333491B (zh) | 2023-12-01 | 2023-12-01 | 一种钢材表面缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311635217.5A CN117333491B (zh) | 2023-12-01 | 2023-12-01 | 一种钢材表面缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117333491A true CN117333491A (zh) | 2024-01-02 |
| CN117333491B CN117333491B (zh) | 2024-03-15 |
Family
ID=89277848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311635217.5A Active CN117333491B (zh) | 2023-12-01 | 2023-12-01 | 一种钢材表面缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333491B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| US20200175352A1 (en) * | 2017-03-14 | 2020-06-04 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN112347936A (zh) * | 2020-11-07 | 2021-02-09 | 南京天通新创科技有限公司 | 一种基于深度可分离卷积的快速目标检测方法 |
| CN115239642A (zh) * | 2022-07-01 | 2022-10-25 | 华雁智能科技(集团)股份有限公司 | 一种输电线路中小金具缺陷的检测方法、检测装置和设备 |
| CN115294089A (zh) * | 2022-08-18 | 2022-11-04 | 陕西科技大学 | 一种基于改进YOLOv5的钢材表面缺陷检测方法 |
| CN115546223A (zh) * | 2022-12-05 | 2022-12-30 | 南京天创电子技术有限公司 | 一种列车车下设备紧固螺栓的缺失检测方法和系统 |
| CN116012372A (zh) * | 2023-02-28 | 2023-04-25 | 长沙理工大学 | 基于改进YOLOv5的铝表面实时缺陷检测方法及系统 |
| CN116109947A (zh) * | 2022-09-02 | 2023-05-12 | 北京航空航天大学 | 一种基于大核等效卷积注意力机制的无人机图像目标检测方法 |
| CN116468666A (zh) * | 2023-03-14 | 2023-07-21 | 贵州电网有限责任公司 | 一种专用于输电线路运维的巡检图像缺陷检测方法 |
| CN116664941A (zh) * | 2023-06-07 | 2023-08-29 | 浙江理工大学 | 一种轴承套圈表面缺陷视觉检测方法 |
| CN116721078A (zh) * | 2023-06-09 | 2023-09-08 | 华侨大学 | 一种基于深度学习的带钢表面缺陷检测方法及装置 |
| US20230306577A1 (en) * | 2022-05-25 | 2023-09-28 | Nanjing University Of Aeronautics And Astronautics | Cross-scale defect detection method based on deep learning |
| CN116912165A (zh) * | 2023-06-02 | 2023-10-20 | 大连交通大学 | 一种基于改进YOLOv5的铝合金薄板焊接缺陷检测方法 |
-
2023
- 2023-12-01 CN CN202311635217.5A patent/CN117333491B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175352A1 (en) * | 2017-03-14 | 2020-06-04 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| WO2020048119A1 (en) * | 2018-09-04 | 2020-03-12 | Boe Technology Group Co., Ltd. | Method and apparatus for training a convolutional neural network to detect defects |
| CN112347936A (zh) * | 2020-11-07 | 2021-02-09 | 南京天通新创科技有限公司 | 一种基于深度可分离卷积的快速目标检测方法 |
| US20230306577A1 (en) * | 2022-05-25 | 2023-09-28 | Nanjing University Of Aeronautics And Astronautics | Cross-scale defect detection method based on deep learning |
| CN115239642A (zh) * | 2022-07-01 | 2022-10-25 | 华雁智能科技(集团)股份有限公司 | 一种输电线路中小金具缺陷的检测方法、检测装置和设备 |
| CN115294089A (zh) * | 2022-08-18 | 2022-11-04 | 陕西科技大学 | 一种基于改进YOLOv5的钢材表面缺陷检测方法 |
| CN116109947A (zh) * | 2022-09-02 | 2023-05-12 | 北京航空航天大学 | 一种基于大核等效卷积注意力机制的无人机图像目标检测方法 |
| CN115546223A (zh) * | 2022-12-05 | 2022-12-30 | 南京天创电子技术有限公司 | 一种列车车下设备紧固螺栓的缺失检测方法和系统 |
| CN116012372A (zh) * | 2023-02-28 | 2023-04-25 | 长沙理工大学 | 基于改进YOLOv5的铝表面实时缺陷检测方法及系统 |
| CN116468666A (zh) * | 2023-03-14 | 2023-07-21 | 贵州电网有限责任公司 | 一种专用于输电线路运维的巡检图像缺陷检测方法 |
| CN116912165A (zh) * | 2023-06-02 | 2023-10-20 | 大连交通大学 | 一种基于改进YOLOv5的铝合金薄板焊接缺陷检测方法 |
| CN116664941A (zh) * | 2023-06-07 | 2023-08-29 | 浙江理工大学 | 一种轴承套圈表面缺陷视觉检测方法 |
| CN116721078A (zh) * | 2023-06-09 | 2023-09-08 | 华侨大学 | 一种基于深度学习的带钢表面缺陷检测方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| QIRUI REN 等: "Slighter Faster R-CNN for real-time detection of steel strip surface defects", 《2018 CHINESE AUTOMATION CONGRESS (CAC)》, 24 January 2019 (2019-01-24), pages 2173 - 2178 * |
| 李若尘 等: "基于深度学习的木材缺陷图像的识别与定位", 《数据采集与处理》, no. 03, 15 May 2020 (2020-05-15), pages 494 - 505 * |
| 王宏 等: "LKA-EfficientNet:大数据背景下融合大核注意力卷积的轻量化图像篡改定位算法", 《计算机应用》, 11 January 2023 (2023-01-11), pages 1 - 10 * |
| 王能文 等: "改进YOLOX-S实时多尺度交通标志检测算法", 《计算机工程与应用》, vol. 59, no. 21, pages 167 - 175 * |
| 董荣 等: "采用大核注意力机制的抗噪轴承故障诊断模型", 《噪声与振动控制》, vol. 43, no. 02, 13 April 2023 (2023-04-13), pages 162 - 168 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117333491B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN113362326B (zh) | 一种电池焊点缺陷的检测方法及装置 | |
| CN106952250B (zh) | 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置 | |
| CN108009591B (zh) | 一种基于深度学习的接触网关键部件识别方法 | |
| CN106934800B (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
| CN110211101A (zh) | 一种铁轨表面缺陷快速检测系统及方法 | |
| CN113592828B (zh) | 基于工业内窥镜的无损检测方法及系统 | |
| CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN111127448B (zh) | 一种基于孤立森林检测空气弹簧故障的方法 | |
| CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
| CN107292879A (zh) | 一种基于图像分析的金属板材表面异常检测方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN108508023B (zh) | 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统 | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| CN111612747A (zh) | 产品表面裂缝快速检测方法及检测系统 | |
| CN111882664A (zh) | 一种多窗口累计差分的裂缝提取方法 | |
| CN111415330A (zh) | 基于深度学习的铜箔外观缺陷检测方法 | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| CN115424128A (zh) | 一种货车转向架下拉杆故障图像检测方法及系统 | |
| CN111986145A (zh) | 一种基于Faster-RCNN的轴承滚子瑕疵检测方法 | |
| CN114881987A (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
| CN111062437A (zh) | 一种基于深度学习的桥梁结构病害自动目标检测模型 | |
| CN113962929A (zh) | 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |