CN112053357A - 一种基于fpn的钢材表面瑕疵检测方法 - Google Patents
一种基于fpn的钢材表面瑕疵检测方法 Download PDFInfo
- Publication number
- CN112053357A CN112053357A CN202011034750.2A CN202011034750A CN112053357A CN 112053357 A CN112053357 A CN 112053357A CN 202011034750 A CN202011034750 A CN 202011034750A CN 112053357 A CN112053357 A CN 112053357A
- Authority
- CN
- China
- Prior art keywords
- flaw detection
- steel surface
- fpn
- label
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 44
- 239000010959 steel Substances 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种基于FPN的钢材表面瑕疵检测方法，包括：步骤1：获取数据集并对数据集进行划分，同时获取数据集中图像对应的瑕疵标签，构成标签集；步骤2：对数据集进行预处理；步骤3：构建基于FPN的钢材表面瑕疵检测模型；步骤4：对瑕疵检测模型进行训练；步骤5：对完成训练的瑕疵检测模型进行测试，判断模型精度是否达到预设阈值，若是，则执行步骤7，否则，返回步骤5；步骤6：使用瑕疵检测模型对钢材表面进行瑕疵检测，获取检测结果，并对检测结果进行可视化处理。与现有技术相比，本发明具有精确、高效、端到端、检测精度高等优点。
Description
技术领域
本发明涉及钢材表面瑕疵检测技术领域，尤其是涉及一种基于FPN的钢材表面瑕疵检测方法。
背景技术
瑕疵检测是现代工业制造中保证生产质量的关键环节。其中，钢板表面瑕疵检测就是瑕疵检测一个典型的应用案例。无论是在工业领域的设备，还是日常生活生产中的产品，钢材料都非常常见，其表面和内部质量是至关重要的，小小的缺陷如裂纹、变形都会极大程度的影响其外观、质量和使用寿命。
传统工业生产制造通常采用人工识别的方法，该方法利用抽查、肉眼观测的方式，因而具有抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素影响大的缺点。机器视觉识别是一种无接触、无损伤的在线自动识别技术，具有安全可靠、生产效率高和可在恶劣环境下长时间工作的特点，是实现设备自动化、智能化和精确快速的识别产品表面瑕疵缺陷的有效手段。传统的机器视觉识别过程是通过图像传感器(如CMOS相机)获取金属材料的表面图像，利用相应的图像处理算法提取图像的特征信息，然后利用这些特征信息实现材料表面瑕疵的识别、分类和检测。
传统基于机器视觉的钢材瑕疵检测方法主要利用图像的几何和纹理特征作为图像特征，用于瑕疵区域的分割与识别，检测精度低，难以应用于实际生产。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精确、高效、检测精度高的基于FPN的钢材表面瑕疵检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于FPN的钢材表面瑕疵检测方法，包括：
步骤1：获取数据集并对数据集进行划分，同时获取数据集中图像对应的瑕疵标签，构成标签集；
步骤2：对数据集进行预处理；
步骤3：构建基于FPN的钢材表面瑕疵检测模型；
步骤4：对瑕疵检测模型进行训练；
步骤5：对完成训练的瑕疵检测模型进行测试，判断模型精度是否达到预设阈值，若是，则执行步骤7，否则，返回步骤5；
步骤6：使用瑕疵检测模型对钢材表面进行瑕疵检测，获取检测结果，并对检测结果进行可视化处理。
优选地，所述的步骤1具体为：
获取数据集并将数据集划分为训练集和测试集，数据集中包括四种瑕疵类别的钢材表面图像；
所述的标签集的获取方法具体为：首先将图像像素按行展开排列成长度为1600*256的向量形式，对于各个类别瑕疵范围按照位置对的格式存储在csv数据文件中，构成标签集。
更加优选地，所述的位置对具体为(瑕疵起始位置，瑕疵长度)。
更加优选地，所述的四种瑕疵类别包括表面缺口类瑕疵、单垂直裂纹类瑕疵、多垂直裂纹类瑕疵和大面积划痕类瑕疵。
更加优选地，所述的步骤2具体为：
对数据集中的图像进行标准化处理以及向量化处理，然后通过随机裁剪和随机翻转对数据集进行数据增强操作，获得经过扩展的数据集，同时根据标签集生成每张图像的标签掩码Mask；
所述的标签掩码Mask由四通道0/1掩码组成，分别对应四种不用的瑕疵类型。
优选地，所述的钢材表面瑕疵检测模型包括相连的编码器和解码器；所述的输入信号输入编码器，编码器的输出信号输入到解码器，解码器输出预测的四通道Mask标签掩码。
更加优选地，所述的编码器具体为采用Bottom-up结构的Resnet18网络；所述的解码器采用Top-down特征金字塔网络。
更加优选地，所述的步骤4具体为：
将训练集按照4:1的比例随机划分为训练集Train和验证集Val，选择带有Logits的BCE损失函数作为优化的目标函数，即BCE损失函数与Sigmoid层之和，对于某一类别而言，BCE损失函数具体为：
BCELoss(xi,yi)＝-Wi[yilogxi+(1-yi)log(1-xi)]
其中，xi和yi分别表示第i个样本在该瑕疵类别上的预测结果和标签；Wi为类别权重；
然后使用优化器对瑕疵检测模型进行训练；所述的优化器选用Adam优化器，共训练30轮次，初始学习率为0.0005，并根据训练损失的变化情况进行动态调整，调整规则具体为：当验证损失保持3轮无下降时，学习率降低为原来的0.1倍。
优选地，所述的步骤5具体为：
模型的性能通过Dice指标衡量，其计算方法为：
其中，Rpred为预测瑕疵所在区域；Rlabel为瑕疵标签代表区域；
具体的，基于类的Dice指标计算方法为：
其中，pij表示真实类别为i但是被预测为j类的像素数量。
优选地，所述的步骤6中的可视化处理具体为：
瑕疵检测模型输出Mask掩码后，提取Mask的边界，将边界在图像上进行可视化操作。
与现有技术相比，本发明具有以下优点；
本发明提出了一种基于FPN的钢材表面瑕疵检测方法，基于FPN构建钢材表面瑕疵检测模型，使用语义分割的方式实现了钢材瑕疵区域检测，相比于传统的机器学习方法，深度语义分割模型具备更强的特征提取能力，所使用的特征金字塔模块能够在不同尺度上进行特征提取，产生多尺度的特征表示，有效解决瑕疵面积跨度范围大的问题。因此，本发明能够提取到更精准、更高效的瑕疵图像特征，检测精度更高，模型精度可达88.82％(Dice)。同时，本发明属于一种端到端的检测方式。
附图说明
图1为本发明中基于FPN的钢材表面瑕疵检测方法的流程示意图；
图2为本发明实施例中表面缺口类瑕疵的结构示意图；
图3为本发明实施例中单垂直裂纹类瑕疵的结构示意图；
图4为本发明实施例中多垂直裂纹类瑕疵的结构示意图；
图5为本发明实施例中大面积划痕类瑕疵的结构示意图；
图6为本发明中钢材表面瑕疵检测模型的结构示意图；
图7为本发明实施例中瑕疵检测模型生成的Mask的示意图；
图8为本发明实施例中损失函数的变化趋势图；
图9为本发明实施例中Dice指标的变化趋势图；
图10为本发明实施例中模型预测结果的可视化第一示意图；
图11为本发明实施例中模型预测结果的可视化第二示意图；
图12为本发明实施例中模型预测结果的可视化第三示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
一种基于FPN的钢材表面瑕疵检测方法，其流程如图1所示，包括：
步骤1：获取数据集并对数据集进行划分，同时获取数据集中图像对应的瑕疵标签，构成标签集，具体为：
获取数据集并将数据集划分为训练集和测试集，数据集中包括四种瑕疵类别的钢材表面图像；
所述的标签集的获取方法具体为：首先将图像像素按行展开排列成长度为1600*256的向量形式，对于各个类别瑕疵范围按照位置对的格式存储在csv数据文件中，构成标签集；
位置对的具体结构为(瑕疵起始位置，瑕疵长度)；
本实施例中的数据集共涉及四种瑕疵类型，分别为：表面缺口类瑕疵、单垂直裂纹类瑕疵、多垂直裂纹类瑕疵和大面积划痕类瑕疵，其结构分别如图2、图3、图4和图5所示。
步骤2：对数据集进行预处理，具体为：
对数据集中的图像进行标准化处理以及向量化处理，然后通过随机裁剪和随机翻转对数据集进行数据增强操作，获得经过扩展的数据集，同时根据标签集生成每张图像的标签掩码Mask；标签掩码Mask由四通道0/1掩码组成，分别对应四种不用的瑕疵类型。
步骤3：构建基于FPN的钢材表面瑕疵检测模型，模型结构如图6所示，包括相连的编码器和解码器；所述的输入信号输入编码器，编码器的输出信号输入到解码器，解码器输出预测的四通道Mask标签掩码；本实施例中的编码器具体为采用Bottom-up结构的Resnet18网络；所述的解码器采用Top-down特征金字塔网络；
步骤4：对瑕疵检测模型进行训练，具体为：
将训练集按照4:1的比例随机划分为训练集Train和验证集Val，选择带有Logits的BCE损失函数作为优化的目标函数，即BCE损失函数与Sigmoid层之和，对于某一类别而言，BCE损失函数具体为：
BCELoss(xi,yi)＝-Wi[yilogxi+(1-yi)log(1-xi)]
其中，xi和yi分别表示第i个样本在该瑕疵类别上的预测结果和标签；Wi为类别权重；
然后使用优化器对瑕疵检测模型进行训练；所述的优化器选用Adam优化器，共训练30轮次，初始学习率为0.0005，并根据训练损失的变化情况进行动态调整，调整规则具体为：当验证损失保持3轮无下降时，学习率降低为原来的0.1倍。
步骤5：使用测试集对完成训练的瑕疵检测模型进行测试，判断模型精度是否达到预设阈值，若是，则执行步骤7，否则，返回步骤5；
模型的性能通过Dice指标衡量，其计算方法为：
其中，Rpred为预测瑕疵所在区域；Rlabel为瑕疵标签代表区域；
具体的，基于类的Dice指标计算方法为：
其中，pij表示真实类别为i但是被预测为j类的像素数量。
步骤6：使用瑕疵检测模型对钢材表面进行瑕疵检测，获取检测结果，并对检测结果进行可视化处理，可视化处理具体为：瑕疵检测模型输出Mask掩码后，提取Mask的边界，将边界在图像上进行可视化操作。
下面提供一种具体的实施方式：
数据集来源于Kaggle竞赛—Severstal:Steel Defect Detection，训练集和测试集分别包含12568和1801张钢材图片，图片尺寸为1600*256，瑕疵类别包含表面缺口(Multiple chips on the surface)、单垂直裂纹(Single Vertical crack)、多垂直裂纹(Multiple vertical cracks)、大面积划痕(Muliptle large surface patches)四类，分别如图2、图3、图4和图5所示。标签集制作过程中，首先将图片像素按行展开排列成长度为1600*256的向量形式，对于某一特定类别的瑕疵，按照(瑕疵起始位置，瑕疵长度)构成位置对的格式存储于数据文件中，例如(2,50,100,60)表示该类别瑕疵在存在于图片第2～52和第100～160像素点区域。
数据集的预处理包括对数据集中的图片进行标准化、向量化以及随机裁剪、随机翻转等数据增强操作。同时，根据瑕疵标签数据文件生成相应的Mask，即标签掩码。具体地，标签掩码Mask由四通道0/1掩码构成，分别对应四种不同的瑕疵类型，尺寸与原图相同，其实际意义在于：对于某一像素点，0代表该类瑕疵否，1代表该类瑕疵是，Mask示意图如图7所示。
深度语义分割模型FPN(Feature Pyramid Network)，意为特征金字塔网络，其核心特征在于特征金字塔，即不同尺度的特征图，利用类似于解码器的Top-down网络，自顶而下的融合不同阶段的特征信息。用于语义分割的FPN模型结构如图6所示，Bottom-up和Top-down两部分网络分别构成编码器和解码器，解码器采用反卷积实现特征图分辨率的恢复，而编解码器对应层之间通过1x1卷积核进行串联。所述FPN的编码器采用Resnet18网络，并在训练时加载ImageNet预训练参数，可以有效加快模型收敛速度，减少训练轮次。最终，不同尺度的特征图上采样到统一尺寸，进行类别预测。
对瑕疵检测模型进行训练过程具体为：将训练集按照4:1的比例随机划分为训练集Train和验证集Val，选择带有Logits的BCE损失函数作为优化的目标函数，即BCE损失函数与Sigmoid层之和，对于某一类别而言，BCE损失函数具体为：
BCELoss(xi,yi)＝-Wi[yilogxi+(1-yi)log(1-xi)]
其中，xi和yi分别表示第i个样本在该瑕疵类别上的预测结果和标签；Wi为类别权重；
然后使用优化器对瑕疵检测模型进行训练；所述的优化器选用Adam优化器，共训练30轮次，初始学习率为0.0005，并根据训练损失的变化情况进行动态调整，调整规则具体为：当验证损失保持3轮无下降时，学习率降低为原来的0.1倍。由于存在瑕疵类别不均衡的问题，在训练的过程中适当增加少数类别样本的损失权重。
模型的性能通过Dice指标衡量，其计算方法为：
其中，Rpred为预测瑕疵所在区域；Rlabel为瑕疵标签代表区域；
具体的，基于类的Dice指标计算方法为：
其中，pij表示真实类别为i但是被预测为j类的像素数量。
本实施例中获得的损失函数和Dice指标的变化趋势图分别如图8和图9所示。
使用测试集进行测试时，本实施例中瑕疵检测模型的检测精度达88.82％。将预测获得的Mask边界结合原图进行可视化，如图10、图11和图12所示。三张图所包含的瑕疵均为单一类型瑕疵，对应的瑕疵类型分别为第四类、第三类、第四类。其中，白色线表示检测结果，黑色线表示真实边界。从预测结果区域可以看出，模型能够准确定位到瑕疵区域，并识别瑕疵类型，从视觉上而言，预测结果甚至比标签更加贴合直观的实际感受。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于FPN的钢材表面瑕疵检测方法，其特征在于，包括：
步骤1：获取数据集并对数据集进行划分，同时获取数据集中图像对应的瑕疵标签，构成标签集；
步骤2：对数据集进行预处理；
步骤3：构建基于FPN的钢材表面瑕疵检测模型，使用语义分割的方式进行钢材表面瑕疵检测；
步骤4：对瑕疵检测模型进行训练；
步骤5：对完成训练的瑕疵检测模型进行测试，判断模型精度是否达到预设阈值，若是，则执行步骤7，否则，返回步骤5；
步骤6：使用瑕疵检测模型对钢材表面进行瑕疵检测，获取检测结果，并对检测结果进行可视化处理。
2.根据权利要求1所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的步骤1具体为：
获取数据集并将数据集划分为训练集和测试集，数据集中包括四种瑕疵类别的钢材表面图像；
所述的标签集的获取方法具体为：首先将图像像素按行展开排列成长度为1600*256的向量形式，对于各个类别瑕疵范围按照位置对的格式存储在csv数据文件中，构成标签集。
3.根据权利要求2所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的位置对具体为(瑕疵起始位置，瑕疵长度)。
4.根据权利要求2所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的四种瑕疵类别包括表面缺口类瑕疵、单垂直裂纹类瑕疵、多垂直裂纹类瑕疵和大面积划痕类瑕疵。
5.根据权利要求2所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的步骤2具体为：
对数据集中的图像进行标准化处理以及向量化处理，然后通过随机裁剪和随机翻转对数据集进行数据增强操作，获得经过扩展的数据集，同时根据标签集生成每张图像的标签掩码Mask；
所述的标签掩码Mask由四通道0/1掩码组成，分别对应四种不用的瑕疵类型。
6.根据权利要求1所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的钢材表面瑕疵检测模型包括相连的编码器和解码器；所述的输入信号输入编码器，编码器的输出信号输入到解码器，解码器输出预测的四通道Mask标签掩码。
7.根据权利要求6所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的编码器具体为采用Bottom-up结构的Resnet18网络；所述的解码器采用Top-down特征金字塔网络。
8.根据权利要求2所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的步骤4具体为：
将训练集按照4:1的比例随机划分为训练集Train和验证集Val，选择带有Logits的BCE损失函数作为优化的目标函数，即BCE损失函数与Sigmoid层之和，对于某一类别而言，BCE损失函数具体为：
BCELoss(xi,yi)＝-Wi[yilogxi+(1-yi)log(1-xi)]
其中，xi和yi分别表示第i个样本在该瑕疵类别上的预测结果和标签；Wi为类别权重；
然后使用优化器对瑕疵检测模型进行训练；所述的优化器选用Adam优化器，共训练30轮次，初始学习率为0.0005，并根据训练损失的变化情况进行动态调整，调整规则具体为：当验证损失保持3轮无下降时，学习率降低为原来的0.1倍。
9.根据权利要求1所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的步骤5具体为：
模型的性能通过Dice指标衡量，其计算方法为：
其中，Rpred为预测瑕疵所在区域；Rlabel为瑕疵标签代表区域；
具体的，基于类的Dice指标计算方法为：
其中，pij表示真实类别为i但是被预测为j类的像素数量。
10.根据权利要求1所述的一种基于FPN的钢材表面瑕疵检测方法，其特征在于，所述的步骤6中的可视化处理具体为：
瑕疵检测模型输出Mask掩码后，提取Mask的边界，将边界在图像上进行可视化操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011034750.2A CN112053357A (zh) | 2020-09-27 | 2020-09-27 | 一种基于fpn的钢材表面瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011034750.2A CN112053357A (zh) | 2020-09-27 | 2020-09-27 | 一种基于fpn的钢材表面瑕疵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112053357A true CN112053357A (zh) | 2020-12-08 |
Family
ID=73605163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011034750.2A Pending CN112053357A (zh) | 2020-09-27 | 2020-09-27 | 一种基于fpn的钢材表面瑕疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112053357A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635603A (zh) * | 2024-01-02 | 2024-03-01 | 汉狮光动科技(广东)有限公司 | 基于目标检测的中空遮阳产品在线质量检测系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509187A (zh) * | 2018-11-05 | 2019-03-22 | 中山大学 | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 |
| CN110232675A (zh) * | 2019-03-28 | 2019-09-13 | 昆明理工大学 | 一种工业环境下的纹理表面缺陷检测与分割装置及方法 |
| CN110610482A (zh) * | 2019-08-12 | 2019-12-24 | 浙江工业大学 | 一种基于resnet的工件瑕疵检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
-
2020
- 2020-09-27 CN CN202011034750.2A patent/CN112053357A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509187A (zh) * | 2018-11-05 | 2019-03-22 | 中山大学 | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 |
| CN110232675A (zh) * | 2019-03-28 | 2019-09-13 | 昆明理工大学 | 一种工业环境下的纹理表面缺陷检测与分割装置及方法 |
| CN110610482A (zh) * | 2019-08-12 | 2019-12-24 | 浙江工业大学 | 一种基于resnet的工件瑕疵检测方法 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| LOUWILL: "深度学习100问-17：图语义分割有哪些常用的评价指标", 《微信公众号：机器学习实验室》 * |
| 张丽瑶等: "基于SSD的织物瑕疵检测的研究", 《电子设计工程》 * |
| 张晓娟: "《查询意图自动分类与分析》", 30 November 2015 * |
| 李画等: "Mask RCNN模型在路面缺陷检测中的应用", 《科学技术创新》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635603A (zh) * | 2024-01-02 | 2024-03-01 | 汉狮光动科技(广东)有限公司 | 基于目标检测的中空遮阳产品在线质量检测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
| WO2022236876A1 (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
| US11836967B2 (en) | Method and device for small sample defect classification and computing equipment | |
| CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
| CN111951249A (zh) | 基于多任务学习网络的手机导光板缺陷可视化检测方法 | |
| CN113592828B (zh) | 基于工业内窥镜的无损检测方法及系统 | |
| CN111415329A (zh) | 一种基于深度学习的工件表面缺陷检测方法 | |
| CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
| CN111401419A (zh) | 基于改进RetinaNet的员工着装规范检测方法 | |
| CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| CN114743102A (zh) | 一种面向家具板材的瑕疵检测方法、系统及装置 | |
| CN116823800A (zh) | 一种基于深度学习的复杂背景下桥梁混凝土裂缝检测方法 | |
| CN115829995A (zh) | 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统 | |
| CN117422695A (zh) | 一种基于CR-Deeplab的异常检测方法 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN114428110A (zh) | 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |
|
| RJ01 | Rejection of invention patent application after publication |