CN115063405A - 钢材表面缺陷检测的方法、系统、电子设备和存储介质 - Google Patents

钢材表面缺陷检测的方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN115063405A
CN115063405A CN202210888257.XA CN202210888257A CN115063405A CN 115063405 A CN115063405 A CN 115063405A CN 202210888257 A CN202210888257 A CN 202210888257A CN 115063405 A CN115063405 A CN 115063405A
Authority
CN
China
Prior art keywords
image
steel
defect
training
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210888257.XA
Other languages
English (en)
Inventor
许泽旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202210888257.XA priority Critical patent/CN115063405A/zh
Publication of CN115063405A publication Critical patent/CN115063405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了钢材表面缺陷检测的方法、系统、电子设备和存储介质，包括：通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。使得钢材图像可以通过训练后ResNet34模型进行自动缺陷检测，提高了钢材缺陷检测的效率和准确性。

Description

钢材表面缺陷检测的方法、系统、电子设备和存储介质
技术领域
本申请属于钢材领域，尤其涉及钢材表面缺陷检测的方法、系统、电子设备和存储介质。
背景技术
钢材行业一直作为国民经济的基础产业，小到与人们生活息息相关的家电、汽车等行业，大到各种房屋建造、铁路建造等都有其影子。可以说钢材行业是我国经济发展的基础。所以，随着国内经济以及各种建筑、汽车、家电行业的蓬勃发展，国内对与钢材的需求量也在逐年真假，同时，为了提升产品的质量，对于钢材品质的要求也在逐年增高。然而，钢材在一连串的工艺加工流程中，受到原材料、生产设备、生产环境等各方面的影响，钢材表面会产生刮伤、夹杂物、结疤、破边、油渣等多种缺陷。
出现了这种带缺陷的钢材，不仅会对钢材行业造成经济损失，同时还会使钢材生产设备产生断带、堆积、停车等严重生产事故，对之后的钢材生产产生不可估量的影响。因此，如何能在钢材加工过程中及时、准确的检测出钢材表面缺陷，分析并消除缺陷产生根源，使是提升钢材表面质量的关键。
在传统的钢材表面缺陷检测中，主要靠人工检测，然而这种检测方法不仅大大提高了人工成本，同时也消耗了大量时间，检测效率十分的低。
发明内容
本发明实施例的主要目的在于提供钢材表面缺陷检测的方法、系统、电子设备和存储介质，使得钢材图像可以通过训练后ResNet34模型进行自动缺陷检测，提高了钢材缺陷检测的效率和准确性。
第一方面，提供了钢材表面缺陷检测的方法，所述方法包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；
对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；
通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；
通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；
通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
在一个可能的实现方式中，所述通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息，包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并将经过所述标注的钢材缺陷图像转换为json文件：
通过python代码读取所述json文件，获取关键点信息，并根据所述关键点信息生成作为掩码mask的灰度图像；
根据绘制点的坐标信息将所述灰度图像裁剪为仅可容纳钢材缺陷部分；
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，基于所述灰度图像对缺陷图片进行填充处理，提取出前景信息。
在另一个可能的实现方式中，所述匹配处理，包括：将所述钢材缺陷图像转换为RGB图像，通过图像随机翻转、分辨率调节、标准化处理、归一化处理将所述RGB图像的色调调整为与背景图像相匹配。
第二方面，提供了钢材表面缺陷检测的系统，所述系统包括：
前景信息提取模块，用于通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；
匹配模块，用于对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；
融合处理模块，用于通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；
训练模块，用于通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；
缺陷检测模块，用于通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
在一个可能的实现方式中，所述通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息，包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并将经过所述标注的钢材缺陷图像转换为json文件：
通过python代码读取所述json文件，获取关键点信息，并根据所述关键点信息生成作为掩码mask的灰度图像；
根据绘制点的坐标信息将所述灰度图像裁剪为仅可容纳钢材缺陷部分；
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，基于所述灰度图像对缺陷图片进行填充处理，提取出前景信息。
在另一个可能的实现方式中，所述匹配处理，包括：将所述钢材缺陷图像转换为RGB图像，通过图像随机翻转、分辨率调节、标准化处理、归一化处理将所述RGB图像的色调调整为与背景图像相匹配。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的钢材表面缺陷检测的方法。
第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的钢材表面缺陷检测的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的钢材表面缺陷检测的方法的流程图；
图2为本发明一个实施例提供的钢材表面缺陷检测的系统的结构图；
图3为本发明一种电子设备的实体结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实现方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
如图1所示为本发明一个实施例提供的钢材表面缺陷检测的方法的流程图，所述方法包括：
步骤101，通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；
步骤102，对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；
步骤103，通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；
步骤104，通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；
步骤105，通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
在本发明实施例中，预先通过图像标注工具labelImg对包括钢材缺陷信息的钢材缺陷图像进行标注，标注其中的钢材缺陷，对于钢材缺陷可根据具体的缺陷类型进行命名。对缺陷进行命名不仅方便对不同类型的钢材缺陷进行分类，而且也方便在后续流程中使用代码对其进行对应的处理。
所述通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息，包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并将经过所述标注的钢材缺陷图像转换为json文件：
通过python代码读取所述json文件，获取关键点信息，并根据所述关键点信息生成作为掩码mask的灰度图像；
根据绘制点的坐标信息将所述灰度图像裁剪为仅可容纳钢材缺陷部分；
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，基于所述灰度图像对缺陷图片进行填充处理，提取出前景信息。
对于包含经过标注的钢材缺陷图像可生成一个具有标注信息和绘制点的基础坐标信息的json文件，通过python代码读取该json文件，获取对应的关键点信息，然后，生成对应的灰度图像，在灰度图像中，白色区域部分代表提取的缺陷目标模板，黑色部分代表环境，这样就生成了对应的前景模板，也就是掩膜（mask），利用绘制点的坐标信息，将mask裁剪为一个刚好能容纳缺陷部分的大小。
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，再基于mask文件对缺陷图片进行填充处理，以提取出前景信息。
以图片左上角为基准点，将前景信息放入背景图片左上角，比较前景信息与背景图片大小，拉伸前景图片，确保前景信息可以完全放进背景图片中。
将前景图片与背景图片叠加到一起后。在背景图片中提取出一个大小与mask相同的部分，然后，利用mask将提取出来的部分中相对应缺陷位置的地方置为1，其余地方为0，然后将两代表背景与前景的矩阵进行元素相乘的运算。同时，根据图像公式可以得出：当透明度为0时，数据的像素颜色为背景颜色，当透明度为1时，输出的像素颜色仅仅为前景的颜色，所以，我们通过调整对应前景与背景图片的透明度，就可以成功的将前景图片与新的背景相融合。
所述匹配处理，包括：将所述钢材缺陷图像转换为RGB图像，通过图像随机翻转、分辨率调节、标准化处理、归一化处理将所述RGB图像的色调调整为与背景图像相匹配。
其中，转换为RGB图像具体为将前景信息中提取出的黑色像素点全部忽略，计算前景信息中其余全部分的色调均值，得出R，并与背景图片的色调均值B进行比较，确保其绝对值小于50。即：
Figure 813713DEST_PATH_IMAGE001
。
对于随机翻转，利用pytorch的transforms功能对图片进行随机的水平翻转，以及垂直翻转，以提高数据集的泛化性。
对于分辨率调节，利用pytorch库的transforms.Resize功能，对图片进行分辨率调节，同时为了研究分辨率是否会对本次实验产生影响，实验中会将分辨率分别调节为
Figure 242420DEST_PATH_IMAGE002
、
Figure 628402DEST_PATH_IMAGE003
、
Figure 412336DEST_PATH_IMAGE004
三种不同的分辨率，分别用这三种不同的分辨率对图片进行处理，并带入网络进行训练，查看三种分辨率运行的结果。
对于标准化处理，通过图像标准化公式：
Figure 541966DEST_PATH_IMAGE005
进行处理，其中，
Figure 825180DEST_PATH_IMAGE006
是图像的均值，x表示图像矩阵，
Figure 382063DEST_PATH_IMAGE007
其中
Figure 383517DEST_PATH_IMAGE008
表示标准方差、N表示图像X的像素数量。图像标准化处理原理是利用数据去均值来实现中心化的处理。
对于归一化处理，通过图像归一化公式：
Figure 51259DEST_PATH_IMAGE009
，其中
Figure 454558DEST_PATH_IMAGE010
表示图像像数点值，
Figure 697189DEST_PATH_IMAGE011
表示图像像素最小值，
Figure 654781DEST_PATH_IMAGE012
表示图像像素的最大值。
对于相匹配后的前景信息和背景图像，将前景信息的边缘部分进行粗描，即外接多边形，利用高斯模糊对背景图像与前景图像的几何图像连接处的模糊化处理，使前景图像与新背景能够更好的相融，并且能够突出其缺陷特征，进而得到更多数据图片。
对于给定的图像I，高斯模糊处理的公式为：
Figure DEST_PATH_IMAGE013
，其中，I代表输出的图片，F代表前景图像，B代表背景图像，
Figure 860635DEST_PATH_IMAGE014
代表透明度，透明度可根据实际使用的需要进行设置。
为了防止在进行高斯模糊时，影响到缺陷目标的清晰度，我们需要利用python代码，在mask的基础上，获取缺陷目标的外接多边形的形状，并设定对应外接多边形的宽度。
对于高斯模糊处理，设置高斯卷积核的大小，设置卷积核的大小为3*3。此卷积核的运作方式为将每一个像素都取周边像素的加权平均值，因为我们设置的高斯模糊卷积核的大小为3*3，所以就得到了高斯模糊的效果。
将经过高斯模糊处理后的训练图像输出至ResNet34模型中训练，采用交叉熵来定义损失函数，同时在定义优化器时，采用随机梯度下降法SGD对ResNet34模型进行优化，优化模型参数中的权重参数采用官方网络的权重参数，并且设置初始学习率为0.001。将ResNet34模型转化为验证模式，采用与训练集同样的处理方式，将数据转到cpu当中，得到相应的预测值，同时，计算实际值与预测值之间的差距、统计识别正确的缺陷图片数量，计算模型测试时的准确率并输出。
本发明实施例，通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。使得钢材图像可以通过训练后ResNet34模型进行自动缺陷检测，提高了钢材缺陷检测的效率和准确性。
如图2所示为本发明一个实施例提供的钢材表面缺陷检测的系统的结构图，所述系统包括：
前景信息提取模块201，用于通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；
匹配模块202，用于对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；
融合处理模块203，用于通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；
训练模块204，用于通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；
缺陷检测模块205，用于通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
在本发明实施例中，预先通过图像标注工具labelImg对包括钢材缺陷信息的钢材缺陷图像进行标注，标注其中的钢材缺陷，对于钢材缺陷可根据具体的缺陷类型进行命名。对缺陷进行命名不仅方便对不同类型的钢材缺陷进行分类，而且也方便在后续流程中使用代码对其进行对应的处理。
所述通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息，包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并将经过所述标注的钢材缺陷图像转换为json文件：
通过python代码读取所述json文件，获取关键点信息，并根据所述关键点信息生成作为掩码mask的灰度图像；
根据绘制点的坐标信息将所述灰度图像裁剪为仅可容纳钢材缺陷部分；
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，基于所述灰度图像对缺陷图片进行填充处理，提取出前景信息。
对于包含经过标注的钢材缺陷图像可生成一个具有标注信息和绘制点的基础坐标信息的json文件，通过python代码读取该json文件，获取对应的关键点信息，然后，生成对应的灰度图像，在灰度图像中，白色区域部分代表提取的缺陷目标模板，黑色部分代表环境，这样就生成了对应的前景模板，也就是掩膜（mask），利用绘制点的坐标信息，将mask裁剪为一个刚好能容纳缺陷部分的大小。
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，再基于mask文件对缺陷图片进行填充处理，以提取出前景信息。
以图片左上角为基准点，将前景信息放入背景图片左上角，比较前景信息与背景图片大小，拉伸前景图片，确保前景信息可以完全放进背景图片中。
将前景图片与背景图片叠加到一起后。在背景图片中提取出一个大小与mask相同的部分，然后，利用mask将提取出来的部分中相对应缺陷位置的地方置为1，其余地方为0，然后将两代表背景与前景的矩阵进行元素相乘的运算。同时，根据图像公式可以得出：当透明度为0时，数据的像素颜色为背景颜色，当透明度为1时，输出的像素颜色仅仅为前景的颜色，所以，我们通过调整对应前景与背景图片的透明度，就可以成功的将前景图片与新的背景相融合。
所述匹配处理，包括：将所述钢材缺陷图像转换为RGB图像，通过图像随机翻转、分辨率调节、标准化处理、归一化处理将所述RGB图像的色调调整为与背景图像相匹配。
其中，转换为RGB图像具体为将前景信息中提取出的黑色像素点全部忽略，计算前景信息中其余全部分的色调均值，得出R，并与背景图片的色调均值B进行比较，确保其绝对值小于50。即：
Figure 118441DEST_PATH_IMAGE001
。
对于随机翻转，利用pytorch的transforms功能对图片进行随机的水平翻转，以及垂直翻转，以提高数据集的泛化性。
对于分辨率调节，利用pytorch库的transforms.Resize功能，对图片进行分辨率调节，同时为了研究分辨率是否会对本次实验产生影响，实验中会将分辨率分别调节为
Figure 17126DEST_PATH_IMAGE002
、
Figure 242440DEST_PATH_IMAGE003
、
Figure 517564DEST_PATH_IMAGE004
三种不同的分辨率，分别用这三种不同的分辨率对图片进行处理，并带入网络进行训练，查看三种分辨率运行的结果。
对于标准化处理，通过图像标准化公式：
Figure DEST_PATH_IMAGE015
进行处理，其中，
Figure 98718DEST_PATH_IMAGE006
是图像的均值，x表示图像矩阵，
Figure 433884DEST_PATH_IMAGE007
其中
Figure 631647DEST_PATH_IMAGE008
表示标准方差、N表示图像X的像素数量。图像标准化处理原理是利用数据去均值来实现中心化的处理。
对于归一化处理，通过图像归一化公式：
Figure 710462DEST_PATH_IMAGE009
，其中
Figure 192128DEST_PATH_IMAGE016
表示图像像数点值，
Figure DEST_PATH_IMAGE017
表示图像像素最小值，
Figure 901458DEST_PATH_IMAGE018
表示图像像素的最大值。
对于相匹配后的前景信息和背景图像，将前景信息的边缘部分进行粗描，即外接多边形，利用高斯模糊对背景图像与前景图像的几何图像连接处的模糊化处理，使前景图像与新背景能够更好的相融，并且能够突出其缺陷特征，进而得到更多数据图片。
对于给定的图像I，高斯模糊处理的公式为：
Figure 852096DEST_PATH_IMAGE013
，其中，I代表输出的图片，F代表前景图像，B代表背景图像，
Figure 469022DEST_PATH_IMAGE014
代表透明度，透明度可根据实际使用的需要进行设置。
为了防止在进行高斯模糊时，影响到缺陷目标的清晰度，我们需要利用python代码，在mask的基础上，获取缺陷目标的外接多边形的形状，并设定对应外接多边形的宽度。
对于高斯模糊处理，设置高斯卷积核的大小，设置卷积核的大小为3*3。此卷积核的运作方式为将每一个像素都取周边像素的加权平均值，因为我们设置的高斯模糊卷积核的大小为3*3，所以就得到了高斯模糊的效果。
将经过高斯模糊处理后的训练图像输出至ResNet34模型中训练，采用交叉熵来定义损失函数，同时在定义优化器时，采用随机梯度下降法SGD对ResNet34模型进行优化，优化模型参数中的权重参数采用官方网络的权重参数，并且设置初始学习率为0.001。将ResNet34模型转化为验证模式，采用与训练集同样的处理方式，将数据转到cpu当中，得到相应的预测值，同时，计算实际值与预测值之间的差距、统计识别正确的缺陷图片数量，计算模型测试时的准确率并输出。
本发明实施例，通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。使得钢材图像可以通过训练后ResNet34模型进行自动缺陷检测，提高了钢材缺陷检测的效率和准确性。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行钢材表面缺陷检测的方法，该方法包括：通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的钢材表面缺陷检测的方法，该方法包括：通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的钢材表面缺陷检测的方法，该方法包括：通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种钢材表面缺陷检测的方法，其特征在于，所述方法包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；
对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；
通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；
通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；
通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
2.如权利要求1所述的方法，其特征在于，所述通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息，包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并将经过所述标注的钢材缺陷图像转换为json文件：
通过python代码读取所述json文件，获取关键点信息，并根据所述关键点信息生成作为掩码mask的灰度图像；
根据绘制点的坐标信息将所述灰度图像裁剪为仅可容纳钢材缺陷部分；
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，基于所述灰度图像对缺陷图片进行填充处理，提取出前景信息。
3.如权利要求1所述的方法，其特征在于，所述匹配处理，包括：将所述钢材缺陷图像转换为RGB图像，通过图像随机翻转、分辨率调节、标准化处理、归一化处理将所述RGB图像的色调调整为与背景图像相匹配。
4.一种钢材表面缺陷检测的系统，其特征在于，所述系统包括：
前景信息提取模块，用于通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息；
匹配模块，用于对所述钢材缺陷图像进行匹配处理，通过所述匹配处理将所述钢材缺陷图像的色调调整为与背景图像相匹配；
融合处理模块，用于通过高斯模糊将所述前景信息和所述背景图像融合处理为训练图像；
训练模块，用于通过所述训练图像对ResNet34模型进行训练，获取训练后ResNet34模型；
缺陷检测模块，用于通过所述训练后ResNet34模型对待检测钢材表面进行缺陷检测。
5.如权利要求4所述的系统，其特征在于，所述通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并提取所述钢材缺陷图像生成前景信息，包括：
通过labelImg标注工具与监督学习对钢材缺陷图像进行标注，并将经过所述标注的钢材缺陷图像转换为json文件：
通过python代码读取所述json文件，获取关键点信息，并根据所述关键点信息生成作为掩码mask的灰度图像；
根据绘制点的坐标信息将所述灰度图像裁剪为仅可容纳钢材缺陷部分；
利用json文件中绘制点的坐标信息，生成一个新的大小的缺陷图片，基于所述灰度图像对缺陷图片进行填充处理，提取出前景信息。
6.如权利要求4所述的系统，其特征在于，所述匹配处理，包括：将所述钢材缺陷图像转换为RGB图像，通过图像随机翻转、分辨率调节、标准化处理、归一化处理将所述RGB图像的色调调整为与背景图像相匹配。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述的钢材表面缺陷检测的方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的钢材表面缺陷检测的方法。
CN202210888257.XA 2022-07-27 2022-07-27 钢材表面缺陷检测的方法、系统、电子设备和存储介质 Pending CN115063405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210888257.XA CN115063405A (zh) 2022-07-27 2022-07-27 钢材表面缺陷检测的方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210888257.XA CN115063405A (zh) 2022-07-27 2022-07-27 钢材表面缺陷检测的方法、系统、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115063405A true CN115063405A (zh) 2022-09-16

Family

ID=83206050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210888257.XA Pending CN115063405A (zh) 2022-07-27 2022-07-27 钢材表面缺陷检测的方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115063405A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953189A (zh) * 2024-01-31 2024-04-30 北京中科慧灵机器人技术有限公司 视点确定方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104792794A (zh) * 2015-04-28 2015-07-22 武汉工程大学 基于机器视觉的光学薄膜表面缺陷检测方法
CN106530265A (zh) * 2016-11-08 2017-03-22 河海大学 一种基于色度坐标的自适应图像融合方法
CN111062915A (zh) * 2019-12-03 2020-04-24 浙江工业大学 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN113469177A (zh) * 2021-06-30 2021-10-01 河海大学 基于深度学习的排水管道缺陷检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104792794A (zh) * 2015-04-28 2015-07-22 武汉工程大学 基于机器视觉的光学薄膜表面缺陷检测方法
CN106530265A (zh) * 2016-11-08 2017-03-22 河海大学 一种基于色度坐标的自适应图像融合方法
CN111062915A (zh) * 2019-12-03 2020-04-24 浙江工业大学 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN113469177A (zh) * 2021-06-30 2021-10-01 河海大学 基于深度学习的排水管道缺陷检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953189A (zh) * 2024-01-31 2024-04-30 北京中科慧灵机器人技术有限公司 视点确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109726643B (zh) 图像中表格信息的识别方法、装置、电子设备及存储介质
US10817741B2 (en) Word segmentation system, method and device
EP3309703B1 (en) Method and system for decoding qr code based on weighted average grey method
CN111160352B (zh) 一种基于图像分割的工件金属表面文字识别方法及系统
JP6366024B2 (ja) 画像化された文書からテキストを抽出する方法及び装置
US12002198B2 (en) Character defect detection method and device
CN103439348B (zh) 基于差影法的遥控器按键缺陷检测方法
CN111178355B (zh) 印章识别方法、装置和存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN107862234A (zh) 一种彩色条形码的识别方法、电子设备及存储介质
JP2011109637A (ja) 画像比較解析を用いた印刷文書における変更の検出方法
CN111126391B (zh) 一种印刷字符缺陷定位方法
CN108932449B (zh) 一种基于聚类的条码二值化方法及系统
CN104408728A (zh) 一种基于噪声估计的伪造图像检测方法
CN115131283A (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
CN113591866A (zh) 基于db与crnn的特种作业证件检测方法及系统
CN114581646A (zh) 文本识别方法、装置、电子设备及存储介质
CN115063405A (zh) 钢材表面缺陷检测的方法、系统、电子设备和存储介质
CN104281850A (zh) 一种文字区域识别方法和装置
CN104951755B (zh) 一种基于emd的智能文档图像块检测方法
CN111274863A (zh) 一种基于文本山峰概率密度的文本预测方法
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN112837329B (zh) 一种藏文古籍文档图像二值化方法及系统
CN115439446A (zh) 一种外观缺陷检测方法、装置、存储介质及电子设备
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220916