CN110349142A - 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备 - Google Patents

钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备 Download PDF

Info

Publication number
CN110349142A
CN110349142A CN201910607465.6A CN201910607465A CN110349142A CN 110349142 A CN110349142 A CN 110349142A CN 201910607465 A CN201910607465 A CN 201910607465A CN 110349142 A CN110349142 A CN 110349142A
Authority
CN
China
Prior art keywords
coil end
face
steel coil
defect
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910607465.6A
Other languages
English (en)
Inventor
张发恩
蒋晓路
黄家水
唐永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (qingdao) Technology Co Ltd
Original Assignee
Innovation Qizhi (qingdao) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (qingdao) Technology Co Ltd filed Critical Innovation Qizhi (qingdao) Technology Co Ltd
Priority to CN201910607465.6A priority Critical patent/CN110349142A/zh
Publication of CN110349142A publication Critical patent/CN110349142A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备，所述钢卷端面的缺陷样本生成方法通过获取一具有缺陷的钢卷端面图像，并获得对应的具有多个频谱值的第一频谱图，建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，计算出直线经过的多个频谱值的均值最大时对应的直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得所需钢卷端面缺陷训练样本。使获得的钢卷端面缺陷训练样本抑制了钢卷端面特征，加强了缺陷特征的语义信息，提高了对钢卷缺陷识别神经网络的训练的效率，减少训练所需的样本数量，降低训练成本。

Description

钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子 设备
【技术领域】
本发明涉及神经网络钢卷端面缺陷训练样本生成领域，特别涉及一种钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备。
【背景技术】
在机器视觉领域，目前已经有很多缺陷检测的应用，例如特征点检测方法与深度学习算法；但大多数缺陷检测的背景都较为简单，纹理较少且变化不大，背景造成的干扰相对较小；而在深度学习领域，要达到较高的识别准确率往往需要获取大量样本进行训练，小样本学习一直都是一个难点。
然而对于钢卷端面缺陷检测等工业领域的缺陷检测而言，一方面钢卷端面的纹理图案复杂，且目标缺陷可能是任意形态，导致缺陷样本的语义信息不足，造成深度神经网络收敛状况不佳从而导致分类准确率不佳。另一方面缺陷样本较少，缺陷样本难以批量获取，因此直接采用特征点匹配或者深度学习来进行缺陷检测的方法难以到达满意的准确率。
【发明内容】
为了克服目前现有钢卷端面的缺陷样本不佳的问题，本发明提供一种钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备。
本发明为解决上述技术问题，提供一技术方案如下：一种钢卷端面的缺陷样本生成方法，包括如下步骤:步骤S1：获取一具有缺陷的钢卷端面图像；步骤S2：将所述钢卷端面图像进行预处理，获得对应的具有多个频谱值的第一频谱图；步骤S3：建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值的均值最大时对应的直线方向；及步骤S4：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得所需钢卷端面缺陷训练样本。
优选地，步骤S1与步骤S2之间还包括：步骤S10：将所述钢卷端面图像输入至RGB通道，获得RGB通道图像；及在步骤S4之后还包括步骤S5：步骤S5：将所述钢卷端面缺陷训练样本与所述三张RGB通道图像进行通道叠加，获得最终钢卷端面缺陷训练样本。
优选地，步骤S2具体包括如下步骤：步骤S21：将所述钢卷端面图像进行灰度化处理，获得灰度图像；步骤S22：将所述灰度图像转换为对应的具有多个频谱值的初始频谱图；步骤S23：将所述初始频谱图进行频谱中心化处理，获得中心频谱图；及步骤S24：将所述中心频谱图中的每一频谱值取绝对值，获得第一频谱图。
优选地，步骤S3具体包括如下步骤：步骤S31：建立一经过所述第一频谱图中心的直线；步骤S32：所述直线以所述中心为原点，在所述第一频谱图上进行遍历，计算出所述直线每一斜率下经过多个频谱值的均值；及步骤S33：选取所述均值最大时对应直线的斜率，该斜率对应的直线方向为钢卷端面的径向方向。
优选地，步骤S1具体包括如下步骤：步骤S11：获取一具有缺陷的钢卷端面特征及背景特征的初始图像；及步骤S12：将所述背景特征去除，获得具有缺陷的钢卷端面图像。
优选地，步骤S4具体包括如下步骤：步骤S41：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得第二频谱图；及步骤S42：将所述第二频谱图转换为具有缺陷的特征图，获得钢卷端面缺陷训练样本。
本发明还提供一种模型训练方法，包括：将如上述任一项所述钢卷端面的缺陷样本生成方法获得的钢卷端面缺陷训练样本输入至一卷积神经网络中进行训练，以获得适用于钢卷端面缺陷识别的模型。
本发明还提供一种钢卷端面的缺陷样本生成系统，包括：图像获取单元，用于获取一具有缺陷的钢卷端面图像；图像预处理单元，用于将所述钢卷端面图像进行预处理，获得具有多个频谱值的第一频谱图；直线定位单元，用于建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值均值最大时对应的直线方向；及样本生成单元，用于基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得钢卷端面缺陷训练样本。
优选地，还包括：通道图像获取单元，用于将所述钢卷端面图像输入至RGB通道，获得RGB通道图像；及通道叠加单元，用于将所述钢卷端面缺陷训练样本与所述RGB通道图像进行通道叠加，获得最终钢卷端面缺陷训练样本。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的钢卷端面的缺陷样本生成方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的钢卷端面的缺陷样本生成方法。
与现有技术相比，本发明提供的一种钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备，具有以下优点：
1、通过将具有缺陷的钢卷端面图像转换为第一频谱图，并基于第一频谱图对钢卷端面特征进行抑制，使获得的钢卷端面缺陷训练样本抑制了钢卷端面特征，加强了缺陷特征的语义信息，提高了对钢卷缺陷识别神经网络的训练的效率，提高了卷积神经网络对钢卷端面的缺陷特征的识别准确率，减少训练所需的钢卷端面的缺陷样本数量，降低训练成本。
2、通过将所述钢卷端面图像输入至RGB通道，获得对应的RGB通道图像，并将获得的钢卷端面缺陷训练样本与RGB通道图像中的缺陷特征进行通道叠加，进一步提高了钢卷端面的缺陷特征的语义信息。
3、通过将所述钢卷端面图像转换为灰度图像，并将所述灰度图像转换为对应的初始频谱图，并对所述初始频谱图进行频谱中心化处理，使得位于初始频谱图中的DC直流分量集中于频谱图中心，以便于后续步骤中对频谱的分析，简化了后续步骤中直线遍历每一频谱值的数字处理过程，提高钢卷端面缺陷训练样本生成的效率。
4、将所述中心频谱图中的每一频谱值取绝对值，获得第一频谱图，便于在后续频谱均值的计算中获得准确的均值结果。
5、通过对所述初始图像进行背景去除，获得具有缺陷的钢卷端面图像，降低背景特征对后续步骤中对钢卷端面图像处理造成的误差和影响，提高钢卷端面缺陷训练样本生成的质量。
6、基于所述钢卷端面缺陷训练样本，对卷积神经网络进行训练，以获得钢卷端面的缺陷识别模型，降低了所述钢卷端面特征对所述缺陷特征的影响，使得所述缺陷特征具有较强的语义信息，提高了卷积神经网络对钢卷端面缺陷特征的识别准确率，提高了卷积神经网络的训练效率，使得卷积神经网络训练能够快速收敛，减少了钢卷端面缺陷训练样本的数量。
【附图说明】
图1为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法的整体流程图。
图2为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S10与步骤S5的流程图。
图3为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S1的细节流程图。
图4为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法的步骤S1实施过程的示意图。
图5为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S2的细节流程图。
图6为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S22的中初始频谱图的示意图。
图7为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S23的中初始频谱图进行频谱中心化的示意图。
图8为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S23获得的中心频谱图的示意图。
图9为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S3的细节流程图。
图10为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S3中所述直线的示意图。
图11为本发明第一实施例提供的一种钢卷端面的缺陷样本生成方法中步骤S4的细节流程图。
图12为本发明第三实施例提供的一种钢卷端面的缺陷样本生成系统的模块图。
图13为本发明第三实施例提供的一种钢卷端面的缺陷样本生成系统中图像预处理单元的模块图。
图14为本发明第四实施例提供的一种电子设备的模块图。
附图标记说明：
1、图像获取单元；2、图像预处理单元；3、直线定位单元；4、样本生成单元；5、通道图像获取单元；6、通道叠加单元；
21、灰度化单元；22、频谱图获取单元；23、频谱中心化单元；24、频谱值转换单元；
10、存储器；20、处理器；
100、钢卷端面图像；200、钢卷端面特征；300、缺陷特征；400、背景特征。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种钢卷端面的缺陷样本生成方法，包括以下步骤：
步骤S1：获取一具有缺陷的钢卷端面图像；
步骤S2：将所述钢卷端面图像进行预处理，获得对应的具有多个频谱值的第一频谱图。
可以理解，所述第一频谱图中的每一频谱值，是表征图像中灰度变化剧烈程度的指标，也即灰度值在平面空间上的梯度，当相邻两个灰度值之间的变化值(也即差值)越大时，对应初始频谱图中的频谱值就越大。
步骤S3：建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值均值最大时对应的直线方向；及
步骤S4：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得钢卷端面缺陷训练样本。
请参阅图2，可选地，上述步骤S1与步骤S2之间还包括：
步骤S10：将所述钢卷端面图像输入至RGB通道，获得RGB通道图像；及
在步骤S4之后还包括步骤S5：
步骤S5：将所述钢卷端面缺陷训练样本与RGB通道图像进行通道叠加，获得最终钢卷端面缺陷训练样本。
可以理解，在步骤S10中，获得RGB通道图像在步骤S6中将钢卷端面缺陷训练样本与RGB通道图像进行通道叠加，以增强钢卷端面缺陷训练样本中缺陷的语义信息，提高对神经网络训练的效率。
可以理解，所述RGB通道图像至少为三张图像，例如，在本实施例中，所述RGB通道图像为三张。
请参阅图3，步骤S1：获取一具有缺陷的钢卷端面图像。步骤S1具体包括步骤S11～S12：
步骤S11：获取一具有缺陷的钢卷端面特征及背景特征的初始图像；及
步骤S12：将所述背景特征去除，获得具有钢卷端面的钢卷端面图像。
可以理解，在步骤S11中，所述初始图像具有缺陷的钢卷端面特征及与钢卷端面无关的背景特征，例如，在获取初始图像的过程中，难免会存在存放钢卷的货架或其他物体特征。
在步骤S12中，可基于Faster R-CNN、Cascade R-CNN和Mask R-CNN等矩形框检测算法，检测出钢卷端面的矩形框后，通过检测算法的预测对象掩膜(object mask)分支，针对矩形框内的待分类物体进行了边界预测，精确定位待分类物体的准确边界。如图4中所示，所述钢卷端面图像100中具有钢卷端面特征200、缺陷特征300及背景特征400，矩形框500定位在钢卷端面特征的最大边界处，通过检测算法的预测对象掩膜(object mask)分支，精确计算出钢卷端面特征200的边界。
可以理解，步骤S11～S12仅为该实施例的一种实施方式，其实施方式并不限定于步骤S11～S12。
请参阅图5，步骤S2：将所述钢卷端面图像进行预处理，获得对应的具有多个频谱值的第一频谱图。步骤S2具体包括步骤S21～S24：
步骤S21：将所述钢卷端面图像进行灰度化处理，获得灰度图像；
步骤S22：将所述灰度图像转换为对应的具有多个频谱值的初始频谱图；
步骤S23：将所述初始频谱图进行频谱中心化处理，获得中心频谱图；及
步骤S24：将所述中心频谱图中的每一频谱值取绝对值，获得第一频谱图。
可以理解，在步骤S21中，所述将所述钢卷端面图像进行灰度化处理，以获得对应的灰度图像，在本实施例中，所述灰度图像以二维数组表示。
可以理解，步骤S22中，可通过二维离散时频变换，将所述灰度图像转换为对应的初始频谱图。所述二维离散时频变换是通过将灰度图转化为频谱图的计算方法，所述二维离散时频变换通常包括离散傅立叶变换、离散余弦变换及沃尔什－哈达玛变换等，例如，在本实施例中，以二维离散傅里叶变换为例，将所述灰度图像转换为对应的初始频谱图，并用二维数组表示，二维离散傅立叶变换提供另外一个角度来观察图像，可以将图像从灰度分布转化到频率分布上来观察图像的特征。例如，如图6所示，所述二维数组为8*8尺寸，则对应有64个频谱值。
可以理解，在步骤S22中，所述灰度图像经过二维傅里叶变换后，所用的二维傅里叶变换灰度图像的矩阵的原点设在左上角，那么频谱能量(DC直流分量)将集中在系数矩阵的四个角上(如图6中所示a、b、c、d四个角)，这是由二维傅里叶变换本身性质决定的。当然，如果变换的灰度图像的矩阵原点设在中心，其频谱能量(DC直流分量)集中分布在变换系数矩阵的中心附近。在本实施例中，以频谱能量将集中在系数矩阵的四个角上为例，但不作为对本发明的限定。
可以理解，在步骤S23中，将所述初始频谱图进行频谱中心化处理，将初始频谱图中的频谱能量(DC直流分量)置于频谱图中心，简化了后续步骤中直线遍历每一频谱值的处理，提高钢卷端面缺陷训练样本生成的效率。例如，如图7所示，将四等分中对应的四个象限进行交叉对换(如图中箭头方向进行交叉对换)，获得如图8所示的将a、b、c、d四个角集中于频谱图中心的中心频谱图。
可选地，在步骤S22中，当变换的灰度图像的矩阵原点设在中心，则可直接从步骤S31进入步骤S33，也即可跳过步骤S32，不需要进行频谱中心化操作。
可以理解，在步骤S24中，将所述中心频谱图中的每一频谱值取绝对值，便于在后续频谱均值的计算中获得准确的均值结果。
可以理解，步骤S21～S24仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S24。
请参阅图9，步骤S3：建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值均值最大时对应的直线方向。步骤S3具体包括步骤S31～S33：
步骤S31：建立一经过所述第一频谱图中心的直线；
步骤S32：所述直线以所述中心为原点，在所述第一频谱图上进行遍历，计算出所述直线每一斜率下经过多个频谱值的均值；及
步骤S33：选取所述均值最大时对应直线的斜率，该斜率对应的直线方向为钢卷端面的径向方向。
可以理解，在步骤S32中，所述直线对所述第一频谱图上的每一频谱值进行遍历，计算出所述直线每一斜率下经过多个频谱值的均值，用于计算出在所述直线所处任一斜率上，直线经过的多个频谱值的均值，所述均值表征的是在所述直线对应的斜率上像素值变化量的大小。例如，如图10所示，所述直线L经过所述第一频谱图中心，通过改变所述直线L的斜率，可绕所述中心进行旋转，以遍历所述第一频谱图的每一频谱值。
可以理解，在步骤S33中，选取所述均值最大时对应直线的斜率，也即在该斜率下的直线方向上，所述钢卷端面图像的像素值变化量最大，像素值变化量最大的直线方向表征的是该斜率下的所述直线方向为钢卷端面的径向方向。例如，如图10所述，钢卷端面特征200上，具有钢材收卷形成的多圈叠层形成的多个边界，则在多个边界部分对应的频谱值较大，进一步地，当以所述钢卷端面特征200的钢卷端面直径方向e上经过的边界最多，对应的频谱均值最大，故频谱值的均值最大时对应的直线方向为钢卷端面的直径方向。
可以理解，步骤S31～S33仅为该实施例的一种实施方式，其实施方式并不限定于步骤S31～S33。
请参阅图11，步骤S4：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得钢卷端面缺陷训练样本。步骤S5具体包括步骤S41～S42：
步骤S41：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得第二频谱图；及
步骤S42：将所述第二频谱图转换为具有缺陷的特征图，获得钢卷端面缺陷训练样本。
可以理解，在步骤S41中，基于所述直线方向，通过将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，以将钢卷端面特征进行抑制，当所述频谱值归零时，也即将处于阈值范围内频谱值对应的图像灰度值进行归一化处理，降低了钢卷端面特征的灰度梯度，也即抑制了钢卷端面特征，降低了钢卷端面特征的语义信息。
可以理解，在步骤S41中，所述预设阈值为预先设定的数值，例如，所述预设阈值设置可以为1-3的任一数值，在本实施例中，以预设阈值为1，也即以单个频谱值为单位距离，将所有频谱值中距离所述直线的距离在单位距离内的频谱值归零，获得第二频谱图。
可以理解，在步骤S42中，通过二维离散时频变换的逆变换，将步骤S41获得的第二频谱图转换为对应的特征图，所述特征图可作为钢卷端面缺陷训练样本。例如，在本实施例中，可通过二维离散傅里叶变换的逆变换，将所述第二频谱图转换为对应的特征图。
可以理解，步骤S41～S42仅为该实施例的一种实施方式，其实施方式并不限定于步骤41～S42。
本发明第二实施例还提供一种模型训练方法，所述模型训练方法将第一实施例中的钢卷端面的缺陷样本生成方法中获得的钢卷端面缺陷训练样本输入至一卷积神经网络中进行训练，以获得适用于钢卷端面缺陷识别的模型。
可以理解，通过将所述第一实施例中的钢卷端面缺陷训练样本输入至卷积神经网络中进行训练，获得钢卷端面的缺陷识别模型。所述钢卷端面缺陷训练样本为抑制了钢卷端面特征的钢卷端面的缺陷图像，降低了所述钢卷端面特征对所述缺陷特征的影响，使得所述缺陷特征具有较强的语义信息，提高了卷积神经网络的训练效率，使得卷积神经网络训练能够快速收敛，减少了钢卷端面缺陷训练样本的数量。
请参阅图12，本发明第三实施例还提供一种钢卷端面的缺陷样本生成系统。该钢卷端面的缺陷样本生成系统可以包括：
图像获取单元1，用于获取一具有缺陷的钢卷端面图像；
图像预处理单元2，用于将所述钢卷端面图像进行预处理，获得具有多个频谱值的第一频谱图；
直线定位单元3，用于建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值均值最大时对应的直线方向；及
样本生成单元4，用于基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得钢卷端面缺陷训练样本。
请继续参阅图12，本发明第三实施例提供的钢卷端面的缺陷样本生成系统还包括：
通道图像获取单元5，用于将所述钢卷端面图像输入至RGB通道，获得RGB通道图像；及
通道叠加单元6，用于将所述钢卷端面缺陷训练样本与所述RGB通道图像进行通道叠加，获得最终钢卷端面缺陷训练样本。
请参阅图13，所述图像预处理单元2还包括：
灰度化单元21，用于将所述钢卷端面图像进行灰度化处理，获得灰度图像；
频谱图获取单元22，用于将所述灰度图像转换为对应的具有多个频谱值的初始频谱图，并将所述初始频谱图进行预处理，获得第一频谱图；
频谱中心化单元23，用于将所述初始频谱图进行频谱中心化处理，获得中心频谱图；及
频谱值转换单元24，用于将所述中心频谱图中的每一频谱值取绝对值，获得第一频谱图。
可以理解，本发明第三实施例提供的一种钢卷端面的缺陷样本生成系统特别适用于钢卷端面的缺陷特征获取的样本生成系统，该系统获得的钢卷端面缺陷训练样本提高了缺陷特征的语义，减少了钢卷端面特征的干扰，可将该钢卷端面缺陷训练样本作为钢卷端面缺陷识别神经网络的钢卷端面缺陷训练样本，提高训练效率，降低对大量具有缺陷的钢卷端面图像样本数量的依赖性。
请参阅图14，本发明第三实施例提供一种用于实施上述钢卷端面的缺陷样本生成方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项钢卷端面的缺陷样本生成方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项钢卷端面的缺陷样本生成方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
具体地，所述电子设备为用于钢卷端面缺陷识别模型训练的钢卷端面的缺陷样本生成设备，其用于通过具有缺陷特征的钢卷端面图像中通过钢卷端面的频谱图对钢卷端面特征进行抑制，以提高缺陷特征的语义信息，获得钢卷端面缺陷训练样本，提高钢卷端面缺陷识别模型的训练效率。
与现有技术相比，本发明提供的一种钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备，具有以下优点：
1、通过将具有缺陷的钢卷端面图像转换为第一频谱图，并基于第一频谱图对钢卷端面特征进行抑制，使获得的钢卷端面缺陷训练样本抑制了钢卷端面特征，加强了缺陷特征的语义信息，提高了对钢卷缺陷识别神经网络的训练的效率，提高了卷积神经网络对钢卷端面的缺陷特征的识别准确率，减少训练所需的钢卷端面的缺陷样本数量，降低训练成本。
2、通过将所述钢卷端面图像输入至RGB通道，获得对应的RGB通道图像，并将获得的钢卷端面缺陷训练样本与RGB通道图像中的缺陷特征进行通道叠加，进一步提高了钢卷端面的缺陷特征的语义信息。
3、通过将所述钢卷端面图像转换为灰度图像，并将所述灰度图像转换为对应的初始频谱图，并对所述初始频谱图进行频谱中心化处理，使得位于初始频谱图中的DC直流分量集中于频谱图中心，以便于后续步骤中对频谱的分析，简化了后续步骤中直线遍历每一频谱值的数字处理过程，提高钢卷端面缺陷训练样本生成的效率。
4、将所述中心频谱图中的每一频谱值取绝对值，获得第一频谱图，便于在后续频谱均值的计算中获得准确的均值结果。
5、通过对所述初始图像进行背景去除，获得具有缺陷的钢卷端面图像，降低背景特征对后续步骤中对钢卷端面图像处理造成的误差和影响，提高钢卷端面缺陷训练样本生成的质量。
6、基于所述钢卷端面缺陷训练样本，对卷积神经网络进行训练，以获得钢卷端面的缺陷识别模型，降低了所述钢卷端面特征对所述缺陷特征的影响，使得所述缺陷特征具有较强的语义信息，提高了卷积神经网络对钢卷端面缺陷特征的识别准确率，提高了卷积神经网络的训练效率，使得卷积神经网络训练能够快速收敛，减少了钢卷端面缺陷训练样本的数量。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像预处理单元、直线定位以及样本生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像预处理单元还可以被描述为“基于当前获得的钢卷端面图像，将所述钢卷端面图像进行预处理以获得第一频谱图处理的单元”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取一具有缺陷的钢卷端面图像；将所述钢卷端面图像进行预处理，获得对应的具有多个频谱值的第一频谱图；建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值均值最大时对应的直线方向；及基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得钢卷端面缺陷训练样本。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种钢卷端面的缺陷样本生成方法，其特征在于，包括如下步骤:
步骤S1：获取一具有缺陷的钢卷端面图像；
步骤S2：将所述钢卷端面图像进行预处理，获得对应的具有多个频谱值的第一频谱图；
步骤S3：建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值的均值最大时对应的直线方向；及
步骤S4：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得所需钢卷端面缺陷训练样本。
2.如权利要求1中所述钢卷端面的缺陷样本生成方法，其特征在于：步骤S1与步骤S2之间还包括：
步骤S10：将所述钢卷端面图像输入至RGB通道，获得RGB通道图像；及
在步骤S4之后还包括步骤S5：
步骤S5：将所述钢卷端面缺陷训练样本与所述三张RGB通道图像进行通道叠加，获得最终钢卷端面缺陷训练样本。
3.如权利要求1中所述钢卷端面的缺陷样本生成方法，其特征在于：步骤S2具体包括如下步骤：
步骤S21：将所述钢卷端面图像进行灰度化处理，获得灰度图像；
步骤S22：将所述灰度图像转换为对应的具有多个频谱值的初始频谱图；
步骤S23：将所述初始频谱图进行频谱中心化处理，获得中心频谱图；及
步骤S24：将所述中心频谱图中的每一频谱值取绝对值，获得第一频谱图。
4.如权利要求1中所述钢卷端面的缺陷样本生成方法，其特征在于：步骤S3具体包括如下步骤：
步骤S31：建立一经过所述第一频谱图中心的直线；
步骤S32：所述直线以所述中心为原点，在所述第一频谱图上进行遍历，计算出所述直线每一斜率下经过多个频谱值的均值；及
步骤S33：选取所述均值最大时对应直线的斜率，该斜率对应的直线方向为钢卷端面的径向方向。
5.如权利要求2中所述钢卷端面的缺陷样本生成方法，其特征在于：步骤S1具体包括如下步骤：
步骤S11：获取一具有缺陷的钢卷端面特征及背景特征的初始图像；及
步骤S12：将所述背景特征去除，获得具有缺陷的钢卷端面图像。
6.如权利要求2中所述钢卷端面的缺陷样本生成方法，其特征在于：步骤S4具体包括如下步骤：
步骤S41：基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得第二频谱图；及
步骤S42：将所述第二频谱图转换为具有缺陷的特征图，获得钢卷端面缺陷训练样本。
7.一种模型训练方法，其特征在于，包括：
将如权利要求1-6中任一项所述钢卷端面的缺陷样本生成方法获得的钢卷端面缺陷训练样本输入至一卷积神经网络中进行训练，以获得适用于钢卷端面缺陷识别的模型。
8.一种钢卷端面的缺陷样本生成系统，其特征在于，包括：
图像获取单元，用于获取一具有缺陷的钢卷端面图像；
图像预处理单元，用于将所述钢卷端面图像进行预处理，获得具有多个频谱值的第一频谱图；
直线定位单元，用于建立一经过所述第一频谱图中心的直线，所述直线可基于所述中心对多个频谱值进行遍历，并基于所述直线经过的多个频谱值，计算出直线经过的多个频谱值均值最大时对应的直线方向；及
样本生成单元，用于基于所述直线方向，将每一频谱值到所述直线的距离小于预设阈值的频谱值归零，获得钢卷端面缺陷训练样本。
9.如权利要求8中所述钢卷端面的缺陷样本生成系统，其特征在于，还包括：
通道图像获取单元，用于将所述钢卷端面图像输入至RGB通道，获得RGB通道图像；及
通道叠加单元，用于将所述钢卷端面缺陷训练样本与所述RGB通道图像进行通道叠加，获得最终钢卷端面缺陷训练样本。
10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的钢卷端面的缺陷样本生成方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的钢卷端面的缺陷样本生成方法。
CN201910607465.6A 2019-07-05 2019-07-05 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备 Pending CN110349142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910607465.6A CN110349142A (zh) 2019-07-05 2019-07-05 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910607465.6A CN110349142A (zh) 2019-07-05 2019-07-05 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN110349142A true CN110349142A (zh) 2019-10-18

Family

ID=68177873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910607465.6A Pending CN110349142A (zh) 2019-07-05 2019-07-05 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110349142A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242904A (zh) * 2020-01-03 2020-06-05 广东工业大学 一种光纤端面检测方法和装置
CN112183474A (zh) * 2020-10-28 2021-01-05 欧冶云商股份有限公司 一种钢铁行业基于5g+人工智能的视频盘库方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234969A (zh) * 2013-04-12 2013-08-07 江苏大学 一种基于机器视觉的织物纬密度测量新方法
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN109829899A (zh) * 2019-01-18 2019-05-31 创新奇智(广州)科技有限公司 一种针对钢卷端面缺陷检测的背景抑制算法
CN109827504A (zh) * 2019-01-18 2019-05-31 创新奇智(南京)科技有限公司 一种基于机器视觉的钢卷端面局部径向检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103234969A (zh) * 2013-04-12 2013-08-07 江苏大学 一种基于机器视觉的织物纬密度测量新方法
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN109829899A (zh) * 2019-01-18 2019-05-31 创新奇智(广州)科技有限公司 一种针对钢卷端面缺陷检测的背景抑制算法
CN109827504A (zh) * 2019-01-18 2019-05-31 创新奇智(南京)科技有限公司 一种基于机器视觉的钢卷端面局部径向检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宓超 等: "《装卸机器视觉及其应用》", 31 January 2016, 上海科学技术出版社 *
官云兰 等: "《MATLAB遥感数字图像处理实践教程》", 31 January 2019, 同济大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242904A (zh) * 2020-01-03 2020-06-05 广东工业大学 一种光纤端面检测方法和装置
CN112183474A (zh) * 2020-10-28 2021-01-05 欧冶云商股份有限公司 一种钢铁行业基于5g+人工智能的视频盘库方法及系统
CN112183474B (zh) * 2020-10-28 2021-07-02 欧冶云商股份有限公司 一种钢铁行业基于5g+人工智能的视频盘库方法及系统

Similar Documents

Publication Publication Date Title
CN107808378B (zh) 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法
CN107220988B (zh) 基于改进canny算子的零部件图像边缘提取方法
CN113963042B (zh) 基于图像处理的金属零件缺陷程度评估方法
CN109785245A (zh) 一种光斑图像修整方法
CN107563397A (zh) 一种卫星云图中云团运动矢量的确定方法
CN109685097A (zh) 一种基于gan的图像检测方法及装置
CN116137036B (zh) 基于机器学习的基因检测数据智能处理系统
CN112862744B (zh) 一种基于超声图像的电容内部缺陷智能检测方法
CN110287125A (zh) 基于图像识别的软件例行化测试方法及装置
CN103473776A (zh) 一种比较图像清晰度的方法、系统及自动聚焦控制方法
CN110349142A (zh) 钢卷端面的缺陷样本生成方法、模型训练方法、系统及电子设备
CN109064504A (zh) 图像处理方法、装置和计算机存储介质
CN105550694A (zh) 一种度量人脸图像模糊程度的方法
CN112862706A (zh) 路面裂缝图像预处理方法、装置、电子设备及存储介质
CN111179276A (zh) 一种图像处理方法和装置
CN106599891A (zh) 一种基于尺度相位谱显著性的遥感图像兴趣区快速提取方法
CN111563556A (zh) 一种基于颜色梯度权重的变电站箱柜设备异常识别方法及系统
CN112686896B (zh) 基于分割网络的频域空间结合的玻璃缺陷检测方法
CN110909568A (zh) 用于面部识别的图像检测方法、装置、电子设备及介质
CN117611540A (zh) 一种锂电池极片涂布缺陷检测方法及相关设备
CN108647605A (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
CN107844803A (zh) 一种图片比对的方法和装置
CN110349129B (zh) 一种高密度柔性ic基板外观缺陷检测方法
CN117132487A (zh) 一种显微镜图像处理方法
CN110059617A (zh) 一种目标物体的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018