CN111652869B - 基于深度学习的板坯空洞识别方法、系统、介质及终端 - Google Patents

基于深度学习的板坯空洞识别方法、系统、介质及终端 Download PDF

Info

Publication number
CN111652869B
CN111652869B CN202010488519.4A CN202010488519A CN111652869B CN 111652869 B CN111652869 B CN 111652869B CN 202010488519 A CN202010488519 A CN 202010488519A CN 111652869 B CN111652869 B CN 111652869B
Authority
CN
China
Prior art keywords
slab
image
image data
network model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010488519.4A
Other languages
English (en)
Other versions
CN111652869A (zh
Inventor
庞殊杨
王嘉骏
贾鸿盛
毛尚伟
李语桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010488519.4A priority Critical patent/CN111652869B/zh
Publication of CN111652869A publication Critical patent/CN111652869A/zh
Application granted granted Critical
Publication of CN111652869B publication Critical patent/CN111652869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的板坯空洞识别方法、系统、介质及终端，方法包括：采集板坯图像数据，并对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；根据所述图像数据集建立板坯位置识别网络模型，并对其进行训练；实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果；根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞；本发明无需人工参与，提升了工作效率，通过机器学习采用深度神经网络SSD‑Mobilenet识别板坯在生产线中的位置，并切割出图像，采用图像增强和图像二值化算法来判断板坯中是否存在空洞，用机器代替人眼做识别，解决了现有的板坯空洞识别效率及准确率低下的问题，降低了人工参与的成本。

Description

基于深度学习的板坯空洞识别方法、系统、介质及终端
技术领域
本发明涉及电冶金领域，尤其涉及一种基于深度学习的板坯空洞识别方法、系统、介质及终端。
背景技术
在钢铁冶炼领域板坯连铸、轧钢的过程中，需要对烧结工艺完成后的板坯进行检测，判断其中是否存在空洞，这种空洞在预烧中不能消除，在烧结中容易形成分层的内部缺陷，一旦板坯中存在空洞，会对最终板材质量产生波动，影响板坯的使用价值，因此板坯中空洞的识别显得尤其重要。
但是，目前针对板坯中的空洞判断通常还是依然采用人工进行观测的方式进行判断，不仅工作效率较低，而且还无法保证识别结果的精确度，这会影响炼钢过程中板坯的质量。因此需要一种新的板坯空洞识别的方式，能够实现工业场景的智能化，精准化，高效化，保证炼钢过程中板坯的质量。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种基于深度学习的板坯空洞识别方法、系统、介质及终端，以解决上述技术问题。
本发明提供的基于深度学习的板坯空洞识别方法，包括：
采集板坯图像数据，并对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；
根据所述图像数据集建立板坯位置识别网络模型，并对其进行训练；
实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果；
根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞。
可选的，根据板坯位置识别网络模型的输出结果中板坯的位置信息，对图像进行切割处理，获取板坯部分图像；
预先设置灰度阈值，并根据所述灰度阈值对所述板坯部分图像进行二值化处理；
将二值化处理结果中的黑色部分的面积与预先设置的面积阈值进行比较，判断是否存在空洞。
可选的，所述板坯位置识别网络模型包括：
卷积神经网络，用于提取图像特征；
多尺度特征检测网络，用于对所述卷积神经网络提取出的特征图进行池化操作，通过不同卷积层的多个特征图对物体分类并回归目标框的偏移，获取输出结果。
可选的，所述卷积神经网络通过如下方式进行：
D×D×C×H×W+C×N×H×W
其中，H为输入数据的高，W为输入数据的宽，C为输入的通道数，D为卷积核的宽和高，N为卷积核数量，所述卷积神经网络使用与通道数相同的卷积核进行卷积操作。
可选的，将所述板坯部分图像中的像素点的灰度与所述灰度阈值进行比较，
当像素点的灰度大于等于灰度阈值时，判定其为特定物体，并将其灰度值置为255；
当像素点的灰度小于灰度阈值时，判定其为背景，并将其灰度值置为0。
可选的，将板坯部分图像分为两个部分：第一部分为C0(0，1，...，t)，第二部分为C1＝(t+1，t+2，...，L-1)，
其中，t为灰度阈值，L为图像灰度级，
分别计算第一部分和第二部分的样本方差，根据最大类间方差选取所述灰度阈值。
可选的，第一部分和第二部分之间的类间方差通过如下公式获取：
Figure GDA0004076103310000021
其中，ω0为第一部分发生的概率，ω1为第二部分发生的概率，μ0为第一部分的样本统计平均值，μ1为第二部分的样本统计平均值。
可选的，所述板坯位置识别网络模型根据分类置信度和目标框回归的损失值计算总损失函数，所述总损失函数通过如下公式获取：
Figure GDA0004076103310000022
其中，N为匹配的默认边框的个数，∝为平衡因子，x为匹配的框是否属于某一类别的置信度，c为类别置信度预测值，l为预测框，g为真实框，Lconf为置信损失，Lloc为预测框与真实框的损失函数。
可选的，通过矩形目标框对采集的板坯图像数据中板坯位置进行框选，获取板坯的位置信息，并通过如下格式进行记录标注的标签：
[xmin，ymin，xmax，ymax]
其中，xmin、ymin分别为板坯矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为板坯矩形目标框在图像中的右下角x、y坐标值。
可选的，对标注后的板坯图像数据进行监督式训练，根据所述标签和预测框判断最终识别准确率，通过多次迭代使板坯位置识别网络模型的预测值向标签和预测框误差方向进行收敛。
本发明还提供一种基于深度学习的板坯空洞识别系统，包括：
图像采集模块，用于采集板坯图像数据，
标注模块，用于对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；
深度神经网络模块，用于根据所述图像数据集建立板坯位置识别网络模型并对其进行训练；
分析判断模块，用于判断板坯中是否存在空洞；
实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果，分析判断模块根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞。
可选的，还包括
图像处理模块，用于根据板坯位置识别网络模型的输出结果中板坯的位置信息，对图像进行切割处理，获取板坯部分图像；预先设置灰度阈值，并根据所述灰度阈值对所述板坯部分图像进行二值化处理；
所述分析判断模块通过将二值化处理结果中的黑色部分的面积与预先设置的面积阈值进行比较，判断是否存在空洞。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法
本发明的有益效果：本发明中的基于深度学习的板坯空洞识别方法、系统、介质及终端，无需人工参与，相较于目前的板坯空洞识别的方法大大提升了工作效率，本发明通过机器学习采用深度神经网络SSD-Mobilenet识别板坯在生产线中的位置，并切割出图像，采用图像增强和图像二值化算法来判断板坯中是否存在空洞，用机器代替人眼做识别，解决了现有的板坯空洞识别效率及准确率低下的问题，降低了人工参与的成本。
附图说明
图1是本发明实施例中基于深度学习的板坯空洞识别方法的流程示意图。
图2是本发明实施例中基于深度学习的板坯空洞识别系统的结构示意图。
图3是神经网络传统卷积结构示意图示意图。
图4是本发明实施例中基于深度学习的板坯空洞识别方法中的可分离卷积结构示意图。
图5是本发明实施例中基于深度学习的板坯空洞识别方法的非线性激活单元函数的数学表达关系示意图。
图6是本发明实施例中基于深度学习的板坯空洞识别方法的深度神经网络SSD-Mobilenet细节示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的基于深度学习的板坯空洞识别方法，包括：
S1.采集板坯图像数据，并对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；
S2.根据所述图像数据集建立板坯位置识别网络模型，并对其进行训练；
S3.实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果；
S4.根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞。
在本实施例中，首先通过图像采集获取场景下板坯清晰的图像，进行图片数据标注，即标注出板坯在图像中的坐标位置，构成图像数据集，通过对图像数据集进行图像归一化处理，搭建一个基于深度学习的板坯位置识别网络，本实施例中的深度神经网络包括SSD-Mobilenet，将数据集中的图像信息输入深度神经网络进行训练，学习相应的板坯图像特征，获取用于实时检测板坯位置信息的训练模型，即板坯位置识别网络模型，通过板坯位置识别网络模型实时检测板坯在视频流中的位置，再利用图像增强及图像二值化算法判断板坯中是否存在空洞。
在本实施例的步骤S1中，首先需要获取场景下板坯清晰的图像并对进行图片数据标注，本实施例通过对采集图像中的板坯位置进行框选，记录提取板坯的位置信息，且记录位置信息格式为：
[xmin，ymin，xmax，ymax]    式(1)
其中，xmin、ymin分别为板坯矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为板坯矩形目标框在图像中的右下角x、y坐标值。
在本实施例的步骤S2中，板坯位置识别网络模型由两部分组成，第一部分是一个较大型的卷积神经网络Mobilenet，用来提取图像特征，第二部分是多尺度特征检测网络，通过将Mobilenet卷积神经网络提取出的特征图进行池化操作缩小尺寸，将不同卷积层的多个特征图用来对物体分类并且回归目标框的偏移，最后用NMS(non maximumsuppression)的方法得到输出的检测结果。本实施例中的深度神经网络SSD-Mobilenet细节示意如图6所示。其中，卷积神经网络采用的卷积方式为可分离卷积，相较于传统的卷积方式，通过本实施率的这种可分离卷积方式可以减少计算量，如图3所示，传统的神经网络卷积结构的计算量为：
D×D×N×C×H×W   式(2)
本申请中的可分离卷积结构如图4所示，其计算量为：
D×D×C×H×W+C×N×H×W   式(3)
其中，H为输入数据的高，W为输入数据的宽，采用和通道数一样大的卷积核做卷积操作，C是输入的通道数，D是卷积核的宽和高，N为卷积核数量。
在本实施例中，板坯位置识别网络模型在计算目标损失函数时同时考虑了分类的置信度和目标框回归的损失值，总损失函数为：
Figure GDA0004076103310000051
其中，N为匹配的默认边框default boxes的个数，∝为平衡因子，x为匹配的框是否属于某一类别的置信度，c为类别置信度预测值，l为预测框，g为真实框，Lconf为置信损失，采用交叉熵损失函数，Lloc为预测框与真实框的Smooth L1损失函数。
交叉熵损失函数为：
Figure GDA0004076103310000052
其中，
Figure GDA0004076103310000061
预测框与真实框的Smooth L1损失函数为：
Figure GDA0004076103310000062
其中，
Figure GDA0004076103310000063
Figure GDA0004076103310000064
Figure GDA0004076103310000065
Figure GDA0004076103310000066
在本实施例中，输出结果部分加入非线性激活单元Relu，其表达式为:
ReLu(z)＝max(0，z)   式(7)
非线性激活单元函数的数学表达关系如图5所示。
在本实施例的步骤S2中，需要将标注处理后的数据集中的图像信息输入所述深度卷积神经网络进行监督式训练，根据标签和预测框训练模型参数，判断最终识别准确率，训练网络通过多次迭代，预测值不断向标签和预测框误差方向进行收敛，每次迭代都会根据梯度下降的优化方向，减少误差，如图6所示。
在本实施例中，通过训练好的板坯位置识别模型，识别板坯在视频流中的位置，并切割出含有板坯的图像，板坯位置确定后，切割出板坯部分图像，进行图像二值化处理，本实施例中将图像上的点的灰度置为0或255，呈现出明显的黑白效果，所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，其余像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。在本实施例中，通过最大类间方差法选取阈值,使类间方差最大，将图像分为两部分：C0(0，1，...，t)以及C1＝(t+1，t+2，...，L-1)，其中，t为阈值，L为图像灰度级。
第一部分发生的概率式(8)及其样本统计平均值式(9)，统计用的样本方差式(10)为：
Figure GDA0004076103310000067
Figure GDA0004076103310000068
Figure GDA0004076103310000071
第二部分发生的概率式(11)，其样本统计平均值式(12)，统计用的样本方差式(13)为：
Figure GDA0004076103310000072
Figure GDA0004076103310000073
Figure GDA0004076103310000074
C0和C1两类之间的类间方差为：
Figure GDA0004076103310000075
板坯图像经过图像二值化后，图像中存在有黑色部分，根据黑色部分面积大小设定面积阈值，若黑色部分面积大于或等于面积阈值，即存在空洞。
相应的，本实施例还提供一种基于深度学习的板坯空洞识别系统，包括：
图像采集模块，用于采集板坯图像数据，
标注模块，用于对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；
深度神经网络模块，用于根据所述图像数据集建立板坯位置识别网络模型并对其进行训练；
分析判断模块，用于判断板坯中是否存在空洞；
实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果，分析判断模块根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞。
在本实施例中，通过标注模块对采集图像中的板坯位置进行框选，记录提取板坯的位置信息。在深度神经网络模块中，SSD-Mobilenet网络由两部分组成，第一部分是一个较大型的卷积神经网络Mobilenet,用来提取图像特征，第二部分是多尺度特征检测网络，通过将Mobilenet卷积神经网络提取出的特征图进行池化操作缩小尺寸，将不同卷积层的多个特征图用来对物体分类并且回归目标框的偏移，最后用NMS(non maximumsuppression)的方法得到输出的检测结果。
在本实施例中，卷积神经网络采用可分离卷积的卷积方式而不是传统的卷积，减少了计算量，深度神经网络模块在计算目标损失函数时同时考虑了分类的置信度和目标框回归的损失值。在本实施例中，将标注处理后的数据集中的图像信息输入深度卷积神经网络进行监督式训练，每张板坯图像都有对应的标签和预测框，不仅根据标签和预测框训练模型参数，而且还根据标签和预测框判断最终识别准确率。当训练网络通过多次迭代，预测值不断向标签和预测框误差方向进行收敛，然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向，尽可能减少传播误差，最终得到数据集中所有板坯图像最终的目标检测结果。在本实施例中，取在测试集上目标检测准确率最高的模型作为最优模型，在工业场景的实际操作中，首先通过图像采集模块实时获取图片，将单幅板坯图像作为输入，此模型将自动对图像进行处理，识别板坯位置，进行追踪分析及判断处理，最终输出板坯中空洞位置的结果。
在本实施例中，利用训练好的板坯位置识别模型，识别板坯在视频流中的位置，并切割出含有板坯的图像，板坯位置确定后，切割出板坯部分图像，进行图像二值化处理，采用最大类间方差发选取阈值。
在本实施例中，图像处理模块将图像上的点的灰度置为0或255，呈现出明显的黑白效果，所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，其余像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。板坯图像经过图像二值化后，图像中存在有黑色部分，根据黑色部分面积大小设定阈值，若黑色部分面积大于或等于阈值，即存在空洞。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。
在上述实施例中，说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于深度学习的板坯空洞识别方法，其特征在于，包括：
采集板坯图像数据，并对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；
根据所述图像数据集建立板坯位置识别网络模型，并对其进行训练；
实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果；
根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞；
根据板坯位置识别网络模型的输出结果中板坯的位置信息，对图像进行切割处理，获取板坯部分图像；
预先设置灰度阈值，并根据所述灰度阈值对所述板坯部分图像进行二值化处理；
将二值化处理结果中的黑色部分的面积与预先设置的面积阈值进行比较，判断是否存在空洞。
2.根据权利要求1所述的基于深度学习的板坯空洞识别方法，其特征在于，所述板坯位置识别网络模型包括：
卷积神经网络，用于提取图像特征；
多尺度特征检测网络，用于对所述卷积神经网络提取出的特征图进行池化操作，通过不同卷积层的多个特征图对物体分类并回归目标框的偏移，获取输出结果。
3.根据权利要求2所述的基于深度学习的板坯空洞识别方法，其特征在于，所述卷积神经网络通过如下方式进行：
D×D×C×H×W+C×N×H×W
其中，H为输入数据的高，W为输入数据的宽，C为输入的通道数，D为卷积核的宽和高，N为卷积核数量，所述卷积神经网络使用与通道数相同的卷积核进行卷积操作。
4.根据权利要求1所述的基于深度学习的板坯空洞识别方法，其特征在于，将所述板坯部分图像中的像素点的灰度与所述灰度阈值进行比较，
当像素点的灰度大于等于灰度阈值时，判定其为特定物体，并将其灰度值置为255；
当像素点的灰度小于灰度阈值时，判定其为背景，并将其灰度值置为0。
5.根据权利要求4所述的基于深度学习的板坯空洞识别方法，其特征在于，将板坯部分图像分为两个部分：第一部分为C0(0,1,…,t)，第二部分为C1＝(t+1,t+2,…,L-1)，
其中，t为灰度阈值，L为图像灰度级，
分别计算第一部分和第二部分的样本方差，根据最大类间方差选取所述灰度阈值。
6.根据权利要求5所述的基于深度学习的板坯空洞识别方法，其特征在于，第一部分和第二部分之间的类间方差通过如下公式获取：
Figure FDA0004076103290000021
其中，ω0为第一部分发生的概率，ω1为第二部分发生的概率，μ0为第一部分的样本统计平均值，μ1为第二部分的样本统计平均值。
7.根据权利要求5所述的基于深度学习的板坯空洞识别方法，其特征在于，所述板坯位置识别网络模型根据分类置信度和目标框回归的损失值计算总损失函数，所述总损失函数通过如下公式获取：
Figure FDA0004076103290000022
其中，N为匹配的默认边框的个数，∝为平衡因子，x为匹配的框是否属于某一类别的置信度，c为类别置信度预测值，l为预测框，g为真实框，Lconf为置信损失，Lloc为预测框与真实框的损失函数。
8.根据权利要求7所述的基于深度学习的板坯空洞识别方法，其特征在于，通过矩形目标框对采集的板坯图像数据中板坯位置进行框选，获取板坯的位置信息，并通过如下格式进行记录标注的标签：
[xmin,ymin,xmax,ymax]
其中，xmin、ymin分别为板坯矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为板坯矩形目标框在图像中的右下角x、y坐标值。
9.根据权利要求8所述的基于深度学习的板坯空洞识别方法，其特征在于，对标注后的板坯图像数据进行监督式训练，根据所述标签和预测框判断最终识别准确率，通过多次迭代使板坯位置识别网络模型的预测值向标签和预测框误差方向进行收敛。
10.一种基于深度学习的板坯空洞识别系统，其特征在于，包括：
图像采集模块，用于采集板坯图像数据，
标注模块，用于对所述板坯图像数据中板坯的位置进行标注，形成图像数据集；
深度神经网络模块，用于根据所述图像数据集建立板坯位置识别网络模型并对其进行训练；
分析判断模块，用于判断板坯中是否存在空洞；
实时检测板坯，并将检测的板坯图像信息输入至板坯位置识别网络模型，获取输出结果，分析判断模块根据输出结果中的板坯的位置信息，判断板坯中是否存在空洞；
图像处理模块，用于根据板坯位置识别网络模型的输出结果中板坯的位置信息，对图像进行切割处理，获取板坯部分图像；预先设置灰度阈值，并根据所述灰度阈值对所述板坯部分图像进行二值化处理；
所述分析判断模块通过将二值化处理结果中的黑色部分的面积与预先设置的面积阈值进行比较，判断是否存在空洞。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至9中任一项所述方法。
12.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至9中任一项所述方法。
CN202010488519.4A 2020-06-02 2020-06-02 基于深度学习的板坯空洞识别方法、系统、介质及终端 Active CN111652869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010488519.4A CN111652869B (zh) 2020-06-02 2020-06-02 基于深度学习的板坯空洞识别方法、系统、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010488519.4A CN111652869B (zh) 2020-06-02 2020-06-02 基于深度学习的板坯空洞识别方法、系统、介质及终端

Publications (2)

Publication Number Publication Date
CN111652869A CN111652869A (zh) 2020-09-11
CN111652869B true CN111652869B (zh) 2023-04-07

Family

ID=72348450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010488519.4A Active CN111652869B (zh) 2020-06-02 2020-06-02 基于深度学习的板坯空洞识别方法、系统、介质及终端

Country Status (1)

Country Link
CN (1) CN111652869B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232263B (zh) * 2020-10-28 2024-03-19 中国计量大学 一种基于深度学习的番茄识别方法
CN112308848A (zh) * 2020-11-06 2021-02-02 中冶赛迪重庆信息技术有限公司 一种废钢货车挡板状态识别方法、系统、电子设备及介质
CN112381800B (zh) * 2020-11-16 2021-08-31 广东电网有限责任公司肇庆供电局 一种导线直径异常识别方法、装置、电子设备和计算机可读存储介质
CN112404384B (zh) * 2020-11-18 2022-03-08 河北凯昌科技有限公司 连铸铸坯移动追踪系统及方法
CN113240625A (zh) * 2021-03-31 2021-08-10 辽宁华盾安全技术有限责任公司 一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质
CN113222941B (zh) * 2021-05-17 2022-11-11 中冶赛迪信息技术(重庆)有限公司 连铸铸坯的切割状态确定方法、系统、设备及介质
CN117934452A (zh) * 2024-03-14 2024-04-26 中国建筑第五工程局有限公司 基于人工智能的蒸压混凝土板材质量快速检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012110917A (ja) * 2010-11-24 2012-06-14 Jfe Steel Corp 薄鋼板用連続鋳造鋳片の欠陥検出方法および欠陥検出装置
CN103105405A (zh) * 2013-01-18 2013-05-15 北京科技大学 一种定量分析铸坯中气泡类缺陷分布的方法
CN107462520A (zh) * 2017-07-25 2017-12-12 杭州电子科技大学 面向有限空间基于机器视觉的不锈钢板在线检测装置
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108921839A (zh) * 2018-07-02 2018-11-30 北京百度网讯科技有限公司 连铸坯质量检测方法、装置、电子设备及存储介质
CN109215009A (zh) * 2017-06-29 2019-01-15 上海金艺检测技术有限公司 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
JP2019018247A (ja) * 2017-07-20 2019-02-07 Ｊｆｅスチール株式会社 連続鋳造機における鋳片表面欠陥及び設備異常の検知方法並びに検知設備
CN109712141A (zh) * 2019-01-07 2019-05-03 重庆赛宝工业技术研究院 连铸钢方坯中心偏析缺陷检验量化评级方法
TWI674406B (zh) * 2018-12-14 2019-10-11 中國鋼鐵股份有限公司 鋼胚之心部緻密度的檢測方法
CN110400296A (zh) * 2019-07-19 2019-11-01 重庆邮电大学 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统
JP2019215185A (ja) * 2018-06-11 2019-12-19 日本製鉄株式会社 鋳片気泡欠陥の非破壊検査方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012110917A (ja) * 2010-11-24 2012-06-14 Jfe Steel Corp 薄鋼板用連続鋳造鋳片の欠陥検出方法および欠陥検出装置
CN103105405A (zh) * 2013-01-18 2013-05-15 北京科技大学 一种定量分析铸坯中气泡类缺陷分布的方法
CN109215009A (zh) * 2017-06-29 2019-01-15 上海金艺检测技术有限公司 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
JP2019018247A (ja) * 2017-07-20 2019-02-07 Ｊｆｅスチール株式会社 連続鋳造機における鋳片表面欠陥及び設備異常の検知方法並びに検知設備
CN107462520A (zh) * 2017-07-25 2017-12-12 杭州电子科技大学 面向有限空间基于机器视觉的不锈钢板在线检测装置
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
JP2019215185A (ja) * 2018-06-11 2019-12-19 日本製鉄株式会社 鋳片気泡欠陥の非破壊検査方法
CN108921839A (zh) * 2018-07-02 2018-11-30 北京百度网讯科技有限公司 连铸坯质量检测方法、装置、电子设备及存储介质
TWI674406B (zh) * 2018-12-14 2019-10-11 中國鋼鐵股份有限公司 鋼胚之心部緻密度的檢測方法
CN109712141A (zh) * 2019-01-07 2019-05-03 重庆赛宝工业技术研究院 连铸钢方坯中心偏析缺陷检验量化评级方法
CN110400296A (zh) * 2019-07-19 2019-11-01 重庆邮电大学 连铸坯表面缺陷双目扫描与深度学习融合识别方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects;Kechen Song等;《Applied Surface Science》;20131115;第285卷;858-864 *
Pinhole detection in steel slab images using Gabor filter and morphological features;Doo-chul Choi等;《Applied Optics》;20110910;第50卷(第26期);5122-5129 *
冷轧带钢边部孔洞缺陷的检测方法研究;王爱芳等;《计算机工程与应用》;20170531;第53卷(第09期);240-245 *
基于机器视觉的带钢表面孔洞检测系统的研究;柳倩;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20120315(第(2012)03期);I138-2417 *
基于深度学习的连铸板坯表面缺陷检测系统;毛欣翔等;《工业控制计算机》;20190331;第32卷(第03期);66-68 *
基于神经网络的带钢表面孔洞检测系统研究;赵松青等;《华中科技大学学报(自然科学版)》;20041031;第32卷;摘要,第1-3节 *
神经网络决策树算法在钢材表面缺陷检测中的应用研究;徐凤云等;《西昌学院学报(自然科学版)》;20110228;第25卷(第02期);44-45+50+3 *

Also Published As

Publication number Publication date
CN111652869A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652869B (zh) 基于深度学习的板坯空洞识别方法、系统、介质及终端
CN107358242B (zh) 目标区域颜色识别方法、装置及监控终端
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN111860439A (zh) 一种无人机巡检图像缺陷检测方法、系统及设备
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN113421269A (zh) 一种基于双分支深度卷积神经网络的实时语义分割方法
CN112861631B (zh) 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN114581388A (zh) 接触网零部件缺陷检测方法及装置
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN112101195B (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN113159300A (zh) 图像检测神经网络模型及其训练方法、图像检测方法
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN114155365A (zh) 模型训练方法、图像处理方法及相关装置
CN111429424A (zh) 一种基于深度学习的加热炉入口异常识别方法
CN111739020A (zh) 周期纹理背景缺陷标签自动标注方法、装置、设备及介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN116704490B (zh) 车牌识别方法、装置和计算机设备
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: Building 1, No. 11, Huijin Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant