CN111553950A - 一种钢卷对中判断方法、系统、介质及电子终端 - Google Patents

一种钢卷对中判断方法、系统、介质及电子终端 Download PDF

Info

Publication number
CN111553950A
CN111553950A CN202010363577.4A CN202010363577A CN111553950A CN 111553950 A CN111553950 A CN 111553950A CN 202010363577 A CN202010363577 A CN 202010363577A CN 111553950 A CN111553950 A CN 111553950A
Authority
CN
China
Prior art keywords
steel coil
centering
judgment
image
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010363577.4A
Other languages
English (en)
Other versions
CN111553950B (zh
Inventor
庞殊杨
王嘉骏
贾鸿盛
毛尚伟
王宇泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010363577.4A priority Critical patent/CN111553950B/zh
Publication of CN111553950A publication Critical patent/CN111553950A/zh
Application granted granted Critical
Publication of CN111553950B publication Critical patent/CN111553950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种钢卷对中判断方法、系统、介质及电子终端，方法包括：获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；根据所述样本数据建立基于深度神经网络的钢卷位置检测模型，并进行训练；采集实时钢卷图像信息，并输入至训练后的钢卷位置检测模型，获取检测结果；根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断；本发明通过基于深度学习的钢卷对中判断网络，能够较好地实时检测钢卷，保证了判断结果的准确性，使用方式简单，适应性强，并且可以对同一钢卷进行目标跟踪，对同一钢卷进行中线判断，具有较高的准确率。

Description

一种钢卷对中判断方法、系统、介质及电子终端
技术领域
本发明涉及冶金领域和图像识别领域，尤其涉及一种钢卷对中判断方法、系统、介质及电子终端。
背景技术
在钢卷处理线上，钢卷车首先从鞍座位上取钢卷，然后钢卷运行到对中位置进行对中，即使钢卷的高度中心位与开卷机芯轴的中心位一致，以确保钢卷插入开卷机。这是连续自动化生产线的关键一步，如果发生故障，则可能使整个生产线发生停机故障，因此钢卷对中显得尤其重要。
目前，在现有技术中，有些生产线出入口钢卷运输通常采用步进梁和钢卷车设备，而步进梁目前采用吊车人工吊到静鞍座上，很难做到对中放置，通过这种方式放置，其静鞍座设计没有自动对中功能并存在视觉环境问题，造成判断结果不准确；有些生产线用超声波进行钢卷对中，但超声波信号易受干扰，精确程度难以保障；有些生产线用光栅进行钢卷对中，但这种方式控制复杂，需要繁琐精密的计算，因此，需要一种新的方式对钢卷对中进行有效判断，以解决上述问题。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种钢卷对中判断方法、系统、介质及电子终端，以解决上述技术问题。
本发明提供的钢卷对中判断方法，包括：
获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；
根据所述样本数据建立基于深度神经网络的钢卷位置检测模型，并进行训练；
采集实时钢卷图像信息，并输入至训练后的钢卷位置检测模型，获取检测结果；
根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。
可选的，对检测结果中的钢卷进行钢卷追踪，并对追踪的同一钢卷进行对中判断，当判定钢卷停止运动时，计算钢卷中线与预设中线的差值，若差值在预设的容许范围内，则判定钢卷对中。
可选的，所述标注处理包括通过检测框对钢卷图像样本数据进行框选，并记录钢卷的位置信息和目标类别。
可选的，获取钢卷图像中目标钢卷的中心坐标、面积、长宽比，当检测框与目标钢卷关联时，通过检测框的位置对目标钢卷的位置进行更新，完成钢卷追踪。
可选的，获取用于进行目标检测的特征图，将所述特征图的每个位置映射到原始图像中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，根据所述概率获取检测结果以及钢卷位置检测模型。
可选的，所述预测框包括如下信息：预测框在图像中的坐标值、预测目标类别、预测结果的置信度，根据所述预测框获取最佳的物体检测位置。
可选的，通过如下公式将特征图的每个位置映射到原始图像中相应的位置：
Figure BDA0002475820170000021
Figure BDA0002475820170000022
其中，iw、ih为产生默认框的区域映射特征图的宽度和高度，cx、cy为默认框在区域映射特征图上的中心坐标，dxmax、dymax为预测框右下角的坐标，dxmin、dymin为预测框左上角的坐标，Lx、Ly为默认框在原图像上对应位置的中心中标。
可选的，记录追踪的同一钢卷的图像中的位置众数，当获取的第n次与第n-1次的位置众数不变或达到预先设置的阈值时，则判定钢卷停止运动。
可选的，通过钢卷位置检测模型通过深度可分离卷积构建，所述深度可分离卷积表达式为：
Figure BDA0002475820170000023
其中，Dk为卷积核的宽，M为输入通道数，N为所用卷积核的数量，DF为输入对象的宽。
可选的，所述深度神经网络的损失函数，通过如下公式获取：
Figure BDA0002475820170000024
其中，N为匹配的default boxes的个数，x为匹配了的框是否属于类别p，取值{0，1}；g为真实值；c为所框选目标属于类别p的置信度。
本发明还提供一种钢卷对中判断系统，包括：
图像采集模块，获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；
钢卷位置检测模型，所述钢卷位置检测模型为根据标注后的样本数据建立的基于深度神经网络的模型，将采集实时钢卷图像信息，输入至训练后的钢卷位置检测模型，获取检测结果；
分析判断模块，用于根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。
可选的，还包括追踪模块，用于对检测结果中的钢卷进行钢卷追踪，并对追踪的同一钢卷进行对中判断，当判定钢卷停止运动时，通过分析判断模块计算钢卷中线与预设中线的差值，若差值在预设的容许范围内，则判定钢卷对中。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。
本发明的有益效果：本发明中的钢卷对中判断方法、系统、介质及电子终端，通过基于深度学习的钢卷对中判断网络，能够较好地实时检测钢卷，保证了判断结果的准确性，使用方式简单，适应性强，并且可以对同一钢卷进行目标跟踪，对同一钢卷进行中线判断，具有较高的准确率。
附图说明
图1是本发明实施例中钢卷对中判断方法的深度神经网络中深度卷积的结构示意图。
图2是本发明实施例中钢卷对中判断方法的非线性激活单元函数的表达关系示意图。
图3是本发明实施例中钢卷对中判断方法的流程示意图。
图4是本发明实施例中钢卷对中判断方法的深度神经网络的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的钢卷对中判断方法，包括：
S1.获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；
S2.根据所述样本数据建立基于深度神经网络的钢卷位置检测模型，并进行训练；
S3.采集实时钢卷图像信息，并输入至训练后的钢卷位置检测模型，获取检测结果；
S4.根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。
在本实施例中，钢卷位置检测模型通过运用深度神经网络建立，深度神经网络包括SSD-Mobilenet网络。将数据集中的图像信息输入深度神经网络进行训练，获取实时检测钢卷位置信息的训练模型，通过模型实时检测钢卷在视频流中的位置，事先根据视频流中固定点的位置信息设定钢卷居中的判断条件，可选的，使用SORT跟踪算法对钢卷进行分析并判断是否居中。
在本实施例中，首先需要对样本数据中的钢卷位置信息进行标注处理，获取样本数据的方式可以从工业场景摄像头截取，再使用工具框出图中钢卷并记录下目标框位置信息，记录保存位置信息，位置信息格式及内容为：
[xmin,ymin,xmax,ymax,class] 式(1)
其中，xmin、ymin分别为钢卷矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为钢卷矩形目标框在图像中的右下角x、y坐标值，class为目标类别。
在本实施例中，深度神经网络用深度可分离卷积来构建轻量级深度神经网络，与标准卷积相比减少了相当多的计算量。本实施例中的深度卷积的数学表达式为：
Figure BDA0002475820170000041
其中，Dk为卷积核的宽，M为输入通道数，N为所用卷积核的数量，DF为输入对象的宽，比较上下两式可知，使用深度卷积计算量大幅降低，仅为标准卷积的
Figure BDA0002475820170000042
在本实施例中的深度神经网络中，计算损失函数时，使用两种损失函数的和，包括定位损失函数以及回归损失函数，其相关计算公式为：
Figure BDA0002475820170000051
其中，N是匹配的default boxes的个数，x表示匹配了的框是否属于类别p，取值{0，1}；g是真实值；c是指所框选目标属于类别p的置信度。
激活函数使用非线性激活单元函数，其公式为：
ReLu(z)＝max(0,z) 式(4)
根据映射关系，将用于进行目标检测的特征图的每个位置映射到原图中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，通过概率大小得出检测结果以及训练模型，预测框的表达式为：
[xmin,ymin,xmax,ymax,class,score] 式(5)
其中，xmin、ymin分别为预测框在图像中的左上角x、y坐标值，xmax、ymax分别为预测框在图像中的右下角x、y坐标值，class为预测目标类别，score为预测结果的置信度。
本实施例中的映射关系数学公式为：
Figure BDA0002475820170000052
Figure BDA0002475820170000053
其中，iw、ih表示产生默认框的区域映射特征图的宽度和高度，cx、cy表示默认框在区域映射特征图上的中心坐标，dxmax、dymax为预测框右下角的坐标，dxmin、dymin为预测框左上角的坐标，Lx、Ly表示默认框在原图像上对应位置的中心中标。
对于得到的预测框，使用非极大值抑制算法，消除多余的候选框，找到最佳的物体检测位置，其表达式为：
Figure BDA0002475820170000054
其中，M为当前得分最高框，b为待处理框，s为最终得分，待处理框和M的IOU越大，得分就越小，消除多余的目标框。
在本实施例中，据视频流中固定点的位置信息设定钢卷居中的判断条件，对于实时检测到的钢卷，使用SORT跟踪算法进行钢卷追踪，通过钢卷追踪，可以有效提高检测效率并运用此结果对追踪的同一钢卷进行对中判断。每一个目标的状态可以表示为：
Figure BDA0002475820170000055
u,v表示目标的中心坐标，s表示目标的大小面积，r表示目标的长宽比，当进行检测框和目标的关联时，用检测框位置对目标位置进行更新，用卡尔曼滤波来估计目标的运动信息。
卡尔曼滤波时间更新表达式为：
Figure BDA0002475820170000061
Figure BDA00024758201700000612
卡尔曼滤波状态更新表达式为：
Figure BDA0002475820170000062
Figure BDA0002475820170000063
Figure BDA0002475820170000064
其中，
Figure BDA0002475820170000065
为k时刻的先验状态估计值；
Figure BDA0002475820170000066
为k-1时刻和k时刻的后验状态估计值；Pk-1、Pk分别表示k-1和k时刻的后验估计协方差；
Figure BDA0002475820170000067
为k时刻的先验估计协方差；H是状态变量到测量的转换矩阵，表示将状态和观测连接起来的关系；zk为测量值；Kk为滤波增益矩阵；A为状态转移矩阵；Q为过程激励噪声协方差；R为测量噪声协方差；B为将输入转换为状态的矩阵；
Figure BDA0002475820170000068
为实际观测和预测观测的残差。
对于已使用目标跟踪算法的同一钢卷，记录其于图像中的位置众数，判断是否停下，数学表达式为：
Figure BDA0002475820170000069
Figure BDA00024758201700000610
其中，L为众数所在组的精确下限，U表示众数所在组的精确上限，fb为众数所在组次数与其下限的邻组次数之差，fa为众数所在组次数与其上限的邻组次数之差，i为众数所在组组距。
当计算出的钢卷位置坐标众数不变次数达到阈值时，钢卷判断为已停下，数学表达式为：
C(MO(n)＝MO(n-1))＝Threshold 式(17)
其中，MO(n)、MO(n-1)为第n次与第n-1次的位置众数，C(MO(n)＝MO(n-1))为前后所得位置众数相等的次数，Threshold为所设阈值。
对于已停下的钢卷，计算其中线与预设中线的差值，若差值在容许范围内，则钢卷对中，数学表达式为：
Figure BDA00024758201700000611
其中，xmax、xmin为检测出来的钢卷目标框的右下角、左上角的x轴位置信息，Mpre为预设中线的位置信息，T为预设容许范围。
在本实施例中，图像在检测过程中，采用监督式训练，每幅钢卷图像都有对应的标签及位置信息，不仅根据标签及位置信息训练模型参数，而且还根据标签及位置信息判断最终识别率。当训练网络通过多次迭代，预测值不断向误差方向进行收敛，然后反向传播根据链式法则将参数更新到每一层中。每次迭代都会根据梯度下降的优化方向，尽可能减少传播误差，最终得到数据集所有钢卷图像最终的识别结果，再通过目标追踪算法处理每一个钢卷，计算位置信息众数判断静止时是否对中。本实施例取在测试集上识别准确率最高的模型作为最优模型，在工业场景的实际操作中，首先通过摄像头实时获取图片，将单幅钢卷图像作为输入，通过检测模型自动对图像进行处理，识别钢卷，进行追踪分析及判断处理，最终输出钢卷对中结果。
相应的，本实施例还提供一种钢卷对中判断系统，包括：
图像采集模块，获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；
钢卷位置检测模型，所述钢卷位置检测模型为根据标注后的样本数据建立的基于深度神经网络的模型，将采集实时钢卷图像信息，输入至训练后的钢卷位置检测模型，获取检测结果；
分析判断模块，用于根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。
在本实施例中，图像采集模块采集钢卷图像进行标注处理的步骤包括：对采集图像中的钢卷进行框选，记录保存位置信息，位置信息格式及内容为：
[xmin，ymin，xmax，ymax，class]
其中，xmin、ymin分别为钢卷矩形目标框在图像中的左上角x、y坐标值，xmax、ymax分别为钢卷矩形目标框在图像中的右下角x、y坐标值，class为目标类别。
本实施例中的深度神经网络，采用SSD-Mobilenet网络使用深度可分离卷积来构建轻量级深度神经网络，与标准卷积相比减少了相当多的计算量。SSD-Mobilenet网络包括卷积层、平均池化层、全连接层。在所述深度神经网络中，神经元个数与钢卷图像的分类数量相匹配，在输出结果部分加入了非线性激活单元ReLu。
本实施例中的神经元的非线性激活单元函数的表达为：
ReLu(z)＝max(0,z)
在实施例的深度神经网络中，计算损失函数时，用到了两种损失函数的和，包括定位损失函数以及回归损失函数。
总的损失函数数学表达式为：
Figure BDA0002475820170000081
其中，N是匹配的default boxes的个数，x表示匹配了的框是否属于类别p，取值{0，1}；g是真实值；c是指所框选目标属于类别p的置信度。
在本实施例中，将标注处理后的数据集中的图像信息输入深度卷积神经网络进行训练，步骤包括根据相应的映射关系，将用于进行目标检测的特征图的每个位置映射到原图中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，通过概率大小得出检测结果以及训练模型，预测框的表达式为：
[xmin，ymin，xmax，ymax，class，score]
其中，xmin、ymin分别为预测框在图像中的左上角x、y坐标值，xmax、ymax分别为预测框在图像中的右下角x、y坐标值，class为预测目标类别，score为预测结果的置信度。
映射关系的数学表达式为：
Figure BDA0002475820170000082
Figure BDA0002475820170000083
其中，iw、ih表示产生默认框的区域映射特征图的宽度和高度，cx、cy表示默认框在区域映射特征图上的中心坐标，dxmax、dxmin、dymax、dymin表示预测框左上角和右下角的坐标，Lx、Ly表示默认框在原图像上对应位置的中心中标。
对于得到的预测框，使用非极大值抑制算法，消除多余的预测框，找到最佳的物体检测位置，其表达式为：
Figure BDA0002475820170000084
其中，M为当前得分最高框，b为待处理框，s为最终得分，待处理框和M的IOU越大，得分就越小，消除多余的目标框。
对于实时检测到的钢卷，使用SORT跟踪算法进行钢卷追踪，有效提高检测效率并运用此结果对追踪的同一钢卷进行对中判断。
根据视频流中固定点的位置信息设定钢卷居中的判断条件，在所述目标追踪算法中，每一个目标的状态可以表示为：
Figure BDA0002475820170000085
其中，u，v表示目标的中心坐标，s表示目标的大小面积，r表示目标的长宽比，当进行检测框和目标的关联时，用检测框位置对目标位置进行更新，用卡尔曼滤波来估计目标的运动信息。
卡尔曼滤波时间更新表达式为：
Figure BDA0002475820170000091
Figure BDA0002475820170000092
卡尔曼滤波状态更新表达式为：
Figure BDA0002475820170000093
Figure BDA0002475820170000094
Figure BDA0002475820170000095
其中，
Figure BDA0002475820170000096
为k时刻的先验状态估计值；
Figure BDA0002475820170000097
为k-1时刻和k时刻的后验状态估计值；Pk-1、Pk分别表示k-1和k时刻的后验估计协方差；
Figure BDA0002475820170000098
为k时刻的先验估计协方差；H是状态变量到测量的转换矩阵，表示将状态和观测连接起来的关系；zk为测量值；Kk为滤波增益矩阵；A为状态转移矩阵；Q为过程激励噪声协方差；R为测量噪声协方差；B为将输入转换为状态的矩阵；
Figure BDA0002475820170000099
为实际观测和预测观测的残差。
对于已使用目标跟踪算法的同一钢卷，记录其于图像中的位置众数，判断是否停下，表达式为：
Figure BDA00024758201700000910
Figure BDA00024758201700000911
其中，L为众数所在组的精确下限，U表示众数所在组的精确上限，fb为众数所在组次数与其下限的邻组次数之差，fa为众数所在组次数与其上限的邻组次数之差，i为众数所在组组距。
当计算出的钢卷位置坐标众数不变次数达到阈值时，钢卷判断为已停下，数学表达式为：
C(MO(n)＝MO(n-1))＝Threshold
其中，MO(n)、MO(n-1)为第n次与第n-1次的位置众数，C(MO(n)＝MO(n-1))为前后所得位置众数相等的次数，Threshold为所设阈值。
对于已停下的钢卷，计算其中线与预设中线的差值，若差值在容许范围内，则钢卷对中，表达式为：
Figure BDA00024758201700000912
其中，xmax、xmin为检测出来的钢卷目标框的右下角、左上角的x轴位置信息，Mpre为预设中线的位置信息，T为预设容许范围。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，说明书对“本实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种钢卷对中判断方法，其特征在于，包括：
获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；
根据所述样本数据建立基于深度神经网络的钢卷位置检测模型，并进行训练；
采集实时钢卷图像信息，并输入至训练后的钢卷位置检测模型，获取检测结果；
根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。
2.根据权利要求1中所述的钢卷对中判断方法，其特征在于，对检测结果中的钢卷进行钢卷追踪，并对追踪的同一钢卷进行对中判断，当判定钢卷停止运动时，计算钢卷中线与预设中线的差值，若差值在预设的容许范围内，则判定钢卷对中。
3.根据权利要求1中所述的钢卷对中判断方法，其特征在于，所述标注处理包括通过检测框对钢卷图像样本数据进行框选，并记录钢卷的位置信息和目标类别。
4.根据权利要求3中所述的钢卷对中判断方法，其特征在于，获取钢卷图像中目标钢卷的中心坐标、面积、长宽比，当检测框与目标钢卷关联时，通过检测框的位置对目标钢卷的位置进行更新，完成钢卷追踪。
5.根据权利要求3中所述的钢卷对中判断方法，其特征在于，获取用于进行目标检测的特征图，将所述特征图的每个位置映射到原始图像中相应的位置，并在对应位置生成预测框，计算检测物体为钢卷的概率，根据所述概率获取检测结果以及钢卷位置检测模型。
6.根据权利要求5中所述的钢卷对中判断方法，其特征在于，所述预测框包括如下信息：预测框在图像中的坐标值、预测目标类别、预测结果的置信度，根据所述预测框获取最佳的物体检测位置。
7.根据权利要求5中所述的钢卷对中判断方法，其特征在于，通过如下公式将特征图的每个位置映射到原始图像中相应的位置：
Figure FDA0002475820160000011
Figure FDA0002475820160000012
其中，iw、ih为产生默认框的区域映射特征图的宽度和高度，cx、cy为默认框在区域映射特征图上的中心坐标，dxmax、dymax为预测框右下角的坐标，dxmin、dymin为预测框左上角的坐标，Lx、Ly为默认框在原图像上对应位置的中心中标。
8.根据权利要求2中所述的钢卷对中判断方法，其特征在于，记录追踪的同一钢卷的图像中的位置众数，当获取的第n次与第n-1次的位置众数不变或达到预先设置的阈值时，则判定钢卷停止运动。
9.根据权利要求1中所述的钢卷对中判断方法，其特征在于，通过钢卷位置检测模型通过深度可分离卷积构建，所述深度可分离卷积表达式为：
Figure FDA0002475820160000021
其中，Dk为卷积核的宽，M为输入通道数，N为所用卷积核的数量，DF为输入对象的宽。
10.根据权利要求9中所述的钢卷对中判断方法，其特征在于，所述深度神经网络的损失函数，通过如下公式获取：
Figure FDA0002475820160000022
其中，N为匹配的default boxes的个数，x为匹配了的框是否属于类别p，取值{0，1}；g为真实值；c为所框选目标属于类别p的置信度。
11.一种钢卷对中判断系统，其特征在于，包括：
图像采集模块，获取钢卷图像样本数据，并对样本数据中的钢卷位置信息进行标注处理；
钢卷位置检测模型，所述钢卷位置检测模型为根据标注后的样本数据建立的基于深度神经网络的模型，将采集实时钢卷图像信息，输入至训练后的钢卷位置检测模型，获取检测结果；
分析判断模块，用于根据实时钢卷图像信息中固定点的位置信息设定钢卷居中的判断条件，完成钢卷对中判断。
12.根据权利要求11中的钢卷对中判断系统，其特征在于，还包括追踪模块，用于对检测结果中的钢卷进行钢卷追踪，并对追踪的同一钢卷进行对中判断，当判定钢卷停止运动时，通过分析判断模块计算钢卷中线与预设中线的差值，若差值在预设的容许范围内，则判定钢卷对中。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至10中任一项所述方法。
14.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至10中任一项所述方法。
CN202010363577.4A 2020-04-30 2020-04-30 一种钢卷对中判断方法、系统、介质及电子终端 Active CN111553950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010363577.4A CN111553950B (zh) 2020-04-30 2020-04-30 一种钢卷对中判断方法、系统、介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010363577.4A CN111553950B (zh) 2020-04-30 2020-04-30 一种钢卷对中判断方法、系统、介质及电子终端

Publications (2)

Publication Number Publication Date
CN111553950A true CN111553950A (zh) 2020-08-18
CN111553950B CN111553950B (zh) 2023-04-18

Family

ID=72008070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010363577.4A Active CN111553950B (zh) 2020-04-30 2020-04-30 一种钢卷对中判断方法、系统、介质及电子终端

Country Status (1)

Country Link
CN (1) CN111553950B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968104A (zh) * 2020-08-27 2020-11-20 中冶赛迪重庆信息技术有限公司 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
CN112288716A (zh) * 2020-10-28 2021-01-29 中冶赛迪重庆信息技术有限公司 一种钢卷打捆状态检测方法、系统、终端及介质
CN112329849A (zh) * 2020-11-04 2021-02-05 中冶赛迪重庆信息技术有限公司 基于机器视觉的废钢料场卸料状态识别方法、介质及终端
CN112749735A (zh) * 2020-12-30 2021-05-04 中冶赛迪重庆信息技术有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN113284117A (zh) * 2021-05-28 2021-08-20 中冶赛迪重庆信息技术有限公司 一种钢卷松卷识别方法、系统、介质和终端
CN113284115A (zh) * 2021-05-28 2021-08-20 中冶赛迪重庆信息技术有限公司 一种钢卷塔形识别方法、系统、介质和终端
CN114638783A (zh) * 2022-02-10 2022-06-17 中冶南方工程技术有限公司 一种基于图像识别的钢卷高度对中系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036982A (ja) * 2012-08-16 2014-02-27 Jfe Steel Corp コイルの幅方向調芯方法および装置
CN109095344A (zh) * 2018-10-24 2018-12-28 中冶赛迪工程技术股份有限公司 钢卷夹钳卷芯定位装置及对中定位方法
CN110197170A (zh) * 2019-06-05 2019-09-03 北京科技大学 基于目标检测的钢卷卷形缺陷检测识别方法
CN110263819A (zh) * 2019-05-28 2019-09-20 中国农业大学 一种用于贝类图像的目标检测方法及装置
CN110436349A (zh) * 2019-07-19 2019-11-12 上海宝信软件股份有限公司 基于图像识别的无人全自动行车夹钳对中调整系统及方法
CN110503662A (zh) * 2019-07-09 2019-11-26 科大讯飞(苏州)科技有限公司 跟踪方法及相关产品
CN110835051A (zh) * 2018-08-16 2020-02-25 上海宝信软件股份有限公司 起重机夹钳定位方法、系统、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036982A (ja) * 2012-08-16 2014-02-27 Jfe Steel Corp コイルの幅方向調芯方法および装置
CN110835051A (zh) * 2018-08-16 2020-02-25 上海宝信软件股份有限公司 起重机夹钳定位方法、系统、装置及计算机可读存储介质
CN109095344A (zh) * 2018-10-24 2018-12-28 中冶赛迪工程技术股份有限公司 钢卷夹钳卷芯定位装置及对中定位方法
CN110263819A (zh) * 2019-05-28 2019-09-20 中国农业大学 一种用于贝类图像的目标检测方法及装置
CN110197170A (zh) * 2019-06-05 2019-09-03 北京科技大学 基于目标检测的钢卷卷形缺陷检测识别方法
CN110503662A (zh) * 2019-07-09 2019-11-26 科大讯飞(苏州)科技有限公司 跟踪方法及相关产品
CN110436349A (zh) * 2019-07-19 2019-11-12 上海宝信软件股份有限公司 基于图像识别的无人全自动行车夹钳对中调整系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
THAIS CALDEIRA等: "Industrial optical character recognition system in printing quality control of hot-rolled coils identification", 《JOURNAL OF CONTROL,AUTOMATION AND ELECTRICAL SYSTEMS》 *
任宇杰等: "基于SSD和MobileNet网络的目标检测方法的研究", 《计算机科学与探索》 *
龚强等: "一种通过PLC控制钢卷自动对中的方法", 《自动化与仪器仪表》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968104A (zh) * 2020-08-27 2020-11-20 中冶赛迪重庆信息技术有限公司 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
CN112288716A (zh) * 2020-10-28 2021-01-29 中冶赛迪重庆信息技术有限公司 一种钢卷打捆状态检测方法、系统、终端及介质
CN112288716B (zh) * 2020-10-28 2023-10-27 中冶赛迪信息技术(重庆)有限公司 一种钢卷打捆状态检测方法、系统、终端及介质
CN112329849A (zh) * 2020-11-04 2021-02-05 中冶赛迪重庆信息技术有限公司 基于机器视觉的废钢料场卸料状态识别方法、介质及终端
CN112749735A (zh) * 2020-12-30 2021-05-04 中冶赛迪重庆信息技术有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN112749735B (zh) * 2020-12-30 2023-04-07 中冶赛迪信息技术(重庆)有限公司 基于深度学习的转炉出钢钢流识别方法、系统、介质及终端
CN113284117A (zh) * 2021-05-28 2021-08-20 中冶赛迪重庆信息技术有限公司 一种钢卷松卷识别方法、系统、介质和终端
CN113284115A (zh) * 2021-05-28 2021-08-20 中冶赛迪重庆信息技术有限公司 一种钢卷塔形识别方法、系统、介质和终端
CN113284115B (zh) * 2021-05-28 2022-11-22 中冶赛迪信息技术(重庆)有限公司 一种钢卷塔形识别方法、系统、介质和终端
CN114638783A (zh) * 2022-02-10 2022-06-17 中冶南方工程技术有限公司 一种基于图像识别的钢卷高度对中系统
WO2023151248A1 (zh) * 2022-02-10 2023-08-17 中冶南方工程技术有限公司 一种基于图像识别的钢卷高度对中系统

Also Published As

Publication number Publication date
CN111553950B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111553950B (zh) 一种钢卷对中判断方法、系统、介质及电子终端
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN109685152B (zh) 一种基于dc-spp-yolo的图像目标检测方法
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN107907124B (zh) 基于场景重识的定位方法、电子设备、存储介质、系统
CN113012203A (zh) 一种复杂背景下高精度多目标跟踪方法
Han et al. Visual tracking by continuous density propagation in sequential Bayesian filtering framework
CN111091101A (zh) 基于一步法的高精度行人检测方法、系统、装置
CN110910375A (zh) 基于半监督学习的检测模型训练方法、装置、设备及介质
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN111428566B (zh) 一种形变目标跟踪系统及方法
CN116152254A (zh) 工业泄露目标气体检测模型训练方法、检测方法、电子设备
CN114842196A (zh) 一种雷达射频图像目标检测方法
Jiang et al. Automatic pixel-level detection and measurement of corrosion-related damages in dim steel box girders using Fusion-Attention-U-net
Lin et al. A novel robust algorithm for position and orientation detection based on cascaded deep neural network
CN112198170B (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN111681266A (zh) 船舶跟踪方法、系统、设备及存储介质
CN114707604A (zh) 一种基于时空注意力机制的孪生网络跟踪系统及方法
CN115049600A (zh) 一种小样本管道缺陷智能识别系统及方法
Yang Target tracking algorithm based on adaptive scale detection learning
Zou et al. A light-weight object detection method based on knowledge distillation and model pruning for seam tracking system
CN113780136A (zh) 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备
Liu et al. An end-to-end steel strip surface defects detection framework: considering complex background interference
CN111765892A (zh) 一种定位方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: Building 1, No. 11, Huijin Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant