CN113240625A - 一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质 - Google Patents

Abstract

本申请提供了一种基于深度学习的钢板检测方法，所述方法包括：S1，采集覆盖所有时段的钢板样本图像以构建图像训练集；S2，对所述图像训练集中的钢板样本图像进行人工标注，将标注后的所述图像训练集输入深度学习识别模型以对其进行训练；S3，实时采集钢板图像，将所述钢板图像输入训练好的所述深度学习识别模型，所述深度学习识别模型对钢板进行识别，并计算出钢板在所述钢板图像中的首尾边。本申请的方案使用基于深度学习算法的图像识别技术代替传统的手动观察的方式检测钢板，钢板离开后发出预警，实现对尾和钢板卷曲，具有普遍适用性。

Description

一种基于深度学习的钢板检测方法、对尾预警方法、电子设备 及计算机存储介质

技术领域

本申请涉及钢板卷曲技术领域，具体而言，涉及一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质。

背景技术

基于深度学习的目标检测是深度学习研究中一个重要的问题。近几年来，目标检测算法日新月异，也取得了较大的进展。目标检测算法大致分为两类：一类是two-stage检测任务，即先计算出目标候选框，再对候选框进行分类与回归；另一类是one-stage检测任务，即直接一步预测到目标的位置与类别。前者准确率高，速度慢，后者速度快，准确率相对低一些。

在现在的钢板生产过程中，钢板卷曲是完成整个生产的重要环节，而卷曲是完成对尾最重要的工艺。卷曲机的卷曲程序需要钢板尾部在卷曲机内三点钟位置开始，七点钟位置结束，这样把尾部压到钢卷底部，才能从卷曲机里退出来。现有的方法是通过红外和人工手动实现上述钢板卷曲程序。即探测到钢板后，对钢板进行卷曲操作，快要结束时，手动按下按钮，对应在要求的位置。很明显，这样的方法需要耗费人力且存在一定偏差。

为了解决钢板卷曲过程中的人力消耗和偏差问题，采用智能的方式对尾和计算钢板首尾速度，提出采用深度学习检测的方式对经过的钢板进行检测。由于钢板对尾和首尾速度计算对速度要求较高，因此采用one-stage的目标检测方式，满足检测任务的速度需求，同时保证检测的准确性。这样的方法也存在一定的缺陷：钢板在卷曲之前经过轧机，冷热交替，工序实行过程中会产生大量雾气，造成目标钢板的遮挡，从而影响检测效果。

综上可见，现有技术对钢板检测识别及对尾预警还存在上述的许多不足之处，亟需稳定、可靠的解决技术。

发明内容

为了解决上述背景技术中存在的技术问题，本申请提供了一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质。

本申请的第一方面提供了一种基于深度学习的钢板检测方法，所述方法包括：

S1，采集覆盖所有时段的钢板样本图像以构建图像训练集；

S2，对所述图像训练集中的钢板样本图像进行人工标注，将标注后的所述图像训练集输入深度学习识别模型以对其进行训练；

S3，实时采集钢板图像，将所述钢板图像输入训练好的所述深度学习识别模型，所述深度学习识别模型对钢板进行识别，并计算出钢板在所述钢板图像中的首尾边界。

可选地，所述深度学习识别模型包括钢板识别模块、雾气补偿模块、边界确定模块；

所述深度学习识别模型对钢板进行识别，包括：

S30，所述钢板识别模块对钢板进行识别；

S31，所述雾气补偿模块检测识别出的各钢板是否具有规范轮廓，若是，则将识别出的钢板区域图像输入所述边界确定模块；若否，则判定该钢板所在区域存在雾气，对该钢板的进行轮廓补偿操作，将经过补偿操作的钢板区域图像输入所述边界确定模块；

S32，所述边界确定模块基于所述钢板区域图像确定各钢板的首尾边界。

可选地，所述钢板识别模块基于卷积神经网络算法构建。

可选地，所述钢板识别模块包括特征提取模块一、特征提取模块二、特征提取模块三，卷积模块、卷积子模块一、卷积子模块二、卷积子模块三，以及还包括特征重构模块一、特征重构模块二、特征重构模块三；

所述特征提取模块一从所述钢板图像的原始图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块一和特征重构模块一，所述卷积子模块一和特征重构模块一将各自的输出结果串联后送入卷积模块；

所述特征提取模块二从所述钢板图像的第一倍数放大图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块二和特征重构模块二，所述卷积子模块二和特征重构模块二将各自的输出结果串联后送入卷积模块；

所述特征提取模块三从所述钢板图像的第二倍数放大图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块三和特征重构模块三，所述卷积子模块三和特征重构模块三将各自的输出结果串联后送入卷积模块；

所述卷积模块基于上述串联后的输出结果从所述钢板图像中分类识别出钢板。

可选地，步骤S3中训练深度学习识别模型时：

训练特征提取模块一-三时采用如下损失函数：

式中，X_i为卷积子模块一、卷积子模块二、卷积子模块三的输出特征图；

分别为特征重构模块一、特征重构模块二、特征重构模块三重构得到的图像的特征图；α₁、α₂、α₃分别为不同放大倍数对应的特征图的图像重构误差系数；

训练卷积子模块一-三时采用如下损失函数：

式中，

分别为卷积子模块一、卷积子模块二、卷积子模块三的输入特征图；

分别为特征重构模块一、特征重构模块二、特征重构模块三输出的特征图；β₁、β₂、β₃为重构系数。

可选地，所述对该钢板的进行轮廓补偿操作，包括：

获取前一个识别出的钢板的轮廓特征，基于该轮廓特征及存在雾气的所述钢板的已识别出的区域图像对存在雾气的所述钢板进行图像补全。

可选地，所述基于该轮廓特征及存在雾气的所述钢板的已识别出的区域图像对存在雾气的所述钢板进行图像补全，包括：

以存在雾气的所述钢板的已识别出的区域图像为基准，将所述前一个识别出的钢板的轮廓特征覆盖至存在雾气的所述钢板之上，并且，将存在雾气的所述钢板的已识别出的区域图像覆盖至补偿之后的轮廓之内。

本申请的第二方面提供了一种钢板对尾预警方法，其特征在于：

采用如上任一项所述的基于深度学习的钢板检测方法来识别钢板及其首尾边界；

检测所述钢板的首尾是否分别跨过第一基准线和第二基准线，若是，则输出预警信号；其中，所述钢板依次经过所述第一基准线和所述第二基准线；

其中，所述方法还包括：

检测所述钢板的首/尾分别经过第一基准线和第二基准线的时间差，以及，通过图像坐标与世界坐标的转换得出第一基准线和第二基准线之间的距离，基于所述时间差和所述距离计算出所述钢板的经过速度。

本申请的第三方面还提供了一种电子设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前所述方法的步骤。

本申请的第四方面还提供了一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如前所述方法的步骤。

本申请的有益效果在于：

(1)本申请的方案使用基于深度学习算法的图像识别技术代替了传统的手动观察的方式检测钢板，解决了钢板卷曲过程中的人力消耗和偏差问题，极大的提高了钢板卷曲的效率；

(2)本申请的方案考虑了钢板热轧工艺中雾气的干扰，提出了针对性的解决办法，显著提高了钢板识别的可靠性；

(3)本申请的方案设计了一种特别的深度学习识别模型，该识别模型从不同的放大倍数获取特征图，并使用了特征重构方法，于是，本申请设计的深度学习识别模型同时获得了识别准确率和识别速率。

(4)还对于钢板卷曲和对尾的工艺环节，本申请还增加了钢板首尾速度计算的功能，丰富了生产过程，为其他操作以及人工智能参与的方式打下了基础。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例公开的一种基于深度学习的钢板检测方法的流程示意图；

图2是本申请实施例公开的一种钢板对尾预警方法的流程示意图；

图3是本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

实施例一

请参阅图1，图1是本申请实施例公开的一种基于深度学习的钢板检测方法的流程示意图。如图1所示，本申请实施例的一种基于深度学习的钢板检测方法，所述方法包括：

S1，采集覆盖所有时段的钢板样本图像以构建图像训练集；

S2，对所述图像训练集中的钢板样本图像进行人工标注，将标注后的所述图像训练集输入深度学习识别模型以对其进行训练；

S3，实时采集钢板图像，将所述钢板图像输入训练好的所述深度学习识别模型，所述深度学习识别模型对钢板进行识别，并计算出钢板在所述钢板图像中的首尾边界。

在本申请实施例中，本申请构建了基于深度学习算法的识别模型来检测识别钢板，相对于传统的人工操作方式，准确性和效率都得到了质的提升。其中，对深度学习识别模型进行训练所采用的训练集图像，采集的是覆盖所有时段的钢板样本图像，这样可以保证样本泛化性，也就保证了深度学习识别模型的适应性。

可选地，所述深度学习识别模型包括钢板识别模块、雾气补偿模块、边界确定模块；

所述深度学习识别模型对钢板进行识别，包括：

S30，所述钢板识别模块对钢板进行识别；

S31，所述雾气补偿模块检测识别出的各钢板是否具有规范轮廓，若是，则将识别出的钢板区域图像输入所述边界确定模块；若否，则判定该钢板所在区域存在雾气，对该钢板的进行轮廓补偿操作，将经过补偿操作的钢板区域图像输入所述边界确定模块；

S32，所述边界确定模块基于所述钢板区域图像确定各钢板的首尾边界。

在本申请实施例中，如背景技术中所述，钢板在卷曲之前经过轧机，冷热交替，工序实行过程中会产生大量雾气，造成目标钢板的遮挡，从而影响视觉检测效果。针对该问题，本申请设置了雾气补偿模块，首先，钢板识别模块可以通过深度学习算法识别出拍摄图像中所有的钢板区域(包括完整的钢板目标，也包括部分区域被雾气遮挡的钢板目标)，接着检测识别出的钢板目标的轮廓规范性(即是否构成闭环，是否是指定形状，例如矩形/方形)，若不具备轮廓规范性，则说明该钢板目标上出现了雾气，于是，对其进行轮廓补偿操作(具体补偿操作方法将在后续进行详细解释)。当然，造成轮廓不规范的原因还有可能是钢板本身受损等原因，所以，为了提高雾气干扰的判断准确性，还可以增加对钢板目标的轮廓不规范区域进行清晰度检测，若检测结果为模糊，则认定为存在雾气。具体的清晰度检测方法属于本领域的常规技术，本申请对此不作具体限定。

可选地，所述钢板识别模块基于卷积神经网络算法构建。

可选地，所述钢板识别模块包括特征提取模块一、特征提取模块二、特征提取模块三，卷积模块、卷积子模块一、卷积子模块二、卷积子模块三，以及还包括特征重构模块一、特征重构模块二、特征重构模块三；

所述特征提取模块一从所述钢板图像的原始图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块一和特征重构模块一，所述卷积子模块一和特征重构模块一将各自的输出结果串联后送入卷积模块；

所述特征提取模块二从所述钢板图像的第一倍数放大图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块二和特征重构模块二，所述卷积子模块二和特征重构模块二将各自的输出结果串联后送入卷积模块；

所述特征提取模块三从所述钢板图像的第二倍数放大图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块三和特征重构模块三，所述卷积子模块三和特征重构模块三将各自的输出结果串联后送入卷积模块；

所述卷积模块基于上述串联后的输出结果从所述钢板图像中分类识别出钢板。

可选地，步骤S3中训练深度学习识别模型时：

训练特征提取模块一-三时采用如下损失函数：

式中，X_i为卷积子模块一、卷积子模块二、卷积子模块三的输出特征图；

分别为特征重构模块一、特征重构模块二、特征重构模块三重构得到的图像的特征图；α₁、α₂、α₃分别为不同放大倍数对应的特征图的图像重构误差系数；

训练卷积子模块一-三时采用如下损失函数：

式中，

分别为卷积子模块一、卷积子模块二、卷积子模块三的输入特征图；

分别为特征重构模块一、特征重构模块二、特征重构模块三输出的特征图；β₁、β₂、β₃为重构系数。

在本申请实施例中，本申请采用卷积神经网络算法来构建钢板识别模块，而且，本申请设计了钢板识别模块中的卷积神经网络包括三套并行的卷积结构，每套卷积结构包括特征提取模块、卷积子模块及特征重构模块。通过特征重构模块获得的特征图来对特征提取模块和卷积子模块分别进行训练，而且，每套卷积结构识别的是不同放大倍数的钢板图像，这样，更加提升了钢板识别模块的泛化性、适应能力，进而可以获得更高的识别准确性。

可选地，所述对该钢板的进行轮廓补偿操作，包括：

获取前一个识别出的钢板的轮廓特征，基于该轮廓特征及存在雾气的所述钢板的已识别出的区域图像对存在雾气的所述钢板进行图像补全。

可选地，所述基于该轮廓特征及存在雾气的所述钢板的已识别出的区域图像对存在雾气的所述钢板进行图像补全，包括：

以存在雾气的所述钢板的已识别出的区域图像为基准，将所述前一个识别出的钢板的轮廓特征覆盖至存在雾气的所述钢板之上，并且，将存在雾气的所述钢板的已识别出的区域图像覆盖至补偿之后的轮廓之内。

在本申请实施例中，由于同一生产线上所卷曲的钢板基本上是相同型号的，所以，当某块钢板上存在雾气而部分钢板被遮挡时，此时，则假定上一个识别出的钢板与该钢板是相同的，于是，调取上一个识别出的钢板的轮廓，并将该轮廓以该钢板的已经识别出的部分为起始进行覆盖，然后再使用该钢板已经识别出的部分的钢板图像对增补的轮廓内部进行填充，如此，就可以构建出可用于识别首尾边界的完整的钢板图像。

实施例二

请参阅图2，图2是本申请实施例公开的一种钢板对尾预警方法的结构示意图。如图2所示，本申请实施例的一种钢板对尾预警方法：

采用如实施例一所述的基于深度学习的钢板检测方法来识别钢板及其首尾边界；

检测所述钢板的首尾是否分别跨过第一基准线和第二基准线，若是，则输出预警信号；其中，所述钢板依次经过所述第一基准线和所述第二基准线；

其中，所述方法还包括：

检测所述钢板的首/尾分别经过第一基准线和第二基准线的时间差，以及，通过图像坐标与世界坐标的转换得出第一基准线和第二基准线之间的距离，基于所述时间差和所述距离计算出所述钢板的经过速度。

在本申请实施例中，当钢板首部离开第二基准线时，说明钢板的首尾已经到达预定位置，可以进行对尾和钢板卷曲。本申请还增加了钢板首尾速度计算的功能，丰富了生产过程，为其他操作以及人工智能参与的方式打下了基础。

实施例三

请参阅图3，图3是本申请实施例公开的一种电子设备的结构示意图。如图3所示，本申请实施例的一种电子设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述方法的步骤。

实施例四

本申请实施例的还提供了一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如实施例一所述方法的步骤。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的钢板检测方法，其特征在于：所述方法包括：

S1，采集覆盖所有时段的钢板样本图像以构建图像训练集；

S2，对所述图像训练集中的钢板样本图像进行人工标注，将标注后的所述图像训练集输入深度学习识别模型以对其进行训练；

S3，实时采集钢板图像，将所述钢板图像输入训练好的所述深度学习识别模型，所述深度学习识别模型对钢板进行识别，并计算出钢板在所述钢板图像中的首尾边界。

2.根据权利要求1所述的方法，其特征在于：所述深度学习识别模型包括钢板识别模块、雾气补偿模块、边界确定模块；

所述深度学习识别模型对钢板进行识别，包括：

S30，所述钢板识别模块对钢板进行识别；

S31，所述雾气补偿模块检测识别出的各钢板是否具有规范轮廓，若是，则将识别出的钢板区域图像输入所述边界确定模块；若否，则判定该钢板所在区域存在雾气，对该钢板的进行轮廓补偿操作，将经过补偿操作的钢板区域图像输入所述边界确定模块；

S32，所述边界确定模块基于所述钢板区域图像确定各钢板的首尾边界。

3.根据权利要求2所述的方法，其特征在于：所述钢板识别模块采用卷积神经网络算法。

4.根据权利要求3所述的方法，其特征在于：所述钢板识别模块包括特征提取模块一、特征提取模块二、特征提取模块三，卷积模块、卷积子模块一、卷积子模块二、卷积子模块三，以及还包括特征重构模块一、特征重构模块二、特征重构模块三；

所述特征提取模块一从所述钢板图像的原始图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块一和特征重构模块一，所述卷积子模块一和特征重构模块一将各自的输出结果串联后送入卷积模块；

所述特征提取模块二从所述钢板图像的第一倍数放大图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块二和特征重构模块二，所述卷积子模块二和特征重构模块二将各自的输出结果串联后送入卷积模块；

所述特征提取模块三从所述钢板图像的第二倍数放大图像来提取所述钢板区域图像的特征图，将所述特征图输入卷积子模块三和特征重构模块三，所述卷积子模块三和特征重构模块三将各自的输出结果串联后送入卷积模块；

所述卷积模块基于上述串联后的输出结果从所述钢板图像中分类识别出钢板。

5.根据权利要求4所述的方法，其特征在于：步骤S3中训练深度学习识别模型时：

训练特征提取模块一-三时采用如下损失函数：

式中，X_i为卷积子模块一、卷积子模块二、卷积子模块三的输出特征图；

分别为特征重构模块一、特征重构模块二、特征重构模块三重构得到的图像的特征图；α₁、α₂、α₃分别为不同放大倍数对应的特征图的图像重构误差系数；

训练卷积子模块一-三时采用如下损失函数：

式中，

分别为卷积子模块一、卷积子模块二、卷积子模块三的输入特征图；

分别为特征重构模块一、特征重构模块二、特征重构模块三输出的特征图；β₁、β₂、β₃为重构系数。

6.根据权利要求2-5任一项所述的方法，其特征在于：所述对该钢板的进行轮廓补偿操作，包括：

获取前一个识别出的钢板的轮廓特征，基于该轮廓特征及存在雾气的所述钢板的已识别出的区域图像对存在雾气的所述钢板进行图像补全。

7.根据权利要求6所述的方法，其特征在于：所述基于该轮廓特征及存在雾气的所述钢板的已识别出的区域图像对存在雾气的所述钢板进行图像补全，包括：

以存在雾气的所述钢板的已识别出的区域图像为基准，将所述前一个识别出的钢板的轮廓特征覆盖至存在雾气的所述钢板之上，并且，将存在雾气的所述钢板的已识别出的区域图像覆盖至补偿之后的轮廓之内。

8.一种钢板对尾预警方法，其特征在于：

采用如权利要求1-7任一项所述的基于深度学习的钢板检测方法来识别钢板及其首尾边界；

检测所述钢板的首尾是否分别跨过第一基准线和第二基准线，若是，则输出预警信号；其中，所述钢板依次经过所述第一基准线和所述第二基准线；

其中，所述方法还包括：

检测所述钢板的首/尾分别经过第一基准线和第二基准线的时间差，以及，通过图像坐标与世界坐标的转换得出第一基准线和第二基准线之间的距离，基于所述时间差和所述距离计算出所述钢板的经过速度。

9.一种电子设备，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述方法的步骤。

10.一种计算机存储介质，该计算机存储介质设置于服务器，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-8任一项所述方法的步骤。

Images