CN116052151A - 一种基于深度学习的板坯编号识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的板坯编号识别方法，包括以下步骤：获取现场板坯行进过程的视频录像，对视频录像进行按帧截取获得大量带有板坯编号的图像；对每张板坯图像上的板坯号进行标注，制作板坯号识别模型训练所需的数据集；训练调试识别模型；现场部署识别模型，每次识别整个轨道车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号；对识别的结果在数据库的入库计划中自动查询，进行二次验证，成功后认定识别成功，失败后报警提示。本发明板坯编号识别方法不仅能够减少人工作业量，还能提高入库板坯号的准确率，方便库区管理，并且可以实现自动查询核对、能够有效加快板坯入库节奏，提高整个生产车间的效率。

Description

一种基于深度学习的板坯编号识别方法

技术领域

本发明涉及冶金机械及自动化、人工智能领域，特别涉及一种基于深度学习自动识别板坯号方法。

背景技术

热轧生产是钢铁企业中的重要生产线中的一环，其中连铸车间和热轧车间属于上下游的相接关系，热连铸板坯在连铸车间经冷却、火焰处理、喷印板号并且连铸板坯表面和内部质量均合格后，将由辊道送到热轧车间。随后需要操作人员对板坯的坯号进行人工识别，并与板坯库中入库的板坯数据进行核对，在板号确认无误后，下达后续步骤操作指令，指导板坯进入板坯库中指定位置的堆垛，等待完成既定的轧制计划。随着智能制造技术的不断发展，钢铁企业也迎来改革的浪潮，目前热轧产线中板坯入库过程自动化程度较低，尤其是板坯号的识别过程，多数钢铁企业都依靠工人24小时无间断换班值守，去观察行进过程中的板坯的坯号，然后每一次都要与板坯库中的数据进行核对，劳动强度不仅大且工作效率低，同时受人为因素影响较多，长时间工作很容易造成误识或漏识，轻则产品判废，重则对整个生产线造成严重经济损失。

发明内容

本发明针对这一现状提出了一种基于深度学习的自动识别板坯号方法，实现入库计划的自动核对、提高了生产效率。

为了实现上述目的，本发明提供的技术方案如下：

一种基于深度学习的板坯编号识别方法，包括以下步骤：

获取现场板坯行进过程的视频录像，对视频录像进行按帧截取获得大量带有板坯编号的图像；

采用机器视觉识别技术对每张板坯图像上的板坯号进行标注，制作板坯号识别模型训练所需的数据集；

采用深度学习神经网络，训练调试识别模型，在收集制作的数据集上达到99％以上的精度；

现场部署识别模型，每次识别整个行车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号，输出识别结果；

对识别的结果在数据库的入库计划中自动查询，进行二次验证，成功后认定识别成功，失败后报警提示。

更为具体的步骤如下：

获得大量带有板坯编号的图像；

在轨道车行进过程中的一处位置搭建RGB摄像头，用于记录每一辆行车经过摄像头前的完整过程，捕获板坯移动时候的板坯编号；

从现场下载录像，并删除录像中没有轨道车经过或者轨道车上未载有板坯的录像，把保留下来的录像经过ffmpeg中的命令处理成图像；

处理获得的板坯图像，并过滤掉没有板坯编号的图像。

制作板坯号识别模型训练所需的数据集：

使用图像标注工具labelme，对得到的带有板坯号的图像进行标注；

对板坯的头部进行标注，用于获得板坯的数量；

在标注过程中删除过于模糊、喷印错误、无板坯号和板坯头部的图像；

把标注的图像得到的json格式转为txt文件。

训练调试识别模型：

划分本发明的训练集和验证集；

识别模型选用yolov5-L，训练深度学习识别模型；

训练出的模型在验证集上达到99％以上的精度。

现场部署识别模型，每次识别整个行车经过的摄像头前方位置的一段视频中的一些图像，最后处理匹配结果，并得到板坯个数和对应的板坯号，具体步骤如下：

根据每一张图像所得到的板坯号，先从下到上进行排序，再从左到右进行列排序。先选取图像识别结果中字符左上角像素值y坐标最大的认为是最下一行，然后根据该字符的左上角坐标y1和右下角坐标y2得到中心点坐标y_center,再遍历图像中所有识别得到的字符中两个y轴坐标，并判断刚刚得到的中心点坐标y_center是否在落在当前字符两个y轴坐标内，根据不同的现场情况设置一个不同常数量数值偏差，然后把该行字符从本张图像识别结果中移去，循环上述遍历过程，找出图像中每一行的字符，遍历每一行字符的x坐标，按照x的由小到大进行从左到右排序，完成一张图像的字符识别，对于板坯头部识别同样的找出每一行y坐标进行排序选择，从而完成一张图像的完整识别算法。

对于一辆载有板坯的行车经过会处理很多一张一张的图像，最后针对每一张图像的一行字符进行一个汇总。同样的根据上述y_center判断算法，完成所有行字符的坐标匹配后，对同一行出现次数最多的行字符则认为是正确的识别结果，同理板坯头部行坐标匹配也一样。最后对于板坯头部和板坯字符串进行行匹配，完成一辆行车的完整识别过程。

对识别结果进行二次验证：

建立数据库链路实现与WMS数据库和连铸车间数据库通信；

根据识别的板坯号，在WMS数据库和连铸数据库中搜索板坯原始PDI数据；

如果查询成功，则表示二次验证成功，此次识别正确；

如果查询失败，则报警提示人工介入：由工人介入查看识别客户端给出的板坯号图像，进行确认，如果发现有板坯号脱离、图像模糊、手写板坯不清楚、板坯号不规范等情况则联系连铸车间人员询问后进行修正，完成人工录入。

上述方案中，客户端连接了轨道车行进现场上方的摄像头，存储有拍摄到的运行情况，同时客户端内建立数据库，用于识别结果验证。

上述技术方案中，通过摄像头采集行进中板坯在不同位置的板坯图像录像，制作成自己的数据集，标注处理后，输入到深度学习神经网络中进行训练，得到识别模型。现场部署识别程序后，通过触发识别信号，对经过摄像头前方的轨道车进行30秒的单张图像识别和单张图像后处理，之后对30秒内的所有图像识别处理结果进行多张图像识别处理得到最终得板坯号结果，把该结果写入到数据库。最后根据识别的板坯号，建立WMS数据库和连铸数据库连接，通过查询识别的结果是否存在于数据库中来判断本次自动识别的成功和失败，完成二次验证。如果二次验证失败，则客户端进行报警提示，由人工前来对客户端界面上的板坯图像进行人眼确认，并修改板坯号，对于一些异常的不规范的板坯号则联系连铸车间工人进行询问并做修改。

本发明相比现有技术具有以下优点：

本发明通过神经网络自动识别行进过程中的板坯号，然后经过一系列排序算法处理后得到最后的板坯个数和对应的板坯号，来代替工人识别这一过程，不仅节省了入库板坯号验证流程，还减少了板坯管理混乱的历史，造成生产率低下、劳动强度大而产生的混钢等现象，严重影响生产节奏和后期产品质量判定等问题；实现了从连铸到装炉的物料全自动跟踪和控制，摆脱多年影响生产节奏的“瓶颈”。

本发明板坯编号识别方法不仅能够减少人工作业量，还能提高入库板坯号的准确率，方便库区管理，并且可以实现自动查询核对、能够有效加快板坯入库节奏，提高整个生产车间的效率。

附图说明

图1是本发明基于深度学习的板坯编号识别方法适用的现场设备图；

图2是本发明板坯编号识别方法的流程图；

图3是本发明板坯编号识别方法于案例的具体适用流程；

图4是本发明实施例中的板坯识别结果多张图像算法处理示意图；

图5是本发明实施例中板坯号识别客户端的示意图。

具体实施方式

为了更加方便和详细的解释本发明要解决的问题和技术优势，下面将对附图以及其中具体实例进行详细的描述。

本发明的实施例提供了一种基于深度学习自动板坯号识别方法，如图1所示，该图展示了本发明板坯编号识别方法所适用的现场设备情形，具体识别方法如下：

摄像头位于轨道一侧，三维扫描对行车进行持续跟踪和定位，并且摄像头位置和坐标是固定不变。等到轨道车上载有板坯向前开进的时候，在轨道车坐标接近摄像头坐标的时候触发识别信号，把数据库中的识别标识由0改为1。识别程序会不间断访问数据库中的识别信息，待到识别信号变为1的时候，开始进行识别。循环捕获摄像头图像并且进行识别处理，该过程为单线程持续30秒，可以根据现场摄像头安装位置来进行修改，大约保证时间等于一辆完整的行车经过该摄像头的位置。最后对所有的单张识别结果做多张识别图像处理，与板坯头部进行行匹配，得到最终结果，修改数据库信息，识别时间、识别信号置0、板坯个数、板坯号、板坯图像，完成识别程序任务。最后通过WMS数据库和连铸数据库进行二次验证，成功则认为本次识别结果正确，失败则人工通过客户端进行修改，手动录入。

在设备配置上，本发明采用客户端进行人工设置及识别验证，该客户端通过连接轨道车行进现场上方的摄像头，存储有拍摄到的运行情况，并于客户端内建立数据库，用于识别结果的验证。

如图2所示，展示了基于深度学习自动识别板坯号的流程图：

利用摄像头捕获板坯库中轨道行车行进过程中的图像，得到多帧的有效板坯号图像，且能完整地记录每一辆行车经过的过程，该流程不仅在后续识别的时候会使用到，而且在模型训练的时候，也需要采集大量的图像进行数据集的制作；

使用深度学习神经网络算法对板坯图像进行识别，获取上面的单个字符号与板坯头部的识别。目前得益于机器视觉图像算法的发展，利用神经网络对图像处理可以有效的做分类、检测、分割等等。本实施例借助yolov5算法对板坯号和板坯头部进行识别，更详细的过程如下：

想要训练一个自己的神经网络，由于神经网络需要大量的数据迭代训练学习，所以制作一个专属的数据集是必不可少的前提条件，然后如果利用人力去现场采集图像，不仅拍摄的图像光照、角度、清晰度等等不够还原，而且还大量的耗时耗力。所以设计编写一个自动采集图像程序是一个优选的方案，本发明针对此在现场安置一个大华摄像头，来捕获大量的轨道车移动过程中板坯图像，借助于识别程序思想，在现场正式开始识别之前，上位机软件(调度软件WMS)通过轨道车激光测距值抵达识别点，会给到数据库一个识别信号，识别程序得到该信号后，获取摄像头IP、用户名、密码信息，捕获一帧图像保存到本地，持续30秒后，然后修改数据库识别信号后，采集图像程序进入等待状态，等下次上位机软件给识别信号。采集图像约15598张。对采集得到的图像进行标注，并且对其中模糊、喷印错误、板坯无号的图像进行删除，最后得到训练集图像13844张，测试集图像1754张，完成数据集制作。

利用制作的数据集训练模型，通过观察发现，现场的图像有存在光照不足、运动模糊等情况，所以在训练模型的时候加入一些常用的数据扩充方法，模型选用yolov5-L，超参设置如下：学习率为0.01、SGD为0.937、warmup_epochs为3.0、hsv_h为0.015、hsv_s为0.7、hsv_v为0.4、translate为0.1、scale为0.9、左右翻转概率为0.5、mosaic为1.0，经过多次调试实验结果表明mixup数据增强对结果有负面影响，分析的由于字符排列紧密，如果使用mixup会产生较多的混乱图像，与现实的字符差异较大，从而造成结果精度下降。

模型训练采用迁移学习，使用yolov5-L在coco数据集上预训练好的模型，训练的epochs为300，batch_size为2，图像大小为1280x1280，label-smoothing为0.1。训练使用的GPU为3080，最后在验证集上测得的结果：在NMSIoU的阈值0.484和confidence阈值为0.1的情况下，精度约为99％左右。

现场部署识别程序的GPU为1060，从数据库得到识别信号，然后摄像头获取图像，随后识别程序进行识别，结果传入数据库，这一个过程为完整的一个识别流程，正常情况下，整个单张图像识别处理结果为30秒，根据现场识别记录，每次能够大约处理20到30帧图像，可以捕捉到轨道车经过摄像头前方行进过程中各个角度位置的板坯号。

对每一张图像的识别结果进行字符的行选择和列排序，并对最后的识别做汇总，并通过多张图像处理算法，从下到上得到每一行出现次数最多的结果，板坯头部识别的结果同样原理，最后与字符串做行匹配算法，得出最终结果。

现场的轨道车载运的板坯有多种情况，一般是一块到四块之间，而且有的板坯由于连铸车间喷号机的问题，会出现板坯号喷印失败的情况，所以需要在识别的时候识别板坯的头部，一是帮助解决板坯个数的问题，二是帮助解决板坯行匹配的问题。之所以这么做是因为入库夹钳每次最多只能夹取两块板坯，所以轨道车上的板坯个数和上下的板坯号排序是需要解决的两大重点问题。对此，提出了单张和多张的图像识别结果后处理。对于单张的图像识别结果，得到的是一组无序的数组，里面的一部分包含了整张图像上的字符类别和其在图像中的(x,y)坐标左上角和右下角位置。

单张图像进行行匹配工作，遍历这些结果的y轴左上角坐标数值，选取最大的一个做为这辆轨道行车上所载板坯的最下面的一行，根据识别结果的y轴右下角坐标得到y_center。遍历其他字符的y轴两个坐标数值，如果它们的y_center同样落在两个y轴左上角坐标y₀和右下角y₁坐标之间，这里会依据现场不同情况设置一个常数量的偏差a,并得到一个范围[y₀+a,y₁-a]。如果y_center落在该范围，则放在一起组成一个新的数组，循环所有结果后得到最下面的一行板坯字符结果，并在单张图像中删除该行的所有字符。继续循环遍历这张图像的识别结果，选取一个新的y，作为第二行，遍历其他字符y轴的两个坐标数值，同样得到一个范围[y₁+a,y₂-a]，和第一行处理一样，如果是落在该范围则组合成一个新的数值，最后删除识别结果中的第二行内容。以此类推，循环处理所有结果，直到原始的识别结果数组为空，这样就完成从下到上的板坯字符串行匹配过程。再分别对每一层的字符串进行排序，比较每一行字符串的x坐标数组，从左向右，从小到大进行排序，完成x排序后就得到轨道车上单张图像最终正确格式的识别结果。同理对板坯头部进行从下到上的行排序，因为板坯头部每一行只有一个，如果单张图像一行出现多个则识别错，所以只对板坯头部进行y坐标行判断，不进行x排序。

一般的板坯号为12个的数字字符组成，特别的，在现场还发现过一行板坯上喷印多于12个字符号的情况。对此，在每一行板坯号进行从左到右排序后加入一个x坐标距离的判断，如果该行的识别字符数量多于12个，则算出该行每一个字符之间的间距。遍历选择最大的那个间距的，并由此把该行的字符分为左右两个字符串，判断两个字符串的长度，选择较长的一个，如果两个长度相等，则选择左边(也可以选择右边)的字符串，作为该行的识别结果，循环判断选择的字符串长度的结果，如果依据大于12个，继续进行遍历找出最大间距，循环上述过程，直到选择的字符串长度等于或者小于12个。如果连铸车间在喷印板坯号出现漏喷的情况，一行的板坯号少于12个，则正常识别返回该行的结果，等待后续人工处理。

因为现场摄像头安装位置的限制，一张图像没法拍摄全部的板坯，有的板坯号喷印在板坯的头部，有的位于中间，而有的则位于板坯尾部。针对这种不规则的位置喷印，提出了多张的结果汇总处理方法。借助轨道车移动的情况，从头到尾识别轨道车经过过程中的图像，并用深度学习神经网络识别和单张图像的处理算法得出板号和板坯头部正确的排布规律。利用多个单张图像不同位置，不同视角的下的识别处理结果，多张图像处理算法可以有效解决板坯号喷印位置的不规范，最后利用板号和板坯头部进行行匹配，还能解决板坯上无号的情况。

对最后给出的结果进行数据库查询二次验证，如果成功，则完成自动识别，如果查询失败则系统客户端报警，人工介入录入板坯号。

为了增加最后识别的可靠性，需要对识别的结果进行二次验证，把识别的板号与WMS数据库和连铸数据库进行查询匹配，如果查询成功则获取板坯原始PDI数据，包括板坯的长度、宽度、厚度规格信息。

在入库上料前，通常需要对板坯的长度和宽度以及厚度进行测量，库区的每个垛位最多堆放12块板坯，所以轨道行车的在上料任务之前是必须知道行车上的板坯数量以及其各类信息，库区里的入库计划有板坯的各类信息，但是需要在入库前识别出是哪块板坯才能正确判断放入库区的哪个垛位。所以人工录入的方法不仅速度不高，而且正确率也不高，很大程度上影响库区入库节奏。本发明通过对入库前的板坯号进行自动识别，将其与WMS计划、连铸数据库查询，确认其各类信息，实现炉前的自动核对、装钢，提高整个车间产线的生产效率。

图3是本发明提供的基于深度学习自动识别板坯号的案例图，是对图2的进一步更加详细的说明：

识别程序通过摄像头捕获到现场的原始图像，通过事先训练好的神经网络模型对该图像进行识别，得到3个板坯头部b以及36个板坯字符，通过图2的单张图像行排序算法，得到从下到上3个板坯头部b以及每一行对应的字符串，然后通过多张图像算法组合结果后，输出最终的识别结果。与数据库中的信息进行查询匹配二次验证，得到有效的板坯尺寸信息。如果板坯号查询失败，则人工介入，通过客户端修改板坯后，完成此次板坯录入，最后拿正确的板坯号进行数据库中查询其各类信息，完成入库堆料计划。

图4列举了一个案例是对图3中的多帧算法进行详细的介绍，由于篇幅有限只表述三处位置：

第一处位置识别的结果经过行匹配和排序后为从下到上，从左到右：空、22、228122、228121；因为触发识别信号之后板坯号的位置不规律，所以有存在没拍到或者没拍全的情况。第二处识别的结果为：228111112140、228121112140、228121112201、228121112202；此处的位置上板坯号全部拍到，并且全部识别。第三处位置的识别结果为：228111112140、228121112140、228121112201、228121112202；然后进行多帧排序算法，处理该三张识别结果，每一张图像的字符串之间先做行匹配汇总，并对汇总结果进行选择处理，保留一行中出现次数最多的一个字符串结果最为该行的识别结果得到：第一行有如下结果：空、228111112140、228121112140；选择出现次数最多的结果作为本行的识别结果：228111112140；第二行同理结果为：228121112140；第三行同理结果为：228121112201；第四行同理结果为：228121112202；同样的需要对检测结果中板坯头部进行行坐标匹配和行内结果选择，得到四组板坯头部坐标，然后把四组字符串和四组板坯头部进行行坐标匹配，这一步骤可以有效应对某一行板坯没有字符的情况。最后本次轨道行车上的识别结果为：四块板坯，为228111112140、228121112140、228121112201、228121112202；以上就是完整的多帧处理识别算法，经过该过程处理后就是识别程序给出的最终识别结果。

图5是板坯号识别客户端的示意图：

该图是对板坯库轨道行车上的板号识别结果的具象化展示，总共有两个过跨车的位置部署了板坯号识别程序，客户端上方分别连接了现场上方的两个角度的摄像头拍摄到的过跨车的运行情况，中间的部分分别展示了识别摄像头拍摄到的板坯号经过的情况，因为现场的环境有时候比较恶劣，光线问题是影响识别结果的一个重要因素，尤其是晚上和夜间，所以可以看到在识别摄像头旁边加了补光灯，并且由于板坯号自身存在着一些无法避免的缺陷，例如：板坯号喷印失败、板坯上无号、板坯温度过高造成板坯号脱离、轨道车运动的时候有一定晃动造成摄像头拍摄的图像模糊、还有不同轨道车前后移动时造成的板号角度不同、甚至出现喷印错误板号的情况，所以加入多张的识别可以有效解决板坯号喷印位置和角度的问题。对于板坯无号、喷印错误、板号脱落等一些严重的情况，在客户端下方加入了人工录入按钮，如果出现识别错误或者板坯号不规范，则发起报警由现场工作人员进行板号补录。在程序测试和使用过程中，发现出现错误的情况较少，而且大部分都是板号不规范造成的，对于板号不规范的情况，现场的工作人员不一定能正确记录板号进行录入，需要询问连铸车间的负责喷印的工作人员，考虑到跨车间的沟通有一定难度，而且不一定能及时解决，所以增加了日志功能，把所有录入失败的情况都一条条记录下来，最后再由相关人员进行一个修改，这样不仅能解放一名工作人员，而且能整体的查看失败结果。

以上所述是本发明的优选实施方式，对于本技术领域的普通技术人员来说，能够理解和实现本发明，且在不脱离本发明所述的原理范围下，可以做出一些调整和改进，这些调整和改进也应视为本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的板坯编号识别方法，其特征在于，包括以下步骤：

获取现场板坯行进过程的视频录像，对视频录像进行按帧截取获得大量带有板坯编号的图像；

采用机器视觉识别技术对每张板坯图像上的板坯号进行标注，制作板坯号识别模型训练所需的数据集；

采用深度学习神经网络，训练调试识别模型，在收集制作的数据集上达到99％以上的精度；

现场部署识别模型，每次识别整个行车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号，输出识别结果；

对识别的结果在数据库的入库计划中自动查询，进行二次验证，成功后认定识别成功，失败后报警提示。

2.根据权利要求1所述的板坯编号识别方法，其特征在于，带有板坯编号图像的采集方法如下：

在板坯行进路程上搭建RGB摄像头，用于记录每一辆行车经过摄像头前的完整过程，捕获板坯移动时候的板坯编号；

对获取的视频录像，截取一帧一帧的图像；

处理获得的板坯图像，并过滤掉没有板坯编号的图像。

3.根据权利要求1所述的板坯编号识别方法，其特征在于，板坯号识别模型训练所需数据集的制作方法如下：

使用图像标注工具labelme，对得到的带有板坯号和板坯头部的图像进行标注；

在标注过程中如果发现板号变形、喷印错误、无板坯号或者板坯头部的图像；

把标注的图像得到的json格式转为txt文件。

4.根据权利要求1所述的板坯编号识别方法，其特征在于，识别模型的训练调试过程如下：

在收集制作的数据集中分别划分出训练集和验证集；

设置超参数，使用数据增广，训练深度学习识别模型；

评估训练出的神经网络模型结果。

5.根据权利要求4所述的板坯编号识别方法，其特征在于，模型选用yolov5-L。

6.根据权利要求1所述的板坯编号识别方法，其特征在于，现场部署识别模型，每次识别整个行车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号，具体步骤如下：

采用单线程，得到识别信号后，摄像头捕获一张图像，模型进行识别该张图像，经过后处理之后保存该单张识别结果，然后再从摄像头捕获一张图像，模型进行识别，通过后处理保存该单张识别结果，单张图像识别程序设置循环识别30秒，最后把30秒之内的所有单张识别结果汇总处理后反馈给数据库；

处理单张图像的识别结果，把其中的板坯号单个字符的识别结果，按照从下到上，从左到右的顺序进行选择排序，组合成字符串；同理处理该识别结果中板坯头部检测结果，按照从下到上进行排序，完成单张图像后处理算法；

处理多张图像的识别结果，把每一张图像的字符串识别结果进行行匹配汇总，然后再选择该行出现次数最多的结果，作为本行的最终结果。最后拿每一行的字符串识别结果和板坯头部进行行位置匹配，完成多张图像后处理算法；

把多张图像后处理算法的最终结果写入数据库，并写入识别过程中的若干张原图像作为后续人工修改或检查板号的依据。

7.根据权利要求1所述的板坯编号识别方法，其特征在于，对识别结果进行二次验证的过程如下：

建立数据库链路实现与WMS数据库和连铸车间数据库通信；

根据识别的板坯号，在WMS数据库和连铸数据库中搜索板坯原始PDI数据；

如果查询成功，则表示二次验证成功，此次识别正确；

如果查询失败，则报警提示人工介入。

Images