CN115797859A - 一种天车吊挂铁钢包图像识别方法及系统 - Google Patents

Abstract

本发明公开一种天车吊挂铁钢包图像识别方法及系统。方法包括：(1)利用工业相机监控天车吊挂铁钢包作业过程，为图像识别模型训练与分析提供视频流数据；(2)利用工业相机拍摄的视频画面采集图片，并按照天车吊挂铁钢包作业状态进行分类，天车吊挂铁钢包作业状态包括：等待、准备挂钩、正在挂钩、吊钩就位；(3)基于神经卷积网络对分类图片训练天车吊挂铁钢包四种作业状态的模型；(4)部署图像识别模型至图像分析服务器，并利用图像分析服务器中的模型对视频流进行实时分析，输出分析结果；(5)将实时分析结果传输至天车操作室屏幕，并通过语音进行提醒。

Description

一种天车吊挂铁钢包图像识别方法及系统

技术领域

本发明属于钢铁生产技术领域，具体为一种天车吊挂铁钢包图像识别方法及系统。

背景技术

在钢铁冶金生产制造过程中，需要利用天车对铁钢包进行吊运。天车吊挂铁钢包作业需要天车司机与地面指挥人员进行协同，天车司机无法确认地面吊挂状态，地面吊挂状态完全依靠地面指挥人员，吊挂作业的多个环节都需要指挥者确认，否则很容易出现造成蹲钩、卡钩、钢包脱落等危险。

公开号CN213693937U的中国专利于2021年7月13日公开了一种钢包吊耳与天车吊钩对位的视频监控系统，包括：设置于地面上的服务器、网络摄像机、地面网络交换机以及无线网桥，还包括设置于天车上的无线网桥、天车网络交换机以及视频解码器和显示器。在天车走台上设置有RFID电子标签，而在天车上设置有RFID射频读写器和微处理器单元。RFID电子标签设置于天车的各个生产作业点处，每一个RFID电子标签有一个ID地址号。RFID射频读写器读取的电子标签的ID地址号传送给微处理器单元，微处理器单元根据电子标签的ID地址号，控制天车网络交换机输出相应ID地址处的网络摄像机拍摄的地面图像。该专利能够自动切换天车各作业点的视频图像，但仍需要天车司机依据视频图像来确认吊挂状态。

公开号CN113382209A的中国专利于2021年9月10日公开了一种钢包吊耳与天车吊钩对位的视频监控系统，包括以下所述工作步骤：(1)对视频监控摄像设备进行安装；(2)在视频监控摄像设备与吊钩上的重力监测传感器进行电性连接；(3)吊钩上的重力监测传感器将视频监控摄像设备进行控制；(4)视频监控摄像设备的角度可进行智能调节；(5)对吊钩上的物件进行智能控制。本发明通过视频监控摄像设备的智能调节，可使得工作人员使用视频监控摄像设备进行不同的角度调节，并且可进行放大到吊钩所处的位置，但其仍然只能提供监控图像，无法识别图像。

上述现有专利或专利申请均采用视频监控辅助天车驾驶员操作吊钩与钢包吊耳对位，主要是用于监控，智能化程度低，还是需要地面指挥者与天车驾驶员协作进行。

发明内容

为克服上述现有技术的不足，本发明提供一种天车吊挂铁钢包图像识别方法及系统，用以基于图像识别技术解决天车吊钩与铁钢包吊耳对位问题，以达到安全高效作业的目的。

根据本发明说明书的一方面，提供一种天车吊挂铁钢包图像识别方法，包括构建天车吊挂铁钢包作业过程识别模型，以及利用构建的天车吊挂铁钢包作业过程识别模型实时识别作业状态两个步骤，其中，

构建天车吊挂铁钢包作业过程识别模型的步骤包括：

获取天车吊挂铁钢包作业过程的历史监控数据；

根据天车吊挂铁钢包作业过程的四个作业状态对历史监控数据进行分类，得到四类作业状态监控图片；

基于神经卷积网络对四类作业状态监控图片进行训练，得到训练好的天车吊挂铁钢包作业过程识别模型；

利用所述天车吊挂铁钢包作业过程识别模型实时识别作业状态的步骤包括：

获取天车吊挂铁钢包作业过程的实时监控数据；

将实时监控数据输入天车吊挂铁钢包作业过程识别模型，得到实时识别结果；

将实时识别结果传输至天车操作室屏幕进行显示和提醒。

上述技术方案利用图像识别技术自动识别天车吊钩与铁钢包吊耳是否准确到位，减少地面指挥人员工作，保障地面指挥人员安全，提高作业效率。

作为进一步的技术方案，所述方法还包括：在铁钢包起吊点的周围布设一组监控设备，每一所述监控设备均对准一铁钢包吊耳。

可选地，所述监控设备采用工业相机实现。利用工业相机监控天车吊挂铁钢包作业过程，为图像识别模型训练与分析提供视频流数据。

具体地，在铁钢包起吊点的周围布设一对工业相机监控铁钢包，工业相机必须能够监控到整个铁钢包，而且工业相机摆放方向需对准铁钢包吊耳。工业相机监控画面通过有线网络传输至图像分析服务器中，通过无线网桥网络传输至天车驾驶室操作屏幕。铁钢包起吊点安装的一对摄像头有三个作用，一是为图像识别提供模型训练的图片素材；二是为图像识别分析提供视频流；三是方便天车操作员通过视频观察起吊点的现场情况。

作为进一步的技术方案，所述方法还包括：在获取天车吊挂铁钢包作业过程的历史监控数据后，从监控视频流中截取天车吊挂铁钢包作业图片，并将图片按照作业状态分为四类：等待、准备挂钩、正在挂钩、吊钩就位。

具体地，利用工业相机拍摄的视频画面采集图片，并按照天车吊挂铁钢包作业状态进行分类。

利用图像分析服务器存储的天车吊挂铁钢包作业视频，截取天车吊钩吊挂铁钢包作业图片，并将图片按照作业状态分为四类：等待、准备挂钩、正在挂钩、吊钩到位，每一类图片不低于550张。

作为进一步的技术方案，所述方法还包括：分别取四类作业图像中各预设数量的图片作为测试集，对所有图片进行预处理后，利用预处理后的图片对卷积神经网络进行训练，得到训练后的天车吊挂铁钢包作业过程识别模型。

利用分类图片并基于神经卷积网络训练模型，训练的图像类别具体包括：等待、准备挂钩、正在挂钩、吊钩就位四类图像，取各类各50张图片作为测试集。对于所有图片进行预处理操作之后，利用预处理后的图片对CNN卷积神经网络进行训练，得到训练后的模型。

作为进一步的技术方案，所述方法还包括：

利用测试集检测训练模型，并绘制训练模型的P-R曲线和AUC值；

在迭代预设次数后，根据AUC值保存训练效果好的一个或多个模型；

利用保存的模型对测试集的样本进行识别，根据识别结果确定各个状态的置信度阈值。

作为进一步的技术方案，所述方法还包括：将训练好的天车吊挂铁钢包作业过程识别模型部署到图像分析服务器中；接收监控设备发送的实时视频流，利用多线程处理视频流，并利用识别模型对处理后的视频帧画面进行识别；在识别到某一状态置信度大于设定阈值且持续时间超过一定帧数时，确定该状态为天车当前作业状态。

作为进一步的技术方案，所述方法还包括：在识别到天车吊挂铁钢包处于某一状态后，天车操作室屏幕画面自动切换到对应该状态的画面，并通过语音提醒天车操作员。

根据本发明说明书的一方面，还提供一种天车吊挂铁钢包图像识别系统，包括监控端、操作端及图像分析服务器，所述监控端与图像分析服务器有线连接且与操作端无线连接；

所述监控端，用于获取铁钢包一对吊耳处的视频数据并分别发送至操作端和图像分析服务器；

所述图像分析服务器，用于基于监控端发送的历史视频数据构建天车吊挂铁钢包识别模型，以及利用识别模型对监控端发送的实时画面进行识别，并输出识别结果至操作端；

所述操作端，用于显示铁钢包吊耳处的实时画面以及图像分析服务器发送的识别结果。

与现有技术相比，本发明的有益效果在于：本发明通过现场摄像头采集天车吊钩与铁钢包的吊耳画面，利用卷积神经网络训练能够识别四种不同状态的模型，自动分析出铁钢包吊挂过程中的状态，并分析结果传输至天车操作室屏幕，同时以语音播报的方式实时提醒天车操作员。有效提高了天车作业安全性、缩短天车吊挂作业时间。

附图说明

图1为根据本发明实施例的一种天车吊挂铁钢包图像识别方法流程图。

图2(a)-(d)为根据本发明实施例的识别效果图。

图3为根据本发明实施例的硬件系统示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本发明提供一种天车吊挂铁钢包图像识别方法，工作流程如图1所示，包括以下步骤：

步骤一：在铁钢包起吊点的两侧分别安装一个工业相机，用于采集天车吊挂铁钢包的现场图片。工业相机安装的高度应该高于铁钢包，能够监控到整个铁钢包，而且工业相机的镜头必须对准铁钢包的两个吊耳，便于能够清晰无遮挡的监控到天车吊挂铁钢包的整个作业过程。工业相机拍摄的视频流通过有限网络传输到图像分析服务器，同时通过无线网桥传输至天车驾驶室的操作屏幕上。传输至图像分析服务器的视频流一方面为训练自动识别模型提高图片素材，另一方面为图像识别提供识别分析素材。传输至天车驾驶室操作屏幕的操作屏幕便于驾驶员观察起吊点情况。

步骤二：利用图像分析服务器存储的天车吊挂铁钢包作业视频，截取天车吊钩吊挂铁钢包作业图片，并将图片按照作业状态分为四类：等待、准备挂钩、正在挂钩、吊钩到位，每一类图片不低于550张，因为钢厂是24小时作业，每类素材所处的灯光环境应该做到全天覆盖，即包含了全天24小时内所有光照情况的所有图片，以此保证训练出来的模型具有泛用性，减少环境灯光和光亮对识别的影响；同时也应该均匀分布每条行车路线的每个起吊点，减少起吊点环境的影响。

步骤三：利用分类图片并基于神经卷积网络训练模型，训练的图像类别具体包括：等待、准备挂钩、正在挂钩、吊钩就位四类图像，各类取50张作为测试集。对于所有图片标准化预处理，之后将预处理的图片利用CNN卷积神经网络进行训练，根据训练结果的评价指标，自动保存训练结果较好的模型，迭代训练次数设定为280次，最终人工挑选最适合需求的模型，并选择阈值。

步骤四：将训练的模型部署到图像分析服务器中，利用模型对视频流进行实时分析，通过多线程处理视频流，并利用训练好的模型对图像预处理之后的最新视频帧画面进行推理，当其推理结果中的某一状态置信度大于设定阈值且持续时间超过一定帧数时，则确定该推理状态为天车当前工作状态。

步骤五：利用图像识别天车吊挂铁钢包处于不同状态。1)铁钢包到达起吊点的时候，自动识别天车操作室屏幕中自动切换至当时状态的画面，并通过语音提醒天车操作员。识别效果如图2(a)-(d)所示。

进一步地，上述步骤二中挑选的图片素材应该满足以下特点：

1、样本应涵盖了大部分可能出现的环境情况。钢厂是24小时作业，厂房内的光照条件存在的一定范围内的变化；同时每条线路、每个起吊点的背景都不一样，因此为了更好地减少光线，起吊点环境对识别结果的影响，所采集每种状态550张的图像应该均匀分布各个起吊点的各个时间段，保证收集到的素材涵盖了所有起吊点不同光照情况下的吊钩状态。

2、提前准备测试集。特别地，应该从每种工作状态的550张中各准备好50张，共计200的测试集，测试集的样本也应该做到涵盖生产现场中大部分可能出现的环境情况。

进一步地，上述步骤三中的训练预处理包括以下步骤

1、对所有样本图片进行尺寸归一化处理。先对所有图片进行缩放resize操作，以将所有图片调整到同一大小。利用裁切、缩放等手段，将原视频截取的图片尺寸重定义为960x960。使卷积网络可以更好地对整个图片进行推理。

2、对归一化后的样本图片进行图形学处理。利用平滑函数去除噪声并平滑铁水罐及吊钩表面的颜色特征，降低非重要的信息熵，之后利用轮廓增强函数，增强吊钩和铁水罐的轮廓信息。这样就得到了更易于训练的图像样本。

进一步地，上述步骤三中的训练及模型挑选包含以下步骤。

1、训练过程中采用k折交叉验证的评估方法。将数据集划分为10个大小相等的互斥子集，采用分层抽样的方法获取这些子集，每次用9个子集作为训练集，剩下的1个作为检验集，这样每轮训练都能得到10个模型，保留在检验集上误差最小的模型。

2、利用测试集检测模型，并绘制模型的P-R曲线和AUC值。P-R曲线的P为精确率，即推断为正的样本中，为真正样本的比例，因此又称查准率；R为召回率，即所有真正样本被正确推理的比例，因此又称查全率；P-R曲线即描述查准/查全率变化的曲线，采用P-R曲线的好处是。AUC值为ROC感受性曲线下的面积，其值越大，则模型有更大的概率正确识别正样本和负样本，利用AUC值的好处是可以线性表达模型的好坏，利用单个数字来对一个模型进行有效的评价，更容易分辨两个模型效果的好坏。因为总类别个数为4，所以首次计算会存在四条P-R曲线和ROC曲线，本发明中采用加权平均的方式得到最终的P-R曲线和AUC值，在等待、准备挂钩、正在挂钩、吊钩就位四个状态中，根据需求，状态的重要程度先后排序为吊钩就位、正在挂钩、准备挂钩、等待，即要保证模型对“正在挂钩”和“吊钩就位”的样本有更好的推理效果。因此“正在挂钩”和“吊钩就位”状态的曲线会得到较高的权值，根据对应权值绘制最终的P-R曲线并计算AUC值。

3、尽量保留有价值的模型。在迭代150次后，程序会根据AUC值保存训练效果较好的模型。

4、人工筛选最合适的模型。利用保存的模型对测试集的样本进行推理，人工检查模型的推理结果，取保存的所有模型中对“正在挂钩”、“吊钩就位”两个状态检测效果最好的模型，并根据推理结果的值设定各个状态的置信度阈值。本发明中对四个类别的检测进行了加权处理，好处是更能贴合真实使用场景和使用逻辑，优先保证正在挂钩和准备挂钩状态的查全率。降低在实际应用中出现进入“正在挂钩”和“吊钩就位”状态却没有正确识别情况的概率。

5、人工选择设置各个状态的置信度阈值。根据选择模型在测试集上的验证效果，设定各个状态的置信度阈值，使得在保证整体正确率较高的同时，对于“正在挂钩”和“吊钩就位”两个状态有着较高的查全率，避免漏掉进行挂钩的样本。

进一步地，上述步骤四中，获取待推理的样本图片需要进行以下步骤：

1、加载所有的摄像头视频流。编写实时读取RTSP视频流的线程类，利用多线程和RTSP视频流实时读取各个摄像头的视频流，使得所有摄像头的画面都在持续传入服务器，这样的好处是降低连线的延迟，当要获取某个摄像头的画面时能够在极端时间内获取当前的最新帧画面，缺点是对CPU有较高的性能需求。

2、对所有摄像头进行轮巡检测。轮巡调用每个线程类对象获取当前最新帧的接口，获取最新的图像，并对图像采用步骤三中的图像预处理算法，对图像进行预处理操作，最后再利用模型对预处理之后的图像进行推理。推理轮巡的频率依赖于GPU的性能。根据行车作业规律和行车行进速度，本发明中设定的轮巡频率达到一秒两轮即可。

3、根据推理结果判定当前状态。因为在实际生产环境中，可能会出现误判的情况，具体表现为在一段视频内的某几帧突然变成其它错误状态。为了稳定识别结果的状态，不会因为突然的误判就当某一摄像头画面的推理结果与此前不一致，服务器会记载每个摄像头的历史状态，当检测到摄像头的状态发生改变后，记录改变的结果但不上报，直到连续两轮都检测到同一行车的两个摄像头的状态为同一新结果时，才会改变状态。因为每秒检测两轮，状态改变的误差时间可以维持在1-2秒内。

本发明还提供一种天车吊挂铁钢包图像识别系统，包括监控端、操作端及图像分析服务器，所述监控端与图像分析服务器有线连接且与操作端无线连接；

所述监控端，用于获取铁钢包一对吊耳处的视频数据并分别发送至操作端和图像分析服务器；

所述图像分析服务器，用于基于监控端发送的历史视频数据构建天车吊挂铁钢包识别模型，以及利用识别模型对监控端发送的实时画面进行识别，并输出识别结果至操作端；

所述操作端，用于显示铁钢包吊耳处的实时画面以及图像分析服务器发送的识别结果。

如图3所示，有三组铁钢包作业点，每一铁钢包作业点设有两个摄像头，用于监控铁钢包吊耳。每一组摄像头(摄像头1、摄像头2为一组，摄像头3、摄像头4为一组，摄像头5、摄像头为一组)通过有线网络连接一天车(如图中的行车A、行车B、行车C)。所有摄像头均通过无线网络连接图像分析服务器。

所述监控端，还用于在铁钢包起吊点的周围布设一对工业相机监控铁钢包，工业相机必须能够监控到整个铁钢包，而且工业相机摆放方向需对准铁钢包吊耳。工业相机监控画面通过有线网络传输至图像分析服务器中，通过无线网桥网络传输至天车驾驶室操作屏幕。铁钢包起吊点安装的一对摄像头有三个作用，一是为图像识别提供模型训练的图片素材；二是为图像识别分析提供视频流；三是方便天车操作员通过视频观察起吊点的现场情况。

所述图像分析服务器，还用于利用存储的天车吊挂铁钢包作业视频，截取天车吊钩吊挂铁钢包作业图片，并将图片按照作业状态分为四类：等待、准备挂钩、正在挂钩、吊钩到位，每一类图片不低于550张。

所述图像分析服务器，还用于利用分类图片并基于神经卷积网络训练模型，训练的图像类别具体包括：等待、准备挂钩、正在挂钩、吊钩就位四类图像，取各类各50张图片作为测试集。对于所有图片进行预处理操作之后，利用预处理后的图片对CNN卷积神经网络进行训练，得到训练后的模型。

所述图像分析服务器，还用于将训练的模型部署到图像分析服务器中，利用模型对视频流进行实时分析，利用多线程处理视频流，并利用训练好的模型对图像预处理之后的最新视频帧画面进行推理，当其推理结果中的某一状态置信度大于设定阈值且持续时间超过一定帧数时，则确定该推理状态为天车当前工作状态。

所述操作端，还用于利用图像识别出的天车吊挂铁钢包的不同状态，在天车操作室屏幕中自动显示当时状态的画面，并通过语音提醒天车操作员。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (8)

1.一种天车吊挂铁钢包图像识别方法，其特征在于，包括构建天车吊挂铁钢包作业过程识别模型，以及利用构建的天车吊挂铁钢包作业过程识别模型实时识别作业状态两个步骤，其中，

构建天车吊挂铁钢包作业过程识别模型的步骤包括：

获取天车吊挂铁钢包作业过程的历史监控数据；

根据天车吊挂铁钢包作业过程的四个作业状态对历史监控数据进行分类，得到四类作业状态监控图片；

基于神经卷积网络对四类作业状态监控图片进行训练，得到训练好的天车吊挂铁钢包作业过程识别模型；

利用所述天车吊挂铁钢包作业过程识别模型实时识别作业状态的步骤包括：

获取天车吊挂铁钢包作业过程的实时监控数据；

将实时监控数据输入天车吊挂铁钢包作业过程识别模型，得到实时识别结果；

将实时识别结果传输至天车操作室屏幕进行显示和提醒。

2.根据权利要求1所述一种天车吊挂铁钢包图像识别方法，其特征在于，所述方法还包括：在铁钢包起吊点的周围布设一组监控设备，每一所述监控设备均对准一铁钢包吊耳。

3.根据权利要求2所述一种天车吊挂铁钢包图像识别方法，其特征在于，所述方法还包括：在获取天车吊挂铁钢包作业过程的历史监控数据后，从监控视频流中截取天车吊挂铁钢包作业图片，并将图片按照作业状态分为四类：等待、准备挂钩、正在挂钩、吊钩就位。

4.根据权利要求3所述一种天车吊挂铁钢包图像识别方法，其特征在于，所述方法还包括：分别取四类作业图像中各预设数量的图片作为测试集，对所有图片进行预处理后，利用预处理后的图片对卷积神经网络进行训练，得到训练后的天车吊挂铁钢包作业过程识别模型。

5.根据权利要求4所述一种天车吊挂铁钢包图像识别方法，其特征在于，所述方法还包括：

利用测试集检测训练模型，并绘制训练模型的P-R曲线和AUC值；

在迭代预设次数后，根据AUC值保存训练效果好的一个或多个模型；

利用保存的模型对测试集的样本进行识别，根据识别结果确定各个状态的置信度阈值。

6.根据权利要求5所述一种天车吊挂铁钢包图像识别方法，其特征在于，所述方法还包括：将训练好的天车吊挂铁钢包作业过程识别模型部署到图像分析服务器中；接收监控设备发送的实时视频流，利用多线程处理视频流，并利用识别模型对处理后的视频帧画面进行识别；在识别到某一状态置信度大于设定阈值且持续时间超过一定帧数时，确定该状态为天车当前作业状态。

7.根据权利要求6所述一种天车吊挂铁钢包图像识别方法，其特征在于，所述方法还包括：在识别到天车吊挂铁钢包处于某一状态后，天车操作室屏幕画面自动切换到对应该状态的画面，并通过语音提醒天车操作员。

8.一种天车吊挂铁钢包图像识别系统，其特征在于，包括监控端、操作端及图像分析服务器，所述监控端与图像分析服务器有线连接且与操作端无线连接；

所述监控端，用于获取铁钢包一对吊耳处的视频数据并分别发送至操作端和图像分析服务器；

所述图像分析服务器，用于基于监控端发送的历史视频数据构建天车吊挂铁钢包识别模型，以及利用识别模型对监控端发送的实时画面进行识别，并输出识别结果至操作端；

所述操作端，用于显示铁钢包吊耳处的实时画面以及图像分析服务器发送的识别结果。

Images