CN111683227A - 一种基于视频异常监测的皮带操作智能辅助方法和系统 - Google Patents

Abstract

一种基于视频异常监测的皮带操作智能辅助方法及系统，属于钢铁生产领域，该装置可以解决当前控制系统的灵活性差，控制水平低，智能化程度不高，操作准确性判断要求高，容易引起疏忽导致误操作造成设备损坏的问题，通过在皮带沿线及重要场所设置摄像头，收集视频数据，并对视频数据进行识别，识别出异常视频触发报警；其中，对视频数据进行识别时，用于识别的模块持续通过异常视频进行训练并形成判定标准。

Description

一种基于视频异常监测的皮带操作智能辅助方法和系统

技术领域

本发明涉及钢铁生产领域，具体的，涉及一种基于视频异常监测的皮带操作智能辅助方法和系统。

背景技术

这里的陈述仅提供与本发明相关的背景技术，而不必然地构成现有技术。

皮带输送机是钢铁冶金生产中非常重要的运输设备，它能否安全高效地运行，直接决定着重要冶金生产设备的安全稳定及整个冶金流程的产量效率。

传统皮带机控制系统一般在皮带沿线安装有传感器来进行监测，包括启停控制、速度监测、跑偏信号、防撕裂信号、料流信号等的反馈信号，通过信号传输到集控中心，供运行人员了解并干预设备的运行状况，实际应用取决于传感器的灵活性及运行人员的经验水平，且需要配合人工巡检查看才能发现现场实际问题，带来问题处理的滞后，严重会发生较大的生产事故，不能有效的预防及实时处理问题，自动化、智能化程度不高。

皮带监控的工业电视系统，通过整合分布设置的视频采集摄像头，通过网络传输到控制主机进行存储，在集控室屏幕显示，通过人工进行控制、查看比对，反馈到摄像机的前端控制，或对控制主机中的存储文件进行调取删除回放等操作。一般仅用于现场状况的视频采集，不能对视频进行实时分析，即便现场出现问题，由于摄像机数目多，且如果长期盯屏会造成疲劳状态，往往不能及时的发现现场问题，并且，集控室人员通过结合现场巡视或观看众多监测画面进行问题的发现，进而反馈到现场人员进行皮带设备的现场复验及干预。

综上，发明人认为，当前控制系统的灵活性差，控制水平低，智能化程度不高，正常情况下，操作人员需要紧盯操作台界面，对工业电视系统屏幕没有时间顾及，不能对现场实际状况予以实时把握。并且，在缺乏现场实际状况充分把握的情况下，对操作人员经验积累及事故预判能力要求高，操作准确性判断要求高，容易引起疏忽导致误操作造成设备损坏，甚至人员伤亡，给企业带来重大损失。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于视频异常监测的皮带操作智能辅助方法和系统，可以解决当前控制系统的灵活性差，控制水平低，智能化程度不高，操作准确性判断要求高，容易引起疏忽导致误操作造成设备损坏的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明的技术方案提供了一种基于视频异常监测的皮带操作智能辅助方法，通过在皮带沿线及重要场所设置摄像头，收集视频数据，并对视频数据进行识别，识别出异常视频触发报警；其中，对视频数据进行识别时，用于识别的模块持续通过异常视频进行训练并形成判定标准。

作为进一步的技术方案，对视频数据进行识别前，使用特征提取模块对视频数据进行特征提取，提取的特征要素对来源的视频段进行标记，形成待检验样本。

作为进一步的技术方案，对视频数据进行识别前，使用标准与判定规则模块进行原始训练数据，通过前期根据已有不同位置的摄像头采集的视频，进行预处理及特征提取，采集的视频图像可以分为区域图像和异常图像两类。

作为进一步的技术方案，识别出异常视频后，根据视频来源判断异常视频的发生区域；根据来源及图像识别结果对异常视频进一步分类；而后，输出异常判断的信息，包括摄像头的序号及异常视频的分类。

第二方面，本发明的技术方案还提供了一种基于视频异常监测的皮带操作智能辅助系统，包括多个设置于皮带沿线及重要场所的摄像头、视频存储平台、智能报警平台以及判断模块，多个摄像头与视频存储平台能够进行通讯以传输视频数据，视频存储平台和判断模块均能够与智能报警平台能够进行通讯。

作为进一步的技术方案，多个所述摄像头分别编号为1、2、…、n，所述视频存储平台中，对编号分别为1、2、…、n多个所述摄像头拍摄的视频分区存储。

上述本发明的技术方案的有益效果如下：

1)本发明中，通过在不同区域布置摄像头，实现多传感方式，多传感方式信息融合能克服单一信息来源的片面性和局限性，通过多传感器间的信息补充和冗余验证，提高系统准确率，提高操作的便捷性与运行状况把控的全面性。

2)本发明中，为了能辅助操作人员实现现场的实时状况把握，设计了智能的监控系统来完成实时监控、持续监控且能在海量的视频数据中快速根据规则进行报警，主要使计算机能通过数字视频处理和分析以理解传感器接收的内容，达到自动分析和抽取关键信息的目的；采用计算机模式识别的算法，同用户先前配置的安全模型智能比对，根据规则向系统实时智能的提出预警。

3)本发明中，通过辅助系统给予操作人员以实时的预警，操作人员可根据辅助系统提供的信息，对照当前操作的实时生产工艺及工作流程，对生产线的整体状况更精确的把握。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明根据一个或多个实施方式的方法流程图，

图2是本发明根据一个或多个实施方式的屏幕示意图。

为显示各部位位置而夸大了互相间间距或尺寸，示意图仅作示意使用。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

为了方便叙述，本发明中如果出现“上”、“下”、“左”“右”字样，仅表示与附图本身的上、下、左、右方向一致，并不对结构起限定作用,仅仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语解释部分：本发明中的术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或为一体；可以是机械连接，也可以是电连接，可以是直接连接，也可以是通过中间媒介间接相连，可以是两个元件内部连接，或者两个元件的相互作用关系，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的具体含义。

正如背景技术所介绍的，针对现有技术存在的不足，本发明的目的是提供一种基于视频异常监测的皮带操作智能辅助方法和系统，该装置可以解决当前控制系统的灵活性差，控制水平低，智能化程度不高，操作准确性判断要求高，容易引起疏忽导致误操作造成设备损坏的问题。

实施例1

本发明的一种典型的实施方式中，如图1所示，一种基于视频异常监测的皮带操作智能辅助系统，通过设置或利用原有的工业电视视频监控系统，以及通过布置在皮带沿线及重要场所的摄像头进行视频采集；通过对已有数据的采集、预处理及特征提取，送入模型训练，形成标准与判定规则模块的应用模型。

可以理解的是，本实施例中所公开的一种基于视频异常监测的皮带操作智能辅助系统，包括多个设置于皮带沿线及重要场所的摄像头、视频存储平台、智能报警平台以及判断模块，多个摄像头与视频存储平台能够进行通讯以传输视频数据，视频存储平台和判断模块均能够与智能报警平台能够进行通讯。

在随后的使用过程中，实时采集的视频内容存储于视频存储平台，对存储平台中的视频内容通过图像识别模块中的算法进行特征提取，提取的特征与来源视频进行标签统一，形成待检样本，样本送入图像识别模块通过标准与判定规则模块预先训练的应用模型的判断，是否为异常。

如果为异常情况，推送至智能报警平台，平台对于报警信号进行整合后，统一推送至控制平台。控制平台作为整个智能辅助系统的信息处理中枢。可以将报警信息推送至用户终端，另外，对于操作端的输入信号，可以通过控制平台，对报警端或摄像头等进行控制等操作。

整个系统可以根据采集的视频内容，通过实时智能识别判断，能够给操作人员及时报警，能实时发现并解决问题，有效地改善现在皮带操作仅通过采集传感器数据进行工艺判断的单一操作模式，同时也改善了工业电视系统采集的视频未能发挥应有价值的弊端，供操作人员进行综合把控，更全面地掌握现场实际情况，利于提高生产效率，预防重要事故的产生。

实施例2

本发明的一种典型的实施方式中，如图1所示，一种基于视频异常监测的皮带操作智能辅助方法，使用如实施例1所述的一种基于视频异常监测的皮带操作智能辅助系统，包括以下步骤：

在皮带输送系统沿线重要操作点布置摄像头1、摄像头2、…、摄像头n，以用于前端视频采集；

通过网络传输视频数据，将视频数据传输到视频存储平台；

使用布置在主控室的视频存储平台对采集的视频进行存储管理。

本实施例中，主要的控制模块及功能都集中到智能辅助系统中，以软件模块的形式存在，具体包括用于对待检样本的视频识别模块以及预先经过训练的标准与判定规则模块，此外还包括智能报警平台，以及确定当前的异常情况并以报警信息推送到视频监控系统的控制平台；

视频识别模块从存储平台中的视频进行特征提取，形成待检验样本；通过视频识别模块识别后，判断是否为异常视频；智能报警平台根据视频识别模块的识别结果，确定当前的异常情况，并通过报警信息的形式推送到控制平台，控制平台形成报警界面，推送到用户终端，也即推送到屏幕。

控制平台还可实现其他控制功能，如正常状况显示、摄像头画面的选择控制等，控制平台可以在用户端进行显示，在操作端进行控制，如摄像头画面的选择、显示控制等可以通过在操作端进行操作，信号反馈到控制平台，控制平台对前端摄像头发出控制指令。

在一个具体的实施过程中，第一步骤为在部分皮带系统的转运站、驱动头尾端、除铁器、落料口等重要的部分，设置摄像头，用于图像采集。

上一步骤中采集的图像通过通信通道的传输，输送至视频存储平台。

对不同位置的摄像头，分别编号为1、2、…、n，不同采集摄像头采集的视频，对应于在存储平台中相异的固定存放位置，存储平台的存储介质可以为硬盘式或磁盘刻录式，此部分内容与当前的普通视频监控工业电视系统一致。

对于摄像头采集视频的画面显示以及对摄像头的控制等方面的内容，视频监控用户终端，也即用户终端，可以实时地进行远程查看，并通过操作端进行指令输入，进行反馈控制。

为了便于快速处理视频的特征，本实施例中，通过特征提取模块采用图像识别模块中的算法，分别对实时采集的视频图像进行特征数据要素的提取；对提取的要素、视频内容进行标定，即，提取的特征要素对来源的视频段进行标记，形成待检验样本。

标准与判定规则模块的图像识别模块中算法的原始训练数据，通过前期根据已有不同位置的摄像头采集的视频，进行预处理及特征提取，采集的视频图像可以分为两类：第一类定义为区域图像，即正常采集的视频流，作为正常工作状态的视频数据；第二类定义为异常图像数据，如转运站内有火灾、人员进入、喷水严重、皮带上料的堆积；驱动头尾端的皮带打滑，撒料落料等；除铁器在皮带运转时候，意外故障停转，除铁超大硬物的吸取，铁块未吸取，除铁器声光报警等；落料口撒料，堆集，异物的导入等；皮带沿线皮带跑偏、撒料、起火或堆料不均匀等作为异常状态下的视频要素。

对于标准与判定规则模块来说，其判定规则的训练方法是，将第一类、第二类视频图像均作为训练样本，对算法进行训练，对模型的参数进行调整，训练为适合分类各种异常图像的模型，作为标准与判定规则模块将来用于实时判断采集的视频数据的模型。

由特征提取模块提取的待检验的样本，通过图像识别模块进行判断后，判断为是否属于上述第二类异常数据，并判断为何种异常情况；

若判断为异常，图像识别模块对智能报警平台进行报警。

智能报警平台根据报警的不同，综合管理两项内容：①根据来源判断为哪个采集摄像头区域发生了异常；②根据来源及图像识别模块对第二种异常数据的分类，确定为哪种异常类型；而后，智能报警平台输出异常判断的信息，包括摄像头的序号及哪种异常。

智能报警平台将信息推送至控制平台，控制平台作为综合管理的中枢平台，可以接收、分发、执行指令等综合操作。对于报警平台内容，控制平台将信息分发到用户终端，此端口为显示屏幕，对于上述摄像头1、2、…、n，分别按照纵横布置在屏幕上进行显示。没有控制平台输入的异常报警时，显示端正常显示，若控制平台输入报警信号，用户终端会在对应的摄像头图像位置，进行异常类别的报警提示。

某典型用户终端的报警情况界面如图2所示。

在图2中，在画面6对应的摄像头采集对应的现场运行中，如果出现落料口撒料的情况，实时采集的视频经过如果经过皮带操作智能辅助系统的异常监测后，判断为落料口撒料的异常情况，会在用户终端中画面6中显示落料口撒料的报警提示，给予操作人员以提醒。

对于操作端，为操作人员可以进行操作的端口，包括鼠标、键盘等。操作人员可以通过操作端，对用户终端中的报警内容进行放大查看或进行摄像头的操作等。具体操作端指令通过控制平台进行输出，可以对显示报警段进行操作或通过控制平台对摄像头进行角度、缩放的调整等。

本实施例中所述的特征提取模块、视频识别模块、标准与判定规则模块均为软件模块。

需要另外说明的，视频特征提取过程包括：从视频采集摄像头获取的实时视频数据，对图像进行图像定义、数据标记，图像预处理、数据检测。

进行图像预处理时，提取灰度图像、对灰度图像进行高斯模糊使边缘平滑、进行两次OTSU二值化，提取黑白灰三个区域的掩膜(mask)、对掩膜进行中值滤波，去除其中高频噪点、提取掩膜轮廓等。

进行数据检测时，利用预处理阶段生成的白色区域的掩膜轮廓，寻找轮廓内所有突出点。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，通过在皮带沿线及重要场所设置摄像头，收集视频数据，并对视频数据进行识别，识别出异常视频触发报警；其中，对视频数据进行识别时，用于识别的模块持续通过异常视频进行训练并形成判定标准。

2.如权利要求1所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，所述重要场所包括转运站、驱动头尾端、除铁器、落料口。

3.如权利要求1所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，对视频数据进行识别前，使用特征提取模块对视频数据进行特征提取，提取的特征要素对来源的视频段进行标记，形成待检验样本。

4.如权利要求1所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，对视频数据进行识别时，使用标准与判定规则模块进行原始训练数据，通过前期根据已有不同位置的摄像头采集的视频，进行预处理及特征提取，采集的视频图像可以分为区域图像和异常图像两类。

5.如权利要求1或4所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，异常图像包括转运站内有火灾、人员进入、喷水严重；皮带上料的堆积；驱动头尾端的皮带打滑、撒料落料；除铁器在皮带运转时意外故障停转、除铁超大硬物的吸取、铁块未吸取、除铁器声光报警；落料口撒料、堆集、异物导入；皮带沿线皮带跑偏、撒料、起火或堆料不均匀。

6.如权利要求4所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，将区域图像和异常图像均作为训练样本，对识别算法进行训练，对模型的参数进行调整，训练为适合分类各种异常图像的模型，作为标准与判定规则模块将来用于实时判断采集的视频数据的模型。

7.如权利要求1所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，收集视频数据后，形成待检验的样本，通过图像识别算法进行判断后，判断是否属于异常视频，若是，继续判断异常视频的具体分类；若不是，返回判断流程。

8.如权利要求1或7所述的一种基于视频异常监测的皮带操作智能辅助方法，其特征在于，识别出异常视频后，根据视频来源判断异常视频的发生区域；根据来源及图像识别结果对异常视频进一步分类；而后，输出异常判断的信息，包括摄像头的序号及异常视频的分类。

9.一种基于视频异常监测的皮带操作智能辅助系统，其特征在于，包括多个设置于皮带沿线及重要场所的摄像头、视频存储平台、智能报警平台以及判断模块，多个摄像头与视频存储平台能够进行通讯以传输视频数据，视频存储平台和判断模块均能够与智能报警平台能够进行通讯。

10.如权利要求9所述的一种基于视频异常监测的皮带操作智能辅助系统，其特征在于，多个所述摄像头分别编号为1、2、…、n，所述视频存储平台中，对编号分别为1、2、…、n多个所述摄像头拍摄的视频分区存储。

Images