CN112794274B - 一种油罐车底部装油口安全监控方法及系统 - Google Patents

Abstract

本发明实施例提出了一种油罐车底部装油口安全监控方法及系统，其中方法包括：建立分析系统、识别系统和网络识别模型；启动所述分析系统对付油作业开始时间进行监测；付油作业开始时，所述分析系统发送识别指令至所述识别系统；所述识别系统接收指令，截取图像采集设备对鹤管对接过程采集的视频图像；所述网络识别模型接收图像采集设备监测时产生的图像数据，输出对象分类识别结果；根据所述对象分类识别结果，结合提油单信息，判断鹤管对接结果；可视化鹤管对接结果。本发明在不增加装车作业操作步骤的情况下，实现对鹤管对接的正确性地判断，不增加车辆成本，系统安装和维护也较简单。

Description

一种油罐车底部装油口安全监控方法及系统

技术领域

本发明涉及一种油罐车底部装油口安全监控方法及系统，特别是涉及图像数据处理领域。

背景技术

在油库公路付油作业中，由于多仓油罐车具有多个罐装接口，尤其现在大量使用的底部装车方式，底部罐装接口都集中在一起，操作人员在将下装鹤管接到底部罐装接口上时，一旦疏忽，极易接错接口，这不但会造成配送数量错误，也极易发生混油、冒顶、火灾、爆炸等重大事故。

现有技术中，为了应对上述风险，采用传感器信号比对方式，对鹤管对接的正确性进行自动化判断。这种方式需要在车辆和鹤管上安装相应的电子传感设备，操作时需要人员进行特别关注，以确保传感器检测到位，检测信号通过无线方式传输到控制器。但是这种方式需安装多个设备，实施和维护繁琐，且伴随着因车辆上的传感器易遗失损坏，出现成本增加的情况；同时，信号传输经过多个环节，导致可靠性低。

发明内容

发明目的：提出一种油罐车底部装油口安全监控方法及系统，以解决现有技术存在的上述问题。

技术方案：第一方面，提出了一种油罐车底部装油口安全监控方法，其特征在于，包括：

步骤一、建立分析系统、识别系统和网络识别模型；

步骤二、启动所述分析系统对付油作业开始时间进行监测；

步骤三、付油作业开始时，所述分析系统发送识别指令至所述识别系统；

步骤四、所述识别系统接收指令，截取图像采集设备对鹤管对接过程采集的视频图像；

步骤五、所述网络识别模型接收图像采集设备监测时产生的图像数据，输出对象分类识别结果；

步骤六、根据所述对象分类识别结果，结合提油单信息，判断鹤管对接结果；

步骤七、可视化鹤管对接结果。

在第一方面的一些可实现方式中，所述分析系统通过在分析服务器上运行识别注册文件，进入就绪状态；

所述识别系统通过在终端输入启动命令，在识别服务器上，进入就绪状态。

在第一方面的一些可实现方式中，所述识别系统接收所述分析系统发送的识别命令，进入响应状态。

在第一方面的一些可实现方式中，通过使用经过训练所述网络识别模型，对所述视频图像进行识别分类；

其中，所述网络识别模型的训练过程为：

获取样本数据集；

对所述样本数据集进行预处理；

接收经过预处理的样本数据集；

提取视频图像的特征信息；

对特征尺度转换迁移融合，进一步提取特征；

通过忽略一半特征检测器，进行特征参数简化；

采用激活函数对样本数据集中的对象进行非线性对象类别的识别。

在第一方面的一些可实现方式中，所述样本库中的样本数据，通过原始图像获取、数据增广、数据标记、数据集划分和训练参数修改形成；

所述预处理进一步为对样本数据集中油罐车底部罐装接口进行标记。

在第一方面的一些可实现方式中，安全监控过程中，当识别服务器、分析服务器运行出现异常时，进行报警提示。

在第一方面的一些可实现方式中，记录安全监控过程中产生的数据信息，用于数据查询以及问题追溯。

第二方面，提出一种油罐车底部装油口安全监控系统，该系统具体包括：

分析系统，被设置为：监测发油系统、触发识别系统以及结合提油单信息分析鹤管对接情况；

识别系统，包括网络识别模型，信息采集设备；

发油系统，被设置为：记录用户刷卡信息，接收最终的鹤管对接对错的状态；

数据库，被设置为：记录操作过程中，产生的数据信息，用于作为问题追溯的依据；

数据传输模块，被设置为：在系统各个模块之间，根据需求传输数据。

在第二方面的一些可实现方式中，所述信息采集设备被设置为：与数据传输模块连接，获取实时图像数据，并将获取到的图像数据传输至分析系统；所述网络识别模型，被设置为接收信息采集设备获取得到的图像数据，分析图像数据中鹤管对接的状态。

第三方面，提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现油罐车底部装油口安全监控方法。

有益效果：本发明提出了一种油罐车底部装油口安全监控方法及系统，与现有技术采用传感器信号比对方式相比，本发明通过利用视频图像识别技术，采用AI深度学习算法，智能实时识别出鹤管与底部罐装接口实际对接情况，在不增加装车作业操作步骤，以及不需要在操作时特别注意什么的情况下，判断对接的正确性。除此之外，对原有装车作业流程没有任何影响，不增加车辆成本，系统安装和维护也更为简单。

其中，每次识别过程都有记录，可以事后查询，以便进行问题追溯。另外，监控系统具备自检功能，随时监测识别系统服务器是否正常工作，一旦出现异常就进行报警提示。

针对一个摄像头视频流，本发明提出的识别算法能够在1秒内反馈识别结果，对于遮挡部分小于1/5的空闲底部罐装接口和鹤管编号，识别率可达到95%，在摄像机摆放位置良好，图像清晰无遮挡时的识别率可达100%。

附图说明

图1为本发明实施例数据处理流程图。

图2为本发明实施例训练样本生成流程图。

具体实施方式

本发明通过一种油罐车底部装油口安全监控方法及系统，智能实时识别出鹤管与底部罐装接口实际对接情况，并判断对接的正确性，从而保障装车安全。下面通过实施例，并结合附图对本方案做进一步具体说明。

在一个实施例中，提出一种油罐车底部装油口安全监控方法，用于油库公路付油作业中，对鹤管对接的正确性进行自动化判断，如图1所示，该方法具体包括以下步骤：

步骤一、建立分析系统、识别系统和网络识别模型；

步骤二、启动所述分析系统对付油作业开始时间进行监测；

步骤三、付油作业开始时，所述分析系统发送识别指令至所述识别系统；

步骤四、所述识别系统接收指令，截取图像采集设备对鹤管对接过程采集的视频图像；

步骤五、所述网络识别模型接收图像采集设备监测时产生的图像数据，输出对象分类识别结果；

步骤六、根据所述对象分类识别结果，结合提油单信息，判断鹤管对接结果；

步骤七、所述发油系统接收鹤管对接结果。

在进一步的实施例中，首先在分析服务器上运行分析系统，在识别服务器上运行识别系统，当分析系统就绪后，开启实时监测付油作业的功能。付油作业开始时，分析系统会监测到发油系统接收到的货位刷卡信息，并立即向识别系统发送相应的识别命令。识别系统接收到识别命令后，截取摄像机采集到的视频图像，开始进行装油口识别，并将识别结果返回给分析系统，分析系统将识别结果与提油单信息结合在一起进行综合分析，得出装油口对接是否正确的结论，并将结论发送给发油系统。

具体的，识别服务器的操作系统为Ubuntu18.04LTS，且识别服务器中只运行识别系统这一个应用系统，运行需要依赖支撑环境为GPU驱动、Anaconda、Python、Tensorflow、Keras、Pytorch、OpenCV。分析服务器的操作系统版本至少是Windows Server2008，分析系统与其它应用系统，例如数据平台、货位读卡、数据库管理等，都运行在这个服务器上，运行需要依赖支撑环境为Microsoft .Net Framework 4.0、Microsoft SQLServer 2008。此处实例提出的运行环境，可根据不同的代码实现平台进行调整，因为不可作为对本发明的进一步限定。

在进一步的实施例中，识别服务器配置包括：

CPU（英特尔至强4110），内存（32G DDR4），硬盘（1TB），显卡（RTX2080Ti）两块，网口（1GE电口），电源（1000W）。

识别服务器配置包括：

CPU（英特尔至强4110），内存（8G DDR4），硬盘（1TB），显卡（GTX1060），网口（1GE电口），电源（650W）。

分析系统获取发油系统中的货位刷卡信息，结合数据库中存放的参数，才能生成识别命令并发送给识别系统，对指定货位进行识别，因此，发油系统以及SQLServer数据库管理系统均要处于正常运行状态。在分析服务器上双击Recognition.exe文件，运行成功后，分析系统就绪。

启动识别系统的步骤为首先打开命令终端；其次，输入相应的指令代码；最后，通过回车键完成输入，从而成功启动识别系统。其中，输入相应的指令代码具体为

conda activate tf

cd PycharmProjects/detect

python interface_ detectio.py

识别系统启动成功后，识别系统开始等待分析系统发送的识别命令并进行回应，相关信息会显示在终端中，无需人工操作。

在进一步的实施例中，首先对获取的装车视频图像中的油罐车底部罐装接口进行标记，再通过YOLO卷积模型进行训练，最终形成专有卷积神经网络，即网络识别模型，利用此神经网络就可以实时自动识别出油罐车上的每个底部罐装接口，并识别它们是否连接了鹤管，连接的是哪个鹤管，结合提油单信息，就可以判断出鹤管是否连接正确，最终将判断结果输出给发油系统。

在进一步的实施例中，为了提高网络识别模型对对象分类识别的准确性，对其进行训练。

具体的，训练过程中采用的样本数据来自于往期存储于样本库中的样本数据。训练采用的样本数据，通过原始图像获取、数据增广、数据标记、数据集划分和训练参数修改形成样本库。

其中，原始图像的获取过程为对监控录像视频按指定帧数截取视频图像并保存。优选实例中，采用指定帧数为16，进行目标视频文件和视频帧数的读取，同时，将帧数变量与指定帧数相除，判断是否达到指定帧倍数，若达到，则保存一张此时帧的图片，并循环进行直到将视频读取完毕。

数据增广的过程为剔除无效图片，将数据清洗过的文件按数字编号“1,2,3…”重新命名，然后进行一次增广；随后，在一次增广的基础上进行二次增广。在优选实施例中，如图2所示，一次增广采用水平翻转与镜像翻转扩充数据。二次增广在一次增广的基础上，采用均值扰动、卷积、锐化、特定方向上边缘检测、添加高斯噪声、高斯扰动、改变对比度、放射变换、按像素加等方法再次扩充数据。

数据标记对接口及鹤管编号进行标记，优选实施例中，采用labelImg对监测目标进行标记，标记内容如下表1所示。

表1 监测目标分类

数据集划分将采集到的数据划分为训练集和验证集。优选实施例中，训练集、验证集按照0.91:1的比例进行划分，然后转化标注数据文件为yolo格式。

优选实施例中，算法训练的总样本量为38551张图像，涵盖保护罩、下装油口、多种油气回收口及鹤管编号0、1、2，样本多样化充分，样本库建立合理，样本数量、种类均覆盖充足。

在进一步的实施例中，网络识别模型采用YOLOv3算法，YOLO以速度见长，处理速度可以达到45fps，其快速版本（网络较小）甚至可以达到155fps。YOLOv3相比于前代系列，既做了“折中”设计，平衡了监测速度与准确率，又增大了神经网络层数。识别和定位合二为一的网络设计，使得训练和预测可以端到端的进行，即整个监测样本输入，通过中间层的特征提取后，最后在输出层logistics回归出预测框的坐标信息与类别信息。在优选实施例中，由Darknet19改为Darknet53，从而更深地提取对象特征，让准确率更进一步的提升。

具体的，由于在司机刷卡后需要分析系统很快反馈识别结果，通常不超过1秒，另外，还经常会出现多个货位同时刷卡的情况，意味着系统需要具备同时对多个图像进行识别处理的能力，而且系统在对图像进行识别时，不仅需要同时检测出图像中有哪些类型的物体，如装油口、鹤管等，还要识别出它们在图像中的具体位置，计算量大。本实施例在保证准确率的情况下，满足速度的提升，通过YOLOv3算法，实现识别和定位合二为一的网络设计，更深层次的提取对象特征，让准确率进一步的提升。

由于油罐车停靠位置及摄像机角度等客观因素，监测目标常常相近并互相遮挡，而YOLOv3网络的细节区分度较差，会导致漏检、误检等错误，因此针对这些情况对算法进行改进。在优选实施例中，增加多尺度预测，提供尺寸不一的边界框，实现过程与YOLOv2将多尺度放到训练数据采样上所采用的特征图像，设置边界框相似。

为了更好地划分图像中提取的特征信息，减少训练时间和分类错误率，本实施例中采用relu函数作为激活函数。由于模型参数过多、训练样本不够多的情况下容易出现过拟合的现象，所以采用dropout对模型进行优化，通过忽略一半特征检测器，降低过拟合及错误率，提高分类精度；同时，为提升网络性能，增加正则化约束。在优选实施例中，将神经网络中的神经元接收到的输入作为输入信号，经过激活函数的激活值作为输出信号，同时设置一个恒定虚警率，满足输入数据和输出结果分布不均匀时，可以自适应的调整阈值，提升分类效果。其中，当relu函数定义为

、输入为

、权重为

时，输出值如下表达式所示：

式中，

表示激活函数；

表示权重

的共轭转置；

表示输入数据；

表示修正项。因此，节点的激活值为：

式中，

表示激活函数；

表示权重

的共轭转置；

表示输入数据；

表示修正项；M表示二值掩模矩阵，且服从伯努利分布取值，并根据激活值进行设定。具体的，根据设定的阈值，当节点的激活值大于阈值时，M二值掩模矩阵中的元素取值为1，小于阈值时取值为0。根据节点激活值构成的集合，从中选取一个数值作为兴趣程度判定的阈值，通过判断将低于阈值的节点删除，从而实现优化。其中，删除的节点集合为所有节点集合减去保留节点的集合，即：

式中，

表示删除的节点；

表示所有的节点；

表示保留比例；

表示高于阈值的节点；

表示低于阈值的节点；

表示保留节点的比率。

另一方面，在样本数据不足的情况下，为提高卷积神经网络提取特征的表达性能，在保留特征的原始数据不破坏情况下，对特征尺度转换迁移融合。优选实施例中，在主干网络中将特征图缩小迁移融合，从而进行特征重用。

为解决样本图像单一问题，在针对网络摄像头视频流的处理上，结合样本分类扩充图像，同时分析样本的不平衡度。具体的，扩充过程中，在变换图像大小，旋转角度时，对应的旋转角度、缩放比例系数和对比系数分别在区间

、[

和

之间随机生成。

针对YOLOv3模型IOU值不理想问题，对anchor值进行聚类优化。首先，利用DBSCAN聚类算法在忽略中心点的情况下获得若干数量的类；其次，为了获得检测目标的局部和整体信息，通过增加多尺度进行聚类，进一步为对检测目标的轮廓信息进行多尺度聚类；再次，经过多尺度聚类和卷积操作，可以获得初代特征图；最后，将这些类作为输入数据，通过K-means算法进行划分聚类，这样便可以获得准确的中心点位置。DBSCAN聚类算法，可以在忽略中心点的情况下，得到首次较好聚类效果，通过结合K-means算法的这种方法可以有效加速数据集收敛，提升小目标分类精确度。

在进一步的实施例中，识别过程通过使用训练完成的网络识别模型进行货位实际图像的识别。具体的，训练成功后的网络识别模型放置在识别服务器中，同时更新anchor值。识别时，需要识别的货位实际图像导入网络模型中，网络会预测出一系列的候选对象，再用非极大值抑制算法，来移除一些多余的候选对象，防止出现一个目标被多次检测的问题。其中，优选实施例中，非极大值抑制算法采用0.5为阈值。最后，剩余的候选对象就是识别结果，将它们的类别和坐标在图像中标出后输出，完成识别过程。识别出的结果包含图像中所有未接鹤管的底部罐装接口、油气回收接口、鹤管编号。采用本发明的图像识别方法，针对一个摄像头视频流，识别算法能够在1秒内反馈识别结果，对于遮挡部分小于1/5的空闲底部罐装接口和鹤管编号，识别率可达到95%，在摄像机摆放位置良好，图像清晰无遮挡时的识别率可达100%。

在进一步的实施例中，在进行判断鹤管对接结果时，在网络识别模型输出结果的基础上，进一步结合提油单的数据信息，对识别对象进行分析修正，从而获得最终的鹤管与装油口的对接关系。

在进一步的实施例中，在发油系统、识别系统和分析系统之间采用UDP传输协议实现系统间的数据交换。通过与发油系统集成方式，接受发油系统识别命令，完成立即截取指定摄像机的视频图像进行罐装接口识别、发送识别结果、系统校时、反馈系统运行状态等功能。

在进一步的实施例中，当系统监测到服务器出现异常时，进行报警提示。

在进一步的实施例中，记录识别过程中的每一个步骤产生的数据信息，用于信息查询，以及问题追溯。

在进一步的实施例中，根据油库情况进行设备配置，优选实施例中，例如根据发油岛的个数，配置每个岛安装的摄像机个数，以及涉及的网络参数等。

在一个实施例中，提出一种油罐车底部装油口安全监控系统，用于实现油罐车底部装油口安全监控方法，该系统具体包括：

分析系统，被设置为：监测发油系统、触发识别系统以及结合提油单信息分析鹤管对接情况。

识别系统，包括网络识别模型，信息采集设备；所述信息采集设备被设置为：与数据传输模块连接，获取实时图像数据，并将获取到的图像数据传输至分析系统。所述网络识别模型，被设置为接收信息采集设备获取得到的图像数据，分析图像数据中鹤管对接的状态。

发油系统，被设置为：记录用户刷卡信息，接收最终的鹤管对接对错的状态。

数据库，被设置为：记录操作过程中，产生的数据信息，用于作为问题追溯的依据。

数据传输模块，被设置为：在系统各个模块之间，根据需求传输数据。

在进一步的实施例中，信息采集设备为摄像头，优选实施例中，摄像头的配置如下表2所示。

表2 摄像头的配置信息

在一个实施例中，提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现油罐车底部装油口安全监控方法。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (8)

1.一种油罐车底部装油口安全监控方法，其特征在于，包括：

建立分析系统、识别系统和网络识别模型；

启动所述分析系统对付油作业开始时间进行监测；

付油作业开始时，所述分析系统发送识别指令至所述识别系统；

所述识别系统接收指令，截取图像采集设备对鹤管对接过程采集的视频图像；

所述网络识别模型接收图像采集设备监测时产生的图像数据，输出对象分类识别结果；

根据所述对象分类识别结果，结合提油单信息，判断鹤管对接结果；

可视化鹤管对接结果；

通过使用经过训练所述网络识别模型，对所述视频图像进行识别分类；

其中，所述网络识别模型的训练过程为：

获取样本数据集；

对所述样本数据集进行预处理；

接收经过预处理的样本数据集；

提取视频图像的特征信息；

对特征尺度转换迁移融合，进一步提取特征；

通过忽略一半特征检测器，进行特征参数简化；

采用激活函数对样本数据集中的对象进行非线性对象类别的识别；

其中，所述网络识别模型采用端到端的模式进行分类识别，利用YOLOv3算法实现，并在增加多尺度预测、提供尺寸不一的边界框同时，利用Darknet53进行深层次的对象特征提取；

采用relu函数作为网络识别模式的激活函数，并采用忽略一半特征检测器，以及增加正则化约束的方式降低过拟合现象；

采用聚类方式对YOLOv3的anchor值进行优化，具体的：利用DBSCAN聚类算法在忽略中心点的情况下获得若干数量的类；其次，为了获得检测目标的局部和整体信息，通过增加多尺度进行聚类，进一步为对检测目标的轮廓信息进行多尺度聚类；再次，经过多尺度聚类和卷积操作，获得初代特征图；最后，将这些类作为输入数据，通过K-means算法进行划分聚类，获得准确的中心点位置。

2.根据权利要求1所述的一种油罐车底部装油口安全监控方法，其特征在于，

所述分析系统通过在分析服务器上运行识别注册文件，进入就绪状态；

所述识别系统通过在终端输入启动命令，在识别服务器上，进入就绪状态。

3.根据权利要求1所述的一种油罐车底部装油口安全监控方法，其特征在于，

所述识别系统接收所述分析系统发送的识别命令，进入响应状态。

4.根据权利要求1所述的一种油罐车底部装油口安全监控方法，其特征在于，

所述样本数据集中的样本数据，通过原始图像获取、数据增广、数据标记、数据集划分和训练参数修改形成；

所述预处理进一步为对样本数据集中油罐车底部罐装接口进行标记。

5.根据权利要求1所述的一种油罐车底部装油口安全监控方法，其特征在于，

安全监控过程中，当识别服务器、分析服务器运行出现异常时，进行报警提示。

6.根据权利要求1所述的一种油罐车底部装油口安全监控方法，其特征在于，

通过记录安全监控过程中产生的数据信息，进行数据查询以及问题追溯。

7.一种油罐车底部装油口安全监控系统，用于实现权利要求1~6任意一项方法，其特征在于，包括：

分析系统，被设置为：监测发油系统、触发识别系统以及结合提油单信息分析鹤管对接情况；

识别系统，包括网络识别模型，信息采集设备；

发油系统，被设置为：记录用户刷卡信息，接收最终的鹤管对接对错的状态；

数据库，被设置为：记录操作过程中，产生的数据信息，用于作为问题追溯的依据；

数据传输模块，被设置为：在系统各个模块之间，根据需求传输数据；

所述信息采集设备被设置为：与数据传输模块连接，获取实时图像数据，并将获取到的图像数据传输至分析系统；所述网络识别模型，被设置为接收信息采集设备获取得到的图像数据，分析图像数据中鹤管对接的状态。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项油罐车底部装油口安全监控方法。

Images