CN112004063B - 一种基于多相机联动的卸油油管连接正确性的监控方法 - Google Patents

一种基于多相机联动的卸油油管连接正确性的监控方法 Download PDF

Info

Publication number
CN112004063B
CN112004063B CN202010917516.8A CN202010917516A CN112004063B CN 112004063 B CN112004063 B CN 112004063B CN 202010917516 A CN202010917516 A CN 202010917516A CN 112004063 B CN112004063 B CN 112004063B
Authority
CN
China
Prior art keywords
oil
oil discharge
monitoring
pipeline
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010917516.8A
Other languages
English (en)
Other versions
CN112004063A (zh
Inventor
陈友明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Digital Intelligence Group Co ltd
Original Assignee
Sichuan Honghe Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Communication Co ltd filed Critical Sichuan Honghe Communication Co ltd
Priority to CN202010917516.8A priority Critical patent/CN112004063B/zh
Publication of CN112004063A publication Critical patent/CN112004063A/zh
Application granted granted Critical
Publication of CN112004063B publication Critical patent/CN112004063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多相机联动的卸油油管连接正确性的监控方法，通过结合多相机采集不同角度的卸油图像和智能分析算法的方式来代替原有的多人同时检查核验；通过此方法可以很大程度减少人力成本，同时因为是机器作业，可以保证客观准确的分析，而且本方法通过对卸油过程中油管连接过程进行智能视频截取和抓拍，方便上级领导进行监督管理。

Description

一种基于多相机联动的卸油油管连接正确性的监控方法
技术领域
本发明涉及计算机领域中的人工智能领域、图形图像技术，具体涉及一种基于多相机联动的卸油油管连接正确性的监控方法。
背景技术
在加油站实际卸油过程中，涉及到油罐车油管与本地油库对接，由于油品种类多样性和油库不同油品分类存储，导致卸油过程油管连接错误的情况时常发生，因此需要一种关于卸油油管连接正确性的检测方法。然而，现有技术完全是采用人为干预的方法，通过多人同时检查核验卸油过程中的油管连接是否正确，并没有一种客观的非人工且准确的智能监控油管连接正确性的方法。这种完成依靠人工的方法，存在以下三种问题：1、人力成本高，需要两个以上的工作人员进行同时协同验证。2、出错风险较高，人工检查总会因为偶尔的疲劳或者大意导致出错。3、上级领导基本无法进行监督管理。
发明内容
本发明所要解决的技术问题是现有技术完全是采用人为干预的方法检查卸油油管是否正确连接，导致人力成本高、出错风险较高、上级领导基本无法进行监督管理的问题，目的在于提供一种基于多相机联动的卸油油管连接正确性的监控方法，解决上述背景技术遇到的问题。
本发明通过下述技术方案实现：
一种基于多相机联动的卸油油管连接正确性的监控方法，包括：
S1：在加油站卸油区设置若干个监控装置，通过不同角度的监控装置分别对油罐车和本地油库进行数据采集得到卸油录像视频，根据卸油录像视频获得卸油图像；
S2：通过卷积神经网络对卸油图像进行检测获得卸油接口和接口连接管道；对卸油接口进行油品类型标记获得油品类型的标记结果；
S3：通过卷积神经网络对接口连接管道进行分析提取获得接口连接管道特征，根据提取到的接口连接管道特征进行不同相机下的同根管道的匹配，将不同相机下的同一根连接管道完成一一对应，获得一一对应的管道图片；
S4：根据S3的一一对应的管道图片，找到管道两端对应的卸油接口，再结合S2中对卸油接口油品类型的标记结果，分析出管道连接是否正确；
S5：若连接错误，则将卸油录像视频和当前错误连接的画面截图进行存储保存，并进行预警推送相关责任人；若连接正确，则将卸油录像视频和当前正确连接的画面截图进行存储保存。
进一步地，一种基于多相机联动的卸油油管连接正确性的监控方法，所述若干个监控装置具体为两个监控装置；所述卸油录像视频包括油罐车视频图像和本地油库视频图像。
进一步地，一种基于多相机联动的卸油油管连接正确性的监控方法，所述S1具体为：在加油站卸油区设置两个监控装置，分别为监控装置A和监控装置B；使用监控装置A对油罐车进行数据采集得到油罐车视频图像；使用监控装置B对本地油库进行数据采集得到本地油库视频图像。
进一步地，一种基于多相机联动的卸油油管连接正确性的监控方法，所述S2包括：
S21：算法训练数据准备，人工在卸油图像中标记出卸油接口和卸油油管的位置；
S22：搭建卷积神经网络；
S23：对标记后的卸油图像进行卷积神经网络训练。
进一步地，一种基于多相机联动的卸油油管连接正确性的监控方法，所述S3包括：
S31：算法训练数据准备，人工在卸油图像中标记出每个连接管道的类别，将不同相机下的同一个管道标记为同一个类别；
S32：搭建卷积神经网络，提取接口连接管道特征；
S33：对标记后的卸油图像进行卷积神经网络训练：将标记后的卸油图像送入卷积神经网络进行训练，通过卷积神经网络训练后输出512位双精度的特征值；
S34：设计损失计算；
S35：通过损失函数，梯度下降训练参数优化卷积神经网络。
进一步地，一种基于多相机联动的卸油油管连接正确性的监控方法，所述S34设计损失计算，计算公式如下：
Figure BDA0002665556030000021
其中m代表油管类别数量，
Figure BDA0002665556030000022
表示网络全连接层的输出。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明提出了一种基于多相机联动的卸油油管连接正确性的监控方法，通过结合多相机采集不同角度的卸油图像和智能分析算法的方式来代替原有的多人同时检查核验；通过此方法可以很大程度减少人力成本，同时因为是机器作业，可以保证客观准确的分析，而且本方法通过对卸油过程中油管连接过程进行智能视频截取和抓拍，方便上级领导进行监督管理。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明监控方法流程图。
图2为本发明监控装置对油罐车和本地油库进行图像采集的示意图；监控装置为A相机和B相机。
图3为搭建卷积神经网络图。
图4为进行网络训练的矩形框示意图。
图5为损失函数具体公式。
图6为搭建卷积神经网络，提取管道特征的网络结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，本发明一种基于多相机联动的卸油油管连接正确性的监控方法，包括：
S1：在加油站卸油区设置若干个监控装置，通过不同角度的监控装置分别对油罐车和本地油库进行数据采集得到卸油录像视频，根据卸油录像视频获得卸油图像；
S2：通过卷积神经网络对卸油图像进行检测获得卸油接口和接口连接管道；对卸油接口进行油品类型标记获得油品类型的标记结果；
S3：通过卷积神经网络对接口连接管道进行分析提取获得接口连接管道特征，根据提取到的接口连接管道特征进行不同相机下的同根管道的匹配，将不同相机下的同一根连接管道完成一一对应，获得一一对应的管道图片；
S4：根据S3的一一对应的管道图片，找到管道两端对应的卸油接口，再结合S2中对卸油接口油品类型的标记结果，分析出管道连接是否正确；具体为，比较管道两端的接口是否对应同种型号的油。
S5：若连接错误，则将卸油录像视频和当前错误连接的画面截图进行存储保存，并进行预警推送相关责任人；若连接正确，则将卸油录像视频和当前正确连接的画面截图进行存储保存。
如图2所示，所述若干个监控装置具体为两个监控装置；所述卸油录像视频包括油罐车视频图像和本地油库视频图像。
所述S1具体为：在加油站卸油区设置两个监控装置，分别为监控装置A和监控装置B；使用监控装置A对油罐车进行数据采集得到油罐车视频图像；使用监控装置B对本地油库进行数据采集得到本地油库视频图像。
所述S2包括：
S21：算法训练数据准备，人工在卸油图像中标记出卸油接口和卸油油管的位置；
S22：搭建卷积神经网络，如图3所示；
S23：对标记后的卸油图像进行卷积神经网络训练。
所述S23具体包括如下步骤：
S231：将输入图像分成SxS个格子，如果目标的中心掉落在一个格子内，那么这个格子就负责检测这个目标；
S232：每一个格子预测B个矩形框，以及这些矩形框的得分，这个得分反应了模型对于这个格子中预测是否含有目标，以及是这个目标的可能性是多少；
S233：如果这个格子中不存在标记图像，则得分为0；否则，得分则为预测框与标签框之间的IoU(intersection over union)，每一个矩形框包含了5个预测值，分别为,,,,confidence，坐标(bx,by)代表了矩形框的中心。,矩形框的宽高，confidence就是IoU值。如图4所示。
S234：设计LOSS函数(损失函数)：LOSS＝LOSS1+LOSS2+LOSS3+LOSS4；损失函数具体公式如图5所示。
S235：通过损失函数，梯度下降训练参数优化网络。
所述S3包括：
S31：算法训练数据准备，人工在卸油图像中标记出每个连接管道的类别，将不同相机下的同一个管道标记为同一个类别；
S32：搭建卷积神经网络，提取接口连接管道特征特征，网络结构如图6所示；
S33：对标记后的卸油图像进行卷积神经网络训练：将标记后的卸油图像送入卷积神经网络进行训练，通过卷积神经网络训练后输出512位双精度的特征值；
S34：设计损失计算；
S35：通过损失函数，梯度下降训练参数优化卷积神经网络。
所述S34设计损失计算，计算公式如下：
Figure BDA0002665556030000051
其中m代表油管类别数量，
Figure BDA0002665556030000052
表示网络全连接层的输出。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多相机联动的卸油油管连接正确性的监控方法，其特征在于，包括：
S1：在加油站卸油区设置若干个监控装置，通过不同角度的监控装置分别对油罐车和本地油库进行数据采集得到卸油录像视频，根据卸油录像视频获得卸油图像；
S2：通过卷积神经网络对卸油图像进行检测获得卸油接口和接口连接管道；对卸油接口进行油品类型标记获得油品类型的标记结果；
S3：通过卷积神经网络对接口连接管道进行分析提取获得接口连接管道特征，根据提取到的接口连接管道特征进行不同相机下的同根管道的匹配，将不同相机下的同一根连接管道完成一一对应，获得一一对应的管道图片；
S4：根据S3的一一对应的管道图片，找到管道两端对应的卸油接口，再结合S2中对卸油接口油品类型的标记结果，分析出管道连接是否正确；
S5：若连接错误，则将卸油录像视频和当前错误连接的画面截图进行存储保存，并进行预警推送相关责任人；若连接正确，则将卸油录像视频和当前正确连接的画面截图进行存储保存。
2.根据权利要求1所述的一种基于多相机联动的卸油油管连接正确性的监控方法，其特征在于，所述若干个监控装置具体为两个监控装置；所述卸油录像视频包括油罐车视频图像和本地油库视频图像。
3.根据权利要求2所述的一种基于多相机联动的卸油油管连接正确性的监控方法，其特征在于，所述S1具体为：在加油站卸油区设置两个监控装置，分别为监控装置A和监控装置B；使用监控装置A对油罐车进行数据采集得到油罐车视频图像；使用监控装置B对本地油库进行数据采集得到本地油库视频图像。
4.根据权利要求1所述的一种基于多相机联动的卸油油管连接正确性的监控方法，其特征在于，所述S2包括：
S21：算法训练数据准备，人工在卸油图像中标记出卸油接口和卸油油管的位置；
S22：搭建卷积神经网络；
S23：对标记后的卸油图像进行卷积神经网络训练。
5.根据权利要求1所述的一种基于多相机联动的卸油油管连接正确性的监控方法，其特征在于，所述S3包括：
S31：算法训练数据准备，人工在卸油图像中标记出每个连接管道的类别，将不同相机下的同一个管道标记为同一个类别；
S32：搭建卷积神经网络，提取接口连接管道特征；
S33：对标记后的卸油图像进行卷积神经网络训练：将标记后的卸油图像送入卷积神经网络进行训练，通过卷积神经网络训练后输出512位双精度的特征值；
S34：设计损失计算；
S35：通过损失函数，梯度下降训练参数优化卷积神经网络。
6.根据权利要求5所述的一种基于多相机联动的卸油油管连接正确性的监控方法，其特征在于，所述S34设计损失计算，计算公式如下：
Figure FDA0002665556020000021
其中m代表油管类别数量，
Figure FDA0002665556020000022
表示网络全连接层的输出。
CN202010917516.8A 2020-09-03 2020-09-03 一种基于多相机联动的卸油油管连接正确性的监控方法 Active CN112004063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010917516.8A CN112004063B (zh) 2020-09-03 2020-09-03 一种基于多相机联动的卸油油管连接正确性的监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010917516.8A CN112004063B (zh) 2020-09-03 2020-09-03 一种基于多相机联动的卸油油管连接正确性的监控方法

Publications (2)

Publication Number Publication Date
CN112004063A CN112004063A (zh) 2020-11-27
CN112004063B true CN112004063B (zh) 2022-04-22

Family

ID=73468263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010917516.8A Active CN112004063B (zh) 2020-09-03 2020-09-03 一种基于多相机联动的卸油油管连接正确性的监控方法

Country Status (1)

Country Link
CN (1) CN112004063B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112794274B (zh) * 2021-04-08 2021-07-06 南京东富智能科技股份有限公司 一种油罐车底部装油口安全监控方法及系统
CN115995119B (zh) * 2023-03-23 2023-07-28 山东特联信息科技有限公司 基于物联网的气瓶充装环节违规行为识别方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2176704T3 (es) * 1996-11-01 2002-12-01 Bp Oil Int Dispositivo de prueba y metodo de uso.
US20030118230A1 (en) * 2001-12-22 2003-06-26 Haoshi Song Coiled tubing inspection system using image pattern recognition
CN103939749B (zh) * 2014-04-28 2016-08-24 东北大学 基于大数据的输油管网泄漏智能自适应监控系统及方法
CN206479825U (zh) * 2016-12-29 2017-09-08 济南鲁纺仪佳自控技术有限公司 加油站网络化安全计量监控系统
US10657443B2 (en) * 2017-05-24 2020-05-19 Southwest Research Institute Detection of hazardous leaks from pipelines using optical imaging and neural network
CN107808425A (zh) * 2017-11-28 2018-03-16 刘松林 基于无人机航拍影像的油气管线巡检系统及其巡检方法
CN109271938B (zh) * 2018-09-19 2021-09-14 上海鸢安智能科技有限公司 一种基于智能视频分析技术的加油站卸油过程安全监控方法
CN110937562A (zh) * 2018-09-25 2020-03-31 龙安良 一种多功能加油站监控识别系统
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN109630905A (zh) * 2019-01-25 2019-04-16 电子科技大学 一种基于无人机遥感和深度学习的油气管道全智能巡检系统
CN110456723A (zh) * 2019-08-15 2019-11-15 成都睿晓科技有限公司 一种基于深度学习的加油站卸油区安全管控系统
CN110991586A (zh) * 2020-01-09 2020-04-10 四川远德安防检测设备有限公司 一种防卸错油监管系统
CN111582056A (zh) * 2020-04-17 2020-08-25 上善智城(苏州)信息科技有限公司 一种加油站卸油作业现场消防器材自动检测方法
CN111432182B (zh) * 2020-04-29 2021-10-08 上善智城(苏州)信息科技有限公司 一种加油站卸油场所安全监管方法及系统

Also Published As

Publication number Publication date
CN112004063A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN113642088B (zh) 一种施工进度信息反馈及bim模型实时展示偏差的方法
CN112801230B (zh) 一种配电线路无人机智能验收方法
CN109800697B (zh) 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法
CN112004063B (zh) 一种基于多相机联动的卸油油管连接正确性的监控方法
CN105447868A (zh) 一种微小型无人机航拍数据的自动检查方法
US20230052727A1 (en) Method and system for detecting physical features of objects
CN107993057A (zh) 一种基于bim的建筑施工监管方法
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
CN112037180B (zh) 染色体分割方法及装置
CN112417947B (zh) 关键点检测模型的优化及面部关键点的检测方法及装置
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN109389322A (zh) 基于目标检测和长短时记忆模型的导地线断散股识别方法
CN114862832A (zh) 缺陷检测模型的优化方法、装置、设备及存储介质
CN111044149A (zh) 电压互感器的温度异常点检测方法、装置及可读存储介质
CN112465977B (zh) 基于稠密点云修补三维模型水面漏洞的方法
CN114359619A (zh) 基于增量学习的电网缺陷检测方法、装置、设备和介质
KR20210037199A (ko) 자동 분할 태깅 장치 및 이를 이용하여 학습된 손상영역 검출 장치
CN117173568A (zh) 目标检测模型训练方法和目标检测方法
CN117094660A (zh) 一种基于数字孪生技术的施工监控方法及系统
CN116993665A (zh) 一种基于计算机视觉的建筑工程作业面施工进度的智能检测方法
KR20230056006A (ko) 3차원 모델을 통한 인공지능 기반 안전진단 장치 및 그 방법
WO2020239088A1 (zh) 一种保险理赔处理方法及装置
CN115294448A (zh) 一种农作物育种小区苗数计数方法、装置及系统
CN116188703B (zh) 一种基于bim的建筑工程可视化管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 1, Floor 10, Building 2, No. 11, Wuke East 4th Road, Wuhou District, Chengdu, Sichuan, 610041

Patentee after: Sichuan Honghe Communication Group Co.,Ltd.

Address before: No.1, 10th floor, building 2, No.11, Wuke Dongsi Road, Wuhou District, Chengdu, Sichuan 610000

Patentee before: SICHUAN HONGHE COMMUNICATION Co.,Ltd.

CP03 Change of name, title or address
CP01 Change in the name or title of a patent holder

Address after: No. 1, Floor 10, Building 2, No. 11, Wuke East 4th Road, Wuhou District, Chengdu, Sichuan, 610041

Patentee after: Sichuan Honghe Digital Intelligence Group Co.,Ltd.

Address before: No. 1, Floor 10, Building 2, No. 11, Wuke East 4th Road, Wuhou District, Chengdu, Sichuan, 610041

Patentee before: Sichuan Honghe Communication Group Co.,Ltd.

CP01 Change in the name or title of a patent holder