CN115457297B - 航油油库漏油检测方法、装置及航油安全运维系统 - Google Patents

航油油库漏油检测方法、装置及航油安全运维系统 Download PDF

Info

Publication number
CN115457297B
CN115457297B CN202211014424.4A CN202211014424A CN115457297B CN 115457297 B CN115457297 B CN 115457297B CN 202211014424 A CN202211014424 A CN 202211014424A CN 115457297 B CN115457297 B CN 115457297B
Authority
CN
China
Prior art keywords
oil
image
detection
detected
flange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211014424.4A
Other languages
English (en)
Other versions
CN115457297A (zh
Inventor
黄腾飞
张安瑜
肖鹏西
汤坚
范亮
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongke Zhi Tour Technology Co ltd
China Aviation Oil Group Co ltd
Original Assignee
Guangzhou Zhongke Zhi Tour Technology Co ltd
China Aviation Oil Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongke Zhi Tour Technology Co ltd, China Aviation Oil Group Co ltd filed Critical Guangzhou Zhongke Zhi Tour Technology Co ltd
Priority to CN202211014424.4A priority Critical patent/CN115457297B/zh
Publication of CN115457297A publication Critical patent/CN115457297A/zh
Application granted granted Critical
Publication of CN115457297B publication Critical patent/CN115457297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本申请提供一种航油油库漏油检测方法、装置及航油安全运维系统。其中,所述方法包括:获取航油油库油料容器的待检测图像;将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息;其中,法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域;针对待检测图像的漏油检测区域,基于待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值,提取待检测图像的漏油检测区域中的油滴;在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定待检测图像的法兰盘位置处存在漏油。如此可以提高漏油检测的时效性。

Description

航油油库漏油检测方法、装置及航油安全运维系统
技术领域
本发明涉及航油油库安全检测技术领域,尤其涉及一种航油油库漏油检测方法、装置及航油安全运维系统。
背景技术
航空机场的航油油库是航空机场的重要设施,是保障机场能够顺利运转的基础,这些航油油库的安全运维管理是运维管理工作的重点之一。
相关技术中,利用便携式检测仪器通过人工巡视的方式,对航空机场的航油油库等设施进行监测。然而,人工巡视逐步检测的任务量大,不能够及时检测到设备存在的问题。
发明内容
本申请提供一种航油油库漏油检测方法、装置及航油安全运维系统,以提高漏油检测的时效性。
本申请提供一种航油油库漏油检测方法,所述方法包括:
获取航油油库油料容器的待检测图像;
将所述待检测图像输入法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;
基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域;
针对所述待检测图像的漏油检测区域,基于所述待检测图像的像素值与所述待检测图像前一时刻检测图像的像素值的差值,提取所述待检测图像的漏油检测区域中的油滴;
在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定所述待检测图像的法兰盘位置处存在漏油。
进一步的,在所述将所述待检测图像,输入至法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息之后,所述方法还包括:
基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的喷油检测区域;对所述喷油检测区域进行划分,得到多个喷油检测子区域;
将每一喷油检测子区域输入目标分类模型,以输出所述喷油检测子区域的类别信息;其中,所述目标分类模型是根据样本喷油检测子区域,以及样本喷油检测子区域的类别信息进行训练的,所述类别信息包括:未喷油,喷油以及下雨;
基于各所述喷油检测子区域的类别信息,确定所述待检测图像的喷油检测区域是否存在喷油;在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定所述待检测图像的法兰盘位置处存在喷油。
进一步的,所述法兰盘检测模型为基于YOLOv5的目标检测模型,所述法兰盘检测模型包括主干网络和颈部网络,所述主干网络采用跨阶段局部网络CSPNet结构,所述颈部网络采用路径聚合网络PANet结构;采用如下方式,训练所述法兰盘检测模型:
获取多个样本检测图像;对各所述样本检测图像中航油油库油料容器连接处的法兰盘进行标注,得到样本标注图像,所述样本标注图像中包含样本检测图像的法兰盘位置信息;
对各所述样本标注图像进行清洗处理和扩充处理,得到样本数据集;从所述样本数据集中确定训练样本数据,所述训练样本数据包含多个第一样本检测图像以及各第一样本检测图像的法兰盘位置信息;
将各所述第一样本检测图像输入法兰盘检测模型的主干网络,以输出所述第一样本检测图像的第一特征图;将各所述第一特征图输入法兰盘检测模型的颈部网络,以输出所述第一样本检测图像的第二特征图;
计算各所述第二特征图的类别,以得到所述第一样本检测图像的预测法兰盘位置;根据所述第一样本检测图像的预测法兰盘位置,以及所述第一样本检测图像的法兰盘位置信息,计算当前损失;
根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型。
进一步的,在所述对各所述样本标注图像进行清洗处理和扩充处理,得到样本数据集之后,所述方法还包括:
从所述样本数据集中确定测试样本数据,所述测试样本数据包含多个第二样本检测图像以及各第二样本检测图像的法兰盘位置信息;将各所述第二样本检测图像输入训练好的法兰盘检测模型中,以输出所述第二样本检测图像的预测法兰盘位置;
根据所述第二样本检测图像的预测法兰盘位置,以及所述第二样本检测图像的法兰盘位置信息,计算法兰盘检测模型的准确率;
所述根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型,包括:
根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,且所述法兰盘检测模型的准确率达到预设条件,得到训练好的法兰盘检测模型。
进一步的,所述样本检测图像包括正样本检测图像和负样本检测图像,所述正样本检测图像为:所述航油油库油料容器不同管道连接处珐琅的模拟滴油和/或喷油图像,所述负样本检测图像为:所述航油油库油料容器不同管道连接处珐琅的不同时段、不同天气、不同角度或不同距离下正常状态图像;
和/或,所述法兰盘检测模型的当前损失为:1与目标比重的差值,其中,所述目标比重为第一比重和第二比重的差值,所述第一比重为第一样本检测图像的法兰盘预测框与第一样本检测图像的法兰盘真实框的交并比,所述第二比重为第一检测区域与第二检测区域的面积比值,所述第二检测区域为包括所述第一样本检测图像的法兰盘预测框和所述第一样本检测图像的法兰盘真实框的最小框,所述第一检测区域为所述第二检测区域中除所述第一样本检测图像的法兰盘预测框和所述第一样本检测图像的法兰盘真实框的区域。
进一步的,所述基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域,包括:将所述待检测图像中法兰盘正下方区域,确定为所述待检测图像的漏油检测区域;
所述基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的喷油检测区域,包括:将覆盖所述待检测图像中法兰盘的区域,确定为所述待检测图像的喷油检测区域。
进一步的,所述提取所述待检测图像的漏油检测区域中的油滴之后,所述方法还包括:确定所述油滴的面积是否不大于预设阈值;如果所述油滴的面积大于所述预设阈值,则确定所述待检测图像的漏油检测区域不存在油滴;如果所述油滴的面积不大于所述预设阈值,则确定所述待检测图像的漏油检测区域存在油滴;
和/或,
在所述确定所述待检测图像的法兰盘位置处存在漏油之后,所述方法还包括:根据所述待检测图像的法兰盘位置处存在漏油的结果,生成报警信息;向航油安全运维系统中的中心服务器发送报警信息。
本申请提供一种航油油库漏油检测装置,所述装置包括:
图像获取模块,用于获取航油油库油料容器的待检测图像;
位置预测模块,用于将所述待检测图像输入法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;
区域确定模块,用于基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域;
油滴提取模块,用于针对所述待检测图像的漏油检测区域,基于所述待检测图像的像素值与所述待检测图像前一时刻检测图像的像素值的差值,提取所述待检测图像的漏油检测区域中的油滴;
漏油检测模块,用于在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定所述待检测图像的法兰盘位置处存在漏油。
本申请提供一种航油安全运维系统,所述航油安全运维系统包括:中心服务器及与所述中心服务器连接的多个边缘处理子系统,所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备;
多个所述边缘处理子系统,用于通过航油数据采集终端采集的数据,并采用所述边缘计算设备处理所述数据,得到处理结果,并向所述中心服务器发送所述处理结果;
多个所述边缘处理子系统还包括航油油库的边缘处理子系统,所述航油油库的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括边缘计算服务器,所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端,所述智能感知终端与所述边缘计算服务器进行通信,所述边缘计算服务器包括如上所述的航油油库漏油检测装置。
进一步的,多个所述边缘处理子系统还包括航空加油车的边缘处理子系统,所述航空加油车的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括第一边缘计算终端,所述航油数据采集终端包括与所述第一边缘计算终端连接的视频监控终端;所述航空加油车的边缘处理子系统,用于通过视频监控终端采集与航空加油车相关的数据,并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据,得到第一处理结果,以及向所述中心服务器发送所述第一处理结果;
和/或,
所述航油油库的边缘处理子系统,用于通过所述智能感知终端获取与油库相关的数据,并使用所述边缘计算服务器处理所述与油库相关的数据,得到第二处理结果,以及向所述中心服务器发送所述第二处理结果;
和/或,
多个所述边缘处理子系统还包括航油管线的边缘处理子系统,所述航油数据采集终端包括飞行器,所述边缘计算设备包括第二边缘计算终端,所述飞行器与所述航油管线的边缘处理子系统进行通信,其中,所述航油油库的边缘处理子系统,用于通过所述飞行器获取与航油管线的相关的数据,并使用所述第一边缘计算终端处理所述与航油管线的相关的数据,得到第三处理结果,以及向所述中心服务器发送所述第三处理结果。
本申请实施例提供的一种航油油库漏油检测方法、装置及航油安全运维系统,可以获取航油油库油料容器的待检测图像,将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息,基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域,针对待检测图像的漏油检测区域,基于待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值,提取待检测图像的漏油检测区域中的油滴,在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定待检测图像的法兰盘位置处存在漏油,实现了航油油库油料容器是否存在漏油的快速分析判断。如此通过法兰盘检测模型进行检测,不需要人工逐步检测,人工的工作量小,也能够及时发现航油油库油料容器的漏油情况,提高漏油检测的时效性。
附图说明
图1所示为本申请实施例的航油油库漏油检测方法的应用实例的整体示意图;
图2所示为本申请实施例的航油油库漏油检测方法的应用实例的具体示意图;
图3所示为图2所示的应用实例中的航油油库的边缘处理子系统的的结构示意图;
图4所示为图2所示的航油安全运维系统的后端部署的结构示意图;
图5所示为本申请实施例的航油油库漏油检测方法的流程图;
图6所示为本申请实施例的漏油、喷油检测区域展示示意图;
图7所示为本申请实施例的喷油检测方法的示意图;
图8所示为本申请实施例的法兰盘检测模型训练方法的示意图;
图9所示为本申请实施例的样本标注图像示意图;
图10a所示为本申请实施例的一种检测框展示示意图;
图10b所示为本申请实施例的另一种检测框展示示意图;
图11所示为本申请实施例的航油油库漏油检测装置的结构示意图;
图12所示为本申请实施例的航油油库漏油检测系统的结构示意图;
图13所示为本申请实施例的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
为解决上述人工巡视的方式的任务量大,不能够及时检测到设备存在的问题,本申请实施例提供了一种航油油库漏油检测方法、装置及航油安全运维系统。
本申请的一个实施例中,提供了一种航油油库漏油检测方法,可以获取航油油库油料容器的待检测图像,将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息,基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域,针对待检测图像的漏油检测区域,基于待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值,提取待检测图像的漏油检测区域中的油滴,在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定待检测图像的法兰盘位置处存在漏油。如此通过法兰盘检测模型进行检测,不需要人工逐步检测,人工的工作量小,也实现了航油油库油料容器是否存在漏油的快速分析判断,能够及时发现航油油库油料容器的漏油情况,提高了漏油检测的时效性,同时节省了人工成本。
图1所示为本申请实施例的航油油库漏油检测方法的应用实例的整体示意图。
如图1所示,航油油库漏油检测方法的应用系统可以包括但不限于为航油算法协助系统。航油算法协助系统包括航油安全运维系统10。航油安全运维系统10包括中心服务器11及与中心服务器11连接的多个边缘处理子系统12,边缘处理子系统12包括航油数据采集终端1211及与航油数据采集终端1211连接的边缘计算设备1212。边缘计算设备1212可以实现对航油数据采集终端1211的配置。
多个边缘处理子系统12,用于通过航油数据采集终端1211采集的数据,并采用边缘计算设备1212处理数据,得到处理结果,并向中心服务器发送处理结果。如此,通过边缘处理子系统12处理各航油数据采集终端1211的数据,向中心服务器11发送处理结果,数据来源多样,方便整合展示。
其中,上述中心服务器11可以但不限于包括报警设备13,该报警设备13用于发出警报。此警报可以是声光电等各种方式的警报。在此不一一举例。上述数据可以包括从航油数据采集终端1211采集的实时视频流。进一步的,上述数据可以包括报警信息,采用边缘计算设备1212处理数据中的报警信息,得到报警处理结果。在报警处理结果为需要上报报警的处理结果的情况下,向中心服务器11发送该处理结果,中心服务器11控制报警设备13进行报警。
图2所示为本申请实施例的航油油库漏油检测方法的应用实例的具体示意图。
如图2所示,上述多个边缘处理子系统12相对于中心服务器11呈分布式设置。多个边缘处理子系统可以但不限于包括航油管线201的边缘处理子系统211、航空加油车202的边缘处理子系统212及航油油库203的边缘处理子系统213中的多种。如此,各边缘处理子系统12相对于中心服务器11分布式分布,并通过各边缘处理子系统12处理数据后,向中心服务器11发送处理结果,各边缘处理子系统12分担中心服务器11的处理量,降低中心服务器11的负担,并且,通过各边缘处理子系统12自动处理有效数据,数据的利用价值高,主动监控,避免人工观测遗漏。
其中,多个边缘处理子系统12包括航油管线201的边缘处理子系统211,航油数据采集终端1211包括飞行器2111,飞行器2111与航油管线201的边缘处理子系统211进行通信。其中,飞行器2111包括无人机,无人机可采集可见光图像及视频数据。边缘计算设备1212包括第二边缘计算终端2112,飞行器2111与航油管线201的边缘处理子系统211进行通信,其中,航油管线201的边缘处理子系统211,用于通过飞行器2111获取与航油管线201的相关的数据,并使用第二边缘计算终端2112处理与航油管线201的相关的数据,得到第三处理结果,以及向中心服务器11发送第三处理结果,以实现航油管线防外破无人机巡视。
航空加油车202的边缘处理子系统212与中心服务器11连接,航油数据采集终端1211包括与第一边缘计算终端2122连接的数据采集设备2121,边缘计算设备1212包括第一边缘计算终端2122。“第一边缘计算终端2122”中的“第一”和“第二边缘计算终端2112”中的“第二”,用来区分两个边缘计算终端。
航空加油车202的边缘处理子系统212,用于通过数据采集设备2121采集与航空加油车202相关的数据,并使用航空加油车202的第一边缘计算终端2122处理航空加油车202相关的数据,得到第一处理结果,以及向中心服务器11发送第一处理结果,以实现航空加油车202的安全运行。其中,数据采集设备2121可以包括视频监控终端。示例性的,视频监控终端包括摄像头及监控器中的一种或多种,在此不再一一举例。数据采集设备2121可以采集可见光图像及视频数据。视频监控终端比如为NVR(Network Video Recorder,网络视频录像机)。
图3所示为图2所示的应用实例中的航油油库的边缘处理子系统的的结构示意图。
继续如图3所示,边缘计算设备1212包括边缘计算服务器2132,航油数据采集终端1211包括与边缘计算服务器2132连接的智能感知终端2131。航油油库203的边缘处理子系统213,用于通过智能感知终端2131获取与油库相关的数据,并使用边缘计算服务器2132处理与油库相关的数据,得到第二处理结果,以及向中心服务器11发送第二处理结果,以实现航油油库203的安全运维。其中,智能感知终端2131可以包括防爆云台摄像机、防爆热成像筒型摄像机、热成像筒型摄像机、高清枪型摄像机及红外对射报警器中的一种或多种传感设备。
示例性的,传感设备可以为可见光的传感设备。可见光的传感设备可以采集单一/批量图像和视频流。
继续图2和图3所示,航油安全运维系统10包括航油安全运维系统10的前端网页端及云端服务器。通过航油安全运维系统10的前端网页端和/或移动端登录云端服务器,以访问云端服务集群。然后,通过防火墙,中心服务器11分别与多个边缘处理子系统12进行通信。如此,通过航油安全运维系统10的中心服务器11,实现云边端的联动系统,并且,通过第一边缘计算终端2122、边缘计算服务器2132、云端服务器等设备的计算结果,进行信息的整合和展示。
通过云、边、端结合的方式实现对航油管线201、航空加油车202、航油油库203的智能化安全运维,对不同场景使用不同的智能计算设备与算法,实现多种场景有效结合,云、边、端同步协作的航油算法协助系统。
图4所示为图2所示的航油安全运维系统10的后端部署的结构示意图。如图4所示,航油安全运维系统10部署在后端,实现对航油数据采集终端1211所采集的数据的存储与管理,并为航油数据采集终端1211提供智能推理服务,并对外提供规范化的接口定义方式。建立对不同服务能力和接口方式的管理界面。实现统一纳管、版本控制、统一授权、运行配置和应用统计。
在本申请实施例中,针对航空加油车的安全运行、航油油库安全运维管理、航油管线防外破无人机巡视进行了智能化的升级,实现了这些场景的算法与运维系统的结合,在不同场景根据需要部署了云、边、端设备协同技术方案,实现了多种设备协同作业的航油安全运维管理。
下面通过具体实施例对本申请提供的航油油库漏油检测方法进行详细说明。
本申请实施例提供的一种航油油库漏油检测方法,可以应用于航空机场的航油油库、管线、航空加油车以及收油棚区域等设施场景中。以下以边缘计算服务器2132为例进行说明,在此并不做限定。
请参见图5,图5所示为本申请实施例提供的一种航油油库漏油检测方法的流程示意图,该方法可以包括如下步骤:
S401,获取航油油库油料容器的待检测图像。
本申请实施例中,油料容器可以但不限于为航油油库油罐和管线进出口及收油棚区域的设备。本申请实施例以航油油库的油料容器为监控对象进行说明,在航油油库侧可以部署油库法兰盘检测IPC(Internet Protocol Camera,网络摄像头)设备,油库园区关键卡口IPC设备、油库园区围墙外围IPC设备以及油库禁区监测IPC设备等,进而通过各个部署的IPC设备采集航油油库的图像。
针对航油油库安全管理中的油料泄漏情况,可以通过航油油库侧部署的IPC设备采集航油油库油料容器的图像,以得到待检测图像。
S402,将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息。
在获取待检测图像之后,将该待检测图像输入到预先训练好的法兰盘检测模型中进行法兰盘位置的检测,以得到法兰盘检测模型输出的待检测图像的法兰盘位置信息。其中,预先训练好的法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的。
一个例子中,得到的待检测图像的法兰盘位置信息可以是待检测图像中法兰盘的坐标信息以及大小信息等,该坐标信息能够清晰的知晓航油油库油料容器管道连接处法兰盘所在的位置。示例性的,待检测图像的法兰盘位置信息在待检测图像中可以使用法兰盘检测框表示。
S403,基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域。
通常情况下,漏油发生在管道连接处,在检测到待检测图像的法兰盘位置信息之后,可以根据该法兰盘的位置信息来确定待检测图像中可能会发生漏油的区域,以得到待检测图像的漏油检测区域。
作为一个实施例,步骤S403基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域,可以包括:
将待检测图像中法兰盘正下方区域,确定为待检测图像的漏油检测区域。
在确定待检测图像的法兰盘位置信息之后,将待检测图像中与法兰盘检测框相邻的正下方区域,确定为待检测图像的漏油检测区域。实际应用中,所确定的待检测图像的漏油检测区域的大小可以根据实际需求进行设定。
示例性的,如图6所示,检测到的待检测图像的法兰盘位置信息表示为图6中法兰盘预测框A,将待检测图像中法兰盘正下方区域,确定为待检测图像的漏油检测区域(图6中滴油检测区B)。
本申请实施例中,将待检测图像中法兰盘正下方区域,确定为待检测图像的漏油检测区域,以准确的识别法兰盘处是否存在漏油情况。
S404,针对待检测图像的漏油检测区域,基于待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值,提取待检测图像的漏油检测区域中的油滴。
在确定待检测图像的漏油检测区域之后,可以基于高斯混合模型的背景减除算法,对漏油检测区域是否存在滴油进行检测。一个例子中,针对待检测图像的漏油检测区域,计算待检测图像各像素点的像素值,与该待检测图像前一时刻检测图像各像素点的像素值的差值,或者计算待检测图像漏油检测区域各像素点的像素值,与该待检测图像前一时刻检测图像漏油检测区域各像素点的像素值的差值,将差值不为0的像素点的像素值设置为255,将差值为0的像素点的像素值设置为0,以将待检测图像中滴落的油滴从静态的背景中提取出来。其中,待检测图像前一时刻检测图像,为航油油库油料容器的同一位置处,采集待检测图像前一时刻所采集的检测图像。
计算待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值(即后一帧检测图像减去前一帧检测图像)的方法,不会受到环境光照变化的影响,能够实时更新静态背景信息,进而更准确的提取到待检测图像的漏油检测区域中的油滴。
S405,在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定待检测图像的法兰盘位置处存在漏油。
由于滴油是一个持续的过程,在漏油检测区域中持续检测到有动态油滴的情况下,则为该漏油检测区域存在漏油现象。进而,在提取到待检测图像的漏油检测区域中的油滴的情况下,为了避免误检测,可以判断预设时间段内所采集到的多个待检测图像中是否均有油滴,如果是,则确定待检测图像的法兰盘位置处存在漏油,如果不是,则确定为误检测。其中,预设时间段的时长可以根据实际需求进行设置。
作为一个实施例,在确定待检测图像的法兰盘位置处存在漏油的情况下,可以生成漏油告警信息,并将该漏油告警信息发送给用户,以及时告知用户航油油库油料容器的法兰盘处存在漏油情况。
在所述步骤405之后,方法还包括:根据待检测图像的法兰盘位置处存在漏油的情况,生成报警信息;向航油安全运维系统中的中心服务器发送报警信息。
本申请实施例提供的一种航油油库漏油检测方法,可以获取航油油库油料容器的待检测图像,将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息,基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域,针对待检测图像的漏油检测区域,基于待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值,提取待检测图像的漏油检测区域中的油滴,在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定待检测图像的法兰盘位置处存在漏油,实现了航油油库油料容器是否存在漏油的快速分析判断,能够及时发现航油油库油料容器的漏油情况,提高了漏油检测的时效性,同时节省了人工成本。
作为一个实施例,上述步骤S404中提取待检测图像的漏油检测区域中的油滴之后,上述方法还可以包括:
确定油滴的面积是否不大于预设阈值;
如果油滴的面积大于预设阈值,则确定待检测图像的漏油检测区域不存在油滴;
如果油滴的面积不大于预设阈值,则确定待检测图像的漏油检测区域存在油滴。
由于油滴较小,为了更加明显的确定待检测图像的漏油检测区域是否存在滴油,可以利用opencv(开源计算机视觉)库膨胀算法,对油滴面积进行扩大。opencv算法,还可以过滤掉一些噪声,例如摄像机极小的抖动产生的背景变化产生的噪声等。
在提取待检测图像的漏油检测区域中的油滴之后,利用opencv库膨胀算法,对油滴面积进行扩大处理,之后根据漏油检测区域中二值图进行油滴轮廓面积检测,设定预设阈值,将处理后的油滴的面积与预设阈值进行比较。在油滴的面积大于预设阈值的情况下,确定待检测图像的漏油检测区域不存在油滴;在油滴的面积不大于预设阈值的情况下,确定待检测图像的漏油检测区域存在油滴,以排除有其他人或生物经过,或者下雨天气等产生的干扰。其中,预设阈值可以根据实际需求进行设置,示例性的,预设阈值可以设置为0.5-3个油滴面积的大小,一个油滴面积根据实际情况而定。
在确定待检测图像的漏油检测区域存在油滴之后,所述方法还包括:根据所述待检测图像的漏油检测区域存在油滴的结果,生成报警信息;向航油安全运维系统中的中心服务器发送报警信息。
本申请实施例中,确定油滴的面积是否不大于预设阈值,在油滴的面积大于预设阈值的情况下,确定待检测图像的漏油检测区域不存在油滴,在油滴的面积不大于预设阈值的情况下,确定待检测图像的漏油检测区域存在油滴,以排除有其他人或生物经过,或者下雨天气等产生的干扰,精确的确定待检测图像的漏油检测区域是否存在油滴。
作为一个实施例,在确定待检测图像的法兰盘位置信息之后,可以进一步确定待检测图像的法兰盘位置处是否存在喷油,法兰盘位置处喷油可能是在法兰盘位置处漏油之后发生的,也可能是受到意外撞击等直接发生的现象。
如图7所示,在确定待检测图像的法兰盘位置信息之后,确定待检测图像的法兰盘位置处是否存在喷油可以包括以下步骤:
S601,基于待检测图像的法兰盘位置信息,确定待检测图像的喷油检测区域。
喷油与滴油不同在于,喷油喷射的油方向会是任意的,不会和滴油一样固定通过漏油检测区域(图6中滴油检测区B),且,喷油喷射的油量也无法预测,故而不能通过背景减法来判断是否发生喷油。
在检测到待检测图像的法兰盘位置信息之后,可以根据该法兰盘的位置信息来确定待检测图像中可能会发生喷油的区域,以得到待检测图像的喷油检测区域。
作为一个实施例,步骤S601基于待检测图像的法兰盘位置信息,确定待检测图像的喷油检测区域,可以包括:
将覆盖待检测图像中法兰盘的区域,确定为待检测图像的喷油检测区域。
在确定待检测图像的法兰盘位置信息之后,将覆盖待检测图像中法兰盘的区域,确定为待检测图像的喷油检测区域,实际应用中,所确定的待检测图像的喷油检测区域的大小可以根据实际需求进行设定。
示例性的,如图6所示,检测到的待检测图像的法兰盘位置信息表示为图6中法兰盘预测框A,将覆盖待检测图像中法兰盘的区域,确定为待检测图像的喷油检测区域(图6中喷油检测区C)。
本申请实施例中,将覆盖待检测图像中法兰盘的区域,确定为待检测图像的喷油检测区域,以准确的识别法兰盘处是否存在喷油情况。
S602,对喷油检测区域进行划分,得到多个喷油检测子区域。
实际应用中,喷油的喷射区域不可能是整个连接处(即法兰盘所在区域),而可能是连接处的某一小块区域,且,对整个喷油检测区域进行喷油检测,因喷油检测区域面积较大,检测效果也不会理想,故而,可以对喷油检测区域进行划分,得到多个喷油检测子区域。具体对喷油检测区域进行划分的方式可以是平均划分,或者随机划分等。示例性的,如图6所示,将喷油检测区C平均划分为4个喷油检测子区域,进而,对每一喷油检测子区域进行喷油检测。
S603,将每一喷油检测子区域输入目标分类模型,以输出喷油检测子区域的类别信息。
在对每一喷油检测子区域进行喷油检测时,可以将待检测图像的每一喷油检测子区域输入预先训练好的目标分类模型中进行喷油类别的识别,以得到目标分类模型输出的该喷油检测子区域的类别信息。其中,预先训练好的目标分类模型是根据样本喷油检测子区域,以及样本喷油检测子区域的类别信息进行训练的,类别信息可以包括:未喷油,喷油以及下雨。
一个例子中,目标分类模型可以是基于ResNet_50(Residual Network,残差网络)训练得到的。参与目标分类模型训练的样本图像数据可以包括:管道连接处无泄露图像数据、管道连接处喷油的法兰盘图像数据以及以法兰盘为背景的下雨的图像数据,即标注未喷油类别信息的样本喷油检测子区域图像数据,标注喷油类别信息的样本喷油检测子区域图像数据,标注下雨类别信息的样本喷油检测子区域图像数据。在训练目标分类模型时,可以边训练边测试目标检测模型的准确度,在目标检测模型的准确度不再提高的情况下,停止训练以得到训练好的目标分类模型。
S604,基于各喷油检测子区域的类别信息,确定待检测图像的喷油检测区域是否存在喷油。
一个例子中,在存在至少一个喷油检测子区域的类别信息为喷油类别信息的情况下,则确定待检测图像的喷油检测区域存在喷油现象。
S605,在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定待检测图像的法兰盘位置处存在喷油。
喷油也是一个持续的过程,在检测到存在一两张待检测图像的法兰盘位置处存在喷油的情况下,可能存在误判。进而,在确定待检测图像的喷油检测区域存在喷油现象的情况下,为了避免误判,可以判断预设时间段内是否存在多个待检测图像的喷油检测区域存在喷油,如果是,则确定待检测图像的法兰盘位置处存在喷油,如果不是,则确定为误判。其中,预设时间段的时长可以根据实际需求进行设置。
作为一个实施例,在确定待检测图像的法兰盘位置处存在喷油的情况下,可以生成喷油告警信息,并将该喷油告警信息发送给用户,以及时告知用户航油油库油料容器的法兰盘处存在喷油情况。
本申请实施例提供的一种航油油库漏油检测方法,可以获取航油油库油料容器的待检测图像,将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息,基于待检测图像的法兰盘位置信息,确定待检测图像的喷油检测区域,对喷油检测区域进行划分,得到多个喷油检测子区域,将每一喷油检测子区域输入目标分类模型,以输出该喷油检测子区域的类别信息,基于各喷油检测子区域的类别信息,确定待检测图像的喷油检测区域是否存在喷油,在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定待检测图像的法兰盘位置处存在喷油,实现了航油油库油料容器是否存在喷油的快速分析判断,能够及时发现航油油库油料容器的喷油情况,提高了喷油检测的时效性,同时节省了人工成本。
作为一个实施例,上述法兰盘检测模型可以为基于YOLOv5(You Only Look Once,你只看一次)的目标检测模型,该法兰盘检测模型包括主干网络(Backbone)和颈部网络(Neck),主干网络采用CSPNet(Cross Stage Partial Network,跨阶段局部网络)结构,颈部网络采用PANet(Path Aggregation Network,路径聚合网络)结构。
如图8所示,采用如下步骤,训练法兰盘检测模型:
S701,获取多个样本检测图像。
本申请实施例中,可以通过部署于航油油库侧的IPC设备采集航油油库的图像,以获取多个航油油库油料容器的样本检测图像。
作为一个实施例,所获取的样本检测图像可以包括正样本检测图像和负样本检测图像,其中,正样本检测图像为:航油油库油料容器不同管道连接处珐琅的模拟滴油和/或喷油图像,负样本检测图像为:航油油库油料容器不同管道连接处珐琅的不同时段、不同天气、不同角度或不同距离下正常状态图像。
因实际应用中不同试点的油库很难采集到漏油(或称滴漏)或者喷油情况下的数据,故而在采集正样本检测图像时,可以采用模拟滴漏、喷油的方法,在航油油库油料容器不同管道连接处进行模拟作业,仿制场景相似的数据,以得到正样本检测图像。一个例子中,可以针对一个场景采集不低于预设数量个有效不重复的正样本检测图像,所获取的全部正样本检测图像可以是均匀采集航油油库油料容器各个不同管道连接处珐琅的模拟滴油和/或喷油图像。示例性的,预设数量可以根据实际需求进行设置,比如1000、2000或3000等等。
负样本检测图像可以采集航油油库油料容器不同管道连接处珐琅的不同时段、不同天气、不同角度或不同距离下正常状态图像。
本申请实施例中,采集航油油库油料容器不同管道连接处珐琅的模拟滴油和/或喷油图像,作为正样本检测图像,采集航油油库油料容器不同管道连接处珐琅的不同时段、不同天气、不同角度或不同距离下正常状态图像,作为负样本检测图像,以便于准确的训练法兰盘检测模型。
S702,对各样本检测图像中航油油库油料容器连接处的法兰盘进行标注,得到样本标注图像。
在获取样本检测图像之后,可以利用现有标注工具,对各样本检测图像中航油油库油料容器连接处的法兰盘进行标注,以得到样本标注图像。其中,样本标注图像中包含样本检测图像的法兰盘位置信息。
航油油库油料容器发生漏液的区域可能在连接处的法兰盘处,还可能在珐琅区域,进而,在对各样本检测图像中航油油库油料容器连接处的法兰盘进行标注时,还可以对珐琅区域进行标注等。一个例子中,样本标注图像中还可以包含法兰盘类别信息,以及珐琅区域信息等。
示例性的,如图9所示,图9中方框框起来的区域即样本标注图像中的标注区域。在得到样本标注图像之后,一个例子中,可将样本标注图像以VOC数据格式(一种音频文件格式)保存为XML(Extensible Markup Language,可扩展标记语言)文件,再将VOC数据格式转换为YOLOv5的数据格式,作为参与法兰盘检测模型训练的数据集。
S703,对各样本标注图像进行清洗处理和扩充处理,得到样本数据集。
在对样本检测图像中航油油库油料容器连接处的法兰盘进行标注后,可以进一步对各样本标注图像进行清洗处理和扩充处理。一个例子中,可以对各样本标注图像中不包含标注对象(即法兰盘)的图像,以及噪声比较大的图像进行清洗处理。进一步的,采用Mosaic数据增强方法对各样本标注图像进行扩充处理,Mosaic数据增强方法能够对各样本标注图像进行随机缩放、随机裁剪以及随机排布的方式进行拼接等处理,能够丰富检测物体的背景和小目标,使得在计算Batch Normalization(批归一化)的时候一次会计算四张图像的数据,使得mini-batch(批处理)大小不需要很大。
一个例子中,可以对各样本标注图像进行清洗处理和扩充处理之后得到的样本数据集中的各样本标注图像,进行归一化处理。示例性的,可以采用自适应图像缩放算法,将样本标注图像的长边缩放到统一尺寸,比如608像素,短边以相同的比例缩放,不足608的部分对64取余数,然后用0对短边填充余数个长度,并且同时对标注的法兰盘位置信息做相同的变换,将归一化处理后的图像作为参与法兰盘检测模型训练的样本图像数据。这样在模型训练时每个迭代过程中输入法兰盘检测模型的图像数据都不相同,可以增加模型的鲁棒性。
S704,从样本数据集中确定训练样本数据,训练样本数据包含多个第一样本检测图像以及各第一样本检测图像的法兰盘位置信息。
在得到样本数据集后,可以将样本数据集中一部分样本数据作为训练样本数据,另一部分作为测试样本数据。可选的,可以对样本数据集进行划分,将其中的80%作为训练样本数据,剩余的20%作为测试样本数据。
为了便于区分训练样本数据与测试样本数据,可以将训练样本数据中包含的样本数据定义为第一样本检测图像以及各第一样本检测图像的法兰盘位置信息,将测试样本数据中包含的样本数据定义为第二样本检测图像以及各第二样本检测图像的法兰盘位置信息。
S705,将各第一样本检测图像输入法兰盘检测模型的主干网络,以输出该第一样本检测图像的第一特征图。
法兰盘检测模型可以为基于YOLOv5的目标检测模型,YOLOv5是一种基于卷积神经网络的端到端目标对象检测算法,它将目标检测问题转变为回归问题,这种方法显著提高了物体检测速度。具体来说,基于YOLOv5的目标检测模型,输入图像被划分为S×S的网格,如果物体的真实中心在其边界内,该网格负责检测对象。然后,对象由每个网格上的一个界框预测,边界框和类别概率的最终坐标通过回归算法生成。针对Anchor Boxes(锚框)聚类,为了准确检测图像中的不同尺度绝缘体,在采集的数据集中采用k-means(k-meansclustering algorithm,k均值聚类算法)聚类算法,以便提前获得更合适的锚框盒大小。
法兰盘检测模型的主干网络采用CSPNet结构,CSPNet的思想是,将feature map(特征图)拆成两个部分,一部分进行卷积操作,另一部分和上一部分卷积操作的结果进行concate(连接)操作,以增强卷积神经网络的学习能力,能够在轻量化的同时保持准确性,降低计算瓶颈和内存成本。CSPNet通过将梯度的变化从头到尾地集成到特征图中,在减少了计算量的同时可以保证准确率。
将各第一样本检测图像输入法兰盘检测模型的主干网络中进行图像特征的提取,以输出第一样本检测图像的第一特征图。
S706,将各第一特征图输入法兰盘检测模型的颈部网络,以输出该第一样本检测图像的第二特征图。
法兰盘检测模型的颈部网络采用PANet结构,颈部网络主要用于生成特征金字塔。特征金字塔会增强模型对于不同缩放尺度对象的检测,从而能够识别不同大小和尺度的同一个物体。
PANet结构在FPN(Feature Pyramid Networks,特征金字塔网络)的基础上引入了Bottom-up path augmentation(自底向上路径增强)结构。FPN主要是通过融合高低层特征提升目标检测的效果,尤其可以提高小尺寸目标的检测效果。Bottom-up pathaugmentation结构可以充分利用网络浅层特征进行分割,因为目标检测是像素级别的分类浅层特征多是边缘形状等特征,使得网络浅层特征信息对于目标检测非常重要。PANet在FPN的基础上加了一个自底向上方向的增强,使得顶层feature map也可以享受到底层带来的丰富的位置信息,从而提升了大物体的检测效果。
将各第一特征图输入法兰盘检测模型的颈部网络中进一步进行特征的提取,以输出第一样本检测图像的第二特征图。
S707,计算各第二特征图的类别,以得到该第一样本检测图像的预测法兰盘位置。
一个例子中,YOLOv5的Backbone(骨干网络)上采用了CSPDarknet53结构、Mish激活函数、正则化方法Dropblock等方式,它是Darknet-19和Res-net模块组合起来的。骨干网络使用了Focus(焦点)结构,比如4*4*3的图像切片后变成2*2*12的特征图。以Yolov5s的结构为例,原始608*608*3的图像输入Focus结构,采用切片操作,先变成304*304*12的特征图,再经过一次32个卷积核的卷积操作,最终变成304*304*32的特征图。归一化后的数据传入神经网络进行特征提取,获得三个不同大小的特征图(19*19,38*38,76*76),为了更好的学习到图像中的特征信息,19*19的特征图通过上采样与38*38特征图进行融合,用相同的方法,将38*38特征图通过上采样与76*76特征图融合,通过这种方法,提升识别的准确率。
YOLOv5网络中采用了PANet结构,深层的特征图携带有更强的语义特征,较弱的定位信息,而浅层的特征图携带有较强的位置信息,和较弱的语义特征。FPN把深层的语义特征传到浅层,从而增强多个尺度上的语义表达,而PANet则相反把浅层的定位信息传导到深层,增强多个尺度上的定位能力。
利用提取的特征图计算类别(Classification),YOLOv5的检测结果通过3个不同的尺度,分别来检测小、中、大目标。在提取到第一样本检测图像的第二特征图后,通过计算各第二特征图的类别,以得到法兰盘检测模型预测得到的第一样本检测图像的预测法兰盘位置。
S708,根据第一样本检测图像的预测法兰盘位置,以及第一样本检测图像的法兰盘位置信息,计算当前损失。
S709,根据当前损失对法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型。
其中,预设结束条件可以根据实际需求进行设定,比如,预设结束条件可以是当前损失达到设定的精度,或者法兰盘检测模型的训练达到设定的迭代次数等等。
在本申请实施例中,法兰盘检测模型为基于YOLOv5的目标检测模型,法兰盘检测模型的主干网络采用CSPNet结构,颈部网络采用PANet结构进行训练,能够准确的提取样本检测图像的特征,进而能够实现对法兰盘的准确检测,且模型检测速度高,实现了法兰盘的快速检测。
作为一个实施例,上述步骤S708计算得到的法兰盘检测模型的当前损失为:1与目标比重的差值,其中,目标比重为第一比重和第二比重的差值,第一比重为第一样本检测图像的法兰盘预测框与第一样本检测图像的法兰盘真实框的交并比,第二比重为第一检测区域与第二检测区域的面积比值,第二检测区域为包括第一样本检测图像的法兰盘预测框和第一样本检测图像的法兰盘真实框的最小框,第一检测区域为第二检测区域中除第一样本检测图像的法兰盘预测框和第一样本检测图像的法兰盘真实框的区域。
上述预测法兰盘位置以及法兰盘位置信息在检测图像中可以表示为检测框,本申请实施例中,使用GIoU Loss计算检测框的损失。
一个例子中,先计算包括第一样本检测图像的法兰盘预测框(图10a中右上方框)和第一样本检测图像的法兰盘真实框(图10a中左下方框)的最小框(图10a中最外围框)的面积,即第二检测区域的面积。
再计算第二检测区域中除第一样本检测图像的法兰盘预测框和第一样本检测图像的法兰盘真实框的区域的面积(图10b中差集指向的区域,C为并集),即第一检测区域的面积。
再计算第一检测区域与第二检测区域的面积比值,即第二比重,
再计算第一样本检测图像的法兰盘预测框与第一样本检测图像的法兰盘真实框的交并比(IoU),即第一比重。
将第一比重和第二比重的差值确定为目标比重(GIoU)。
法兰盘检测模型的当前损失即为:1与目标比重的差值(即1-GIoU)。
示例性的,第一样本检测图像的法兰盘预测框坐标表示为第一样本检测图像的法兰盘真实框的坐标表示为其中,/>和/>分别为法兰盘预测框Bp左上角和右下角的坐标,/>和/>分别为法兰盘真实框Bg左上角和右下角的坐标。
计算法兰盘预测框Bp的面积Ag,表示为以及计算法兰盘真实框Bg的面积Ap,表示为/>采用以下公式计算法兰盘预测框Bp与法兰盘真实框Bg的重叠面积I,
其中,表示为法兰盘预测框Bp的左上角坐标,/>为法兰盘预测框Bp的右下角坐标,/>和/>分别为法兰盘预测框Bp与法兰盘真实框Bg的重叠框的左上角和右下角的坐标。
包含法兰盘预测框Bp与法兰盘真实框Bg的最小框Bc表示为:
其中,和/>分别为包含法兰盘预测框Bp与法兰盘真实框Bg的框的左上角和右下角的坐标。
计算包含法兰盘预测框Bp与法兰盘真实框Bg的最小框Bc的面积Ac,表示为
计算法兰盘预测框Bp与法兰盘真实框Bg的交并比(IoU): 其中I为交集区域,U为并集区域。
计算GIoU(Generalized Intersection over Union,广义交叉联合),法兰盘检测模型的当前损失为:LGIoU=1-GIoU。
在本申请实施例中,使用GIoU Loss计算法兰盘检测模型的当前损失,能够更好的检测法兰盘检测模型的检测效果的同时,提高了法兰盘检测模型的训练速度。
作为一个实施例,在上述法兰盘检测模型的训练过程中,步骤S403对各样本标注图像进行清洗处理和扩充处理,得到样本数据集之后,还可以包括:
步骤一、从样本数据集中确定测试样本数据,测试样本数据包含多个第二样本检测图像以及各第二样本检测图像的法兰盘位置信息;
步骤二、将各第二样本检测图像输入训练好的法兰盘检测模型中,以输出第二样本检测图像的预测法兰盘位置;
步骤三、根据第二样本检测图像的预测法兰盘位置,以及第二样本检测图像的法兰盘位置信息,计算法兰盘检测模型的准确率。
在对各样本标注图像进行清洗处理和扩充处理,得到样本数据集之后,从样本数据集中确定测试样本数据,将测试样本数据中各第二样本检测图像输入法兰盘检测模型的主干网络,以输出该第二样本检测图像的第一特征图,再将各第二样本检测图像的第一特征图输入法兰盘检测模型的颈部网络,以输出该第二样本检测图像的第二特征图,计算各第二样本检测图像的第二特征图,以得到该第二样本检测图像的预测法兰盘位置。
再计算第二样本检测图像的预测法兰盘位置,以及第二样本检测图像的法兰盘位置信息之间的偏差,以得到法兰盘检测模型当前的准确率。
在法兰盘检测模型的训练过程中,上述步骤S705-步骤S708,与步骤一-步骤三可以同步进行,也可以不同步进行,本申请实施例对此不做限定。
上述步骤S709根据当前损失对法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型,可以包括:
根据当前损失对法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,且法兰盘检测模型的准确率达到预设条件,得到训练好的法兰盘检测模型。
在上述计算得到当前损失后,可以根据当前损失对法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,且法兰盘检测模型的准确率达到预设条件的情况下,完成法兰盘检测模型的训练。其中,法兰盘检测模型的准确率达到预设条件可以是法兰盘检测模型的准确率不再提高,或者法兰盘检测模型的准确率达到设定阈值等。
在本申请实施例中,在法兰盘检测模型的训练过程中,通过训练样本数据对法兰盘检测模型进行训练,通过测试样本数据对法兰盘检测模型进行精度测试,在法兰盘检测模型的损失以及精度同时达到设定的条件时,完成法兰盘检测模型的训练,以使得训练得到的法兰盘检测模型能够用于更准确的检测法兰盘。
基于与上述方法同样的申请构思,本申请实施例还提出一种航油油库漏油检测装置,如图11所示,该装置可以包括:
图像获取模块1001,用于获取航油油库油料容器的待检测图像;
位置预测模块1002,用于将所述待检测图像输入法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;
区域确定模块1003,用于基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域;
油滴提取模块1004,用于针对所述待检测图像的漏油检测区域,基于所述待检测图像的像素值与所述待检测图像前一时刻检测图像的像素值的差值,提取所述待检测图像的漏油检测区域中的油滴;
漏油检测模块1005,用于在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定所述待检测图像的法兰盘位置处存在漏油。
本申请实施例提供的一种航油油库漏油检测装置,可以获取航油油库油料容器的待检测图像,将待检测图像输入法兰盘检测模型,以输出待检测图像的法兰盘位置信息,基于待检测图像的法兰盘位置信息,确定待检测图像的漏油检测区域,针对待检测图像的漏油检测区域,基于待检测图像的像素值与待检测图像前一时刻检测图像的像素值的差值,提取待检测图像的漏油检测区域中的油滴,在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定待检测图像的法兰盘位置处存在漏油,实现了航油油库油料容器是否存在漏油的快速分析判断,能够及时发现航油油库油料容器的漏油情况,提高了漏油检测的时效性,同时节省了人工成本。
作为一个实施例,所述装置还包括:
喷油区域确定模块,用于基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的喷油检测区域;
区域划分模块,用于对所述喷油检测区域进行划分,得到多个喷油检测子区域;
类别识别模块,用于将每一喷油检测子区域输入目标分类模型,以输出所述喷油检测子区域的类别信息;其中,所述目标分类模型是根据样本喷油检测子区域,以及样本喷油检测子区域的类别信息进行训练的,所述类别信息包括:未喷油,喷油以及下雨;
喷油确定模块,用于基于各所述喷油检测子区域的类别信息,确定所述待检测图像的喷油检测区域是否存在喷油;
喷油检测模块,用于在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定所述待检测图像的法兰盘位置处存在喷油。
作为一个实施例,所述法兰盘检测模型为基于YOLOv5的目标检测模型,所述法兰盘检测模型包括主干网络和颈部网络,所述主干网络采用跨阶段局部网络CSPNet结构,所述颈部网络采用路径聚合网络PANet结构;所述装置还包括模型训练模块,所述模型训练模块用于采用如下方式,训练所述法兰盘检测模型:
获取多个样本检测图像;
对各所述样本检测图像中航油油库油料容器连接处的法兰盘进行标注,得到样本标注图像,所述样本标注图像中包含样本检测图像的法兰盘位置信息;
对各所述样本标注图像进行清洗处理和扩充处理,得到样本数据集;
从所述样本数据集中确定训练样本数据,所述训练样本数据包含多个第一样本检测图像以及各第一样本检测图像的法兰盘位置信息;
将各所述第一样本检测图像输入法兰盘检测模型的主干网络,以输出所述第一样本检测图像的第一特征图;
将各所述第一特征图输入法兰盘检测模型的颈部网络,以输出所述第一样本检测图像的第二特征图;
计算各所述第二特征图的类别,以得到所述第一样本检测图像的预测法兰盘位置;
根据所述第一样本检测图像的预测法兰盘位置,以及所述第一样本检测图像的法兰盘位置信息,计算当前损失;
根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型。
作为一个实施例,所述模型训练模块还用于:
从所述样本数据集中确定测试样本数据,所述测试样本数据包含多个第二样本检测图像以及各第二样本检测图像的法兰盘位置信息;
将各所述第二样本检测图像输入训练好的法兰盘检测模型中,以输出所述第二样本检测图像的预测法兰盘位置;
根据所述第二样本检测图像的预测法兰盘位置,以及所述第二样本检测图像的法兰盘位置信息,计算法兰盘检测模型的准确率;
所述根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型,包括:
根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,且所述法兰盘检测模型的准确率达到预设条件,得到训练好的法兰盘检测模型。
作为一个实施例,所述样本检测图像包括正样本检测图像和负样本检测图像,所述正样本检测图像为:所述航油油库油料容器不同管道连接处珐琅的模拟滴油和/或喷油图像,所述负样本检测图像为:所述航油油库油料容器不同管道连接处珐琅的不同时段、不同天气、不同角度或不同距离下正常状态图像。
作为一个实施例,所述法兰盘检测模型的当前损失为:1与目标比重的差值,其中,所述目标比重为第一比重和第二比重的差值,所述第一比重为第一样本检测图像的法兰盘预测框与第一样本检测图像的法兰盘真实框的交并比,所述第二比重为第一检测区域与第二检测区域的面积比值,所述第二检测区域为包括所述第一样本检测图像的法兰盘预测框和所述第一样本检测图像的法兰盘真实框的最小框,所述第一检测区域为所述第二检测区域中除所述第一样本检测图像的法兰盘预测框和所述第一样本检测图像的法兰盘真实框的区域。
作为一个实施例,所述区域确定模块,具体用于:将所述待检测图像中法兰盘正下方区域,确定为所述待检测图像的漏油检测区域;
所述喷油区域确定模块,具体用于:将覆盖所述待检测图像中法兰盘的区域,确定为所述待检测图像的喷油检测区域。
作为一个实施例,所述装置还包括:
第一确定模块,用于确定所述油滴的面积是否不大于预设阈值;
第二确定模块,用于在确定所述油滴的面积大于所述预设阈值的情况下,确定所述待检测图像的漏油检测区域不存在油滴;
第三确定模块,用于在确定所述油滴的面积不大于所述预设阈值的情况下,确定所述待检测图像的漏油检测区域存在油滴。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本申请实施例提供的航油油库203的边缘处理子系统213包括上述航油油库漏油检测装置。
本申请一个实施例还提供的一种航油油库漏油检测系统,参见图12,航油油库漏油检测系统包括:图像采集设备1101,智能数据分析平台1102,以及智能管控系统1103;
所述图像采集设备1101,用于采集航油油库油料容器的待检测图像,并将所述待检测图像发生给所述智能数据分析平台1102;
所述智能数据分析平台1102,用于将所述待检测图像输入法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域;针对所述待检测图像的漏油检测区域,基于所述待检测图像的像素值与所述待检测图像前一时刻检测图像的像素值的差值,提取所述待检测图像的漏油检测区域中的油滴;在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定所述待检测图像的法兰盘位置处存在漏油;以及,基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的喷油检测区域;对所述喷油检测区域进行划分,得到多个喷油检测子区域;将每一喷油检测子区域输入目标分类模型,以输出所述喷油检测子区域的类别信息;其中,所述目标分类模型是根据样本喷油检测区域,以及样本喷油检测区域的类别信息进行训练的,所述类别信息包括:未喷油,喷油以及下雨;基于各所述喷油检测子区域的类别信息,确定所述待检测图像的喷油检测区域是否存在喷油;在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定所述待检测图像的法兰盘位置处存在喷油;
所述智能管控系统1103,用于在所述待检测图像的法兰盘位置处存在漏油的情况下,生成漏油告警信息,以及在所述待检测图像的法兰盘位置处存在喷油的情况下,生成喷油告警信息。
图13所示为本申请一个实施例提供的电子设备1200的模块框图。电子设备1200包括一个或多个处理器1201,用于实现如上所述的航油油库漏油检测方法。
在一些实施例中,电子设备1200可以包括计算机可读存储介质1209,计算机可读存储介质1209可以存储有可被处理器1201调用的程序,可以包括非易失性存储介质。在一些实施例中,电子设备1200可以包括内存1208和接口1207。在一些实施例中,电子设备1200还可以根据实际应用包括其他硬件。
本申请实施例的计算机可读存储介质1209,其上存储有程序,该程序被处理器1201执行时,用于实现如上描述的航油油库漏油检测方法。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质1209(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质1209包括永久性和非永久性、可移动和非可移动媒体,可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质1209的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制时,语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外相同要素。

Claims (10)

1.一种航油油库漏油检测方法,其特征在于,所述方法包括:
获取通过航油油库侧部署的网络摄像头IPC设备采集的航油油库油料容器的待检测图像;所述航油油库油料容器包括航油油库油罐、管线进出口的设备及收油棚区域的设备;所述网络摄像头IPC设备包括油库法兰盘检测IPC设备,油库园区关键卡口IPC设备、油库园区围墙外围IPC设备以及油库禁区监测IPC设备;
将所述待检测图像输入法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;
基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域;
针对所述待检测图像的漏油检测区域,基于所述待检测图像的像素值与所述待检测图像前一时刻检测图像的像素值的差值,提取所述待检测图像的漏油检测区域中的油滴;
在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定所述待检测图像的法兰盘位置处存在漏油;
在所述将所述待检测图像,输入至法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息之后,所述方法还包括:
将覆盖所述待检测图像中法兰盘的区域,确定为所述待检测图像的喷油检测区域;
对所述喷油检测区域进行划分,得到多个喷油检测子区域;
将每一喷油检测子区域输入目标分类模型,以输出所述喷油检测子区域的类别信息;其中,所述目标分类模型是根据样本喷油检测子区域,以及样本喷油检测子区域的类别信息进行训练的,所述类别信息包括:未喷油,喷油以及下雨;所述目标分类模型是基于ResNet_50残差网络训练得到的;
基于各所述喷油检测子区域的类别信息,确定所述待检测图像的喷油检测区域是否存在喷油;所述喷油喷射的油方向是任意的;
在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定所述待检测图像的法兰盘位置处存在喷油。
2.如权利要求1所述的漏油检测方法,其特征在于,所述法兰盘检测模型为基于YOLOv5的目标检测模型,所述法兰盘检测模型包括主干网络和颈部网络,所述主干网络采用跨阶段局部网络CSPNet结构,所述颈部网络采用路径聚合网络PANet结构;采用如下方式,训练所述法兰盘检测模型:
获取多个样本检测图像;
对各所述样本检测图像中航油油库油料容器连接处的法兰盘进行标注,得到样本标注图像,所述样本标注图像中包含样本检测图像的法兰盘位置信息;
对各所述样本标注图像进行清洗处理和扩充处理,得到样本数据集;
从所述样本数据集中确定训练样本数据,所述训练样本数据包含多个第一样本检测图像以及各第一样本检测图像的法兰盘位置信息;
将各所述第一样本检测图像输入法兰盘检测模型的主干网络,以输出所述第一样本检测图像的第一特征图;
将各所述第一特征图输入法兰盘检测模型的颈部网络,以输出所述第一样本检测图像的第二特征图;
计算各所述第二特征图的类别,以得到所述第一样本检测图像的预测法兰盘位置;
根据所述第一样本检测图像的预测法兰盘位置,以及所述第一样本检测图像的法兰盘位置信息,计算当前损失;
根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型。
3.如权利要求2所述的漏油检测方法,其特征在于,在所述对各所述样本标注图像进行清洗处理和扩充处理,得到样本数据集之后,所述方法还包括:
从所述样本数据集中确定测试样本数据,所述测试样本数据包含多个第二样本检测图像以及各第二样本检测图像的法兰盘位置信息;
将各所述第二样本检测图像输入训练好的法兰盘检测模型中,以输出所述第二样本检测图像的预测法兰盘位置;
根据所述第二样本检测图像的预测法兰盘位置,以及所述第二样本检测图像的法兰盘位置信息,计算法兰盘检测模型的准确率;
所述根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,得到训练好的法兰盘检测模型,包括:
根据所述当前损失对所述法兰盘检测模型的训练参数进行调整,直至满足预设结束条件,且所述法兰盘检测模型的准确率达到预设条件,得到训练好的法兰盘检测模型。
4.根据权利要求2所述的航油油库漏油检测方法,其特征在于,所述样本检测图像包括正样本检测图像和负样本检测图像,所述正样本检测图像为:所述航油油库油料容器不同管道连接处珐琅的模拟滴油和/或喷油图像,所述负样本检测图像为:所述航油油库油料容器不同管道连接处珐琅的不同时段、不同天气、不同角度或不同距离下正常状态图像;
和/或,所述法兰盘检测模型的当前损失为:1与目标比重的差值,其中,所述目标比重为第一比重和第二比重的差值,所述第一比重为第一样本检测图像的法兰盘预测框与第一样本检测图像的法兰盘真实框的交并比,所述第二比重为第一检测区域与第二检测区域的面积比值,所述第二检测区域为包括所述第一样本检测图像的法兰盘预测框和所述第一样本检测图像的法兰盘真实框的最小框,所述第一检测区域为所述第二检测区域中除所述第一样本检测图像的法兰盘预测框和所述第一样本检测图像的法兰盘真实框的区域。
5.根据权利要求1所述的航油油库漏油检测方法,其特征在于,所述基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域,包括:
将所述待检测图像中法兰盘正下方区域,确定为所述待检测图像的漏油检测区域。
6.根据权利要求1所述的航油油库漏油检测方法,其特征在于,所述提取所述待检测图像的漏油检测区域中的油滴之后,所述方法还包括:确定所述油滴的面积是否不大于预设阈值;如果所述油滴的面积大于所述预设阈值,则确定所述待检测图像的漏油检测区域不存在油滴;如果所述油滴的面积不大于所述预设阈值,则确定所述待检测图像的漏油检测区域存在油滴;
和/或,
在所述确定所述待检测图像的法兰盘位置处存在漏油之后,所述方法还包括:根据所述待检测图像的法兰盘位置处存在漏油的结果,生成报警信息;向航油安全运维系统中的中心服务器发送报警信息。
7.一种航油油库漏油检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取通过航油油库侧部署的网络摄像头IPC设备采集的航油油库油料容器的待检测图像;所述航油油库油料容器包括航油油库油罐、管线进出口的设备及收油棚区域的设备;所述网络摄像头IPC设备包括油库法兰盘检测IPC设备,油库园区关键卡口IPC设备、油库园区围墙外围IPC设备以及油库禁区监测IPC设备;
位置预测模块,用于将所述待检测图像输入法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息;其中,所述法兰盘检测模型是利用样本检测图像,以及样本检测图像的法兰盘位置信息进行训练得到的;
区域确定模块,用于基于所述待检测图像的法兰盘位置信息,确定所述待检测图像的漏油检测区域;
油滴提取模块,用于针对所述待检测图像的漏油检测区域,基于所述待检测图像的像素值与所述待检测图像前一时刻检测图像的像素值的差值,提取所述待检测图像的漏油检测区域中的油滴;
漏油检测模块,用于在预设时间段内存在多个待检测图像的漏油检测区域有油滴的情况下,确定所述待检测图像的法兰盘位置处存在漏油;
所述装置还包括:
喷油区域确定模块,用于在所述将所述待检测图像,输入至法兰盘检测模型,以输出所述待检测图像的法兰盘位置信息之后,将覆盖所述待检测图像中法兰盘的区域,确定为所述待检测图像的喷油检测区域;
区域划分模块,用于对所述喷油检测区域进行划分,得到多个喷油检测子区域;
类别识别模块,用于将每一喷油检测子区域输入目标分类模型,以输出所述喷油检测子区域的类别信息;其中,所述目标分类模型是根据样本喷油检测子区域,以及样本喷油检测子区域的类别信息进行训练的,所述类别信息包括:未喷油,喷油以及下雨;
喷油确定模块,用于基于各所述喷油检测子区域的类别信息,确定所述待检测图像的喷油检测区域是否存在喷油;
喷油检测模块,用于在预设时间段内存在多个待检测图像的喷油检测区域喷油的情况下,确定所述待检测图像的法兰盘位置处存在喷油。
8.一种航油安全运维系统,其特征在于,所述航油安全运维系统包括:中心服务器及与所述中心服务器连接的多个边缘处理子系统,所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备;
多个所述边缘处理子系统,用于通过航油数据采集终端采集的数据,并采用所述边缘计算设备处理所述数据,得到处理结果,并向所述中心服务器发送所述处理结果;
多个所述边缘处理子系统还包括航油油库的边缘处理子系统,所述航油油库的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括边缘计算服务器,所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端,所述智能感知终端与所述边缘计算服务器进行通信,所述边缘计算服务器包括如权利要求7所述的航油油库漏油检测装置。
9.如权利要求8所述的航油安全运维系统,其特征在于,多个所述边缘处理子系统还包括航空加油车的边缘处理子系统,所述航空加油车的边缘处理子系统与所述中心服务器连接,所述边缘计算设备包括第一边缘计算终端,所述航油数据采集终端包括与所述第一边缘计算终端连接的视频监控终端;所述航空加油车的边缘处理子系统,用于通过视频监控终端采集与航空加油车相关的数据,并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据,得到第一处理结果,以及向所述中心服务器发送所述第一处理结果;
和/或,
所述航油油库的边缘处理子系统,用于通过所述智能感知终端获取与油库相关的数据,并使用所述边缘计算服务器处理所述与油库相关的数据,得到第二处理结果,以及向所述中心服务器发送所述第二处理结果。
10.如权利要求9所述的航油安全运维系统,其特征在于,多个所述边缘处理子系统还包括航油管线的边缘处理子系统,所述航油数据采集终端包括飞行器,所述边缘计算设备包括第二边缘计算终端,所述飞行器与所述航油管线的边缘处理子系统进行通信,其中,所述航油油库的边缘处理子系统,用于通过所述飞行器获取与航油管线的相关的数据,并使用所述第一边缘计算终端处理所述与航油管线的相关的数据,得到第三处理结果,以及向所述中心服务器发送所述第三处理结果。
CN202211014424.4A 2022-08-23 2022-08-23 航油油库漏油检测方法、装置及航油安全运维系统 Active CN115457297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014424.4A CN115457297B (zh) 2022-08-23 2022-08-23 航油油库漏油检测方法、装置及航油安全运维系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014424.4A CN115457297B (zh) 2022-08-23 2022-08-23 航油油库漏油检测方法、装置及航油安全运维系统

Publications (2)

Publication Number Publication Date
CN115457297A CN115457297A (zh) 2022-12-09
CN115457297B true CN115457297B (zh) 2023-09-26

Family

ID=84298660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014424.4A Active CN115457297B (zh) 2022-08-23 2022-08-23 航油油库漏油检测方法、装置及航油安全运维系统

Country Status (1)

Country Link
CN (1) CN115457297B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012371A (zh) * 2023-02-23 2023-04-25 深圳华付技术股份有限公司 一种基于机器学习的机械设备漏油检测方法及其系统
CN117710374A (zh) * 2024-02-05 2024-03-15 中海油田服务股份有限公司 基于深度学习的跑冒滴漏检测方法、装置、设备及介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241851A (zh) * 2018-08-07 2019-01-18 电子科技大学 一种基于视觉图像的漏油检测方法及其系统
CN109325520A (zh) * 2018-08-24 2019-02-12 北京航空航天大学 一种石油泄漏的检查方法、装置及系统
CN109712140A (zh) * 2019-01-02 2019-05-03 中楹青创科技有限公司 训练用于跑冒滴漏检测的全连接分类网络的方法及装置
CN110673628A (zh) * 2019-09-20 2020-01-10 北京航空航天大学 一种复合翼无人机油气管线巡检方法
CN110705601A (zh) * 2019-09-09 2020-01-17 安徽继远软件有限公司 基于单阶段目标检测的变电站设备渗漏油图像识别方法
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN112070135A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像检测方法、装置、电力设备及存储介质
CN112489031A (zh) * 2020-12-10 2021-03-12 哈尔滨市科佳通用机电股份有限公司 基于mask-rcnn的抗蛇形减震器漏油检测方法
CN112785557A (zh) * 2020-12-31 2021-05-11 神华黄骅港务有限责任公司 皮带料流检测方法及装置、皮带料流检测系统
CN113344849A (zh) * 2021-04-25 2021-09-03 山东师范大学 一种基于YOLOv5的微乳头检测系统
CN113670524A (zh) * 2021-07-13 2021-11-19 江铃汽车股份有限公司 用于汽车碰撞燃油泄漏的检测方法及检测系统
CN113920445A (zh) * 2021-10-08 2022-01-11 自然资源部第一海洋研究所 基于多核分类模型决策融合的海面溢油检测方法
CN114119594A (zh) * 2021-12-06 2022-03-01 华能东莞燃机热电有限责任公司 一种基于深度学习的油液渗漏检测方法和检测装置
CN114320709A (zh) * 2021-12-30 2022-04-12 中国长江电力股份有限公司 一种基于深度学习的电站发电机内部漏油分类检测方法
CN114332666A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于轻量化神经网络模型的图像目标检测方法及系统
CN114519698A (zh) * 2022-01-14 2022-05-20 深圳市华付信息技术有限公司 暗光环境下的设备漏油检测方法、装置、设备及存储介质
CN114627052A (zh) * 2022-02-08 2022-06-14 南京邮电大学 一种基于深度学习的红外图像漏气漏液检测方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241851A (zh) * 2018-08-07 2019-01-18 电子科技大学 一种基于视觉图像的漏油检测方法及其系统
CN109325520A (zh) * 2018-08-24 2019-02-12 北京航空航天大学 一种石油泄漏的检查方法、装置及系统
CN109712140A (zh) * 2019-01-02 2019-05-03 中楹青创科技有限公司 训练用于跑冒滴漏检测的全连接分类网络的方法及装置
CN110705601A (zh) * 2019-09-09 2020-01-17 安徽继远软件有限公司 基于单阶段目标检测的变电站设备渗漏油图像识别方法
CN110673628A (zh) * 2019-09-20 2020-01-10 北京航空航天大学 一种复合翼无人机油气管线巡检方法
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN112070135A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像检测方法、装置、电力设备及存储介质
CN112489031A (zh) * 2020-12-10 2021-03-12 哈尔滨市科佳通用机电股份有限公司 基于mask-rcnn的抗蛇形减震器漏油检测方法
CN112785557A (zh) * 2020-12-31 2021-05-11 神华黄骅港务有限责任公司 皮带料流检测方法及装置、皮带料流检测系统
CN113344849A (zh) * 2021-04-25 2021-09-03 山东师范大学 一种基于YOLOv5的微乳头检测系统
CN113670524A (zh) * 2021-07-13 2021-11-19 江铃汽车股份有限公司 用于汽车碰撞燃油泄漏的检测方法及检测系统
CN113920445A (zh) * 2021-10-08 2022-01-11 自然资源部第一海洋研究所 基于多核分类模型决策融合的海面溢油检测方法
CN114119594A (zh) * 2021-12-06 2022-03-01 华能东莞燃机热电有限责任公司 一种基于深度学习的油液渗漏检测方法和检测装置
CN114320709A (zh) * 2021-12-30 2022-04-12 中国长江电力股份有限公司 一种基于深度学习的电站发电机内部漏油分类检测方法
CN114519698A (zh) * 2022-01-14 2022-05-20 深圳市华付信息技术有限公司 暗光环境下的设备漏油检测方法、装置、设备及存储介质
CN114627052A (zh) * 2022-02-08 2022-06-14 南京邮电大学 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN114332666A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于轻量化神经网络模型的图像目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁咚 等.基于YOLO的地面机油滴漏识别的方法.《新型工业化》.2022,第第12卷卷(第第12卷期),第2节. *
萌萌哒程序猴.yolov5目标检测神经网络——损失函数计算原理.《https://blog.csdn.net/shandianfengfan/article/details/122532156》.2022,第1页. *

Also Published As

Publication number Publication date
CN115457297A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN115457297B (zh) 航油油库漏油检测方法、装置及航油安全运维系统
Ahmadi et al. Moving vehicle detection, tracking and traffic parameter estimation from a satellite video: A perspective on a smarter city
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN109977921B (zh) 一种输电线路隐患检测方法
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110049121B (zh) 一种基于增强现实技术的数据中心巡检系统
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
KR20220112590A (ko) 인공지능 기반 수계오염원 모니터링 시스템 및 방법
CN114359562A (zh) 一种四维点云自动语义分割标注系统及方法
CN111178283A (zh) 一种基于无人机图像的既定航线地物识别与定位方法
CN115909096A (zh) 无人机巡航管道隐患分析方法、装置及系统
Liu et al. An improved faster R-CNN for UAV-based catenary support device inspection
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
Coradeschi et al. Anchoring symbols to vision data by fuzzy logic
CN113192017A (zh) 包裹缺陷识别方法、装置、设备及存储介质
CN115880598B (zh) 一种基于无人机的地面图像检测方法及相关装置
CN115457411B (zh) 航油管线无人化巡视方法、装置和航油安全运维系统
CN115355952B (zh) 一种原油储罐智能巡检系统
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和系统
Obaid et al. Deep Learning Approach for Oil Pipeline Leakage Detection Using Image-Based Edge Detection Techniques.
Naidoo et al. Visual surveying platform for the automated detection of road surface distresses
CN115457457B (zh) 航油油库周界区域安全检测方法、装置及安全运维系统
US20230385702A1 (en) Data fabric for intelligent weather data selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant