CN115457411A - 航油管线无人化巡视方法、装置和航油安全运维系统 - Google Patents

航油管线无人化巡视方法、装置和航油安全运维系统 Download PDF

Info

Publication number
CN115457411A
CN115457411A CN202211014437.1A CN202211014437A CN115457411A CN 115457411 A CN115457411 A CN 115457411A CN 202211014437 A CN202211014437 A CN 202211014437A CN 115457411 A CN115457411 A CN 115457411A
Authority
CN
China
Prior art keywords
cruise
scene information
image
scene
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211014437.1A
Other languages
English (en)
Other versions
CN115457411B (zh
Inventor
黄腾飞
张安瑜
陈耀
邓志强
汤坚
范亮
劳健华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongke Zhi Tour Technology Co ltd
China Aviation Oil Group Co ltd
Original Assignee
Guangzhou Zhongke Zhi Tour Technology Co ltd
China Aviation Oil Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongke Zhi Tour Technology Co ltd, China Aviation Oil Group Co ltd filed Critical Guangzhou Zhongke Zhi Tour Technology Co ltd
Priority to CN202211014437.1A priority Critical patent/CN115457411B/zh
Publication of CN115457411A publication Critical patent/CN115457411A/zh
Application granted granted Critical
Publication of CN115457411B publication Critical patent/CN115457411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种航油管线无人化巡视方法、装置和航油安全运维系统。其中，该航油管线无人化巡视方法，包括：获取飞行器对航油成品油管线进行巡航的巡航图像；将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否包含造成所述航油成品油管线外破的预设场景信息，所述巡航场景检测模型是样本集训练得到的，所述样本集包括所述预设场景信息；在所述航油成品油管线被巡航的场景信息包含所述预设场景信息的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送所述报警信息。如此，维护成本低以及减少巡视人员的工作量。

Description

航油管线无人化巡视方法、装置和航油安全运维系统
技术领域
本发明涉及航油管线监控技术领域，尤其涉及一种航油管线无人化巡视方法、装置和航油安全运维系统。
背景技术
航油管线是成品油运输的重要基础设施，成品油管线运输近些年发展迅速，由于长输成品油管线具有管径大、距离长、压力高、运量大的特点，一旦在成品油管线运输过程中发生事故，将会造成严重的经济损失和人员安全损失。因此，做好成品油管线的日常运维巡视工作是提高成品油管线安全运行的重要日常工作。
相关技术的采用人工巡视的方法，由于巡线线路较长等问题，巡视人员读取摄像头的数据判读工作量较大。以及，在成品油管线沿线布置太阳能供电的摄像头的方法，运维成本较高。
发明内容
本申请提供一种航油管线无人化巡视方法、装置和航油安全运维系统，方法的维护成本低以及减少巡视人员的工作量。
本申请提供一种航油管线无人化巡视方法，包括：
获取飞行器对航油成品油管线进行巡航的巡航图像；
将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否包含造成所述航油成品油管线外破的预设场景信息，所述巡航场景检测模型是样本集训练得到的，所述样本集包括所述预设场景信息；
在所述航油成品油管线被巡航的场景信息包含所述预设场景信息的情况下，生成报警信息；
向航油安全运维系统中的中心服务器发送所述报警信息。
进一步的，所述预设场景信息中的检测对象的类别包括第一场景信息中的烟火、第二场景信息中的土石方工程及第三场景信息中的施工机械；
采用如下方式，训练所述巡航场景检测模型：
获取原始图像样本集，其中，所述原始图像样本集包含带有造成所述航油成品油管线外破的预设场景信息；
清洗所述原始图像样本集的干扰数据，得到清洗图像样本集；
对所述清洗图像样本集中的所述第一场景信息、所述第二场景信息及所述第三场景信息，以及所述预设场景信息在所述清洗图像样本集中的位置进行标记，得到标记后的图像样本集；
根据所述标记后的图像样本集，确定训练样本集，所述训练样本集包含多个标记后的第一图像样本以及各标记后的第一图像样本的预设场景信息；
使用所述多个标记后的第一图像样本，得到已训练的巡航场景检测模型。
进一步的，所述将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否是造成所述航油成品油管线外破的预设场景信息，包括：
将所述巡航图像输入航油成品油管线的巡航场景检测模型；
通过所述巡航场景检测模型将所述巡航图像划分为多个网格，并将所述多个网格，按照预定尺寸，生成多个锚框；在所述锚框包含检测对象的情况下，预测所述检测对象的类别，以及根据所述锚框，生成所述检测对象的预测框；从所述检测对象的预测框中，选择目标边界框，以输出目标边界框、所述检测对象的类别及所述目标边界框的检测对象的置信度。
进一步的，所述通过所述巡航场景检测模型将所述巡航图像划分为多个网格，并将所述多个网格，按照预定尺寸，生成多个锚框；在所述锚框包含检测对象的情况下，预测所述检测对象的类别，以及根据所述锚框，生成所述检测对象的预测框；从所述检测对象的预测框中，选择目标边界框，以输出目标边界框、所述检测对象的类别及所述目标边界框的检测对象的置信度，包括：
通过所述巡航场景检测模型，对所述巡航图像进行深层特征提取，得到所述巡航图像的第一深层特征，以输出分辨率大小为第一尺寸的第一特征图，所述第一特征图包括所述巡航图像的第一深层特征；
通过所述巡航场景检测模型，对所述巡航图像进行深层特征提取，得到所述巡航图像的第二深层特征，并融合所述第一深层特征和第二深层特征，以输出分辨率大小为第二尺寸的第二特征图，所述第二特征图包括所述巡航图像的第二深层特征，且所述第二尺寸大于所述第一尺寸；
通过所述巡航场景检测模型，对所述巡航图像进行浅层特征提取，得到所述巡航图像的浅层特征，并融合所述第二深层特征和第二深层特征，以输出分辨率大小为第三尺寸的第三特征图，所述第三特征图包括所述巡航图像的浅层特征，且所述第三尺寸大于所述第二尺寸；
通过所述巡航场景检测模型的特征融合子模型，对所述第一特征图、所述第二特征图及所述第三特征图进行特征融合，对所述融合后的特征进行采样，以输出所述目标边界框、所述检测对象的类别及所述目标边界框的检测对象的置信度，所述融合后的特征图包括融合后的特征。
进一步的，所述使用所述多个标记后的第一图像样本，得到已训练的巡航场景检测模型，包括：
将各所述标记后的第一图像样本输入巡航场景检测模型，以输出所述标记后的第一图像样本的预测场景信息；
根据所述标记后的第一图像样本的预测场景信息，以及所述标记后的第一图像样本的预设场景信息，确定当前损失，所述当前损失包括场景信息的边界框预测的损失、场景信息的置信度的损失及场景信息的类别预测的损失，所述场景信息的边界框预测的损失为标记后的第一图像样本的预测场景信息，以及所述标记后的第一图像样本的预设场景信息的平方和；
根据所述场景信息的边界框预测的损失、场景信息的置信度的损失及场景信息的类别预测的损失，对所述巡航场景检测模型的训练参数进行调整，直至满足预设结束条件，得到已训练的巡航场景检测模型。
进一步的，在所述得到标记后的图像样本集之后，所述方法还包括：
根据所述标记后的图像样本集，确定测试样本集，所述测试样本集包含多个标记后的第二图像样本以及各标记后的第二图像样本的预设场景信息；
在所述使用所述多个标记后的第一图像样本，得到已训练的巡航场景检测模型之后，所述方法还包括：
将所述多个标记后的第二图像样本输入已训练的巡航场景检测模型，以输出所述标记后的第二图像样本的测试场景信息；
根据所述标记后的第二图像样本的测试场景信息，以及所述标记后的第二图像样本的预设场景信息，确定已训练的巡航场景检测模型的模型性能评价指标；
在所述已训练的巡航场景检测模型的模型性能评价指标满足预设阈值的情况下，得到训练好的所述巡航场景检测模型。
进一步的，在所述已训练的巡航场景检测模型的模型性能评价指标满足预设阈值的情况下，得到训练好的所述巡航场景检测模型之后，所述方法还包括：
获取所述训练好的所述巡航场景检测模型的运行速率；
在所述运行速率小于预定阈值的情况下，对所述训练好的所述巡航场景检测模型进行减缩和截断，得到缩小后的巡航场景检测模型；
获取所述缩小后的巡航场景检测模型的精准度损失；
在所述精准度损失符合精准度要求的情况下，以运行精准度损失符合精准度要求的所述缩小后的巡航场景检测模型。
本申请实施例提供一种航油管线无人化巡视装置，包括：
获取模块，用于获取飞行器对航油成品油管线进行巡航的巡航图像；
处理模块，用于将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否包含造成所述航油成品油管线外破的预设场景信息，所述巡航场景检测模型是样本集训练得到的，所述样本集包括所述预设场景信息，所述预设场景信息中的检测对象的类别包括第一场景信息中的烟火、第二场景信息中的土石方工程及第三场景信息中的施工机械；
生成模块，用于在所述航油成品油管线被巡航的场景信息包含所述预设场景信息的情况下，生成报警信息；
发送模块，用于向航油安全运维系统中的中心服务器发送所述报警信息。
本申请实施例提供一种航油安全运维系统，包括：中心服务器及与所述中心服务器连接的多个边缘处理子系统，所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备；
多个所述边缘处理子系统，用于通过航油数据采集终端采集的数据，并采用所述边缘计算设备处理所述数据，得到处理结果，并向所述中心服务器发送所述处理结果；
其中，多个所述边缘处理子系统包括航油管线的边缘处理子系统，所述航油数据采集终端包括飞行器，所述飞行器与所述航油管线的边缘处理子系统进行通信，所述航油管线的边缘处理子系统包括如上所述的航油管线无人化巡视装置。
进一步的，多个所述边缘处理子系统还包括航空加油车的边缘处理子系统，所述航空加油车的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括第一边缘计算终端，所述航油数据采集终端包括与所述第一边缘计算终端连接的视频监控终端；所述航空加油车的边缘处理子系统，用于通过视频监控终端采集与航空加油车相关的数据，并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据，得到第一处理结果，以及向所述中心服务器发送所述第一处理结果；
和/或，
多个所述边缘处理子系统还包括航油油库的边缘处理子系统，所述航油油库的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括边缘计算服务器，所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端；所述航油油库的边缘处理子系统，用于通过所述智能感知终端获取与油库相关的数据，并使用所述边缘计算服务器处理所述与油库相关的数据，得到第二处理结果，以及向所述中心服务器发送所述第二处理结果。
在一些实施例中，本申请的航油管线无人化巡视方法，获取飞行器对航油成品油管线进行巡航的巡航图像；将巡航图像输入航油成品油管线的巡航场景检测模型，以输出航油成品油管线被巡航的场景信息是否包含造成航油成品油管线外破的预设场景信息，巡航场景检测模型是样本集训练得到的，样本集包括预设场景信息；在航油成品油管线被巡航的场景信息包含预设场景信息的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送报警信息。如此，飞行器不需要像摄像头的通信布线，飞行器维护成本低，并且，通过巡航场景检测模型检测巡航图像，以输出航油成品油管线被巡航的场景信息是否包含造成航油成品油管线外破的预设场景信息中的检测对象，减少巡视人员的工作量。
附图说明
图1所示为本申请实施例的航油管线无人化巡视方法的应用实例的整体示意图；
图2所示为本申请实施例的航油管线无人化巡视方法的应用实例的具体示意图；
图3所示为图2所示的航油安全运维系统的后端部署的结构示意图；
图4所示为本申请实施例提供的航油管线无人化巡视方法的流程示意图；
图5所示为图4所示的航油管线无人化巡视方法中的步骤320的具体流程示意图；
图6所示为图4所示的航油管线无人化巡视方法中的巡航场景检测模型的具体结构示意图；
图7所示为图4所示的航油管线无人化巡视方法中的巡航场景检测模型的训练流程示意图；
图8所示为图4所示的航油管线无人化巡视方法的具体应用实例的流程示意图；
图9所示为图2所示的航油管线的边缘处理子系统的结构示意图；
图10所示为本申请实施例的航油管线无人化巡视装置的模块示意图；
图11所示为本申请实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
为解决不能及时有效的应对突发情况及运维成本较高的技术问题，本申请实施例提供的航油管线无人化巡视方法，获取飞行器对航油成品油管线进行巡航的巡航图像；将巡航图像输入航油成品油管线的巡航场景检测模型，以输出航油成品油管线被巡航的场景信息是否包含造成航油成品油管线外破的预设场景信息，巡航场景检测模型是样本集训练得到的，样本集包括预设场景信息；在航油成品油管线被巡航的场景信息包含预设场景信息的情况下，生成报警信息；向航油安全运维系统中的中心服务器发送报警信息。如此，飞行器不需要像摄像头的通信布线，飞行器维护成本低。并且使用飞行器可以巡视，获取巡航图像，通过巡航场景检测模型检测巡航图像，以输出航油成品油管线被巡航的场景信息是否包含造成航油成品油管线外破的预设场景信息中的检测对象，减少巡视人员的工作量。同时，相较于相关技术中的通过集中巡视加后期数据判读处理的方式也会带来一定的时间偏差，不能及时有效的应对突发情况，本申请实施例中的飞行器的巡航图像及时回传，减少时间偏差，及时有效地应对突发情况。
图1所示为本申请实施例的航油管线无人化巡视方法的应用实例的整体示意图。
如图1所示，航油管线无人化巡视方法的应用系统可以包括但不限于为航油算法协助系统。航油算法协助系统包括航油安全运维系统10。航油安全运维系统10包括中心服务器11及与中心服务器11连接的多个边缘处理子系统12，边缘处理子系统12包括航油数据采集终端1211及与航油数据采集终端1211连接的边缘计算设备1212。边缘计算设备1212可以实现对航油数据采集终端1211的配置。
多个边缘处理子系统12，用于通过航油数据采集终端1211采集的数据，并采用边缘计算设备1212处理数据，得到处理结果，并向中心服务器发送处理结果。如此，通过边缘处理子系统12处理各航油数据采集终端1211的数据，向中心服务器11发送处理结果，数据来源多样，方便整合展示。
其中，上述中心服务器11可以但不限于包括报警设备13，该报警设备13用于发出警报。此警报可以是声光电等各种方式的警报。在此不一一举例。上述数据可以包括从航油数据采集终端1211采集的实时视频流。进一步的，上述数据可以包括报警信息，采用边缘计算设备1212处理数据中的报警信息，得到报警处理结果。在报警处理结果为需要上报报警的处理结果的情况下，向中心服务器11发送该处理结果，中心服务器11控制报警设备13进行报警。
图2所示为本申请实施例的航油管线无人化巡视方法的应用实例的具体示意图。
如图2所示，上述多个边缘处理子系统12相对于中心服务器11呈分布式设置。多个边缘处理子系统可以但不限于包括航油管线201的边缘处理子系统211、航空加油车202的边缘处理子系统212及航油油库203的边缘处理子系统213中的多种。如此，各边缘处理子系统12相对于中心服务器11分布式分布，并通过各边缘处理子系统12处理数据后，向中心服务器11发送处理结果，各边缘处理子系统12分担中心服务器11的处理量，降低中心服务器11的负担，并且，通过各边缘处理子系统12自动处理有效数据，数据的利用价值高，主动监控，避免人工观测遗漏。
其中，多个边缘处理子系统12包括航油管线201的边缘处理子系统211，航油数据采集终端1211包括飞行器2111，飞行器2111与航油管线201的边缘处理子系统211进行通信。其中，飞行器2111包括无人机，无人机可采集可见光图像及视频数据。边缘计算设备1212包括第二边缘计算终端2112，飞行器2111与航油管线201的边缘处理子系统211进行通信，其中，航油管线201的边缘处理子系统211，用于通过飞行器2111获取与航油管线201的相关的数据，并使用第二边缘计算终端2112处理与航油管线201的相关的数据，得到第三处理结果，以及向中心服务器11发送第三处理结果，以实现航油管线防外破无人机巡视。
航空加油车202的边缘处理子系统212与中心服务器11连接，航油数据采集终端1211包括与第一边缘计算终端2122连接的视频监控终端2121，边缘计算设备1212包括第一边缘计算终端2122。“第一边缘计算终端2122”中的“第一”和“第二边缘计算终端2112”中的“第二”，用来区分两个边缘计算终端。
航空加油车202的边缘处理子系统212，用于通过视频监控终端2121采集与航空加油车202相关的数据，并使用航空加油车202的第一边缘计算终端2122处理航空加油车202相关的数据，得到第一处理结果，以及向中心服务器11发送第一处理结果，以实现航空加油车202的安全运行。其中，视频监控终端2121可以包括摄像头及监控器中的一种或多种，在此不再一一举例。视频监控终端2121可以采集可见光图像及视频数据。
航油油库203的边缘处理子系统213与中心服务器11连接，边缘计算设备1212包括边缘计算服务器2132，航油数据采集终端1211包括与边缘计算服务器2132连接的智能感知终端2131。航油油库203的边缘处理子系统213，用于通过智能感知终端2131获取与油库相关的数据，并使用边缘计算服务器2132处理与油库相关的数据，得到第二处理结果，以及向中心服务器11发送第二处理结果，以实现航油油库203的安全运维。其中，智能感知终端2131可以包括传感数据。示例性的，传感设备可以为可见光的传感设备。可见光的传感设备可以采集单一/批量图像和视频流。
继续图2和图3所示，航油安全运维系统10包括航油安全运维系统10的前端网页端及云端服务器。通过航油安全运维系统10的前端网页端和/或移动端登录云端服务器，以访问云端服务集群。然后，通过防火墙，中心服务器11分别与多个边缘处理子系统12进行通信。如此，通过航油安全运维系统10的中心服务器11，实现云边端的联动系统，并且，通过第一边缘计算终端2122、边缘计算服务器2132、云端服务器等设备的计算结果，进行信息的整合和展示。
通过云、边、端结合的方式实现对航油管线201、航空加油车202、航油油库203的智能化安全运维，对不同场景使用不同的智能计算设备与算法，实现多种场景有效结合，云、边、端同步协作的航油算法协助系统。
图3所示为图2所示的航油安全运维系统10的后端部署的结构示意图。如图3所示，航油安全运维系统10部署在后端，实现对航油数据采集终端1211所采集的数据的存储与管理，并为航油数据采集终端1211提供智能推理服务，并对外提供规范化的接口定义方式。建立对不同服务能力和接口方式的管理界面。实现统一纳管、版本控制、统一授权、运行配置和应用统计。
在本申请实施例中，针对航空加油车的安全运行、航油油库安全运维管理、航油管线防外破无人机巡视进行了智能化的升级，实现了这些场景的算法与运维系统的结合，在不同场景根据需要部署了云、边、端设备协同技术方案，实现了多种设备协同作业的航油安全运维管理。
图4所示为本申请实施例提供的航油管线无人化巡视方法的流程示意图。
如图4所示，该航油管线无人化巡视方法可以包括如下步骤310至步骤340：
步骤310，获取飞行器对航油成品油管线进行巡航的巡航图像。
飞行器是用于带翼可升空设备。飞行器可以但不限于包括无人机。与飞行器相配合的，且用以控制飞行器按照预设航线飞行的飞行器地面站。飞行器地面站可以是航油管线201的边缘处理子系统211，航油管线201的边缘处理子系统211作为是飞行器系统的指挥中心，可以为飞行器规划航线，当飞行器的控制系统开机后，航油管线201的边缘处理子系统211将航线上传至控制系统，以控制飞行器根据航线进行实际飞行。在另一些实施例中，飞行器地面站以无人机地面站为例，其通常包括具有视频显示功能的终端设备，比如手机、平板、PC(PersonalComputer，个人计算机等、电源系统，电台等。
巡航图像用于反映飞行器在按照预设航线飞行的过程中采集并回传的图像。这些巡航图像包含关于航油成品油管线的周围场景信息，以方便判断是否存在造成航油成品油管线外破的预设场景信息中的检测对象。
步骤320，将巡航图像输入航油成品油管线的巡航场景检测模型，以输出航油成品油管线被巡航的场景信息是否包含造成航油成品油管线外破的预设场景信息，巡航场景检测模型是样本集训练得到的，样本集包括预设场景信息，预设场景信息中的检测对象的类别包括第一场景信息中的烟火、第二场景信息中的土石方工程及第三场景信息中的施工机械。
步骤330，在航油成品油管线被巡航的场景信息包含预设场景信息的情况下，生成报警信息。
报警信息用于反映航油成品油管线被巡航的场景信息包含预设场景信息。示例性的，报警信息包括报警图像及报警位置。
步骤340，向航油安全运维系统中的中心服务器发送报警信息。
其中，上述步骤340进一步可以包括通过5G通信模块，使用与航油安全运维系统预定的HTTP(HyperTextTransferProtocol，超文本传输协议)接口，向航油安全运维系统上报报警图像和报警位置，以实现一次警报。航油安全运维系统后续会下发通知运维人员进行人工二次故障的判读，以减少人工直接判断的工作量。
图5所示为图4所示的航油管线无人化巡视方法中的步骤320的具体流程示意图。
如图5所示，上述步骤320进一步可以包括如下步骤321至步骤325：步骤321，将巡航图像输入航油成品油管线的巡航场景检测模型。步骤322，通过巡航场景检测模型将巡航图像划分为多个网格，并将多个网格，按照预定尺寸，生成多个锚框。步骤323，通过巡航场景检测模型确定锚框是否包含检测对象。步骤324，通过巡航场景检测模型在锚框包含检测对象的情况下，预测检测对象的类别，以及根据锚框，生成检测对象的预测框。步骤325，通过巡航场景检测模型从检测对象的预测框中，选择目标边界框，以输出目标边界框、检测对象的类别及目标边界框的检测对象的置信度。其中，预测框可以是指预测边界框，用于反映预测的边界大小。
本申请实施例的巡航场景检测模型可以但不限于为YOLOv3。YOLOv3是一种基于卷积神经网络(CNN)的端到端目标对象检测算法，它将目标检测问题转变为回归问题，这种方法显著提高了物体检测速度。具体来说，输入图像被划分为S×S的网格：如果物体的真实中心在其边界内，该网格负责检测对象。然后，对象由每个网格上的一个界框预测，边界框和类别概率的最终坐标通过回归算法生成。对于AnchorBoxes聚类，为了准确检测航空图像中的不同尺度绝缘体，在采集的数据集中采用了k-means进行聚类算法，以便提前获得更合适的锚框盒大小。
图6所示为图4所示的航油管线无人化巡视方法中的巡航场景检测模型的具体结构示意图。
如图6所示，传统的YOLOv3Backbone采用了Darknet53，由于Darknet53网络实际应用中所消耗的计算资源较多，大量的参数导致卷积神经网络训练与检测速度缓慢。
为了解决消耗的计算资源较多，大量的参数导致卷积神经网络训练与检测速度缓慢的问题，本申请实施例可以巡航场景检测模型可以采用轻量化卷积神经网络yolo-tiny代替YOLOv3中使用的Darknet53网络，yolo-tiny网络结构。但是，Yolo-tiny网络是针对嵌入式设备提出的一种轻量且高效的深层神经网络，主干网络采用一个7层conv+max网络提取特征(和darknet19类似)，嫁接网络采用的是13*13、26*26的分辨率探测网络，这个yolo-tiny轻量级，计算精度不高。
如图6所示，为了解决yolo-tiny轻量级，计算精度不高的问题，本申请实施例可以巡航场景检测模型是改进型的Yolo-tiny模型，即yolo-tiny-zkzx。此yolo-tiny-zkzx在轻量化卷积神经网络yolo-tiny上增加三层卷积网络，增加了模型的复杂度来提升模型的拟合和泛化能力，新的yolo-tiny-zkzx模型在性能上相对原版提升了20％左右的识别精度。如此，改进了backbone，对yolo-tiny网络进行改进，增加卷积层数量，多采集特征，进一步提升了算法的精度。而改进后的backbone可以命名为yolo-tiny-zkzx。本申请实施例的只增加卷积层，不增加其他的算子的原因是转ONNX目前仅支持一些通用算子，自定义的算子在转出时往往会失败。
结合图5和图6所示，本申请实施例的巡航场景检测模型改进了骨干网络和损失，具体说明请详细参见下文。
上述步骤320中的步骤322至步骤325进一步可以包括如下的4个步骤：
第1步骤，通过巡航场景检测模型，对巡航图像进行深层特征提取，得到巡航图像的第一深层特征，以输出分辨率大小为第一尺寸的第一特征图，第一特征图包括巡航图像的第一深层特征。示例性的，此第1步骤进一步的可以包括第一yolo head(yolo检测头)，用以提取输入层的深层特征，并且输出分辨率大小为24*24的特征图。
第2步骤，通过巡航场景检测模型，对巡航图像进行深层特征提取，得到巡航图像的第二深层特征，并融合第一深层特征和第二深层特征，以输出分辨率大小为第二尺寸的第二特征图，第二特征图包括巡航图像的第二深层特征，且第二尺寸大于第一尺寸。示例性的，此第2步骤可以进一步包括：第二yolo head(yolo检测头)，用以提取输入层的较深层特征，通过融合深层特征和较深层特征，并且输出分辨率大小为48*48的特征图。
第3步骤，通过巡航场景检测模型，对巡航图像进行浅层特征提取，得到巡航图像的浅层特征，并融合第二深层特征和第二深层特征，以输出分辨率大小为第三尺寸的第三特征图，第三特征图包括巡航图像的浅层特征，且第三尺寸大于第二尺寸。其中，在原有基础上增加了一个(浅层采样)检测头yolo_head：针对yolo_tiny原始模型对小尺度金具和边缘不明显目标检测能力差的缺点，通过新增检测头对上一层的特征图进行输入，得到融合后的浅层特征图进行高效采样，充分利用浅层特征的边缘信息，在满足实时检测的基础上提高网络的整体检测能力，输出最终的分类和回归的结果。示例性的，此第3步骤可以进一步包括：第三yolo head(yolo检测头)，用以提取输入层的浅层特征，通过融合较深层特征和浅层特征，并且输出分辨率大小为96*96的特征图。
第4步骤，通过巡航场景检测模型的特征融合子模型，对第一特征图、第二特征图及第三特征图进行特征融合，对融合后的特征进行采样，以输出目标边界框、检测对象的类别及目标边界框的检测对象的置信度，融合后的特征图包括融合后的特征。如此，巡航场景检测模型提取对应的第一深层特征和第二深层特征，以及增加了一层浅层特征，通过融合这些不同层的特征，得到融合后的特征图进行高效采样，充分利用浅层特征的边缘信息，在满足实时检测的基础上提高网络的整体检测能力，输出最终的分类和回归的结果。
其中，第一深层特征、第二深层特征及浅层特征是通过巡航场景检测模型的不同的卷积层实现的。
图7所示为图4所示的航油管线无人化巡视方法中的巡航场景检测模型的训练流程示意图。
如图7所示，本申请实施例的航油管线无人化巡视方法中，可以采用如下步骤410至步骤450，训练巡航场景检测模型：
步骤410，获取原始图像样本集，其中，原始图像样本集包含带有造成航油成品油管线外破的预设场景信息；
步骤420，清洗原始图像样本集的干扰数据，得到清洗图像样本集。
其中，干扰数据用于反映不能满足训练要求的样本。干扰数据可以包括但不限于为图像抖动、模糊、失真及检测目标信息少中的一者或多者。
上述步骤420进一步可以包括去除原始图像样本集的图像抖动的样本、模糊的样本、失真的样本、及检测目标信息少的样本，得到清洗图像样本集，后续然后对清洗图像样本集进行标注，记录目标数据位置信息和类别信息。
步骤430，对清洗图像样本集中的第一场景信息、第二场景信息及第三场景信息，以及预设场景信息在清洗图像样本集中的位置进行标记，得到标记后的图像样本集。
其中，本申请实施例的航油管线无人化巡视方法还包括按照预定比例，将标记后的图像样本集，拆分为测训练样本集和测试样本集。其中，预定比例可以但不限于为4：1的比例。在步骤430中的得到标记后的图像样本集之后，方法还包括：根据标记后的图像样本集，确定测试样本集，测试样本集包含多个标记后的第二图像样本以及各标记后的第二图像样本的预设场景信息。
步骤440，根据标记后的图像样本集，确定训练样本集，训练样本集包含多个标记后的第一图像样本以及各标记后的第一图像样本的预设场景信息。其中，步骤440进一步可以包括对标记后的图像样本集采用数据增强策略，得到训练样本集。其中，数据增强策略可以但不限于包括随机翻转，缩放及增加噪声等策略，来达到扩充训练样本的目的，然后对巡航场景检测模型进行训练。
本申请实施例的航油管线无人化巡视方法还包括：在标记后的第一图像样本输入巡航场景检测模型之前，打乱标记后的第一图像样本顺序，再送进巡航场景检测模型。这样训练时每个epoch接收的标记后的第一图像样本顺序就会不同，不会让巡航场景检测模型学习到图像顺序，导致产生学习效果好的假象，可以增加巡航场景检测模型的鲁棒性。然后，对图像进行归一化处理，将图像长边缩放到统一尺寸768×768的像素，并且同时对标记位置及标记信息做相同的变换。
步骤450，使用多个标记后的第一图像样本，得到已训练的巡航场景检测模型。
其中，上述步骤450进一步可以包括使用多个标记后的第一图像样本，得到已训练的巡航场景检测模型，包括如下3个步骤：
第1个步骤，将各标记后的第一图像样本输入巡航场景检测模型，以输出标记后的第一图像样本的预测场景信息；
第2个步骤，根据标记后的第一图像样本的预测场景信息，以及标记后的第一图像样本的预设场景信息，确定当前损失，当前损失包括场景信息的边界框预测的损失、场景信息的置信度的损失及场景信息的类别预测的损失，场景信息的边界框预测的损失为标记后的第一图像样本的预测场景信息，以及标记后的第一图像样本的预设场景信息的平方和。其中，标记后的第一图像样本的预测场景信息是预测值，标记后的第一图像样本的预设场景信息是真实值。
在上述步骤450之后，方法还包括如下2个步骤：第1步骤，将多个标记后的第二图像样本输入已训练的巡航场景检测模型，以输出标记后的第二图像样本的测试场景信息。第2步骤，根据标记后的第二图像样本的测试场景信息，以及标记后的第二图像样本的预设场景信息，确定已训练的巡航场景检测模型的模型性能评价指标。其中，模型性能评价指标包括但不限于召回率、精确率、mAP(meanAveragePrecision，平均精度均值)，训练迭代完成后，在测试样本集上对模型性能进行检测，最后得到泛化能力强、检测准确率高的训练好的巡航场景检测模型。
在已训练的巡航场景检测模型的模型性能评价指标满足预设阈值的情况下，得到训练好的巡航场景检测模型。在已训练的巡航场景检测模型的模型性能评价指标不满足预设阈值的情况下，继续返回步骤410继续执行。如此，使得训练好的巡航场景检测模型泛化能力强、检测准确率高，并且，测试样本集准确率提高，训练和测试样本集损失均下降直到保持稳定，达到设定的迭代目标。
相较于传统的YOLOv3，在自由场景下采集到的图像可能尺寸大小不一，使YOLOv3检测小目标的效果会受到影响。由于较大目标的误差相对较小目标的误差对最终的损失值影响更小，若损失函数不变，则损失函数难以下降，对小目标检测结果较差。由于防外破场景也有检测小目标的需求，为了更好地拟合数据，本申请实施例对YOLOv3坐标误差的宽高部分损失函数进行改进：采用了预测值和真实值的平方和作为损失，上述场景信息的边界框预测(boundingboxprediction)的损失的计算公式如下：
Figure BDA0003811937470000171
其中，
Figure BDA0003811937470000172
为边界框预的损失，λcoord为协调不同大小矩形框对误差函数贡献不一致所设置的一个协调系数，其大小等于
Figure BDA0003811937470000173
coord为含义为坐标，S为网格尺寸，B为候选框数量，i为遍历参数，从0开始，j为遍历参数，从0开始，obj为有目标的情况，xi为第i个网络预测的矩形框中心坐标x坐标，
Figure BDA0003811937470000174
为第i个标记矩形框的x坐标，yi为第i个网络预测的矩形框中心坐标y坐标，
Figure BDA0003811937470000175
为第i个标记矩形框的y坐标，wi为第i个网络预测的矩形框宽度大小，
Figure BDA0003811937470000176
为第i个标记的矩形框宽度大小，hi为第i个网络预测的矩形框高度大小，
Figure BDA0003811937470000177
为第i个标记的矩形框高度大小。并且，在坐标误差后加入激活函数tanh以减小预测框过大而产生的误差，使预测框更加精确的检测出施工机械。
上述场景信息的置信度(confidenceprediction)的损失的计算公式如下：
Figure BDA0003811937470000178
其中，f2为场景信息的置信度的损失，
Figure BDA0003811937470000179
为表示真实值，Ci为预测框内含有目标物体的概率得分，λnoobj为一个权重值，表示当预测框没有预测到目标时，其置信度误差在损失函数中所占权重，noobj没有含义。
上述场景信息的类别预测(classprediction)的损失的计算公式如下：
Figure BDA00038119374700001710
其中，f3为场景信息的类别预测的损失，c为代表其中一个类别，classes为代表所有类别，
Figure BDA0003811937470000181
为标记框所属类别真实值，pi为预测框属于类别c的概率。
上述场景信息的置信度的损失f2的计算公式与场景信息的类别预测的损失f3的计算公式均采用的是交叉熵损失函数。
最终总损失函数Loss的计算公式为：
Figure BDA0003811937470000182
第3个步骤，根据场景信息的边界框预测的损失、场景信息的置信度的损失及场景信息的类别预测的损失，对巡航场景检测模型的训练参数进行调整，直至满足预设结束条件，得到已训练的巡航场景检测模型。如此，本申请实施例采用预测值和真实值的平方和作为损失，可以对以减小预测框过大而产生的误差，使预测框更加精确的检测出场景信息。
在本申请实施例中，设备成本和运维成本较低，不需要部署大量的感应设备，不需要对传感设备或者摄像头进行日常运维，通过无人机自动巡航的方式进行定期的精细化巡视，能够高效的完成运维任务。智能化程度高，相对于传统方式需要大量的人工巡视和判读工作，通过深度学习算法能够进行数据的预先筛选，给到运维人员的少量需要判读数据，大大降低了运维人员的工作强度，降低了人员成本。
当然，对于上述巡航场景检测模型的训练步骤，可以根据无人机平台的场景以及任务要求对主干网络进行替换，例如，可以使用对检测精度有明显提升但复杂度稍大的DLA-34网络替换darknet53网络。如有更加先进全面的主干网络，也可进行简单的替换。也可以通过更换其他端到端的算法的方式实现智能识别的过程。
上述利用CNN网络进行特征提取，YOLOv3预测bbox的思想是，以backbone输出的feature_map尺寸(13，13)看做坐标参考系，也就是所谓的栅格grid。这样可以划分出13x13个格子，把这个棋盘格对应到原图上就相当于是建立了一个坐标体系。每个格子去预测三个bbox，每个bbox负责预测一个对象，同时每个bbox有一个预设的anchor基准，把确定出bbox的信息(x，y，w，h，c，…80classes…)放在每个格子的通道中。因此，卷积神经网络一个scale输出raw_tensor的shape应该为(13，13，3*85)。一共有13x13个位置，每个位置有3个bbox，可以算出最多可以预测13*13*3个bbox(同时需要13*13*3个预设anchor)，每个bbox都是相互独立的。数据传入卷积神经网络进行特征提取，获得三种不同大小的特征图(13*13，26*26，52*52)，为了更好的学习到图像中的特征信息，对深层特征图进行了2次上采用，13*13的特征图通过2倍上采用，与26*26特征图进行融合，用相同的方法，将26*26特征图通过2倍上采样与52*52特征图融合。
利用提取的特征图计算类别，YOLOv3的检测结果通过3个不同的尺度，分别来检测小、中、大目标。卷积神经网络进行了三次检测，分别是在32倍降采样，16倍降采样，8倍降采样时进行检测。在卷积神经网络中使用up-sample(上采样)的原因：卷积神经网络越深的特征表达效果越好，比如在进行16倍降采样检测，如果直接使用第四次下采样的特征来检测，这样就使用了浅层特征，这样效果一般并不好。如果使用32倍降采样后的特征，但深层特征的大小太小，因此yolo_v3使用了步长为2的up-sample(上采样)，把32倍降采样得到的featuremap的大小提升一倍，也就成了16倍降采样。同理8倍采样也是对16倍降采样的特征进行步长为2的上采样，这样就可以使用深层特征进行detection。Yolo_v3通过上采样的方式很好的使16倍降采样和8倍降采样使用深层特征，但进行4次下采样和3次下采样得到的浅层featuremap大小是一样的。Yolo_v3把这些浅层特征也利用起来，就有了route层。把16倍降采样得到的featuremap和四次下采样得到的层拼接在一起，在channel那个维度进行拼接。这样拼接的好处：让卷积神经网络同时学习深层和浅层特征，表达效果更好。8倍降采样同样也是这样的操作，把三次下采样的featuremap拼接在一起。通过IoU算法：先计算两个框的最小闭包区域面积，(通俗理解：同时包含了预测框和真实框的最小框的面积)，去除IOU阈值以下的样本，然后通过NMS算法得到最终预测框，计算损失值，每个EPOCH结束后，将测试样本集传入卷积神经网络，验证模型的可靠性，计算损失值、准确率。
在一些实施例中，在已训练的巡航场景检测模型的模型性能评价指标满足预设阈值的情况下，得到训练好的巡航场景检测模型之后，方法还包括如下6个步骤，第1步，获取训练好的巡航场景检测模型的运行速率。
第2步，确定运行速率是否小于预定阈值。如果否，也就是运行速率不小于预定阈值，执行第3步。如果是，也就是运行速率小于预定阈值，执行第4步。
第3步，运行训练好的巡航场景检测模型。
第4步，对训练好的巡航场景检测模型进行减缩和截断，得到缩小后的巡航场景检测模型。其中，对训练好的巡航场景检测模型进行减缩和截断，得到缩小后的巡航场景检测模型进一步可以包括对训练好的巡航场景检测模型进行剪枝，压缩量化操作，缩小模型的大小，得到缩小后的巡航场景检测模型。其中，训练好的巡航场景检测模型的剪枝是指删减不重要权重，对预测几乎没有影响的神经元。训练好的巡航场景检测模型的模型量化是指以较低的推理精度损失将连续取值(或者大量可能的离散取值)的浮点型模型权重或流经模型的张量数据定点近似(通常为Int8)为有限多个(或较少的)离散值的过程，int8量化模型大小通常可以缩减为原来四分之一，减少内存占用、功耗，增加推理速度。进一步的，压缩量化进一步可以包括将截断字符长度16位变成8位。
第5步，获取缩小后的巡航场景检测模型的精准度损失。
第6步，确定精准度损失是否符合精准度要求。如果否，也就是精准度损失不符合精准度要求，返回第4步，直到达到预期效果。如果是，也就是精准度损失符合精准度要求，执行第7步。
第7步，运行精准度损失符合精准度要求的缩小后的巡航场景检测模型。如此，让训练好的巡航场景检测模型能够在硬件设备上运行，达到在精度几乎不降低的情况下，压缩训练好的巡航场景检测模型的大小。
其中，硬件设备可以但不限于包括厂商设置及AI(artificialintelligence，人工智能)开发板X86。如此，训练好的巡航场景检测模型也可以在AI开发板X86，指令集上运行，然后再对训练好的巡航场景检测模型进行测试。
在上述第7步之后，航油管线无人化巡视方法还包括将精准度损失符合精准度要求的缩小后的巡航场景检测模型，作为优化后的场景检测模型。将优化后的场景检测模型的格式与硬件设备的运行场景的运行格式相匹配，以适配运行。示例性的，将优化后的场景检测模型的格式转换为开放神经网络交换架构onnx格式的硬件格式，作为中间格式方便转换为其他格式。将上述优化后的模型通过硬件设备提供的ATC转换docker镜像进行转换，将转换后的om格式模型部署到支持AI运算的基于ARM架构的边缘计算设备atlas200dk上。
图8所示为图4所示的航油管线无人化巡视方法的具体应用实例的流程示意图。图9所示为图2所示的航油管线201的边缘处理子系统211的结构示意图。
如图8和图9所示，步骤410，第二边缘计算终端2112获取无人机2113的巡视信息，巡视信息包括为无人机2113设定的航油成品油管线的巡视航线、行高、云台角度等信息。其中，步骤410进一步可以包括生成无人机2113的巡视信息。
步骤420，第二边缘计算终端2112启动无人机2113和边缘计算装备，进行启动预热。
步骤430，无人机2113启动飞行，无人机2113的摄像头启动沿巡视航线进行实时视频拍摄，生成视频流。
步骤440，第二边缘计算终端2112实时从无人机2113获取视频流。此步骤440进一步可以包括第二边缘计算终端2112通过OSDK(Onboard Software Development Kit，板载软件开发套件)实时从无人机2113获取视频流。OSDK是一个用于开发无人机2113应用程序的开发工具包。
步骤450，巡航场景检测模型对视频流进行抽帧分析，每秒识别10帧。
步骤460，第二边缘计算终端2112判断视频流中的场景信息中是否存在烟火、土石方工程、大型施工机械。如果否，也就是不存在预警场景，则进入步骤470，如果是，也就是存在烟火、土石方工程、大型施工机械场景，则进入步骤480。
步骤470，无人机2113继续沿着巡视航线进行飞行。
步骤480，第二边缘计算终端2112通过5G通信模块，使用预定HTTP接口，向航油安全运维系统上报报警图像和报警位置，航油安全运维系统后续会下发通知运维人员进行人工二次故障的判读。
步骤490，无人机2113飞行结束，完成无人化巡视任务。如此，在管线区域部署无人机2113单兵巡视装备，通过无人机2113定期进行线路巡视，搭配第二边缘计算终端2112进行现场识别，进行管线区域的智能防外破智能。并且，通过5G通信模块向云端应用服务集群上报传输识别结果，以管理传输识别结果，有效降低视频、图像数据传输压力，提升巡视的频率和效率。
图10所示为本申请实施例的航油管线无人化巡视装置的模块示意图。
如图10所示，该航油管线无人化巡视装置，包括如下模块：
获取模块51，用于获取飞行器对航油成品油管线进行巡航的巡航图像；
处理模块52，用于将巡航图像输入航油成品油管线的巡航场景检测模型，以输出航油成品油管线被巡航的场景信息是否包含造成航油成品油管线外破的预设场景信息，巡航场景检测模型是样本集训练得到的，样本集包括预设场景信息，预设场景信息中的检测对象的类别包括第一场景信息中的烟火、第二场景信息中的土石方工程及第三场景信息中的施工机械；
生成模块53，用于在航油成品油管线被巡航的场景信息包含预设场景信息的情况下，生成报警信息；
发送模块54，用于向航油安全运维系统中的中心服务器发送报警信息。
继续结合图2、图9和图10所示，边缘计算设备1212包括第二边缘计算终端2112。该第二边缘计算终端2112可以包括但不限于上述的航油管线无人化巡视装置，以实现航油管线201防外破。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图11所示为本申请实施例提供的电子设备60的结构示意图。
如图11所示，电子设备60包括处理器61和存储器69。
存储器69，用于存放计算机程序。
一个或多个处理器61，用于执行存储器上所存放的程序时，实现如上的航油管线无人化巡视方法。
在一些实施例中，电子设备60可以包括内存68和接口67。在一些实施例中，电子设备60还可以根据实际应用包括其他硬件。电子设备60可以包括但不限于第二边缘计算终端2112。
其中，存储器69可以存储有可被处理器61调用的程序，可以包括非易失性存储介质。本文中提到的存储器69可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器69可以是：RAM(RadomAccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
在一些实施例中，还提供了一种计算机可读存储介质，如图11中的存储器69，该计算机可读存储介质内存储有机器可执行指令，机器可执行指令被处理器执行时实现上文描述的方法。例如，计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等存储器)上实施的计算机程序产品的形式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例还提供了一种计算机程序，存储于计算机可读存储介质，例如图11中的计算机可读存储介质，并且当处理器执行该计算机程序时，促使处理器61执行上文中描述的方法。
以上仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (10)

1.一种航油管线无人化巡视方法，其特征在于，该航油管线无人化巡视方法包括：
获取飞行器对航油成品油管线进行巡航的巡航图像；
将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否包含造成所述航油成品油管线外破的预设场景信息，所述巡航场景检测模型是样本集训练得到的，所述样本集包括所述预设场景信息；
在所述航油成品油管线被巡航的场景信息包含所述预设场景信息的情况下，生成报警信息；
向航油安全运维系统中的中心服务器发送所述报警信息。
2.如权利要求1所述的航油管线无人化巡视方法，其特征在于，所述预设场景信息中的检测对象的类别包括第一场景信息中的烟火、第二场景信息中的土石方工程及第三场景信息中的施工机械；
采用如下方式，训练所述巡航场景检测模型：
获取原始图像样本集，其中，所述原始图像样本集包含带有造成所述航油成品油管线外破的预设场景信息；
清洗所述原始图像样本集的干扰数据，得到清洗图像样本集；
对所述清洗图像样本集中的所述第一场景信息、所述第二场景信息及所述第三场景信息，以及所述预设场景信息在所述清洗图像样本集中的位置进行标记，得到标记后的图像样本集；
根据所述标记后的图像样本集，确定训练样本集，所述训练样本集包含多个标记后的第一图像样本以及各标记后的第一图像样本的预设场景信息；
使用所述多个标记后的第一图像样本，得到已训练的巡航场景检测模型。
3.如权利要求2所述的航油管线无人化巡视方法，其特征在于，所述将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否是造成所述航油成品油管线外破的预设场景信息，包括：
将所述巡航图像输入航油成品油管线的巡航场景检测模型；
通过所述巡航场景检测模型将所述巡航图像划分为多个网格，并将所述多个网格，按照预定尺寸，生成多个锚框；在所述锚框包含检测对象的情况下，预测所述检测对象的类别，以及根据所述锚框，生成所述检测对象的预测框；从所述检测对象的预测框中，选择目标边界框，以输出目标边界框、所述检测对象的类别及所述目标边界框的检测对象的置信度。
4.如权利要求3所述的航油管线无人化巡视方法，其特征在于，所述通过所述巡航场景检测模型将所述巡航图像划分为多个网格，并将所述多个网格，按照预定尺寸，生成多个锚框；在所述锚框包含检测对象的情况下，预测所述检测对象的类别，以及根据所述锚框，生成所述检测对象的预测框；从所述检测对象的预测框中，选择目标边界框，以输出目标边界框、所述检测对象的类别及所述目标边界框的检测对象的置信度，包括：
通过所述巡航场景检测模型，对所述巡航图像进行深层特征提取，得到所述巡航图像的第一深层特征，以输出分辨率大小为第一尺寸的第一特征图，所述第一特征图包括所述巡航图像的第一深层特征；
通过所述巡航场景检测模型，对所述巡航图像进行深层特征提取，得到所述巡航图像的第二深层特征，并融合所述第一深层特征和第二深层特征，以输出分辨率大小为第二尺寸的第二特征图，所述第二特征图包括所述巡航图像的第二深层特征，且所述第二尺寸大于所述第一尺寸；
通过所述巡航场景检测模型，对所述巡航图像进行浅层特征提取，得到所述巡航图像的浅层特征，并融合所述第二深层特征和第二深层特征，以输出分辨率大小为第三尺寸的第三特征图，所述第三特征图包括所述巡航图像的浅层特征，且所述第三尺寸大于所述第二尺寸；
通过所述巡航场景检测模型的特征融合子模型，对所述第一特征图、所述第二特征图及所述第三特征图进行特征融合，对所述融合后的特征进行采样，以输出所述目标边界框、所述检测对象的类别及所述目标边界框的检测对象的置信度，所述融合后的特征图包括融合后的特征。
5.如权利要求2所述的航油管线无人化巡视方法，其特征在于，所述使用所述多个标记后的第一图像样本，得到已训练的巡航场景检测模型，包括：
将各所述标记后的第一图像样本输入巡航场景检测模型，以输出所述标记后的第一图像样本的预测场景信息；
根据所述标记后的第一图像样本的预测场景信息，以及所述标记后的第一图像样本的预设场景信息，确定当前损失，所述当前损失包括场景信息的边界框预测的损失、场景信息的置信度的损失及场景信息的类别预测的损失，所述场景信息的边界框预测的损失为标记后的第一图像样本的预测场景信息，以及所述标记后的第一图像样本的预设场景信息的平方和；
根据所述场景信息的边界框预测的损失、场景信息的置信度的损失及场景信息的类别预测的损失，对所述巡航场景检测模型的训练参数进行调整，直至满足预设结束条件，得到已训练的巡航场景检测模型。
6.如权利要求2所述的航油管线无人化巡视方法，其特征在于，在所述得到标记后的图像样本集之后，所述方法还包括：
根据所述标记后的图像样本集，确定测试样本集，所述测试样本集包含多个标记后的第二图像样本以及各标记后的第二图像样本的预设场景信息；
在所述使用所述多个标记后的第一图像样本，得到已训练的巡航场景检测模型之后，所述方法还包括：
将所述多个标记后的第二图像样本输入已训练的巡航场景检测模型，以输出所述标记后的第二图像样本的测试场景信息；
根据所述标记后的第二图像样本的测试场景信息，以及所述标记后的第二图像样本的预设场景信息，确定已训练的巡航场景检测模型的模型性能评价指标；
在所述已训练的巡航场景检测模型的模型性能评价指标满足预设阈值的情况下，得到训练好的所述巡航场景检测模型。
7.如权利要求6所述的航油管线无人化巡视方法，其特征在于，在所述已训练的巡航场景检测模型的模型性能评价指标满足预设阈值的情况下，得到训练好的所述巡航场景检测模型之后，所述方法还包括：
获取所述训练好的所述巡航场景检测模型的运行速率；
在所述运行速率小于预定阈值的情况下，对所述训练好的所述巡航场景检测模型进行减缩和截断，得到缩小后的巡航场景检测模型；
获取所述缩小后的巡航场景检测模型的精准度损失；
在所述精准度损失符合精准度要求的情况下，以运行精准度损失符合精准度要求的所述缩小后的巡航场景检测模型。
8.一种航油管线无人化巡视装置，其特征在于，包括：
获取模块，用于获取飞行器对航油成品油管线进行巡航的巡航图像；
处理模块，用于将所述巡航图像输入航油成品油管线的巡航场景检测模型，以输出所述航油成品油管线被巡航的场景信息是否包含造成所述航油成品油管线外破的预设场景信息，所述巡航场景检测模型是样本集训练得到的，所述样本集包括所述预设场景信息，所述预设场景信息中的检测对象的类别包括第一场景信息中的烟火、第二场景信息中的土石方工程及第三场景信息中的施工机械；
生成模块，用于在所述航油成品油管线被巡航的场景信息包含所述预设场景信息的情况下，生成报警信息；
发送模块，用于向航油安全运维系统中的中心服务器发送所述报警信息。
9.一种航油安全运维系统，其特征在于，所述航油安全运维系统包括：中心服务器及与所述中心服务器连接的多个边缘处理子系统，所述边缘处理子系统包括航油数据采集终端及与所述航油数据采集终端连接的边缘计算设备；
多个所述边缘处理子系统，用于通过航油数据采集终端采集的数据，并采用所述边缘计算设备处理所述数据，得到处理结果，并向所述中心服务器发送所述处理结果；
其中，多个所述边缘处理子系统包括航油管线的边缘处理子系统，所述航油数据采集终端包括飞行器，所述飞行器与所述航油管线的边缘处理子系统进行通信，所述航油管线的边缘处理子系统包括如权利要求8所述的航油管线无人化巡视装置。
10.如权利要求9所述的航油安全运维系统，其特征在于，多个所述边缘处理子系统还包括航空加油车的边缘处理子系统，所述航空加油车的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括第一边缘计算终端，所述航油数据采集终端包括与所述第一边缘计算终端连接的视频监控终端；所述航空加油车的边缘处理子系统，用于通过视频监控终端采集与航空加油车相关的数据，并使用所述航空加油车的第一边缘计算终端处理所述航空加油车相关的数据，得到第一处理结果，以及向所述中心服务器发送所述第一处理结果；
和/或，
多个所述边缘处理子系统还包括航油油库的边缘处理子系统，所述航油油库的边缘处理子系统与所述中心服务器连接，所述边缘计算设备包括边缘计算服务器，所述航油数据采集终端包括与所述边缘计算服务器连接的智能感知终端；所述航油油库的边缘处理子系统，用于通过所述智能感知终端获取与油库相关的数据，并使用所述边缘计算服务器处理所述与油库相关的数据，得到第二处理结果，以及向所述中心服务器发送所述第二处理结果。
CN202211014437.1A 2022-08-23 2022-08-23 航油管线无人化巡视方法、装置和航油安全运维系统 Active CN115457411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014437.1A CN115457411B (zh) 2022-08-23 2022-08-23 航油管线无人化巡视方法、装置和航油安全运维系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014437.1A CN115457411B (zh) 2022-08-23 2022-08-23 航油管线无人化巡视方法、装置和航油安全运维系统

Publications (2)

Publication Number Publication Date
CN115457411A true CN115457411A (zh) 2022-12-09
CN115457411B CN115457411B (zh) 2023-05-26

Family

ID=84299691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014437.1A Active CN115457411B (zh) 2022-08-23 2022-08-23 航油管线无人化巡视方法、装置和航油安全运维系统

Country Status (1)

Country Link
CN (1) CN115457411B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740507A (zh) * 2023-08-02 2023-09-12 中科星图测控技术股份有限公司 一种基于arm架构的空间目标检测模型构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124848A1 (en) * 2015-11-02 2017-05-04 Leauto Intelligent Technology (Beijing) Co. Ltd. Image-based remote observation and alarm device and method for in-car moving objects
CN112101088A (zh) * 2020-07-27 2020-12-18 长江大学 一种无人机电力自动巡检方法、装置及系统
CN114743116A (zh) * 2022-04-18 2022-07-12 蜂巢航宇科技（北京）有限公司 一种基于营房巡视场景的无人值守专用载荷系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124848A1 (en) * 2015-11-02 2017-05-04 Leauto Intelligent Technology (Beijing) Co. Ltd. Image-based remote observation and alarm device and method for in-car moving objects
CN112101088A (zh) * 2020-07-27 2020-12-18 长江大学 一种无人机电力自动巡检方法、装置及系统
CN114743116A (zh) * 2022-04-18 2022-07-12 蜂巢航宇科技（北京）有限公司 一种基于营房巡视场景的无人值守专用载荷系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李涛等: "原油管线泄漏巡检视频智能识别方法研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740507A (zh) * 2023-08-02 2023-09-12 中科星图测控技术股份有限公司 一种基于arm架构的空间目标检测模型构建方法

Also Published As

Publication number Publication date
CN115457411B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111311081B (zh) 基于多源异构数据的海洋生态异常危险识别方法及装置
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN114627360A (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN102243497A (zh) 用于工程机械的基于物联网技术的远程智能分析服务系统
CN111047565A (zh) 一种用于森林云雾图像分割的方法、存储介质和设备
CN112309068B (zh) 一种基于深度学习的森林火灾预警方法
CN115294476B (zh) 面向无人机电力巡检的边缘计算智能检测方法及设备
CN114665608B (zh) 用于变电站的智能感知巡检系统及方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN114913162A (zh) 一种基于轻量级Transformer的桥梁混凝土裂缝检测方法及装置
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN115457297B (zh) 航油油库漏油检测方法、装置及航油安全运维系统
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN113486779A (zh) 输电线路全景智能巡检系统
CN115457411A (zh) 航油管线无人化巡视方法、装置和航油安全运维系统
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN111354028A (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN118038153A (zh) 配电架空线路的防外破识别方法、装置、设备和介质
CN113971775A (zh) 一种基于优化yolov4算法的违章行为识别方法及系统
CN110661999A (zh) 一种基于大数据的视频监控系统
CN113433874B (zh) 一种基于5g的无人艇综合控制管理系统
CN112906538A (zh) 一种基于无人值守平台的舰船目标图像识别系统及方法
CN118274846B (zh) 用于道路隐患排查的无人机群协同路径规划方法及系统
CN111046785A (zh) 一种基于卷积神经网络的无人机巡检视频关键目标识别的方法
CN114626666B (zh) 一种基于全时空监测的工程现场进度识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant