CN110414359A - 长输管道无人机巡检数据分析与管理方法及系统 - Google Patents

Abstract

本发明公开了一种长输管道无人机巡检数据分析与管理方法，包括：S1、根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；S2、以航段为基本单位，申请、审核、执行飞行任务，获取长输管道无人机巡检视频；S3、对无人机巡检视频进行视频图像快速拼接，并根据历史样本库对拼接后的视频以及该长输管道的其它多源数据进行异常目标快速定位并对管道隐患进行识别分析，生成长输管道安全隐患报告；S4、根据管道隐患报告进行管道安全排查，并采用四级管理模式对航线、飞行任务以及管道隐患进行管理。本发明有效降低油气管道安全管理成本，提高安全监测效率，提升西南地区长输管道的运维管理水平。

Description

长输管道无人机巡检数据分析与管理方法及系统

技术领域

本发明涉及油气管道智能化安全管理与运营领域，尤其涉及一种长输管道无人机巡检数据分析与管理方法及系统。

背景技术

油气管线监测是油气安全生产的重要保障，传统的油气管线巡检工作主要以人工的方式沿油气管线徒步巡视实现。该方式具有劳动强度大、效率低、作业周期长、应急能力较低等缺点。尤其在山区等地形复杂、人员难以到达的地段，往往无法及时完成巡视任务，并且人工巡线的历史资料利用价值不高。

无人机监测是近年来发展迅速、较为先进的无人机应用技术。运用无人机遥感技术进行巡线，具有响应及时、效率高、无需人工穿越困难地区，并且具有数据客观可靠、易于监管、可重复利用等诸多优势。无人机遥感技术在长输油气管道管理中的应用，为管道安全管理提供了有力的保障，大大提高了管道管理效率^[1]。该技术已经越来越多地应用到油气管道的运营管理和安全监测中。

2010年以来，有关学者对无人机在油气管道安全巡检领域做了大量的研究。2011年欧新伟等人结合无人机遥感技术在兰成渝管道中的应用，论述了无人机在管道管理中的作用。2013年，常文见等探讨了无人机遥感技术在长输管道中的应用。2014年，李器宇等人分析了无人机遥感监测用于油气管道巡检的可行性，并介绍了无人机油气管道遥感监测系统及其应用。2017年，雍歧卫等人提出一种基于无人机巡线图像的地面油气管道识别方法。2018年，李晶对无人机在油区管道安全领域中的应用进行了探讨。

目前，对无人机巡线的研究多集中在应用探讨及数据处理领域，关于巡线数据管理和应用相关研究较少。

发明内容

本发明要解决的技术问题在于针对现有技术中西南地区长输管道无人机油气管线巡检数据管理技术落后的缺陷，提供一种长输管道无人机巡检数据分析与管理方法及系统。

本发明解决其技术问题所采用的技术方案是：

提供一种长输管道无人机巡检数据分析与管理方法，包括以下步骤：

S1、根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；

S2、以航段为基本单位，申请、审核、执行飞行任务，获取长输管道无人机巡检视频；

S3、对无人机巡检视频进行视频图像快速拼接，并根据历史样本库对拼接后的视频以及该长输管道的其它多源数据进行异常目标快速定位并对管道隐患进行识别分析，生成长输管道安全隐患报告；

S4、根据管道隐患报告进行管道安全排查，并采用“管道管理局－管道管理处－输油场站－航段”四级管理模式对航线、飞行任务以及管道隐患进行管理。

接上述技术方案，步骤S1中基于多旋翼无人机特性的长输管道航段划分方法具体为：

根据多旋翼无人机续航里程及管道中心点坐标计算单架次无人机巡检距离；

确定单架次飞行起降点；

现场试验飞行并对起降点进行优化，优化后的单架次飞行轨迹为航段。

接上述技术方案，步骤S2中还包括航飞任务流闭合管理，具体为：

S21、飞手新建计划申请表；

S22、管理处内审计划申请表，通过后执行S23，不通过打回修改；

S23、飞手提交月计划至管道管理处；

S24、管道管理处对月计划进行审批，通过后执行S25，不通过打回修改；

S25、飞手提交日计划审批单，选择执行日期，根据月计划表确定执飞区域，若发生变更，提交变更审批单；

S26、八大管理处管道科科长、副处长、处长三级对日计划审批单进行审核；

S27、打印飞行简报，执行航飞；

S28、若执飞正常，飞手填写飞行简报，上传；

S29、若出现飞行事故，飞手进行飞行故障报告，填写飞行简报，上传，相关设备故障次数加1，人员飞行事故次数加1。

接上述技术方案，步骤S3中对管道隐患进行识别分析的过程具体为：

基于影像数据和基本目标提取功能，根据提取的特征区域，采用深度学习算法，对敏感事件进行智能判定。

接上述技术方案，步骤S3中视频图像快速拼接具体过程为：

对多旋翼无人机的原始航拍图像进行预处理、特征提取与特征匹配，求取场景的稀疏点云以及相机位姿；

对稀疏点云数据进行切块处理以规避内存不足问题；

循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；

将各个小块生成的二维正射图和数字高程图进行合并。

本发明还提供了一种长输管道无人机巡检数据管理系统，该系统包括：

航段数据获取单元，用于根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；并以航段为基本单位获取长输管道无人机巡检视频；

航拍数据处理单元，用于对无人机巡检视频进行视频图像快速拼接；

管道隐患智能识别单元，用于根据拼接后的视频以及历史风险特征训练得到的特征库，对敏感事件进行识别并对异常目标快速定位，以及对管道隐患进行识别分析，生成长输管道安全隐患报告；

巡检管理单元，根据管道隐患报告进行管道安全排查，并采用“管道管理局－管道管理处－输油场站－航段”四级管理模式对航线、飞行任务以及管道隐患进行管理。

接上述技术方案，该系统还包括：

综合管理单元，用于对无人机、载荷、电池及文档相关无人机巡检基础数据进行“管道管理局－管道管理处－输油场站－航段”四级管理；

权限管理单元，用于对航线、飞行人员以及各角色权限进行“管道管理局－管道管理处－输油场站－航段”四级管理。

数据管理单元，用于管理包括飞行视频、原始照片、管线的多源数据，同时根据识别结果输出管道隐患报告以辅助决策。

本发明还提供了一种计算机程序存储介质，其计算机程序可被处理器执行，该计算机程序用于执行上述长输管道无人机巡检数据分析与管理方法。

本发明产生的有益效果是：本发明针对长输管道无人机巡线产生的航线、视频、图像、设备信息、人员信息等多种数据，结合油气管道日常管理工作，提出一种以航段为基本单位的数据管理方法，将无人机巡线相关数据有效管理起来。结合图像智能识别与视频快速定位、拼接技术，弥补传统人工巡线所存在的缺点和不足，对现有数据进行管理。本发明不仅适用于管道日常安全运营管理，还可以为管道维护、应急响应提供决策依据，提高长输管道智能化管理水平。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例西南长输管道无人机巡检数据分析与管理流程图；

图2为基于无人机特性的航段划分技术流程图；

图3为无人机航飞任务流闭合管理流程图；

图4为航拍图像快速拼图功能输入输出示意图；

图5拼图算法内部实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明以西南长输管道为例，如图1所示，本发明实施例的长输管道无人机巡检数据分析与管理方法，包括以下步骤：

S1、根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；

S2、以航段为基本单位，申请、审核、执行飞行任务，获取长输管道无人机巡检视频；同时还可根据航段录入无人机、载荷、电池、人员、航段等无人机巡检基础数据；

S3、对无人机巡检视频进行视频图像快速拼接，并根据历史样本库对拼接后的视频以及该长输管道的其它多源数据进行异常目标快速定位并对管道隐患进行识别分析，生成长输管道安全隐患报告；

S4、根据管道隐患报告进行管道安全排查，并采用“管道管理局－管道管理处－输油场站－航段”四级管理模式对航线、飞行任务以及管道隐患进行管理。

步骤S1中基于多旋翼无人机特性的长输管道航段划分方法具体为：

根据航段导入对应航线，根据多旋翼无人机续航里程及管道中心点坐标计算单架次无人机巡检距离，并确定单架次飞行起降点；

根据现场试验飞行对起降点进行优化，优化后的单架次飞行轨迹即为航段，主要解决西南长输管道长距离无人机巡线管理困难的问题，将长距离管道划分为多个短距离航段，具有可扩展性，适应性强的特点。

步骤S2中，管理处管道科根据实际情况，在每月的月初或者上月的月末，由巡飞人员制定一整个月的飞行计划申请并提交给管理处科长、副处长和处长进行内审。月飞行计划中包含每天的飞行任务，每一个飞行任务都明确指定负责人、飞行起止点、飞行里程。

管理处内审通过后，巡飞人员将计划申请提交到广州总部管道处进行审批，若审批通过后，巡飞人员即可打印飞行简报执行航飞任务。飞行过程正常时，巡飞人员填写飞行简报并上传到巡检系统。完成巡线飞行任务的申请、审批、执行、巡线情况统计，同时获取长输管道无人机巡检产生的多源数据，包括：视频、原始航片等。

步骤S2中还包括对航飞任务流闭合管理，如图3所示，具体为：

(1)飞手新建计划申请表；

(2)管理处内审计划申请表，通过后执行第(3)步，不通过打回修改；

(3)飞手提交月计划至管道管理处；

(4)管道管理处对月计划进行审批，通过后执行第(5)步，不通过打回修改；

(5)飞手提交日计划审批单，选择执行日期，根据月计划表确定执飞区域，若发生变更，提交变更审批单；

(6)八大管理处管道科科长、副处长、处长三级对日计划审批单进行审核；

(7)打印飞行简报，执行航飞；

(8)若执飞正常，飞手填写飞行简报，上传；

(9)若出现飞行事故，飞手进行飞行故障报告，填写飞行简报，上传，相关设备故障次数加1，人员飞行事故次数加1。

步骤S3中，根据可疑人员、工程车、挖掘机、建筑房屋等风险特征训练得到的特征库，对视频进行风险识别，同时实现视频的快速拼接与定位，人工核实智能分析结果，核实后输出管道隐患报告；

步骤S4中，管理处识别出的各种管道隐患，制定相关人员排查隐患问题，隐患问题解决后，提交现场照片。

在本发明的另一个具体实施例中：

第一步：飞行航段的划分

根据多旋翼无人机续航里程及管道中心点坐标计算单架次无人机巡检距离、确定单架次飞行起降点，现场试验飞行对起降点进行优化，优化后的单架次飞行轨迹即为航段。

第二步：飞行成果数据导入

根据实际情况，完成巡线飞行任务的申请、审批、执行，将飞行结果导入系统。

第三步：视频快速拼接与智能识别

在硬件环境及输入输出图像分辨率一致的情况下，该拼图算法处理速度快，拼图过程中建立了图片像素与地理坐标之间的映射关系，对目标定位精度达到5m至20m(跟图片质量和GPS精度有关)，根据应用场景需求可设置结果输出的分辨率，可输出二/三维图像对应分辨率的所有细节信息。

(1)视频图像快速拼接：

由于航拍图像的复杂性，处理并获取整幅航拍图像的全局特征往往并不能准确表达图像中所含有的具体内容。在实际航拍图像中，待检测目标的尺度在飞行器上的图像采集设备获取的图像中可能存在较大的变化，待检测目标可能被房屋等建筑遮挡，并且由于飞行器飞行中的转向等问题，待检测目标角度会发生变化，导致在不同的观察视角下，目标可能呈现不同的特点。以上三个问题不是单独出现的，在实际的航拍图像中可能存在同时出现的情况。针对以上航拍图像的复杂性问题，利用深度学习的自编码特性进行图像特征的机器的自动提取。让机器学习自己获得大样本的自学习特征信息，来代替人工特定的，局部的构造特征，以此来为后面的非线性深层CNN神经网络提供数据。

结合图像拼接功能迅速给出特征目标的准确位置信息。基于深度神经网络的智能识别技术，对需进行巡检的管线范围内的异常目标，如异常车辆、工程车、违建房屋等特征目标进行快速识别与检测，识别精度达到80％以上。

针对油气管道巡线以及其他多个应用场景，使用无人机航拍视频流及对应的GPS数据，快速生成用户可定义分辨率的、带地理坐标和纹理信息的正射图和高程图，便于全方位查看场景全貌或更直观的定位异常所处位置。图像拼接功能一方面能够准确的建立所采集图像指定像素点和实际地理坐标的对应关系，实现对感兴趣目标(如管线和异常目标)的精准定位；另一方面能够快速实现场景的三维地图构建，直观查看航线覆盖区域的地形。其输入输出示意图如图4所示。

整个拼图算法的流程主要包括如下部分：利用SFM方法得到场景稀疏点云以及相机位姿、点云文件切分、循环进行网格重建以及纹理贴图，再将小图通过GDAL进行合并，并最终输出合并的二维正射图和数字高程图。

图5为本发明实施例拼图算法内部实现流程图。

步骤①对原始航拍图像进行预处理、特征提取与特征匹配，利用SFM技术求取场景的稀疏点云以及相机位姿；

步骤②对稀疏点云数据进行切块处理，以规避内存不足问题；

步骤③循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；

步骤④最终将各个小块生成的二维正射图和数字高程图进行合并。

该方法的输入是无人机获取的航拍视频以及对应的GPS坐标，输出是高分辨率的二维正射图和数字高程图。其中，输入视频流和精简的GPS数据可以确保无人机更加高效的作业以及更好的适用性，而高分辨率的输出结果则能够反映更多的细节信息，构建更加准确的场景地图。

(2)视频图像智能识别：

结合所能提取的特征区域，利用深度学习算法自编码特性进行图像特征的自动提取，通过机器学习获得大样本的自学习特征信息，实现对管道占压、第三方施工、动目标等敏感事件的智能判定。

具体的技术流程：

1)采用VGG卷积网络方式提取图像特征，将原始输入图像中的信息进行提取并整理为更抽象和稳定的逻辑信息。

2)该逻辑信息传输给后续的分类器来进行当前目标所属类别的判定和目标在图像中位置的判定，例如，将输入图像切成S×S个网格，若目标中心位置的坐标落入到某个格子，则该格子就负责目标的相关检测。

3)每个格子可以预测B个边框及其置信度，以及C个类别概率。边框信息(x,y,w,h)反映物体的中心位置相对格子位置的偏移及宽度和高度，均被归一化。置信度是反映是否包含物体以及包含物体情况下位置的准确性。

4)针对多尺度目标的高速检测问题，将网络结构设计成一个具有22层的网络，并且以16为系数进行降采样，当416×416像素的图片输入后能得到26×26的输出栅格。通过网络优化技术，提升了对密集排布小物体的检测效果。为了提高模型识别小物体的准确度，引入一个52×52的直通层，与最后一个卷积层进行组合，使得检测器可以通过拓展特征图发现更多细粒度的特征。

5)卷积网络中的神经元都使用批量归一化和LeakyRelu激活，最后一层使用线性激活函数。为了提高卷积层的性能，在卷积层结构中添加Res层来增强卷积层对数据的拟合能力，在网络的特征交互层中实现卷积层提取的局部特征交互，再将网络得到的结果映射到原始的航拍图像中，最终就得到了检测结果。

第三步：人工核实智能分析结果，并输出管道隐患报告，制定整改计划。

根据人工核实智能分析结果，管理处会安排相关人员对识别出的管道隐患进行逐一排查，待隐患问题解决后，需提交现场整改照片。

本发明实施例长输管道无人机巡检数据管理系统包括：

航段数据获取单元，用于根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；并以航段为基本单位获取长输管道无人机巡检视频；

航线数据处理单元，用于对无人机巡线规划路径的管理。航线是无人机巡线的基础数据，其定位参数(X,Y,Z)的准确性直接影响到飞行成果的有效性。根据航线上的障碍物(如高压线、信号塔、超高建筑物等)和禁飞段范围，对飞行路径进行针对性优化设计，合理控制安全距离是保障无人机在管道上飞行的重要措施。

管道隐患智能识别单元，用于根据拼接后的视频以及历史风险特征训练得到的特征库，对敏感事件进行识别并对异常目标快速定位，以及对管道隐患进行识别分析，生成长输管道安全隐患报告；

巡检管理单元，根据管道隐患报告进行管道安全排查，并采用“管道管理局－管道管理处－输油场站－航段”四级管理模式对航线、飞行任务以及管道隐患进行管理。

其中，管道隐患智能识别模块具体用于根据历史风险特征训练得到的特征库，对管道占压、第三方施工、动目标等敏感事件进行识别。通过输入图像以及与之匹配的GPS位置、POS位姿和相机参数，建立图像像素坐标系与地理坐标系之间的变换关系；然后通过该关系实现上述两个功能中的坐标变换，实现空基视频图像异常目标快速定位。

进一步地，该系统还包括：

综合管理单元，用于对无人机、载荷、电池及文档相关无人机巡检基础数据进行“管道管理局－管道管理处－输油场站－航段”四级管理。比如对无人机整个生命周期进行管理，包括型号、生产厂家、购入日期、保管人等，可查看技术参数、使用情况、使用记录和故障维修记录，以及无人机完好状态；

权限管理单元，用于对航线、飞行人员以及各角色权限进行“管道管理局－管道管理处－输油场站－航段”四级管理。人员管理功能主要统计各管理处及总部机长、驾驶员、学员和总负责人信息，根据不同的身份角色，提供不同的权限分配，实现对权属范围内业务进行操作。

数据管理单元，用于管理包括飞行视频、原始照片、管线的多源数据，同时根据识别结果输出管道隐患报告以辅助决策。飞手将管道巡线视频数据上传到巡检系统，在室内即可反复多次浏览检查，并对存在安全隐患位置进行问题标记，系统会自动生成浏览记录，包含浏览人、浏览日期等。尤其对经过有高山、河流的管道，人工徒步巡线往往要多耗费4个多小时，现在通过查看视频检查管道周边情况，只需要15-20分钟，大大提高了巡线工作效率。

问题管理单元，用于统计汇总管道隐患问题。根据巡线成果数据分析检查出的隐患、险情，均在巡检系统上记录统计，并且根据不同类型问题(占压、第三方施工、地质灾害、附属设施损坏、巡线通道等)分布，统计各管理处权属范围内管道的问题数量。系统设置了问题处理流程，跟踪巡线问题的整个闭环处理环节。每条问题记录下面都可以设置隐患问题的整改责任人，规定整改日期，按时上传整改结果照片。

本发明还提供了一种计算机程序存储介质，其计算机程序可被处理器执行，该计算机程序用于执行上述长输管道无人机巡检数据分析与管理方法。

综上，本发明针对长输管道无人机巡线产生的航线、视频、图像、设备信息、人员信息等多种数据，结合油气管道日常管理工作，提出一种以航段为基本单位的数据管理方法，实现对无人机巡线多源数据进行有效管理。结合图像智能识别与视频快速定位、拼接技术，弥补传统人工巡线所存在的缺点和不足，对现有数据进行管理。本发明不仅适用于管道日常安全运营管理，还可以为管道维护、应急响应提供决策依据，提高长输管道智能化管理水平。

本领域的技术人员容易理解，此处所说明的附图及实施例仅用以说明本发明技术方案而非对其限制，凡不脱离本发明方案的精神和原则之内所作的任何修改、等同替换和改进等，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (8)

1.一种长输管道无人机巡检数据分析与管理方法，其特征在于，包括以下步骤：

S1、根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；

S2、以航段为基本单位，申请、审核、执行飞行任务，获取长输管道无人机巡检视频；

S3、对无人机巡检视频进行视频图像快速拼接，并根据历史样本库对拼接后的视频以及该长输管道的其它多源数据进行异常目标快速定位并对管道隐患进行识别分析，生成长输管道安全隐患报告；

S4、根据管道隐患报告进行管道安全排查，并采用“管道管理局－管道管理处－输油场站－航段”四级管理模式对航线、飞行任务以及管道隐患进行管理。

2.根据权利要求1所述的西南长输管道无人机巡检数据分析与管理方法，其特征在于，步骤S1中基于多旋翼无人机特性的长输管道航段划分方法具体为：

根据多旋翼无人机续航里程及管道中心点坐标计算单架次无人机巡检距离，并确定单架次飞行起降点；

现场试验飞行并对起降点进行优化，优化后的单架次飞行轨迹为航段。

3.根据权利要求1所述的西南长输管道无人机巡检数据分析与管理方法，其特征在于，步骤S3中对管道隐患进行识别分析的过程具体为：

基于影像数据和基本目标提取功能，根据提取的特征区域，采用深度学习算法，对敏感事件进行智能判定。

4.根据权利要求1所述的西南长输管道无人机巡检数据分析与管理方法，其特征在于，步骤S3中视频图像快速拼接具体过程为：

对多旋翼无人机的原始航拍图像进行预处理、特征提取与特征匹配，求取场景的稀疏点云以及相机位姿；

对稀疏点云数据进行切块处理以规避内存不足问题；

循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；

将各个小块生成的二维正射图和数字高程图进行合并。

5.根据权利要求1所述的西南长输管道无人机巡检数据分析与管理方法，其特征在于，步骤S2中还包括对航飞任务进行流闭合管理，具体为：

S21、飞手新建计划申请表；

S22、管理处内审计划申请表，通过后执行S23，不通过打回修改；

S23、飞手提交月计划至管道管理处；

S24、管道管理处对月计划进行审批，通过后执行S25，不通过打回修改；

S25、飞手提交日计划审批单，选择执行日期，根据月计划表确定执飞区域，若发生变更，提交变更审批单；

S26、八大管理处管道科科长、副处长、处长三级对日计划审批单进行审核；

S27、打印飞行简报，执行航飞；

S28、若执飞正常，飞手填写飞行简报，上传；

S29、若出现飞行事故，飞手进行飞行故障报告，填写飞行简报，上传，相关设备故障次数加1，人员飞行事故次数加1。

6.一种长输管道无人机巡检数据管理系统，其特征在于，该系统包括：

航段数据获取单元，用于根据多旋翼无人机特性划分航段，航段数根据管道总长度与多旋翼无人机飞行时间确定；并以航段为基本单位获取长输管道无人机巡检视频；

航拍数据处理单元，用于对无人机巡检视频进行视频图像快速拼接；

管道隐患智能识别单元，用于根据拼接后的视频以及历史风险特征训练得到的特征库，对敏感事件进行识别并对异常目标快速定位，以及对管道隐患进行识别分析，生成长输管道安全隐患报告；

巡检管理单元，根据管道隐患报告进行管道安全排查，并采用“管道管理局－管道管理处－输油场站－航段”四级管理模式对航线、飞行任务以及管道隐患进行管理。

7.根据权利要求6所述的长输管道无人机巡检数据管理系统，其特征在于，该系统还包括：

综合管理单元，用于对无人机、载荷、电池及文档相关无人机巡检基础数据进行“管道管理局－管道管理处－输油场站－航段”四级管理；

权限管理单元，用于对航线、飞行人员以及各角色权限进行“管道管理局－管道管理处－输油场站－航段”四级管理；

数据管理单元，用于管理包括飞行视频、原始照片、管线的多源数据，同时根据识别结果输出管道隐患报告以辅助决策。

8.一种计算机程序存储介质，其特征在于，其计算机程序可被处理器执行，该计算机程序用于执行如权利要求1-4中任一项所述的长输管道无人机巡检数据分析与管理方法。