CN210511074U - 一种基于无人机遥感和深度学习的油气管道全智能巡检系统 - Google Patents

Abstract

本实用新型公开了一种基于无人机遥感和深度学习的油气管道全智能巡检系统，属于检测技术领域。本实用新型采用无人机搭载高分辨率可见光相机从空中获得影像数据，用户可用图传设备在地面上实时看到处理后的影像；再利用其预置的深度神经网络识别器自动发现危害油气管道安全的行为；一旦发现危害管道安全的行为，则可以保存相关数据，并通过4G网络向监管部门传输位置数据、时间数据和影像数据，且触发警报，极大地减少了人工分析视频图像的工作量，有效避免了漏检现象，提高巡检可靠性，保证巡检质量。本实用新型的油气管道全智能巡检系统应用简单，可靠高效，能显著地降低巡检成本，提高巡检效率和质量。

Description

一种基于无人机遥感和深度学习的油气管道全智能巡检系统

技术领域

本实用新型属于检测领域，具体涉及一种基于无人机遥感和深度学习的油气管道全智能巡检系统。

背景技术

油气管道作为能源运输的重要工具，一旦发生泄漏或者爆炸事故，将严重威胁人民群众的生命和财产安全，因此管道的安全巡护与管理非常重要。国家油气管道保护法规定：在管道线路中心线两侧各五米地域范围内，禁止种植深根植物、挖掘施工、违章修建等行为。然而，上述危害油气管道安全的行为却时有发生，甚至造成不可挽回的损失。这反应了油气管道巡检方案的不足。

目前，常规的油气管道巡护方式，一般是巡护人员徒步观察，检查线路情况并作记录。该巡检方式工作量大，效率低，耗时长、主管因素多，人工成本高，而且受制于地形等。

利用靠近管道布设的光纤传感器，可以通过光信号的变化对管道周边的震动进行分析预警。但目前光纤和大部分电子感应装置普遍存在误差高、作用距离短，获取信息有限等弊端。

随着无人机的发展成熟，利用无人机可以高效、快捷、可靠、低廉的完成巡检任务。目前，现有无人机巡检方案通常是使用无人机拍摄管道周边图像，然后监管人员对图像逐帧的人工观察和判断。该方式需要人工处理海量的视频图像，耗时长，工作效率低，实时性差，且容易产生漏判现象。

实用新型内容

本实用新型的发明目的在于：针对上述存在的问题，提供一种基于无人机遥感和深度学习的油气管道全智能巡检系统。从而实现在大范围内实时准确的获取、识别、判断油气管道周围的图像，自动发现危害油气管道安全的行为；当发现危害油气管道安全的行为时，本系统能迅速通知监管部门，触发警报，极大减少巡检的人工和经济成本等，提高管道安全，进而实现油气管道的全智能巡检，降低巡检成本，提高巡检效率和质量。

本实用新型的基于无人机遥感和深度学习的油气管道全智能巡检系统，包括无人机端、无人机地面端和报警显示终端；

其中，无人机端包括无人机、挂载板、云台、图像采集装置和巡检主控模块；

所述无人机的内部包括GPS模块、图传模块、串口和供电口；

所述挂载板用于将云台和巡检主控模块固定在无人机上；

所述云台与图像采集装置相连，用于稳定图像采集装置，以及为图像采集装置减震；

所述图像采集装置，通常采用高分辨率可见光摄像装置，用于实时采集无人机在执行巡检任务时从空中拍摄的地面图像，并将采集的图像数据实时传输给巡检主控模块；

所述巡检主控模块与无人机相连，并通过无人机的供电口实现供电；同时还与图像采集装置相连；巡检主控模块基于其内置的深度神经网络识别器，对接收的图像数据进行危害油气管道安全的行为的目标识别处理，若识别出当前图像数据具有危害油气管道安全的行为的目标对象，则通过连接的串口从无人机的GPS模块获取GPS时间数据和GPS位置数据，连同当前图像数据的危害油气管道安全的行为的目标对象的识别结果作为当前巡检信息，并将当前巡检信息通过无人机的图传模块发送至无人机地面端；以及通过巡检主控模块内置的网络传输模块基于公网传输至远端的报警显示终端；

所述无人机地面端，用于基于巡检任务设置无人机的飞行任务，以及控制无人机的飞行状态，所述飞行任务包括但不限于手动飞行、沿航线自主飞行等；

所述报警显示终端，用于接收和显示无人机端发送的巡检信息，并进行告警提示，例如在地图上显示无人机的位置并触发警报；进一步的，为了实现对历史巡检信息的查阅，报警显示终端将接收的巡检信息进行存储处理，供查阅。

本实用新型的无人机端的无人机、挂载板、云台，以及无人机地面端构成本实用新型的飞行和挂载子系统；该飞行和挂载子系统用于搭载图像采集装置和巡检主控模块等，并完成指定的飞行任务，包括手动飞行、沿航线自主飞行等。进一步的，飞行和挂载子系统的飞行时间应在35min左右。

本实用新型的图像采集装置、巡检主控模块，以及无人机的图传模块构成本实用新型的图像获取识别子系统，其中图像采集装置优选FLIR可见光传感器，其支持多种分辨率，且可以通过更换镜头以获取不同的拍摄视角；巡检主控模块优选嵌入式计算平台，其内置Linux 系统，能够配置FLIR可见光传感器的输出格式，实时获取FLIR可见光传感器的图像数据；并在巡检主控模块中内置深度神经网络识别器(基于关于危害油气管道安全的行为的训练集，对深度神经网络模型进行深度训练学习得到)，自动分析图像采集装置发送的图像数据，自动识别并标注危害油气管道安全的行为，如油气管道周围的大型机械施工、违章建筑等。所述巡检主控模块运算能力强大，每秒能够完成对5帧-6帧图片的分析识别。更进一步地，所述巡检主控模块的处理器还负责完成无人机位置时间数据的获取、图像压缩、图像保存至本地(无人机地面端)、数据远程传输的工作。当识别到危害油气管道安全的行为时，所述巡检主控模块的处理器就保存相关数据(即巡检信息，也可称巡检结果)，并通过公网将相关数据发送给监管部门。

本实用新型的报警显示终端、远程传输子系统(巡检主控模块与报警显示终端的远程传输)和位置时间信息获取子系统(巡检主控模块从无人机的GPS(GlobalPositioning System) 模块获取GPS时间数据和GPS位置数据)构成了本实用新型的自动报警子系统。当所述图像获取识别子系统检测到危害油气管道安全的行为时，则可通过所述自动报警子系统获得无人机的位置坐标数据、时间数据，并将坐标数据、时间数据、影像数据等通过4G网络(网络传输模块优选4G网卡)发送给油气管道监管部门，并立即保存显示上述数据和触发警报。

此外，为了从无人机的GPS模块获取GPS时间数据和GPS位置数据，可以对巡检主控模块的处理器进行二次开发接口(即设置读取GPS模块的接口)，基于该接口从无人机中获取无人机的GPS坐标数据和GPS时间数据，该数据非常精确。例如无人机采用的型号为DJIM600 Pro，则对巡检主控模块的处理器通过开发软件DJI OnBoard SDK二次开发接口，从而基于开发的接口从无人机的GPS模块读取GPS坐标数据和GPS时间数据。

综上所述，由于采用了上述技术方案，本实用新型的有益效果是：

本实用新型通过无人机巡检油气管道，能够全面快速实时的获取油气管道周围的图像，提高巡检效率、降低巡检成本。本实用新型利用深度学习技术智能实时分析无人机捕获的影像，当检测到危害油气管道的行为时即自动触发警报，极大地减少了人工分析视频图像的工作量，有效避免了漏检现象，提高巡检可靠性，保证巡检质量。而且本实用新型能够将影像数据存储到存储器中，方便以后的观察。因此，本实用新型是集无人机遥感技术、航线规划技术、嵌入式技术、深度学习技术于一体的油气管道全智能巡检系统。该系统应用简单，可靠高效，能显著地降低巡检成本，提高巡检效率和质量。

附图说明

图1为本实用新型的全智能巡检系统的结构框图；

图2为本系统作业方法的流程图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本实用新型作进一步地详细描述。

为了克服现有油气管道巡检方案的不足，本实用新型提供了一套新的全智能油气管道巡检系统：基于无人机遥感和深度学习的油气管道全智能巡检系统。本系统采用无人机搭载高分辨率可见光相机从空中获得影像数据，用户可用图传设备在地面上实时看到处理后的影像。该系统利用深度学习算法实时分析图像，自动发现危害油气管道安全的行为，如大型机械施工、违章建筑等。一旦发现危害管道安全的行为，该系统可以保存相关数据，并通过4G网络向监管部门传输位置数据、时间数据和影像数据，且触发警报，从而迅速通知监管部门。该系统实现了油气管道的全智能巡检，降低了巡检成本，提高了巡检效率和质量。

参见图1，本实用新型的基于无人机遥感和深度学习的油气管道全智能巡检系统，包括无人机端110、无人机地面端120和电脑终端130(也可称为报警显示终端)组成。

其中，无人机地面端120操纵无人机端110完成特定的飞行任务，无人机端110负责从空中拍摄影像并智能化实时分析和识别影像中危害油气管道的行为，包括大型器械施工和违章建筑等。即预先标定危害油气管道的行为所对应的图像作为识别的目标对象，然后对实时采集的拍摄影像进行图像的目标识别处理后，识别出当前拍摄图像中的危害油气管道的行为。当识别出当前拍摄图像的目标对象后，还可以通过无人机111的图传模块实时将识别结果的影像回传到无人机地面端120，无人机地面端120可以实时显示影像。无人机端110 和电脑终端130可以通过物联网(例如中移物联云平台)建立远程无线连接。当无人机端110 检测到危害油气管道的行为时(即当识别出当前拍摄图像的目标对象)，就会保存该影像，并将影像数据、位置数据、时间数据远程无线传输给电脑终端120，电脑终端120触发警报，然后保存并显示收到的数据。

所述无人机端110包括无人机111，挂载板112，云台113，图像采集装置114和巡检主控模块115；本具体实施方式中，采用的无人机111的型号为DJIM600 Pro，网络传输模块为4G网卡；图像采集装置114采用FLIR(菲力尔)可见光传感器，巡检主控模块115为NVIDIAJetson TX2开发板。其中，DJI M600 Pro无人机111负责挂载FLIR可见光传感器并完成飞行任务，其内部包含有GPS模块、图传模块、串口、供电口等。其中图传模块优选DJILightBridge2，使得在空旷地区的图像信号传输距离远达5公里。

其中，无人机111的GPS模块用于获取无人机111当前的GPS时间数据和GPS位置坐标数据，并发送给巡检主控模块115，即通过串口与巡检主控模块115的USB口相连，用于向所述巡检主控模块115提供GPS时间数据和GPS位置数据；图传模块用于将巡检主控模块115输出的对危害油气管道的行为的识别结果(图像信号)传输给无人机地面端120；供电口用于为巡检主控模块115供电，即无人机111的供电口与巡检主控模块115的电源接口相连，用于给所述巡检主控模块115供电。

所述挂载板112用于固定云台113和巡检主控模块115，其中云台113与图像采集装置 114相连，用于给图像采集装置114减震和稳定图像采集装置114。而图像采集装置114则用于向巡检主控模块115提供其实时采集的清晰稳定的图像。

巡检主控模块115用于实时获取图像采集装置114从空中拍摄的影像，并通过内置的深度神经网络识别器对获取的图像数据进行目标识别处理(通过深度神经网络识别器判别当前图像中是否存在目标对象，若是，则在当前图像中得到对应目标对象所在的图像框，即当前图像的目标识别结果)，基于目标识别结果得到图像数据中危害油气管道安全的行为。

其中，深度神经网络识别器为：构建(选择)用于目标对象识别的深度神经网络模型，基于所设置的目标对象(如大型器械施工和违章建筑等)设置对应的训练集，并通过训练集对所选择的深度神经网络模型进行深度学习训练，并将训练好的深度神经网络模型作为深度神经网络识别器。其中，所采用的深度神经网络模型可以是现有的目标对象识别网络，例如 SSD(Single Shot MultiBox Detector)、FASTER-RCNN等等，本实用新型对于具体的深度神经网络模型不做具体限定。同时，对深度神经网络模型的训练也可采用任一惯用的深度学习训练方式即可。

本实用新型所采用的巡检主控模块115运算能力强大，每秒能够完成对5帧-6帧图片的分析识别处理，且巡检主控模块115还负责完成无人机位置和时间数据的获取、图像压缩、图像保存至本地、数据远程传输的工作。一旦识别到危害油气管道安全的行为，则巡检主控模块115的处理器即将所获数据(目标识别结果、无人机位置和时间数据)通过公网发送给监管部门，即发送给报警显示终端，以供监管部门获悉。参见图1，本具体实施方式中，巡检主控模块115通过其USB口与FLIR可见光传感器相连，用于获得图像数据；通过USB口与网络传输模块(优选4G网卡)相连，用于连接公网，从而与后端的电脑终端130连接远程连接；且通过USB口与DJI M600 Pro无人机的串口相连，用于从其获得GPS时间数据和 GPS位置数据；此外，巡检主控模块115的电源接口与DJI M600 Pro无人机的供电口相连。其中4G网卡优选华为公布的E3372模块，该4G网卡通过USB接口与所述巡检主控模块115 的处理器相连。当巡检主控模块115的处理器通过4G网卡E3372模块连接到4G网络，且所述电脑终端130连接公网后，双方即可通过中移物联云平台建立远程无线连接以传输数据。

本实用新型的无人机地面端120负责操纵无人机端110完成既定的飞行任务，所述无人机地面端120包括遥控器121、飞控处理模块122，本具体实施方式中，飞控处理模块122采用无人机飞行控制应用程序DJI GO App，且遥控器内部还设置有图传模块，用于实时接收无人机端110的图传模块发送的图像数据；无人机地面端120通过DJI GO App实时显示无人机的状态数据(包括飞行距离、高度、速度、GPS时间数据和GPS位置坐标数据等)和图传模块接收到的图像数据。同时，无人机地面端120还实现对无人机端110获取的巡检信息(无人机的状态数据和带有识别结果的图像数据)的本地存储，即无人机地面端120还包括存储单元(图1中未视出)，用于对无人机端110发送来的数据进行存储。

本实用新型的电脑终端130包括运行在电脑终端130上的警报显示子系统，电脑终端 130连接公网后，运行警报显示子系统131，即可与中移物联云平台建立连接。当无人机端 110识别到危害油气管道安全的行为时，所述警报显示子系统131可以实时接收无人机端110 传来的GPS时间数据、GPS位置数据和图像数据，并触发警报；且警报显示子系统131保存并显示收到的GPS时间数据、GPS位置数据和图像数据，并根据GPS位置数据在地图上显示无人机拍摄该图像时所在位置。此外，电脑终端130的警报显示子系统131还支持历史数据的浏览功能。

参见图2，本实用新型的基于无人机遥感和深度学习的油气管道全智能巡检系统的作业处理步骤如下：

步骤1：无人机端110综合考虑巡检任务要求、天气状况、飞行环境等因素后，制定合适的飞行计划。确定飞行计划后，无人机地面端120依次打开DJI GO App、遥控器。以及电脑终端130连接公网，并打开警报显示子系统131。此时，警报显示子系统通过公网与中移物联云平台建立连接。

步骤2：无人机端110打开无人机。无人机开启后，无人机地面端120的DJI GO App可以显示无人机的状态信息，如无人机当前动力电池电压、无人机的位置等。

步骤3：开启巡检主控模块115(NVIDIA Jetson TX2开发板)并启动相应程序。此时， FLIR可见光传感器开始工作，巡检主控模块115获取FLIR可见光传感器的图像数据并分析该数据后通过无人机端110的图传模块将影像发送给无人机地面端120，所述无人机地面端120的DJI GO App可以实时显示图像数据。巡检主控模块115通过4G上网卡模块与中移物联云平台建立连接。

步骤4：无人机起飞后，开始执行飞行任务。

步骤5：飞行过程中，巡检主控模块115实时获取FLIR可见光机芯的图像数据，并实时分析识别图像中是否有危害油气管道安全的行为。比如油气管道周围是否有大型机械施工、是否有违章建筑物等。

步骤6：当巡检主控模块115检测到危害油气管道的行为时，就在图像上标注这些行为 (即目标对象的对象检测框)，将获取的图像数据保存在本地，并通过DJI M600 Pro无人机获取GPS位置数据、GPS时间数据，然后通过云平台向电脑终端发送数据；同时通过无人机端110的图传模块将GPS位置数据、GPS时间数据、危害油气管道的行为的目标对象识别结果发送至无人机地面端120。此时无人机地面端120的DJI GO APP显示的图像数据中危害油气管道的行为被矩形框(对象检测框)标注，以便观察。电脑终端130的警告显示子系统131基于实时收到的无人机端发送的数据，自动触发警报，显示和保存接收的GPS时间数据、GPS位置数据和图像数据，并根据GPS位置数据在地图上显示位置。

步骤7：完成飞行任务后，飞机降落。依次关闭无人机、遥控器和DJI GO App。而监管部门还可以通过电脑终端130的警报显示子系统131浏览已被保存的历史数据。浏览结束后，关闭电脑终端的警报显示系统。

以上所述，仅为本实用新型的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (7)

1.一种基于无人机遥感和深度学习的油气管道全智能巡检系统，其特征在于，包括无人机端、无人机地面端和报警显示终端；

其中，无人机端包括无人机、挂载板、云台、图像采集装置和巡检主控模块；

所述无人机的内部包括GPS模块、图传模块、串口和供电口；

所述挂载板用于将云台和巡检主控模块固定在无人机上；

所述云台与图像采集装置相连，用于稳定图像采集装置，以及为图像采集装置减震；

所述图像采集装置，用于实时采集无人机在执行巡检任务时从空中拍摄的地面图像，并将采集的图像数据实时传输给巡检主控模块；

所述巡检主控模块与无人机相连，并通过无人机的供电口实现供电；所述巡检主控模块基于嵌入式计算平台进行设置得到：

在嵌入式计算平台中内置深度神经网络识别器；

以及设置能读取GPS模块中的GPS时间数据和GPS位置数据的USB接口，所述USB接口通过串口与GPS模块相连；

嵌入式计算平台通过USB接口与图像采集装置相连，读取图像采集装置的实时采集的图像数据；

且嵌入式计算平台通过内置的网络传输模块与报警显示终端远程连接；

巡检主控模块基于深度神经网络识别器的输出信息触发读取GPS模块中的GPS时间数据和GPS位置数据的USB接口，通过连接的串口从无人机的GPS模块读取GPS时间数据和GPS位置数据，再将GPS时间数据、GPS位置数据和深度神经网络识别器的当前输出信息作为当前巡检信息，并将当前巡检信息通过无人机的图传模块发送至无人机地面端；以及通过巡检主控模块内置的网络传输模块基于公网传输至远端的报警显示终端；

所述无人机地面端，用于基于巡检任务设置无人机的飞行任务，以及控制无人机的飞行状态；

所述报警显示终端，用于接收和显示无人机端发送的巡检信息，并进行告警提示，在地图上显示无人机的位置并触发警报。

2.如权利要求1所述的系统，其特征在于，图像采集装置为高分辨率可见光摄像装置。

3.如权利要求1所述的系统，其特征在于，巡检主控模块内置的网络传输模块为4G网卡。

4.如权利要求1所述的系统，其特征在于，所述无人机地面端包括遥控器和飞控处理模块；

其中，飞控处理模块用于基于巡检任务设置无人机的飞行任务；

遥控器用于操控无人机的飞行状态；且所述遥控器内还内置有图传模块，用于接收无人机端发送的巡检信息并发送给飞控处理模块进行实时显示。

5.如权利要求1所述的系统，其特征在于，所述报警显示终端还对接收的巡检信息进行存储处理，用于巡检信息查阅。

6.如权利要求1所述的系统，其特征在于，无人机的图传模块和遥控器内内置的图传模块均采用型号为DJI LightBridge2的图传模块。

7.如权利要求1所述的系统，其特征在于，无人机端通过网络传输模块接入物联网，再通过物联网实现与报警显示终端远程连接。

Images