CN107563356A - 一种无人机巡检管线目标分析管理方法及系统 - Google Patents

Abstract

本发明公开了一种无人机巡检管线目标分析管理方法及系统，通过无人机对管线进行图像采集；在经过正摄性矫正的图像中标注管线位置；以管线位置为基准，在图像的警戒范围内进行异常目标检测；通过神经网络对异常目标的类别进行识别；然后由人工对异常目标进行确认和矫正；计算异常目标的警戒距离和面积；将异常目标及其特征存入数据库，生成报告；操作人员根据实际排查情况对异常目标的处理状态进行更新，并定期汇总异常目标的排查情况。解决了现有技术中无人机对管线的异常进行巡检时，对影像数据利用率差，导致巡检效果差的问题。本发明可以将管线的图像采集，异常目标的检测，异常目标的排查纳入自动化管理之中，对异常目标的巡检效果好。

Description

一种无人机巡检管线目标分析管理方法及系统

技术领域

本发明属于无人机自动巡检技术领域，尤其涉及一种无人机巡检管线目标分析管理方法及系统。

背景技术

作为国家的能源动脉，油气管道的安全性极其重要。传统管道巡检依靠人工进行，效率低、成本高，并且在异常天气和地质灾害等危险条件下，巡查员的安全受到威胁。

随着技术的进步，无人机视觉系统在油气长输管道巡检中展现出巨大的潜力。很多石油管道公司试点实施了无人机管道巡线，这些项目的开展对管道保护起到了积极有效的作用，但是还存在一些问题。

目前，无人机巡线获取的航拍影像数据主要依靠人工进行判读和分析，存在效率低下、实时性差、人为误判等缺点。此外，初期巡线获取的大量历史数据“沉睡”在硬盘中，巡检成果未能进行有效利用。基于以上原因，无人机巡线的实际效果大打折扣，也制约了飞行器管路巡检在石油管道方面的推广应用。

因此，开展管道航拍影像数据的相关研究，提高无人机对管线异常目标的巡检效果，是非常有必要。

发明内容

本发明的目的在于提供一种无人机巡检管线目标分析管理方法及系统，解决了现有技术中无人机对管线的异常进行巡检时，对影像数据利用率差，导致巡检效果差的问题。本发明可以将管线的图像采集，异常目标的检测，异常目标的排查纳入自动化管理之中，对异常目标的巡检效果好。

为达到上述目的，本发明采用如下技术方案：

本发明提供了一种无人机巡检管线目标分析管理方法，包括以下步骤：

步骤1：无人机根据管线的地理坐标对管线进行图像采集。

步骤2：将符合覆盖管线要求的图像进行正摄性矫正，在矫正后的图像中标注管线位置，并将远离管线的无效区域置为灰色。

步骤3：以管线位置为基准，设置图像的警戒范围。

步骤4：在图像的警戒范围内进行异常目标检测，所述异常目标检测包括异常目标色域空间检测、异常小目标检测、异常大目标检测以及异常人造目标检测。

步骤5：对检测到的异常目标进行神经网络识别，从而获取异常目标的类别。

步骤6：人工判定经神经网络识别后的异常目标是否正确，对异常目标进行纠正，得到最终的异常目标序列。

步骤7：计算异常目标相对于管线中线的距离，并计算异常大目标的面积。

步骤8：将异常目标的类别、地理坐标、相对于管线中线的距离以及面积归档至数据库，生成报告。

并将操作人员对于异常目标的处理状态归档至数据库，异常目标的处理状态包括未确认、已确认、未排除以及已排除。

步骤9：操作人员根据实际情况对异常目标的处理状态进行实时更新。

步骤10：定期汇总异常目标的排查情况，生成异常目标巡检反馈报告。

更进一步地，本发明的特点还在于：

步骤1具体包括以下步骤：

步骤1.1：根据管线的地理坐标以及无人机的类别规划无人机的巡检路线，所述巡检路线能够符合管线图像覆盖要求，无人机的类别包括固定翼无人机和旋翼无人机；

步骤1.2：根据天气情况、无人机的类别以及管线的弯曲程度来设置相机触发规则，相机触发规则包括时间触发和距离触发；

步骤1.3：将无人机的飞行姿态高度信息、飞行地理坐标、相机参数信息以及采集到的图像传送至地面站。

在步骤4中，异常目标色域空间检测包括：将目标的颜色值域映射到色域空间内，将目标值小于背景均值10％，目标值大于背景均值15％的目标作为异常目标；

异常小目标检测包括：将像素小于80*80的目标作为异常小目标；

异常大目标检测包括：将像素在80*80～400*400之内的目标作为异常大目标；

异常人造目标检测包括：将边缘呈现矩形或者圆形，像素尺寸在50*50～100*100之内的目标作为异常人造目标。

步骤5中的神经网络识别为CNN深度学习目标识别。

在步骤7之前还包括，选择地理坐标的误差范围在5m以内，梯度直方图差别小于总梯度和10％的若干个异常目标，作为同一个异常目标，从而对重复的异常目标进行过滤。

步骤6还包括：人工对异常目标序列中的高危警戒异常目标进行标识；

步骤8还包括：将当前时间信息、操作人员信息、无人机的飞手信息、所有巡检序列图像、历史相同地理位置参考信息、异常目标统计信息以及高危警戒异常目标的标识信息归档至数据库，生成报告。

对异常目标进行调阅包括以下方法：按照时间、分段区域、历史相同地理位置、类别和面积中的一种或几种对异常目标进行调阅。

在步骤9之前还包括：将高危警戒异常目标的地理坐标和类别自动发送给操作人员。

本发明还提供了一种无人机巡检管线目标分析管理系统，包括图像采集单元、分析管理单元以及人工确认单元。

图像采集单元：用于对管线进行图像采集。

分析管理单元包括接收模块、投影矫正模块、异常目标检测模块以及神经网络识别模块。

接收模块：用于接收图像采集单元采集得到的图像。

投影矫正模块：用于对符合覆盖管线要求的图像进行正摄性矫正，并在矫正后的图像中标注管线位置。

检测模块：用于设置管线两侧图像的警戒范围；并在图像的警戒范围内对异常目标进行检测，对异常目标检测包括异常目标色域空间检测、异常小目标检测、异常大目标检测以及异常人造目标检测。

神经网络识别模块：用于对检测模块检测到的异常目标进行识别，从而确定异常目标的类型。

人工确认单元：用于判定经神经网络识别后的异常目标，并对异常目标进行矫正，从而得到最终的异常目标序列。

分析管理单元还包括计算模块、数据存储模块。

计算模块：用于计算异常目标相对于管线中线的距离，以及计算异常目标的面积。

数据存储模块：用于存储异常目标的类别、地理坐标、相对于管线中线的距离、面积；以及操作人员对于异常目标的处理状态，异常目标的处理状态包括未确认、已确认、未排除以及已排除。

更进一步地，本发明的特点还在于：

人工确认单元还用于标识异常目标序列中的高危警戒异常目标。

分析管理单元还包括发送模块，发送模块用于将高危警戒异常目标的地理坐标和类别发送给操作人员。

与现有技术相比，本发明具有以下有益的技术效果：

本发明的提供的一种无人机巡检管线目标分析管理方法，通过无人机对管线进行图像采集；并对采集到的图像进行正摄性矫正，在矫正后的图像中标注管线位置；然后以管线位置为基准，在图像的警戒范围内进行异常目标检测；接着通过神经网络对异常目标的类别进行识别；然后由人工确认检测到的异常目标是否准确并矫正；通过计算获取异常目标的警戒距离以及面积；并将异常目标及其特征，以及异常目标的处理状态存入数据库，生成报告；操作人员根据数据库提供的信息对异常目标进行排查，并根据异常目标的实际处理情况对数据库进行实时更新，并定期汇总异常目标的排查情况。本发明实现了将管线的图像采集，异常目标的检测，异常目标的排查纳入自动化管理之中，对异常目标的巡检效果好。

进一步地，本发明通过选择地理坐标的误差范围在5m以内，梯度直方图差别小于总梯度和10％的若干个异常目标，作为同一个异常目标，从而对重复的异常目标进行过滤。

进一步地，本发明可以按照时间选择，按照分段区域选择，按照历史相同地理位置异常目标选择，按照异常目标的类别选择，按照异常大目标的面积选择，对异常目标进行搜索。

进一步地，本发明通过将高危警戒异常目标的地理坐标和类别邮件或短信自动发送给相关操作人员，实现警报功能。

本发明的提供的一种无人机巡检管线目标分析管理系统；通过图像采集单元对管线进行图像采集；通过接收模块接收图像采集单元采集得到的图像，通过投影矫正模块对符合覆盖管线要求的图像进行正摄性矫正，并在矫正后的图像中标注管线位置；通过检测模块设置管线两侧图像的警戒范围，并在图像的警戒范围内对异常目标进行检测；通过神经网络识别模块确定异常目标的类型；通过人工最终确认单元确认检测到的异常目标是否正确，并对异常目标进行矫正，从而得到最终的异常目标序列；通过计算模块得到异常目标的警戒距离，以及异常目标的面积；通过数据存储模块存储异常目标及其特征，以及异常目标的处理状态。实现了将管线的图像采集，异常目标的检测，异常目标的排查纳入自动化管理系统之中，对异常目标的巡检效果好。

附图说明

图1本发明所提供的无人机巡检管线目标分析管理方法的流程图；

图2本发明所提供的无人机巡检管线目标分析管理系统的示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参见图1，本发明提供了一种无人机巡检管线目标分析管理方法，尤其适用于对石油管道周围的异常目标进行排查，包括以下步骤：

步骤1：无人机根据管线的地理坐标对管线进行图像采集。具体包括以下步骤：

步骤1.1：根据管线的地理坐标以及无人机的类别规划无人机的巡检路线，所述巡检路线能够符合管线图像覆盖要求，无人机的类别包括固定翼无人机和旋翼无人机；

步骤1.2：根据天气情况、无人机的类别以及管线的弯曲程度来设置相机触发规则，相机触发规则包括时间触发和距离触发；

步骤1.3：将无人机的飞行姿态高度信息、飞行地理坐标、相机参数信息以及采集到的图像传送至地面站。在这里，相机参数信息主要包括焦距以及光圈信息。

步骤2：将符合覆盖管线要求的图像进行正摄性矫正，在矫正后的图像中标注管线位置，并将远离管线的无效区域置为灰色。

步骤3：以管线位置为基准，设置图像的警戒范围。在这里，警戒范围的值根据使用者的实际需要进行确定。示例地，以石油管道为基准，将距离石油管道50m以内的范围设为预警范围。

步骤4：在图像的警戒范围内进行异常目标检测，所述异常目标检测包括异常目标色域空间检测、异常小目标检测、异常大目标检测以及异常人造目标检测。

异常目标色域空间检测包括：将目标的颜色值域映射到色域空间内，将目标值小于背景均值10％，目标值大于背景均值15％的目标作为异常目标。

需要说明的是，人们建立了多种色彩模型，以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色域空间。本实施例采用的色域空间为Lab。算法将同图像背景的对比小于10％，大于20％的色彩作为检测对象。

异常小目标表现为点状，斑状，其有共同的特性，表现在分辨率极大的遥感图像上，工程车辆，电线杆等表现为小目标特征，本发明以此为特点，设置像素小于80*80的目标作为异常小目标。

异常大目标诸如房屋，山体滑坡，水体等在遥感图像上表现为大块的边缘突出，颜色一致，纹理类似的特点，本发明以此为特点，设置像素在80*80～400*400之内的目标作为异常大目标。

异常人造目标在图像上突出表现为规则的直线线条或圆弧线条，本发明以此为特点，设置像素尺寸在50*50～100*100之内的目标作为异常人造目标。

需要说明的是，本发明不能能够用于管线周围警戒范围内异常目标的检测，还能够用于管线周围警戒范围内正常目标的检测。

步骤5：对检测到的异常目标进行神经网络识别，从而获取异常目标的类别。

优选地，神经网络识别为CNN(Convolutional Neural Network，卷积神经网络)深度学习目标识别。在这里，CNN机器学习对疑似异常目标进行CNN深度学习目标识别，获取异常目标的具体类别：道路，车辆，房屋，土壤翻动，水体或电杆类别。

需要解释的是：CNN是一种前馈神经网络，人工神经元可以响应周围单元，可以大型图像处理。它包括卷积层和池层。

步骤6：人工判定经神经网络识别后的异常目标是否正确，对异常目标进行纠正，具体包括删改添加异常目标，得到最终的异常目标序列。

优选地，人工对异常目标序列中的高危警戒异常目标进行标识。

由于图像序列存在相当大的重叠度，一个异常目标会被采集多次，所以需对异常目标序列进行排重，需要经过地理坐标和图像特征双重判定，过滤重复同一个异常目标。本发明选择地理坐标的误差范围在5m以内，梯度直方图差别小于总梯度和10％的若干个异常目标，作为同一个异常目标，从而对重复的异常目标进行过滤。在这里，图像的梯度为像素线条变化最大的方向和强度。

步骤7：警戒距离获取：计算异常目标相对于管线中线的距离。

大目标面积获取：计算异常大目标的面积。

步骤8：将异常目标的类别、地理坐标、相对于管线中线的距离以及异常大目标占用面积归档至数据库，自动生成报告。

报告生成除上述基本信息，还包括：将当前时间信息、操作人员信息、无人机的飞手信息、所有巡检序列图像、历史相同地理位置参考信息、异常目标统计信息以及高危警戒异常目标的标识信息。

并将操作人员对于异常目标的处理状态归档至数据库，异常目标的处理状态包括未确认、已确认、未排除以及已排除。

查询策略：异常目标智能分析系统的搜索策略为，按照时间选择，按照分段区域选择，按照历史相同地理位置异常目标选择，按照异常目标的类别选择，按照异常大目标的面积选择。

警报通知：将高危警戒异常目标的地理坐标和类别邮件或短信自动发送给相关操作人员。

步骤9：排查反馈：操作人员根据实际情况对异常目标的处理状态进行实时更新。具体地，操作人员将可疑目标排查后登录数据库，修改异常目标的状态：未确认，已确认，未排除，已排除，并记录处理详细信息。

步骤10：定期汇总异常目标的排查情况，以此生成月度年度等异常目标巡检反馈汇总统计报告。

参见图2，本发明还提供了一种无人机巡检管线目标分析管理系统，尤其适用于对石油管道周围的异常目标进行排查，将无人机石油管道巡线的安全生产工作流完全纳入自动化管理系统之中。包括图像采集单元、分析管理单元以及人工确认单元。

图像采集单元：用于对管线进行图像采集。

分析管理单元包括接收模块、投影矫正模块、异常目标检测模块以及神经网络识别模块。

接收模块：用于接收图像采集单元采集得到的图像。

投影矫正模块：用于对符合覆盖管线要求的图像进行正摄性矫正，并在矫正后的图像中标注管线位置。

检测模块：用于设置管线两侧图像的警戒范围；并在图像的警戒范围内对异常目标进行检测，对异常目标检测包括异常目标色域空间检测、异常小目标检测、异常大目标检测以及异常人造目标检测。

神经网络识别模块：用于对检测模块检测到的异常目标进行识别，从而确定异常目标的类型。

人工确认单元：用于判定经神经网络识别后的异常目标，并对异常目标进行矫正，从而得到最终的异常目标序列。

分析管理单元还包括计算模块、数据存储模块。

计算模块：用于计算异常目标相对于管线中线的距离，以及计算异常目标的面积。

数据存储模块：用于存储异常目标的类别、地理坐标、相对于管线中线的距离、面积；以及操作人员对于异常目标的处理状态，异常目标的处理状态包括未确认、已确认、未排除以及已排除。

需要说明的是，操作人员可根据实际情况对数据存储模块中的异常目标的处理状态进行实时更新。

优选地，人工确认单元还用于标识异常目标序列中的高危警戒异常目标。分析管理单元还包括发送模块，发送模块用于将高危警戒异常目标的地理坐标和类别发送给操作人员。

综上所述，本发明结合了无人机控制，计算机视觉及数据库技术，建立一套调阅，处理，归档，报警，排查管线巡检异常目标的完整体系。将无人机石油管道巡线的采集，检测，排查的安全生产工作流完全纳入自动化管理系统之中。

Claims (10)

1.一种无人机巡检管线目标分析管理方法，其特征在于，包括以下步骤：

步骤1：无人机根据管线的地理坐标对管线进行图像采集；

步骤2：将符合覆盖管线要求的图像进行正摄性矫正，在矫正后的图像中标注管线位置；

步骤3：以管线位置为基准，设置图像的警戒范围；

步骤4：在图像的警戒范围内进行异常目标检测，所述异常目标检测包括异常目标色域空间检测、异常小目标检测、异常大目标检测以及异常人造目标检测；

步骤5：对检测到的异常目标进行神经网络识别，从而获取异常目标的类别；

步骤6：人工判定经神经网络识别后的异常目标是否正确，对异常目标进行纠正，得到最终的异常目标序列；

步骤7：计算异常目标相对于管线中线的距离，并计算异常大目标的面积；

步骤8：将异常目标的类别、地理坐标、相对于管线中线的距离以及面积归档至数据库，生成报告；

并将操作人员对于异常目标的处理状态归档至数据库，异常目标的处理状态包括未确认、已确认、未排除以及已排除；

步骤9：操作人员根据实际情况对异常目标的处理状态进行实时更新；

步骤10：定期汇总异常目标的排查情况，生成异常目标巡检反馈报告。

2.根据权利要求1所述的无人机巡检管线目标分析管理方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1：根据管线的地理坐标以及无人机的类别规划无人机的巡检路线，所述巡检路线能够符合管线图像覆盖要求，无人机的类别包括固定翼无人机和旋翼无人机；

步骤1.2：根据天气情况、无人机的类别以及管线的弯曲程度来设置相机触发规则，相机触发规则包括时间触发和距离触发；

步骤1.3：将无人机的飞行姿态高度信息、飞行地理坐标、相机参数信息以及采集到的图像传送至地面站。

3.根据权利要求1所述的无人机巡检管线目标分析管理方法，其特征在于，在步骤4中，异常目标色域空间检测包括：将目标的颜色值域映射到色域空间内，将目标值小于背景均值10％，目标值大于背景均值15％的目标作为异常目标；

异常小目标检测包括：将像素小于80*80的目标作为异常小目标；

异常大目标检测包括：将像素在80*80～400*400之内的目标作为异常大目标；

异常人造目标检测包括：将边缘呈现矩形或者圆形，像素尺寸在50*50～100*100之内的目标作为异常人造目标。

4.根据权利要求1所述的无人机巡检管线目标分析管理方法，其特征在于，步骤5中的神经网络识别为CNN深度学习目标识别。

5.根据权利要求1所述的无人机巡检管线目标分析管理方法，其特征在于，在步骤7之前还包括，选择地理坐标的误差范围在5m以内，梯度直方图差别小于总梯度和10％的若干个异常目标，作为同一个异常目标。

6.根据权利要求1所述的无人机巡检管线目标分析管理方法，其特征在于，步骤6还包括：人工对异常目标序列中的高危警戒异常目标进行标识；

步骤8还包括：将当前时间信息、操作人员信息、无人机的飞手信息、所有巡检序列图像、历史相同地理位置参考信息、异常目标统计信息以及高危警戒异常目标的标识信息归档至数据库，生成报告。

7.根据权利要求6所述的无人机巡检管线目标分析管理方法，其特征在于，对异常目标进行调阅包括以下方法：按照时间、分段区域、历史相同地理位置、类别和面积中的一种或几种对异常目标进行调阅。

8.根据权利要求6所述的无人机巡检管线目标分析管理方法，其特征在于，在步骤9之前还包括：将高危警戒异常目标的地理坐标和类别自动发送给操作人员。

9.一种用于实现权利要求1所述的无人机巡检管线目标分析管理方法的系统，其特征在于，包括图像采集单元、分析管理单元以及人工确认单元；

图像采集单元：用于对管线进行图像采集；

分析管理单元包括接收模块、投影矫正模块、异常目标检测模块以及神经网络识别模块；

接收模块：用于接收图像采集单元采集得到的图像；

投影矫正模块：用于对符合覆盖管线要求的图像进行正摄性矫正，并在矫正后的图像中标注管线位置；

检测模块：用于设置管线两侧图像的警戒范围；并在图像的警戒范围内对异常目标进行检测，对异常目标检测包括异常目标色域空间检测、异常小目标检测、异常大目标检测以及异常人造目标检测；

神经网络识别模块：用于对检测模块检测到的异常目标进行识别，从而确定异常目标的类型；

人工确认单元：用于判定经神经网络识别后的异常目标，并对异常目标进行矫正，从而得到最终的异常目标序列；

分析管理单元还包括计算模块、数据存储模块；

计算模块：用于计算异常目标相对于管线中线的距离，以及计算异常目标的面积；

数据存储模块：用于存储异常目标的类别、地理坐标、相对于管线中线的距离、面积；以及操作人员对于异常目标的处理状态，异常目标的处理状态包括未确认、已确认、未排除以及已排除。

10.根据权利要求9所述的无人机巡检管线目标分析管理系统，其特征在于，人工确认单元还用于标识异常目标序列中的高危警戒异常目标；

分析管理单元还包括发送模块，发送模块用于将高危警戒异常目标的地理坐标和类别发送给操作人员。