CN109117749A - 一种基于无人机巡检影像的异常目标监管方法及系统 - Google Patents
一种基于无人机巡检影像的异常目标监管方法及系统 Download PDFInfo
- Publication number
- CN109117749A CN109117749A CN201810813598.4A CN201810813598A CN109117749A CN 109117749 A CN109117749 A CN 109117749A CN 201810813598 A CN201810813598 A CN 201810813598A CN 109117749 A CN109117749 A CN 109117749A
- Authority
- CN
- China
- Prior art keywords
- image
- abnormal object
- unmanned plane
- abnormal
- pipeline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 161
- 238000007689 inspection Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012544 monitoring process Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 12
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241001137069 Ficus aspera Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本发明涉及一种基于无人机巡检影像的异常目标监管方法及系统，方法包括：无人机根据管线的地理坐标及预设的巡检路线进行图像采集；对采集到的图像进行拼接获得拼接图像；在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；在拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；按照需求输出统计报告。本发明提高了管线巡检的工作效率，对异常目标实现了良好的检测效果。
Description
技术领域
本发明涉及无人机自动巡检技术领域，具体为一种基于无人机巡检影像的异常目标监管方法及系统。
背景技术
随着国家对能源需求的逐步增加，作为能源动脉的油气管线，其安全性和畅通性尤其重要。油气管线大多布置于非人类密集活动区，其复杂的地形地貌和天气变化使得人工巡检作业的成本居高不下且效率无法满足要求。
随着无人机技术的不断进步以及机器视觉算法的广泛应用，利用这两项技术实现油气管线周边地形地貌信息的获取以及完成对油气管道的巡检成为可能。很多公司对该项技术进行了试点实施，这些项目的成果对石油管线的保护起到了积极的作用，但仍旧存在一些问题。
当前对无人机获取的油气管线巡线航拍影像数据主要依靠人力进行分析和处理，该处理方式存在处理速度慢以及长时间作业后工作人员的判断精度下降严重的问题，且人工处理方式对时间序列信息的利用率低下，造成了很严重的数据资源浪费。基于以上原因，该种处理方式所产生的实际价值有限，也限制了飞行器在油气管线巡检方面的应用推广程度。
因此，加强对管道航拍影像数据的智能化识别处理，提高无人机对管线异常目标的巡检效果，是非常有必要的。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于无人机巡检影像的异常目标监管方法及系统，综合了无人机控制技术、机器视觉智能处理技术及数据库处理技术，建立了一套日常巡查的方法，包括图像采集、图像快速拼接、智能识别异常目标及异常目标状态控制的完整无人机管线巡检流程，将石油管道的日常巡检工作进行自动化的监测和管理。
本发明解决其技术问题所采用的技术方案是：
一方面，一种基于无人机巡检影像的异常目标监管方法，包括：
步骤1，无人机根据管线的地理坐标及预设的巡检路线进行图像采集；
步骤2，对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；
步骤3，在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；
步骤4，在所述拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；
步骤5，确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；
步骤6，定期汇总数据库中预设时间内最终异常目标的处理状态，按照需求输出统计报告。
优选的，步骤1具体包括：
步骤1.1，基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
步骤1.2，根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；
步骤1.3，将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。
优选的，步骤2具体包括：
步骤2.1，基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；
步骤2.2，根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；
步骤2.3，对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；
步骤2.4，对稠密点云构建三角网格，得到场景的网格模型；
步骤2.5，在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；
步骤2.6，根据投影方向生成带有地理坐标的正射投影以及高程图。
优选的，步骤3具体包括：
步骤3.1，标记图像中的管线位置和待进行目标检测的警戒范围；
步骤3.2，在管线的警戒范围内，进行异常目标的检测；
步骤3.3，对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。
优选的，使用包括多隐层的多层感知器进行深度学习识别。
另一方面，一种基于无人机巡检影像的异常目标监管系统，包括：
图像采集模块，用于通过无人机执行预设的巡检线路以进行图像采集；
图像拼接模块，用于对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；
异常目标识别模块，用于在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；异常目标的类别包括管道占压、第三方施工和地质灾害；
人工确认模块，用于对检测到的异常目标及对应的类型进行确认，得到最终异常目标及类别；
统计分析模块，用于确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；
报告输出模块，用于将当前数据库中的最终异常目标信息以用户指定的报告格式输出。
优选的，所述通过无人机执行预设的巡检线路以进行图像采集，包括：
基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；
将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。
优选的，所述对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标，包括：
基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；
根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；
对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；
对稠密点云构建三角网格，得到场景的网格模型；
在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；
根据投影方向生成带有地理坐标的正射投影以及高程图。
优选的，所述在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别，包括：
标记图像中的管线位置和待进行目标检测的警戒范围；
在管线的警戒范围内，进行异常目标的检测；
对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。
优选的，异常目标识别模块中，使用包括多隐层的多层感知器进行深度学习识别。
根据本发明的实施例，本发明具有如下有益效果：
(1)本发明一种基于无人机巡检影像的异常目标监管方法及系统，首先利用无人机采集管线及管线周边图像；并利用采集到的图像和无人机姿态信息进行管线地形地貌的快速拼接；同时对采集到的图像进行矫正，在矫正后的图像中标注管线位置并确定警戒范围；然后对图像中警戒范围内出现的目标进行智能检测；再通过智能算法识别异常目标；并将识别到的异常目标发送给工作人员进行确认并在拼接图像上提供异常目标的位置；对工作人员确定的异常目标，提取其特征和各项信息存入数据库；工作人员对数据库内确认的异常目标进行排查和处理，并更新数据库信息以及导出报告；提高了管线巡检的工作效率，对异常目标实现了良好的检测效果；
(2)本发明利用采集到的图像和无人机姿态信息进行管线地形地貌的快速拼接，一方面能够帮助用户更加直观的查看航线覆盖区域的地形，进行道路识别和异常目标检测；另一方面将图像信息与GPS信息紧密结合获得的拼图能够更加准确的反映每个区域的地理坐标，帮助软件对后续检测的异常目标实现准确定位；
(3)本发明的多隐层多层感知器是一种深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示；具体的，本发明的深度感知器对疑似异常目标进行深度学习目标识别，获取异常目标的具体类别包括管道占压、第三方施工、地质灾害等敏感事件。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于无人机巡检影像的异常目标监管方法及系统不局限于实施例。
附图说明
图1本发明一种基于无人机巡检影像的异常目标监管方法的流程图；
图2本发明的图像拼接的具体实现流程图；
图3本发明所提供的图像智能识别的流程图；
图4本发明一种基于无人机巡检影像的异常目标监管系统的结构框图。
具体实施方式
下面结合附图详细描述本发明的实施例，需要注意的是附图所描述的实施例仅仅是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。以下结合附图描述根据本发明实施例的基于无人机巡检影像的异常目标监管方法及系统。
参见图1至图3所示，一方面，本发明一种基于无人机巡检影像的异常目标监管方法，包括：
步骤101，无人机根据管线的地理坐标及预设的巡检路线进行图像采集；具体包括如下步骤：
步骤1011，基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
所述巡检路线采集的图像符合对管线的覆盖要求具体为保证采集的图像中包含管线，且管线尽量位于图像中心区域。
步骤1012，根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；
步骤1013，将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态信息、飞行高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。
步骤102，利用收集到的无人机状态信息对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；具体包括如下步骤：
步骤1021，无人机提供重叠率为65％以上的图像序列以及每张图像对应的GPS数据作为输入参数；对图像进行SIFT特征提取以获取二维图像间的特征点对，并根据GPS信息预先建立图像间的相邻关系，从而提高图像匹配的计算速度；
具体的，所述GPS数据为无人机在进行图像采集时触发GPS模块获取的数据。
根据GPS信息预先建立图像间的相邻关系具体包括：每张图像对应一个GPS(经度、纬度和高度)位置，因此根据GPS位置得到距离该图像最近的N个其他GPS点对应的图像，从而快速建立图像间的相邻关系。
步骤1022，根据建立的二维图像间的特征点对，利用SfM(运动恢复结构)的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到航拍场景的稀疏点云。完成该部分就可以实现后续异常目标及管线的辅助精准定位功能；
步骤1023，对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；
步骤1024，对稠密点云构建三角网格，得到场景的网格模型；
步骤1025，在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；
具体的，根据步骤1023构建的稠密点云和步骤1024在稠密点云基础上构建的三角网格，可以确定二维图像特征点和三维世界观测点之间的对应关系，从而建立图像和三角面片的关系实现纹理贴图。在建立了图像和三角面片的对应关系基础上，将图像划分为多个小块，并从面片对应的诸多观测小块中选取吻合度最高的一个作为最优块，并根据步骤1022得到的图像位姿对最优块进行投影，实现纹理贴图，得到真实场景的纹理网格模型。
步骤1026，根据投影方向生成带有地理坐标的正射投影以及高程图。
通过上述的拼接图像，一方面能够帮助用户更加直观的查看航线覆盖区域的地形，进行道路识别和异常目标检测；另一方面将图像信息与GPS信息紧密结合获得的拼图能够更加准确的反映每个区域的地理坐标，帮助软件对后续检测的异常目标实现准确定位
步骤103，在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；具体包括如下步骤：
步骤1031，标记图像中的管线位置和对应的警戒范围，对不在警戒范围的图像中区域不进行处理；该警戒范围由用户的实际需求情况确定；
步骤1032，在管线的警戒范围内，进行异常目标的检测；
具体的，识别异常目标的方法包括：通过统计图像中的局部纹理信息，将图像中与背景纹理分布差异大于15％的区域认为是异常目标区域。
步骤1033，对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地貌变化。
深度学习是机器学习研究中的一个领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。深度学习强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点，明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。利用大数据来学习特征，更能够刻画数据的丰富内在信息。
特别地，本发明实施例使用的含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
在这里，这种深度感知器对疑似异常目标进行深度学习目标识别，获取异常目标的具体类别。
本实施例中使用的多层感知器由候选区域生成、特征提取、分类和目标框回归四个部分组成，对图像中目标区域内的具体目标位置进行精确定位，再利用深度网络提取到的目标特征，对其进行分类和识别，得到异常目标类别，其中异常目标类别为：管道占压、第三方施工和地貌变化。
步骤104，在所述拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；
步骤105，将工作人员确定的异常目标，确定其与管线的距离，并将异常目标的特征和位置信息等录入数据库，并将处理状态更新到数据库，其中异常目标的处理状态包括：异常嫌疑，异常确认，异常待处理以及异常已处理。所述异常嫌疑状态表示通过步骤103识别出的异常目标；所述异常确认表示等待工作人员进行确认的异常目标；所述异常待处理表示经工作人员确认的异常目标等待处理；所述异常已处理表示异常目标已处理。
步骤106，定期报告输出，对数据库中一定时间内的异常事件进行汇总，按照用户需求进行输出统计报告。
另一方面，一种基于无人机巡检影像的异常目标监管系统，包括：
图像采集模块201，用于通过无人机执行预设的巡检线路以进行图像采集；
具体包括：基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
所述巡检路线采集的图像符合对管线的覆盖要求具体为保证采集的图像中包含管线，且管线尽量位于图像中心区域。
图像拼接模块202，用于对图像采集模块201采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；
异常目标识别模块203，用于在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；异常目标的类别包括管道占压、第三方施工和地质灾害；
人工确认模块204，用于对异常目标识别模块203检测到的异常目标及对应的类型进行确认，得到最终异常目标及类别；
统计分析模块205，用于确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；
报告输出模块206，用于将当前数据库中的最终异常目标信息以用户指定的报告格式输出。
本实施例中，所述通过无人机执行预设的巡检线路以进行图像采集，包括：
基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；
将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。
本实施例中，所述对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标，包括：
基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；
具体的，所述GPS数据为无人机在进行图像采集时触发GPS模块获取的数据。
根据GPS信息预先建立图像间的相邻关系具体包括：每张图像对应一个GPS(经度、纬度和高度)位置，因此根据GPS位置得到距离该图像最近的N个其他GPS点对应的图像，从而快速建立图像间的相邻关系。
根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；
对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；
对稠密点云构建三角网格，得到场景的网格模型；
在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；
具体的，根据构建的稠密点云和在稠密点云基础上构建的三角网格，可以确定二维图像特征点和三维世界观测点之间的对应关系，从而建立图像和三角面片的关系实现纹理贴图。在建立了图像和三角面片的对应关系基础上，将图像划分为多个小块，并从面片对应的诸多观测小块中选取吻合度最高的一个作为最优块，并根据得到的图像位姿对最优块进行投影，实现纹理贴图，得到真实场景的纹理网格模型。
根据投影方向生成带有地理坐标的正射投影以及高程图。
本实施例中，所述在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别，包括：
标记图像中的管线位置和待进行目标检测的警戒范围；
在管线的警戒范围内，进行异常目标的检测；
具体的，识别异常目标的方法包括：通过统计图像中的局部纹理信息，将图像中与背景纹理分布差异大于15％的区域认为是异常目标区域。
对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。
本实施例中，异常目标识别模块中，使用包括多隐层的多层感知器进行深度学习识别。
使用的多层感知器由候选区域生成、特征提取、分类和目标框回归四个部分组成，对图像中目标区域内的具体目标位置进行精确定位，再利用深度网络提取到的目标特征，对其进行分类和识别，得到异常目标类别，其中异常目标类别为：管道占压、第三方施工和地貌变化。
以上所述的具体实施例，对本发明的目的、技术方案和效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不限制本发明，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，所做出的修改、替换和变形均属于本发明的保护之内。
Claims (10)
1.一种基于无人机巡检影像的异常目标监管方法，其特征在于，包括：
步骤1，无人机根据管线的地理坐标及预设的巡检路线进行图像采集；
步骤2，对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；
步骤3，在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；
步骤4，在所述拼接图像上标注异常目标的位置以供工作人员进行确定获得最终异常目标及类别；
步骤5，确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；
步骤6，定期汇总数据库中预设时间内最终异常目标的处理状态，按照需求输出统计报告。
2.根据权利要求1所述的基于无人机巡检影像的异常目标监管方法，其特征在于，步骤1具体包括：
步骤1.1，基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
步骤1.2，根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；
步骤1.3，将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。
3.根据权利要求1所述的基于无人机巡检影像的异常目标监管方法，其特征在于，步骤2具体包括：
步骤2.1，基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；
步骤2.2，根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；
步骤2.3，对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；
步骤2.4，对稠密点云构建三角网格，得到场景的网格模型；
步骤2.5，在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；
步骤2.6，根据投影方向生成带有地理坐标的正射投影以及高程图。
4.根据权利要求1所述的基于无人机巡检影像的异常目标监管方法，其特征在于，步骤3具体包括：
步骤3.1，标记图像中的管线位置和待进行目标检测的警戒范围；
步骤3.2，在管线的警戒范围内，进行异常目标的检测；
步骤3.3，对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。
5.根据权利要求4所述的基于无人机巡检影像的异常目标监管方法，其特征在于，使用包括多隐层的多层感知器进行深度学习识别。
6.一种基于无人机巡检影像的异常目标监管系统，其特征在于，包括：
图像采集模块，用于通过无人机执行预设的巡检线路以进行图像采集；
图像拼接模块，用于对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标；
异常目标识别模块，用于在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别；异常目标的类别包括管道占压、第三方施工和地质灾害；
人工确认模块，用于对检测到的异常目标及对应的类型进行确认，得到最终异常目标及类别；
统计分析模块，用于确定最终异常目标与管线的距离，并将最终异常目标的特征和位置信息录入数据库，并将最终异常目标的处理状态更新到数据库；所述处理状态包括异常嫌疑、异常确认、异常待处理及异常已处理；
报告输出模块，用于将当前数据库中的最终异常目标信息以用户指定的报告格式输出。
7.根据权利要求6所述的基于无人机巡检影像的异常目标监管系统，其特征在于，所述通过无人机执行预设的巡检线路以进行图像采集，包括：
基于无人机的具体类别型号和管线的地理坐标规划无人机的巡检路线；所述巡检路线采集的图像符合对管线的覆盖要求；所述无人机包括固定翼无人机和旋翼无人机；
根据无人机的巡检路线情况和巡检当天的天气因素设置相机的图像采集触发条件；所述触发条件包括触发时间间隔和无人机飞行距离；
将无人机的状态信息、相机的内部参数以及采集到的图像发送回地面站，作为图像拼接和图像智能识别的依据；所述无人机的状态信息包括飞行姿态高度信息和飞行地理坐标；所述相机的内部参数包括焦距和光圈信息。
8.根据权利要求6所述的基于无人机巡检影像的异常目标监管系统，其特征在于，所述对采集到的图像进行拼接获得拼接图像以显示无人机航线覆盖区域的地形及每个区域的地理坐标，包括：
基于采集的重叠率为65％以上的图像序列以及每张图像对应的GPS数据，并根据GPS数据建立的图像间的相邻关系，对图像进行SIFT特征提取以获取二维图像间的特征点对；
根据建立的二维图像间的特征点对，利用运动恢复结构SfM的方式通过非线性优化求取每张图像的位姿信息以及观测点的三维坐标，得到无人机航拍场景的稀疏点云；
对所述稀疏点云进行稠密化操作，通过整合估算的图像深度信息得到场景的稠密点云；
对稠密点云构建三角网格，得到场景的网格模型；
在构建的网格模型基础上，通过之前建立的图像和三角面片的关系实现纹理贴图，得到真实场景的纹理网格模型；
根据投影方向生成带有地理坐标的正射投影以及高程图。
9.根据权利要求6所述的基于无人机巡检影像的异常目标监管系统，其特征在于，所述在预设的图像警戒范围内进行异常目标检测，基于检测到的异常目标对采集到的图像进行图像智能识别，获取异常目标类别，包括：
标记图像中的管线位置和待进行目标检测的警戒范围；
在管线的警戒范围内，进行异常目标的检测；
对检测到的异常目标进行深度学习识别，从而确定异常目标的类别；异常目标的类别包括管道占压、第三方施工和地质灾害。
10.根据权利要求9所述的基于无人机巡检影像的异常目标监管系统，其特征在于，异常目标识别模块中，使用包括多隐层的多层感知器进行深度学习识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810813598.4A CN109117749A (zh) | 2018-07-23 | 2018-07-23 | 一种基于无人机巡检影像的异常目标监管方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810813598.4A CN109117749A (zh) | 2018-07-23 | 2018-07-23 | 一种基于无人机巡检影像的异常目标监管方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109117749A true CN109117749A (zh) | 2019-01-01 |
Family
ID=64862372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810813598.4A Pending CN109117749A (zh) | 2018-07-23 | 2018-07-23 | 一种基于无人机巡检影像的异常目标监管方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109117749A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110110112A (zh) * | 2019-05-05 | 2019-08-09 | 中国民用航空飞行学院 | 一种基于可升降小车的绕机检查方法及系统 |
| CN110399831A (zh) * | 2019-07-25 | 2019-11-01 | 中国银联股份有限公司 | 一种巡检方法及装置 |
| CN110414359A (zh) * | 2019-07-01 | 2019-11-05 | 中国石化销售有限公司华南分公司 | 长输管道无人机巡检数据分析与管理方法及系统 |
| CN110427041A (zh) * | 2019-07-04 | 2019-11-08 | 珠海九圆能源设备制造有限公司 | 一种热网管道无人机巡航系统及方法 |
| CN110909653A (zh) * | 2019-11-18 | 2020-03-24 | 南京七宝机器人技术有限公司 | 一种室内机器人自动标定配电室屏柜的方法 |
| CN111027422A (zh) * | 2019-11-27 | 2020-04-17 | 国网山东省电力公司电力科学研究院 | 一种应用于输电线路走廊的应急无人机巡检方法及系统 |
| CN111260613A (zh) * | 2020-01-10 | 2020-06-09 | 丽水正阳电力建设有限公司 | 一种基于机器学习模型的图像标注方法 |
| CN111325943A (zh) * | 2020-02-26 | 2020-06-23 | 中电福富信息科技有限公司 | 基于无人机进行大范围森林防火巡护预警方法及其系统 |
| CN111783549A (zh) * | 2020-06-04 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种分布图生成方法、系统、巡检机器人及控制终端 |
| CN112990146A (zh) * | 2021-05-06 | 2021-06-18 | 成都理工大学 | 一种基于无人机的石油管线巡检异常隐患智能识别方法 |
| CN113034718A (zh) * | 2021-03-01 | 2021-06-25 | 启若人工智能研究院(南京)有限公司 | 一种基于多智能体的地铁管道巡检系统 |
| CN113052369A (zh) * | 2021-03-15 | 2021-06-29 | 北京农业智能装备技术研究中心 | 智能农机作业管理方法及系统 |
| CN113325872A (zh) * | 2021-06-10 | 2021-08-31 | 广州极飞科技股份有限公司 | 植物的巡查方法及装置、系统、飞行器 |
| CN113469386A (zh) * | 2021-07-15 | 2021-10-01 | 山东崇霖软件有限公司 | 一种基于大数据的城市管道管理系统及方法 |
| CN114093051A (zh) * | 2020-08-05 | 2022-02-25 | 中国联合网络通信集团有限公司 | 通信线路巡检方法、设备与系统、计算机可读存储介质 |
| CN114187666A (zh) * | 2021-12-23 | 2022-03-15 | 中海油信息科技有限公司 | 边走路边看手机的识别方法及其系统 |
| CN114442089A (zh) * | 2020-11-02 | 2022-05-06 | 云烁智控(哈尔滨)技术有限公司 | 一种用于巡查的无人机叶簇穿透合成孔径雷达监测系统 |
| CN115077489A (zh) * | 2022-06-14 | 2022-09-20 | 安徽同济建设集团有限责任公司 | 一种无人机倾斜摄影土方量计算的方法 |
| CN115202404A (zh) * | 2022-09-15 | 2022-10-18 | 广东容祺智能科技有限公司 | 基于无人机的光伏发电组维护巡检方法 |
| CN115755978A (zh) * | 2022-12-08 | 2023-03-07 | 贵州省山地资源研究所 | 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法 |
| CN115797811A (zh) * | 2023-02-07 | 2023-03-14 | 江西农业大学 | 一种基于视觉的农产品检测方法及系统 |
| WO2023060405A1 (zh) * | 2021-10-11 | 2023-04-20 | 深圳市大疆创新科技有限公司 | 一种无人机监控方法、装置、无人机及监控设备 |
| CN116543309A (zh) * | 2023-06-28 | 2023-08-04 | 华南农业大学 | 一种作物异常信息获取方法、系统、电子设备及介质 |
| CN116647651A (zh) * | 2023-07-25 | 2023-08-25 | 西安迈远科技有限公司 | 一种基于北斗卫星的无人机施工监控方法及系统 |
| CN117312591A (zh) * | 2023-10-17 | 2023-12-29 | 南京海汇装备科技有限公司 | 一种基于虚拟现实的图像数据存储管理系统及方法 |
| CN117522872A (zh) * | 2024-01-04 | 2024-02-06 | 长峡数字能源科技(湖北)有限公司 | 一种光伏电站的实时异常检测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563356A (zh) * | 2017-09-29 | 2018-01-09 | 西安因诺航空科技有限公司 | 一种无人机巡检管线目标分析管理方法及系统 |
| CN207115098U (zh) * | 2017-07-21 | 2018-03-16 | 福建中海油应急抢维修有限责任公司 | 一种清管器远程检测仪及检测系统 |
| CN108280404A (zh) * | 2017-12-29 | 2018-07-13 | 宁波诺视智能科技有限公司 | 一种基于人工智能的无人机智能巡线识别方法及系统 |
-
2018
- 2018-07-23 CN CN201810813598.4A patent/CN109117749A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207115098U (zh) * | 2017-07-21 | 2018-03-16 | 福建中海油应急抢维修有限责任公司 | 一种清管器远程检测仪及检测系统 |
| CN107563356A (zh) * | 2017-09-29 | 2018-01-09 | 西安因诺航空科技有限公司 | 一种无人机巡检管线目标分析管理方法及系统 |
| CN108280404A (zh) * | 2017-12-29 | 2018-07-13 | 宁波诺视智能科技有限公司 | 一种基于人工智能的无人机智能巡线识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘文华等: "智能识别算法在无人机巡线中的应用研究", 《中国管理信息化》 * |
| 王勇等: "基于多视图三维重建技术的无人机数据处理方法研究", 《中原工学院学报》 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110110112A (zh) * | 2019-05-05 | 2019-08-09 | 中国民用航空飞行学院 | 一种基于可升降小车的绕机检查方法及系统 |
| CN110414359B (zh) * | 2019-07-01 | 2022-07-26 | 中国石化销售有限公司华南分公司 | 长输管道无人机巡检数据分析与管理方法及系统 |
| CN110414359A (zh) * | 2019-07-01 | 2019-11-05 | 中国石化销售有限公司华南分公司 | 长输管道无人机巡检数据分析与管理方法及系统 |
| CN110427041A (zh) * | 2019-07-04 | 2019-11-08 | 珠海九圆能源设备制造有限公司 | 一种热网管道无人机巡航系统及方法 |
| CN110399831A (zh) * | 2019-07-25 | 2019-11-01 | 中国银联股份有限公司 | 一种巡检方法及装置 |
| CN110399831B (zh) * | 2019-07-25 | 2021-11-12 | 中国银联股份有限公司 | 一种巡检方法及装置 |
| CN110909653A (zh) * | 2019-11-18 | 2020-03-24 | 南京七宝机器人技术有限公司 | 一种室内机器人自动标定配电室屏柜的方法 |
| CN110909653B (zh) * | 2019-11-18 | 2022-03-15 | 南京七宝机器人技术有限公司 | 一种室内机器人自动标定配电室屏柜的方法 |
| CN111027422A (zh) * | 2019-11-27 | 2020-04-17 | 国网山东省电力公司电力科学研究院 | 一种应用于输电线路走廊的应急无人机巡检方法及系统 |
| CN111260613A (zh) * | 2020-01-10 | 2020-06-09 | 丽水正阳电力建设有限公司 | 一种基于机器学习模型的图像标注方法 |
| CN111325943A (zh) * | 2020-02-26 | 2020-06-23 | 中电福富信息科技有限公司 | 基于无人机进行大范围森林防火巡护预警方法及其系统 |
| CN111783549A (zh) * | 2020-06-04 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种分布图生成方法、系统、巡检机器人及控制终端 |
| CN114093051B (zh) * | 2020-08-05 | 2023-10-31 | 中国联合网络通信集团有限公司 | 通信线路巡检方法、设备与系统、计算机可读存储介质 |
| CN114093051A (zh) * | 2020-08-05 | 2022-02-25 | 中国联合网络通信集团有限公司 | 通信线路巡检方法、设备与系统、计算机可读存储介质 |
| CN114442089A (zh) * | 2020-11-02 | 2022-05-06 | 云烁智控(哈尔滨)技术有限公司 | 一种用于巡查的无人机叶簇穿透合成孔径雷达监测系统 |
| CN113034718A (zh) * | 2021-03-01 | 2021-06-25 | 启若人工智能研究院(南京)有限公司 | 一种基于多智能体的地铁管道巡检系统 |
| CN113052369A (zh) * | 2021-03-15 | 2021-06-29 | 北京农业智能装备技术研究中心 | 智能农机作业管理方法及系统 |
| CN112990146A (zh) * | 2021-05-06 | 2021-06-18 | 成都理工大学 | 一种基于无人机的石油管线巡检异常隐患智能识别方法 |
| CN112990146B (zh) * | 2021-05-06 | 2021-07-27 | 成都理工大学 | 一种基于无人机的石油管线巡检异常隐患智能识别方法 |
| CN113325872A (zh) * | 2021-06-10 | 2021-08-31 | 广州极飞科技股份有限公司 | 植物的巡查方法及装置、系统、飞行器 |
| CN113469386A (zh) * | 2021-07-15 | 2021-10-01 | 山东崇霖软件有限公司 | 一种基于大数据的城市管道管理系统及方法 |
| WO2023060405A1 (zh) * | 2021-10-11 | 2023-04-20 | 深圳市大疆创新科技有限公司 | 一种无人机监控方法、装置、无人机及监控设备 |
| CN114187666B (zh) * | 2021-12-23 | 2022-09-02 | 中海油信息科技有限公司 | 边走路边看手机的识别方法及其系统 |
| CN114187666A (zh) * | 2021-12-23 | 2022-03-15 | 中海油信息科技有限公司 | 边走路边看手机的识别方法及其系统 |
| CN115077489B (zh) * | 2022-06-14 | 2023-08-29 | 安徽同济建设集团有限责任公司 | 一种无人机倾斜摄影土方量计算的方法 |
| CN115077489A (zh) * | 2022-06-14 | 2022-09-20 | 安徽同济建设集团有限责任公司 | 一种无人机倾斜摄影土方量计算的方法 |
| CN115202404A (zh) * | 2022-09-15 | 2022-10-18 | 广东容祺智能科技有限公司 | 基于无人机的光伏发电组维护巡检方法 |
| CN115755978A (zh) * | 2022-12-08 | 2023-03-07 | 贵州省山地资源研究所 | 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法 |
| CN115797811A (zh) * | 2023-02-07 | 2023-03-14 | 江西农业大学 | 一种基于视觉的农产品检测方法及系统 |
| CN116543309B (zh) * | 2023-06-28 | 2023-10-27 | 华南农业大学 | 一种作物异常信息获取方法、系统、电子设备及介质 |
| CN116543309A (zh) * | 2023-06-28 | 2023-08-04 | 华南农业大学 | 一种作物异常信息获取方法、系统、电子设备及介质 |
| CN116647651A (zh) * | 2023-07-25 | 2023-08-25 | 西安迈远科技有限公司 | 一种基于北斗卫星的无人机施工监控方法及系统 |
| CN116647651B (zh) * | 2023-07-25 | 2024-02-09 | 西安迈远科技有限公司 | 一种基于北斗卫星的无人机施工监控方法及系统 |
| CN117312591A (zh) * | 2023-10-17 | 2023-12-29 | 南京海汇装备科技有限公司 | 一种基于虚拟现实的图像数据存储管理系统及方法 |
| CN117312591B (zh) * | 2023-10-17 | 2024-03-12 | 南京海汇装备科技有限公司 | 一种基于虚拟现实的图像数据存储管理系统及方法 |
| CN117522872A (zh) * | 2024-01-04 | 2024-02-06 | 长峡数字能源科技(湖北)有限公司 | 一种光伏电站的实时异常检测方法及装置 |
| CN117522872B (zh) * | 2024-01-04 | 2024-03-22 | 长峡数字能源科技(湖北)有限公司 | 一种光伏电站的实时异常检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117749A (zh) | 一种基于无人机巡检影像的异常目标监管方法及系统 | |
| CN107808425A (zh) | 基于无人机航拍影像的油气管线巡检系统及其巡检方法 | |
| CN107735794A (zh) | 使用图像处理的状况检测 | |
| CN107835997A (zh) | 使用计算机视觉的用于电力线走廊监测的植被管理 | |
| CN105206057B (zh) | 基于浮动车居民出行热点区域的检测方法及系统 | |
| CN111915128B (zh) | 一种对地震诱发的次生滑坡灾后评估与救援辅助系统 | |
| WO2013051300A1 (ja) | 被災状況把握システム | |
| CN110414359A (zh) | 长输管道无人机巡检数据分析与管理方法及系统 | |
| CN111339905B (zh) | 基于深度学习及多视角的cim井盖状态视觉检测系统 | |
| JP7065477B2 (ja) | 災害状況判定システムおよび災害判定飛行システム | |
| CN113688758B (zh) | 基于边缘计算的输气管道高后果区智能识别系统 | |
| CN113240249B (zh) | 基于无人机增强现实的城市工程质量智能评价方法及其系统 | |
| CN108182218A (zh) | 一种基于地理信息系统的视频人物识别方法、系统及电子设备 | |
| CN110276379B (zh) | 一种基于视频图像分析的灾情信息快速提取方法 | |
| CN116258980A (zh) | 一种基于视觉的无人机分布式光伏电站巡检方法 | |
| CN111400877B (zh) | 一种基于gis数据的智能城市仿真系统和方法 | |
| CN117424886A (zh) | 一种智慧水务业务管控平台及管控方法 | |
| CN105096661B (zh) | 基于垂直剖面视图的空中交通流管理系统与方法 | |
| JP5076190B1 (ja) | 被災状況把握システム | |
| CN106528554A (zh) | 一种快速确定人员初始位置与建筑物参数的系统 | |
| CN115240101A (zh) | 一种基于场景分析的医疗样本转送监督系统 | |
| Biswal et al. | Mobile-Based Weather Forecasting and Visualization Using Augmented Reality | |
| Xu et al. | Assistance of UAVs in the Intelligent Management of Urban Space: A Survey | |
| US11748901B1 (en) | Using deep learning and structure-from-motion techniques to generate 3D point clouds from 2D data | |
| CN115077492B (zh) | 基于北斗定位的三维地理信息安全监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 351100 No. 666, Xiangang Avenue, Fengting Town, Xianyou Economic Development Zone, Putian City, Fujian Province Applicant after: National pipe network group (Fujian) emergency maintenance Co.,Ltd. Address before: 351100 No. 666, Xiangang Avenue, Fengting Town, Xianyou Economic Development Zone, Putian City, Fujian Province Applicant before: FUJIAN CNOOC EMERGENCY MAINTENANCE CO.,LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190101 |