CN112990146B - 一种基于无人机的石油管线巡检异常隐患智能识别方法 - Google Patents

一种基于无人机的石油管线巡检异常隐患智能识别方法 Download PDF

Info

Publication number
CN112990146B
CN112990146B CN202110488160.5A CN202110488160A CN112990146B CN 112990146 B CN112990146 B CN 112990146B CN 202110488160 A CN202110488160 A CN 202110488160A CN 112990146 B CN112990146 B CN 112990146B
Authority
CN
China
Prior art keywords
abnormal
unmanned aerial
aerial vehicle
petroleum pipeline
hidden danger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110488160.5A
Other languages
English (en)
Other versions
CN112990146A (zh
Inventor
李琼
岳林
张宇
何建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN202110488160.5A priority Critical patent/CN112990146B/zh
Publication of CN112990146A publication Critical patent/CN112990146A/zh
Application granted granted Critical
Publication of CN112990146B publication Critical patent/CN112990146B/zh
Priority to US17/453,651 priority patent/US11353162B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17D—PIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00—Protection or supervision of installations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机的石油管线巡检异常隐患智能识别方法，将无人机精准巡航技术与目标检测算法结合，设计了一种智能的石油管线巡检方法，在现有的计算机处理运算能力基础上，实现了较为快速的石油管线隐患巡检排查。本发明针对无人机巡检特殊工作条件的目标检测做了大量优化算法和改进，训练了该条件下专用目标检测网络模型，具有对石油管线巡检的准实时隐患播报，减少了人工巡检的盲目性，大大提高了巡检效率，降低了人力成本，具有可实用性。

Description

一种基于无人机的石油管线巡检异常隐患智能识别方法
技术领域
本发明属于无人机智能巡检技术领域，具体涉及一种基于无人机的石油管线巡检异常隐患智能识别方法的设计。
背景技术
我国石油天然气资源分布与人口分布极不匹配，在东部的沿海地区石油天然气资源主要靠东部地区输送。石油管线为石油天然气的主要输送途径，目前我国的石油管线正在飞速建设，现有大型石油管线总长为3.5万公里，专家预计未来10年我国将实现汽油、柴油、煤油等成品油全部利用管道进行输送。由于石油管线分布广，且沿线地形地貌复杂，给管线维护巡检带来了很大的困难。
传统的石油管线巡检采用人工沿线徒步巡检，此方法效率较低，人力成本较高且操作困难，甚至有一定的风险。对于长距离石油管线而言，距离长、范围广、环境复杂等因素使手持终端采集数据的工作方式受到极大局限，人力成本较高且操作困难。
近年来随着无人机技术的发展，无人机巡检管道是精细化管理形势下提质增效的创新举措。无人机能够在复杂地形上采集出连续的高质量的管线数据，这为采用无人机进行石油管线巡检提供了根本上的支持。
同时，计算机视觉技术以及物联网技术的发展，为实现无人机石油管线智能巡检提供了软件上的支持。采用目前最热门的YOLO目标检测技术，最快甚至可以实时将视频目标检测并渲染出来。再针对无人机石油管线巡检这一具体任务，结合异常定位、有效异常筛选、异常类别定义、云智能任务派放平台等一系列技术，可以将无人机巡检的精度、速度、质量提高到能够进行工业化应用的程度，实现无人机智能巡检及任务派放一体化系统平台，优化设备资源和人力资源配置，将运行成本降至最低。
发明内容
本发明的目的是为了解决现有的石油管线人工巡检技术操作困难且人力成本高的问题，提出了一种基于无人机的石油管线巡检异常隐患智能识别方法。
本发明的技术方案为：一种基于无人机的石油管线巡检异常隐患智能识别方法，包括以下步骤：
S1、训练得到石油管线隐患识别网络模型。
S2、根据石油管线坐标信息设定无人机巡检路线，根据地形设定无人机的巡检高度和摄像头角度，并根据摄像头姿态对视频拍摄角度进行实时矫正，控制无人机按照巡检路线巡检，将单次巡检拍摄视频传输回计算机。
S3、通过石油管线隐患识别网络模型对传输回计算机的视频进行异常隐患全局检测，生成各异常点的帧号、类型、像素尺度和像素坐标信息。
S4、根据无人机地理坐标、拍摄高度和拍摄方向信息，确定动态的实时像素比例尺。
S5、根据实时像素比例尺以及异常点的像素坐标信息，计算得到异常点的地理坐标，并根据各异常点的地理坐标，将石油管线两侧有效区域外的异常点筛去。
S6、根据异常点的像素尺度和实时像素比例尺，计算得到异常点的实际大小，并将实际大小在标准尺度范围外的异常点筛去。
S7、根据视频拍摄连续性，通过多帧联合结果校验，将突然出现或消失的误检假异常点筛去。
S8、根据视频拍摄连续性，将多帧上重复出现的同一异常点进行去重处理，得到异常结果。
S9、将异常结果的帧号、类型、像素尺度、地理坐标以及图片信息上传至智能任务发放平台，指导巡检工人工作。
进一步地，步骤S1包括以下分步骤：
S11、定义异常隐患，并根据异常隐患的类型、数目以及现实尺度范围，通过无人机垂直俯视实拍得到异常隐患图片数据集。
S12、对异常隐患图片数据集中的图片使用LabelImg绘制YOLO格式的标签，作为训练数据集。
S13、将训练数据集输入YOLOv5网络进行目标检测回归训练，得到石油管线隐患识别网络模型。
进一步地，步骤S11包括以下分步骤：
S111、根据历史巡检案例，将石油管线两侧20米范围内出现的车辆、人、房屋建筑以及自然灾害活动定义为异常隐患。
S112、根据实际情况定义异常隐患的标准尺度范围。
S113、在距地面高度相同的情况下，通过无人机拍摄若干垂直视角俯拍视频，并从中截取得到所有类型的异常隐患图片，构建异常隐患图片数据集。
进一步地，步骤S2包括以下分步骤：
S21、根据石油管线埋设管点的坐标信息，设定无人机的巡检路线为管点到管点，沿石油管线拍摄图像。
S22、根据地形，设定无人机的巡检高度为距离地面100m。
S23、设定无人机的摄像头角度为垂直于地面的俯视视角。
S24、当无人机转弯、加速或减速时，根据无人机实时姿态，对摄像头做出相反方向的角度调整，保证摄像头始终垂直于地面拍摄。
S25、根据无人机的续航能力，设置无人机为双边巡航或单边检测。
S26、控制无人机按照巡检路线巡检，将单次巡检拍摄视频传输回计算机。
进一步地，步骤S3包括以下分步骤：
S31、通过石油管线隐患识别网络模型对传输回计算机的视频进行异常隐患全局检测，输出得到各异常点的帧号、类型、像素尺度和像素坐标信息。
S32、将输出信息表示为表格和图片的形式，将表格命名为视频名称_异常隐患全局检测程序运行时间，将图片命名为视频名称_异常隐患全局检测程序运行时间_编号。
进一步地，步骤S4包括以下分步骤：
S41、获取摄像头画幅矩形边视角β1和β2，设t时刻无人机拍摄高度为h(t)，无人机地理坐标为(X(t),Y(t))，图片像素为1920*1080。
S42、根据h(t)、β1和β2计算得到t时刻摄像头画幅所对应的现实长宽x(t),y(t)为：
x(t)=2tan(β1)/h(t)
y(t)=2tan(β2)/h(t)
S43、根据现实长宽x(t),y(t)计算得到动态的实时像素比例尺为：
bx(t)=x(t)/1920
by(t)=y(t)/1080
其中bx(t)表示x方向的实时像素比例尺，by(t)表示y方向的实时像素比例尺。
进一步地，步骤S5包括以下分步骤：
S51、设t时刻摄像头姿态朝向为Pt，异常点Q的像素坐标为(x1,y1)，中心点A的像素坐标为(960,540)。
S52、根据异常点Q的像素坐标和实时像素比例尺计算得到异常点Q与中心点A构成的异常点向量AQ(t)：
AQ(t)= sqrt[((x1-960)*bx(t))²+((y1-540)*by(t))²]
S53、获取异常点向量AQ(t)与摄像头朝向的夹角Ut。
S54、根据摄像头姿态朝向Pt和夹角Ut计算得到异常点向量AQ(t)与正北方向的夹角Qt：
Qt=Pt -360°+Ut
S55、根据夹角Qt计算得到异常点Q的东西方向偏置MQ(t)和南北方向偏置MA(t)：
MQ(t)=AQ(t)*sin(Qt)
MA(t)=AQ(t)*cos(Qt)
S56、根据东西方向偏置MQ(t)和南北方向偏置MA(t)计算得到异常点Q的地理坐标(X(t)+MQ(t),Y(t)+MA(t))。
S57、根据各异常点的地理坐标，将石油管线两侧20米内的异常点作为有效异常点，将石油管线两侧20米外的异常点作为无效异常点筛去。
进一步地，步骤S6包括以下分步骤：
S61、将异常点的像素尺度乘以实时像素比例尺，得到异常点的实际大小。
S62、将实际大小在标准尺度范围外的异常点筛去。
进一步地，步骤S7包括以下分步骤：
S71、若某帧检测出异常点，则遍历其前后帧。
S72、若检测出同一类型异常点的帧数大于60帧，则判定该异常点为正确的检测结果，否则判定该异常点为突然出现或消失的误检假异常点，并将其筛去。
进一步地，步骤S8包括以下分步骤：
S81、获取多帧上重复出现的同一异常点的位置坐标，并求取所有位置坐标的中间值。
S82、将与中间值的差值大于预设阈值的位置坐标筛去，并求取剩余位置坐标的平均值。
S83、将平均值对应坐标的图片作为异常结果。
本发明的有益效果是：
（1）本发明将无人机精准巡航技术与目标检测算法结合，设计了一种智能的石油管线巡检方法，在现有的计算机处理运算能力基础上，实现了较为快速的石油管线隐患巡检排查。
（2）本发明在目标检测时是用计算机完成，与传统的人工目测识别方法相比，具有更好的连续性检测能力和全局无差别识别能力。
（3）本发明解决了传统人工巡检需要到实地勘探的困难性与高成本性，极大的降低了石油管线维护成本和维护难度。
（4）本发明针对无人机巡检特殊工作条件的目标检测做了大量优化算法和改进，训练了该条件下专用的石油管线隐患识别网络模型，实现了对石油管线巡检的实时隐患播报，减少了人工巡检的盲目性，大大提高了巡检效率，降低了人力成本，具有可实用性。
附图说明
图1所示为本发明实施例提供的一种基于无人机的石油管线巡检异常隐患智能识别方法流程图。
图2所示为本发明实施例提供的YOLOv5网络结构示意图。
图3所示为本发明实施例提供的异常点定位原理图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种基于无人机的石油管线巡检异常隐患智能识别方法，如图1所示，包括以下步骤S1~S9：
S1、训练得到石油管线隐患识别网络模型。
步骤S1包括以下分步骤S11~S13：
S11、定义异常隐患，并根据异常隐患的类型、数目以及现实尺度范围，通过无人机垂直俯视实拍得到异常隐患图片数据集。
本发明实施例中，异常隐患的类型包括小汽车、货车、摩托车、建筑、水槽、人、地质灾害等。
步骤S11包括以下分步骤S111~S113：
S111、根据历史巡检案例，将石油管线两侧20米范围内出现的车辆、人、房屋建筑以及自然灾害活动定义为异常隐患。
S112、根据实际情况定义异常隐患的标准尺度范围。例如人的尺度为<1米、小轿车尺度为<5米等等，以供后期筛选。
S113、在距地面高度相同的情况下，通过无人机拍摄若干垂直视角俯拍视频，并从中截取得到所有类型的异常隐患图片，构建异常隐患图片数据集。
S12、对异常隐患图片数据集中的图片使用LabelImg绘制YOLO格式的标签，作为训练数据集。
S13、将训练数据集输入YOLOv5网络进行目标检测回归训练，得到石油管线隐患识别网络模型。YOLOv5网络的结构如图2所示，由图2可知YOLOv5网络首先由一阶全卷积检测层和卷积层组成的CSPDarknet特征提取网络对图像特征进行有效提取，同时使用由CSP（Cross Stage Paritial）归一化层和卷积层构成的BottleneckCSP进行残差连接，加强图像特征的描述。同时金字塔池化层主要被用于生成特征金字塔， 特征金字塔可以增强模型对于不同尺度对象的检测，从而能够识别不同大小和尺度的同一目标。
本发明实施例中，训练数据集可以不用只在石油管线上采集，在类似地形上空均可采集，这样能更容易获得较大的数据集体量。通过石油管线隐患识别网络模型检测测试图片，检测结果输出为目标异常隐患出现的帧号（时间）、类型、中心点所在位置、像素尺度大小四要素。
S2、根据石油管线坐标信息设定无人机巡检路线，根据地形设定无人机的巡检高度和摄像头角度，并根据摄像头姿态对视频拍摄角度进行实时矫正，控制无人机按照巡检路线巡检，将单次巡检拍摄视频传输回计算机。
步骤S2包括以下分步骤S21~S26：
S21、由于石油管线埋设管点（两管点之间为直线）坐标为已有资料，则根据石油管线埋设管点的坐标信息，设定无人机的巡检路线为管点到管点，沿石油管线拍摄图像。
S22、根据地形，设定无人机的巡检高度为距离地面100m。
S23、设定无人机的摄像头角度为垂直于地面的俯视视角。
S24、由于摄像头固定于无人机下方，当无人机转弯、加速或减速等情况时，摄像头可能不是垂直地面拍摄，因此当无人机转弯、加速或减速时，需要对视频拍摄角度做实时矫正，根据无人机实时姿态，对摄像头做出相反方向的角度调整，保证摄像头始终垂直于地面拍摄。
S25、根据无人机的续航能力，设置无人机为双边巡航或单边检测。
S26、控制无人机按照巡检路线巡检，将单次巡检拍摄视频传输回计算机。
S3、通过石油管线隐患识别网络模型对传输回计算机的视频进行异常隐患全局检测，生成各异常点的帧号、类型、像素尺度和像素坐标信息。
步骤S3包括以下分步骤S31~S32：
S31、通过石油管线隐患识别网络模型对传输回计算机的视频进行异常隐患全局检测，输出得到各异常点的帧号、类型、像素尺度和像素坐标信息。本发明实施例中，对传输回计算机的视频进行异常隐患全局检测时需要用到英伟达高性能显卡加速智能算法。
S32、将输出信息表示为表格和图片的形式，将表格命名为视频名称_异常隐患全局检测程序运行时间，将图片命名为视频名称_异常隐患全局检测程序运行时间_编号。
S4、根据无人机地理坐标、拍摄高度和拍摄方向信息，确定动态的实时像素比例尺。
步骤S4包括以下分步骤S41~S43：
S41、获取摄像头画幅矩形边视角β1和β2（固定参数），设t时刻无人机拍摄高度为h(t)，无人机地理坐标为(X(t),Y(t))，图片像素为1920*1080。
S42、根据h(t)、β1和β2计算得到t时刻摄像头画幅所对应的现实长宽x(t),y(t)为：
x(t)=2tan(β1)/h(t)
y(t)=2tan(β2)/h(t)
S43、根据现实长宽x(t),y(t)计算得到动态的实时像素比例尺为：
bx(t)=x(t)/1920
by(t)=y(t)/1080
其中bx(t)表示x方向的实时像素比例尺，by(t)表示y方向的实时像素比例尺。
S5、根据实时像素比例尺以及异常点的像素坐标信息，计算得到异常点的地理坐标，并根据各异常点的地理坐标，将石油管线两侧有效区域外的异常点筛去。
步骤S5包括以下分步骤S51~S57：
S51、如图3所示，设t时刻摄像头姿态朝向为Pt（为角度信息，即与正北方向N夹角，取值0-359°），异常点Q的像素坐标为(x1,y1)，中心点A的像素坐标为(960,540)，M表示异常点Q在正北方向上的投影点。
S52、根据异常点Q的像素坐标和实时像素比例尺计算得到异常点Q与中心点A构成的异常点向量AQ(t)：
AQ(t)= sqrt[((x1-960)*bx(t))²+((y1-540)*by(t))²]
S53、获取异常点向量AQ(t)与摄像头朝向的夹角Ut。
S54、根据摄像头姿态朝向Pt和夹角Ut计算得到异常点向量AQ(t)与正北方向的夹角Qt：
Qt=Pt -360°+Ut
S55、根据夹角Qt计算得到异常点Q的东西方向偏置MQ(t)和南北方向偏置MA(t)：
MQ(t)=AQ(t)*sin(Qt)
MA(t)=AQ(t)*cos(Qt)
S56、根据东西方向偏置MQ(t)和南北方向偏置MA(t)计算得到异常点Q的地理坐标(X(t)+MQ(t),Y(t)+MA(t))。
S57、根据各异常点的地理坐标，将石油管线两侧20米内的异常点作为有效异常点，将石油管线两侧20米外的异常点作为无效异常点筛去。通过该步骤可筛去很大部分无效异常，提高检测精度。
S6、根据异常点的像素尺度和实时像素比例尺，计算得到异常点的实际大小，并将实际大小在标准尺度范围外的异常点筛去。
在现实情况中，我们所见物体通常其尺度有个一般的大小来衡量，因此本发明实施例中需要结合标准尺度范围对异常点进行筛选。
步骤S6包括以下分步骤S61~S62：
S61、将异常点的像素尺度乘以实时像素比例尺，得到异常点的实际大小。
S62、将实际大小在标准尺度范围外的异常点认定为误检并筛去，进一步提高检测精度。
S7、根据视频拍摄连续性，通过多帧联合结果校验，将突然出现或消失的误检假异常点筛去。
由于视频是连续拍摄的，所以其拍摄的物体（包括异常点）应连续在多帧图片上出现。故检测时应在连续的多帧图片上出现同一异常点，不会突然只在某一帧出现，又马上消失。这种仅单一或极少帧上出现的异常点为误检的可能性非常大。同时根据无人机飞行速度，通常物体在画面中出现时间为5s左右。
基于此，步骤S7包括以下分步骤S71~S72：
S71、若某帧检测出异常点，则遍历其前后帧。
S72、若检测出同一类型异常点的帧数大于60帧，则判定该异常点为正确的检测结果，否则判定该异常点为突然出现或消失的误检假异常点，并将其筛去，再进一步提高检测精度。
S8、根据视频拍摄连续性，将多帧上重复出现的同一异常点进行去重处理，得到异常结果。
由于同一异常会在多帧上均被检测出来，故我们需要对同一异常检测结果进行合并，以提高识别精度。
步骤S8包括以下分步骤S81~S83：
S81、获取多帧上重复出现的同一异常点的位置坐标，并求取所有位置坐标的中间值。
S82、将与中间值的差值大于预设阈值的位置坐标筛去，并求取剩余位置坐标的平均值。
S83、将平均值对应坐标的图片作为异常结果。
S9、将异常结果的帧号、类型、像素尺度、地理坐标以及图片信息上传至智能任务发放平台，指导巡检工人工作。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于无人机的石油管线巡检异常隐患智能识别方法，其特征在于，包括以下步骤：
S1、训练得到石油管线隐患识别网络模型；
S2、根据石油管线坐标信息设定无人机巡检路线，根据地形设定无人机的巡检高度和摄像头角度，并根据摄像头姿态对视频拍摄角度进行实时矫正，控制无人机按照巡检路线巡检，将单次巡检拍摄视频传输回计算机；
S3、通过石油管线隐患识别网络模型对传输回计算机的视频进行异常隐患全局检测，生成各异常点的帧号、类型、像素尺度和像素坐标信息；
S4、根据无人机地理坐标、拍摄高度和拍摄方向信息，确定动态的实时像素比例尺；
S5、根据实时像素比例尺以及异常点的像素坐标信息，计算得到异常点的地理坐标，并根据各异常点的地理坐标，将石油管线两侧有效区域外的异常点筛去；
S6、根据异常点的像素尺度和实时像素比例尺，计算得到异常点的实际大小，并将实际大小在标准尺度范围外的异常点筛去；
S7、根据视频拍摄连续性，通过多帧联合结果校验，将突然出现或消失的误检假异常点筛去；
S8、根据视频拍摄连续性，将多帧上重复出现的同一异常点进行去重处理，得到异常结果；
S9、将异常结果的帧号、类型、像素尺度、地理坐标以及图片信息上传至智能任务发放平台，指导巡检工人工作；
所述步骤S1包括以下分步骤：
S11、定义异常隐患，并根据异常隐患的类型、数目以及现实尺度范围，通过无人机垂直俯视实拍得到异常隐患图片数据集；
S12、对异常隐患图片数据集中的图片使用LabelImg绘制YOLO格式的标签，作为训练数据集；
S13、将训练数据集输入YOLOv5网络进行目标检测回归训练，得到石油管线隐患识别网络模型；
所述步骤S11包括以下分步骤：
S111、根据历史巡检案例，将石油管线两侧20米范围内出现的车辆、人、房屋建筑以及自然灾害活动定义为异常隐患；
S112、根据实际情况定义异常隐患的标准尺度范围；
S113、在距地面高度相同的情况下，通过无人机拍摄若干垂直视角俯拍视频，并从中截取得到所有类型的异常隐患图片，构建异常隐患图片数据集。
2.根据权利要求1所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S2包括以下分步骤：
S21、根据石油管线埋设管点的坐标信息，设定无人机的巡检路线为管点到管点，沿石油管线拍摄图像；
S22、根据地形，设定无人机的巡检高度为距离地面100m；
S23、设定无人机的摄像头角度为垂直于地面的俯视视角；
S24、当无人机转弯、加速或减速时，根据无人机实时姿态，对摄像头做出相反方向的角度调整，保证摄像头始终垂直于地面拍摄；
S25、根据无人机的续航能力，设置无人机为双边巡航或单边检测；
S26、控制无人机按照巡检路线巡检，将单次巡检拍摄视频传输回计算机。
3.根据权利要求1所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S3包括以下分步骤：
S31、通过石油管线隐患识别网络模型对传输回计算机的视频进行异常隐患全局检测，输出得到各异常点的帧号、类型、像素尺度和像素坐标信息；
S32、将输出信息表示为表格和图片的形式，将表格命名为视频名称_异常隐患全局检测程序运行时间，将图片命名为视频名称_异常隐患全局检测程序运行时间_编号。
4.根据权利要求1所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S4包括以下分步骤：
S41、获取摄像头画幅矩形边视角β1和β2，设t时刻无人机拍摄高度为h(t)，无人机地理坐标为(X(t),Y(t))，图片像素为1920*1080；
S42、根据h(t)、β1和β2计算得到t时刻摄像头画幅所对应的现实长宽x(t),y(t)为：
x(t)=2tan(β1)/h(t)
y(t)=2tan(β2)/h(t)
S43、根据现实长宽x(t),y(t)计算得到动态的实时像素比例尺为：
bx(t)=x(t)/1920
by(t)=y(t)/1080
其中bx(t)表示x方向的实时像素比例尺，by(t)表示y方向的实时像素比例尺。
5.根据权利要求4所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S5包括以下分步骤：
S51、设t时刻摄像头姿态朝向为Pt，异常点Q的像素坐标为(x1,y1)，中心点A的像素坐标为(960,540)；
S52、根据异常点Q的像素坐标和实时像素比例尺计算得到异常点Q与中心点A构成的异常点向量AQ(t)：
AQ(t)=sqrt[((x1-960)*bx(t))²+((y1-540)*by(t))²]
S53、获取异常点向量AQ(t)与摄像头朝向的夹角Ut；
S54、根据摄像头姿态朝向Pt和夹角Ut计算得到异常点向量AQ(t)与正北方向的夹角Qt：
Qt=Pt -360°+Ut
S55、根据夹角Qt计算得到异常点Q的东西方向偏置MQ(t)和南北方向偏置MA(t)：
MQ(t)=AQ(t)*sin(Qt)
MA(t)=AQ(t)*cos(Qt)
S56、根据东西方向偏置MQ(t)和南北方向偏置MA(t)计算得到异常点Q的地理坐标(X(t)+MQ(t),Y(t)+MA(t))；
S57、根据各异常点的地理坐标，将石油管线两侧20米内的异常点作为有效异常点，将石油管线两侧20米外的异常点作为无效异常点筛去。
6.根据权利要求1所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S6包括以下分步骤：
S61、将异常点的像素尺度乘以实时像素比例尺，得到异常点的实际大小；
S62、将实际大小在标准尺度范围外的异常点筛去。
7.根据权利要求1所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S7包括以下分步骤：
S71、若某帧检测出异常点，则遍历其前后帧；
S72、若检测出同一类型异常点的帧数大于60帧，则判定该异常点为正确的检测结果，否则判定该异常点为突然出现或消失的误检假异常点，并将其筛去。
8.根据权利要求1所述的石油管线巡检异常隐患智能识别方法，其特征在于，所述步骤S8包括以下分步骤：
S81、获取多帧上重复出现的同一异常点的位置坐标，并求取所有位置坐标的中间值；
S82、将与中间值的差值大于预设阈值的位置坐标筛去，并求取剩余位置坐标的平均值；
S83、将平均值对应坐标的图片作为异常结果。
CN202110488160.5A 2021-05-06 2021-05-06 一种基于无人机的石油管线巡检异常隐患智能识别方法 Active CN112990146B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110488160.5A CN112990146B (zh) 2021-05-06 2021-05-06 一种基于无人机的石油管线巡检异常隐患智能识别方法
US17/453,651 US11353162B1 (en) 2021-05-06 2021-11-05 Unmanned aerial vehicle (UAV)-based intelligent anomaly identification method for petroleum pipeline inspection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488160.5A CN112990146B (zh) 2021-05-06 2021-05-06 一种基于无人机的石油管线巡检异常隐患智能识别方法

Publications (2)

Publication Number Publication Date
CN112990146A CN112990146A (zh) 2021-06-18
CN112990146B true CN112990146B (zh) 2021-07-27

Family

ID=76337019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488160.5A Active CN112990146B (zh) 2021-05-06 2021-05-06 一种基于无人机的石油管线巡检异常隐患智能识别方法

Country Status (2)

Country Link
US (1) US11353162B1 (zh)
CN (1) CN112990146B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068211A (zh) * 2020-07-30 2020-12-11 成都理工大学 一种无人机半航空时间域电磁勘探系统
CN113570720B (zh) * 2021-08-04 2024-02-27 西安万飞控制科技有限公司 一种基于gis技术的无人机视频石油管线实时显示方法及系统
CN114355969B (zh) * 2021-12-03 2024-04-30 武汉捷成电力科技有限公司 一种利用无人机巡检的智能供热管网检漏方法和系统
CN116342571B (zh) * 2023-03-27 2023-12-22 中吉创新技术(深圳)有限公司 通风系统控制箱的状态检测方法、装置及存储介质
CN116321239A (zh) * 2023-05-09 2023-06-23 深圳大学 基于无人机辅助的低功耗广域网通信的链路状态优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117749A (zh) * 2018-07-23 2019-01-01 福建中海油应急抢维修有限责任公司 一种基于无人机巡检影像的异常目标监管方法及系统
CN109292089A (zh) * 2018-10-30 2019-02-01 华北石油通信有限公司 一种应用于石油管道缺陷侦测的无人飞行装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5006520B2 (ja) * 2005-03-22 2012-08-22 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察装置を用いた欠陥観察方法
JP4644613B2 (ja) * 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
JP6145133B2 (ja) * 2015-06-04 2017-06-07 株式会社日立ハイテクノロジーズ 荷電粒子線装置
WO2016205415A1 (en) * 2015-06-15 2016-12-22 ImageKeeper LLC Unmanned aerial vehicle management
US20180032042A1 (en) * 2016-08-01 2018-02-01 Qualcomm Incorporated System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
EP3803773A4 (en) * 2018-05-24 2022-03-16 International Electronic Machines Corp. MANAGEMENT OF SENSITIVE AREAS
CN110823899B (zh) * 2018-08-10 2022-07-05 杭州海康机器人技术有限公司 一种故障定位方法、装置及系统
US11960984B2 (en) * 2018-09-24 2024-04-16 Schlumberger Technology Corporation Active learning framework for machine-assisted tasks
CN110196454B (zh) * 2019-06-17 2020-05-19 中国地质大学（北京） 基于无人机的地质勘测集成系统
CN111814721B (zh) * 2020-07-17 2022-05-24 电子科技大学 基于无人机高低空联合扫描的机场跑道异物检测分类方法
CN112101088B (zh) * 2020-07-27 2023-10-27 长江大学 一种无人机电力自动巡检方法、装置及系统
US11978023B2 (en) * 2020-09-11 2024-05-07 University Of Florida Research Foundation, Inc. Drone-based administration of remotely located instruments and gadgets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117749A (zh) * 2018-07-23 2019-01-01 福建中海油应急抢维修有限责任公司 一种基于无人机巡检影像的异常目标监管方法及系统
CN109292089A (zh) * 2018-10-30 2019-02-01 华北石油通信有限公司 一种应用于石油管道缺陷侦测的无人飞行装置

Also Published As

Publication number Publication date
CN112990146A (zh) 2021-06-18
US11353162B1 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
CN112990146B (zh) 一种基于无人机的石油管线巡检异常隐患智能识别方法
CN112767391B (zh) 融合三维点云和二维图像的电网线路部件缺陷定位方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
Xiang et al. Mini-unmanned aerial vehicle-based remote sensing: Techniques, applications, and prospects
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
WO2020221284A1 (zh) 一种流域性洪涝场景的无人机监测方法及系统
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航系统及方法
CN104457704B (zh) 基于增强地理信息的无人机地面目标定位系统及方法
CN103514446B (zh) 一种融合传感器信息的室外场景识别方法
CN111537515A (zh) 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
WO2022078240A1 (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN106204595A (zh) 一种基于双目摄像机的机场场面三维全景监视方法
CN106373159A (zh) 一种简化的无人机多目标定位方法
CN106504189A (zh) 一种基于gis的海洋受灾面积提取方法
US9551579B1 (en) Automatic connection of images using visual features
CN111339893A (zh) 基于深度学习和无人机的管道检测系统及方法
CN110033411A (zh) 基于无人机的公路施工现场全景图像高效拼接方法
CN111241988A (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN114038193B (zh) 基于无人机和多目标追踪的智能交通流量数据统计方法及系统
CN110806198A (zh) 基于遥感图像的目标定位方法、装置以及控制器和介质
CN108871409A (zh) 一种故障检测方法和系统
CN112815923A (zh) 视觉定位方法和装置
CN112053391A (zh) 一种基于动态三维模型的监控预警方法、系统及存储介质
Chen et al. Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant