CN115272898A - 基于管网无人机巡检视频的识别方法、装置、介质和设备 - Google Patents

基于管网无人机巡检视频的识别方法、装置、介质和设备 Download PDF

Info

Publication number
CN115272898A
CN115272898A CN202211014505.4A CN202211014505A CN115272898A CN 115272898 A CN115272898 A CN 115272898A CN 202211014505 A CN202211014505 A CN 202211014505A CN 115272898 A CN115272898 A CN 115272898A
Authority
CN
China
Prior art keywords
type
target
identification
oil
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211014505.4A
Other languages
English (en)
Inventor
钱浩东
王鹏
雍鹏
张治发
张果
宋鑫
吴永春
罗月
谢寅溥
胡卫东
陶俊亦
张展硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Petroleum Corp
CNPC Chuanqing Drilling Engineering Co Ltd
Original Assignee
China National Petroleum Corp
CNPC Chuanqing Drilling Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Petroleum Corp, CNPC Chuanqing Drilling Engineering Co Ltd filed Critical China National Petroleum Corp
Priority to CN202211014505.4A priority Critical patent/CN115272898A/zh
Publication of CN115272898A publication Critical patent/CN115272898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于管网无人机巡检视频的识别方法、装置、介质和设备,包括:获取目标区域内的油气管道的图像数据;确定对应的目标类型,其包括标识桩倾倒类型、标识桩类型、管道露出类型、地表坑洞类型、建筑物类型以及穿跨越类型中至少一种;根据目标类型确定目标检测模型,该模型通过多组包括异常事件以及对应标签的训练数据训练获得;将图像数据输入目标检测模型,确认油气管道的识别结果,识别结果用于指示目标区域内油气管道是否存在异常事件。通过该方法,能够在山区、沼泽等环境恶劣的地区的石油管道进行巡检,并且规避人工巡检效率低、工作量大、安全风险高等问题,同时确保了识别结果的准确度和更快的实时检测速度。

Description

基于管网无人机巡检视频的识别方法、装置、介质和设备
技术领域
本发明涉及一种基于深度学习的石油天然气管网巡检领域,具体来讲,涉及一种基于管网无人机巡检视频的识别方法,一种基于管网无人机巡检视频的识别装置,一种基于管网无人机巡检视频的识别介质和一种基于管网无人机巡检视频的识别设备。
背景技术
石油、天然气等能源输送管道是现代社会经济发展的基础设施。油气管道,其一般用于负责长距离的输送原油或者天然气,而在输送的过程的中,由于输送距离较长,会受到外界环境、内部运输物质等因素的影响,存在很高的风险,一旦发生危险,将产生巨大的危害。而根据不完全统计,在外界环境风险事故中,第三方损害占比是最高的。第三方损害中包括直接的威胁管道安全的挖掘机、打桩机以及定向钻等工程机械,间接威胁管道安全的有违章占压建筑、重型车辆碾压等。对于上述各种影响油气管道的运行的异常事件,需要对异常事件进行识别,相关技术中一般存在两种方式,其中,传统的石油管道巡检方法一般以人工现场巡检的方式进行巡查,不仅巡查效率较低、工作量大、安全风险高,难以对山区、沼泽等环境比较恶劣的地区的石油管道进行巡检,且这种方式受人的主观性较大,视野具有很大的局限性,且人力成本较高,不能满足现代化石油管道管理的需求。而随着无人机技术的快速发展,在电力行业中无人机已经得到了较好的实际应用。其在油气管道巡检应用中,通过无人机巡线,对油气管线路现场进行拍摄,得到俯视图,然后人工进行判读,同样这种方式也容易受到人的主观性影响,且同一时间一般仅能判断一个巡检视频,时间成本高,效率较低,判断结果不仅准确性较差,人工成本也较高。
随着计算机信息技术的发展,现已有专家学者将深度学习方面应用到管道的检测中,如于2021年10月26日公开的发明名称为基于深度学习的管道状态监测方法、装置及存储介质,公开号为CN113551156A的专利文献记载了基于深度学习的管道状态监测方法,该方法包括:按照预设的时间间隔获取每条供水管道的状态数据,得到所有供水管道的状态数据集,并将所述状态数据集分为训练集和测试集,将所述训练集输入到深度学习模型进行训练,得到训练好的深度学习模型;按照预设的时间间隔实时获取每条供水管道的实时状态数据,得到实时状态数据集,将所述实时状态数据集输入到所述训练好的深度学习模型,得到管道状态检测结果。其检测精度高、误检率低、极大的提高了供水安全保障能力。于2020年06月26日公开的发明名称为基于深度学习和无人机的管道检测系统及方法,公开号为CN111339893A的专利文献记载了一种基于深度学习和无人机的管道检测系统及方法,该方法为采用Canny算子对图像进行边缘检测再映射回原始图像进行锐化操作;使用卷积和池化运算简化成为特征提取网络可以识别的特征图;构建RPN网络对特征图中的目标框进行预测回归;通过SoftNMS进行标准后处理,保留预测分数最高的预测框作为输出,生成目标掩膜图像及最终的管道预测图片。该发明输油管道漏电识别准确率高,效率高,实现了输油管道自动化检测,提高工作效率。
本发明提供了一种基于管网无人机巡检视频的识别方法、装置、介质和设备,利用深度学习图像识别技术替代人工识别风险点,建立以Conv block为结构,RELU为激活函数,基于YOLO的目标检测模型,其目标类型采用标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型多种类型,通过包含异常事件和对应标签的训练数据对目标检测模型进行训练,以确保识别结果的准确度,以及更快的实时检测速度,该方法能够有效提升现场管线巡检维护工作效率、减轻现场工作人员劳动强度、减少风险点人为漏检,进而解决了由于相关技术中基于人工的方式对油气管道的异常事件进行识别造成的识别结果不准确,效率低下,以及人工成本较高的技术问题。
发明内容
本发明的目的在于解决现有技术存在的上述不足中的至少一项。例如,本发明的目的之一在于提供了一种基于管网无人机巡检视频的识别方法,能够有效减轻现场工作人员劳动强度、从而减少风险点人为漏检,进而解决了由于相关技术中基于人工的方式对油气管道的异常事件进行识别造成的识别结果不准确,效率低下,以及人工成本较高的技术问题;该方法的目标类型采用了天气类型和地理环境类型,能够有效提高提高其对管道异常的识别精确度;同时采用了RELU激活函数和YOLO目标检测模型算法,能够更加快速的训练,并且在一定程度上保障了检测的实时性,提高了提取特征的能力。
为了实现上述目的,本发明一方面提供了一种基于管网无人机巡检视频的识别方法,上述方法包括以下步骤:获取目标区域内的油气管道的图像数据;确定所述图像数据对应的目标类型,根据所述目标类型确定目标检测模型,其中,所述目标类型包括标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型中的一种或多种类型;所述目标检测模型是通过多组训练数据训练获得,每组训练数据都包括异常事件以及用于表征标记所述异常事件的标签;将所述图像数据输入至所述目标检测模型,确认油气管道的识别结果,所述识别结果用于指示目标区域内油气管道是否存在所述异常事件。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,步骤获取目标区域内的油气管道的图像数据包括:采集目标区域内油气管道的视频数据,从所述视频数据里截取目标帧,根据所述目标帧获得所述图像数据。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,步骤获取目标区域内的油气管道的图像数据还包括:获取目标区域内油气管道的正射图像,对所述正射图像进行重叠分块处理得到所述图像数据。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,所述步骤获取目标区域内的油气管道的图像数据还包括:通过滑动窗口对所述图像数据进行识别与裁剪,并设置为预定像素大小。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,所述地理环境类型包括:植被覆盖类型和/或地表坑洞类型。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,所述目标检测模型是通过以Conv block为结构,激活函数为RELU的YOLO检测模型获得。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,所述识别结果包括:重叠度,所述重叠度为所述图片数据和所述目标检测模型的相似重叠率;设置预设阈值,所述识别结果的重叠度大于所述预设阈值,生成巡检报告;所述巡检报告包括发生所述异常事件的地点、所述异常事件的类型。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,所述识别结果还包括:对所述巡检报告中风险点识别的完整程度进行判断,所述风险点至少包括一个或多个所述异常事件。
当风险点识别完整时,生成风险信息和异常处理统计情况,所述风险信息至少包括所述风险点的图片,所述异常处理统计情况用于统计所述异常事件的处理情况。
当风险点识别不完整时,检测目标用户的操作指令,解析所述操作指令,对目标检测算法模型的训练数据进行标注,根据所述标注更新目标检测算法模型。
本发明另一方面提供了一种基于管网无人机巡检视频的识别装置,所述装置包括获取模块、目标类型确定模块、模型构建模块和识别模块。其中,获取模块,被配置为获取目标区域内油气管道的图像数据;目标类型确定模块,被配置为确定所述图像数据对应的目标类型;模型构建模块与所述目标类型确定模块相连,被配置为根据所述目标类型确定目标检测模型;识别模块与所述模型构建模块和所述获取模块相连,被配置为将所述图像数据输入至所述目标检测模型,确认油气管道的识别结果,所述识别结果用于指示目标区域内油气管道是否存在异常事件。
本发明再一方面提供了一种计算机设备,所述计算机设备包括:至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现如上任意一种所述基于管网无人机巡检视频的识别方法。
本发明再一方面提供了一种存储有计算机程序的计算机可读存储介质,所述计算机可读存储介质在被处理器执行时实现任意一种所述基于管网无人机巡检视频的识别方法。
与现有技术相比,本发明的有益效果包括以下内容中的至少一项:
(1)本发明采用了深度学习识别油气管道图像数据的方式,达到了根据不同图像数据调用不同识别模型,对图像数据进行有针对性识别的目的,从而实现了提高识别结果准确度,提升识别效率。
(2)本发明通过建立以Conv block为结构、RELU为激活函数、基于YOLO的目标检测模型,同时其目标类型采用了标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型中的一种或多种类型,并通过包含异常事件和对应标签的训练数据对目标检测模型进行训练,进一步确保了识别结果的准确度,而且能够更快的进行实时检测。
(3)本发明通过无人机巡检视频的识别的方法,能够在面对山区、沼泽等环境恶劣的地区的石油管道进行巡检,从而规避人工巡检效率低、工作量大、安全风险高等问题。
附图说明
通过下面结合附图进行的描述,本发明的上述和其他目的和/或特点将会变得更加清楚,其中:
图1示出了本发明的基于管网无人机巡检视频的识别方法的一个示例性实施例的智能识别方法流程图;
图2示出了本发明的基于管网无人机巡检视频的识别方法的另一个示例性实施例的风险识别流程图;
图3示出了本发明的基于管网无人机巡检视频的识别方法的另一个示例性实施例的系统架构图;
图4示出了本发明的基于管网无人机巡检视频的识别方法的另一个示例性实施例的智能识别服务流程图;
图5示出了本发明的基于管网无人机巡检视频的识别装置的一个示例性实施例的装置图。
附图标记说明:
100-数据服务模块;110-模型服务模块;120-风险点智能识别服务模块;130-获取模块;140-目标类型确定模块;150-模型构建模块;160-识别模块。
具体实施方式
在下文中,将结合示例性实施例来详细说明本发明的基于管网无人机巡检视频的识别方法、装置、介质和设备。需要说明的是,本发明中使用的术语“S10”、“S20”、“S30”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明一方面提供了一种基于管网无人机巡检视频的识别方法。
在本发明的基于管网无人机巡检视频的识别方法的一个实施例中,该方法包括:
S10、获取目标区域内的油气管道的图像数据。
具体来讲,图像数据可先采集目标区域内油气管道的视频数据,从视频数据截取目标帧,根据目标帧获得图像数据。
或者,图像数据可采用所获取目标区域内油气管道的正射图,对正射图进行重叠分块处理得到图像数据。
进一步地,还可通过滑动窗口对所述图片数据进行识别与裁剪,并设置为预定像素大小。
S20、确定图像数据对应的目标类型,根据目标类型确定目标检测模型。
其中,目标类型包括标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型中的一种或多种类型,目标检测模型是通过多组训练数据训练获得,每组训练数据都包括异常事件以及用于标记该异常事件对应的标签。
进一步地,地理环境类型可包括:植被覆盖类型和/或地表坑洞类型。
进一步地,目标检测模型可以是通过以Conv block为结构,激活函数可为RELU的YOLO检测模型训练获得。
S30、将图像数据输入至目标检测模型,确认油气管道的识别结果,识别结果用于指示目标区域内油气管道是否存在异常事件。
进一步地,识别结果可包括:重叠度,重叠度为图片数据和目标检测模型的相似重叠率;设置预设阈值,识别结果的重叠度大于预设阈值,生成巡检报告;巡检报告包括发生异常事件的地点、异常事件的类型。
进一步地,识别结果还可包括:对巡检报告中风险点识别的完整程度进行判断,风险点包括一个或多个异常事件;
当风险点识别完整时,生成风险信息和异常处理统计情况,风险信息至少包括所述风险点的图片,异常处理统计情况用于统计所述异常事件的处理情况;
当风险点识别不完整时,检测目标用户的操作指令,解析所述操作指令,对目标检测算法模型的训练数据进行标注,根据标注更新目标检测算法模型。
本发明另一方面提供了一种基于管网无人机巡检视频的识别装置。
在本发明基于管网无人机巡检视频的识别装置的一个示范性实施例中,该装置包括获取模块、目标类型确定模块、模型构建模块、以及识别模块。其中,获取模块,被配置为获取目标区域内油气管道的图像数据。
目标类型确定模块,被配置为确定图像数据对应的目标类型。
模型构建模块,与目标类型确定模块相连,被配置为根据目标类型确定目标检测模型。
识别模块,与模型构建模块和获取模块相连,被配置为将所述图像数据输入至目标检测模型,确认油气管道的识别结果,识别结果用于指示目标区域内油气管道是否存在异常事件。
根据本发明又一方面的示例性实施例还提供了一种计算机设备。该计算机设备包括处理器和存储器。存储器用于存储计算机程序。计算机程序被处理器执行使得处理器执行根据本发明的基于管网无人机巡检视频的识别方法的计算机程序。
根据本发明的基于管网无人机巡检视频的识别方法可以被编程为计算机程序并且相应的程序代码或指令可以被存储在计算机可读存储介质中,当程序代码或指令被处理器执行时使得处理器执行上述基于管网无人机巡检视频的识别方法,上述处理器和存储器可以被包括在计算机设备中。
根据本发明又一方面的示例性实施例还提供了一种存储有计算机程序的计算机可读存储介质。该计算机可读存储介质存储有当被处理器执行时使得处理器执行根据本发明的基于管网无人机巡检视频的识别方法中的计算机程序。该计算机可读记录介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括:只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。
为了更好地理解本发明的上述示例性实施例,下面结合附图和具体示例对其进行进一步说明。
示例1
本示例提供一种基于管网无人机巡检视频的识别方法,该方法的步骤如图1智能识别方法流程图所示,将无人机巡检视频导入智能识别程序,通过智能识别程序输出识别结果。
上述智能识别程序导入了目标模型集,该目标模型集通过多组训练数据更新确认,训练数据包含有异常事件的图像数据及异常事件标签用于训练。
示例2
本示例提供一种基于管网无人机巡检视频的识别方法,其流程如图2所示,包括以下步骤:
S10、获取目标区域内的油气管道的图像数据。
例如,采集目标区域内油气管道的视频数据,从视频数据截取目标帧,根据目标帧获得图像数据;或者通过获取目标区域内油气管道的正射图,对正射图进行重叠分块处理得到图像数据。
进一步地,通过滑动窗口对所述图像数据进行识别与裁剪,并设置为预定像素大小。
S20、确定图像数据对应的目标类型,根据目标类型确定目标检测模型,其中,目标类型包括标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型中的一种或多种类型,目标检测模型是通过多组训练数据训练获得,每组训练数据都包括异常事件以及用于标记该异常事件对应的标签。
具体来讲,训练数据中的异常事件可以包括含有异常事件的图片数据。
进一步地,该目标检测模型也可通过以Conv block为结构,激活函数为RELU,基于YOLO的检测模型获得。
S30、将所述图像数据输入至目标检测模型,进行智能识别,确认油气管道的识别结果,识别结果用于指示目标区域内油气管道是否存在异常事件。
其中,识别结果可包括:重叠度,重叠度为图片数据和目标检测模型的相似重叠率。同时可设置预设阈值,识别结果的重叠度大于预设阈值,生成巡检报告;巡检报告包括发生异常事件的地点和异常事件的类型。
进一步地,人工对巡检报告中风险点识别的完整程度进行判断,风险点至少包括一个或多个异常事件。
当风险点识别完整时,生成风险信息和异常处理统计情况,风险信息至少包括所述风险点的图片,异常处理统计情况用于统计所述异常事件的处理情况。
上述风险信息可将异常事件所对应的图片进行展示。
例如,经过智能识别显示其异常事件为管道露出类型,该管道露出部分会在图片中用框线等手段突出显示,并且计算出该管道露出可为13.41米。
还例如,经过智能识别显示其异常事件为建筑物类型,图片将会显示并计算建筑物到管道的距离。
还例如,当异常事件为穿跨越类型,图片将会显示并计算管道被穿跨越的距离大小。
上述风险信息也可将异常处理统计情况进行展示;如下表所示,从该表可以看出某地区的识别结果中可以看出风险类型有标识桩倾倒、管道露出、地表坑洞、建筑物、公路、以及标识柱,总体测试集数量为734。其中,标签数量最少为管道露出76个,公路的标签数量最多有356个。其精确率基本在0.9以上,召回率均在0.8以上,其mAP@0.5平均在0.88以上,而mAP@0.5:0.95则较不均,例如,标识桩的mAP@0.5:0.95为0.486,而公路的mAP@0.5:0.95为0.857。
风险点智能识别精度及召回率表
Figure BDA0003811980330000091
上述风险信息可以被人工下载作为风险报告。
当风险点识别不完整时,检测并解析目标用户的操作指令,对目标检测算法模型的训练数据进行标注,根据标注更新目标检测算法模型。
上述智能识别程序的架构如图3所示,其中可包括:前端UI层、展示层、业务层、数据层、AI层、数据库和运行环境。其中,前端UI层采用html、css、vue框架和图片;展示层采用html、template和AJAX的post请求和get请求;业务层包括数据服务模块100、模型服务模块110、风险点智能识别服务模块120和系统服务模块;其中,数据服务模块100、模型服务模块110和风险点智能识别服务模块120的流程图如图4所示,数据服务模块100是为算法模型的生成及更新准备数据集,主要提供数据上传、数据标注、数据集管理的功能,其中该数据集的管理功能,可将两个数据集版本进行合并成一个版本;模型服务模块110被配置为生成、更新和管理不同线路的不同算法;风险点智能识别服务模块120功能包括巡检航拍视频智能识别、巡检航拍视频管理、智能识别结果统计报表生成、风险点尺寸测量、标志桩间距统计以及控制巡检范围;数据层包括存储过程模块、数据缓存模块、自定义函数模型快、事务模块、增删改查模块;AI层采用了卷积神经网络、卡尔曼滤波、非极大值抑制、级联神经网络、聚类算法等;数据库采用的是mysql作为数据库管理系统;运行环境包括有云主机、独立服务器和虚拟主机;其中,业务层、数据层和AI层生成各自对应的日志记录;展示层、业务层、数据层和AI层设置有权限控制模块。
示例3
本示例提供一种基于管网无人机巡检视频的识别装置,如图5所示,该装置包括:获取模块130,被配置为获取目标区域内油气管道的图像数据。
目标类型确定模块140,被配置为确定图像数据对应的目标类型。
模型构建模块150,与目标类型确定模块相连,被配置为根据目标类型确定目标检测模型。
识别模块160,与模型构建模块150和获取模块130相连,被配置为将所述图像数据输入至目标检测模型,确认油气管道的识别结果,识别结果用于指示目标区域内油气管道是否存在异常事件。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述示例1的方法相同,为简要描述,该装置实施例部分未提及之处,可参考前述示例1的方法中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的装置和单元的具体工作过程,均可以参考上述示例1的方法中的对应过程,在此不再赘述。
示例4
本发明提供的上述示例1或2的方法可以通过计算机程序实现业务逻辑并记录在存储介质上的存储介质可以计算机读取并执行,实现本说明书示例1或2所描述方案的效果。因此,本发明还提供基于管网无人机巡检视频的识别方法的计算机可读存储介质,包括用于存储处理器可执行指令的存储器,指令被处理器执行时实现包括示例1或2的基于管网无人机巡检视频的识别方法的步骤。
存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等。
上述的存储介质根据示例1或2的方法的描述还可以包括其他的实施方式。具体的实现方式可以参照示例1或2的相关方法的描述,在此不作一一赘述。
示例5
本发明还提供一种用实现于基于管网无人机巡检视频的识别方法的设备,该设备可以为单独的计算机,也可以包括使用了本说明书的一个或多个方法或一个或多个实施例装置的实际操作装置等。基于管网无人机巡检视频的识别方法的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器,处理器执行指令时实现上述任意一个或者多个示例1或2中基于管网无人机巡检视频的识别方法的步骤。
综上所述,本发明具有以下有益效果:
(1)本发明采用了深度学习识别油气管道图像数据的方式,达到了根据不同图像数据调用不同识别模型,对图像数据进行有针对性识别的目的,从而实现了提高识别结果准确度,提升识别效率。
(2)本发明通过建立以Conv block为结构、RELU为激活函数、基于YOLO的目标检测模型,同时其目标类型采用了标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型中的一种或多种类型,并通过包含异常事件和对应标签的训练数据对目标检测模型进行训练,进一步确保了识别结果的准确度,而且能够更快的进行实时检测。
(3)本发明通过无人机巡检视频的识别的方法,能够在面对山区、沼泽等环境恶劣的地区的石油管道进行巡检,从而规避人工巡检效率低、工作量大、安全风险高等问题。
尽管上面已经结合示例性实施例及附图描述了本发明,但是本领域普通技术人员应该清楚,在不脱离权利要求的精神和范围的情况下,可以对上述实施例进行各种修改。

Claims (11)

1.一种基于管网无人机巡检视频的识别方法,其特征在于,所述识别方法包括以下步骤:
获取目标区域内的油气管道的图像数据;
确定所述图像数据对应的目标类型,根据所述目标类型确定目标检测模型,其中,所述目标类型包括标识桩倾倒类型、标识桩类型、管道露出类型、地理环境类型、建筑物类型以及穿跨越类型中的一种或多种类型;所述目标检测模型是通过多组训练数据训练获得,每组训练数据都包括异常事件以及用于表征标记所述异常事件的标签;
将所述图像数据输入至所述目标检测模型,确认油气管道的识别结果,所述识别结果用于指示目标区域内油气管道是否存在所述异常事件。
2.根据权利要求1所述的基于管网无人机巡检视频的识别方法,其特征在于,所述获取目标区域内的油气管道的图像数据包括:采集目标区域内油气管道的视频数据,从所述视频数据里截取目标帧,根据所述目标帧获得所述图像数据。
3.根据权利要求1所述的基于管网无人机巡检视频的识别方法,其特征在于,所述获取目标区域内的油气管道的图像数据包括:获取目标区域内油气管道的正射图像,对正射图像进行重叠分块处理得到所述图像数据。
4.根据权利要求2或3所述的基于管网无人机巡检视频的识别方法,其特征在于,所述获取目标区域内的油气管道的图像数据还包括:通过滑动窗口对所述图像数据进行识别与裁剪,并设置为预定像素大小。
5.根据权利要求1所述的基于管网无人机巡检视频的识别方法,其特征在于,所述地理环境类型包括:植被覆盖类型和/或地表坑洞类型。
6.根据权利要求1所述的基于管网无人机巡检视频的识别方法,其特征在于,所述目标检测模型是通过以Conv block为结构,激活函数为RELU的YOLO检测模型获得。
7.根据权利要求1所述的基于管网无人机巡检视频的识别方法,其特征在于,所述识别结果包括:重叠度,所述重叠度为所述图片数据和所述目标检测模型的相似重叠率;设置预设阈值,所述识别结果的重叠度大于所述预设阈值,生成巡检报告;所述巡检报告包括发生所述异常事件的地点、所述异常事件的类型。
8.根据权利要求7所述的基于管网无人机巡检视频的识别方法,其特征在于,所述识别结果还包括:对所述巡检报告中风险点识别的完整程度进行判断,所述风险点包括一个或多个所述异常事件;
当风险点识别完整时,生成风险信息和异常处理统计情况,所述风险信息至少包括所述风险点的图片,所述异常处理统计情况用于统计所述异常事件的处理情况;
当风险点识别不完整时,检测目标用户的操作指令,解析所述操作指令,对目标检测算法模型的训练数据进行标注,根据所述标注更新目标检测算法模型。
9.一种基于管网无人机巡检视频的识别装置,其特征在于,所述识别装置包括:
获取模块,被配置为获取目标区域内油气管道的图像数据;
目标类型确定模块,被配置为确定所述图像数据对应的目标类型;
模型构建模块与所述目标类型确定模块相连,被配置为根据所述目标类型确定目标检测模型;
识别模块与所述模型构建模块和所述获取模块相连,被配置为将所述图像数据输入至所述目标检测模型,确认油气管道的识别结果,所述识别结果用于指示目标区域内油气管道是否存在异常事件。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机可读存储介质在被处理器执行时实现包括权利要求1至8中任意一项所述识别方法。
11.一种计算机设备,其特征在于,所述设备包括:
至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现权利要求1至8中任意一项所述识别方法。
CN202211014505.4A 2022-08-23 2022-08-23 基于管网无人机巡检视频的识别方法、装置、介质和设备 Pending CN115272898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211014505.4A CN115272898A (zh) 2022-08-23 2022-08-23 基于管网无人机巡检视频的识别方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211014505.4A CN115272898A (zh) 2022-08-23 2022-08-23 基于管网无人机巡检视频的识别方法、装置、介质和设备

Publications (1)

Publication Number Publication Date
CN115272898A true CN115272898A (zh) 2022-11-01

Family

ID=83753004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211014505.4A Pending CN115272898A (zh) 2022-08-23 2022-08-23 基于管网无人机巡检视频的识别方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN115272898A (zh)

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN109255288A (zh) 一种路面破损检测方法、装置及终端设备
WO2017213718A1 (en) Automating the assessment of damage to infrastructure assets
WO2023287276A1 (en) Geographic data processing methods and systems for detecting encroachment by objects into a geographic corridor
US8818031B1 (en) Utility pole geotagger
CN111143932A (zh) 一种桥梁健康状态的评估方法、装置、系统和设备
CN112633722A (zh) 车载道路安全风险评估系统及方法
CN114004950B (zh) 一种基于BIM与LiDAR技术的路面病害智能识别与管理方法
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
Xu et al. Building height calculation for an urban area based on street view images and deep learning
CN110837941B (zh) 对油气管道进行风险预测的方法及装置
CN112283595B (zh) 管道溢油路径分析方法、装置、计算机设备和存储介质
CN118038153A (zh) 配电架空线路的防外破识别方法、装置、设备和介质
CN112765389A (zh) 一种油气输送管道高后果区识别方法、系统及存储介质
CN117094660A (zh) 一种基于数字孪生技术的施工监控方法及系统
CN115272898A (zh) 基于管网无人机巡检视频的识别方法、装置、介质和设备
CN115456973A (zh) 渗漏水病害检测与识别模型的建立方法、装置及设备
CN112861701B (zh) 违章停车识别方法、装置、电子设备以及计算机可读介质
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质
CN116091716A (zh) 一种基于深度学习的高精度地图自动化制作系统及方法
CN114140707A (zh) 一种电网故障巡检方法
Park et al. Potholeeye+: Deep-learning based pavement distress detection system toward smart maintenance
CN117710374B (zh) 基于深度学习的跑冒滴漏检测方法、装置、设备及介质
CN115239682B (zh) 一种电缆线路防外破监测告警方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination