CN116051507A - 热力管道故障监测方法及存储介质 - Google Patents

热力管道故障监测方法及存储介质 Download PDF

Info

Publication number
CN116051507A
CN116051507A CN202310042773.5A CN202310042773A CN116051507A CN 116051507 A CN116051507 A CN 116051507A CN 202310042773 A CN202310042773 A CN 202310042773A CN 116051507 A CN116051507 A CN 116051507A
Authority
CN
China
Prior art keywords
map
feature
layer
convolution
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310042773.5A
Other languages
English (en)
Other versions
CN116051507B (zh
Inventor
方新宇
钱律求
何红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runa Smart Equipment Co Ltd
Original Assignee
Runa Smart Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runa Smart Equipment Co Ltd filed Critical Runa Smart Equipment Co Ltd
Priority to CN202310042773.5A priority Critical patent/CN116051507B/zh
Publication of CN116051507A publication Critical patent/CN116051507A/zh
Application granted granted Critical
Publication of CN116051507B publication Critical patent/CN116051507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17D—PIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00—Protection or supervision of installations
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17D—PIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00—Protection or supervision of installations
    • F17D5/02—Preventing, monitoring, or locating loss
    • F17D5/06—Preventing, monitoring, or locating loss using electric or acoustic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种热力管道故障监测方法及存储介质，所述方法包括：获取热力管道的热像图和高清图，并对所述热像图和高清图进行融合处理，得到热像融合图；将所述热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图；根据所述红外目标特征分布图监测所述热力管道是否出现故障。该方法可自动定期对热力管道进行故障排查，保证热力管道的安全运行，提高热力管道的故障监测准确率。

Description

热力管道故障监测方法及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种热力管道故障监测方法及存储介质。
背景技术
在集中供热系统中，热力管道是沟通热源和用户的桥梁，由此，对热力管道的维护显得至关重要。随着城市热力网的不断扩张和发展，热力管道的故障率不断增加，检修规模不断扩大，检修成本不断增加。其中，热力管道敷设分为架空敷设、管沟敷设、直埋敷设三种敷设方式，同时，热力管道存在泄漏、管壁腐蚀、管道壁内结垢和保温层脱落等故障形式。一旦发生故障，将会影响正常的生活取暖与工业生产用热，产生不良的社会影响以及社会经济损失。相关技术中，通过热红外成像仪对地下敷设管道进行定时热像获取，通过热像温度异常区域和温度值的变化，定位故障区域，再使用土壤温湿度传感器取样定位其故障类型，但上述方案在图像处理方面时通过工作人员肉眼辨认，且采集图像也是通过工作人员巡逻获取，工作强度高且诊断效果准确率较低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种热力管道故障监测方法，该方法可自动定期对热力管道进行故障排查，保证热力管道的安全运行，提高热力管道的故障监测准确率。
本发明的第二个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种热力管道故障监测方法，所述方法包括：获取热力管道的热像图和高清图，并对所述热像图和高清图进行融合处理，得到热像融合图；将所述热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图；根据所述红外目标特征分布图监测所述热力管道是否出现故障。
另外，本发明实施例的热力管道故障监测方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述红外目标特征分布模型包括依次连接的对比度特征提取模块、下采样特征提取模块、空洞卷积处理模块和解码模块，将所述热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，包括：通过所述对比度特征提取模块对所述热像融合图进行对比度特征提取处理，得到第一特征图；通过所述下采样特征提取模块对所述第一特征图进行下采样特征提取处理，得到第二特征图；通过所述空洞卷积处理模块对所述第二特征图进行空洞卷积处理，得到第三特征图；通过所述解码模块利用上采样融合下采样特征的方式对所述第三特征图进行解码，得到所述红外目标特征分布图。
根据本发明的一个实施例，所述对比度特征提取模块包括第一对比度特征提取层、第二对比度特征提取层、第三对比度特征提取层、第四对比度特征提取层、第五对比度特征提取层和第一链接层，其中，分别采用所述第一对比度特征提取层、所述第二对比度特征提取层、所述第三对比度特征提取层、所述第四对比度特征提取层和所述第五对比度特征提取层对所述热像融合图进行对比度特征提取处理得到对应的第一对比度特征图、第二对比度特征图、第三对比度特征图、第四对比度特征图和第五对比度特征图；将所述第一对比度特征图、所述第二对比度特征图、所述第三对比度特征图、所述第四对比度特征图和所述第五对比度特征图输入至所述第一链接层进行链接处理，得到所述第一特征图。
根据本发明的一个实施例，所述下采样特征提取模块包括第一下采样层、第二下采样层、第三下采样层，其中，采用所述第一下采样层对所述第一特征图进行下采样特征提取处理，得到第一尺度特征图；采用所述第二下采样层对所述第一尺度特征图进行下采样特征提取处理，得到第二尺度特征图；采用所述第三下采样层对所述第二尺度特征图进行下采样特征提取处理，得到所述第二特征图。
根据本发明的一个实施例，所述空洞卷积处理模块包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，其中，采用所述第一卷积层对所述第二特征图进行标准卷积处理，得到第一尺度卷积特征图；分别采用所述第二卷积层、所述第三卷积层和所述第四卷积层对所述第二特征图进行空洞卷积处理，得到对应的第二尺度卷积特征图、第三尺度卷积特征图和第四尺度卷积特征图；通过通道拼接方法对所述第一尺度卷积特征图、所述第二尺度卷积特征图、所述第三尺度卷积特征图和所述第四尺度卷积特征图进行通道融合，得到所述第三特征图。
根据本发明的一个实施例，所述解码模块包括第一上采样层、第二上采样层、第三上采样层和第五卷积层，其中，采用所述第一上采样层对所述第三特征图和所述第二特征图进行处理，得到第一特征结果对比图；采用所述第二上采样层对所述第一特征结果对比图和所述第二尺度特征图进行处理，得到第二特征结果对比图；采用所述第三上采样层对所述第二特征结果对比图和所述第一尺度特征图进行处理，得到第三特征结果对比图；采用所述第五卷积层对所述第三特征结果对比图进行全卷积处理，得到所述红外目标特征分布图。
根据本发明的一个实施例，根据所述红外目标特征分布图监测所述热力管道是否出现故障，包括：根据所述红外目标特征分布图确定异常热源信息；根据所述异常热源信息和预设管道敷设信息确定所述热力管道是否出现故障。
根据本发明的一个实施例，根据所述红外目标特征分布图确定异常热源信息，包括：获取所述红外目标特征分布图的连通域；根据所述连通域获取所述红外目标特征分布图上的异常热源位置；将所述异常热源位置与预设地图信息进行对比，得到所述异常热源信息。
根据本发明的一个实施例，根据所述异常热源信息和预设管道敷设信息确定所述热力管道是否出现故障，包括：根据所述异常热源信息和预设管道敷设信息，对非管道区域的异常热源信息进行排除；在排除非管道区域后的异常热源信息对应的温度值超过预设温度阈值时，确定热力管道出现故障。
为达到上述目的，本发明第二方面实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现根据本发明第一方面实施例所述的热力管道故障监测方法。
根据本发明实施例的热力管道故障监测方法及存储介质，该方法通过实时获取热力管道的热像融合图，将热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图，根据红外目标特征分布图监测热力管道是否出现故障，此过程可降低人工检查热力管道造成的资源浪费，通过定期对热力管道进行故障排查，可保证热力管道的安全运行，在提高故障检查效率的同时，还可以保证故障诊断准确率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的热力管道故障监测方法的流程示意图；
图2是本发明一个实施例的红外目标特征分布模型的结构示意图；
图3是本发明一个实施例热力管道故障监测方法步骤S102的流程示意图；
图4是本发明一个实施例的对比度特征提取模块的结构示意图；
图5是本发明一个实施例的下采样特征提取模块的结构示意图；
图6是本发明一个实施例的空洞卷积处理模块的结构示意图；
图7是本发明一个实施例的解码模块的结构示意图；
图8是本发明一个示例的红外目标特征分布模型的结构的示意图；
图9是本发明一个实施例热力管道故障监测方法步骤S103的流程示意图；
图10是本发明一个实施例热力管道故障监测方法步骤S901的流程示意图；
图11是本发明一个实施例热力管道故障监测方法步骤S902的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图1-11描述本发明实施例的热力管道故障监测方法及存储介质。
图1是本发明一个实施例的热力管道故障监测方法的流程示意图。
如图1所示，本发明实施例的热力管道故障监测方法，可包括以下步骤：
S101，获取热力管道的热像图和高清图，并对热像图和高清图进行融合处理，得到热像融合图。
作为一种可行的实施方式，可通过无人机（例如三定位四旋翼无人机）搭载高清摄像头和红外热像仪的双视系统沿热力管道路线进行巡航拍摄，将拍摄后的热像图片和高清图片进行热像融合，从而获得特征分布更直观清晰的热像融合图片，其中，高清摄像头用来拍摄热力管道的高清图片，红外热像仪用来拍摄热像图片。可理解的是，此处获取到的热力管道的热像图和高清图应为同一场景下同一拍摄角度得到的。需要说明的是，上述示出的获取热力管道的热像图和高清图的实施方式仅为示例性地，其中高清摄像头和红外热像仪的型号也可根据实际场景需要选择，在本发明实施例中不做出具体限制。
作为一种示例，在本实施方式中，针对无人机巡航路线，在使用系统前，可预先将城市管道网输入综合服务器，经过飞行轨迹演算服务，使用互补约束优化算法，并根据无人机续航参数规划城市管道网最优无人机飞行路线，从而降低人工规划路线的误差以及工作量，并提高巡航效率。
在本实施例中，通过实时获取同时拍摄的热力管道的热像图和高清图之后，将热像图和高清图进行热像融合处理，便可得到本发明实施例中特征分布更直观清晰的实时热像融合图，以便后续根据该热像融合图进行热力管道的故障监测工作。
S102，将热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图。
可理解的是，在热力管道发生故障时，由于其运输储热介质的特性，会造成局部区域的温度变化，从而呈现向外辐射的趋势，因此在本发明实施例中可以将实时热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图，可理解的是，该红外目标特征分布图可以比较直观的显示出热力管道温度信息，从而实现热力管道的故障监测工作。
示例性地，本发明实施例中预先训练好的红外目标特征分布模型可采用REDnet-Atrous红外目标检测网络。
S103，根据红外目标特征分布图监测热力管道是否出现故障。
可选地，根据红外目标特征分布图便可判断热力管道是否出现温度异常，或者温度泄露等故障情况。
作为一种示例，在对红外目标特征分布模型进行训练的过程中，模型训练数据集采用FLIR公司共享的26442张公共红外热像数据集，再通过在沿热力管道用无人机巡航拍摄的红外热像，在拍摄前，向管道或者管道敷设地地下注入热水或者在外露管道上淋洒热水，从而达到接近管道漏水的效果，获得类似故障图像，同时，在热力网启动进行注水打压测试检修热力管道期间，跟踪使用热像仪进行拍摄，获取异常热像数据集，挑选其中较为典型的图像1644张图像，手动标注异常热源后，通过雾化、扭曲、剪切等数据增强方法，最终获得6576张训练数据，其中5260张为训练数据，658张为训练验证数据，658张为测试数据。可选地，通过从公共数据集中获取的红外热像数据集输入REDnet-Atrous中进行模型训练，从而获得红外目标特征分布模型。
在一些实施例中，如图2所示，红外目标特征分布模型包括依次连接的对比度特征提取模块1、下采样特征提取模块2、空洞卷积处理模块3和解码模块4。作为一种可能的实现方式，如图3所示，将热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，可具体包括：
S301，通过对比度特征提取模块对热像融合图进行对比度特征提取处理，得到第一特征图。
具体而言，对热像融合图进行对比度特征提取处理得到的第一特征图，可以清楚直观地体现出热像融合图的特征对比度信息，从而体现热力管道内的热源温差特征。
S302，通过下采样特征提取模块对第一特征图进行下采样特征提取处理，得到第二特征图。
可理解的是，下采样也可视为缩小图像，其主要目的是使下采样特征提取后得到的图像可以符合显示区域的大小，生成对应图像的缩略图，本发明实施例中对第一特征图进行下采样特征提取这一过程，其本质上也就是对热像融合图进行深度特征信息的提取，且可以在增加感受野的同时降低计算量。
S303，通过空洞卷积处理模块对第二特征图进行空洞卷积处理，得到第三特征图。
可理解的是，根据步骤S302的下采样工作可以增加感受野，但这一过程也同时会降低空间分辨率，为了可以不丢失分辨率，且仍然扩大感受野，便可使用空洞卷积，本发明实施例中对第二特征图进行空洞卷积处理，一方面在感受野较大的情况下可以检测分割大目标，另一方面通过分辨率的提高也可以精确定位目标。
S304，通过解码模块利用上采样融合下采样特征的方式对第三特征图进行解码，得到红外目标特征分布图。
具体而言，利用上采样融合下采样特征的方式对第三特征图进行解码，可将特征进一步凸显并还原到原图大小，从而显示在原图上的具体分布，即得到本发明实施例中的红外目标特征分布图，通过对该红外目标特征分布图进行分析，便可确定热力管道是否出现故障。
作为一种可行的实施方式，如图4所示，对比度特征提取模块1包括第一对比度特征提取层11、第二对比度特征提取层12、第三对比度特征提取层13、第四对比度特征提取层14、第五对比度特征提取层15和第一链接层16，其中，分别采用第一对比度特征提取层11、第二对比度特征提取层12、第三对比度特征提取层13、第四对比度特征提取层14和第五对比度特征提取层15对热像融合图进行对比度特征提取处理得到对应的第一对比度特征图、第二对比度特征图、第三对比度特征图、第四对比度特征图和第五对比度特征图；将第一对比度特征图、第二对比度特征图、第三对比度特征图、第四对比度特征图和第五对比度特征图输入至第一链接层16进行链接处理，得到第一特征图。
作为本实施方式的一种示例，第一对比度特征提取层11、第二对比度特征提取层12、第三对比度特征提取层13、第四对比度特征提取层14和第五对比度特征提取层15可分别选择3×3、5×5、7×7、9×9和11×11固定权重的卷积核，即用核内指定区域像素平均值减去非指定区域像素平均值，获得卷积核内特征对比度信息，体现热源温差特征表现，将得到的第一对比度特征图、第二对比度特征图、第三对比度特征图、第四对比度特征图和第五对比度特征图进行链接，即将5组信息链接输出16通道的特征图，从而保证目标的可检测性。
作为一种可行的实施方式，如图5所示，下采样特征提取模块2包括第一下采样层21、第二下采样层22、第三下采样层23，其中，采用第一下采样层21对第一特征图进行下采样特征提取处理，得到第一尺度特征图；采用第二下采样层22对第一尺度特征图进行下采样特征提取处理，得到第二尺度特征图；采用第三下采样层23对第二尺度特征图进行下采样特征提取处理，得到第二特征图。
作为本实施方式的一种示例，第一下采样层21、第二下采样层22、第三下采样层23可分别选择11×11、7×7的卷积-池化-激活层和3x3的空洞卷积-池化-激活层，即进行深度特征信息的提取，从而获得不同尺度的特征图，即第一尺度特征图、第二尺度特征图和上述第二特征图。
作为一种可行的实施方式，如图6所示，空洞卷积处理模块3包括第一卷积层31、第二卷积层32、第三卷积层33和第四卷积层34，其中，采用第一卷积层31对第二特征图进行标准卷积处理，得到第一尺度卷积特征图；分别采用第二卷积层32、第三卷积层33和第四卷积层34对第二特征图进行空洞卷积处理，得到对应的第二尺度卷积特征图、第三尺度卷积特征图和第四尺度卷积特征图；通过通道拼接方法对第一尺度卷积特征图、第二尺度卷积特征图、第三尺度卷积特征图和第四尺度卷积特征图进行通道融合，得到第三特征图。
作为本实施方式的一种示例，可以采用ASPP（AtrousSpatial Pyramid Pooling，空洞空间卷积池化金字塔）模块对第二特征图进行空洞卷积处理，具体地，将第二特征图输入ASPP模块，分别通过1x1的卷积模块和三个空洞率分别为6、12、18的空洞卷积模块，得到对应的第一尺度卷积特征图、第二尺度卷积特征图、第三尺度卷积特征图和第四尺度卷积特征图，进而通过通道拼接的方式对第一尺度卷积特征图、第二尺度卷积特征图、第三尺度卷积特征图和第四尺度卷积特征图进行通道融合，得到第三特征图。
作为一种可行的实施方式，如图7所示，解码模块4包括第一上采样层41、第二上采样层42、第三上采样层43和第五卷积层44，其中，采用第一上采样层41对第三特征图和第二特征图进行处理，得到第一特征结果对比图；采用第二上采样层42对第一特征结果对比图和第二尺度特征图进行处理，得到第二特征结果对比图；采用第三上采样层43对第二特征结果对比图和第一尺度特征图进行处理，得到第三特征结果对比图；采用第五卷积层44对第三特征结果对比图进行全卷积处理，得到红外目标特征分布图。
作为本实施方式的一种示例，在采用第一上采样层41对第三特征图和第二特征图进行处理，得到第一特征结果对比图后，需依次经过三次上采样和卷积特征提取解码，同时在每次提取前同对应尺度的下采样特征图进行链接，从而补充可能丢失的下采样结果特征，三次特征提取解码后，经过一个1x3x3尺寸的全卷积层，输出本发明实施例的红外目标特征分布图。
图8是本发明一个示例的红外目标特征分布模型的结构的示意图。
如图8所示，热像融合图首先通过FENetwFW 网络，FENetwFW 使用五种尺寸的卷积核：3×3、5×5、7×7、9×9 和 11×11，卷积核数分别为1、2、3、4、5，从而提取目标的对比度信息，得到的15个特征图和原图构成了16个通道的特征图，获得足够数量的特征通道，将这五组卷积核形成的输入图像和特征图连接起来，将特征图再输入变权重卷积核特征提取网络，经过两个卷积-池化-激活模块和一个空洞率rate=2的空洞卷积-池化-激活模块组成的下采样特征提取过程，提取深度特征，获得下采样结果特征图，尺寸为64×80×128，通过ASPP模块经空洞卷积补充在下采样特征提取过程中丢失的感受野信息，最后通过解码器输出通过多次上采样并融合下采样特征的方式，获得红外目标特征分布图。其中，ASPP模块由1x1的卷积模块和空洞率分别为6、12、18的空洞卷积组合形成，可以多尺度找回丢失的感受野，最终输出通过一个1×1的卷积输出最终融合的特征提取结果图，即本发明实施例的红外目标特征分布图。
进一步地，如图9所示，在得到红外目标特征分布图后，便可根据该红外目标特征分布图监测热力管道是否出现故障，这一步骤可具体包括：
S901，根据红外目标特征分布图确定异常热源信息。
S902，根据异常热源信息和预设管道敷设信息确定热力管道是否出现故障。
作为一种可能的实现方式，通过对红外目标特征分布图进行闭运算以及二值化后，获得热源目标定位信息，还原目标位置信息先通过单图像景深模型，获得景深信息，再通过摄像机云台角度，无人机三定位信息，比对管道地图和GPS（GlobalPositioningSystem，全球定位系统）信息，综合计算出异常热源所在坐标，将坐标和管道敷设坐标进行比对，排除干扰坐标，对热源温度场进行分析，判断是否是高温或者泄漏危险。
如图10所示，作为一种可行的实施方式，根据红外目标特征分布图确定异常热源信息，可包括：
S110，获取红外目标特征分布图的连通域。
可选地，通过对红外目标特征分布图进行形态学处理，即提取红外目标特征分布图表达和描绘区域形状有意义的图像分量，使后续的对比工作能够抓住目标对象最为本质的形状特征，如连通区域。
S120，根据连通域获取红外目标特征分布图上的异常热源位置。
可选地，在得到红外目标特征分布图的连通域后，根据该连通域的红外像素点可以得到各像素点的温度，对各温度信息进行分析，便可确定红外目标特征分布图上的异常热源位置。
S130，将异常热源位置与预设地图信息进行对比，得到异常热源信息。
如图11所示，作为一种可行的实施方式，根据异常热源信息和预设管道敷设信息确定热力管道是否出现故障，可包括：
S210，根据异常热源信息和预设管道敷设信息，对非管道区域的异常热源信息进行排除。
S220，在排除非管道区域后的异常热源信息对应的温度值超过预设温度阈值时，确定热力管道出现故障。
可选地，在获取到异常热源位置，对定位的热源位置进行记录，记录其GPS信息以及GPS位置信息综合图像中的定位位置与地图比对后具体位置在地图上的坐标，将信息储存，并对非管道区域的异常热源进行排除，进而根据温度表现确定热管理是否出现高温或泄漏危险。
其中，预设温度阈值可根据实际情况进行选择或根据相关人员的历史经验进行确定，在本发明实施例中不做出具体限制。
也就是说，将获取的实际场景热像融合图输入红外目标特征分布模型，从而输出目标图中的异常热源位置，对定位的热源位置进行记录，记录其GPS信息以及GPS位置信息综合图像中的定位位置与地图比对后具体位置在地图上的坐标，将信息储存，在诊断服务器中同管道铺设线路对比，排除非管道区域的异常热源，同时根据温度表现判断是否是高温或者泄漏危险，满足条件，则判断为故障位置返回报警信息。需要说明的是，上述示出的根据红外目标特征分布图确定热力管道是否出现故障的方式仅为示例性地，实际应用中还可根据具体情况或者相关人员的历史经验进行适应性选择，在本发明实施例中不做出具体限制。
根据本发明实施例的热力管道故障监测方法，通过实时获取热力管道的热像融合图，将热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图，根据红外目标特征分布图监测热力管道是否出现故障，此工作可降低人工检查热力管道造成的资源浪费，通过定期对热力管道进行故障排查，可保证热力管道的安全运行，在提高故障检查效率的同时，还可以保证故障诊断准确率。
进一步地，本发明实施例提出一种计算机可读存储介质。
本发明实施例的计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现根据本发明上述实施例的热力管道故障监测方法。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。
在本发明中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种热力管道故障监测方法，其特征在于，所述方法包括：
获取热力管道的热像图和高清图，并对所述热像图和高清图进行融合处理，得到热像融合图；
将所述热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，得到红外目标特征分布图；
根据所述红外目标特征分布图监测所述热力管道是否出现故障。
2.根据权利要求1所述的热力管道故障监测方法，其特征在于，所述红外目标特征分布模型包括依次连接的对比度特征提取模块、下采样特征提取模块、空洞卷积处理模块和解码模块，将所述热像融合图输入至预先训练好的红外目标特征分布模型进行特征提取，包括：
通过所述对比度特征提取模块对所述热像融合图进行对比度特征提取处理，得到第一特征图；
通过所述下采样特征提取模块对所述第一特征图进行下采样特征提取处理，得到第二特征图；
通过所述空洞卷积处理模块对所述第二特征图进行空洞卷积处理，得到第三特征图；
通过所述解码模块利用上采样融合下采样特征的方式对所述第三特征图进行解码，得到所述红外目标特征分布图。
3.根据权利要求2所述的热力管道故障监测方法，其特征在于，所述对比度特征提取模块包括第一对比度特征提取层、第二对比度特征提取层、第三对比度特征提取层、第四对比度特征提取层、第五对比度特征提取层和第一链接层，其中，
分别采用所述第一对比度特征提取层、所述第二对比度特征提取层、所述第三对比度特征提取层、所述第四对比度特征提取层和所述第五对比度特征提取层对所述热像融合图进行对比度特征提取处理得到对应的第一对比度特征图、第二对比度特征图、第三对比度特征图、第四对比度特征图和第五对比度特征图；
将所述第一对比度特征图、所述第二对比度特征图、所述第三对比度特征图、所述第四对比度特征图和所述第五对比度特征图输入至所述第一链接层进行链接处理，得到所述第一特征图。
4.根据权利要求3所述的热力管道故障监测方法，其特征在于，所述下采样特征提取模块包括第一下采样层、第二下采样层、第三下采样层，其中，
采用所述第一下采样层对所述第一特征图进行下采样特征提取处理，得到第一尺度特征图；
采用所述第二下采样层对所述第一尺度特征图进行下采样特征提取处理，得到第二尺度特征图；
采用所述第三下采样层对所述第二尺度特征图进行下采样特征提取处理，得到所述第二特征图。
5.根据权利要求4所述的热力管道故障监测方法，其特征在于，所述空洞卷积处理模块包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，其中，采用所述第一卷积层对所述第二特征图进行标准卷积处理，得到第一尺度卷积特征图；
分别采用所述第二卷积层、所述第三卷积层和所述第四卷积层对所述第二特征图进行空洞卷积处理，得到对应的第二尺度卷积特征图、第三尺度卷积特征图和第四尺度卷积特征图；
通过通道拼接方法对所述第一尺度卷积特征图、所述第二尺度卷积特征图、所述第三尺度卷积特征图和所述第四尺度卷积特征图进行通道融合，得到所述第三特征图。
6.根据权利要求5所述的热力管道故障监测方法，其特征在于，所述解码模块包括第一上采样层、第二上采样层、第三上采样层和第五卷积层，其中，
采用所述第一上采样层对所述第三特征图和所述第二特征图进行处理，得到第一特征结果对比图；
采用所述第二上采样层对所述第一特征结果对比图和所述第二尺度特征图进行处理，得到第二特征结果对比图；
采用所述第三上采样层对所述第二特征结果对比图和所述第一尺度特征图进行处理，得到第三特征结果对比图；
采用所述第五卷积层对所述第三特征结果对比图进行全卷积处理，得到所述红外目标特征分布图。
7.根据权利要求6所述的热力管道故障监测方法，其特征在于，根据所述红外目标特征分布图监测所述热力管道是否出现故障，包括：
根据所述红外目标特征分布图确定异常热源信息；
根据所述异常热源信息和预设管道敷设信息确定所述热力管道是否出现故障。
8.根据权利要求7所述的热力管道故障监测方法，其特征在于，根据所述红外目标特征分布图确定异常热源信息，包括：
获取所述红外目标特征分布图的连通域；
根据所述连通域获取所述红外目标特征分布图上的异常热源位置；
将所述异常热源位置与预设地图信息进行对比，得到所述异常热源信息。
9.根据权利要求8所述的热力管道故障监测方法，其特征在于，根据所述异常热源信息和预设管道敷设信息确定所述热力管道是否出现故障，包括：
根据所述异常热源信息和预设管道敷设信息，对非管道区域的异常热源信息进行排除；
在排除非管道区域后的异常热源信息对应的温度值超过预设温度阈值时，确定热力管道出现故障。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-9中任一项所述的热力管道故障监测方法。
CN202310042773.5A 2023-01-28 2023-01-28 热力管道故障监测方法及存储介质 Active CN116051507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310042773.5A CN116051507B (zh) 2023-01-28 2023-01-28 热力管道故障监测方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310042773.5A CN116051507B (zh) 2023-01-28 2023-01-28 热力管道故障监测方法及存储介质

Publications (2)

Publication Number Publication Date
CN116051507A true CN116051507A (zh) 2023-05-02
CN116051507B CN116051507B (zh) 2023-06-20

Family

ID=86131078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310042773.5A Active CN116051507B (zh) 2023-01-28 2023-01-28 热力管道故障监测方法及存储介质

Country Status (1)

Country Link
CN (1) CN116051507B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290062A (zh) * 2017-06-16 2017-10-24 国网江苏省电力公司检修分公司 一种基于红外热像图的输变电设备状态分析方法
US20180260956A1 (en) * 2017-03-10 2018-09-13 TuSimple System and method for semantic segmentation using hybrid dilated convolution (hdc)
WO2022100607A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 一种神经网络结构确定方法及其装置
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN115410154A (zh) * 2022-08-31 2022-11-29 南京工程学院 一种风电机舱电气设备热故障识别方法
CN115496971A (zh) * 2022-10-25 2022-12-20 南京航空航天大学 一种红外目标检测方法、装置、电子设备及存储介质
CN115619707A (zh) * 2022-08-16 2023-01-17 广东工业大学 一种汽车车门密封件表面缺陷检测方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260956A1 (en) * 2017-03-10 2018-09-13 TuSimple System and method for semantic segmentation using hybrid dilated convolution (hdc)
CN107290062A (zh) * 2017-06-16 2017-10-24 国网江苏省电力公司检修分公司 一种基于红外热像图的输变电设备状态分析方法
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
WO2022100607A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 一种神经网络结构确定方法及其装置
CN115619707A (zh) * 2022-08-16 2023-01-17 广东工业大学 一种汽车车门密封件表面缺陷检测方法和系统
CN115410154A (zh) * 2022-08-31 2022-11-29 南京工程学院 一种风电机舱电气设备热故障识别方法
CN115496971A (zh) * 2022-10-25 2022-12-20 南京航空航天大学 一种红外目标检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEI SU 等: "针对上述区别特征2），对比文件2（"Infrared-Visual Image Fusion and CNN Model in Electrical Faults Diagnosis", JOURNAL OF PHYSICS: CONFERENCE SERIES. IOP PUBLISHING, vol. 1885, pages 1 - 7 *

Also Published As

Publication number Publication date
CN116051507B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
US10504218B2 (en) Method and system for automated inspection utilizing a multi-modal database
CN109389578A (zh) 铁路轨道异常检测
US11465716B2 (en) Conditional online-based risk advisory system (COBRAS)
CN108021505B (zh) 数据上线方法、装置和计算机设备
US11325705B2 (en) Drone cloud connectivity for asset and facility operations
US11856285B2 (en) Systems and methods for adjusting a monitoring device
CN110826522A (zh) 人体异常行为监控方法、系统、存储介质及监控设备
JP2018198055A (ja) 運転者へのロードミラー内容の提供
CN116051507B (zh) 热力管道故障监测方法及存储介质
US20200293704A1 (en) Method, a system and a computer program product for monitoring remote infrastructure networks
CN109263714A (zh) 动力转向组件的自诊断方法
US8958627B2 (en) System and method of distributed processing for machine-vision analysis
CN115661016A (zh) 换热站的故障监视方法、系统和嵌入式图像诊断控制平台
CN113223174B (zh) 基于横断面的管道内部漫游方法和系统
CN116431753A (zh) 地图更新方法、装置、存储介质、车辆及服务器
DE102018120351A1 (de) Kraftstoffzufuhr für fahrzeug
CN115660917A (zh) 一种平房仓粮温异常预警方法、设备及介质
CN112097629B (zh) 一种排水管道安全监测方法、存储介质、终端及系统
CN114355969A (zh) 一种利用无人机巡检的智能供热管网检漏方法和系统
CN115086862A (zh) 多车联合感知信息时空统一方法及装置、存储介质、终端
KR20140074476A (ko) 실시간 차선 위치 감지 시스템 및 방법, 이를 이용한 차량용 네비게이션 및 블랙박스 장치
CN116484477A (zh) 一种基于数字孪生的智能建造方法
CN117392395B (zh) 隧道温度分布预测方法、装置、计算机设备及存储介质
CN115833371A (zh) 设备巡检方法、装置、计算机设备及其存储介质
CN114943653A (zh) 图像处理设备、图像传感器模组、图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant