CN116309303A - 基于红外图像的电气设备缺陷检测方法、装置及相关设备 - Google Patents

基于红外图像的电气设备缺陷检测方法、装置及相关设备 Download PDF

Info

Publication number
CN116309303A
CN116309303A CN202310028228.0A CN202310028228A CN116309303A CN 116309303 A CN116309303 A CN 116309303A CN 202310028228 A CN202310028228 A CN 202310028228A CN 116309303 A CN116309303 A CN 116309303A
Authority
CN
China
Prior art keywords
temperature
defect detection
equipment
target candidate
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310028228.0A
Other languages
English (en)
Inventor
莫理林
李文晖
徐立恒
李广裕
林燕妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhifei Technology Co ltd
Original Assignee
Guangzhou Zhifei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhifei Technology Co ltd filed Critical Guangzhou Zhifei Technology Co ltd
Priority to CN202310028228.0A priority Critical patent/CN116309303A/zh
Publication of CN116309303A publication Critical patent/CN116309303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开了一种基于红外图像的电气设备缺陷检测方法、装置及相关设备,包括:获取拍摄的电气设备的红外图像;将红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;采用语义分割模型模型对目标候选框中的内容进行识别分类,得到每个目标候选框对应的设备类别;针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果,采用本发明提高了电气设备缺陷检测的准确率和便捷性。

Description

基于红外图像的电气设备缺陷检测方法、装置及相关设备
技术领域
本发明涉及安全检测领域,尤其涉及一种基于红外图像的电气设备缺陷检测方法、装置及相关设备。
背景技术
保持电力设备安全稳定的运行是电力系统运维的首要任务。常年运行的设备可能出现各种故障,因此需要定位、检测和维修。红外检测方式无需直接接触设备,可在不停电的状态下发现故障类型,在系统运维的安全性、可靠性和经济性等方面具有明显优势。当前技术通常基于故障设备的温度会发生变化这个事实来实施红外成像检测,通过故障状态图像和正常状态图像的对比来实施定位和检测。
目前,红外图像中电力设备的检测主要以人工诊断的方式来实施。该方式需要操作人员手工在图像上画框进行分区,以定位电力设备及其重要部件。这种方式效率较低,对操作人员的专业知识及经验要求较高,容易出错。随着人工智能技术的快速发展,用智能算法取代人工操作成为可能,这需要首先完成红外图像中电力设备的检测任务。为了完成设备区域的检测,可首先运用图像目标检测技术自动将复合绝缘子、金具进行目标特征提取和分类,然后采用图像语义分割方法对目标框内的电力设备分类和识别,最后按照各自设备的温度数据完成故障诊断。
发明人在实现本发明的过程中,意识到现有技术至少存在如下问题:
第一,目前技术中绝大部分的红外图像处理是人工圈选复合绝缘子或者是金具。该方案在人力有限的情况下无法应对目前产生的大量红外图像的需求,对操作人员的专业知识和经验要求较低。
第二,目前技术中存在的传统图像算法处理图像缺少区域性的选择,滤波算子是基于全红外图像进行全局处理。这样的缺陷会在应对大量的图像时,存在的计算资源的大量消耗而且无法达到精准的所需电器设备的定位。
第三,目前技术中有使用深度学习网络对复合绝缘子进行热缺陷检测,无法对金具进行热缺陷检测。
第四,目前技术中的红外图像的数据集多样性较小(主要是天空为背景),因此如果需要对复杂场景下的电器检测,比如塔身、楼宇、电线等干扰信息是无法避免时,鲁棒性会极大的减弱。
发明内容
本发明实施例提供一种基于红外图像的电气设备缺陷检测方法、装置、计算机设备和存储介质,以提高电气设备缺陷检测的准确率和便捷性。
为了解决上述技术问题,本申请实施例提供一种基于红外图像的电气设备缺陷检测方法,包括:
获取拍摄的电气设备的红外图像;
将所述红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;
采用语义分割模型模型对所述目标候选框中的内容进行识别分类,得到每个所述目标候选框对应的设备类别;
针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果。
可选地,所述设备类别属于符合绝缘子,所述针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果包括:
获取所述目标候选框中设备的温度矩阵,进行排序截取1/3到2/3的温度点取平均值作为第一参考温度;
获取所述所述目标候选框中设备的温度矩阵中的最高温度,并将所述最高温度减去所述第一参考温度值得到的差值,作为局部温升;
根据所述局部温升的值的分布范围判断是否存在缺陷,得到所述缺陷检测结果。
可选地,所述设备类别属于金具,所述针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果包括:
获取所述红外图像对应的大气温度参数作为环境温度,并获取所述目标候选框中的设备的图像的像素点对应的温度,作为第二参考温度;
根据所述环境温度、所述第二参考温度和标准金具温度,计算相对温差;
基于所述相对温差判断是否存在缺陷,得到所述缺陷检测结果。
可选地,所述语义分割模型模型采用UNET网络模型,所述UNET网络模型由一个编码器和一个解码器组成,所述编码器采用预训练的ResNet-50残差网络结构,用于下采样处理,所述解码器采用全卷积神经网络的反卷积层和并联跳跃结构,用于上采样处理。
可选地,所述训练好的目标检测模型采用YOLOv5模型,所述所述训练好的目标检测模型的主干网络为采用CSPdarknet53网络结构,在主干网络和输出层之间包含空间金字塔池化层SPP层、特征金字塔网络层PAN层、全注意力网络层PAN层。
可选地,在所述将所述红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框之前,所述方法还包括:
获取样本图像,其中,所述样本图像为带有分类标记的红外图像,所述分类标记包括复合绝缘子类型、跳线金具类型、地线金具类型和引流板金具类型;
将所述样本图像输入到初始目标检测模型,采用Mosaic数据增强的方式,基于所述样本图像,对所述所述初始目标检测模型进行训练,并采用mAP评价指标作为训练评价标准;
在训练结果的mAP评价指标达到预设范围时,停止训练,得到所述训练好的目标检测模型。
为了解决上述技术问题,本申请实施例还提供一种基于红外图像的电气设备缺陷检测装置,包括:
图像获取模块,用于获取拍摄的电气设备的红外图像;
目标定位模块,用于将所述红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;
目标分类模块,用于采用语义分割模型模型对所述目标候选框中的内容进行识别分类,得到每个所述目标候选框对应的设备类别;
缺陷检测模块,用于针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果。
可选地,所述设备类别属于符合绝缘子,所述缺陷检测模块包括:
第一参考温度确定单元,用于获取所述目标候选框中设备的温度矩阵,进行排序截取1/3到2/3的温度点取平均值作为第一参考温度;
局部温升计算单元,用于获取所述所述目标候选框中设备的温度矩阵中的最高温度,并将所述最高温度减去所述第一参考温度值得到的差值,作为局部温升;
第一缺陷检测单元,用于根据所述局部温升的值的分布范围判断是否存在缺陷,得到所述缺陷检测结果。
可选地,所述设备类别属于金具,所述缺陷检测模块包括:
第二参考温度确定单元,用于获取所述红外图像对应的大气温度参数作为环境温度,并获取所述目标候选框中的设备的图像的像素点对应的温度,作为第二参考温度;
相对温差计算单元,用于根据所述环境温度、所述第二参考温度和标准金具温度,计算相对温差;
第二缺陷检测单元,用于基于所述相对温差判断是否存在缺陷,得到所述缺陷检测结果。
可选地,所述基于红外图像的电气设备缺陷检测装置还包括:
样本图像获取模块,用于获取样本图像,其中,所述样本图像为带有分类标记的红外图像,所述分类标记包括复合绝缘子类型、跳线金具类型、地线金具类型和引流板金具类型;
模型训练模块,用于将所述样本图像输入到初始目标检测模型,采用Mosaic数据增强的方式,基于所述样本图像,对所述所述初始目标检测模型进行训练,并采用mAP评价指标作为训练评价标准;
目标模型确定模块,用于在训练结果的mAP评价指标达到预设范围时,停止训练,得到所述训练好的目标检测模型。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于红外图像的电气设备缺陷检测方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于红外图像的电气设备缺陷检测方法的步骤。
本发明实施例提供的基于红外图像的电气设备缺陷检测方法、装置、计算机设备及存储介质,通过获取拍摄的电气设备的红外图像;将红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;采用语义分割模型模型对目标候选框中的内容进行识别分类,得到每个目标候选框对应的设备类别;针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果,实现通过对红外图像中设备的定位和分类,确定设备类型,进而根据设备类型和红外图像中对应的温度矩阵进行缺陷检测,提高了电气设备缺陷检测的准确率和便捷性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图;
图2是本申请的基于红外图像的电气设备缺陷检测方法的一个实施例的流程图;
图3是本申请一个目标检测模型进行目标识别得到目标候选框的示例图;
图4是根据本申请的基于红外图像的电气设备缺陷检测装置的一个实施例的结构示意图;
图5是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于红外图像的电气设备缺陷检测方法由服务器执行,相应地,基于红外图像的电气设备缺陷检测装置设置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器,本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2,图2示出本发明实施例提供的一种基于红外图像的电气设备缺陷检测方法,以该方法应用在图1中的服务端为例进行说明,详述如下:
S201:获取拍摄的电气设备的红外图像。
电力系统是一个极其复杂的互联网络,故障的发生是不可避免的。虽然故障可能由雷击或环境灾害引起,但绝大多数是由设备故障引发的,如输电线路的物理损坏、保护继电器故障或变压器过热。设备故障可能会导致同步性丧失,从而导致系统性能急剧下降,并可能导致停电。定期对变电站进行检查和维护,可以将故障的风险降到最低,可以消除停电的可能性,这反过来又可以节省大量的开支。许多国家实行步行巡逻维护,小分队人员亲自检查输电线路、塔架、绝缘子和其他变电站设备的可见损坏。红外或电晕探测摄像机用于观察肉眼看不到的故障。然而,这种类型的维护是耗时、繁琐、低效、劳动密集型的,重大故障可能会因为人为因素而被忽略。使用有人驾驶的飞行器(MAV),像直升机一样,也是一种过时的技术,效率低,资源密集,因为它需要人力资源,一名飞行员,检查人员和记录器。这种方法在速度和对偏远地区的可访问性方面具有更好的性能。然而,这需要巨大的投资,这是不合理的,对公司没有好处。
本实施例中,采用一种新兴的方法电气设备的红外图像采集方法,也即,使用电力系统检查的无人机(UAV),无人机的优点之一是它可以配备额外的部件来满足飞行的需要。高速四轴飞行器的使用有望实现快速的检测率。此外,无人机在偏远地区的操作非常有用以及对人类有危险的地方,确保巡检人员的安全。
S202:将红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框。
具体地,通过无人机拍摄的红外图像,往往包含较为复杂的背景设备,或者多个电气设备在一幅图像中,通过预先训练好的目标检测模型中进行目标识别,用于对不同的电气设备进行区分,并根据目标检测结果生成目标候选框,以区分不同的电器设备范围,具体示意图可参考图3。
可选地,训练好的目标检测模型采用YOLOv5模型,训练好的目标检测模型的主干网络为采用CSPdarknet53网络结构,在主干网络和输出层之间包含空间金字塔池化层SPP层、特征金字塔网络层PAN层、全注意力网络层PAN层。
在一具体可选方式中,步骤S202之前,也即,在将红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框之前,该方法还包括:
获取样本图像,其中,样本图像为带有分类标记的红外图像,分类标记包括复合绝缘子类型、跳线金具类型、地线金具类型和引流板金具类型;
将样本图像输入到初始目标检测模型,采用Mosaic数据增强的方式,基于样本图像,对初始目标检测模型进行训练,并采用mAP评价指标作为训练评价标准;
在训练结果的mAP评价指标达到预设范围时,停止训练,得到训练好的目标检测模型。
进一步地,在一具体实施例中,在将样本图像输入到初始目标检测模型之前,还对样本图像进行预处理,具体过程包括:
无人机收集到大量的红外图像,筛选出照片清晰度正常的照片5000张;
在获取到大正常照片后,对照片进行标记分类,分成复合绝缘子类型,跳线金具类型,地线金具类型,引流板金具;
将正常图像导入到labelImg内,labelImg和labelme是定制化标注任务的开源工具。labelme是对数据集的复合绝缘子和各种类型金具的进行每一个像素点的标注,labelImg是对目标进行最小的外接边框的圈选,打上insulator、hardware的标签;
同时,将图像也导入labelme内,对复合绝缘子和各种类型金具进行精细的图像边缘提取,打上insulator、skip_hardware、earth_hardware、hardware的标签;
获取到上述标记好的数据集后,对数据集进行二次回检确保数据标注准确有效。二次回捡,主要是通过人工的全数据集的回看,人工确定目标边框和图像像素的分类是确实存在于有效目标中。以防后面使用算法时会出现大量的错误,增加算法准确性。
优选地,本实施中,主干网络CSPdarknet53网络结构先将基础层的特征映射划分为两部分,然后通过跨阶段层次结构将它们合并,在减少了计算量的同时可以保证准确率。应理解,随着网络深度的主干网络中信息增加,比如图像中的绝缘子的与塔身的背景重叠。在多次计算信息后,存在大量的冗余和重复的参数。这些参数会大大的增加了运算的负荷,所以采用CSPdarknet53网络结构能够有效的减少网络梯度运算的时候模型的参数。在保存主要特征参数的情况下,有效提高运算速率。
进一步地,本实施例在训练过程中,冻结上层的网络层,因为上层的网络基本上是学习基本的特征例如线条色彩等。然后对下层的网络层进行训练,因为下层的网络层主要的功能是提取高级分化的数据特征,自定义的数据集需要高层的网络去学习其对应的特征。其中YOLOV5算法中用Mosaic数据增强技术进行训练。Mosaic数据增强是它将一张选定的图片和随机的3张图片进行随机裁剪,再拼接到一张图上作为训练数据。这样可以丰富图片的背景,而且四张图片拼接在一起变相提高了batch_size,在进行batch normalization(归一化)的时候也会计算四张图片。
进一步地,本实施例中采用的YOLOv5网络,输出端采用了损失函数GIOU_Loss以及预测框筛选的DIOU_nms。损失函数考虑到了检测的目标与真是目标之间的重叠面积、中心点距离和长宽比;非极大抑制值的计算方法在抑制冗余框的同时,采用IoU和两个边界盒中心点之间的距离。这使得它在有遮挡的情况下更能适应。
S203:采用语义分割模型模型对目标候选框中的内容进行识别分类,得到每个目标候选框对应的设备类别。
其中,语义分割模型模型包括但不限于实例分割模型、Mask-RCNN网络结构和UNET网络模型等。
其中,设备类别包括但不限于:复合绝缘子类型和金具,金具包括跳线金具类型、地线金具类型、引流板金具等,复合绝缘子是由玻璃纤维环氧树脂芯棒组成的绝缘子,外文名(composite insulator),为了增加爬电距离的,通常由玻璃或陶瓷制成,就叫绝缘子,其中复合绝缘子是一种特殊的绝缘控件,能够支撑导线和防止电流回地,这在架空输电线路中起到重要作用。金具(electric power fitting),是连接和组合电力系统中的各类装置,起到传递机械负荷、电气负荷及某种防护作用的金属附件。
可选地,语义分割模型模型采用UNET网络模型,UNET网络模型由一个编码器和一个解码器组成,编码器采用预训练的ResNet-50残差网络结构,用于下采样处理,解码器采用全卷积神经网络的反卷积层和并联跳跃结构,用于上采样处理。
S204:针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果。
本实施例中,针对不同类别的电器设备,缺陷评估标准不一样,因而,针对每个目标候选框,根据该目标候选框对应的设备类别,获取该设备类别对应的温度矩阵,再根据该温度矩阵和该设备类别的缺陷评估标准进行评估,得到缺陷检测结果。
在一具体可选实施方式中,设备类别属于符合绝缘子,针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果包括:
获取目标候选框中设备的温度矩阵,进行排序截取1/3到2/3的温度点取平均值作为第一参考温度;
获取目标候选框中设备的温度矩阵中的最高温度,并将最高温度减去第一参考温度值得到的差值,作为局部温升;
根据局部温升的值的分布范围判断是否存在缺陷,得到缺陷检测结果。
进一步地,根据局部温升的值的分布范围判断是否存在缺陷,得到缺陷检测结果包括:参考DL/T664—2016《带电设备红外诊断应用规范》,当局部温升在1~3℃,则判断为出现一般缺陷;当局部温升在3~5℃,则判断为出现严重缺陷;当局部温升大于5℃时,则判断为出现紧急缺陷;否则判断为无过热缺陷。
在一具体可选实施方式中,设备类别属于金具,针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果包括:
获取红外图像对应的大气温度参数作为环境温度,并获取目标候选框中的设备的图像的像素点对应的温度,作为第二参考温度;
根据环境温度、第二参考温度和标准金具温度,计算相对温差;
基于相对温差判断是否存在缺陷,得到缺陷检测结果。
其中,获取红外图像对应的大气温度参数,具体可通过调用Exif_tool获取。
在一具体可选实施方式中,环境温度为28度、第二参考温度为66.5度和标准金具温度为38.5度,相对温差的计算如下:δ=(65.5-38.5)/(65.5-28)*100%=72%,也即,相对温差的定级范围为72%,在本实施例中,在相对温差大于等于95%时,判定存在缺陷且缺陷等级为严重,在相对温差处于(85%,95%)时,判定存在缺陷且缺陷等级为重大,在相对温差为[35%,85%]且第二参考温度未达到预设温度阈值时,判定存在缺陷且缺陷等级为一般,在相对温差小于35%时,判断为无过热缺陷。
本实施例中,获取拍摄的电气设备的红外图像;将红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;采用语义分割模型模型对目标候选框中的内容进行识别分类,得到每个目标候选框对应的设备类别;针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果,实现通过对红外图像中设备的定位和分类,确定设备类型,进而根据设备类型和红外图像中对应的温度矩阵进行缺陷检测,提高了电气设备缺陷检测的准确率和便捷性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图4示出与上述实施例基于红外图像的电气设备缺陷检测方法一一对应的基于红外图像的电气设备缺陷检测装置的原理框图。如图4所示,该基于红外图像的电气设备缺陷检测装置包括图像获取模块31、目标定位模块32、目标分类模块33和缺陷检测模块34。各功能模块详细说明如下:
图像获取模块31,用于获取拍摄的电气设备的红外图像;
目标定位模块32,用于将红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;
目标分类模块33,用于采用语义分割模型模型对目标候选框中的内容进行识别分类,得到每个目标候选框对应的设备类别;
缺陷检测模块34,用于针对每个目标候选框,获取设备类别对应的温度矩阵,对目标候选框中的设备进行缺陷检测,得到缺陷检测结果。
可选地,设备类别属于符合绝缘子,缺陷检测模块34包括:
第一参考温度确定单元,用于获取目标候选框中设备的温度矩阵,进行排序截取1/3到2/3的温度点取平均值作为第一参考温度;
局部温升计算单元,用于获取目标候选框中设备的温度矩阵中的最高温度,并将最高温度减去第一参考温度值得到的差值,作为局部温升;
第一缺陷检测单元,用于根据局部温升的值的分布范围判断是否存在缺陷,得到缺陷检测结果。
可选地,设备类别属于金具,缺陷检测模块34包括:
第二参考温度确定单元,用于获取红外图像对应的大气温度参数作为环境温度,并获取目标候选框中的设备的图像的像素点对应的温度,作为第二参考温度;
相对温差计算单元,用于根据环境温度、第二参考温度和标准金具温度,计算相对温差;
第二缺陷检测单元,用于基于相对温差判断是否存在缺陷,得到缺陷检测结果。
可选地,基于红外图像的电气设备缺陷检测装置还包括:
样本图像获取模块,用于获取样本图像,其中,样本图像为带有分类标记的红外图像,分类标记包括复合绝缘子类型、跳线金具类型、地线金具类型和引流板金具类型;
模型训练模块,用于将样本图像输入到初始目标检测模型,采用Mosaic数据增强的方式,基于样本图像,对初始目标检测模型进行训练,并采用mAP评价指标作为训练评价标准;
目标模型确定模块,用于在训练结果的mAP评价指标达到预设范围时,停止训练,得到训练好的目标检测模型。
关于基于红外图像的电气设备缺陷检测装置的具体限定可以参见上文中对于基于红外图像的电气设备缺陷检测方法的限定,在此不再赘述。上述基于红外图像的电气设备缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图5,图5为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如电子文件的控制的程序代码等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据,例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有界面显示程序,所述界面显示程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于红外图像的电气设备缺陷检测方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于红外图像的电气设备缺陷检测方法,其特征在于,包括:
获取拍摄的电气设备的红外图像;
将所述红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;
采用语义分割模型模型对所述目标候选框中的内容进行识别分类,得到每个所述目标候选框对应的设备类别;
针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果。
2.如权利要求1所述的基于红外图像的电气设备缺陷检测方法,其特征在于,所述设备类别属于符合绝缘子,所述针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果包括:
获取所述目标候选框中设备的温度矩阵,进行排序截取1/3到2/3的温度点取平均值作为第一参考温度;
获取所述所述目标候选框中设备的温度矩阵中的最高温度,并将所述最高温度减去所述第一参考温度值得到的差值,作为局部温升;
根据所述局部温升的值的分布范围判断是否存在缺陷,得到所述缺陷检测结果。
3.如权利要求1所述的基于红外图像的电气设备缺陷检测方法,其特征在于,所述设备类别属于金具,所述针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果包括:
获取所述红外图像对应的大气温度参数作为环境温度,并获取所述目标候选框中的设备的图像的像素点对应的温度,作为第二参考温度;
根据所述环境温度、所述第二参考温度和标准金具温度,计算相对温差;
基于所述相对温差判断是否存在缺陷,得到所述缺陷检测结果。
4.如权利要求1所述的基于红外图像的电气设备缺陷检测方法,其特征在于,所述语义分割模型模型采用UNET网络模型,所述UNET网络模型由一个编码器和一个解码器组成,所述编码器采用预训练的ResNet-50残差网络结构,用于下采样处理,所述解码器采用全卷积神经网络的反卷积层和并联跳跃结构,用于上采样处理。
5.如权利要求1至4任一项所述的基于红外图像的电气设备缺陷检测方法,其特征在于,所述训练好的目标检测模型采用YOLOv5模型,所述所述训练好的目标检测模型的主干网络为采用CSPdarknet53网络结构,在主干网络和输出层之间包含空间金字塔池化层SPP层、特征金字塔网络层PAN层、全注意力网络层PAN层。
6.如权利要求5所述的基于红外图像的电气设备缺陷检测方法,其特征在于,在所述将所述红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框之前,所述方法还包括:
获取样本图像,其中,所述样本图像为带有分类标记的红外图像,所述分类标记包括复合绝缘子类型、跳线金具类型、地线金具类型和引流板金具类型;
将所述样本图像输入到初始目标检测模型,采用Mosaic数据增强的方式,基于所述样本图像,对所述所述初始目标检测模型进行训练,并采用mAP评价指标作为训练评价标准;
在训练结果的mAP评价指标达到预设范围时,停止训练,得到所述训练好的目标检测模型。
7.一种基于红外图像的电气设备缺陷检测装置,其特征在于,所述基于红外图像的电气设备缺陷检测装置包括:
图像获取模块,用于获取拍摄的电气设备的红外图像;
目标定位模块,用于将所述红外图像输入到训练好的目标检测模型中进行目标识别,得到目标候选框;
目标分类模块,用于采用语义分割模型模型对所述目标候选框中的内容进行识别分类,得到每个所述目标候选框对应的设备类别;
缺陷检测模块,用于针对每个目标候选框,获取所述设备类别对应的温度矩阵,对所述目标候选框中的设备进行缺陷检测,得到缺陷检测结果。
8.如权利要求7所述的基于红外图像的电气设备缺陷检测装置,其特征在于,所述设备类别属于符合绝缘子,所述缺陷检测模块包括:
第一参考温度确定单元,用于获取所述目标候选框中设备的温度矩阵,进行排序截取1/3到2/3的温度点取平均值作为第一参考温度;
局部温升计算单元,用于获取所述所述目标候选框中设备的温度矩阵中的最高温度,并将所述最高温度减去所述第一参考温度值得到的差值,作为局部温升;
第一缺陷检测单元,用于根据所述局部温升的值的分布范围判断是否存在缺陷,得到所述缺陷检测结果。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于红外图像的电气设备缺陷检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于红外图像的电气设备缺陷检测方法。
CN202310028228.0A 2023-01-09 2023-01-09 基于红外图像的电气设备缺陷检测方法、装置及相关设备 Pending CN116309303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310028228.0A CN116309303A (zh) 2023-01-09 2023-01-09 基于红外图像的电气设备缺陷检测方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310028228.0A CN116309303A (zh) 2023-01-09 2023-01-09 基于红外图像的电气设备缺陷检测方法、装置及相关设备

Publications (1)

Publication Number Publication Date
CN116309303A true CN116309303A (zh) 2023-06-23

Family

ID=86817558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310028228.0A Pending CN116309303A (zh) 2023-01-09 2023-01-09 基于红外图像的电气设备缺陷检测方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN116309303A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115098A (zh) * 2023-08-17 2023-11-24 国网浙江省电力有限公司杭州供电公司 变电站关键设备缺陷定位检测方法、系统、介质及设备
CN117710366A (zh) * 2024-02-02 2024-03-15 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103598A (zh) * 2017-03-28 2017-08-29 国网上海市电力公司 一种基于红外图像聚类处理的电力电缆热故障诊断方法
US20180231479A1 (en) * 2017-02-14 2018-08-16 Itt Manufacturing Enterprises Llc Methods and systems for detecting defects in layered devices and other materials
CN110276754A (zh) * 2019-06-21 2019-09-24 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN114236327A (zh) * 2021-11-29 2022-03-25 国网福建省电力有限公司检修分公司 一种复合绝缘子芯棒酥朽缺陷的检测装置及其检测方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231479A1 (en) * 2017-02-14 2018-08-16 Itt Manufacturing Enterprises Llc Methods and systems for detecting defects in layered devices and other materials
CN107103598A (zh) * 2017-03-28 2017-08-29 国网上海市电力公司 一种基于红外图像聚类处理的电力电缆热故障诊断方法
CN110276754A (zh) * 2019-06-21 2019-09-24 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN114236327A (zh) * 2021-11-29 2022-03-25 国网福建省电力有限公司检修分公司 一种复合绝缘子芯棒酥朽缺陷的检测装置及其检测方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BING LI 等: "Two-Level Model for Detecting Substation Defects from Infrared Images", 《SENSORS》, pages 1 - 16 *
GUJING HAN 等: "Improved Algorithm for Insulator and Its Defect Detection Based on YOLOX", 《SENSORS》, pages 1 - 14 *
ZHONGYUAN ZHANG 等: "Defect Identification of Composite Insulator Based on Infrared Image", 《POLYMERS》, pages 1 - 13 *
高熠 等: "基于 Mask R-CNN 的复合绝缘子过热缺陷检测", 《中国电力》, vol. 54, no. 1, pages 135 - 141 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115098A (zh) * 2023-08-17 2023-11-24 国网浙江省电力有限公司杭州供电公司 变电站关键设备缺陷定位检测方法、系统、介质及设备
CN117710366A (zh) * 2024-02-02 2024-03-15 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质
CN117710366B (zh) * 2024-02-02 2024-05-14 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN116309303A (zh) 基于红外图像的电气设备缺陷检测方法、装置及相关设备
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
CN112183667B (zh) 一种协同深度学习的绝缘子故障检测方法
CN110674861B (zh) 一种输变电巡检图像智能分析方法及装置
CN110580475A (zh) 基于无人机巡检的线路诊断方法、电子装置及存储介质
CN109631848B (zh) 输电线路异物入侵检测系统和检测方法
CN112116594B (zh) 一种基于语义分割的风飘异物识别方法和装置
CN110008917A (zh) 基于表格理解的继电保护装置定值单数据的故障检测方法
CN116168351B (zh) 电力设备巡检方法及装置
CN113515655A (zh) 一种基于图像分类的故障识别方法及装置
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN112367400A (zh) 一种边云协同的电力物联网智能巡检方法及系统
CN109902730B (zh) 基于深度学习的输电线路断股检测方法
CN108564076B (zh) 一种智能建筑物内电力布线中可视化控制系统
CN114241413A (zh) 基于注意力机制与特征平衡性的变电站多目标检测方法
CN114119528A (zh) 一种配电线路绝缘子的缺陷检测方法及装置
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN113536944A (zh) 基于图像识别的配电线路巡检数据识别及分析方法
CN105098651A (zh) 输电线路绝缘子定位方法及系统
CN116958035A (zh) 产品零件缺陷检测方法、装置、介质及电子设备
CN113033556A (zh) 一种基于机器视觉的绝缘子快速辨别定位方法及系统
CN110516551B (zh) 一种基于视觉的巡线位置偏移识别系统、方法及无人机
CN112419316A (zh) 一种跨设备可见光纹理缺陷检测方法及装置
CN112508905A (zh) 一种金具锈蚀图像检测方法和计算机可读存储介质
CN110910352A (zh) 基于深度学习的太阳能电池缺陷检测系统及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination