CN117274181A - 设备故障检测方法、装置、设备、介质及红外诊断仪 - Google Patents

设备故障检测方法、装置、设备、介质及红外诊断仪 Download PDF

Info

Publication number
CN117274181A
CN117274181A CN202311192711.9A CN202311192711A CN117274181A CN 117274181 A CN117274181 A CN 117274181A CN 202311192711 A CN202311192711 A CN 202311192711A CN 117274181 A CN117274181 A CN 117274181A
Authority
CN
China
Prior art keywords
equipment
target
temperature
model
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311192711.9A
Other languages
English (en)
Inventor
曹占国
彭晶
艾林超
王欣
龚泽威一
陈麟鑫
饶桐
张粥
张建
张鱼龙
白春涛
代泽林
孙建文
杨霄航
何帅兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202311192711.9A priority Critical patent/CN117274181A/zh
Publication of CN117274181A publication Critical patent/CN117274181A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种设备故障检测方法、装置、设备、介质及红外诊断仪，包括：利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到每个目标检测框的位置数据；根据目标检测框的位置数据及获取到的在目标类型上的温度矩阵和最高温度的像素点坐标计算目标类型的故障阈值；根据故障阈值和最高温度确定目标类型的故障设备；设备缺陷诊断模型是对MobileNet+SSD模型训练得到的。本申请对SSD模型进行简化和轻量化，可以降低SSD模型的复杂度，提高目标检测速度和效率；采用推理速度快、目标识别效果好的SSD算法进行缺陷识别，可以降低误检率，实现对各种不同类型的变电站设备的快速故障检测，场景适配范围广。

Description

设备故障检测方法、装置、设备、介质及红外诊断仪
技术领域
本申请涉及人工智能及电力设备技术领域，尤其涉及一种设备故障检测方法、装置、设备、介质及红外诊断仪。
背景技术
现有红外线诊断技术是手持红外线摄像仪对设备进行图像采集和分析，但是针对变电站数百台设备进行红外线检测过于耗费人力物力。目前思路是利用计算机视觉方法进行自动化红外线检测，但是针对目前的算法，包括R-CNN，Faster R-CNN等算法在针对海量红外线图像时对计算机配置要求过高，并且不同设备的红外线正常温度阈值差距比较大，直接识别速度比较慢，并且误检率比较高。
发明内容
本申请的主要目的在于提供一种设备故障检测方法、装置、设备、介质及红外诊断仪，可以解决现有技术中的变电站设备检测速度慢，误检率高的技术问题。
为实现上述目的，本申请第一方面提供一种基于红外图像的设备故障检测方法，该方法包括：
将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；
根据故障阈值和最高温度确定待检测红外图像中目标类型的故障设备。
为实现上述目的，本申请第二方面提供一种基于红外图像的设备故障检测装置，该装置包括：
第一数据获取模块，用于将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
目标检测模块，用于利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
温度映射模块，用于将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
故障阈值计算模块，用于根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；
故障判断模块，用于根据故障阈值和最高温度确定待检测红外图像中目标类型的故障设备。
为实现上述目的，本申请第三方面提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；
根据故障阈值和最高温度确定待检测红外图像中目标类型的故障设备。
为实现上述目的，本申请第四方面提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；
根据故障阈值和最高温度确定待检测红外图像中目标类型的故障设备。
采用本申请实施例，具有如下有益效果：
本申请利用Mobilenet模型对SSD模型进行改进，再利用红外样本图像对改进的SSD模型进行训练，利用得到的已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到目标检测框，根据相同类型的待检测设备的温度矩阵和目标检测框计算故障阈值，根据故障阈值和最高温度判断目标类型的待检测设备中的故障设备。本实施例通过对SSD模型进行简化，可以降低SSD模型的复杂度，实现模型的轻量化，提高目标检测速度和效率，适合大批量检测；采用推理速度比较快，目标识别效果比较好的改进SSD的算法进行缺陷识别，可以降低误检率；将SSD模型的目标检测功能、故障阈值计算以及基于故障阈值的故障判断手段相结合，实现了对各种不同类型的变电站设备的快速故障检测，场景适配范围广；对不同类型的变电站设备的故障阈值进行独立计算，用于精准故障判断，进一步降低了误检率，且省时省力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本申请实施例中基于红外图像的设备故障检测方法的应用环境图；
图2为本申请实施例中基于红外图像的设备故障检测方法的流程图；
图3为本申请实施例中设备缺陷诊断模型的结构框图；
图4为本申请实施例中MobileNet模型的结构框图；
图5为本申请实施例中便携式红外诊断仪的结构框图；
图6为本申请实施例中基于红外图像的设备故障检测装置的结构框图；
图7为本申请实施例中计算机设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为一个实施例中基于红外图像的设备故障检测方法的应用环境图。参照图1，该基于红外图像的设备故障检测方法应用于基于红外图像的设备故障检测系统。该基于红外图像的设备故障检测系统包括终端110和服务器120。终端110和服务器120通过网络连接，终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端110用于向服务器120输入红外样本图像和待检测红外图像，服务器120用于将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；根据故障阈值和最高温度确定待检测红外图像中为目标类型的故障设备。
如图2所示，在一个实施例中，提供了一种基于红外图像的设备故障检测方法，该基于红外图像的设备故障检测方法具体包括如下步骤：
S100：将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域。
具体地，获取待检测红外图像，将待检测红外图像输入至已训练的设备缺陷诊断模型。待检测红外图像为通过红外线摄像仪或红外成像仪对待检测设备进行图像采集获取到的。
待检测设备为待检测的变电站设备，例如包括套管、绝缘子、电压互感器、电线、断路器等不局限于此的各种不同类型的变电站设备。这些变电站设备运行出现异常或故障时会造成电流加热，温度上升剧烈，对温度极其敏感，并且这类温度缺陷占据总缺陷比例百分之90以上，易被发现，在红外线图像上也会有显著的体现。基于此，本实施例基于红外图像对变电站设备会导致设备温度超标的故障进行诊断。
本实施例已训练的设备缺陷诊断模型是基于改进的SSD模型构建、并通过红外样本图像进行训练得到的。
SSD全称Single Shot Multibox Detector，是一种单阶段目标检测器。SSD模型相较于YOLO和Faster R-CNN等模型在推理速度和精度之间取得了更好的平衡。SSD模型用于图像分类、物体检测和语义分割等各种深度学习任务，例如可以被应用在各种目标检测任务中，比如人脸检测、车辆检测以及本实施例的最高温度区域检测等。相对于其他目标检测算法，SSD模型有更高的精度，而且速度也是非常快的。
SSD模型采用了一种多尺度预测的机制，即每个特征提取层都对不同大小的特征图进行检测，从而得到更加精细的预测结果。
现有技术中的SSD模型中的主干特征提取层(Backbone CNN)是基于VGG-16网络构建的，本实施例使用MobileNet模型中的特征提取层替换VGG-16网络来构建SSD模型中的主干特征提取层，得到改进的SSD模型，以达到简化SSD模型，降低SSD模型复杂度的目的。
MobileNet是一种轻量级的卷积神经网络，它的主要目标是在保持模型准确性的同时，尽可能地减少模型的大小和计算复杂度。MobileNet的设计思想是使用深度可分离卷积层来代替传统的卷积层，以减少计算量和模型大小。
MobileNets可用于处理各种各样的训练任务，包括分析人脸，检测常见对象，照片定位，它还可以执行细粒度的识别任务，比如如识别不同种类的狗。MobileNets具有小规模、低延迟、低功耗的特点，可以用来克服不同应用场景中的资源限制。
在对设备缺陷诊断模型训练的过程中使用的是经过标签标注的若干红外样本图像。这些红外样本图像包括至少一种类型的变电站设备对应的红外图像，且红外样本图像包括故障设备对应的红外样本图像和正常设备对应的红外样本图像。故障设备对应的红外样本图像的真实检测框包含文档超标区域，正常设备对应的红外样本图像的真实检测框的位置数据为空。
利用红外样本图像对改进的SSD模型进行训练，根据真实检测框的位置数据和通过预测得到的预测检测框的位置数据，计算总损失函数，根据总损失函数迭代更新改进的SSD模型的模型参数，再向模型参数更新后的SSD模型输入红外样本图像对模型进行训练，直到总损失函数小于函数阈值或者迭代次数大于次数阈值，则训练停止。
S200：利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据。
具体地，待检测红外图像中包含至少一个待检测设备。通过已训练的设备缺陷诊断模型可以对每个待检测设备的目标检测框进行目标检测。已训练的设备缺陷诊断模型可以检测到的目标检测框与训练的红外样本图像的标签相关。目标检测框即目标预测框(box)。
位置数据包括检测框或真实框的中心点坐标、宽和高；或者，位置数据包括检测框或真实框的左上角的点坐标和右下角的点坐标。
S300：将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标。
具体地，已训练的设备缺陷诊断模型还具有设备分类功能，可以通过红外图像识别同一张图像中有哪几种设备，或者，每个设备属于哪个类型等。
待检测红外图像中可能包含至少一种类型的待检测设备，本实施例会按照设备类型对每种类型的待检测设备分别进行故障判断。基于此，本实施例会获取每种类型的待检测设备的温度矩阵。
以一种目标类型的待检测设备为例，将待检测红外图像中相同目标类型的待检测设备的像素点转换为温度数据，得到目标类型对应的温度矩阵。温度矩阵中包含了目标类型的待检测设备所包含的每个像素点对应的温度数据或温度值。最高温度对应的像素点坐标为温度矩阵中最高温度对应的像素点的像素点坐标。
另外，还可以获取并存储目标类型的待检测设备所包含的每个像素点的像素点坐标。
S400：根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值。
具体地，可以使用表面温度分析法、相对温差法和比较法等分析方法中的一种进行故障判断。表面温度分析和比较可以在现场实现初步分析，之后进行相对温差详细分析，相对温差法可以减少负载和环境温度的干扰。
故障阈值是根据待检测红外图像中、目标类型的待检测设备的像素点温度综合计算得到的。
S500：根据故障阈值和最高温度确定待检测红外图像中为目标类型的故障设备。
具体地，基于预设的目标故障诊断规则，根据故障阈值和最高温度，可以确定待检测红外图像中目标类型的待检测设备中哪些为故障设备。
本实施例利用Mobilenet模型对SSD模型进行改进，再利用红外样本图像对改进的SSD模型进行训练，利用得到的已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到目标检测框，根据相同类型的待检测设备的温度矩阵和目标检测框计算故障阈值，根据故障阈值和最高温度判断目标类型的待检测设备中的故障设备。本实施例通过对SSD模型进行简化，可以降低SSD模型的复杂度，实现模型的轻量化，提高目标检测速度和效率，适合大批量检测；采用推理速度比较快，目标识别效果比较好的改进SSD的算法进行缺陷识别，可以降低误检率；将SSD模型的目标检测功能、故障阈值计算以及基于故障阈值的故障判断手段相结合，实现了对各种不同类型的变电站设备的快速故障检测，场景适配范围广；对不同类型的变电站设备的故障阈值进行独立计算，用于精准故障判断，进一步降低了误检率，且省时省力。
在一个实施例中，改进的SSD模型包括输入层、主干特征提取层、额外特征提取层和检测层，主干特征提取层基于MobileNet模型中的CNN特征提取层构建；
主干特征提取层包括至少两个第一子特征提取层，用于对从输入层获得的输入图像进行多尺度特征提取，得到至少两个不同尺度的第一特征图；
额外特征提取层用于对主干特征提取层的最后一个第一子特征提取层输出的第一特征图进行至少一个尺度的特征提取，得到至少一个不同尺度的第二特征图；
检测层用于对所有输出的第一特征图和第二特征图进行检测框预测。
具体地，输入层用于对输入的红外样本图像或待检测红外图像进行预处理后输入至主干特征提取层。
主干特征提取层即Backbone CNN层，主干特征提取层包括至少两个第一子特征提取层，每个第一子特征提取层用于对输入的图像或上一级输入的第一特征图进行特征提取，输出其对应的第一特征图；且前一个第一子特征提取层的输出为下一个第一子特征提取层的输入，不同的第一子特征提取层输出的第一特征图的尺度均不同。
额外特征提取层包括至少一个第二子特征提取层，第一个第二子特征提取层的输入为最后一个第一子特征提取层的输出，后面的第二子特征提取层的输入为前一个第二子特征提取层的输出。每个第二子特征提取层输出一个第二特征图，且不同的第二子特征提取层输出的第二特征图的尺度均不同。
图3为本申请实施例中设备缺陷诊断模型的结构框图；参考图3，在输入层输入Image(图像)至主干特征提取层，Image为大小为224×224×3的图片。主干特征提取层即图3的MobileNet(Through Convx layer)层。图3的主干特征提取层包含3个第一子特征提取层，依次输出56×56×64、28×28×128、14×14×256三个尺度的第一特征图。
额外特征提取层即图3中的Extra Feature Layers层，图3中的额外特征提取层包括3个第二子特征提取层，依次输出7×7×256、3×3×256、1×1×256三个尺度的第二特征图。
第一特征图和第二特征图均输入至检测层。检测层包括多个预测层，用于对输入的第一特征图和第二特征图进行最高温度区域检测，得到先验框。SSD模型的检测层为多尺度检测网络，通过添加多个预测层实现多尺度的目标检测。
改进的SSD模型还包括非极大抑制层，用于对得到的先验框进行过滤筛选，最后输出目标检测框。
当然，图3仅仅是一种示例性说明，对于主干特征提取层和额外特征提取层所选取的卷积核大小、输出的第一特征图和第二特征图的大小或尺度以及输入层输入的图像大小，本申请对此不作限制。
MobileNet网络模型采用了深度可分离卷积，相比传统的标准卷积，大大减少了网络中的参数，因此使用MobileNet模型来改进SSD模型，可以提高模型运算效率。
另外，本申请使用SSD模型可以实现实时检测，同时也可以进行实时视频检测，即在图像帧率要求较高时，SSD的检测速度比Fast R-CNN和Faster R-CNN高出很多。SSD模型采用联合乘法的方式来检测目标，避免了类似Faster R-CNN中RPN和RCNN之间的网络结构，导致中间过程信息的丢失，从而提高了预测精度。
在一个实施例中，如果图片数量过多，改进的Backbone的CNN算法依然处理速度缓慢，可以将算法主干特征提取层改为RepVGG。如果图像受环境影响不清晰，可以在图像进行检测之前增加图像降噪处理的过程。
现有技术只是红外线诊断某个设备的红外线温度是否正常，并且模型复杂，本实施例先进行设备识别预训练，再进行红外线温度检测，并且算法模型轻量，更适合大批量的检测。
在一个实施例中，已训练的设备缺陷诊断模型通过以下步骤训练得到：
获取至少一种变电站设备的红外样本图像，利用红外样本图像构建第一数据集和第二数据集，其中，第一数据集包含不同类型的变电站设备的红外样本图像，且，第一数据集中的每个红外样本图像的标签包括对应的设备类型，第二数据集包含不同类型的变电站设备的红外样本图像，且，第二数据集中的每个红外样本图像的标签包括对应变电站设备最高温度区域的位置；
利用第一数据集对待训练的设备识别模型进行训练，得到已训练的设备识别模型，其中，待训练的设备识别模型基于MobileNet模型构建；
利用已训练的设备识别模型中的目标模型参数初始化改进的SSD模型，得到预训练的SSD模型；
利用第二数据集对预训练的SSD模型进行训练，得到已训练的设备缺陷诊断模型。
具体地，改进的SSD模型中的主干特征提取网络是基于MobileNet中的CNN特征提取层构建的。正常设备的红外样本图像比较容易获取到，但是故障设备的红外样本图像则相对较难获取。
基于此，本实施例先利用第一数据集对待训练的设备识别模型进行预训练，得到已训练的设备识别模型。第一数据集包含了不同类型的变电站设备的红外样本图像。优选地，第一数据集包括不同类型且为正常变电站设备的红外样本图像，利用不同类型、正常的变电站设备的红外样本图像对待训练的设备识别模型进行训练，得到已训练的设备识别模型。
已训练的设备识别模型中包含了用于构建SSD模型中的主干特征提取网络的特征提取层。特征提取层用于对图像进行卷积运算从而提取出高层次的特征信息。利用第一数据集对设备识别模型进行训练，然后将已训练的设备识别模型中的目标模型参数应用于改进的SSD模型中，相当于利用第一数据集对SSD模型中的主干特征提取网络进行了预训练。其中，目标模型参数包含了MobileNet的特征提取层的网络参数。
改进的SSD模型中的主干特征提取层采用了已训练的设备设备模型中的部分CNN特征提取层，且，预训练的SSD模型使用已训练的设备设备模型的目标模型参数权重作为初始模型参数权重。
第二数据集包括不同类型且为故障变电站设备的红外样本图像，或者，第二数据集包括不同类型且为故障变电站设备的红外样本图像和部分正常变电站设备的红外样本图像。利用第二数据集对预训练的SSD模型进行进一步的训练，得到已训练的缺陷诊断模型。
另外，在预训练和进一步训练过程中可以将第一数据集和第二数据集按照预设比例划分为训练集和验证集，构建待训练的模型，并将训练集中的图像输入至构建好的待训练模型中进行训练；将测试集中的图像输入至训练好的模型中进行性能验证，如果训练好的模型输出的检测结果满足设定条件，则训练结束，得到已训练的模型。
图4为本申请实施例中MobileNet模型的结构框图；参考图4，图4为MobileNet基础网络，包含输入层(Input)、卷积层1-卷积层13(CONV1-13)、池化层(AvgPool)、全连接层(FC)和Softmax层。Conv1为标准卷积层，其余的卷积层为深度卷积层。例如Conv2、Con3为一组分别代表逐通道卷积(卷积核大小为3×3)和逐点卷积(卷积核大小为1×1)的卷积层组合，Conv4、Conv5为另外一组卷积方式与Conv2、Con3相同的卷积层组合，Conv6与Conv7/8/9/10/11为一组卷积层组合，Conv12与Conv13为一组卷积层组合。卷积核大小与通道数是一一对应必须这样设置。
每个卷积层依次连接，每个卷积层的输出都是下一层的输入，每个卷积层输出的都是不同大小、不同通道的特征图。
图中标记的为输入图像或输出的特征图大小。更具体地，输入层输入的是224×224×3的图像，卷积层Conv1输出的是112×112×32的特征图，卷积层Conv2输出的是56×56×64的特征图，卷积层Conv3输出的是56×56×128的特征图，卷积层Conv4输出的是28×28×128的特征图，卷积层Conv5输出的是28×28×256的特征图，卷积层Conv6输出的是14×14×256的特征图，经过卷积层Conv7/8/9/10/11输出的是14×14×512的特征图，卷积层Conv12输出的是7×7×512的特征图，卷积层Conv13输出的是7×7×1024的特征图，AvgPool层输出的是1×1×1024的向量，FC层输出的是1×1×1000的向量，Softmax层输出的是5种设备类型中为每种设备类型的概率。
参考图3和图4，图3中主干特征提取层包含3个第一子特征提取层，从左往右，第一个子特征提取层包括图4中的卷积层Conv2和卷积层Conv3两个卷积层，第二个子特征提取层包括图4中的卷积层Conv4和卷积层Conv5两个卷积层，第三个子特征提取层包括图4中的卷积层Conv6和卷积层Conv7两个卷积层，总共有6层。
改进的SSD模型的主干特征提取层(MobileNet层)输入的为经过预处理，大小为224×224×3(224×224代表图片的长和宽，3代表图像初始通道数为3)的图片，输出为56×56×64，28×28×128，14×14×256三个尺度的特征图。extra feature layers为额外添加的三个尺度的特征层，输入为主干特征提取层(MobileNet层)输出的大小为14×14×256的特征图，输出大小为7×7×256，3×3×256，1×1×256大小的三个尺度的特征图，使算法检测层可以从6个尺度对图像进行检测。
图4就是为MobileNet原始网络结构，用来进行模型的预训练。图3是将SSD原来的VGG16主干网络改进成为Mobilenet网络，降低了模型的复杂度。
当然，上述图3和图4中输入的图像大小以及特征图的尺度或大小不一定相同，具体可以根据实际情况更改图3中输入图像的大小或特征图大小，本申请对此不做限制。
改进的SSD模型从主干特征提取层(MobileNet层)的某些层和所有额外的特征提取层中提取不同尺度的特征图；在特征图上生成方框用于设备识别；使用非最大值抑制(NMS)算法选择最佳方框。
原始SSD算法采用的VGG-16网络，改进的SSD模型的主干特征提取层(MobileNet层)采用的是MobileNet中的Conv2到Conv7的层，用于简化模型的复杂度。改进后的SSD模型使用深度可分离卷积来代替标准卷积。主干CNN的更多层被设置为特征提取层，提高了目标检测的推理速度。
当然，图3和图4仅仅是一种示例性说明，具体对卷积层数量和大小、输入图像的大小的设置根据实际情况配置，本申请对此不作限制。
先使用第一数据集对模型的部分结构进行预训练，再使用第二数据集对模型进行进一步训练，可以加速训练进程，还可以解决数据集不足的问题，提高模型的泛化能力。
在一个实施例中，步骤S400中根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值，包括：
根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算参考温度；
获取环境温度和待检测红外图像中目标类型的待检测设备中的最高温度；
根据参考温度、最高温度和环境温度，计算设备异常情况下与设备正常情况下的温差比，将温差比作为在目标类型上的故障阈值；
其中，温差比根据以下公式1计算得到：
其中，T1为设备发热部分的最高温度，T2为正常设备上对应点的参考温度，T0为环境温度或大气温度，δt用于指示相同类型的设备、设备异常情况下与设备正常情况下的温差比。
具体地，本实施例采用相对温差法来判断故障设备。相对温差法可以减少负载和环境温度的干扰。
环境温度及周边大气温度，可以使用温度计记录环境温度。在一段时间内，T0可以设置为一个常数。
最高温度为目标类型对应的温度矩阵中的最高温度。δt反映了相同类型的异常设备与正常设备的温差比，受大气温度和设备负载差异的影响较小，因此可用于评估大多数类型的热缺陷。
不同类型的设备或结构具有不同的故障阈值δt。
本实施例结合目标检测自动计算出同一种类型的设备的参考温度，高效，准确，并利用相对温差法判断故障设备，减少了负载和环境温度的干扰，使得变电站设备故障判断更准确，减少误判。
在一个实施例中，待检测红外图像中包含n个设备类型相同的待检测设备，目标检测框分别为B0、B1...Bn-1；包含最高温度的像素点所在的目标检测框为B0，目标检测框的位置数据包括目标检测框的左上角的点坐标和右下角的点坐标；
参考温度通过以下公式计算得到：
wi＝xi-xi' 公式2
hi＝yi-yi' 公式3
其中，wi为第i个目标检测框Bi的宽，hi为第i个目标检测框Bi的高，(xi,yi)为第i个目标检测框Bi的左上角的点坐标，(x'i,y'i)为第i个目标检测框Bi的右下角的点坐标，i＝0,1,...n-1；
其中，(x″j,y″j)为第j个目标检测框Bj缩放后得到的参考点Pj的坐标，(xj,yj)为目标检测框Bj的左上角的点坐标，(x'0',y'0')为最高温度的像素点坐标，j＝1,...n-1，w0为目标检测框B0的宽度，wj为目标检测框Bj的宽度，(x0,y0)为目标检测框B0的左上角的点坐标；
其中，为待检测红外图像中n个设备类型相同的待检测设备的参考温度，/>为根据温度矩阵获取到的参考点Pj的温度。
具体地，现有的测量方法是将最热点的温度设置为T1，需要使用温度计记录环境温度，手动选择相同设备的相似点获得T2。本实施例通过公式2-6计算得到来代替公式1中的T2。
假设待检测红外图像中有相同类型的n个设备，设定它们的边界框是B0、B1...Bn-1。在这里，我们将包含最热点的边界框设置为B0。根据公式2-3可以计算每个边界框(检测框)的高和宽。
由于目标之间的距离不同，目标框的大小往往不相等，目标检测也会带来误差。根据差异的特征，选择(n-1)个参考点Pj,j＝1,2,3..(n-1)。通过公式4-5可以计算参考点的坐标。x'j'是通过缩放计算的。但y'j'使用宽度而不是高度的比例来重新缩放。这是因为目标框的底部边界是图像的边缘，这意味着高度的比例与拍摄距离是非线性的。
利用参考点的平均温度作为T2的估计量，即，通过公式6计算得到T2的估计量
T1＝maxi,jKi,j，T1为温度矩阵中的最高温度。
在一个实施例中，步骤S500中根据故障阈值和最高温度确定待检测红外图像中的待检测设备是否为故障设备，包括：
确定目标类型的变电站设备对应的目标故障诊断规则；
基于目标故障诊断规则，根据故障阈值和最高温度，确定待检测红外图像对应的变电站设备的缺陷等级。
具体地，以变电站设备为隔离开关、套管和设备线为例，如表1所示：
表1
参考表1，隔离开关、套管和设备线三者对应的目标故障诊断规则不同。
对于同一种设备，故障阈值和最高温度不同，对应的缺陷等级可能不同。其中，缺陷等级包括紧急、严重和微小。
设备检测方法无法识别热点位置，其中，Δy根据以下公式计算得到。
这里使用宽度作为高度偏移的比例参数。设备不同温度对应的设备状态如表1所示。不同设备的电线具有不同的Δy。
在一个实施例中，在对待训练的设备缺陷诊断模型进行训练之前，该方法还包括：
利用图像变换方法对第一数据集和/或第二数据集进行数据扩充。
具体地，为了防止在训练过程中网络出现过拟合现象，同时也考虑到图像采集过程中不可避免发生各种不确定因素，可以通过裁剪、旋转镜像对图像的角度进行旋转处理(左右对称)等处理，以此扩充增强数据集。图像增强是因为数据集较少对图像进行镜像、旋转操作来对数据集进行增强处理。当然，还可以采用Mosaic数据增强、cmBN和SAT自我对抗训练等其中的一种或多种方式来改进和扩展输入的红外样本图像。马赛克数据增强方法使用多幅红外样本图像，通过缩放、裁剪和随机排列来扩展样本。本申请对此不做限制。
另外，还可以在图像输入模型之前对图像进行分割，以图像进行预处理，通过分割改变大小，使其满足输入图片的大小规格(例如为224×224×3等不局限于此)。位置标签指的训练之前需要labelme软件对红外线图像目标进行标注处理，得到目标所在的位置坐标，保持为标签形式，然后才可以进行训练。
利用扩充后的第一数据集对待训练的设备识别模型进行训练，得到已训练的设备识别模型；利用扩充后的第二数据集对待训练的缺陷诊断模型进行训练，得到已训练的缺陷诊断模型。
本申请还提供了一种便携式红外诊断仪，该便携式红外诊断仪用于根据上述任意一项的基于红外图像的设备故障检测方法对变电站设备进行缺陷检测。
具体地，为了实现变电站的实时诊断，需要并行处理红外流视频、深度CNN模型和诊断算法。这些任务需要硬件提供强大的并行计算和图像处理能力。本实施例的便携式红外诊断仪装载有实现上述基于红外图像的设备故障检测方法的代码。
图5为本申请实施例中便携式红外诊断仪的结构框图，图5显示了便携式红外诊断仪的硬件模块及其连接，该便携式红外诊断仪包括系统核心模块(主控模块)、与系统核心模块连接的红外模块、存储模块、电源模块。该便携式红外诊断仪还可以包括与电源模块连接的电池、与系统核心模块连接的USB磁盘、显示模块，显示模块包括触摸屏。
系统核心模块以选用Nidia Jetson nano作为器件核心，红外模块可以使用Youseen M 640实现温度测量和图像预处理。
原始温度视频流在红外模块中生成，并通过GIGE传输到Jetson。触摸屏用于显示诊断结果，实现人机交互。视频流通过HDMI传输，控制信号通过USB传输。我们设计了由锂电池供电用于电源管理的电源模块。存储模块例如为Micro SD card，SD卡用于保存操作系统、诊断程序和红外图像的文件。使用U盘可以轻松导出图像。
该设备的操作系统可以为Ubuntu arm 18.04，深度学习模型是在服务器上使用TensorFlow 2.1开发的。使用TensorRT6.0将训练后的模型部署在系统核心模块中，编程语言可以采用python等不局限于此。该装置可作为手持式红外热像仪，实现对用电设备类型和相对温差的实时计算和显示。使用该设备进行红外检测，工程师可以实时获得必要的诊断信息，并当场确定缺陷的严重程度，有很强的工程适用性。
此外，该便携式红外诊断仪还可以连接各种外设，如Wi-Fi和蓝牙，通过开发物联网和数据管理系统，实现图像的自动分类和保存是可行的。
该便携式红外诊断仪为手持式，还可以支持远程视频监控式、或巡检机器人拍照式等，本申请对此不做限制。
本申请提出一种轻量级红外线识别方法，模型比较简单，更适合处理大批量红外线设备实时识别，并且可以实现对设备识别预训练后针对各类设备红外线的正常工作阈值进行缺陷识别，极大的提高了速度，同时降低了误检率。在硬件方面，本申请设计出一种便携式红外线诊断仪，可以根据场景适配到无人机或者人工手持来达到快速诊断的目的。
当然，图5仅仅是一种示例性说明，本申请对便携式红外诊断仪的结构不作限制。
参考图6，本申请还提供了一种基于红外图像的设备故障检测装置，该装置包括：
第一数据获取模块100，用于将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
目标检测模块200，用于利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
温度映射模块300，用于将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
故障阈值计算模块400，用于根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；
故障判断模块500，用于根据故障阈值和最高温度确定待检测红外图像中为目标类型的故障设备。
在一个实施例中，改进的SSD模型包括输入层、主干特征提取层、额外特征提取层和检测层，主干特征提取层基于MobileNet模型中的CNN特征提取层构建；
主干特征提取层包括至少两个第一子特征提取层，用于对从输入层获得的输入图像进行多尺度特征提取，得到至少两个不同尺度的第一特征图；
额外特征提取层用于对主干特征提取层的最后一个第一子特征提取层输出的第一特征图进行至少一个尺度的特征提取，得到至少一个不同尺度的第二特征图；
检测层用于对所有输出的第一特征图和第二特征图进行检测框预测。
在一个实施例中，该装置还包括：
第二数据获取模块，用于获取至少一种变电站设备的红外样本图像，利用红外样本图像构建第一数据集和第二数据集，其中，第一数据集包含不同类型的变电站设备的红外样本图像，且，第一数据集中的每个红外样本图像的标签包括对应的设备类型，第二数据集包含不同类型的变电站设备的红外样本图像，且，第二数据集中的每个红外样本图像的标签包括对应变电站设备最高温度区域的位置数据；
第一训练模块，用于利用第一数据集对待训练的设备识别模型进行训练，得到已训练的设备识别模型，其中，待训练的设备识别模型基于MobileNet模型构建；
初始化模块，用于利用已训练的设备识别模型中的目标模型参数初始化改进的SSD模型，得到预训练的SSD模型；
第二训练模块，用于利用第二数据集对预训练的SSD模型进行训练，得到已训练的设备缺陷诊断模型。
在一个实施例中，故障阈值计算模块400具体包括：
参考温度计算模块，用于根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算参考温度；
第三数据获取模块，用于获取环境温度和待检测红外图像中目标类型的待检测设备中的最高温度；
计算模块，用于根据参考温度、最高温度和环境温度，计算设备异常情况下与设备正常情况下的温差比，将温差比作为在目标类型上的故障阈值；
其中，温差比根据以下公式1计算得到：
其中，T1为设备发热部分所对应的最高温度，T2为正常设备上对应点的参考温度，T0为环境温度，δt用于指示相同类型的设备、设备异常情况下与设备正常情况下的温差比。
在一个实施例中，待检测红外图像中包含n个设备类型相同的待检测设备，目标检测框分别为B0、B1...Bn-1；包含最高温度的像素点所在的目标检测框为B0，目标检测框的位置数据包括目标检测框的左上角的点坐标和右下角的点坐标；
参考温度通过以下公式计算得到：
wi＝xi-xi' 公式2
hi＝yi-yi' 公式3
其中，wi为第i个目标检测框Bi的宽，hi为第i个目标检测框Bi的高，(xi,yi)为第i个目标检测框Bi的左上角的点坐标，(x'i,y'i)为第i个目标检测框Bi的右下角的点坐标，i＝0,1,...n-1；
其中，(x″j,y″j)为第j个目标检测框Bj缩放后得到的参考点Pj的坐标，(xj,yj)为目标检测框Bj的左上角的点坐标，(x″0,y″0)为最高温度的像素点坐标，j＝1,...n-1，w0为目标检测框B0的宽度，wj为目标检测框Bj的宽度，(x0,y0)为目标检测框B0的左上角的点坐标；
其中，为待检测红外图像中n个设备类型相同的待检测设备的参考温度，/>为根据温度矩阵获取到的参考点Pj的温度。
在一个实施例中，该装置还包括：
数据扩充模块，用于利用图像变换方法对第一数据集和/或第二数据集进行数据扩充。
本申请采用改进的SSD算法进行设备红外线缺陷检测，首先通过Mobilenet设备识别预训练，极大的提升了检测速度；然后采用改进的SSD对不同设备红外线温度进行检测，并且与同类设备正常温度阈值进行比较，检测其是否存在缺陷，降低了误检率。
由于每种设备正常的工作红外线温度阈值不同，先进行设备分类预训练，再进行红外线温度检测提升了缺陷检测准确率，并且模型较为简单，推理速度快。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法实施例中的各个步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法实施例中的各个步骤。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
将待检测红外图像中每个像素点转换为温度数据，得到待检测红外图像的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
根据所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算故障阈值；
根据故障阈值和最高温度确定待检测红外图像中的故障设备。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，真实检测框包含对应变电站设备的最高温度区域；
利用已训练的设备缺陷诊断模型对待检测红外图像进行目标检测，得到待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
将待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到待检测红外图像在目标类型上的温度矩阵，获取温度矩阵中最高温度对应的像素点坐标；
根据在目标类型上所有目标检测框的位置数据、温度矩阵以及最高温度对应的像素点坐标计算在目标类型上的故障阈值；
根据故障阈值和最高温度确定待检测红外图像中为目标类型的故障设备。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于红外图像的设备故障检测方法，其特征在于，所述方法包括：
将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，所述已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，所述改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，所述真实检测框包含对应变电站设备的最高温度区域；
利用所述已训练的设备缺陷诊断模型对所述待检测红外图像进行目标检测，得到所述待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
将所述待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到所述待检测红外图像在所述目标类型上的温度矩阵，获取所述温度矩阵中最高温度对应的像素点坐标；
根据在所述目标类型上所有目标检测框的位置数据、所述温度矩阵以及最高温度对应的像素点坐标计算在所述目标类型上的故障阈值；
根据所述故障阈值和最高温度确定所述待检测红外图像中为目标类型的故障设备。
2.根据权利要求1所述的方法，其特征在于，所述改进的SSD模型包括输入层、主干特征提取层、额外特征提取层和检测层，所述主干特征提取层基于MobileNet模型中的CNN特征提取层构建；
所述主干特征提取层包括至少两个第一子特征提取层，用于对从所述输入层获得的输入图像进行多尺度特征提取，得到至少两个不同尺度的第一特征图；
所述额外特征提取层用于对所述主干特征提取层的最后一个第一子特征提取层输出的第一特征图进行至少一个尺度的特征提取，得到至少一个不同尺度的第二特征图；
所述检测层用于对所有输出的第一特征图和第二特征图进行检测框预测。
3.根据权利要求2所述的方法，其特征在于，所述已训练的设备缺陷诊断模型通过以下步骤训练得到：
获取至少一种变电站设备的红外样本图像，利用所述红外样本图像构建第一数据集和第二数据集，其中，所述第一数据集包含不同类型的变电站设备的红外样本图像，且，所述第一数据集中的每个红外样本图像的标签包括对应的设备类型，所述第二数据集包含不同类型的变电站设备的红外样本图像，且，所述第二数据集中的每个红外样本图像的标签包括对应变电站设备最高温度区域的位置数据；
利用所述第一数据集对待训练的设备识别模型进行训练，得到已训练的设备识别模型，其中，所述待训练的设备识别模型基于MobileNet模型构建；
利用所述已训练的设备识别模型中的目标模型参数初始化改进的SSD模型，得到预训练的SSD模型；
利用所述第二数据集对所述预训练的SSD模型进行训练，得到已训练的设备缺陷诊断模型。
4.根据权利要求1所述的方法，其特征在于，所述根据在所述目标类型上所有目标检测框的位置数据、所述温度矩阵以及最高温度对应的像素点坐标计算在所述目标类型上的故障阈值，包括：
根据在所述目标类型上所有目标检测框的位置数据、所述温度矩阵以及最高温度对应的像素点坐标计算参考温度；
获取环境温度和所述待检测红外图像中目标类型的待检测设备中的最高温度；
根据所述参考温度、所述最高温度和环境温度，计算设备异常情况下与设备正常情况下的温差比，将所述温差比作为在所述目标类型上的故障阈值；
其中，所述温差比根据以下公式1计算得到：
其中，T1为设备发热部分所对应的最高温度，T2为正常设备上对应点的参考温度，T0为环境温度，δt用于指示相同类型的设备、设备异常情况下与设备正常情况下的温差比。
5.根据权利要求1所述的方法，其特征在于，所述待检测红外图像中包含n个设备类型相同的待检测设备，目标检测框分别为B0、B1...Bn-1；包含最高温度的像素点所在的目标检测框为B0，所述目标检测框的位置数据包括目标检测框的左上角的点坐标和右下角的点坐标；
所述参考温度通过以下公式计算得到：
wi＝xi-x'i 公式2
hi＝yi-y'i 公式3
其中，wi为第i个目标检测框Bi的宽，hi为第i个目标检测框Bi的高，(xi,yi)为第i个目标检测框Bi的左上角的点坐标，(x'i,y'i)为第i个目标检测框Bi的右下角的点坐标，i＝0,1,...n-1；
其中，(x″j,y″j)为第j个目标检测框Bj缩放后得到的参考点Pj的坐标，(xj,yj)为目标检测框Bj的左上角的点坐标，(x″0,y″0)为最高温度的像素点坐标，j＝1,...n-1，w0为目标检测框B0的宽度，wj为目标检测框Bj的宽度，(x0,y0)为目标检测框B0的左上角的点坐标；
其中，为所述待检测红外图像中n个设备类型相同的待检测设备的参考温度，/>为根据温度矩阵获取到的参考点Pj的温度。
6.根据权利要求3所述的方法，其特征在于，在对待训练的设备缺陷诊断模型进行训练之前，所述方法还包括：
利用图像变换方法对所述第一数据集和/或第二数据集进行数据扩充。
7.一种便携式红外诊断仪，其特征在于，所述便携式红外诊断仪用于根据权利要求1-6任意一项所述的方法对变电站设备进行缺陷检测。
8.一种基于红外图像的设备故障检测装置，其特征在于，所述装置包括：
第一数据获取模块，用于将获取到的待检测红外图像输入至预先构建的、已训练的设备缺陷诊断模型，其中，所述已训练的设备缺陷诊断模型是利用若干变电站设备的红外样本图像对改进的SSD模型训练得到的，所述改进的SSD模型中的主干特征提取层基于MobileNet模型中的特征提取层构建，每个红外样本图像的标签包括真实检测框的位置数据，所述真实检测框包含对应变电站设备的最高温度区域；
目标检测模块，用于利用所述已训练的设备缺陷诊断模型对所述待检测红外图像进行目标检测，得到所述待检测红外图像中每个待检测设备的包含最高温度区域的目标检测框的位置数据；
温度映射模块，用于将所述待检测红外图像中相同目标类型的待检测设备所包含的每个像素点转换为温度数据，得到所述待检测红外图像在所述目标类型上的温度矩阵，获取所述温度矩阵中最高温度对应的像素点坐标；
故障阈值计算模块，用于根据在所述目标类型上所有目标检测框的位置数据、所述温度矩阵以及最高温度对应的像素点坐标计算在所述目标类型上的故障阈值；
故障判断模块，用于根据所述故障阈值和最高温度确定所述待检测红外图像中为目标类型的故障设备。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
CN202311192711.9A 2023-09-15 2023-09-15 设备故障检测方法、装置、设备、介质及红外诊断仪 Pending CN117274181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311192711.9A CN117274181A (zh) 2023-09-15 2023-09-15 设备故障检测方法、装置、设备、介质及红外诊断仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311192711.9A CN117274181A (zh) 2023-09-15 2023-09-15 设备故障检测方法、装置、设备、介质及红外诊断仪

Publications (1)

Publication Number Publication Date
CN117274181A true CN117274181A (zh) 2023-12-22

Family

ID=89207368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311192711.9A Pending CN117274181A (zh) 2023-09-15 2023-09-15 设备故障检测方法、装置、设备、介质及红外诊断仪

Country Status (1)

Country Link
CN (1) CN117274181A (zh)

Similar Documents

Publication Publication Date Title
Wang et al. Automatic fault diagnosis of infrared insulator images based on image instance segmentation and temperature analysis
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
JP7447932B2 (ja) 画像処理システム、画像処理方法及びプログラム
CN112669316B (zh) 电力生产异常监控方法、装置、计算机设备和存储介质
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
EP3844669A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
WO2021135500A1 (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
KR20200087297A (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
WO2020073201A1 (en) Method and system for circuit breaker condition monitoring
CN111199523A (zh) 电力设备识别方法、装置、计算机设备和存储介质
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
US20220327676A1 (en) Method and system for detecting change to structure by using drone
CN111950566A (zh) 一种旋转不变的hog红外图像电力设备识别方法
CN114241370A (zh) 基于数字孪生变电站的入侵识别方法、装置和计算机设备
CN116453056A (zh) 目标检测模型构建方法和变电站异物入侵检测方法
CN112560791B (zh) 识别模型的训练方法、识别方法、装置及电子设备
CN112419243B (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN114332457A (zh) 图像实例分割模型训练、图像实例分割方法和装置
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN117274181A (zh) 设备故障检测方法、装置、设备、介质及红外诊断仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination