CN110487410B - 多模态图像特征融合的电力设备构件温度提取方法及装置 - Google Patents

多模态图像特征融合的电力设备构件温度提取方法及装置 Download PDF

Info

Publication number
CN110487410B
CN110487410B CN201910698051.9A CN201910698051A CN110487410B CN 110487410 B CN110487410 B CN 110487410B CN 201910698051 A CN201910698051 A CN 201910698051A CN 110487410 B CN110487410 B CN 110487410B
Authority
CN
China
Prior art keywords
image
visible light
infrared
characteristic point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910698051.9A
Other languages
English (en)
Other versions
CN110487410A (zh
Inventor
崔昊杨
周坤
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Power University
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN201910698051.9A priority Critical patent/CN110487410B/zh
Publication of CN110487410A publication Critical patent/CN110487410A/zh
Application granted granted Critical
Publication of CN110487410B publication Critical patent/CN110487410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Abstract

本发明涉及一种多模态图像特征融合的电力设备构件温度提取方法及装置，其中方法包括：步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外‑可见光融合，进而得到关键构件温度值。与现有技术相比，本发明具有温度检测准确等优点。

Description

多模态图像特征融合的电力设备构件温度提取方法及装置
技术领域
本发明涉及一种电力设备状态检测领域，尤其是涉及一种基于多模态图像特征融合的电力设备构件温度提取方法。
背景技术
在电力设备中，一些关键构件的温度检测一直都是难题，在这些关键构件中如果设置一些温度传感器，会降低其性能，因此在试验时可以采取此种措施，但是在电力设备实际投入使用时，此类期间应当去除，本领域技术人员尝试采用各种手段实现温度的测量，例如采用红外热像等。
随着电力设备的增加，通过红外热像和可见光检测设备获得了海量的检测图像，为设备状态精细化评估奠定了数据基础。但是由于缺乏自动化、批量化的图像处理技术，导致这些图像数据都不能及时地用于电力设备的关键构件的温度检测。并且这些检测图像的数据密度较小，与设备状态相关的特征信息难以获取。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态图像特征融合的电力设备构件温度提取方法。
本发明的目的可以通过以下技术方案来实现：
一种基于多模态图像特征融合的电力设备构件温度提取方法，包括：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
所述特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成。
所述欧氏距离为改进欧式距离，具体为：
Figure BDA0002149969020000021
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，
Figure BDA0002149969020000022
为红外图像特征点IR(xj,yj)的描述符，
Figure BDA0002149969020000023
为可见光图像特征点VI(xj,yj)的描述符，
Figure BDA0002149969020000024
为红外图像特征点IR(xj,yj)的平均强度，
Figure BDA0002149969020000025
为可见光图像特征点VI(xj,yj)的平均强度，
Figure BDA0002149969020000026
为红外图像特征点VI(xj,yj)的水平梯度，
Figure BDA0002149969020000027
为可见光图像特征点VI(xj,yj)的水平梯度，
Figure BDA0002149969020000028
为红外图像特征点VI(xj,yj)的垂直梯度，
Figure BDA0002149969020000029
为可见光图像特征点VI(xj,yj)的垂直梯度。
所述步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。
一种基于多模态图像特征融合的电力设备构件温度提取装置，包括用于采集红外图像的红外摄像模块和用于采集可见光图像的可见光摄像模块，以及存储器、处理器和程序，所述处理器执行所述程序时实现以下步骤：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
与现有技术相比，本发明具有以下有益效果：本发明为基于多模态图像特征融合的电力设备关键构件温度提取方法，通过红外-可见光图像融合的方法获取关键构件的温度值，实现了自动化、批量化对设备状态检修图像进行数据提取，不仅提高了数据利用率，还为实现状态评估的智能化、客观化奠定基础。
附图说明
图1为本发明方法的主要步骤流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
目前，随着电力设备的增加，通过红外热像和可见光检测设备获得了海量的检测图像，为设备状态精细化评估奠定了数据基础。但是由于缺乏自动化、批量化的图像处理技术，导致这些图像数据都不能及时地用于设备状态分析。并且这些检测图像的数据密度较小，与设备状态相关的特征信息难以获取。本实例实现一种基于多模态图像特征融合的电力设备关键构件温度提取方法，该方法包括特征点生成、特征点分类匹配和图像融合。上述一种基于多模态图像特征融合的电力设备关键构件温度提取方法，首先，导入检测图像，通过AKAZE算法对红外检测图像和可见光检测图像进行特征点生成；然后，以红外检测图像和可见光检测图像的特征点M-LDB描述符τ、平均强度Iavg(l)、水平梯度dx(l)和垂直梯度dy(l)为特征向量，利用KNN算法对其进行分类，并对童类特征点进行匹配；最后，利用RANSAC对误配特征点对进行删除，按重新得到的特征点对应关系进行图像映射，实现红外-可见光图像融合，进而得到关键构件的温度值。
具体的，一种基于多模态图像特征融合的电力设备构件温度提取方法，该方法以计算机程序的形式，由计算机系统实现，具体的装置包括用于采集红外图像的红外摄像模块和用于采集可见光图像的可见光摄像模块，以及存储器、处理器和程序，如图1所示，处理器执行程序时实现以下步骤：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量，特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类，欧氏距离为改进欧式距离，具体为：
Figure BDA0002149969020000041
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，
Figure BDA0002149969020000042
为红外图像特征点IR(xj,yj)的描述符，
Figure BDA0002149969020000043
为可见光图像特征点VI(xj,yj)的描述符，
Figure BDA0002149969020000044
为红外图像特征点IR(xj,yj)的平均强度，
Figure BDA0002149969020000045
为可见光图像特征点VI(xj,yj)的平均强度，
Figure BDA0002149969020000046
为红外图像特征点VI(xj,yj)的水平梯度，
Figure BDA0002149969020000047
为可见光图像特征点VI(xj,yj)的水平梯度，
Figure BDA0002149969020000048
为红外图像特征点VI(xj,yj)的垂直梯度，
Figure BDA0002149969020000049
为可见光图像特征点VI(xj,yj)的垂直梯度。
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。

Claims (4)

1.一种基于多模态图像特征融合的电力设备构件温度提取方法，其特征在于，包括：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像，
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点(xj,yj)，并得到各特征点的特征向量，
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类，
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值；
所述特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成；
所述欧氏距离为改进欧式距离，具体为：
Figure FDA0002645272160000011
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，
Figure FDA0002645272160000012
为红外图像特征点IR(xj,yj)的描述符，
Figure FDA0002645272160000013
为可见光图像特征点VI(xj,yj)的描述符，
Figure FDA0002645272160000014
为红外图像特征点IR(xj,yj)的平均强度，
Figure FDA0002645272160000015
为可见光图像特征点VI(xj,yj)的平均强度，
Figure FDA0002645272160000016
为红外图像特征点VI(xj,yj)的水平梯度，
Figure FDA0002645272160000017
为可见光图像特征点VI(xj,yj)的水平梯度，
Figure FDA0002645272160000018
为红外图像特征点VI(xj,yj)的垂直梯度，
Figure FDA0002645272160000019
为可见光图像特征点VI(xj,yj)的垂直梯度。
2.根据权利要求1所述的一种基于多模态图像特征融合的电力设备构件温度提取方法，其特征在于，所述步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。
3.一种基于多模态图像特征融合的电力设备构件温度提取装置，包括用于采集红外图像的红外摄像模块和用于采集可见光图像的可见光摄像模块，以及存储器、处理器和程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像，
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量，
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类，
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值；
所述特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成；
所述欧氏距离为改进欧式距离，具体为：
Figure FDA0002645272160000021
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，
Figure FDA0002645272160000022
为红外图像特征点IR(xj,yj)的描述符，
Figure FDA0002645272160000023
为可见光图像特征点VI(xj,yj)的描述符，
Figure FDA0002645272160000024
为红外图像特征点IR(xj,yj)的平均强度，
Figure FDA0002645272160000025
为可见光图像特征点VI(xj,yj)的平均强度，
Figure FDA0002645272160000026
为红外图像特征点VI(xj,yj)的水平梯度，
Figure FDA0002645272160000027
为可见光图像特征点VI(xj,yj)的水平梯度，
Figure FDA0002645272160000028
为红外图像特征点VI(xj,yj)的垂直梯度，
Figure FDA0002645272160000029
为可见光图像特征点VI(xj,yj)的垂直梯度。
4.根据权利要求3所述的一种基于多模态图像特征融合的电力设备构件温度提取装置，其特征在于，所述步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。
CN201910698051.9A 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置 Active CN110487410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910698051.9A CN110487410B (zh) 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910698051.9A CN110487410B (zh) 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置

Publications (2)

Publication Number Publication Date
CN110487410A CN110487410A (zh) 2019-11-22
CN110487410B true CN110487410B (zh) 2021-03-02

Family

ID=68549069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910698051.9A Active CN110487410B (zh) 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置

Country Status (1)

Country Link
CN (1) CN110487410B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550020B (zh) * 2022-04-21 2022-07-08 深圳一心一医智能科技有限公司 一种消毒机器人的生物体图像智能识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069222A1 (ja) * 2004-01-15 2005-07-28 Asahi Kasei Kabushiki Kaisha 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法
CN105300528A (zh) * 2015-10-12 2016-02-03 国家电网公司 变电站设备红外图像诊断方法及系统
CN108389137A (zh) * 2018-02-06 2018-08-10 国网山西省电力公司电力科学研究院 基于红外图谱技术的电力故障诊断预警系统
CN109480852A (zh) * 2018-12-14 2019-03-19 桂林电子科技大学 体征监测方法、系统、可穿戴式的信号采集设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069222A1 (ja) * 2004-01-15 2005-07-28 Asahi Kasei Kabushiki Kaisha 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法
CN105300528A (zh) * 2015-10-12 2016-02-03 国家电网公司 变电站设备红外图像诊断方法及系统
CN108389137A (zh) * 2018-02-06 2018-08-10 国网山西省电力公司电力科学研究院 基于红外图谱技术的电力故障诊断预警系统
CN109480852A (zh) * 2018-12-14 2019-03-19 桂林电子科技大学 体征监测方法、系统、可穿戴式的信号采集设备

Also Published As

Publication number Publication date
CN110487410A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN108537136B (zh) 基于姿态归一化图像生成的行人重识别方法
Wang et al. Automatic fault diagnosis of infrared insulator images based on image instance segmentation and temperature analysis
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
Yin et al. Joint multi-leaf segmentation, alignment, and tracking for fluorescence plant videos
Demant et al. Microcracks in silicon wafers I: Inline detection and implications of crack morphology on wafer strength
US20180260669A1 (en) Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program
CN112200211B (zh) 一种基于残差网络和迁移学习的小样本鱼识别方法及系统
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
CN102324042B (zh) 视觉识别系统及视觉识别方法
CN110533654A (zh) 零部件的异常检测方法及装置
CN109582124A (zh) 姿势推定系统、姿势推定装置以及距离图像照相机
JP2011096135A (ja) 画像処理装置、画像処理方法
CN110487410B (zh) 多模态图像特征融合的电力设备构件温度提取方法及装置
CN103913150B (zh) 智能电能表电子元器件一致性检测方法
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
Zhang et al. An automatic defect detection method for TO56 semiconductor laser using deep convolutional neural network
CN102968618A (zh) 一种融合BoF模型和谱聚类算法的静态手势识别方法
CN110110795A (zh) 图像分类方法及装置
CN112200217B (zh) 基于红外图像大数据的识别算法评价方法及系统
CN115861927A (zh) 电力设备巡检图像的图像识别方法、装置和计算机设备
CN110472085A (zh) 三维图像搜索方法、系统、计算机设备和存储介质
CN111985625B (zh) 一种红外-可见光融合的深度神经网络及其建模方法
CN115063624A (zh) 一种基于图神经网络的小样本分类学习方法
CN114463746A (zh) 目标识别模型训练以及细胞识别方法、装置及电子设备
CN113554610A (zh) 一种光伏组件运行状态检测方法及其应用装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant