CN110487410A - 多模态图像特征融合的电力设备构件温度提取方法及装置 - Google Patents

多模态图像特征融合的电力设备构件温度提取方法及装置 Download PDF

Info

Publication number
CN110487410A
CN110487410A CN201910698051.9A CN201910698051A CN110487410A CN 110487410 A CN110487410 A CN 110487410A CN 201910698051 A CN201910698051 A CN 201910698051A CN 110487410 A CN110487410 A CN 110487410A
Authority
CN
China
Prior art keywords
characteristic point
visible
infrared
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910698051.9A
Other languages
English (en)
Other versions
CN110487410B (zh
Inventor
崔昊杨
周坤
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Shanghai Electric Power University
University of Shanghai for Science and Technology
Original Assignee
Shanghai Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Power University filed Critical Shanghai Electric Power University
Priority to CN201910698051.9A priority Critical patent/CN110487410B/zh
Publication of CN110487410A publication Critical patent/CN110487410A/zh
Application granted granted Critical
Publication of CN110487410B publication Critical patent/CN110487410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明涉及一种多模态图像特征融合的电力设备构件温度提取方法及装置，其中方法包括：步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外‑可见光融合，进而得到关键构件温度值。与现有技术相比，本发明具有温度检测准确等优点。

Description

多模态图像特征融合的电力设备构件温度提取方法及装置
技术领域
本发明涉及一种电力设备状态检测领域，尤其是涉及一种基于多模态图像特征融合的电力设备构件温度提取方法。
背景技术
在电力设备中，一些关键构件的温度检测一直都是难题，在这些关键构件中如果设置一些温度传感器，会降低其性能，因此在试验时可以采取此种措施，但是在电力设备实际投入使用时，此类期间应当去除，本领域技术人员尝试采用各种手段实现温度的测量，例如采用红外热像等。
随着电力设备的增加，通过红外热像和可见光检测设备获得了海量的检测图像，为设备状态精细化评估奠定了数据基础。但是由于缺乏自动化、批量化的图像处理技术，导致这些图像数据都不能及时地用于电力设备的关键构件的温度检测。并且这些检测图像的数据密度较小，与设备状态相关的特征信息难以获取。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态图像特征融合的电力设备构件温度提取方法。
本发明的目的可以通过以下技术方案来实现：
一种基于多模态图像特征融合的电力设备构件温度提取方法，包括：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
所述特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成。
所述欧氏距离为改进欧式距离，具体为：
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，为红外图像特征点IR(xj,yj)的描述符，为可见光图像特征点VI(xj,yj)的描述符，为红外图像特征点IR(xj,yj)的平均强度，为可见光图像特征点VI(xj,yj)的平均强度，为红外图像特征点VI(xj,yj)的水平梯度，为可见光图像特征点VI(xj,yj)的水平梯度，为红外图像特征点VI(xj,yj)的垂直梯度，为可见光图像特征点VI(xj,yj)的垂直梯度。
所述步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。
一种基于多模态图像特征融合的电力设备构件温度提取装置，包括用于采集红外图像的红外摄像模块和用于采集可见光图像的可见光摄像模块，以及存储器、处理器和程序，所述处理器执行所述程序时实现以下步骤：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
与现有技术相比，本发明具有以下有益效果：本发明为基于多模态图像特征融合的电力设备关键构件温度提取方法，通过红外-可见光图像融合的方法获取关键构件的温度值，实现了自动化、批量化对设备状态检修图像进行数据提取，不仅提高了数据利用率，还为实现状态评估的智能化、客观化奠定基础。
附图说明
图1为本发明方法的主要步骤流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
目前，随着电力设备的增加，通过红外热像和可见光检测设备获得了海量的检测图像，为设备状态精细化评估奠定了数据基础。但是由于缺乏自动化、批量化的图像处理技术，导致这些图像数据都不能及时地用于设备状态分析。并且这些检测图像的数据密度较小，与设备状态相关的特征信息难以获取。本实例实现一种基于多模态图像特征融合的电力设备关键构件温度提取方法，该方法包括特征点生成、特征点分类匹配和图像融合。上述一种基于多模态图像特征融合的电力设备关键构件温度提取方法，首先，导入检测图像，通过AKAZE算法对红外检测图像和可见光检测图像进行特征点生成；然后，以红外检测图像和可见光检测图像的特征点M-LDB描述符τ、平均强度Iavg(l)、水平梯度dx(l)和垂直梯度dy(l)为特征向量，利用KNN算法对其进行分类，并对童类特征点进行匹配；最后，利用RANSAC对误配特征点对进行删除，按重新得到的特征点对应关系进行图像映射，实现红外-可见光图像融合，进而得到关键构件的温度值。
具体的，一种基于多模态图像特征融合的电力设备构件温度提取方法，该方法以计算机程序的形式，由计算机系统实现，具体的装置包括用于采集红外图像的红外摄像模块和用于采集可见光图像的可见光摄像模块，以及存储器、处理器和程序，如图1所示，处理器执行程序时实现以下步骤：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量，特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类，欧氏距离为改进欧式距离，具体为：
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，为红外图像特征点IR(xj,yj)的描述符，为可见光图像特征点VI(xj,yj)的描述符，为红外图像特征点IR(xj,yj)的平均强度，为可见光图像特征点VI(xj,yj)的平均强度，为红外图像特征点VI(xj,yj)的水平梯度，为可见光图像特征点VI(xj,yj)的水平梯度，为红外图像特征点VI(xj,yj)的垂直梯度，为可见光图像特征点VI(xj,yj)的垂直梯度。
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。

Claims (8)

1.一种基于多模态图像特征融合的电力设备构件温度提取方法，其特征在于，包括：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点(xj,yj)，并得到各特征点的特征向量；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
2.根据权利要求1所述的一种基于多模态图像特征融合的电力设备构件温度提取方法，其特征在于，所述特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成。
3.根据权利要求2所述的一种基于多模态图像特征融合的电力设备构件温度提取方法，其特征在于，所述欧氏距离为改进欧式距离，具体为：
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，为红外图像特征点IR(xj,yj)的描述符，为可见光图像特征点VI(xj,yj)的描述符，为红外图像特征点IR(xj,yj)的平均强度，为可见光图像特征点VI(xj,yj)的平均强度，为红外图像特征点VI(xj,yj)的水平梯度，为可见光图像特征点VI(xj,yj)的水平梯度，为红外图像特征点VI(xj,yj)的垂直梯度，为可见光图像特征点VI(xj,yj)的垂直梯度。
4.根据权利要求1所述的一种基于多模态图像特征融合的电力设备构件温度提取方法，其特征在于，所述步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。
5.一种基于多模态图像特征融合的电力设备构件温度提取装置，包括用于采集红外图像的红外摄像模块和用于采集可见光图像的可见光摄像模块，以及存储器、处理器和程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
步骤S1：输入包含待检测构件部分的电力设备的红外检测图像和可见光检测图像；
步骤S2：利用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量；
步骤S3：采用KNN算法以各特征点的特征向量为依据，通过计算欧氏距离进行特征点分类；
步骤S4：基于分类结果，对来自红外检测图像和可见光检测图像的特征点进行匹配，并基于匹配结果进行红外-可见光融合，进而得到关键构件温度值。
6.根据权利要求5所述的一种基于多模态图像特征融合的电力设备构件温度提取装置，其特征在于，所述特征向量由特征点(xj,yj)的描述符τ、平均强度Iavg、水平梯度dx(l)和垂直梯度dy(l)组成。
7.根据权利要求6所述的一种基于多模态图像特征融合的电力设备构件温度提取装置，其特征在于，所述欧氏距离为改进欧式距离，具体为：
其中：dKNN为欧氏距离，VI(xj,yj)为可见光图像的特征点j，IR(xj,yj)为可见光图像的特征点，为红外图像特征点IR(xj,yj)的描述符，为可见光图像特征点VI(xj,yj)的描述符，为红外图像特征点IR(xj,yj)的平均强度，为可见光图像特征点VI(xj,yj)的平均强度，为红外图像特征点VI(xj,yj)的水平梯度，为可见光图像特征点VI(xj,yj)的水平梯度，为红外图像特征点VI(xj,yj)的垂直梯度，为可见光图像特征点VI(xj,yj)的垂直梯度。
8.根据权利要求5所述的一种基于多模态图像特征融合的电力设备构件温度提取装置，其特征在于，所述步骤S4的图像融合过程具体为：以RANSAC的代价函数最小原则对配对特征点进行筛选，并按重新生成的匹配关系进行图像映射，以获取关键构件的温度值。
CN201910698051.9A 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置 Active CN110487410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910698051.9A CN110487410B (zh) 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910698051.9A CN110487410B (zh) 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置

Publications (2)

Publication Number Publication Date
CN110487410A true CN110487410A (zh) 2019-11-22
CN110487410B CN110487410B (zh) 2021-03-02

Family

ID=68549069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910698051.9A Active CN110487410B (zh) 2019-07-31 2019-07-31 多模态图像特征融合的电力设备构件温度提取方法及装置

Country Status (1)

Country Link
CN (1) CN110487410B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550020A (zh) * 2022-04-21 2022-05-27 深圳一心一医智能科技有限公司 一种消毒机器人的生物体图像智能识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069222A1 (ja) * 2004-01-15 2005-07-28 Asahi Kasei Kabushiki Kaisha 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法
CN105300528A (zh) * 2015-10-12 2016-02-03 国家电网公司 变电站设备红外图像诊断方法及系统
CN108389137A (zh) * 2018-02-06 2018-08-10 国网山西省电力公司电力科学研究院 基于红外图谱技术的电力故障诊断预警系统
CN109480852A (zh) * 2018-12-14 2019-03-19 桂林电子科技大学 体征监测方法、系统、可穿戴式的信号采集设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069222A1 (ja) * 2004-01-15 2005-07-28 Asahi Kasei Kabushiki Kaisha 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法
CN105300528A (zh) * 2015-10-12 2016-02-03 国家电网公司 变电站设备红外图像诊断方法及系统
CN108389137A (zh) * 2018-02-06 2018-08-10 国网山西省电力公司电力科学研究院 基于红外图谱技术的电力故障诊断预警系统
CN109480852A (zh) * 2018-12-14 2019-03-19 桂林电子科技大学 体征监测方法、系统、可穿戴式的信号采集设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王立飞等: "《基于AKAZE和MSRCR增强的红外图像目标提取》", 《现代计算机（专业版）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550020A (zh) * 2022-04-21 2022-05-27 深圳一心一医智能科技有限公司 一种消毒机器人的生物体图像智能识别方法及系统

Also Published As

Publication number Publication date
CN110487410B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
CN108764024B (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
CN104778682B (zh) 对特征点采样的方法、图像匹配方法和图像匹配设备
JP7282851B2 (ja) 装置、方法及びプログラム
CN108010008B (zh) 目标的追踪方法、装置及电子设备
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
US20180260669A1 (en) Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
CN109117808A (zh) 面部识别方法、装置、电子设备及计算机可读介质
Ramachandra et al. Custom silicone face masks: Vulnerability of commercial face recognition systems & presentation attack detection
JP2016170542A (ja) 画像処理装置、画像処理方法及びプログラム
SE528068C2 (sv) Igenkänning av 3D föremål
CN108460365B (zh) 身份认证方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN111914812A (zh) 图像处理模型训练方法、装置、设备及存储介质
CN108388889B (zh) 用于分析人脸图像的方法和装置
Lan et al. Online non-negative multi-modality feature template learning for RGB-assisted infrared tracking
CN105934757A (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN110487410A (zh) 多模态图像特征融合的电力设备构件温度提取方法及装置
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
JP2018180879A (ja) 物体認識装置、物体認識システム、及び物体認識方法
WO2019229855A1 (ja) 物体検出装置、物体検出システム、物体検出方法、およびプログラムを記録する記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant