CN115115919A - 一种电网设备热缺陷识别方法及装置 - Google Patents

一种电网设备热缺陷识别方法及装置 Download PDF

Info

Publication number
CN115115919A
CN115115919A CN202210729999.8A CN202210729999A CN115115919A CN 115115919 A CN115115919 A CN 115115919A CN 202210729999 A CN202210729999 A CN 202210729999A CN 115115919 A CN115115919 A CN 115115919A
Authority
CN
China
Prior art keywords
light image
feature
features
visible light
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210729999.8A
Other languages
English (en)
Other versions
CN115115919B (zh
Inventor
刘浩
甘津瑞
张屹
吴鹏
李岩
刘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
State Grid Smart Grid Research Institute Co ltd
State Grid Corp of China SGCC
Original Assignee
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
State Grid Smart Grid Research Institute Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd, State Grid Smart Grid Research Institute Co ltd, State Grid Corp of China SGCC filed Critical Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Priority to CN202210729999.8A priority Critical patent/CN115115919B/zh
Publication of CN115115919A publication Critical patent/CN115115919A/zh
Application granted granted Critical
Publication of CN115115919B publication Critical patent/CN115115919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供了一种电网设备热缺陷识别方法及装置，其中，电网设备热缺陷识别方法包括：获取待识别电网设备的可见光和红外光图像特征；对可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征；分别提取可见光模态的第一互补特征和红外光模态的第二互补特征；利用第一互补特征、第二互补特征分别对可见光图像特征和红外光图像特征进行增强，得到增强后的可见光图像特征和红外光图像特征；对增强后的可见光图像特征和红外光图像特征进行跨模态特征融合，得到融合特征；将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果。充分利用融合特征识别电网设备热缺陷，大幅提高电网设备的检修效率。

Description

一种电网设备热缺陷识别方法及装置
技术领域
本发明涉及电网缺陷识别领域，具体涉及一种电网设备热缺陷识别方法及装置。
背景技术
随着用电用户对用电质量的要求越来越高，供电公司在保障正常供电情况下，需要频繁定期巡检大量的电网设备，然而由于电网设备分布范围广，巡检跨度大，巡检难度高，极大的限制了巡检的准确性和效率。近年来，由于可见光图像可以提供具有高分辨率和清晰度的纹理细节，而红外图像则可以根据辐射差异将目标与背景区分开来，因此，学界和工业界涌现出了大量基于可见光和红外图像两种模态的电网设备热缺陷识别方法，主流的方法大致可以分为两类：图像融合和特征融合，其中，对于图像融合，现有方法通过人工设计的规则将两种模态的图像进行直接融合，限制了图像特征的学习能力；而对于特征融合，现有方法在特征层面直接将两种模态的特征进行简单融合，缺乏了模态之间特征信息的交互，导致对电网热缺陷识别的效果较差，无法有效提升电网设备的检修效率。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的没有将可见光和红外图像两种模态进行特征信息交互，导致对电网热缺陷识别的效果较差，无法有效提升电网设备的检修效率的缺陷，从而提供一种电网设备热缺陷识别方法及装置。
根据第一方面，本发明实施例提供了一种电网设备热缺陷识别方法，所述方法包括：
获取待识别电网设备对应的图像特征，所述图像特征包括可见光图像特征和红外光图像特征；
对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征；
从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征；
利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征；
对所述增强后的可见光图像特征和所述增强后的红外光图像特征进行跨模态特征融合，得到融合特征；
将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果。
可选地，所述对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，包括：
分别对所述可见光图像特征和红外光图像特征进行上下文特征提取，得到第一图像特征和第二图像特征；
分别对所述第一图像特征和所述第二图像特征进行降维处理，得到第三图像特征和第四图像特征；
分别对所述第三图像特征和所述第四图像特征进行特征过滤，提取所述第三图像特征对应的第一共享特征和和所述第四图像特征对应的第二共享特征；
将所述第一共享特征和所述第二共享特征进行逐元素相加操作，得到合成模态共享特征。
可选地，所述从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征，包括：
分别对所述可见光图像特征、所述合成模态共享特征和所述红外光图像特征进行上下文特征提取，得到第五图像特征、第六图像特征和第七图像特征；
将所述第五图像特征和所述第六图像特征进行逐元素相减操作，得到第一差异特征；
将所述第七图像特征和所述第六图像特征进行逐元素相减操作，得到第二差异特征；
从所述第一差异特征中提取与所述可见光图像特征互补的特征，得到可见光模态的第一互补特征；
从所述第二差异特征中提取与所述红外光图像特征互补的特征，得到红外光模态的第二互补特征。
可选地，所述利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征，包括：
将所述第一互补特征与所述可见光图像特征进行逐元素相加操作，得到增强后的可见光图像特征；
将所述第二互补特征与所述红外光图像特征进行逐元素相加操作，得到增强后的红外光图像特征。
可选地，所述获取待识别电网设备对应的图像特征，包括：
获取待识别电网设备的可见光图像和红外光图像；
分别从所述可见光图像和所述红外光图像中提取可见光图像特征和红外光图像特征。
可选地，所述预设电网设备热缺陷识别模型包括：分类子模型和回归子模型，所述将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果，包括：
将所述融合特征输入所述分类子模型，得到所述待识别电网设备的热缺陷类别；
将所述融合特征输入所述回归子模型，得到所述待识别电网设备的热缺陷位置。
可选地，所述方法还包括：
获取当前热缺陷位置的待识别电网设备的各热缺陷类别的概率结果；
将所述概率结果进行排序，得到所述概率结果中的最大概率值；
判断所述最大概率值是否超过预设阈值；
当所述最大概率值超过所述预设阈值时，将所述最大概率值对应的热缺陷类别确定为所述待识别电网设备在当前缺陷位置的热缺陷类别。
根据第二方面，本发明实施例提供了一种电网设备热缺陷识别装置，所述装置包括：
获取模块，用于获取待识别电网设备对应的图像特征，所述图像特征包括可见光图像特征和红外光图像特征；
第一处理模块，用于对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征；
第二处理模块，用于从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征；
第三处理模块，用于利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征；
第四处理模块，用于对所述增强后的可见光图像特征和所述增强后的红外光图像特征进行跨模态特征融合，得到融合特征；
执行模块，用于将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果。
根据第三方面，本发明实施例提供了一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
本发明技术方案，具有如下优点：
本发明提供的电网设备热缺陷识别方法及装置，通过获取待识别电网设备对应的图像特征，所述图像特征包括可见光图像特征和红外光图像特征；对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征；从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征；利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征；对所述增强后的可见光图像特征和所述增强后的红外光图像特征进行跨模态特征融合，得到融合特征；将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果。通过将可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，对可见光图像特征以及红外光图像特征进行模态之间的特征信息交互；从合成模态共享特征分别提取出与可见光特征互补的第一互补特征以及与红外光模特征互补的第二互补特征，通过利用第一互补特征对可见光图像特征进行增强，利用第二互补特征对红外光图像特征进行增强，在将可见光图像特征和红外光图像特征进行有效特征融合的同时，弥补各自图像特征的不足；在此基础上对增强后的可见光图像特征和红外光图像特征进行跨模态特征融合，得到融合特征，进一步对图像特征进行有效融合；通过将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果，充分利用融合特征对电网设备热缺陷进行识别，识别效果显著增强的同时，大幅提高电网设备的检修效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的电网设备热缺陷识别方法的流程图；
图2为本发明实施例的电网设备热缺陷识别方法的特征合成子模块架构图；
图3为本发明实施例的电网设备热缺陷识别方法的特征分发子模块架构图；
图4为本发明实施例的电网设备热缺陷识别方法的跨模态协同表示学习模块架构图；
图5为本发明实施例的电网设备热缺陷识别方法的预设电网设备热缺陷识别模型架构图；
图6为本发明实施例的电网设备热缺陷识别方法的图像获取及预处理流程图；
图7为本发明实施例的电网设备热缺陷识别方法的预设电网设备热缺陷识别模型训练流程图；
图8为本发明实施例的电网设备热缺陷识别方法的第一位置缺陷预测结果图；
图9为本发明实施例的电网设备热缺陷识别方法的第二位置缺陷预测结果图；
图10为本发明实施例的电网设备热缺陷识别方法的第三位置缺陷预测结果图；
图11为本发明实施例的电网设备热缺陷识别方法的第一位置缺陷类别概率结果图；
图12为本发明实施例的电网设备热缺陷识别方法的第二位置缺陷类别概率结果图；
图13为本发明实施例的电网设备热缺陷识别方法的第三位置缺陷类别概率结果图；
图14为本发明实施例的电网设备热缺陷识别装置的结构示意图；
图15为本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”、“第七”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供了一种电网设备热缺陷识别方法，如图1所示，该电网设备热缺陷识别方法具体包括如下步骤：
步骤S101：获取待识别电网设备对应的图像特征，图像特征包括可见光图像特征和红外光图像特征。
具体地，在实际应用中，可见光图像可以提供具有高分辨率和清晰度的纹理细节，而红外光图像则可以根据辐射差异将目标与背景区分开，本发明实施例在充分利用两种图像特征优势的基础上，将两种图像特征进行跨模态特征融合，从而有效增强可见光和红外图像特征的表示能力，提升了电网设备的缺陷识别精度。
步骤S102：对可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征。
具体地，在实际应用中，如图2所示，本发明实施例以可见光图像特征和红外光图像特征作为输入信息，通过特征合成子模块进行跨模态特征信息交互，得到合成模态共享特征。
步骤S103：从合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征。
具体地，在实际应用中，如图3所示，本发明实施例以可见光图像特征、红外光图像特征和合成模态共享特征作为输入信息，通过特征分发子模块进行互补特征的分离和融合，最终得到可见光模态的第一互补特征和红外光模态的第二互补特征。
具体地，第一互补特征具有红外光图像特征，即第一互补特征内包含热辐射信息；第二互补特征具有可见光图像特征，即第一互补特征内包含纹理信息。
步骤S104：利用第一互补特征对可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对红外光图像特征进行增强，得到增强后的红外光图像特征。
具体地，在实际应用中，本发明实施例通过跨模态协同表示学习模块对可见光图像特征和红外光图像特征进行融合和分发，最终得到增强后的可见光图像特征和增强后的红外光图像特征。
具体地，如图4所示，跨模态协同表示学习模块由特征合成子模块和特征分成子模块构成，通过以可见光和红外光图像特征为输入，通过特征合成子模块进行跨模态特征信息交互，从而合成模态共享特征；其次以模态共享特征为输入，通过特征分发子模块进行特定模态特征提取，从而生成各自模态的互补特征；最后将互补特征分别应用到可见光和红外光图像特征上，最终获得增强后的可见光和红外光图像特征。
步骤S105：对增强后的可见光图像特征和增强后的红外光图像特征进行跨模态特征融合，得到融合特征。
具体地，在实际应用中，本发明实施例通过将增强后的可见光图像特征和增强后的红外光图像特征在通道维度上进行特征拼接，从而完成跨模态特征融合，得到融合特征。
具体地，在实际应用中，可见光图像特征和红外光图像特征都具备一定的图像维度特征，包括尺寸信息(宽和高)和通道数信息，增强后的可见光图像特征和红外光图像特征同样具备这些图像维度特征，为更好地对待识别电网设备进行热缺陷识别，需要将图像维度特征进行处理，其中就包括在通道维度上进行特征拼接的处理过程，为后续进行热缺陷识别奠定基础。
步骤S106：将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果。
具体地，在实际应用中，如图5所示，本发明实施例通过将融合特征输入预设电网设备热缺陷识别模型进行识别，通过预设电网设备热缺陷识别模型内的分类子模型确定待识别电网设备的热缺陷类别；通过预设电网设备热缺陷识别模型内的回归子模型确定待识别电网设备的热缺陷位置。
示例性地，在实际应用中，容易发生热缺陷的类别包括输电领域的电网设备热缺陷、变电领域的电网设备热缺陷，其中，输电领域内热缺陷类别包括均压环、引流线、压接管、耐张塔等电网设备出现热缺陷；变电领域内热缺陷类别包括套管柱头、变压器本体、断路器、刀闸等等电网设备出现热缺陷。
通过执行上述步骤，本发明实施例提供的电网设备热缺陷识别方法，通过将可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，对可见光图像特征以及红外光图像特征进行模态之间的特征信息交互；从合成模态共享特征分别提取出与可见光特征互补的第一互补特征以及与红外光模特征互补的第二互补特征，通过利用第一互补特征对可见光图像特征进行增强，利用第二互补特征对红外光图像特征进行增强，在将可见光图像特征和红外光图像特征进行有效特征融合的同时，弥补各自图像特征的不足；在此基础上对增强后的可见光图像特征和红外光图像特征进行跨模态特征融合，得到融合特征，进一步对图像特征进行有效融合；通过将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果，充分利用融合特征对电网设备热缺陷进行识别，识别效果显著增强的同时，大幅提高电网设备的检修效率。
具体地，在一实施例中，上述步骤S101获取待识别电网设备对应的图像特征，具体包括如下步骤：
步骤S201：获取待识别电网设备的可见光图像和红外光图像。
步骤S202：分别从可见光图像和红外光图像中提取可见光图像特征和红外光图像特征。
具体地，本发明实施例以可见光图像作为输入，通过可见光图像特征提取模块提取可见光图像特征；以红外光图像作为输入，通过红外光图像特征提取模块提取红外光图像特征。
具体地，可通过采用卷积神经网络算法对可见光图像特征和红外光图像特征进行提取，但实际情况不限于此，为准确提取可见光图像特征和红外光图像特征而进行提取算法类型和数量的改变，也在本发明实施例提供的电网设备热缺陷识别方法的保护范围之内。
具体地，在实际应用中，本发明实施例会对待识别电网设备的图像进行采集和预处理，如图6所示，具体处理过程如下：
通过可见光传感器和红外传感器分别获取待识别电网设备的可见光图像和红外光图像，将两种图像进行配准，若两种图像分辨率不同，则需要进行图像尺寸的缩放、裁剪，从而得到相匹配的可见光图像和红外光图像，在此基础上，分别从可见光图像和红外光图像中提取可见光图像特征和红外光图像特征，大幅提高后续对待识别电网设备进行热缺陷识别，最终得到热缺陷识别结果的准确性。
具体地，用于获取可见光图像和红外光图像的设备不限于可见光传感器和红外传感器，为准确获取可见光图像、红外光图像而进行采集设备类型和数量的改变，也在本发明实施例提供的电网设备热缺陷识别方法的保护范围之内。
具体地，在一实施例中，上述步骤S102对可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，具体包括如下步骤：
步骤S301：分别对可见光图像特征和红外光图像特征进行上下文特征提取，得到第一图像特征和第二图像特征。
步骤S302：分别对第一图像特征和第二图像特征进行降维处理，得到第三图像特征和第四图像特征。
步骤S303：分别对第三图像特征和第四图像特征进行特征过滤，提取第三图像特征对应的第一共享特征和和第四图像特征对应的第二共享特征。
步骤S304：将第一共享特征和第二共享特征进行逐元素相加操作，得到合成模态共享特征。
具体地，如图2所示，以可见光图像特征提取模块和红外图像特征提取模块提取的可见光和红外图像特征为输入，通过多层金字塔池化操作分别进行上下文特征提取，同时使用最近邻插值保持不同层特征图的空间尺寸，并通过1×1卷积进行特征降维学习；将降维后的特征通过门控机制进行特征过滤，提取两种模态图像的共享特征；最后，将两种模态过滤后的特征通过逐元素相加操作进行特征融合，获得最终的模态共享特征。
通过将两种图像特征通过多层金字塔池化操作分别进行上下文特征提取得到第一图像特征和第二图像特征，通过最近邻插值保持不同层特征图的空间尺寸，避免造成不同层的空间尺寸变化过大，造成缺陷识别准确性的降低；通过对第一图像特征和第二图像特征进行特征降维，在保留必要图像特征的同时，大幅缩短图像特征的处理时间；通过采用门控机制对第三图像特征和第四图像特征进行特征过滤，提取出具备可见光图像特征的第一共享特征和具备红外光图像特征的第二共享特征，将第一共享特征和第二共享特征进行逐元素相加，得到最终的模态共享特征，避免直接将可见光图像特征和红外光图像特征进行简单特征融合，造成融合后的特征无法为待识别电网设备的热缺陷识别进行指导，通过特征合成子模块对可见光图像特征和红外光图像特征进行有效融合，提高了热缺陷识别的准确性。
具体地，在一实施例中，上述步骤S103从合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征，具体包括如下步骤：
步骤S401：分别对可见光图像特征、合成模态共享特征和红外光图像特征进行上下文特征提取，得到第五图像特征、第六图像特征和第七图像特征。
步骤S402：将第五图像特征和第六图像特征进行逐元素相减操作，得到第一差异特征。
步骤S403：将第七图像特征和第六图像特征进行逐元素相减操作，得到第二差异特征。
步骤S404：从第一差异特征中提取与可见光图像特征互补的特征，得到可见光模态的第一互补特征。
步骤S405：从第二差异特征中提取与红外光图像特征互补的特征，得到红外光模态的第二互补特征。
具体地，在实际应用中，如图3所示，以可见光图像特征、红外光图像特征和合成模态共享特征为输入，同样使用多层金字塔池化操作分别进行上下文特征提取和特征降维学习；然后将合成模态共享特征的上下文特征与可见光图像特征、红外光图像特征的上下文特征分别结合进行特征选择，通过逐元素相减操作获取特定模态与合成模态共享特征之间的差异信息，并使用门控机制选择特定模态的互补特征；最后，将选择后的互补特征与原始特定模态的特征通过逐元素相加操作进行特征融合，获得最终的增强后的可见光和红外图像特征。通过特征层面的跨模态特征交互，有效增强了可见光和红外图像特征的表示能力，提升了电网设备的热缺陷识别精度。
具体地，在一实施例中，上述步骤S104利用第一互补特征对可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对红外光图像特征进行增强，得到增强后的红外光图像特征，具体包括如下步骤：
步骤S501：将第一互补特征与可见光图像特征进行逐元素相加操作，得到增强后的可见光图像特征。
步骤S502：将第二互补特征与红外光图像特征进行逐元素相加操作，得到增强后的红外光图像特征。
具体地，增强后的可见光图像特征和红外光图像特征同时具备可见光图像特征和红外光图像特征，对可见光图像中的纹理信息和红外图像中的热辐射信息进行了有效结合，进而提升了电网设备热缺陷识别的精度。
具体地，在一实施例中，上述步骤S106预设电网设备热缺陷识别模型包括：分类子模型和回归子模型，将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果，具体包括如下步骤：
步骤S601：将融合特征输入分类子模型，得到待识别电网设备的热缺陷类别。
步骤S602：将融合特征输入回归子模型，得到待识别电网设备的热缺陷位置。
具体地，在实际应用中，如图5所示，本发明实施例的预设电网设备热缺陷识别模型训练数据集包含了图像和标签，其中图像包括可见光图像、红外光图像，标签包括缺陷的类别和位置坐标。整个数据集包含了多个图像对(可见光和红外光图像)，每个图像对可以有单个或多个缺陷，对应了多条标签数据。当待识别电网设备的图像对信息输入至训练后的预设电网设备热缺陷识别模型中，可快速实现对待识别电网设备热缺陷类型和位置的确定，大幅提高电网设备的检修效率。
具体地，本发明实施例的预设电网设备热缺陷识别模型为已训练好的识别模型，其中，数据集内的缺陷类别和位置已由人工进行标定，从而保证缺陷类别的准确性。在预设电网设备热缺陷识别模型中，缺陷类别和位置实际存储为多条标签数据，每条数据对应一个缺陷，包括了类别c和位置x,y,w,h。为更好地对缺陷类别和位置进行区分，本发明实施例根据缺陷类别不同，采用不同颜色的矩形框进行标记。具体地，在实际应用中，获取的图像中可以没有缺陷，也可以有单个或多个缺陷。
如图7所示，本发明实施例在进行待识别电网设备的缺陷识别前，首先会对电网设备热缺陷识别模型进行训练，通过对数据集内的图像对进行识别，得到预设缺陷结果，将预设缺陷结果与数据集内该图像对的标签结果进行误差计算，根据误差对电网设备热缺陷识别模型内的参数进行更新，当训练完成时，将更新参数后的电网设备热缺陷识别模型确定为预设电网设备热缺陷识别模型，开始对待识别电网设备进行热缺陷识别。
具体地，在一实施例中，在执行上述步骤S602之后，具体还包括如下步骤：
步骤S701：获取当前热缺陷位置的待识别电网设备的各热缺陷类别的概率结果。
步骤S701：将概率结果进行排序，得到概率结果中的最大概率值。
步骤S702：判断最大概率值是否超过预设阈值。
步骤S703：当最大概率值超过预设阈值时，将最大概率值对应的热缺陷类别确定为待识别电网设备在当前缺陷位置的热缺陷类别。
本发明实施例通过将融合特征输入分类子模型，对待识别电网设备在当前缺陷位置的热缺陷类别进行识别，具体处理过程如下：
定义增强后的特征图为F∈Rw×h×n，分类子模块参数为W∈R1×1×n×c，网络训练完成后W是固定的，其中w、h和n分别为特征图的宽、高和通道数，c为模块输出的缺陷类别数。具体的计算过程如下式所示，其中softmax在通道层面将输出归一化到0-1之间，表示缺陷类别的概率，用于后续的阈值判断。
C＝Softmax(F.W)
Figure BDA0003712825340000181
示例性地，假设F为1x3x3大小，而W为1x1x3x2，缺陷为2个类别，通过计算得到的C的大小为1x3x2，代表3个位置上的缺陷概率。
模块预测为2个类别，所以需要有2个1x1x3的参数对特征图F进行比对，这里以1个类别的参数为例，计算后的大小为1x3。
如图8所示，通过将特征图F第一列与特征图W进行逐元素相加，得到第一位置缺陷预测结果为C1＝0.1×0.2+0.4×0.4+0.7×0.6＝0.6，同理，如图9、图10所示，分别将特征图F第二列与特征图W进行逐元素相加、特征图F第三列与特征图W进行逐元素相加，得到第二位置缺陷预测结果、第三位置缺陷预测结果分别为C2＝0.2×0.2+0.5×0.4+0.8×0.6＝0.72，C3＝0.3×0.2+0.6×0.4+0.9×0.6＝0.84。
通过相同的过程，需要对另一个1x1x3大小的W计算得到另一个1x3大小的输出，对应于另一个缺陷类别，将二者拼接，得到最终的1x3x2大小的输出，用于后续softmax的计算。
具体地，如图11所示，将第一位置(左图第一列)的缺陷类别输出结果进行概率计算，得到：
softmax1(W1)＝e^0.6/(e^0.6+e^0.8)＝0.45
softmax1(W2)＝e^0.8/(e^0.6+e^0.8)＝0.55
同理，如图12、图13所示，分别将第二位置(左图第二列)概率结果进行概率计算、第三位置(左图第三列)概率结果进行概率计算，得到：
softmax2(W1)＝e^0.72/(e^0.72+e^0.3)＝0.6
softmax2(W2)＝e^0.3/(e^0.72+e^0.3)＝0.4
softmax3(W1)＝e^0.84/(e^0.84+e^0.5)＝0.58
softmax3(W1)＝e^0.5/(e^0.84+e^0.5)＝0.42
所以，最终预测得到1x3x2大小的输出，代表了3个位置上2种缺陷的概率。根据排序选择每个位置上最大概率的类别作为当前位置的缺陷类别，本例中3个位置的类别分别为类别二(0.55)、类别一(0.6)、类别一(0.58)，最终通过预设阈值(示例性地，预设阈值可为0.5)过滤掉低概率的预测，所以本例最终的缺陷输出为三个。
本发明实施例通过将融合特征输入回归子模型，将会输出四个参量：矩形框中心点的坐标(x,y)、矩形框的宽w和高h，需要说明的是，模块仅输出缺陷部位矩形框的参量数值，图片中的矩形框显示是通过后处理绘制的。
具体地，定义增强后的特征图为F∈Rw×h×n，回归子模型参数为W∈R1×1×n×4，网络训练完成后W是固定的，其中w、h和n分别为特征图的宽、高和通道数，4为模块输出的矩形框参数x，y，w和h。整体的计算过程与分类子模块类似，只不过不再需要做softmax计算。
通过执行上述步骤，本发明实施例提供的电网热缺陷识别方法，通过将可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，对可见光图像特征以及红外光图像特征进行模态之间的特征信息交互；从合成模态共享特征分别提取出与可见光特征互补的第一互补特征以及与红外光模特征互补的第二互补特征，通过利用第一互补特征对可见光图像特征进行增强，利用第二互补特征对红外光图像特征进行增强，在将可见光图像特征和红外光图像特征进行有效特征融合的同时，弥补各自图像特征的不足；在此基础上对增强后的可见光图像特征和红外光图像特征进行跨模态特征融合，得到融合特征，进一步对图像特征进行有效融合；通过将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果，充分利用融合特征对电网设备热缺陷进行识别，识别效果显著增强的同时，大幅提高电网设备的检修效率。
本发明实施例提供了一种电网设备热缺陷识别装置，如图14所示，该电网设备热缺陷识别装置包括：
获取模块101，用于获取待识别电网设备对应的图像特征，图像特征包括可见光图像特征和红外光图像特征。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第一处理模块102，用于对可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第二处理模块103，用于从合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第三处理模块104，用于利用第一互补特征对可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对红外光图像特征进行增强，得到增强后的红外光图像特征。详细内容参见上述方法实施例中步骤S104的相关描述，在此不再进行赘述。
第四处理模块105，用于对增强后的可见光图像特征和增强后的红外光图像特征进行跨模态特征融合，得到融合特征。详细内容参见上述方法实施例中步骤S105的相关描述，在此不再进行赘述。
执行模块106，用于将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果。详细内容参见上述方法实施例中步骤S106的相关描述，在此不再进行赘述。
上述的电网设备热缺陷识别装置的更进一步描述参见上述电网设备热缺陷识别方法实施例的相关描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的电网设备热缺陷识别装置，通过将可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，对可见光图像特征以及红外光图像特征进行模态之间的特征信息交互；从合成模态共享特征分别提取出与可见光特征互补的第一互补特征以及与红外光模特征互补的第二互补特征，通过利用第一互补特征对可见光图像特征进行增强，利用第二互补特征对红外光图像特征进行增强，在将可见光图像特征和红外光图像特征进行有效特征融合的同时，弥补各自图像特征的不足；在此基础上对增强后的可见光图像特征和红外光图像特征进行跨模态特征融合，得到融合特征，进一步对图像特征进行有效融合；通过将融合特征输入预设电网设备热缺陷识别模型，得到待识别电网设备的热缺陷识别结果，充分利用融合特征对电网设备热缺陷进行识别，识别效果显著增强的同时，大幅提高电网设备的检修效率。
本发明实施例提供了一种电子设备，如图15所示，该电子设备包括处理器901和存储器902，存储器902和处理器901之间互相通信连接，其中处理器901和存储器902可以通过总线或者其他方式连接，图15中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器901的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种电网设备热缺陷识别方法，其特征在于，包括：
获取待识别电网设备对应的图像特征，所述图像特征包括可见光图像特征和红外光图像特征；
对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征；
从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征；
利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征；
对所述增强后的可见光图像特征和所述增强后的红外光图像特征进行跨模态特征融合，得到融合特征；
将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征，包括：
分别对所述可见光图像特征和红外光图像特征进行上下文特征提取，得到第一图像特征和第二图像特征；
分别对所述第一图像特征和所述第二图像特征进行降维处理，得到第三图像特征和第四图像特征；
分别对所述第三图像特征和所述第四图像特征进行特征过滤，提取所述第三图像特征对应的第一共享特征和和所述第四图像特征对应的第二共享特征；
将所述第一共享特征和所述第二共享特征进行逐元素相加操作，得到合成模态共享特征。
3.根据权利要求1所述的方法，其特征在于，所述从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征，包括：
分别对所述可见光图像特征、所述合成模态共享特征和所述红外光图像特征进行上下文特征提取，得到第五图像特征、第六图像特征和第七图像特征；
将所述第五图像特征和所述第六图像特征进行逐元素相减操作，得到第一差异特征；
将所述第七图像特征和所述第六图像特征进行逐元素相减操作，得到第二差异特征；
从所述第一差异特征中提取与所述可见光图像特征互补的特征，得到可见光模态的第一互补特征；
从所述第二差异特征中提取与所述红外光图像特征互补的特征，得到红外光模态的第二互补特征。
4.根据权利要求1所述的方法，其特征在于，所述利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征，包括：
将所述第一互补特征与所述可见光图像特征进行逐元素相加操作，得到增强后的可见光图像特征；
将所述第二互补特征与所述红外光图像特征进行逐元素相加操作，得到增强后的红外光图像特征。
5.根据权利要求1所述的方法，其特征在于，所述获取待识别电网设备对应的图像特征，包括：
获取待识别电网设备的可见光图像和红外光图像；
分别从所述可见光图像和所述红外光图像中提取可见光图像特征和红外光图像特征。
6.根据权利要求1所述的方法，其特征在于，所述预设电网设备热缺陷识别模型包括：分类子模型和回归子模型，所述将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果，包括：
将所述融合特征输入所述分类子模型，得到所述待识别电网设备的热缺陷类别；
将所述融合特征输入所述回归子模型，得到所述待识别电网设备的热缺陷位置。
7.根据权利要求6所述的方法，其特征在于，还包括：
获取当前热缺陷位置的待识别电网设备的各热缺陷类别的概率结果；
将所述概率结果进行排序，得到所述概率结果中的最大概率值；
判断所述最大概率值是否超过预设阈值；
当所述最大概率值超过所述预设阈值时，将所述最大概率值对应的热缺陷类别确定为所述待识别电网设备在当前缺陷位置的热缺陷类别。
8.一种电网设备热缺陷识别装置，其特征在于，包括：
获取模块，用于获取待识别电网设备对应的图像特征，所述图像特征包括可见光图像特征和红外光图像特征；
第一处理模块，用于对所述可见光图像特征和红外光图像特征进行跨模态特征信息交互，得到合成模态共享特征；
第二处理模块，用于从所述合成模态共享特征中分别提取可见光模态的第一互补特征和红外光模态的第二互补特征；
第三处理模块，用于利用第一互补特征对所述可见光图像特征进行增强，得到增强后的可见光图像特征，并利用第二互补特征对所述红外光图像特征进行增强，得到增强后的红外光图像特征；
第四处理模块，用于对所述增强后的可见光图像特征和所述增强后的红外光图像特征进行跨模态特征融合，得到融合特征；
执行模块，用于将所述融合特征输入预设电网设备热缺陷识别模型，得到所述待识别电网设备的热缺陷识别结果。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行如权利要求1-7中任一项所述的方法。
CN202210729999.8A 2022-06-24 2022-06-24 一种电网设备热缺陷识别方法及装置 Active CN115115919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210729999.8A CN115115919B (zh) 2022-06-24 2022-06-24 一种电网设备热缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210729999.8A CN115115919B (zh) 2022-06-24 2022-06-24 一种电网设备热缺陷识别方法及装置

Publications (2)

Publication Number Publication Date
CN115115919A true CN115115919A (zh) 2022-09-27
CN115115919B CN115115919B (zh) 2023-05-05

Family

ID=83331171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210729999.8A Active CN115115919B (zh) 2022-06-24 2022-06-24 一种电网设备热缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN115115919B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661068A (zh) * 2022-10-21 2023-01-31 广州科易光电技术有限公司 气体泄漏检测方法及装置、设备、存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418163A (zh) * 2020-12-09 2021-02-26 北京深睿博联科技有限责任公司 一种多光谱目标检测导盲系统
CN112597866A (zh) * 2020-12-16 2021-04-02 南京邮电大学 一种基于知识蒸馏的可见光-红外跨模态行人重识别方法
CN112668648A (zh) * 2020-12-29 2021-04-16 西安电子科技大学 基于对称融合网络的红外可见光融合识别方法
CN112734692A (zh) * 2020-12-17 2021-04-30 安徽继远软件有限公司 一种变电设备缺陷识别方法及装置
CN112991350A (zh) * 2021-02-18 2021-06-18 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法
CN113112403A (zh) * 2021-03-31 2021-07-13 国网山东省电力公司枣庄供电公司 一种红外图像拼接方法、系统、介质及电子设备
CN113688806A (zh) * 2021-10-26 2021-11-23 南京智谱科技有限公司 一种红外与可见光图像融合的多光谱目标检测方法及系统
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113850324A (zh) * 2021-09-24 2021-12-28 郑州大学 一种基于Yolov4的多光谱目标检测方法
CN114220124A (zh) * 2021-12-16 2022-03-22 华南农业大学 一种近红外-可见光跨模态双流行人重识别方法及系统
CN114445461A (zh) * 2022-01-26 2022-05-06 安徽大学 基于非配对数据的可见光红外目标跟踪训练方法及装置
CN114565973A (zh) * 2022-02-25 2022-05-31 全球能源互联网研究院有限公司 一种动作识别系统、方法、装置及模型训练方法、装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418163A (zh) * 2020-12-09 2021-02-26 北京深睿博联科技有限责任公司 一种多光谱目标检测导盲系统
CN112597866A (zh) * 2020-12-16 2021-04-02 南京邮电大学 一种基于知识蒸馏的可见光-红外跨模态行人重识别方法
CN112734692A (zh) * 2020-12-17 2021-04-30 安徽继远软件有限公司 一种变电设备缺陷识别方法及装置
CN112668648A (zh) * 2020-12-29 2021-04-16 西安电子科技大学 基于对称融合网络的红外可见光融合识别方法
CN112991350A (zh) * 2021-02-18 2021-06-18 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法
CN113112403A (zh) * 2021-03-31 2021-07-13 国网山东省电力公司枣庄供电公司 一种红外图像拼接方法、系统、介质及电子设备
CN113705400A (zh) * 2021-08-18 2021-11-26 中山大学 一种基于多模态人脸训练的单模态人脸活体检测方法
CN113850324A (zh) * 2021-09-24 2021-12-28 郑州大学 一种基于Yolov4的多光谱目标检测方法
CN113688806A (zh) * 2021-10-26 2021-11-23 南京智谱科技有限公司 一种红外与可见光图像融合的多光谱目标检测方法及系统
CN114220124A (zh) * 2021-12-16 2022-03-22 华南农业大学 一种近红外-可见光跨模态双流行人重识别方法及系统
CN114445461A (zh) * 2022-01-26 2022-05-06 安徽大学 基于非配对数据的可见光红外目标跟踪训练方法及装置
CN114565973A (zh) * 2022-02-25 2022-05-31 全球能源互联网研究院有限公司 一种动作识别系统、方法、装置及模型训练方法、装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661068A (zh) * 2022-10-21 2023-01-31 广州科易光电技术有限公司 气体泄漏检测方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN115115919B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
WO2020207166A1 (zh) 一种物体检测方法、装置、电子设备和存储介质
CN107784654B (zh) 图像分割方法、装置及全卷积网络系统
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN112183788A (zh) 一种域自适应设备运检系统和方法
EP4283560A2 (en) Diagnosis assisting device, image processing method in diagnosis assisting device, and computer program
CN117670820B (zh) 一种塑料薄膜生产缺陷检测方法及系统
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN115115919B (zh) 一种电网设备热缺陷识别方法及装置
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN112613107A (zh) 杆塔工程确定施工进度的方法、装置、存储介质及设备
CN116012332A (zh) 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质
CN106651803B (zh) 户型数据的识别方法及装置
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN113496148A (zh) 一种多源数据融合方法及系统
CN112329649B (zh) 一种城市植被种类识别方法、系统、设备以及介质
CN116681687B (zh) 基于计算机视觉的导线检测方法、装置和计算机设备
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116993933A (zh) 应急场景下的实景地图构建方法、装置、设备及存储介质
CN111985471A (zh) 一种车牌定位方法、装置及存储介质
CN116009581A (zh) 输电线路的无人机巡检方法、无人机控制终端及存储介质
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN113420919B (zh) 基于无人机视觉感知的工程异常管控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant