CN116503300B - 一种电力设备的图像融合方法、系统、设备和介质 - Google Patents
一种电力设备的图像融合方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN116503300B CN116503300B CN202310746138.5A CN202310746138A CN116503300B CN 116503300 B CN116503300 B CN 116503300B CN 202310746138 A CN202310746138 A CN 202310746138A CN 116503300 B CN116503300 B CN 116503300B
- Authority
- CN
- China
- Prior art keywords
- feature
- infrared
- visible light
- image
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 101
- 230000007246 mechanism Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 158
- 238000005070 sampling Methods 0.000 claims description 52
- 230000006835 compression Effects 0.000 claims description 49
- 238000007906 compression Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 49
- 238000010586 diagram Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种电力设备的图像融合方法、系统、设备和介质，通过当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。通过多尺度注意机制特征融合方法实现不同模态和不同尺度特征之间的交互，加强多模态图像源和多尺度的特征融合，提高融合图像的目标细节。
Description
技术领域
本发明涉及电力设备技术领域，尤其涉及电力设备的图像融合方法、系统、设备和介质。
背景技术
为了保证电力系统的稳定运行，有必要定期对电力设备进行检查。智能巡检机器人在电力线、火电发电、智能变电站等方面的应用研究取得了很大进展。目前电力工业以推广无人机巡检、智能机器人巡检等为主。由于智能传感器的广泛应用，许多智能系统得以实现，如高压变电站无人操作、站运维智能化全覆盖、设备24小时运行等，这些领域高度融合了监控、检测、运维、检修、安防等方面的智能技术。
为了保证变电站的正常运行，有必要在电力设备上部署检测系统。然而，目前的电力设备的图像融合系统仍然存在许多缺陷，如板载电池容量有限、线路故障检测不可靠、电磁屏蔽等。在这方面，采用目标检测和图像融合的电力设备的图像融合能够很好地弥补以上问题。
目标检测是机器视觉的一个热门领域，其目的是设计一种模型，使计算机能够独立地在输入图像中找到目标。但现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低。
发明内容
本发明提供了一种电力设备的图像融合方法、系统、设备和介质，解决了现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低的技术问题。
本发明提供的一种电力设备的图像融合方法，应用于图像融合模型，所述方法包括：
当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；
采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；
采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；
采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集。
可选地，所述图像组包括红外图像和对应的可见光图像；所述分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集的步骤，包括：
将所述红外图像和所述可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征；
将所述红外浅层特征和所述可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征；
将所述红外中层特征和所述可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征；
采用所述红外浅层特征、所述可见光浅层特征、所述红外中层特征、所述可见光中层特征、所述红外深层特征和所述可见光深层特征，构建所述图像组对应的特征集。
可选地，所述特征集包括多个特征组；所述采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集的步骤，包括：
分别将所述特征组进行通道注意力机制特征检测，生成通道注意力输出特征图；
所述通道注意力输出特征图为：
；
式中，为通道注意力输出特征图；/>为第i个输入特征通道c的特征；/>为全局平均池化；/>、/>分别为两层全连接；/>为Sigmoid激活函数；
分别将所述特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图；
所述空间注意力输出特征图为：
；
式中，为空间注意力输出特征图；/>为第i个输入特征通道c的特征；/>为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作；
采用所述通道注意力输出特征图和所述空间注意力输出特征图进行元素级相乘，生成所述特征组对应的注意力输出特征；
采用全部所述注意力输出特征，构建注意力输出特征集。
可选地，所述采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像的步骤，包括：
采用所述红外深层特征和所述可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征；
采用所述红外采样特征、所述可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征；
将所述第三红外堆叠特征和所述第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征；
采用所述红外压缩特征和所述可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。
可选地，所述注意力输出特征集包括浅层注意力输出特征、中层注意力输出特征和深层注意力输出特征；所述采用所述红外采样特征、所述可见光采样特征和所述注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征的步骤，包括：
将所述红外采样特征和所述可见光采样特征分别输入对应的第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特征；
采用所述第一红外提取特征和所述第一可见光提取特征分别与所述深层注意力输出特征进行堆叠，生成第一红外堆叠特征和第一可见光堆叠特征；
将所述第一红外堆叠特征和所述第一可见光堆叠特征分别输入对应的第五预设特征提取模块进行特征提取，生成第二红外提取特征和第二可见光提取特征；
采用所述第二红外提取特征和所述第二可见光提取特征分别与所述中层注意力输出特征进行堆叠，生成第二红外堆叠特征和第二可见光堆叠特征；
将所述第二红外堆叠特征和所述第二可见光堆叠特征分别输入对应的第六预设特征提取模块进行特征提取，生成第三红外提取特征和第三可见光提取特征；
采用所述第三红外提取特征和所述第三可见光提取特征分别与所述浅层注意力输出特征进行堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
可选地，所述采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集的步骤，包括：
分别将所述红外重建图像和对应的红外图像输入红外判别器进行推土机距离计算，生成红外图像距离；
分别将所述可见光重建图像和对应的可见光图像输入可见光判别器进行推土机距离计算，生成可见光图像距离；
当所述红外图像距离和所述可见光图像距离都满足预设距离阈值时，采用所述电力设备可见光图像和对应的红外重建图像进行元素级相加，生成可见光与红外融合图像；
采用全部所述可见光与红外融合图像，构建所述电力设备对应的可见光与红外融合图像集。
本发明还提供了一种电力设备的图像融合系统，应用于图像融合模型，所述系统包括：
特征集生成模块，用于当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；
注意力输出特征集生成模块，用于采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；
红外重建图像和可见光重建图像生成模块，用于采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；
可见光与红外融合图像集构建模块，用于采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集。
可选地，所述图像组包括红外图像和对应的可见光图像；所述特征集生成模块包括：
红外浅层特征和可见光浅层特征生成模块，用于将所述红外图像和所述可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征；
红外中层特征和可见光中层特征生成模块，用于将所述红外浅层特征和所述可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征；
红外深层特征和可见光深层特征生成模块，用于将所述红外中层特征和所述可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征；
特征集生成子模块，用于采用所述红外浅层特征、所述可见光浅层特征、所述红外中层特征、所述可见光中层特征、所述红外深层特征和所述可见光深层特征，构建所述图像组对应的特征集。
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行实现如上述任一项电力设备的图像融合方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项电力设备的图像融合方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。解决了现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低的技术问题。通过多尺度注意机制特征融合方法实现不同模态和不同尺度特征之间的交互，加强多模态图像源和多尺度的特征融合，提高图像融合模型使电力设备可见光与红外融合图像的目标细节。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种电力设备的图像融合方法的步骤流程图；
图2为本发明实施例二提供的一种电力设备的图像融合方法的步骤流程图；
图3为本发明实施例二中提供的编码器模块的结构示意图；
图4为本发明实施例二中提供的特征融合模块的结构示意图；
图5为本发明实施例二中提供的解码器模块的结构示意图；
图6为本发明实施例二中提供的GAN-ERNet的总体结构示意图；
图7为本发明实施例四提供的一种电力设备的图像融合系统的结构框图。
具体实施方式
本发明实施例提供了一种电力设备的图像融合方法、系统、设备和介质，用于解决现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种电力设备的图像融合方法的步骤流程图。
本发明实例一提供的一种电力设备的图像融合方法，应用于图像融合模型，方法包括：
步骤101、当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。
在本发明实施例中，当接收到电力设备的可见光与红外图像集时，将红外图像和可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征。将红外浅层特征和可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征。将红外中层特征和可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征。采用红外浅层特征、可见光浅层特征、红外中层特征、可见光中层特征、红外深层特征和可见光深层特征，构建图像组对应的特征集。
步骤102、采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。
在本发明实施例中，分别将特征组进行通道注意力机制特征检测，生成通道注意力输出特征图。分别将特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图。采用通道注意力输出特征图和空间注意力输出特征图进行元素级相乘，生成特征组对应的注意力输出特征。采用全部注意力输出特征，构建注意力输出特征集。
步骤103、采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。
在本发明实施例中，采用红外深层特征和可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征。采用红外采样特征、可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。将第三红外堆叠特征和第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征。采用红外压缩特征和可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。
步骤104、采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。
在本发明实施例中，分别将红外重建图像和对应的红外图像输入红外判别器进行推土机距离计算，生成红外图像距离。分别将可见光重建图像和对应的可见光图像输入可见光判别器进行推土机距离计算，生成可见光图像距离。当红外图像距离和可见光图像距离都满足预设距离阈值时，采用电力设备可见光图像和对应的红外重建图像进行元素级相加，生成可见光与红外融合图像。采用全部可见光与红外融合图像，构建电力设备对应的可见光与红外融合图像集。
在本发明实施例中，通过当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。解决了现有的目标检测方法仅使用可见光或红外传感器的图像进行检测，两种图像只能分别进行显示，无法对两种图像进行融合显示，导致图像的显示质量低的技术问题。通过多尺度注意机制特征融合方法实现不同模态和不同尺度特征之间的交互，加强多模态图像源和多尺度的特征融合，提高图像融合模型使电力设备可见光与红外融合图像的目标细节。
请参阅图2，图2为本发明实施例二提供的一种电力设备的图像融合方法的步骤流程图。
图像融合模型包括基于ERNet设计GAN生成器中的编码器模块、多尺度注意力机制特征的融合模块、基于ERNet设计GAN生成器中的解码器模块、可见光判别器和红外判别器/>。
如图3所示，基于ERNet设计GAN生成器中的编码器模块包括第一预设特征提取模块、第二预设特征提取模块和第三预设特征提取模块。第一预设特征提取模块由两个CBL_1模块组成，CBL_1模块包括卷积核大小为3×3和步长为1的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数。
第二预设特征提取模块由一个CBL_2模块和CBL_1模块组成，CBL_2模块包括卷积核大小为3×3和步长为2的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数。CBL_1模块包括卷积核大小为3×3和步长为1的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数。第三预设特征提取模块与第二预设特征提取模块结构相同。
如图4所示，多尺度注意力机制特征融合模块包括多个全局平均池化模块、多个FC全连接层、多个Leaky_ReLU激活函数、多个Sigmoid激活函数、多个全卷积层Conv（3×3）、特征堆叠操作层Concat。
如图5所示，基于ERNet设计GAN生成器中的解码器模块包括多个上采样层、第四预设特征提取模块、第五预设特征提取模块、第六预设特征提取模块、预设特征压缩模块和预设卷积层。其中，第四预设特征提取模块、第五预设特征提取模块和第六预设特征提取模块为由CBL_1模块构成的特征提取模块。预设特征压缩模块为由两个CBL_1模块构成的特征压缩模块。预设卷积层为3×3的Conv卷积层。解码器模块中的CBL_1模块与编码器模块中的CBL_1模块结构相同。
如图6的GAN-ERNet的总体结构示意图所示，可以采用基于ERNet设计GAN生成器中的编码器模块、多尺度注意力机制的特征融合模块和基于ERNet设计GAN生成器中的解码器模块看做一个生成器，将其输出分别输入可见光判别器和红外判别器/>进行判断。
本发明实例二提供的另一种电力设备的图像融合方法，应用于图像融合模型，方法包括：
步骤201、当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。
进一步地，图像组包括红外图像和对应的可见光图像，步骤201可以包括以下子步骤S11-S14：
S11、将红外图像和可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征。
S12、将红外浅层特征和可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征。
S13、将红外中层特征和可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征。
S14、采用红外浅层特征、可见光浅层特征、红外中层特征、可见光中层特征、红外深层特征和可见光深层特征，构建图像组对应的特征集。
在本发明实施例中，通过多功能相机拍摄电力设备运行过程中的可见光与红外图像，拍摄时在相同的拍摄角度、光照情况、天气情况下进行，形成可见光与红外一对图像，然后选择不同的拍摄角度、时间、不同的电力设备，收集大量电力设备可见光图像与红外图像对。最终，通过人工筛选出后确定最后电力设备可见光图像与红外图像各500张，一一对应，共计1000张图像，从而构建得到可见光与红外图像集。
如图3所示，将可见光与红外图像集中各图像组的红外图像和对应的可见光图像分别输入至编码器模块中，其结构是基于ERNet设计的新编码器，可见光图像和红外图像分别输入对应的编码器中，首先，会通过CBL_1模块进行特征初步提取，然后，继续通过一个CBL_1模块进行处理后提取图像的可见光浅层特征和红外浅层特征/>，再通过CBL_2模块进行特征宽高压缩和通道扩张，再继续通过CBL_1模块处理后提取图像的可见光中层特征/>和红外中层特征/>。接着，通过CBL_2模块进行特征宽高压缩和通道扩张，再继续通过CBL_1模块处理后提取图像的可见光深层特征/>和红外深层特征/>。最后，采用红外浅层特征、可见光浅层特征、红外中层特征、可见光中层特征、红外深层特征和可见光深层特征，构建图像组对应的特征集。同理，按照上述步骤分别获取可见光与红外图像集中各图像组对应的特征集。
步骤202、采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。
进一步地，特征集包括多个特征组，步骤202可以包括以下子步骤S21-S24：
S21、分别将特征组进行通道注意力机制特征检测，生成通道注意力输出特征图。
通道注意力输出特征图为：
；
式中，为通道注意力输出特征图；/>为第i个输入特征通道c的特征（i=1为/>，i=2为/>；/>为全局平均池化；/>、/>分别为两层全连接；/>为Sigmoid激活函数。
S22、分别将特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图。
空间注意力输出特征图为：
；
式中，为空间注意力输出特征图；/>为第i个输入特征通道c的特征（i=1为F'1，i=2为F1）；/>为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作。
S23、采用通道注意力输出特征图和空间注意力输出特征图进行元素级相乘，生成特征组对应的注意力输出特征。
S24、采用全部注意力输出特征，构建注意力输出特征集。
在本发明实施例中，基于多尺度注意机制特征融合方法构建GAN-ERNet网络的特征融合模块，加强多模态图像源和多尺度的特征融合，提高模型电力设备可见光与红外图像融合的目标细节，其结构如图4所示。多尺度注意机制的特征融合模块主要就是通过注意力机制对可见光电力设备图像的浅层、中层、深层三种尺度的特征信息与红外电力设备图像的浅层、中层、深层三种尺度的特征信息分别进行处理，然后对应相加，实现可见光与红外电力设备图像的多模态多尺度的特征融合。多尺度注意力机制（MSA注意力机制）原理就是通过通道注意力（Channel Attention）和空间注意力（Spatial Attention）对输入电力设备可见光与红外图像的浅层、中层、深层三种尺度特征进行处理。最终MSA注意力输出特征定义为：
；
式中，表示元素级相乘；当输入可见光浅层特征/>和红外浅层特征/>时，即为/>；当可见光中层特征/>和红外中层特征/>时，/>即为/>；当输入可见光深层特征/>和红外深层特征/>时，/>即为/>。
步骤203、采用红外深层特征和可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征。
在本发明实施例中，在编码器模块中，将提取的红外深层特征和可见光深层特征/>分别输入对应的解码结构中，分别首先经历上采样处理，生成红外采样特征和可见光采样特征。
步骤204、采用红外采样特征、可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
进一步地，注意力输出特征集包括浅层注意力输出特征、中层注意力输出特征和深层注意力输出特征，步骤204可以包括以下子步骤S31-S34：
S31、将红外采样特征和可见光采样特征分别输入对应的第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特征。
S32、采用第一红外提取特征和第一可见光提取特征分别与深层注意力输出特征进行堆叠，生成第一红外堆叠特征和第一可见光堆叠特征。
S33、将第一红外堆叠特征和第一可见光堆叠特征分别输入对应的第五预设特征提取模块进行特征提取，生成第二红外提取特征和第二可见光提取特征。
S34、采用第二红外提取特征和第二可见光提取特征分别与中层注意力输出特征进行堆叠，生成第二红外堆叠特征和第二可见光堆叠特征。
S35、将第二红外堆叠特征和第二可见光堆叠特征分别输入对应的第六预设特征提取模块进行特征提取，生成第三红外提取特征和第三可见光提取特征。
S36、采用第三红外提取特征和第三可见光提取特征分别与浅层注意力输出特征进行堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
在本发明实施例中，如图5所示，在编码器模块中，将提取的可见光深层特征和红外深层特征/>分别输入对应的解码结构中，分别首先经历上采样处理后得到的红外采样特征和可见光采样特征分别输入至一个CBL_1模块即通过第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特征。采用生成第一红外提取特征和第一可见光提取特征分别与深层注意力输出特征/>进行Concat堆叠，生成第一红外堆叠特征和第一可见光堆叠特征。然后第一红外堆叠特征和第一可见光堆叠特征分别再输入至一个CBL_1模块即通过第五预设特征提取模块进行特征提取，生成第二红外提取特征和第二可见光提取特征。采用生成第二红外提取特征和第二可见光提取特征再分别与中层注意力输出特征/>进行Concat堆叠，生成第二红外堆叠特征和第二可见光堆叠特征。采用生成第二红外堆叠特征和第二可见光堆叠特征同样输入至一个CBL_1模块即通过第六预设特征提取模块进行特征提取，生成第三红外提取特征和第三可见光提取特征。采用第三红外提取特征和第三可见光提取特征再分别与浅层注意力输出特征/>进行Concat堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
步骤205、将第三红外堆叠特征和第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征。
在本发明实施例中，采用第三红外堆叠特征和第三可见光堆叠特征经过两个CBL_1模块即预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征。
步骤206、将红外压缩特征和可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。
在本发明实施例中，将红外压缩特征和可见光压缩特征分别输入3×3的Conv卷积层中进行图像重建，分别获得对应的红外重建图像和可见光重建图像/>。
步骤207、采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。
进一步地，步骤207可以包括以下子步骤S41-S44：
S41、分别将红外重建图像和对应的红外图像输入红外判别器进行推土机距离计算，生成红外图像距离。
S42、分别将可见光重建图像和对应的可见光图像输入可见光判别器进行推土机距离计算，生成可见光图像距离。
S43、当红外图像距离和可见光图像距离都满足预设距离阈值时，采用电力设备可见光图像和对应的红外重建图像进行元素级相加，生成可见光与红外融合图像。
S44、采用全部可见光与红外融合图像，构建电力设备对应的可见光与红外融合图像集。
在本发明实施例中，如图6所示，红外图像和对应的可见光图像/>输入由基于ERNet设计GAN生成器中的编码器模块、多尺度注意力机制特征融合模块和基于ERNet设计GAN生成器中的解码器模块组成的生成器进行图像处理后，生成红外重建图像/>和对应的可见光重建图像/>。并将其分别输入至对应的可见光判别器/>和红外判别器/>中进行判断，即通过计算虚拟重建的电力设备可见光与红外图像和对应输入的电力设备可见光与红外图像的Wasserstein距离，生成红外图像距离和可见光图像距离，并分别判断其是否满足预先设置的阈值即预设距离阈值，若满足阈值，则表明生成器生成的图像接近真实的输入可见光与红外图像，再通过以下公式便可获得电力设备可见光与红外融合图像：
；
式中，表示元素级相加；/>为重建的电力设备可见光与红外融合图像；/>为可见光重建图像；/>为红外重建图像。
最后，采用全部可见光与红外融合图像，构建电力设备对应的可见光与红外融合图像集。
在本发明实施例中，通过当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。特征集包括多个特征组，生成注意力输出特征集。采用红外深层特征和可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征。采用红外采样特征、可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。将第三红外堆叠特征和第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征。将红外压缩特征和可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。提出多尺度注意机制特征融合方法改进生成对抗网络GAN中的生成器结构，实现不同模态和不同尺度感受野特征之间的交互，加强多模态图像源和多尺度的特征融合，提高模型电力设备可见光与红外融合图像的目标细节。基于提取和重建网络(ERNet)改进原始GAN网络，构建出GAN-ERNet电力设备可见光与红外图像融合模型，其中生成器中的解码器能够保留电力设备的亮度信息和纹理细节，稳定地将编码器提取的特征重构为高质量的融合图像。提出的电力设备可见光与红外图像融合方法能够实现高质量图像融合，突出电力设备的可视化细节特征，为后续电力设备故障诊断与检测提供技术支撑，从而提高电力系统安全稳定运行。
实例三
当接收到电力设备的可见光与红外图像集时，首先，将可见光与红外图像集按照7:2:1的比例划分为训练集、验证集和测试集。其次，将训练集和验证集图像输入至GAN-ERNet网络模型中进行训练，设置归一化图像大小尺寸为256×256，设置Adam优化器中的动量为0.935，训练轮次为100轮，学习率为0.0001，批大小为8。再者，将测试集中50对电力设备红外和可见光图像输入至训练好的GAN-ERNet网络模型中进行测试，获得其对应的50张电力设备可见光与红外融合图像。最后，计算信息熵(EN)、结构相似性(SSIM)、人类视觉感知的视觉逼真度(VIF)、源图像和融合图像的相关系数(CC)四个指标，用以定量描述模型生成的电力设备可见光与红外融合图像的具体质量。其结果如表1所示。
请参阅图7，图7为本发明实施例四提供的一种电力设备的图像融合系统的结构框图。
本发明实例三提供的一种电力设备的图像融合系统，应用于图像融合模型，系统包括：
特征集生成模块701，用于当接收到电力设备的可见光与红外图像集时，分别对可见光与红外图像集中各图像组进行特征提取，生成图像组对应的特征集。
注意力输出特征集生成模块702，用于采用特征集进行多尺度注意力机制特征融合，生成注意力输出特征集。
红外重建图像和可见光重建图像生成模块703，用于采用特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像。
可见光与红外融合图像集构建模块704，用于采用全部红外重建图像和对应的可见光重建图像进行推土机距离计算，构建电力设备对应的可见光与红外融合图像集。
可选地，图像组包括红外图像和对应的可见光图像；特征集生成模块701包括：
红外浅层特征和可见光浅层特征生成模块，用于将红外图像和可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征。
红外中层特征和可见光中层特征生成模块，用于将红外浅层特征和可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征。
红外深层特征和可见光深层特征生成模块，用于将红外中层特征和可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征。
特征集生成子模块，用于采用红外浅层特征、可见光浅层特征、红外中层特征、可见光中层特征、红外深层特征和可见光深层特征，构建图像组对应的特征集。
可选地，特征集包括多个特征组，注意力输出特征集生成模块702包括：
通道注意力输出特征图生成模块，用于分别将特征组进行通道注意力机制特征检测，生成通道注意力输出特征图。
通道注意力输出特征图为：
；
式中，为通道注意力输出特征图；/>为第i个输入特征通道c的特征；/>为全局平均池化；/>、/>分别为两层全连接；/>为Sigmoid激活函数。
空间注意力输出特征图生成模块，用于分别将特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图。
空间注意力输出特征图为：
；
式中，为空间注意力输出特征图；/>为第i个输入特征通道c的特征；/>为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作。
注意力输出特征生成模块，用于采用通道注意力输出特征图和空间注意力输出特征图进行元素级相乘，生成特征组对应的注意力输出特征。
注意力输出特征集生成子模块，用于采用全部注意力输出特征，构建注意力输出特征集。
可选地，红外重建图像和可见光重建图像生成模块703包括：
红外采样特征和可见光采样特征生成模块，用于采用红外深层特征和可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征。
第三红外堆叠特征和第三可见光堆叠特征生成模块，用于采用红外采样特征、可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
红外压缩特征和可见光压缩特征生成模块，用于将第三红外堆叠特征和第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征。
红外重建图像和可见光重建图像生成子模块，用于采用红外压缩特征和可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。
可选地，注意力输出特征集包括浅层注意力输出特征、中层注意力输出特征和深层注意力输出特征。第三红外堆叠特征和第三可见光堆叠特征生成模块可以执行以下步骤：
将红外采样特征和可见光采样特征分别输入对应的第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特征；
采用第一红外提取特征和第一可见光提取特征分别与深层注意力输出特征进行堆叠，生成第一红外堆叠特征和第一可见光堆叠特征；
将第一红外堆叠特征和第一可见光堆叠特征分别输入对应的第五预设特征提取模块进行特征提取，生成第二红外提取特征和第二可见光提取特征；
采用第二红外提取特征和第二可见光提取特征分别与中层注意力输出特征进行堆叠，生成第二红外堆叠特征和第二可见光堆叠特征；
将第二红外堆叠特征和第二可见光堆叠特征分别输入对应的第六预设特征提取模块进行特征提取，生成第三红外提取特征和第三可见光提取特征；
采用第三红外提取特征和第三可见光提取特征分别与浅层注意力输出特征进行堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
可选地，可见光与红外融合图像集构建模块704包括：
红外图像距离生成模块，用于分别将红外重建图像和对应的红外图像输入红外判别器进行推土机距离计算，生成红外图像距离。
可见光图像距离生成模块，用于分别将可见光重建图像和对应的可见光图像输入可见光判别器进行推土机距离计算，生成可见光图像距离。
可见光与红外融合图像生成模块，用于当红外图像距离和可见光图像距离都满足预设距离阈值时，采用电力设备可见光图像和对应的红外重建图像进行元素级相加，生成可见光与红外融合图像。
可见光与红外融合图像集构建子模块，用于采用全部可见光与红外融合图像，构建电力设备对应的可见光与红外融合图像集。
本发明实施例还提供了一种电子设备，电子设备包括：存储器及处理器，存储器中储存有计算机程序；计算机程序被处理器执行时，使得处理器执行如上述任一实施例的电力设备的图像融合方法。
存储器可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘（CD）、存储卡或者软盘之类的程序代码载体。程序代码可以例如以适当形式进行压缩。这些代码当由计算处理设备运行时，导致该计算处理设备执行上面所描述的电力设备的图像融合方法中的各个步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一实施例的电力设备的图像融合方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种电力设备的图像融合方法，其特征在于，应用于图像融合模型，所述方法包括：
当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；
采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；
采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；
采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集；
所述图像组包括红外图像和对应的可见光图像；所述分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集的步骤，包括：
将所述红外图像和所述可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征；
将所述红外浅层特征和所述可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征；
将所述红外中层特征和所述可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征；
采用所述红外浅层特征、所述可见光浅层特征、所述红外中层特征、所述可见光中层特征、所述红外深层特征和所述可见光深层特征，构建所述图像组对应的特征集；
所述第一预设特征提取模块由两个CBL_1模块组成，所述CBL_1模块包括卷积核大小为3×3和步长为1的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数；所述第二预设特征提取模块和所述第三预设特征提取模块分别由一个CBL_2模块和所述CBL_1模块组成，所述CBL_2模块包括卷积核大小为3×3和步长为2的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数；
所述特征集包括多个特征组；所述采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集的步骤，包括：
分别将所述特征组进行通道注意力机制特征检测，生成通道注意力输出特征图；
所述通道注意力输出特征图为：
；
式中，为通道注意力输出特征图；/>为第i个输入特征通道c的特征；/>为全局平均池化；/>、/>分别为两层全连接；/>为Sigmoid激活函数；
分别将所述特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图；
所述空间注意力输出特征图为：
；
式中，为空间注意力输出特征图；/>为第i个输入特征通道c的特征；/>为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作；
采用所述通道注意力输出特征图和所述空间注意力输出特征图进行元素级相乘，生成所述特征组对应的注意力输出特征；
采用全部所述注意力输出特征，构建注意力输出特征集。
2.根据权利要求1所述的电力设备的图像融合方法，其特征在于，所述采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像的步骤，包括：
采用所述红外深层特征和所述可见光深层特征分别进行上采样，生成红外采样特征和可见光采样特征；
采用所述红外采样特征、所述可见光采样特征和对应的注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征；
将所述第三红外堆叠特征和所述第三可见光堆叠特征分别输入对应的预设特征压缩模块进行特征压缩，生成红外压缩特征和可见光压缩特征；
采用所述红外压缩特征和所述可见光压缩特征分别输入对应的预设卷积层进行图像重建，生成红外重建图像和可见光重建图像。
3.根据权利要求2所述的电力设备的图像融合方法，其特征在于，所述注意力输出特征集包括浅层注意力输出特征、中层注意力输出特征和深层注意力输出特征；所述采用所述红外采样特征、所述可见光采样特征和所述注意力输出特征集进行特征堆叠，生成第三红外堆叠特征和第三可见光堆叠特征的步骤，包括：
将所述红外采样特征和所述可见光采样特征分别输入对应的第四预设特征提取模块进行特征提取，生成第一红外提取特征和第一可见光提取特征；
采用所述第一红外提取特征和所述第一可见光提取特征分别与所述深层注意力输出特征进行堆叠，生成第一红外堆叠特征和第一可见光堆叠特征；
将所述第一红外堆叠特征和所述第一可见光堆叠特征分别输入对应的第五预设特征提取模块进行特征提取，生成第二红外提取特征和第二可见光提取特征；
采用所述第二红外提取特征和所述第二可见光提取特征分别与所述中层注意力输出特征进行堆叠，生成第二红外堆叠特征和第二可见光堆叠特征；
将所述第二红外堆叠特征和所述第二可见光堆叠特征分别输入对应的第六预设特征提取模块进行特征提取，生成第三红外提取特征和第三可见光提取特征；
采用所述第三红外提取特征和所述第三可见光提取特征分别与所述浅层注意力输出特征进行堆叠，生成第三红外堆叠特征和第三可见光堆叠特征。
4.根据权利要求1所述的电力设备的图像融合方法，其特征在于，所述采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集的步骤，包括：
分别将所述红外重建图像和对应的红外图像输入红外判别器进行推土机距离计算，生成红外图像距离；
分别将所述可见光重建图像和对应的可见光图像输入可见光判别器进行推土机距离计算，生成可见光图像距离；
当所述红外图像距离和所述可见光图像距离都满足预设距离阈值时，采用所述电力设备可见光图像和对应的红外重建图像进行元素级相加，生成可见光与红外融合图像；
采用全部所述可见光与红外融合图像，构建所述电力设备对应的可见光与红外融合图像集。
5.一种电力设备的图像融合系统，其特征在于，应用于图像融合模型，所述系统包括：
特征集生成模块，用于当接收到电力设备的可见光与红外图像集时，分别对所述可见光与红外图像集中各图像组进行特征提取，生成所述图像组对应的特征集；
注意力输出特征集生成模块，用于采用所述特征集进行多尺度注意力机制特征融合，生成注意力输出特征集；
红外重建图像和可见光重建图像生成模块，用于采用所述特征集和对应的注意力输出特征集进行图像重建，生成红外重建图像和可见光重建图像；
可见光与红外融合图像集构建模块，用于采用全部所述红外重建图像和对应的可见光重建图像进行推土机距离计算，构建所述电力设备对应的可见光与红外融合图像集；
所述图像组包括红外图像和对应的可见光图像；所述特征集生成模块包括：
红外浅层特征和可见光浅层特征生成模块，用于将所述红外图像和所述可见光图像分别输入对应的第一预设特征提取模块进行特征提取，生成红外浅层特征和可见光浅层特征；
红外中层特征和可见光中层特征生成模块，用于将所述红外浅层特征和所述可见光浅层特征分别输入对应的第二预设特征提取模块进行特征提取，生成红外中层特征和可见光中层特征；
红外深层特征和可见光深层特征生成模块，用于将所述红外中层特征和所述可见光中层特征分别输入对应的第三预设特征提取模块进行特征提取，生成红外深层特征和可见光深层特征；
特征集生成子模块，用于采用所述红外浅层特征、所述可见光浅层特征、所述红外中层特征、所述可见光中层特征、所述红外深层特征和所述可见光深层特征，构建所述图像组对应的特征集；
所述第一预设特征提取模块由两个CBL_1模块组成，所述CBL_1模块包括卷积核大小为3×3和步长为1的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数；所述第二预设特征提取模块和所述第三预设特征提取模块分别由一个CBL_2模块和所述CBL_1模块组成，所述CBL_2模块包括卷积核大小为3×3和步长为2的Conv卷积层、批量正则化BN层、Leaky_ReLU激活函数；
所述特征集包括多个特征组，所述注意力输出特征集生成模块包括：
通道注意力输出特征图生成模块，用于分别将所述特征组进行通道注意力机制特征检测，生成通道注意力输出特征图；
所述通道注意力输出特征图为：
；
式中，为通道注意力输出特征图；/>为第i个输入特征通道c的特征；/>为全局平均池化；/>、/>分别为两层全连接；/>为Sigmoid激活函数；
空间注意力输出特征图生成模块，用于分别将所述特征组进行通道空间注意力机制特征检测，生成空间注意力输出特征图；
所述空间注意力输出特征图为：
；
式中，为空间注意力输出特征图；/>为第i个输入特征通道c的特征；/>为Sigmoid激活函数；Conv1和Conv2分别为两层全卷积；Concat为特征堆叠操作；
注意力输出特征生成模块，用于采用所述通道注意力输出特征图和所述空间注意力输出特征图进行元素级相乘，生成所述特征组对应的注意力输出特征；
注意力输出特征集生成子模块，用于采用全部所述注意力输出特征，构建注意力输出特征集。
6.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4任一项所述的电力设备的图像融合方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4任一项所述的电力设备的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310746138.5A CN116503300B (zh) | 2023-06-25 | 2023-06-25 | 一种电力设备的图像融合方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310746138.5A CN116503300B (zh) | 2023-06-25 | 2023-06-25 | 一种电力设备的图像融合方法、系统、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503300A CN116503300A (zh) | 2023-07-28 |
| CN116503300B true CN116503300B (zh) | 2023-10-03 |
Family
ID=87318658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310746138.5A Active CN116503300B (zh) | 2023-06-25 | 2023-06-25 | 一种电力设备的图像融合方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503300B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717856A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种用于医学成像的超分辨率重建算法 |
| CN113343966A (zh) * | 2021-05-08 | 2021-09-03 | 武汉大学 | 一种红外与可见光图像文本描述生成方法 |
| CN113706406A (zh) * | 2021-08-11 | 2021-11-26 | 武汉大学 | 基于特征空间多分类对抗机制的红外可见光图像融合方法 |
| CN115423734A (zh) * | 2022-11-02 | 2022-12-02 | 国网浙江省电力有限公司金华供电公司 | 一种基于多尺度注意机制的红外与可见光图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291885B (zh) * | 2020-01-20 | 2023-06-09 | 北京百度网讯科技有限公司 | 近红外图像的生成方法、生成网络的训练方法和装置 |
-
2023
- 2023-06-25 CN CN202310746138.5A patent/CN116503300B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717856A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种用于医学成像的超分辨率重建算法 |
| CN113343966A (zh) * | 2021-05-08 | 2021-09-03 | 武汉大学 | 一种红外与可见光图像文本描述生成方法 |
| CN113706406A (zh) * | 2021-08-11 | 2021-11-26 | 武汉大学 | 基于特征空间多分类对抗机制的红外可见光图像融合方法 |
| CN115423734A (zh) * | 2022-11-02 | 2022-12-02 | 国网浙江省电力有限公司金华供电公司 | 一种基于多尺度注意机制的红外与可见光图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| Infrared and Visible Image Fusion via Multi-Discriminators Wasserstein Generative Adversarial Network;Jing Li et al.;《2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA)》;第1-6页 * |
| Jing Li et al..Infrared and visible image fusion using dual discriminators generative adversarial networks with Wasserstein distance .《Information Sciences 》.2020,第28-38页. * |
| 双分支 GAN 与注意力机制的火灾隐患检测算法 .《计算机工程与应用》.2023,第1-14页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503300A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
| CN107483920B (zh) | 一种基于多层级质量因子的全景视频评估方法及系统 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN114742719B (zh) | 一种基于多特征融合的端到端图像去雾方法 | |
| CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| CN109859120A (zh) | 基于多尺度残差网络的图像去雾方法 | |
| CN112419242A (zh) | 基于自注意力机制gan网络的无参考图像质量评价方法 | |
| CN112465718A (zh) | 一种基于生成对抗网络的两阶段图像修复方法 | |
| CN113269722A (zh) | 生成对抗网络的训练方法、及高分辨率图像重建方法 | |
| Liao et al. | Fusion of infrared-visible images in UE-IoT for fault point detection based on GAN | |
| CN115561243B (zh) | 锂电池制备中极片质量监测系统及其方法 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN112132770A (zh) | 图像修复的方法、装置、计算机可读介质及电子设备 | |
| CN112949636A (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| Silva et al. | Light-field imaging reconstruction using deep learning enabling intelligent autonomous transportation system | |
| CN110942097A (zh) | 基于单像素探测器的免成像分类方法和系统 | |
| CN114998667A (zh) | 多光谱目标检测方法、系统、计算机设备及存储介质 | |
| Saypadith et al. | An approach to detect anomaly in video using deep generative network | |
| CN116503300B (zh) | 一种电力设备的图像融合方法、系统、设备和介质 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
| CN117576724A (zh) | 一种无人机飞鸟检测方法、系统、设备和介质 | |
| CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
| CN116843589A (zh) | 遥感图像的融合方法、装置、设备及存储介质 | |
| Falahatnejad et al. | PTSRGAN: Power transmission lines single image super-resolution using a generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |