CN110969634A - 基于生成对抗网络的红外图像电力设备分割方法 - Google Patents

基于生成对抗网络的红外图像电力设备分割方法 Download PDF

Info

Publication number
CN110969634A
CN110969634A CN201911197103.0A CN201911197103A CN110969634A CN 110969634 A CN110969634 A CN 110969634A CN 201911197103 A CN201911197103 A CN 201911197103A CN 110969634 A CN110969634 A CN 110969634A
Authority
CN
China
Prior art keywords
network
image
thermal imaging
semantic segmentation
gan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911197103.0A
Other languages
English (en)
Other versions
CN110969634B (zh
Inventor
严利雄
李茗
刘晓华
司马朝进
陈典丽
陈思哲
刘志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maintenance Branch of State Grid Hubei Electric Power Co Ltd
Original Assignee
Maintenance Branch of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maintenance Branch of State Grid Hubei Electric Power Co Ltd filed Critical Maintenance Branch of State Grid Hubei Electric Power Co Ltd
Priority to CN201911197103.0A priority Critical patent/CN110969634B/zh
Publication of CN110969634A publication Critical patent/CN110969634A/zh
Application granted granted Critical
Publication of CN110969634B publication Critical patent/CN110969634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

基于生成对抗网络的红外图像电力设备分割方法，包括以下步骤：S1：准备网络输入数据；S2：构建生成对抗模型:Cycle‑Gan；S3：设计热成像图像语义分割模型；S4：设计分割网络的损失函数。本发明中，解决对于热成像图像如何消除不同模态数据之间的差异充分利用现有的预训练分割模型，利用生成对抗网络建立不同模态数据之间的联系，使得热成像图像可以充分利用现有的基于自然图像语义分割模型的优势，实现性能更加优越的热成像图像语义分割模型。

Description

基于生成对抗网络的红外图像电力设备分割方法
技术领域
本发明涉及图像处理技术领域，尤其涉及基于生成对抗网络的红外图像电力设备分割方法。
背景技术
对于电力系统，智能巡检机器人、无人机等技术正在逐步替代低效的人工巡检。为了更加全面的监控电力系统中设备的异常，除了在正常光照条件下收集自然图像，在光照条件不理想的情况下通过红外检测及诊断技术收集热成像图像也在被实际运用中被采用。收集的热成像图中包含了设备是否异常的信息，运用人工智能技术实现热成像图像的自动异常检测具有显得尤为重要。要实现热成像图像的智能化分析，对其图像进行语义分割是一个必不可少的步骤。
图像语义分割，是利用计算机视觉技术预测图像每个像素点所属的类别的技术，是一项典型的稠密预测任务。该项技术是实现计算机图像理解的基础，今年来随着深度学习技术的快速发展，其性能被显著提升，已经可以在某些特定领域运用到实际的运用场景中。生成对抗网络是今年来很火热的一项计算机视觉处理技术，其旨在使得计算机可以自动生成形态各异的图像。尤其是循环生成对抗网络(Cycle-GAN)在训练的过程中不需要成对的数据，该特定拓展了生成对抗网络的实际运用，因为收集成对的图像是一个极为繁琐的过程。
近年来，研究人员主要研究基于自然图像(比如RGB彩色图像)的语义分割方法，并取得了显著的成就。但是，为了更全面实时的检测电力系统中的异常情况，必须实现热成像图像的语义分割。
然而，由于自然彩色图像和热成像图像的结构差异，利用自然图像中广泛采用的技术方案直接处理是一个很有挑战性的任务。其主要的两个技术难点是：热成像图像和自然图像的分布存在很大差异，目前没有专门准对热成像图像进行处理的系统；目前广泛采用的深度学习模型，对其进行合理的预训练是很有必要的，但是对于热成像图像没有这样的参数模型。
现有的热成像语义分割系统直接建立深度模型，利用热成像的标注图像对其进行学习，没有很好的利用目前在自然图像上研究的深度模型的优势。
现有的语义分割方案主要都针对自然图像进行改进，有大量的已标注的自然图像分割数据集，而基于热成像图像的模型则很少，充分利用基于自然图像的分割模型是提升热成像图像语义分割性能的一种解决思路，这样的设计思路可以保证热成像语义分割模型可以充分利用现有预训练深度模型的优势。
为解决上述问题，本申请中提出基于生成对抗网络的红外图像电力设备分割方法。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出基于生成对抗网络的红外图像电力设备分割方法，利用生成对抗网络建立不同模态数据之间的联系，使得热成像图像可以充分利用现有的基于自然图像语义分割模型的优势，实现性能更加优越的热成像图像语义分割模型。
(二)技术方案
为解决上述问题，本发明提供了基于生成对抗网络的红外图像电力设备分割方法，包括以下步骤：
S1：准备网络输入数据；采用部署在电力系统中视频监控设备和红外检测设备收集的电力设备的自然图像数据集和热成像图像数据集；将所有的图像大小归一化为320mm×320mm，将其值减去均值除以方差，适应网络的输入；
S2：构建生成对抗模型:Cycle-Gan；
Cycle-Gan的网络结构包括第一生成对抗网络和第二生成对抗网络，第一生成对抗网络和第二生成对抗网络形成循环的模型；第一生成对抗网络和第二生成对抗网络均由生成器和鉴别器构成；第一生成对抗网络由彩色图像生成热成像图像的网络，包括生成器网络Gvt和鉴别器网路Dvt；第二生成对抗网络由热成像图生成彩色图像的网络，包括生成器网络Gtv和鉴别器网路DtV；
Cycle-Gan的网络结构中，对构成生成器的编码解码结构网络，利用ResNet50网络的特征提取层作为编码网络，利用对应的反卷积网络作为解码网络，同时将网络中的批归一化替换成实例归一化，以得到生成结果；其中，编码解码结构包括编码器和解码器；
Cycle-Gan的网络结构中的鉴别器采用VGG19网络结构；网络的输出包括判断真假的分支和分类的分支，用于图像生成真实的对应模态的图像，并且身份标签不发生改变；
S3：设计热成像图像语义分割模型；
在Cycle-Gan中建立不同模态之间的联系，在后续的热成像图像语义分割网络中，利用自然输入图像构建辅助热成像语义分割的特征空间，进行热成像图像语义分割；
在热成像图像语义分割模型中，利用特征提取卷积网络分别提取热成像图像和自然图像的深度特征，然后采用级联的方式将热成像图像的深度特征和自然图像的深度特征进行级联，该级联的特征通过自然图像辅助热成像图像进行语义分割；其中，对于自然图像的特征提取采用现有的常用的语义分割模型，以将生成的自然图像和原热成像图像的深度特征进行结合；
热成像特征提取网络采用残差网络ResNet50的前三层，并改变输入的通道数以适应热成像图像，ResNet50在ImageNet数据集上进行预训练；
最后，通过Cycle-Gan得到自然图像数据，并利用上诉的特征级联的方式构建热成像图像的补充的特征空间，利用卷积层对级联后的特征进行进一步学习，再利用一系列的卷积层和反卷积层输出语义分割的结果；
S4：设计分割网络的损失函数；对于Cycle-Gan分别设计两个对抗损失，两个重构损失，两个分类损失，用于监督生成对抗模型的学习；对于热成像语义分割网络，采用常用的交叉熵损失。
优选的，在S4中，Cycle-Gan的对抗损失如下：
Figure BDA0002294938760000041
其中，x,y表示特定模态的真实的图像数据，G(x),G(y)表示特定模态的生成的图像数据。
Cycle-Gan的重构的损失如下：
Figure BDA0002294938760000042
Cycle-Gan的分类损失如下：
Lc＝[-log(si)]+[-log(li)]
其中，si和li为两个鉴别器支路中的分类得分的其中一项。
优选的，在S3中，加入多尺度模块，用于适应多尺度的目标；引入多个残差连接，用于在模型学习过程中进行信息传递。
本发明的上述技术方案具有如下有益的技术效果：
本发明中，解决对于热成像图像如何消除不同模态数据之间的差异充分利用现有的预训练分割模型。
本发明，提出利用生成对抗网络建立不同模态数据之间的联系，利用热成像图像生成对应的自然图像，利用生成的自然图像的分割过程中的深度特征辅助热成像图像的分割，提升热成像图像分割的性能。生成对抗网络采用循环生成对抗网络,其训练过程不用成对的数据，可以只要拥有特定电力设备的热成像图，和其他一些电力设备的自然图像，以完成对生成网络的训练学习。
本发明利用生成对抗网络模型来生成实际中不存在的图片，以利用生成对抗网络由红外成像技术收集的热度图生成对应的自然彩色图像，从而利用现有的先进的优越的处理自然图像的语义分割模型来辅助热成像图像的语义分割。
本发明，利用多个模态的数据构建统一的特征空间。它可以充分利用现有的基于自然图像的先进的语义分割模型，来提升热成像语义分割的性能，使得电力设备巡检的智能分析性能更加优越。
附图说明
图1为本发明提出的基于生成对抗网络的红外图像电力设备分割方法中Cycle-Gan的网络结构示意图。
图2为本发明提出的基于生成对抗网络的红外图像电力设备分割方法中热成像图像语义分割模型。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1-2所示，本发明提出的基于生成对抗网络的红外图像电力设备分割方法，包括以下步骤：
S1：准备网络输入数据；采用部署在电力系统中视频监控设备和红外检测设备收集的电力设备的自然图像数据集和热成像图像数据集；将所有的图像大小归一化为320mm×320mm，将其值减去均值除以方差，适应网络的输入；
S2：构建生成对抗模型:Cycle-Gan；
Cycle-Gan的网络结构包括第一生成对抗网络和第二生成对抗网络，第一生成对抗网络和第二生成对抗网络形成循环的模型；第一生成对抗网络和第二生成对抗网络均由生成器和鉴别器构成；第一生成对抗网络由彩色图像生成热成像图像的网络，包括生成器网络Gvt和鉴别器网路Dvt；第二生成对抗网络由热成像图生成彩色图像的网络，包括生成器网络Gtv和鉴别器网路DtV；
Cycle-Gan的网络结构中，对构成生成器的编码解码结构网络，利用ResNet50网络的特征提取层作为编码网络，利用对应的反卷积网络作为解码网络，同时将网络中的批归一化替换成实例归一化，以得到生成结果；其中，编码解码结构包括编码器和解码器；
Cycle-Gan的网络结构中的鉴别器采用VGG19网络结构；网络的输出包括判断真假的分支和分类的分支，用于图像生成真实的对应模态的图像，并且身份标签不发生改变；
S3：设计热成像图像语义分割模型；
在Cycle-Gan中建立不同模态之间的联系，在后续的热成像图像语义分割网络中，利用自然输入图像构建辅助热成像语义分割的特征空间，进行热成像图像语义分割；
在热成像图像语义分割模型中，利用特征提取卷积网络分别提取热成像图像和自然图像的深度特征，然后采用级联的方式将热成像图像的深度特征和自然图像的深度特征进行级联，该级联的特征通过自然图像辅助热成像图像进行语义分割；其中，对于自然图像的特征提取采用现有的常用的语义分割模型，以将生成的自然图像和原热成像图像的深度特征进行结合；
热成像特征提取网络采用残差网络ResNet50的前三层，并改变输入的通道数以适应热成像图像，ResNet50在ImageNet数据集上进行预训练；
最后，通过Cycle-Gan得到自然图像数据，并利用上诉的特征级联的方式构建热成像图像的补充的特征空间，利用卷积层对级联后的特征进行进一步学习，再利用一系列的卷积层和反卷积层输出语义分割的结果；
S4：设计分割网络的损失函数；对于Cycle-Gan分别设计两个对抗损失，两个重构损失，两个分类损失，用于监督生成对抗模型的学习；对于热成像语义分割网络，采用常用的交叉熵损失。
本发明中，解决对于热成像图像如何消除不同模态数据之间的差异充分利用现有的预训练分割模型。
本发明，提出利用生成对抗网络建立不同模态数据之间的联系，利用热成像图像生成对应的自然图像，利用生成的自然图像的分割过程中的深度特征辅助热成像图像的分割，提升热成像图像分割的性能。生成对抗网络采用循环生成对抗网络,其训练过程不用成对的数据，可以只要拥有特定电力设备的热成像图，和其他一些电力设备的自然图像，以完成对生成网络的训练学习。
为了克服不同模态数据分布不同引起的热成像图像语义分割的困难，本发明利用生成对抗网络模型来生成实际中不存在的图片，以利用生成对抗网络由红外成像技术收集的热度图生成对应的自然彩色图像，从而利用现有的先进的优越的处理自然图像的语义分割模型来辅助热成像图像的语义分割。
本发明，利用多个模态的数据构建统一的特征空间。它可以充分利用现有的基于自然图像的先进的语义分割模型，来提升热成像语义分割的性能，使得电力设备巡检的智能分析性能更加优越。
需要说明的是，对于构成生成器的编码解码结构网络，利用ResNet50网络的特征提取层作为编码网络，利用对应的反卷积网络作为解码网络。同时，将网络中的批归一化(Batch Normalization)替换成实例归一化(Instance Normalization)，可以得到更好的生成结果。网络结构中的鉴别器采用VGG19网络结构，但是网络的输出除了判断真假的分支之外，为了保证生成图像的类别标签，还引入一个分类的分支，来促使生成的图像不仅可以生成真实的对应模态的图像，并且可以保证身份标签不发生改变。
其中，热成像图像语义分割模型具体的网络模型如图2所示，热成像图像语义分割模型对于自然图像的特征提取采用现有的常用的语义分割模型，比如全卷积神经网络(FCN)，这样设计的出发点是，虽然通过生成对抗模型(Cycle-Gan)可以生成热成像图像对应的自然图像，但是这种由生成对抗网络模型得到的图像，其中肯定会损失一些原热成像图像的信息，将这生成的自然图像和原热成像图像的深度特征进行结合可以避免上述问题。
热成像特征提取网络采用残差网络ResNet50的前三层，并改变输入的通道数以适应热成像图像，以兼顾网络的性能和网络的空间复杂度进行的折中选择；ResNet50在ImageNet数据集上进行预训练，这样的初始化参数可以使得网络更快的收敛。
在一个可选的实施例中，在S4中，Cycle-Gan的对抗损失如下：
Figure BDA0002294938760000081
其中，x,y表示特定模态的真实的图像数据，G(x),G(y)表示特定模态的生成的图像数据。
Cycle-Gan的重构的损失如下：
Figure BDA0002294938760000091
Cycle-Gan的分类损失如下：
Lc＝[-log(si)]+[-log(li)]
其中，si和li为两个鉴别器支路中的分类得分的其中一项。
在一个可选的实施例中，在S3中，加入多尺度模块，用于适应多尺度的目标；引入多个残差连接，用于在模型学习过程中进行信息传递。
需要说明的是，上诉损失函数对生成对抗网络进行训练，直至其可以很好的生成对应模态的图像数据，对于热成像图像数据可以得到其对应的自然图像数据，可以利用生成的自然图像构建热成像图像的补充特征空间，便以后续的语义分割过程；自然图像分支也需要采用交叉熵损失函数来训练其语义分割模型，以至于其可以更好的辅助热成像图像的分割。因此，利用两个交叉熵损失函数端到端的训练这个热成像图像语义分割模型。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.基于生成对抗网络的红外图像电力设备分割方法，其特征在于，包括以下步骤：
S1：准备网络输入数据；采用部署在电力系统中视频监控设备和红外检测设备收集的电力设备的自然图像数据集和热成像图像数据集；将所有的图像大小归一化为320mm×320mm，将其值减去均值除以方差，适应网络的输入；
S2：构建生成对抗模型:Cycle-Gan；
Cycle-Gan的网络结构包括第一生成对抗网络和第二生成对抗网络，第一生成对抗网络和第二生成对抗网络形成循环的模型；第一生成对抗网络和第二生成对抗网络均由生成器和鉴别器构成；第一生成对抗网络由彩色图像生成热成像图像的网络，包括生成器网络Gvt和鉴别器网路Dvt；第二生成对抗网络由热成像图生成彩色图像的网络，包括生成器网络Gtv和鉴别器网路DtV；
Cycle-Gan的网络结构中，对构成生成器的编码解码结构网络，利用ResNet50网络的特征提取层作为编码网络，利用对应的反卷积网络作为解码网络，同时将网络中的批归一化替换成实例归一化，以得到生成结果；其中，编码解码结构包括编码器和解码器；
Cycle-Gan的网络结构中的鉴别器采用VGG19网络结构；网络的输出包括判断真假的分支和分类的分支，用于图像生成真实的对应模态的图像，并且身份标签不发生改变；
S3：设计热成像图像语义分割模型；
在Cycle-Gan中建立不同模态之间的联系，在后续的热成像图像语义分割网络中，利用自然输入图像构建辅助热成像语义分割的特征空间，进行热成像图像语义分割；
在热成像图像语义分割模型中，利用特征提取卷积网络分别提取热成像图像和自然图像的深度特征，然后采用级联的方式将热成像图像的深度特征和自然图像的深度特征进行级联，该级联的特征通过自然图像辅助热成像图像进行语义分割；其中，对于自然图像的特征提取采用现有的常用的语义分割模型，以将生成的自然图像和原热成像图像的深度特征进行结合；
热成像特征提取网络采用残差网络ResNet50的前三层，并改变输入的通道数以适应热成像图像，ResNet50在ImageNet数据集上进行预训练；
最后，通过Cycle-Gan得到自然图像数据，并利用上诉的特征级联的方式构建热成像图像的补充的特征空间，利用卷积层对级联后的特征进行进一步学习，再利用一系列的卷积层和反卷积层输出语义分割的结果；
S4：设计分割网络的损失函数；对于Cycle-Gan分别设计两个对抗损失，两个重构损失，两个分类损失，用于监督生成对抗模型的学习；对于热成像语义分割网络，采用常用的交叉熵损失。
2.根据权利要求1所述的基于生成对抗网络的红外图像电力设备分割方法，其特征在于，在S4中，Cycle-Gan的对抗损失如下：
Figure FDA0002294938750000021
其中，x,y表示特定模态的真实的图像数据，G(x),G(y)表示特定模态的生成的图像数据。
Cycle-Gan的重构的损失如下：
Figure FDA0002294938750000022
Cycle-Gan的分类损失如下：
Lc＝[-log(si)]+[-log(li)]
其中，si和li为两个鉴别器支路中的分类得分的其中一项。
3.根据权利要求1所述的基于生成对抗网络的红外图像电力设备分割方法，其特征在于，在S3中，加入多尺度模块，用于适应多尺度的目标；引入多个残差连接，用于在模型学习过程中进行信息传递。
CN201911197103.0A 2019-11-29 2019-11-29 基于生成对抗网络的红外图像电力设备分割方法 Active CN110969634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911197103.0A CN110969634B (zh) 2019-11-29 2019-11-29 基于生成对抗网络的红外图像电力设备分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911197103.0A CN110969634B (zh) 2019-11-29 2019-11-29 基于生成对抗网络的红外图像电力设备分割方法

Publications (2)

Publication Number Publication Date
CN110969634A true CN110969634A (zh) 2020-04-07
CN110969634B CN110969634B (zh) 2022-06-17

Family

ID=70032232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911197103.0A Active CN110969634B (zh) 2019-11-29 2019-11-29 基于生成对抗网络的红外图像电力设备分割方法

Country Status (1)

Country Link
CN (1) CN110969634B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767826A (zh) * 2020-06-24 2020-10-13 浙江大学 一种定时定点场景异常检测方法
CN112906769A (zh) * 2021-02-04 2021-06-04 国网河南省电力公司电力科学研究院 一种基于CycleGAN的输变电设备图像缺陷样本增广方法
CN112991350A (zh) * 2021-02-18 2021-06-18 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法
CN114067018A (zh) * 2021-11-19 2022-02-18 长春理工大学 一种基于扩张残差生成对抗网络的红外图像彩色化方法
CN116634110A (zh) * 2023-07-24 2023-08-22 清华大学 一种基于语义编解码的夜间智能养殖监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110286684A (zh) * 2019-07-17 2019-09-27 国网湖北省电力有限公司检修公司 一种变电站巡检机器人及变电站巡检系统
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
US20190295302A1 (en) * 2018-03-22 2019-09-26 Northeastern University Segmentation Guided Image Generation With Adversarial Networks
CN110286684A (zh) * 2019-07-17 2019-09-27 国网湖北省电力有限公司检修公司 一种变电站巡检机器人及变电站巡检系统
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李佳豪等: "基于双通道循环生成对抗网络的无人车夜视红外视频彩色化", 《激光与光电子学进展》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767826A (zh) * 2020-06-24 2020-10-13 浙江大学 一种定时定点场景异常检测方法
CN112906769A (zh) * 2021-02-04 2021-06-04 国网河南省电力公司电力科学研究院 一种基于CycleGAN的输变电设备图像缺陷样本增广方法
CN112991350A (zh) * 2021-02-18 2021-06-18 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法
CN112991350B (zh) * 2021-02-18 2023-06-27 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法
CN114067018A (zh) * 2021-11-19 2022-02-18 长春理工大学 一种基于扩张残差生成对抗网络的红外图像彩色化方法
CN114067018B (zh) * 2021-11-19 2024-04-09 长春理工大学 一种基于扩张残差生成对抗网络的红外图像彩色化方法
CN116634110A (zh) * 2023-07-24 2023-08-22 清华大学 一种基于语义编解码的夜间智能养殖监控系统
CN116634110B (zh) * 2023-07-24 2023-10-13 清华大学 一种基于语义编解码的夜间智能养殖监控系统

Also Published As

Publication number Publication date
CN110969634B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110969634B (zh) 基于生成对抗网络的红外图像电力设备分割方法
Gao et al. Unified information fusion network for multi-modal RGB-D and RGB-T salient object detection
Chen et al. Hierarchical aggregation for 3d instance segmentation
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN109903299B (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
Satya Sreedhar et al. Classification Similarity Network Model for Image Fusion Using Resnet50 and GoogLeNet.
Zhang et al. DPANet: dual pooling‐aggregated attention network for fish segmentation
Li et al. Transmission line detection in aerial images: An instance segmentation approach based on multitask neural networks
CN113837994B (zh) 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法
Chen et al. M 3 Net: multi-scale multi-path multi-modal fusion network and example application to RGB-D salient object detection
Liu et al. Fully convolutional multi‐scale dense networks for monocular depth estimation
Bayomi et al. Building Envelope Object Detection Using YOLO Models
CN116168418A (zh) 一种图像的多模态目标感知与重识别方法
CN116543192A (zh) 一种基于多视角特征融合的遥感图像小样本分类方法
CN105956606A (zh) 一种基于不对称变换的行人再标识方法
Tiancheng et al. Infrared image segmentation method of current transformer based on DeepLabv3+ network
Zou et al. AF-net: All-scale feature fusion network for road extraction from remote sensing images
Song et al. MsfNet: a novel small object detection based on multi-scale feature fusion
Wang et al. Insulator defect detection based on improved you-only-look-once v4 in complex scenarios
Choi et al. Multispectral human co-segmentation via joint convolutional neural networks
An et al. Network adaptation for color image semantic segmentation
Wanjun et al. Yoga action recognition based on STF-ResNet
Liu et al. Feature Fusion with Slim Non-Local Module for Multispectral Pedestrian Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430000, No. 60-65, Erhe village, wulidun, Hanyang District, Wuhan City, Hubei Province

Applicant after: Super high voltage company of State Grid Hubei Electric Power Co.,Ltd.

Address before: 430000, No. 60-65, Erhe village, wulidun, Hanyang District, Wuhan City, Hubei Province

Applicant before: STATE GRID HUBEI ELECTRIC POWER CO., LTD. MAINTENANCE Co.

GR01 Patent grant
GR01 Patent grant