CN114612659A - 一种基于融合模态对比学习的电力设备分割方法及系统 - Google Patents

一种基于融合模态对比学习的电力设备分割方法及系统 Download PDF

Info

Publication number
CN114612659A
CN114612659A CN202210188929.6A CN202210188929A CN114612659A CN 114612659 A CN114612659 A CN 114612659A CN 202210188929 A CN202210188929 A CN 202210188929A CN 114612659 A CN114612659 A CN 114612659A
Authority
CN
China
Prior art keywords
fusion
power equipment
segmentation
modality
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210188929.6A
Other languages
English (en)
Inventor
林颖
刘萌
白德盟
郑文杰
李�杰
杨祎
李程启
刘辉
周超
乔木
李龙龙
李君�
李壮壮
张峰达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210188929.6A priority Critical patent/CN114612659A/zh
Publication of CN114612659A publication Critical patent/CN114612659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分割技术领域，提供了一种基于融合模态对比学习的电力设备分割方法及系统。其中，该方法包括获取待分割的电力设备的红外图像与可见光图像对；基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果；在训练过程中，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成；在训练完成后，电力设备分割网络由融合模态特征提取器和语义分割解码器组成；融合模态特征提取器用于提取红外图像与可见光图像对的融合模态特征，语义分割解码器用于解码融合模态特征；在训练过程中，语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络。

Description

一种基于融合模态对比学习的电力设备分割方法及系统
技术领域
本发明属于图像分割技术领域，尤其涉及一种基于融合模态对比学习的电力设备分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
电力设备分割通过采集图像并分割设备以提前预知故障。语义分割的目标是为图像中的每个像素分配一个对应的类别标签，从而识别和分割出不同物体，因此能够实现电网中不同电力设备的分割。随着传感器的发展，多模态语义分割任务由于其对环境有较高的适应性吸引了越来越多的研究兴趣，但尚未应用于红外与可见光图像电力设备分割中。发明人发现，现有的电力设备分割方法多依赖传统方法，效率低且分割结果不准确，或者只利用红外图像进行分割，易出现误报或漏报。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于融合模态对比学习的电力设备分割方法及系统，其利用多层级的融合模态特征编码器提取和融合可见光图像和红外图像，以获得具有良好表征能力的电力设备的高维特征；利用对比学习模块挖掘跨图像的上下文语义信息，以更好地区分不同类别的电力设备。在两者的共同作用下提升电力设备分割的可靠性和准确性，为电力设备故障分析提供技术支持。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于融合模态对比学习的电力设备分割方法，其包括：
获取待分割的电力设备的红外图像与可见光图像对；
基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果；
其中，在训练过程中，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成；在训练完成后，所述电力设备分割网络由融合模态特征提取器和语义分割解码器组成；所述融合模态特征提取器用于提取红外图像与可见光图像对的融合模态特征，所述语义分割解码器用于解码融合模态特征；在训练过程中，所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络。
作为一种实施方式，所述融合模态特征编码器包括红外特征编码器、可见光特征编码器和多个融合模块，所述融合模态特征编码器设置有若干层级，每个层级模块均一个融合模块，所述融合模块用于融合对应层级的红外特征编码器和可见光特征编码器所编码的特征。
作为一种实施方式，所述红外特征编码器与可见光特征编码器的结构相同。
作为一种实施方式，所述对比学习模块包括投影模块、特征存储单元和计算模块；所述投影模块用于将融合特征编码器输出的融合模态特征投影成多个融合模态像素特征；所述特征存储单元用于存储融合模态中心像素特征并在每个批次进行更新；所述计算模块用于从当前批次的融合模态像素特征中采样获得锚点样本集合并输出，从特征存储单元存储的融合模态中心像素特征中采样获得正负难样本集合，并通过对比负难样本集合和锚点样本集合来计算融合模态对比损失。
作为一种实施方式，基于融合模态像素特征，计算当前批次各个类别下的融合模态中心像素特征，并更新特征存储单元。
作为一种实施方式，对于当前批次的各个红外与可见光图像对，通过池化该红外与可见光图像对所对应的属于同一个类别的多个融合模态像素特征得到该红外与可见光图像对各个类别下的融合模态中心像素特征。
作为一种实施方式，所述计算模块利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚点样本选择，获得当前批次的锚点样本集合。
本发明的第二个方面提供一种基于融合模态对比学习的电力设备分割系统，其包括：
图像对获取模块，其用于获取待分割的电力设备的红外图像与可见光图像对；
电力设备分割模块，其用于基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果；
其中，在训练过程中，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成；在训练完成后，所述电力设备分割网络由融合模态特征提取器和语义分割解码器组成；所述融合模态特征提取器用于提取红外图像与可见光图像对的融合模态特征，所述语义分割解码器用于解码融合模态特征；在训练过程中，所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于融合模态对比学习的电力设备分割方法中的步骤。
本发明的第四个方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于融合模态对比学习的电力设备分割方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明的融合模态特征编码器包括红外特征编码器、可见光特征编码器和多个融合模块，融合模态特征编码器设置有若干层级，每个层级模块均一个融合模块，融合模块用于融合对应层级的红外特征编码器和可见光特征编码器所编码的特征，通过融合模态特征编码器的多层级设计，实现了更好地提取和融合红外和可见光两种模态特征，从而利用红外和可见光图像所反映的不同信息，获得更加可靠和准确的分割结果。
(2)本发明的电力设备分割网络，在训练过程中，设置了对比学习模块，利用语义分割解码器和对比学习模块分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络，提高了特征嵌入空间融合模态像素特征的类内紧凑性和类间差异性，进一步提高了电力设备分割精度。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于融合模态对比学习的电力设备分割网络示意图；
图2是本发明实施例的对比模块流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于融合模态对比学习的电力设备分割方法，其具体包括如下步骤：
S101：获取待分割的电力设备的红外图像与可见光图像对。
S102：基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果。
其中，如图1所示，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成，语义分割解码器和对比学习模块均与融合模态特征提取器相连，分别用于计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失，基于融合模态总损失训练电力设备分割网络，获得训练好的电力设备分割网络。
具体实施中，采用带动量的SGD算法进行优化训练，优化器的具体设置为：初始学习率设置为0.0025，动量设置为0.9，权重衰减系数设置为0.0005。此外，采用poly学习率策略，随迭代次数的增加自动地调整学习率大小，批次大小设置为8。
在训练电力设备分割网络之前，还包括：采集多张需要进行电力设备分割的红外图像和对应可见光图像，由多张红外图像和对应的可见光图像以及各张红外图像中电力设备的类别标签构成所需的训练集；将所需的训练集进行分批次处理后，按批次地将红外图像及其对应的可见光图像输入电力设备分割网络中进行训练电力设备分割网络。
在具体实施过程中，所述融合模态特征编码器包括红外特征编码器、可见光特征编码器和多个融合模块，所述融合模态特征编码器设置有若干层级，每个层级模块均一个融合模块，所述融合模块用于融合对应层级的红外特征编码器和可见光特征编码器所编码的特征。
其中，所述红外特征编码器与可见光特征编码器的结构相同。
在图1中，红外特征编码器与可见光特征编码器均包含K个层级，融合模块的数量与层级数量保持一致；红外特征编码器的第k(k＝1，2，…K-1)个层级输出第k层红外原始编码特征，可见光特征编码器的第k个层级输出第k层可见光原始编码特征，第k层红外原始编码特征与可见光原始编码特征均输入第k个融合模块；第k个融合模块输出第k层红外-可见光融合特征，该特征与第k层红外原始编码特征相加后输入红外特征编码器的第k+1个层级，与第k层可见光原始编码特征相加后输入可见光特征编码器的第k+1个层级；第k个融合模块输出融合模态特征并输入语义分割解码器和对比学习模块。
在具体实施过程中，所述对比学习模块包括投影模块、特征存储单元和计算模块；所述投影模块用于将融合特征编码器输出的融合模态特征投影成多个融合模态像素特征；所述特征存储单元用于存储融合模态中心像素特征并在每个批次进行更新；所述计算模块用于从当前批次的融合模态像素特征中采样获得锚点样本集合并输出，从特征存储单元存储的融合模态中心像素特征中采样获得正负难样本集合，并通过对比负难样本集合和锚点样本集合来计算融合模态对比损失。
其中，投影模块的具体结构为：由卷积核大小为1×1的第一卷积层、一个批归一化层、一个RELU激活函数层和卷积核大小为1×1的第二卷积层依次连接组成，投影模块将输入的融合模态特征
Figure BDA0003523840220000071
降维至
Figure BDA0003523840220000072
其中H和W分别表示特征的高和宽，D和D′分别表示特征降维前后的维度大小，那么用mi＝M′(i)表示像素位置i所对应的融合模态像素特征，具体实施中，降维后的特征维度D′＝256。
特征存储单元具体由C个队列实现，每个队列的大小为Q，用于存储不局限于当前批次的融合模态中心像素特征并在每个批次进行更新，其中C表示电力设备的类别数，具体实施中，Q＝1000。
计算模块从投影模块输出的当前批次的融合模态像素特征中采样获得锚点样本集合并输出，从特征存储单元存储的融合模态中心像素特征中采样获得正负难样本集合，并计算融合模态对比损失，如图2所示，具体为：
步骤a：投影模块将融合特征编码器输出的融合模态特征投影成多个融合模态像素特征。
步骤b：基于融合模态像素特征，计算当前批次各个类别下的融合模态中心像素特征，并更新特征存储单元。
其中，步骤b的具体过程为：
步骤b1：对于当前批次的各个红外与可见光图像对，通过池化该红外与可见光图像对所对应的属于同一个类别的多个融合模态像素特征得到该红外与可见光图像对各个类别下的融合模态中心像素特征：
步骤b2：重复步骤b1，遍历当前批次中剩余的红外与可见光图像对，获得当前批次各个类别下的融合模态中心像素特征；
步骤b3：对于基于步骤b2得到的每个融合模态中心像素特征，根据该融合模态中心像素特征的类别，插入到特征存储单元中同样类别的队列后端，若该队列大小已经超过限制容量，那么从该队列的前端删除一个融合模态中心像素特征。
步骤c：利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚点样本选择，获得当前批次的锚点样本集合。
其中，步骤c的具体过程为：
步骤c1：对当前批次的多个融合模态像素特征进行像素位置随机采样，采样获得的像素位置作为其中一半锚点；对在语义分割解码器中被错误分类的像素位置采样，采样获得的像素位置作为另一半锚点；
步骤c2：提取多个融合模态像素特征中对应步骤c1中所有锚点的像素特征作为各个锚点样本，由各个锚点样本构成当前批次的锚点样本集合。
步骤d：根据当前批次的锚点样本集合，对于每一个锚点样本，利用难样本挖掘的正负样本采样方法对特征存储单元中存储的融合模态中心像素特征进行正负样本选择，获得该锚点样本对应的正负难样本集合，并计算该锚点样本的融合模态对比损失。
其中，步骤d的具体过程为：
步骤d1：在特征存储单元存储的融合模态中心像素特征中，将与当前锚点样本属于同一类别的像素特征作为当前锚点样本的正样本集合，将与当前锚点样本不属于同一类别的像素特征作为当前锚点样本的负样本集合；
步骤d2：计算当前锚点样本与当前锚点样本的正样本集合的各个正样本之间的相似度并对相似度进行升序排列，取相似度位于前10％的正样本作为当前正样本的难样本集合，再从当前正样本集合的难样本集合中随机采样K1个样本作为当前锚点样本的正难样本集合，具体实施中K1＝1024；
步骤d3：计算当前锚点样本与当前锚点样本的负样本集合的各个负样本之间的相似度并对相似度进行降序排列，取相似度位于前10％的负样本作为当前负样本的难样本集合，再从当前负样本集合的难样本集合中随机采样K2个样本作为当前锚点样本的负难样本集合，具体实施中K2＝1024；
步骤d4：基于步骤d1-步骤d3所得到的正难样本集合和负难样本集合，通过以下公式计算当前锚点样本的融合模态对比损失：
Figure BDA0003523840220000091
其中，mi表示当前锚点样本也就是像素位置i对应的融合模态像素特征，用
Figure BDA0003523840220000092
和
Figure BDA0003523840220000093
分别表示锚点样本mi的正难样本和负难样本，
Figure BDA0003523840220000094
和
Figure BDA0003523840220000095
分别表示像素i所在的正难样本集合和负难样本集合，τ表示温度系数，
Figure BDA0003523840220000096
表示计算像素i所在的正难样本集合的大小，具体实施中温度系数τ＝0.1。
所述的多模态总损失通过以下公式进行计算：
Figure BDA0003523840220000101
其中，
Figure BDA0003523840220000102
表示单个批次的融合模态总损失，
Figure BDA0003523840220000103
表示融合模态语义分割损失，λ表示损失平衡权重，P表示单个批次锚点样本集合的锚点样本数量。所述的融合模态语义分割损失采用逐像素交叉熵损失。具体实施中，例如λ＝1，P＝500。
步骤e：重复步骤d，遍历当前锚点样本集合中剩余的锚点样本，获得各个锚点样本的正负难样本集合，并计算各个锚点样本的融合模态对比损失，将各个锚点样本的融合模态对比损失之和作为该批次的融合模态对比损失。
实施例二
本实施例提供了一种基于融合模态对比学习的电力设备分割系统，其具体包括如下模块：
图像对获取模块，其用于获取待分割的电力设备的红外图像与可见光图像对；
电力设备分割模块，其用于基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果；
其中，在训练过程中，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成；在训练完成后，所述电力设备分割网络由融合模态特征提取器和语义分割解码器组成；所述融合模态特征提取器用于提取红外图像-可见光图像对的融合模态特征，所述语义分割解码器用于解码融合模态特征；在训练过程中，所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于融合模态对比学习的电力设备分割方法中的步骤。
实施例四
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于融合模态对比学习的电力设备分割方法中的步骤。
本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于融合模态对比学习的电力设备分割方法，其特征在于，包括：
获取待分割的电力设备的红外图像与可见光图像对；
基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果；
其中，在训练过程中，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成；在训练完成后，所述电力设备分割网络由融合模态特征提取器和语义分割解码器组成；所述融合模态特征提取器用于提取红外图像与可见光图像对的融合模态特征，所述语义分割解码器用于解码融合模态特征；在训练过程中，所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络。
2.如权利要求1所述的基于融合模态对比学习的电力设备分割方法，其特征在于，所述融合模态特征编码器包括红外特征编码器、可见光特征编码器和多个融合模块，所述融合模态特征编码器设置有若干层级，每个层级模块均一个融合模块，所述融合模块用于融合对应层级的红外特征编码器和可见光特征编码器所编码的特征。
3.如权利要求2所述的基于融合模态对比学习的电力设备分割方法，其特征在于，所述红外特征编码器与可见光特征编码器的结构相同。
4.如权利要求1所述的基于融合模态对比学习的电力设备分割方法，其特征在于，所述对比学习模块包括投影模块、特征存储单元和计算模块；所述投影模块用于将融合特征编码器输出的融合模态特征投影成多个融合模态像素特征；所述特征存储单元用于存储融合模态中心像素特征并在每个批次进行更新；所述计算模块用于从当前批次的融合模态像素特征中采样获得锚点样本集合并输出，从特征存储单元存储的融合模态中心像素特征中采样获得正负难样本集合，并通过对比负难样本集合和锚点样本集合来计算融合模态对比损失。
5.如权利要求1所述的基于融合模态对比学习的电力设备分割方法，其特征在于，基于融合模态像素特征，计算当前批次各个类别下的融合模态中心像素特征，并更新特征存储单元。
6.如权利要求5所述的基于融合模态对比学习的电力设备分割方法，其特征在于，对于当前批次的各个红外与可见光图像对，通过池化该红外与可见光图像对所对应的属于同一个类别的多个融合模态像素特征得到该红外与可见光图像对各个类别下的融合模态中心像素特征。
7.如权利要求1所述的基于融合模态对比学习的电力设备分割方法，其特征在于，所述计算模块利用语义感知的锚点样本采样方法对当前批次的多个融合模态像素特征进行锚点样本选择，获得当前批次的锚点样本集合。
8.一种基于融合模态对比学习的电力设备分割系统，其特征在于，包括：
图像对获取模块，其用于获取待分割的电力设备的红外图像与可见光图像对；
电力设备分割模块，其用于基于获取的图像对及训练好的电力设备分割网络，得到电力设备分割结果；
其中，在训练过程中，所述电力设备分割网络由融合模态特征提取器、语义分割解码器和对比学习模块组成；在训练完成后，所述电力设备分割网络由融合模态特征提取器和语义分割解码器组成；所述融合模态特征提取器用于提取红外图像与可见光图像对的融合模态特征，所述语义分割解码器用于解码融合模态特征；在训练过程中，所述语义分割解码器和对比学习模块用于分别计算融合模态分割损失和融合模态对比损失，进而得到融合模态总损失来训练电力设备分割网络。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于融合模态对比学习的电力设备分割方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于融合模态对比学习的电力设备分割方法中的步骤。
CN202210188929.6A 2022-02-28 2022-02-28 一种基于融合模态对比学习的电力设备分割方法及系统 Pending CN114612659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210188929.6A CN114612659A (zh) 2022-02-28 2022-02-28 一种基于融合模态对比学习的电力设备分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210188929.6A CN114612659A (zh) 2022-02-28 2022-02-28 一种基于融合模态对比学习的电力设备分割方法及系统

Publications (1)

Publication Number Publication Date
CN114612659A true CN114612659A (zh) 2022-06-10

Family

ID=81859190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210188929.6A Pending CN114612659A (zh) 2022-02-28 2022-02-28 一种基于融合模态对比学习的电力设备分割方法及系统

Country Status (1)

Country Link
CN (1) CN114612659A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829058A (zh) * 2022-12-23 2023-03-21 北京百度网讯科技有限公司 训练样本处理方法、跨模态匹配方法、装置、设备和介质
CN116883673A (zh) * 2023-09-08 2023-10-13 腾讯科技（深圳）有限公司 语义分割模型训练方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115829058A (zh) * 2022-12-23 2023-03-21 北京百度网讯科技有限公司 训练样本处理方法、跨模态匹配方法、装置、设备和介质
CN115829058B (zh) * 2022-12-23 2024-04-23 北京百度网讯科技有限公司 训练样本处理方法、跨模态匹配方法、装置、设备和介质
CN116883673A (zh) * 2023-09-08 2023-10-13 腾讯科技（深圳）有限公司 语义分割模型训练方法、装置、设备及存储介质
CN116883673B (zh) * 2023-09-08 2023-12-26 腾讯科技（深圳）有限公司 语义分割模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111259142B (zh) 基于注意力编码和图卷积网络的特定目标情感分类方法
CN110532884B (zh) 行人重识别方法、装置及计算机可读存储介质
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN112434721A (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN110390340B (zh) 特征编码模型、视觉关系检测模型的训练方法及检测方法
CN114612659A (zh) 一种基于融合模态对比学习的电力设备分割方法及系统
CN110569814B (zh) 视频类别识别方法、装置、计算机设备及计算机存储介质
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN113850824A (zh) 一种基于多尺度特征融合的遥感图像路网提取方法
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN110738102A (zh) 一种人脸识别方法及系统
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
EP4152211A1 (en) Neural network model training method, image classification method, text translation method and apparatus, and device
CN110992307A (zh) 基于yolo的绝缘子定位识别方法及装置
CN112116950B (zh) 基于深度度量学习的蛋白质折叠识别方法
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN108805280B (zh) 一种图像检索的方法和装置
CN113870286A (zh) 一种基于多级特征和掩码融合的前景分割方法
CN114612666A (zh) 一种基于多模态对比学习的rgb-d语义分割方法
CN115438169A (zh) 一种文本与视频的互检方法、装置、设备及存储介质
CN114373092A (zh) 一种基于拼图排列学习的渐进式训练细粒度视觉分类方法
CN116168418A (zh) 一种图像的多模态目标感知与重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination