CN109949316B - 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 - Google Patents
一种基于rgb-t融合的电网设备图像弱监督实例分割方法 Download PDFInfo
- Publication number
- CN109949316B CN109949316B CN201910156558.1A CN201910156558A CN109949316B CN 109949316 B CN109949316 B CN 109949316B CN 201910156558 A CN201910156558 A CN 201910156558A CN 109949316 B CN109949316 B CN 109949316B
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- rgb
- power grid
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于RGB‑T融合的电网设备图像弱监督实例分割方法，包括如下步骤：1、采集多个电网设备成对的RGB图像和红外热像，对采集到的RGB图像进行处理，得到简单RGB图像；2、对简单RGB图像进行自动标注掩码；3、建立实例分割模型；构建简单训练集对实例分割模型进行训练；4、用训练好的实例分割模型对原始RGB图像进行分割预测，得到原始RGB图像的分割掩码标注；构建复杂训练集对实例分割模型进行训练，得到最终的电网设备实例分割模型；5、采集电网设备的RGB图像，输入最终电网设备实例分割模型，得到电网设备分割掩码。该方法可以实现对样本的自动标注，从而实现快速精确的电网设备实例分割。
Description
技术领域
本发明涉及图像实例分割领域，具体涉及一种基于RGB-T融合的电网设备图像弱监督实例分割方法。
背景技术
智能化图像识别诊断技术是伴随着人工智能研究的发展和摄影成像技术的飞跃而发展起来的在线监测技术，利用巡检机器人、便携式智能设备等对电网设备进行实时检测识别，能够减轻现场运维人员的工作负担，有效保障设备安全可靠运行。深度学习技术通过从海量的数据中自动学得更加有效的图像特征表达，成功用于一般物体的图像检测和分割，但将深度学习方法用于电网设备的图像检测与分割仍存在巨大的困难和挑战：现有的目标实例分割方法要求所有训练实例都必须标记有分割掩码，使得标注新类别的成本十分昂贵。电网设备种类繁多，尚没有开源图像海量数据作为训练样本，注释新的电网设备实例目前只能依靠人工标记掩码。
针对大量图像样本的昂贵标注问题，现有的解决方案主要有通过迁移学习或弱监督学习等实现图像分割。迁移学习充分利用相近任务或领域的现有数据，试图把处理原任务获取的知识，应用于新的目标难题。但是只在某种情况下会解决简单的新任务，电网设备图像实例分割是一个复杂的任务，场景图像复杂且种类繁多，要更好地解决该任务，充分利用现有电网设备图像样本是必要的途径。弱监督学习是解决该问题的主要方式，魏云超等人使用一种由简单到复杂的框架实现了弱监督语义分割，样本只使用了图像类别标签(见“Yunchao Wei,STC:A Simple to Complex Framework for Weakly-supervised SemanticSegmentation,TPAMI 2017”)，提高了标注效率。Alexander Kolesnikov等人提出了弱监督语义分割的三个主要原则(见“Alexander Kolesnikov,Seed,Expand and Constrain:Three Principles for Weakly-Supervised Image Segmentation,ECCV 2016”)，提升了语义分割的性能。Zilong Huang等人使用深度种子区域增长网络来实现语义分割(见“Zilong Huang,Weakly-Supervised Semantic Segmentation Network with DeepSeeded Region Growing,CVPR 2018”)，也取得了较好的效果。但是这些弱监督学习技术大多用于语义分割，用于实例分割的还相对较少。此外这些弱监督学习技术大多通过种子增长、显著性检测等算法获得掩码标注，因为RGB图像的复杂性所获得的掩码标注往往误差较大，导致最终得到的模型比监督学习的结果较差。
电力设备具有发热的特性，利用红外热像(Thermal)可获得具有明显色彩差异的前景目标，因此电网设备的红外热像比RGB图像易于分割，可用于指导RGB图像的掩码生成，进而作为深度学习模型的训练样本，解决了图像标注昂贵的问题。但是间接获得图像标注的方法存在精度问题，使用这些样本进行监督训练时，会导致模型学习错误的知识，偏离正确结果。弱监督学习可以解决该问题，通过额外的先验辅助模型学习更多的知识。红外热像和RGB图像存在很大分辨率差异，由此易造成RGB图像信息损失，以及某些尺度和场景的数据丢失，进而导致模型训练不充分。自步学习(self-paced learning)可解决该问题，通过逐步迭代以及先验去噪可得到复杂场景图像的掩码标注，然后再用于训练深度学习模型，得到最终模型。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供了一种基于RGB-T融合的弱监督电力设备实例分割方法，该方法可以实现对样本的自动标注，从而实现快速精确的实例分割。
技术方案：本发明采用如下技术方案：
一种基于RGB-T融合的电网设备图像弱监督实例分割方法，包括如下步骤：
(1)采集多个电网设备成对的RGB图像和红外热像，对采集到的原始RGB图像进行裁剪和缩放，得到简单RGB图像；所述简单RGB图像与对应的红外热像具有相似的视场、相同的尺寸；所述简单RGB图像中只包含单个电网设备；获取原始RGB图像中电网设备的类别标签；
(2)利用红外热像对简单RGB图像进行自动标注掩码，得到简单RGB图像的掩码标注；
(3)建立实例分割模型；所述实例分割模型包括Mask R-CNNNmask-r-cnn和全连接条件随机场Ncrf；所述Nmask-r-cnn的输入为待分割的RGB图像，输出为逐像素类别概率；所述Ncrf的输入为Nmask-r-cnn输出的逐像素类别概率，输出为最终分割结果；
用简单RGB图像和简单RGB图像的掩码标注构建简单训练集，以简单训练集作为实例分割模型的输入进行训练，优化Mask R-CNN的参数，得到优化后的Mask R-CNNNmask-r-cnn(θ1)，θ1为优化后的参数；
(4)构建原始RGB图像分割模型，所述原始RGB图像分割模型包括以θ1为参数的Mask R-CNNNmask-r-cnn(θ1)、argmax去噪模块和全连接条件随机场Ncrf，所述argmax去噪模块位于Nmask-r-cnn(θ1)与全连接条件随机场Ncrf之间，输入为Nmask-r-cnn(θ1)的输出，输出为Ncrf的输入；
所述argmax去噪模块输入输出的关系式为：
其中
表示Nmask-r-cnn(θ1)在像素位置(i,j)处预测为第c个类的概率，Ω表示原始RGB图像类别标签集合，gij为argmax去噪模块的输出，表示在像素位置(i,j)处预测的类别；
用原始RGB图像分割模型对原始RGB图像进行分割预测，得到原始RGB图像的分割掩码标注；构建复杂训练集，所述复杂训练集包括原始RGB图像和对应的分割掩码标注，以及简单训练集；用复杂训练集作为步骤3中优化后的实例分割模型的输入进行训练，再次优化Mask R-CNN的参数，得到最终的电网设备实例分割模型；
(5)采集电网设备的RGB图像，输入步骤(4)得到的最终电网设备实例分割模型，得到电网设备分割掩码。
步骤(2)包括：
(211)利用图像配准技术将红外热像映射到对应的简单RGB图像坐标系；
(212)确定红外热像的背景区域和前景区域；
(213)对配准后的红外热像进行分割，得到红外热像的分割目标掩码，将所述分割目标掩码映射到简单RGB图像坐标系中，得到简单RGB图像目标掩码标注。
步骤(3)中实例分割模型的整体损失包括MaskR-CNN的交叉熵损失函数和约束到边界的损失函数；所述约束到边界的损失定义如下：
其中X表示输入的待分割RGB图像，f(X)表示MaskR-CNN的输出，Qu,c(X,f(X))表示全连接条件随机场的输出，其中u表示图像的每一个像素位置，n为图像中像素数量，c表示每一个像素的类别，包括背景类；
实例分割模型的总优化目标是：
其中Y表示图像分割掩码真值，D表示训练集，f(X；θ)表示参数为θ的MaskR-CNN的输出，θ是待学习的参数；L4ain(f(X；θ),Y)为MaskR-CNN的交叉熵损失函数。
本发明采用梯度下降法最小化实例分割模型的总优化目标来计算待学习的参数6。
所述图形配准技术采用互信息法，以待配准的两张图像之间的互信息作为优化目标，搜索空间为仿射变换，采用进化算法进行最优值的搜索，最优值对应的仿射变换矩阵为待配准的两张图像之间的坐标映射矩阵。
步骤(212)中采用显著性检测确定红外热像的背景区域，所述显著性检测采用Saliency-Cut算法。
步骤(212)中确定红外热像前景区域的步骤为：
建立用于定位目标可鉴别性区域的分类器；所述分类器以DeepLab作为基本骨架，在卷积层conv7后应用全局平均池化，再连入全连接层进行预测分类；
用配准后的红外热像训练建立好的分类器，每张红外热像生成一个类别激活图，通过经验阈值获得可鉴别性目标区域，所述可鉴别性目标区域作为确定的前景区域。
步骤(213)中采用分水岭算法对配准后的红外热像进行分割，具体步骤为：
使用步骤212得到的红外热像的背景区域和前景区域作为粗分割先验标记，然后通过分水岭分割得到红外热像的细分割目标掩码。
有益效果：与现有技术相比，本发明公开的基于RGB-T融合的电网设备图像弱监督实例分割方法具有以下有益效果：
1.针对昂贵的样本标注问题，采用样本掩码自动标注技术，其利用图像配准技术将红外热像映射到RGB图像坐标系，然后通过红外热像的类别响应图定位部分前景区域，同时基于显著性检测得到部分背景区域，最后利用图像前景分割算法得到红外热像的前景目标，进而得到RGB图像的目标掩码标注，取代了昂贵的人力标注，大大提升了效率且经济实用。
2.针对训练样本存在噪声和误差问题，采用弱监督学习技术，其利用全连接的条件随机场和约束到边界的损失函数进行实例分割的边界优化，解决了样本标标注存在噪声和误差问题，使得模型能够更加精确地分割目标。
3.针对红外热像和RGB图像存在分辨率差异问题，采用自步学习技术，利用由简单训练集训练得到的实例分割模型对于复杂RGB图像进行分割，并利用类别标签去噪，得到复杂场景的训练样本，进而再用于实例分割模型的训练，解决了红外热像视场小和RGB图像信息损失的问题，使得模型充分学习所有训练数据，提升了模型泛化能力。
4.针对训练样本有限的问题，采用迁移学习技术，红外热像分类器、实例分割模型分别采用当前已有的大型公开数据集(ImageNet、MSCOCO)进行预训练，然后迁移到本任务中，利用当前数据集继续训练，大大缩短了训练时间且提高了模型泛化能力。
附图说明
图1为本发明公开方法中实例分割模型的建立和训练流程图；
图2为样本掩码自动标注和实例分割模型架构图；
图3为样本掩码自动标注结果示意图；
图4为原始RGB图像分割模型架构图；
图5为实例分割结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施案例做说明。
如图1所示，为本发明公开方法中实例分割模型的建立和训练流程图，
本发明公开了一种基于RGB-T融合的电网设备图像弱监督实例分割方法，首先建立并训练实例分割模型，将待分割的电网设备RGB图像输入所建立的实例分割模型中得到电网设备分割掩码，即实现了电网设备的图像分割。其中建立并训练实例分割模型的流程如图1所示。
本发明的实施，需要的设备有红外热像仪，RGB图像采集设备，显示器以及运行本发明所公开方法的计算机。在本实施例中，具体采用FLIR手持式红外热像仪、带摄像头的智能终端、云服务器，红外热像仪和智能终端采集到的图像发送到云服务器进行处理。
建立并训练实例分割模型的具体步骤如下：
步骤1、采集多个电网设备的RGB图像和红外热像，对采集到的原始RGB图像进行裁剪和缩放，得到简单RGB图像；简单RGB图像与对应的红外热像具有相似的视场、相同的尺寸；
原始的RGB图像为高分辨率且可能包含多个电网设备，红外热像由于分辨率小，只包含单个电网设备，根据红外热像中的电网设备对原始RGB图像进行裁剪和缩放，得到简单RGB图像，即简单RGB图像与红外热像成对，均为低分辨率且只包含单个电网设备；同时，根据红外热像中的电网设备对原始RGB图像进行人工添加类别标签；
步骤2、利用红外热像对简单RGB图像进行自动标注掩码，得到简单RGB图像的掩码标注；具体包括3个子步骤：
(211)利用图像配准技术将红外热像映射到对应的简单RGB图像坐标系；
本发明中图形配准技术采用互信息法，以待配准的两张图像之间的互信息作为优化目标，搜索空间为仿射变换，采用进化算法进行最优值的搜索，具体采用matlab的OnePlusOneEvolutionary对象实现。最优值对应的仿射变换矩阵为待以此将红外热像映射到简单RGB图像坐标系。通过图像配准的方法简单快速地实现红外热像到简单RGB图像的坐标转换，省去了标定的繁琐步骤。。
(212)确定红外热像的背景区域和前景区域；
本发明中采用显著性检测确定红外热像的背景区域，所述显著性检测采用Saliency-Cut算法生成红外热像确定的背景区域，在文献“Ming-Ming Cheng,GlobalContrast based Salient Region Detection,TPAMI 2015”中有相关内容的论述。
确定红外热像前景区域的步骤为：
建立用于定位目标可鉴别性区域的分类器；所述分类器以DeepLab作为基本骨架，在卷积层conv7后应用全局平均池化，再连入全连接层进行预测分类；文献“Liang-ChiehChen，Semantic Image Segmentation with Deep Convolutional Netsand FullyConnected CRFs”中有关于DeepLab的论述。用配准后的红外热像训练建立好的分类器，每张红外热像生成一个类别激活图，通过经验阈值获得可鉴别性目标区域，所述可鉴别性目标区域作为确定的前景区域。文献“BoleiZhou，Learning Deep Features forDiscriminative Localization，CVPR 2016”中有关于类别激活图的论述。图3(a)中，中间深色区域A是确定的前景区域，周围透明区域B是确定的背景区域。
(213)对配准后的红外热像进行分割，得到红外热像的分割目标掩码，将所述分割目标掩码映射到简单RGB图像坐标系中，得到简单RGB图像目标掩码标注。
本发明中采用分水岭算法对配准后的红外热像进行分割，具体步骤为：
使用步骤212得到的红外热像的背景区域和前景区域作为粗分割先验标记，然后通过分水岭分割得到红外热像的细分割目标掩码。
最后将红外热像的细分割目标掩码映射到简单RGB图像坐标系，得到简单RGB图像目标掩码标注。如图3(b)所示，黑线包围区域C是目标掩码标注。
步骤3、建立实例分割模型；用简单RGB图像和简单RGB图像的掩码标注构建简单训练集，以简单训练集作为实例分割模型的输入进行训练；
Mask R-CNN是2017年提出的实例分割框架，在文献“Kaiming He，MaskR-CNN，ICCV2017”中有详细论述。由于简单训练集通过配准转换和图像分割生成，不可避免地会产生误差，本发明建立的实例分割模型在原有Mask R-CNN的基础上加入全连接的条件随机场(CRF)和约束到边界的损失来优化分割。
整个实施例分割模型的架构如图2所示，包括Mask R-CNNNmask-r-cnn、全连接条件随机场Ncrf；其中实线表示数据前向传播，虚线表示误差反向传播，每次前向传播和反向传播组成梯度下降算法的一次迭代过程。模型的整体损失由MaskR-CNN的交叉熵损失函数和约束到边界的损失函数组成。Mask R-CNN Nmask-r-cnn的输入为待分割的RGB图像，输出为逐像素类别概率；全连接条件随机场Ncrf的输出为最终分割结果。全连接条件随机场在文献“Philipp
ühl，Efficient Inference in Fully Connected CRFs with GaussianEdge Potentials，NIPS 2011”中有详细论述，本发明中CRF的参数使用默认值，由此，对实例分割模型的训练是确定Mask R-CNN的参数。
实例分割模型的整体损失包括MaskR-CNN的交叉熵损失函数和约束到边界的损失函数。约束到边界的损失用于惩罚网络产生与输入图像的空间和颜色信息不一致的分割，因此它鼓励网络学习生成与目标边界相匹配的分割掩码。约束到边界的损失定义如下：
其中X表示输入的待分割RGB图像，f(X)表示MaskR-CNN的输出，Qu,c(X,f(X))表示全连接条件随机场的输出，其中u表示图像的每一个像素位置，n为图像中像素数量，c表示每一个像素的类别，包括背景类。
实例分割模型的总优化目标是：
其中Y表示图像分割掩码真值，D表示训练集，f(X；6)表示参数为θ的MaskR-CNN的输出，θ是待学习的参数；Lmain(f(X；θ),Y)为MaskR-CNN的交叉熵损失函数。
在训练中，采用梯度下降法最小化实例分割模型的总优化目标来计算待学习的参数θ，从而得到可用于简单场景的实例分割模型。经过训练得到优化后的Mask R-CNNNmask-r-cnn(θ1)，θ1为优化后的参数。
步骤4、经过步骤3得到的实例分割模型适用于简单场景的实例分割，为了得到适用于复杂场景的分割，需要再次对实例分割模型进行优化。
构建原始RGB图像分割模型，架构如图4所示。原始RGB图像分割模型包括以θ1为参数的Mask R-CNNNmask-r-cnn(θ1)、argmax去噪模块和全连接条件随机场Ncrf，所述argmax去噪模块位于Nmask-r-cnn(θ1)与全连接条件随机场Ncrf之间，输入为Nmask-r-cnn(θ1)的输出，输出为Ncrf的输入；
argmax去噪模块输入输出的关系式为：
其中
表示Nmask-r-cnn(θ1)在像素位置(i,j)处预测为第c个类的概率，Ω表示原始RGB图像类别标签集合，gij为argmax去噪模块的输出，表示在像素位置(i,j)处预测的类别；
用原始RGB图像分割模型对原始RGB图像进行分割预测，借助于图像级的粗粒度标签，得到原始RGB图像的分割掩码标注；构建复杂训练集，所述复杂训练集包括原始RGB图像和对应的分割掩码标注，以及简单训练集；用复杂训练集作为步骤3中优化后的实例分割模型的输入进行训练，再次优化Mask R-CNN的参数，得到最终的电网设备实例分割模型。
由于红外热像视场和分辨率都相对较小，所以包含的电网设备目标较少。因此添加具有多个目标且分辨率较大的样本有助于增强模型的泛化能力。步骤3优化后的实例分割模型使用简单训练集训练，这些简单RGB图像中的目标之间具有较大的外观、尺度和视角的差异，且这些差异和复杂图像中的差异一致。因此，用该实例分割模型对原始RGB图像进行掩码预测能得到可靠结果。将原始RGB图像及其分割掩码标注添加到简单训练集中，得到复杂训练集，该训练集更符合实际场景的数据分布。将复杂训练集重新用于实例分割模型训练，得到最终的电网设备场景的实例分割模型。
步骤3和步骤4对实例分割模型的两次优化采用不同训练样本集，通过由简单到复杂的自步学习，对模型进行充分训练，使最终训练好的实例分割模型能够适应多种场景。
步骤5、通过上述步骤1-4，建立起了本发明公开方法中的实例分割模型，在具体的应用中，输入任意电网设备场景的RGB图像到此模型，得到的输出为电网设备分割掩码，如图5所示，白色线所围的区域为分割掩码。
Claims (8)
1.一种基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，包括如下步骤：
(1)采集多个电网设备的RGB图像和红外热像，对采集到的原始RGB图像进行裁剪和缩放，得到简单RGB图像；所述简单RGB图像与对应的红外热像具有相似的视场、相同的尺寸；所述简单RGB图像中只包含单个电网设备；获取原始RGB图像中电网设备的类别标签；
(2)利用红外热像对简单RGB图像进行自动标注掩码，得到简单RGB图像的掩码标注；
(3)建立实例分割模型；所述实例分割模型包括Mask R-CNN Nmask-r-cnn和全连接条件随机场Ncrf；所述Nmask-r-cnn的输入为待分割的RGB图像，输出为逐像素类别概率；所述Ncrf的输入为Nmask-r-cnn输出的逐像素类别概率，输出为最终分割结果；
用简单RGB图像和简单RGB图像的掩码标注构建简单训练集，以简单训练集作为实例分割模型的输入进行训练，优化Mask R-CNN的参数，得到优化后的Mask R-CNNNmask-r-cnn(θ1)，θ1为优化后的参数；
(4)构建原始RGB图像分割模型，所述原始RGB图像分割模型包括以θ1为参数的Mask R-CNN Nmask-r-cnn(θ1)、argmax去噪模块和全连接条件随机场Ncrf，所述argmax去噪模块位于Nmask-r-cnn(θ1)与全连接条件随机场Ncrf之间，输入为Nmask-r-cnn(θ1)的输出，输出为Ncrf的输入；
所述argmax去噪模块输入输出的关系式为：
其中
表示Nmask-r-cnn(θ1)在像素位置(i,j)处预测为第c个类的概率，Ω表示原始RGB图像类别标签集合，gij为argmax去噪模块的输出，表示在像素位置(i,j)处预测的类别；
用原始RGB图像分割模型对原始RGB图像进行分割预测，得到原始RGB图像的分割掩码标注；构建复杂训练集，所述复杂训练集包括原始RGB图像和对应的分割掩码标注，以及简单训练集；用复杂训练集作为步骤3中优化后的实例分割模型的输入进行训练，再次优化Mask R-CNN的参数，得到最终的电网设备实例分割模型；
(5)采集电网设备的RGB图像，输入步骤(4)得到的最终电网设备实例分割模型，得到电网设备分割掩码。
2.根据权利要求1所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(2)包括：
(211)利用图像配准技术将红外热像映射到对应的简单RGB图像坐标系；
(212)确定红外热像的背景区域和前景区域；
(213)对配准后的红外热像进行分割，得到红外热像的分割目标掩码，将所述分割目标掩码映射到简单RGB图像坐标系中，得到简单RGB图像目标掩码标注。
3.根据权利要求1所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(3)中实例分割模型的整体损失包括MaskR-CNN的交叉熵损失函数和约束到边界的损失函数；所述约束到边界的损失定义如下：
其中X表示输入的待分割RGB图像，f(X)表示MaskR-CNN的输出，Qu,c(X,f(X))表示全连接条件随机场的输出，其中u表示图像的每一个像素位置，n为图像中像素数量，c表示每一个像素的类别，包括背景类；
实例分割模型的总优化目标是：
其中Y表示图像分割掩码真值，D表示训练集，f(X；θ)表示参数为θ的MaskR-CNN的输出，θ是待学习的参数；Lmain(f(X；θ),Y)为MaskR-CNN的交叉熵损失函数。
4.根据权利要求2所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，所述图像配准技术采用互信息法，以待配准的两张图像之间的互信息作为优化目标，搜索空间为仿射变换，采用进化算法进行最优值的搜索，最优值对应的仿射变换矩阵为待配准的两张图像之间的坐标映射矩阵。
5.根据权利要求2所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(212)中采用显著性检测确定红外热像的背景区域，所述显著性检测采用Saliency-Cut算法。
6.根据权利要求2所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(212)中确定红外热像前景区域的步骤为：
建立用于定位目标可鉴别性区域的分类器；所述分类器以DeepLab作为基本骨架，在卷积层conv7后应用全局平均池化，再连入全连接层进行预测分类；
用配准后的红外热像训练建立好的分类器，每张红外热像生成一个类别激活图，通过经验阈值获得可鉴别性目标区域，所述可鉴别性目标区域作为确定的前景区域。
7.根据权利要求2所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，步骤(213)中采用分水岭算法对配准后的红外热像进行分割，具体步骤为：
使用步骤212得到的红外热像的背景区域和前景区域作为粗分割先验标记，然后通过分水岭分割得到红外热像的细分割目标掩码。
8.根据权利要求3所述的基于RGB-T融合的电网设备图像弱监督实例分割方法，其特征在于，采用梯度下降法最小化实例分割模型的总优化目标来计算待学习的参数θ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910156558.1A CN109949316B (zh) | 2019-03-01 | 2019-03-01 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910156558.1A CN109949316B (zh) | 2019-03-01 | 2019-03-01 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109949316A CN109949316A (zh) | 2019-06-28 |
| CN109949316B true CN109949316B (zh) | 2020-10-27 |
Family
ID=67007773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910156558.1A Active CN109949316B (zh) | 2019-03-01 | 2019-03-01 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949316B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241976A (zh) * | 2019-07-19 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 一种训练模型的方法及装置 |
| CN110599537A (zh) * | 2019-07-25 | 2019-12-20 | 中国地质大学（武汉） | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 |
| CN110517759B (zh) * | 2019-08-29 | 2022-03-25 | 腾讯医疗健康(深圳)有限公司 | 一种待标注图像确定的方法、模型训练的方法及装置 |
| CN110648337A (zh) * | 2019-09-23 | 2020-01-03 | 武汉联影医疗科技有限公司 | 髋关节分割方法、装置、电子设备和存储介质 |
| CN110705558B (zh) * | 2019-09-29 | 2022-03-08 | 郑州阿帕斯科技有限公司 | 图像实例分割方法和装置 |
| CN110866921A (zh) * | 2019-10-17 | 2020-03-06 | 上海交通大学 | 基于自训练和切片传播的弱监督脊椎椎体分割方法和系统 |
| CN111027455B (zh) * | 2019-12-06 | 2021-01-26 | 重庆紫光华山智安科技有限公司 | 行人特征提取方法、装置、电子设备及存储介质 |
| CN111046950B (zh) * | 2019-12-11 | 2023-09-22 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、存储介质和电子装置 |
| CN113538469B (zh) * | 2020-04-20 | 2022-09-27 | 千寻位置网络有限公司 | 带顶点图像的分割模型训练方法及带顶点图像的分割方法 |
| CN111798456A (zh) * | 2020-05-26 | 2020-10-20 | 苏宁云计算有限公司 | 一种实例分割模型的训练方法、装置、实例分割方法 |
| CN111626284B (zh) * | 2020-05-26 | 2023-10-03 | 广东小天才科技有限公司 | 一种手写字体去除的方法、装置、电子设备和存储介质 |
| CN112381834B (zh) * | 2021-01-08 | 2022-06-03 | 之江实验室 | 一种对图像交互式实例分割的标注方法 |
| CN113011284B (zh) * | 2021-03-01 | 2023-05-26 | 杭州景联文科技有限公司 | 一种签名指印的识别方法 |
| CN112907605B (zh) * | 2021-03-19 | 2023-11-17 | 南京大学 | 用于实例分割的数据增强方法 |
| CN113076947B (zh) * | 2021-03-26 | 2023-09-01 | 东北大学 | 一种交叉引导融合的rgb-t图像显著性检测系统 |
| CN113160233A (zh) * | 2021-04-02 | 2021-07-23 | 易普森智慧健康科技（深圳）有限公司 | 利用稀疏标注数据集训练实例分割神经网络模型的方法 |
| CN113255762B (zh) * | 2021-05-20 | 2022-01-11 | 推想医疗科技股份有限公司 | 图像处理的方法及装置 |
| CN113848234A (zh) * | 2021-09-16 | 2021-12-28 | 南京航空航天大学 | 一种基于多模态信息的航空复合材料的检测方法 |
| CN114494185B (zh) * | 2022-01-25 | 2022-09-30 | 国网吉林省电力有限公司电力科学研究院 | 一种基于rgb-t多尺度特征融合的电气设备故障检测方法 |
| CN114462559B (zh) * | 2022-04-14 | 2022-07-15 | 中国科学技术大学 | 目标定位模型训练方法、目标定位方法及装置 |
| CN114724041B (zh) * | 2022-06-02 | 2022-09-06 | 浙江天铂云科光电股份有限公司 | 基于深度学习的电力设备红外热图的识别方法及系统 |
| CN114943988B (zh) * | 2022-06-16 | 2024-04-02 | 浙大城市学院 | 一种基于实例分割和深度卷积神经网络的平面目标监测方法 |
| CN115631205B (zh) * | 2022-12-01 | 2023-03-21 | 阿里巴巴（中国）有限公司 | 图像分割及模型训练的方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894275A (zh) * | 2010-06-29 | 2010-11-24 | 武汉大学 | 一种弱监督的sar图像分类方法 |
| CN109359538A (zh) * | 2018-09-14 | 2019-02-19 | 广州杰赛科技股份有限公司 | 卷积神经网络的训练方法、手势识别方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999888B (zh) * | 2012-11-27 | 2015-02-25 | 西安交通大学 | 一种基于彩色图像分割的深度图去噪方法 |
-
2019
- 2019-03-01 CN CN201910156558.1A patent/CN109949316B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894275A (zh) * | 2010-06-29 | 2010-11-24 | 武汉大学 | 一种弱监督的sar图像分类方法 |
| CN109359538A (zh) * | 2018-09-14 | 2019-02-19 | 广州杰赛科技股份有限公司 | 卷积神经网络的训练方法、手势识别方法、装置及设备 |
Non-Patent Citations (3)
| Title |
|---|
| Built-in Foreground/Background Prior for Weakly-Supervised Semantic Segmentation;Fatemehsadat Saleh et al.;《arXiv》;20160902;全文 * |
| DeepCut: Object Segmentation From Bounding Box Annotations Using Convolutional Neural Networks;Martin Rajchl et al.;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20170228;第36卷(第2期);全文 * |
| DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs;Liang-Chieh Chen et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20180430;第40卷(第4期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109949316A (zh) | 2019-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949316B (zh) | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 | |
| Ma et al. | Fully convolutional network for rice seedling and weed image segmentation at the seedling stage in paddy fields | |
| CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
| Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
| WO2022000838A1 (zh) | 基于马尔可夫随机场的远程塔台视频目标挂标牌方法 | |
| CN113609896B (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
| Xia et al. | Zoom better to see clearer: Human part segmentation with auto zoom net | |
| CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
| Zhou et al. | Cross-weather image alignment via latent generative model with intensity consistency | |
| CN116486408A (zh) | 遥感图像跨域语义分割方法及装置 | |
| Liu et al. | Deep domain adaptation for pavement crack detection | |
| Lu et al. | A cross-scale and illumination invariance-based model for robust object detection in traffic surveillance scenarios | |
| CN108509826A (zh) | 一种遥感影像的道路识别方法及其系统 | |
| Li et al. | IIE-SegNet: Deep semantic segmentation network with enhanced boundary based on image information entropy | |
| Li et al. | Progressive attention-based feature recovery with scribble supervision for saliency detection in optical remote sensing image | |
| CN116994068A (zh) | 一种基于知识蒸馏的目标检测方法及装置 | |
| CN116912673A (zh) | 一种基于水下光学图像的目标检测方法 | |
| Jiang et al. | Rdd-yolov5: road defect detection algorithm with self-attention based on unmanned aerial vehicle inspection | |
| Xu et al. | Unsupervised learning of depth estimation and camera pose with multi-scale GANs | |
| Du et al. | Parcs: A deployment-oriented ai system for robust parcel-level cropland segmentation of satellite images | |
| Wu et al. | Nighttime cattle detection based on YOLOv4 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| Tewari et al. | Vehicle detection in aerial images using selective search with a simple deep learning based combination classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |