CN112329680B - 基于类激活图的半监督遥感影像目标检测和分割方法 - Google Patents

基于类激活图的半监督遥感影像目标检测和分割方法 Download PDF

Info

Publication number
CN112329680B
CN112329680B CN202011268332.XA CN202011268332A CN112329680B CN 112329680 B CN112329680 B CN 112329680B CN 202011268332 A CN202011268332 A CN 202011268332A CN 112329680 B CN112329680 B CN 112329680B
Authority
CN
China
Prior art keywords
segmentation
target detection
model
training
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011268332.XA
Other languages
English (en)
Other versions
CN112329680A (zh
Inventor
唐贤伦
彭江平
谢颖
钟冰
王会明
李鹏华
李锐
彭德光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011268332.XA priority Critical patent/CN112329680B/zh
Publication of CN112329680A publication Critical patent/CN112329680A/zh
Application granted granted Critical
Publication of CN112329680B publication Critical patent/CN112329680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明请求保护一种基于类激活图的半监督遥感影像目标检测和分割方法。首先利用给定的遥感影像标注数据生成分类标注数据集，训练一个全局平均池化GAP(Global Average Pooling)的分类卷积神经网络模型，并利用特征图的权重叠加的原理，构造出能生成类激活图CAM(Class Activation Mapping)的卷积神经网络模型；然后，经过数据增强分别以类激活图和真实标注作为训练目标，对目标检测和分割模型进行半监督训练；接着，使用具有真实标注的测试集对目标检测和分割模型进行验证，得到检测和分割精度较高的模型；最后，在仅使用少量标注数据训练的情况下，该方法具有良好遥感影像目标检测和分割效果。

Description

基于类激活图的半监督遥感影像目标检测和分割方法
技术领域
本发明属于图像目标检测和分割技术领域，特别是基于类激活图的半监督遥感影像目标检测和分割方法。
背景技术
卷积神经网络(CNNs)作为一种深度学习的模型架构，已成为图像处理和计算机视觉领域最为有效的方法。权值共享和局部感受野这两大特点减少了权值的数量，使得模型的运算复杂度下降；对图像的特征的平移不变性也使其具有良好的特征提取能力和高度的稳定性。
当前已有大量研究利用卷积神经网络进行目标检测和图像分割方法探索，自2014年R.Girshick等人提出基于候选区域的R-CNN深度学习模型起，产生了一批经典的目标检测和分割模型，如SSD、Mask R-CNN、YOLO和YOLACT等，这些模型的发展趋势大致上是，网络层数的不断加深以获得更好的特征提取能力，图像尺度不断增多以覆盖更广范围的特征。但模型越来越复杂也随之带来网络难以收敛、参数增长快、计算速度慢等问题，其中最显著的问题是随着模型复杂度的增加，虽然表示能力提升了，但模型训练所需的数据量也大大增加，导致数据标注的人工成本也大幅增加。因此，利用弱标注信息或者部分标注信息来进行训练的弱监督、半监督训练方法应运而生。
对一个深层的卷积神经网络而言，多次卷积和池化以后，它的最后一层卷积层包含了最丰富的空间和语义信息，通过使用全局平均池化GAP(Global Average Pooling)替代全连接层，从而使卷积网络的定位能力能延续到网络的最后一层。然后，计算每个类别权重与自己对应的特征图的加权和就得到了该类的类激活图CAM(Class ActivationMapping)。而类激活图CAM本身就已经具有了一定的目标检测和分割效果，再结合部分标注数据就能够实现半监督训练。
对于遥感影像的目标检测和分割，由于数据量非常大，导致数据标注的人工成本也大幅提升，现有数据集通常只进行了相对容易的目标框的标注，而像素级别的分割标注则少之又少。
因此，需要一种基于类激活图的半监督遥感影像目标检测和分割方法，进行模型训练。就能够在只使用部分数据标注的情况下，训练得到具有较好遥感影像目标检测和分割结果的模型，实现遥感影像的检测和分割，同时大大降低数据标注的人工成本。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于类激活图的半监督遥感影像目标检测和分割方法。本发明的技术方案如下：
一种基于类激活图的半监督遥感影像目标检测和分割方法，其包括以下步骤：
步骤1：给定原始遥感影像以及原始遥感影像所对应的标注标签，利用已有的遥感影像标注数据，生成分类标注数据并进行数据增强；
步骤2：使用步骤1中的分类标注数据，训练一个采用全局平均池化GAP的分类卷积神经网络模型；
步骤3：使用步骤2中训练好的卷积神经网络模型，通过计算每个类别权重与该类对应的特征图的加权和，构造出可以为每个类别产生类激活图CAM的卷积神经网络模型；
步骤4：对原始遥感影像及其对应的标注标签进行缩放、旋转等数据增强，生成可以输入到目标检测和分割模型的训练集和测试集；
步骤5：使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标，对目标检测和分割模型进行无监督训练；
步骤6：使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练；
步骤7：重复步骤5-6，直至目标检测和分割模型损失函数达到收敛状态；
步骤8：从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型，将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。
进一步的，所述步骤1：利用给定的遥感影像标注数据，生成分类标注数据并进行数据增强，具体为：从每张具有标注的图像中分割出每个实例的图像，据此生成不同类别的分类标注图像数据集，并对数据集中的图像进行缩放、旋转、裁剪等数据增强方法，丰富分类的训练集和测试集。
进一步的，所述步骤2：使用步骤1中的分类标注数据，训练一个采用全局平均池化GAP的分类卷积神经网络模型，具体为：
在最后一个卷积层之后，使用全局平均池化GAP替代全连接层，构造出分类卷积神经网络模型，以最小化预测值与标注之间的损失函数为优化目标，直至模型收敛，保存测试集分类准确率最好模型的权重，使用SGD优化算法来更新模型的权重，其中交叉熵函数为：
Figure BDA0002776879790000031
其中c为分类类别，p为该类别的真实标签值，q为该类别的预测值。
进一步的，所述步骤3：从步骤2训练好的分类卷积神经网络模型中，提取出全局平均池化层GAP之后的权重及其对应的特征图，利用特征图权重叠加的原理，获得类激活图，具体表达式为：
Figure BDA0002776879790000032
其中c为分类类别，i为全局平均池化层的各个通道，n为所有通道数，
Figure BDA0002776879790000033
为通道对应的类别权重，Ai为通道i对应特征图，
Figure BDA0002776879790000034
即为目标的类激活图。
进一步的，所述步骤5：使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标，对目标检测和分割模型进行无监督训练；具体为：
采用全卷积网络FCN(Fully Convolutional Networks)的深度卷积神经网络YOLACT作为目标检测和分割模型，将经过数据增强的无标注遥感影像同时输入到目标检测和分割模型与步骤3中的卷积神经网络模型中，并利用后者输出的类激活图作为训练目标，对目标检测和分割模型进行无监督训练：以最小化预测值与类激活图之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):
Figure BDA0002776879790000041
其中boxCAM为步骤3中类激活图
Figure BDA0002776879790000048
中对应的目标框区域，boxpre为目标检测和分割模型的预测目标框区域，Intersection为交集，Union为并集；
分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：
Figure BDA0002776879790000042
其中lCAM为步骤3中类激活图
Figure BDA0002776879790000043
的像素值，
Figure BDA0002776879790000044
为目标检测和分割模型的像素预测值。
进一步的，所述步骤6：使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练；具体为：
将经过数据增强的有标注数据同时输入到目标检测和分割模型，使用步骤4中的训练集真实标注作为训练目标，对模型进行监督训练：以最小化预测值与真实标签之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):
Figure BDA0002776879790000045
其中boxgt为步骤4中训练集真实标签的目标框区域，boxpre为目标检测和分割模型的预测目标框区域，Intersection为交集，Union为并集；
分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：
Figure BDA0002776879790000046
其中y为步骤4中训练集的真实标注像素值，
Figure BDA0002776879790000047
为目标检测和分割模型的像素预测值。
进一步的，所述步骤7：重复步骤5-6，直至目标检测和分割模型损失函数达到收敛状态。
进一步的，所述步骤8：从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型；具体为：
根据在步骤4中的测试集上的检测和分割精度指标：交并比IoU(Intersectionover Union)和各类别平均精确度AP(average precision)的平均值mAP(mean averageprecision)，从步骤7的训练迭代中得到，在仅使用部分数据标注训练的情况下，具有良好检测和分割精度的目标检测和分割模型。将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。
本发明的优点及有益效果如下：
本发明的创新主要是权利要求中步骤3-6的组合：通过将分类网络最后一个卷积层之后的全连接层替换为全局平均池化GAP(Global Average Pooling)，并据此生成类激活图CAM(Class Activation Mapping)，然后采用全卷积网络FCN(Fully ConvolutionalNetworks)的深度卷积神经网络YOLACT作为目标检测和分割模型，分别以类激活图和真实标注作为训练目标，对目标检测和分割模型进行半监督训练。最终在仅使用少量数据标注的情况下，训练得到具有较好遥感影像目标检测和分割结果的模型，能够直接对输入的遥感影像进行目标检测和分割，大大降低数据标注的人工成本。
由于遥感影像数据集通常只提供目标检测框的标注，现有遥感影像的研究和技术大多也停留在提高遥感影像目标检测的精度；本发明结合类激活图和半监督训练，进一步提出对遥感影像同时进行目标检测和分割的方法。
与此同时，本发明也为那些难以标注的数据进行弱监督、半监督训练提供了一种新的思路，降低满足其模型训练的人工标注成本。
附图说明
图1是本发明提供优选实施例基于类激活图的半监督遥感影像目标检测和分割方法流程图。
图2为基于类激活图的半监督遥感影像目标检测和分割半监督训练流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图所示，本实施例提供的基于类激活图的半监督遥感影像目标检测和分割方法，包括以下步骤：
步骤1：利用实施例的数据集中具有标注的图像中分割出每个实例的图像，据此生成不同类别的分类标注图像数据集，并对数据集中的图像进行缩放、旋转、裁剪等数据增强方法，进一步丰富分类的训练集和测试集。
步骤2：构造一个采用全局平均池化GAP的分类卷积神经网络模型，实施例中使用SGD优化算法更新权重，学习率设置为1e-04，以最小化预测值与分类标注之间的损失函数为优化目标，直至模型收敛，保存测试集分类准确率最好模型的权重。以最小化损失函数为目标，使用SGD优化算法来更新模型的权重。交叉熵函数表达式为：
Figure BDA0002776879790000061
其中c为分类类别，p为该类别的真实标签值，q为该类别的预测值。
步骤3：从步骤2训练好的分类卷积神经网络模型中，提取出全局平均池化层GAP之后的权重及其对应的特征图，利用特征图权重叠加的原理，获得类激活图，具体表达式为：
Figure BDA0002776879790000062
其中c为分类类别，i为全局平均池化层的各个通道，n为所有通道数，
Figure BDA0002776879790000071
为通道对应的类别权重，Ai为通道i对应特征图，
Figure BDA0002776879790000072
即为目标的类激活图。
步骤4：对实施例的数据集中具有标注的图像及其标注进行相应的缩放、旋转、裁剪等数据增强方法，作为监督训练的训练集和检验训练指标的测试集。
步骤5：采用深度卷积神经网络YOLACT作为目标检测和分割模型，将经过数据增强的无标注遥感影像同时输入到目标检测和分割模型与步骤3中的卷积神经网络模型中，并利用后者输出的类激活图作为训练目标，对目标检测和分割模型进行无监督训练：以最小化预测值与类激活图之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):
Figure BDA0002776879790000073
其中boxCAM为步骤3中类激活图
Figure BDA0002776879790000074
中对应的目标框区域，boxpre为目标检测和分割模型的预测目标框区域，Intersection为交集，Union为并集；
分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：
Figure BDA0002776879790000075
其中lCAM为步骤3中类激活图
Figure BDA0002776879790000076
的像素值，
Figure BDA0002776879790000077
为目标检测和分割模型的像素预测值。
步骤6：将经过数据增强的有标注数据同时输入到目标检测和分割模型，使用步骤4中的训练集真实标注作为训练目标，对模型进行监督训练：以最小化预测值与真实标签之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重。损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU(Intersection over Union):
Figure BDA0002776879790000081
其中boxgt为步骤4中训练集真实标签的目标框区域，boxpre为目标检测和分割模型的预测目标框区域，Intersection为交集，Union为并集；
分割损失函数为像素级二元交叉熵BCE(binary cross entropy)：
Figure BDA0002776879790000082
其中y为步骤4中训练集的真实标注像素值，
Figure BDA0002776879790000083
为目标检测和分割模型的像素预测值。
步骤7：重复步骤5-6，直至目标检测和分割模型损失函数达到收敛状态；
步骤8：根据在步骤4中的测试集上的检测和分割精度指标：交并比IoU(Intersection over Union)和各类别平均精确度AP(average precision)的平均值mAP(mean average precision)，从步骤7的训练迭代中得到，在仅使用部分数据标注训练的情况下，具有良好检测和分割精度的目标检测和分割模型。最后，将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。
上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种基于类激活图的半监督遥感影像目标检测和分割方法，其特征在于，包括以下步骤：
步骤1：给定原始遥感影像以及部分原始遥感影像所对应的标注标签，利用已有的遥感影像标注数据，生成分类标注数据并进行数据增强；
步骤2：使用步骤1中的分类标注数据，训练一个采用全局平均池化GAP的分类卷积神经网络模型；
步骤3：使用步骤2中训练好的卷积神经网络模型，通过计算每个类别权重与该类对应的特征图的加权和，构造出可以为每个类别产生类激活图CAM的卷积神经网络模型；
步骤4：对原始遥感影像及其对应的标注标签进行缩放、旋转等数据增强，生成可以输入到目标检测和分割模型的训练集和测试集；
步骤5：使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标，对目标检测和分割模型进行无监督训练；
步骤6：使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练；
步骤7：重复步骤5-6，直至在步骤4中的测试集上训练模型损失函数达到收敛状态；
步骤8：从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型，将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果；
所述步骤2：使用步骤1中的分类标注数据，训练一个采用全局平均池化GAP的分类卷积神经网络模型，具体为：
在最后一个卷积层之后，使用全局平均池化GAP替代全连接层，构造出分类卷积神经网络模型，以最小化预测值与标注标签之间的损失函数为优化目标，直至模型收敛，保存测试集分类准确率最好模型的权重，使用随机梯度下降SGD优化算法来更新模型的权重，其中交叉熵函数为：
Figure FDA0003521456150000021
其中c为分类类别，p为该类别的真实标签值，q为该类别的预测值；
所述步骤3：从步骤2训练好的分类卷积神经网络模型中，提取出全局平均池化层GAP之后的权重及其对应的特征图，利用特征图权重叠加的原理，获得类激活图，具体表达式为：
Figure FDA0003521456150000022
其中c为分类类别，i为全局平均池化层的各个通道，n为所有通道数，
Figure FDA0003521456150000023
为通道对应的类别权重，Ai为通道i对应特征图，
Figure FDA0003521456150000024
即为目标的类激活图；
所述步骤5：使用步骤3中的卷积神经网络模型生成的类激活图作为目标检测和分割的训练目标，对目标检测和分割模型进行无监督训练；具体为：
采用全卷积网络FCN的深度卷积神经网络YOLACT作为目标检测和分割模型，将经过数据增强的无标注遥感影像同时输入到目标检测和分割模型与步骤3中的卷积神经网络模型中，并利用后者输出的类激活图作为训练目标，对目标检测和分割模型进行无监督训练：以最小化预测值与类激活图之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重；损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU:
Figure FDA0003521456150000025
其中boxCAM为步骤3中类激活图
Figure FDA0003521456150000026
中对应的目标框区域，boxpre为目标检测和分割模型的预测目标框区域，Intersection为交集，Union为并集；
分割损失函数为像素级二元交叉熵BCE：
Figure FDA0003521456150000027
其中lCAM为步骤3中类激活图
Figure FDA0003521456150000028
的像素值，
Figure FDA0003521456150000029
为目标检测和分割模型的像素预测值；
所述步骤6：使用步骤4中的具有真实标注的训练集对目标检测和分割模型进行监督训练，具体为：
将经过数据增强的有标注数据同时输入到目标检测和分割模型，使用步骤4中的训练集真实标注作为训练目标，对模型进行监督训练：以最小化预测值与真实标注标签之间的损失函数为优化目标，使用随机梯度下降SGD优化算法来更新目标检测和分割模型的权重；损失函数由目标检测损失函数和分割损失函数构成，其中目标检测损失函数采用交并比IoU:
Figure FDA0003521456150000031
其中boxgt为步骤4中训练集真实标签的目标框区域，boxpre为目标检测和分割模型的预测目标框区域，Intersection为交集，Union为并集；
分割损失函数为像素级二元交叉熵BCE：
Figure FDA0003521456150000032
其中y为步骤4中训练集的真实标注像素值，
Figure FDA0003521456150000033
为目标检测和分割模型的像素预测值。
2.根据权利要求1所述的一种基于类激活图的半监督遥感影像目标检测和分割方法，其特征在于，所述步骤1：利用给定的遥感影像标注数据，生成分类标注数据并进行数据增强，具体为：从每张具有标注的图像中分割出每个实例的图像，据此生成不同类别的分类标注图像数据集，并对数据集中的图像进行缩放、旋转、裁剪等数据增强方法，丰富分类的训练集和测试集。
3.根据权利要求1所述的一种基于类激活图的半监督遥感影像目标检测和分割方法，其特征在于，所述步骤8：从步骤7中得到具有较高检测和分割精度的遥感影像目标检测和分割模型；具体为：
根据在步骤4中的测试集上的检测和分割精度指标：交并比IoU和各类别平均精确度AP的平均值mAP，从步骤7的训练迭代中得到，在仅使用部分数据标注训练的情况下，具有良好检测和分割精度的目标检测和分割模型；最后，将待检测的遥感影像输入到该模型，即可输出得到对应遥感影像的检测和分割结果。
CN202011268332.XA 2020-11-13 2020-11-13 基于类激活图的半监督遥感影像目标检测和分割方法 Active CN112329680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011268332.XA CN112329680B (zh) 2020-11-13 2020-11-13 基于类激活图的半监督遥感影像目标检测和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268332.XA CN112329680B (zh) 2020-11-13 2020-11-13 基于类激活图的半监督遥感影像目标检测和分割方法

Publications (2)

Publication Number Publication Date
CN112329680A CN112329680A (zh) 2021-02-05
CN112329680B true CN112329680B (zh) 2022-05-03

Family

ID=74317395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268332.XA Active CN112329680B (zh) 2020-11-13 2020-11-13 基于类激活图的半监督遥感影像目标检测和分割方法

Country Status (1)

Country Link
CN (1) CN112329680B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011427B (zh) * 2021-03-17 2022-06-21 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113239836A (zh) * 2021-05-20 2021-08-10 广州广电运通金融电子股份有限公司 一种车辆车身颜色识别方法、存储介质和终端
CN113505670B (zh) * 2021-06-29 2023-06-23 西南交通大学 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN113642663B (zh) * 2021-08-24 2022-03-22 中国水利水电科学研究院 一种卫星遥感影像水体提取方法
CN113792723B (zh) * 2021-09-08 2024-01-16 浙江力石科技股份有限公司 一种石刻文字识别的优化方法及系统
CN113962951B (zh) * 2021-10-15 2022-05-17 杭州研极微电子有限公司 检测分割模型的训练方法及装置、目标检测方法及装置
CN114332452B (zh) * 2021-12-13 2023-05-02 南京行者易智能交通科技有限公司 一种针对目标检测或目标分割的图像标注结果的自动检测方法
CN114140792B (zh) * 2022-02-08 2022-07-01 山东力聚机器人科技股份有限公司 基于动态滑动窗口的微小目标检测方法及装置
GR1010325B (el) * 2022-02-18 2022-10-14 Συστηματα Υπολογιστικης Ορασης, Irida Labs A.E., Επισημανση μη χαρακτηρισμενων εικονων με χρηση συνελικτικων νευρωνικων δικτυων
CN115082657A (zh) * 2022-04-14 2022-09-20 华南理工大学 基于软擦除的弱监督目标定位算法
CN117197127B (zh) * 2023-11-02 2024-02-20 广东乾威精密连接器有限公司 一种基于机器视觉的汽车端子检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052587A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell image segmentation using multi-stage convolutional neural networks
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109858487A (zh) * 2018-10-29 2019-06-07 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN110717534A (zh) * 2019-09-30 2020-01-21 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN111026898A (zh) * 2019-12-10 2020-04-17 云南大学 一种基于交叉空间池化策略的弱监督图像情感分类与定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052587A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell image segmentation using multi-stage convolutional neural networks
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109858487A (zh) * 2018-10-29 2019-06-07 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN110717534A (zh) * 2019-09-30 2020-01-21 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN111026898A (zh) * 2019-12-10 2020-04-17 云南大学 一种基于交叉空间池化策略的弱监督图像情感分类与定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semi-Supervised Learning With Deep Embedded Clustering for Image Classification and Segmentation;J. Enguehard 等;《IEEE Access》;20190109;第07卷;11093-11104 *
卷积神经网络在医学图像分割中的研究进展;徐航 等;《中国医学物理杂志》;20191205;第36卷(第11期);1302-1306 *

Also Published As

Publication number Publication date
CN112329680A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329680B (zh) 基于类激活图的半监督遥感影像目标检测和分割方法
CN112396002B (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN111476284B (zh) 图像识别模型训练及图像识别方法、装置、电子设备
US10963632B2 (en) Method, apparatus, device for table extraction based on a richly formatted document and medium
CN112330682B (zh) 一种基于深度卷积神经网络的工业ct图像分割方法
CN110348462B (zh) 一种图像特征确定、视觉问答方法、装置、设备及介质
CN110555399B (zh) 手指静脉识别方法、装置、计算机设备及可读存储介质
CN111242199A (zh) 图像分类模型的训练方法及分类方法
CN113298096B (zh) 训练零样本分类模型的方法、系统、电子设备及存储介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN112527959B (zh) 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
Oga et al. River state classification combining patch-based processing and CNN
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN116522232A (zh) 文档分类方法、装置、设备及存储介质
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN113139540B (zh) 背板检测方法及设备
CN115204318A (zh) 事件自动层级分类方法及电子设备
CN114816808A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
Guo et al. Research of target detection algorithm based on the remote sensing image
Gabale et al. CDSSD: refreshing single shot object detection using a conv-deconv network
Zhang et al. Feature Fusion Detection Network for Multi-scale Object Detection
Zhang et al. Deep Learning Based Noise Level Classification of Medical Images
CN115344703A (zh) 构建知识图谱的方法、电子设备和存储介质
Aita et al. Computation harvesting from nature dynamics for predicting wind speed and direction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant