CN111695466A - 一种基于特征mixup的半监督极化SAR地物分类方法 - Google Patents

一种基于特征mixup的半监督极化SAR地物分类方法 Download PDF

Info

Publication number
CN111695466A
CN111695466A CN202010485708.6A CN202010485708A CN111695466A CN 111695466 A CN111695466 A CN 111695466A CN 202010485708 A CN202010485708 A CN 202010485708A CN 111695466 A CN111695466 A CN 111695466A
Authority
CN
China
Prior art keywords
mixup
feature
supervised
samples
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010485708.6A
Other languages
English (en)
Other versions
CN111695466B (zh
Inventor
郭岩河
赵永强
王爽
宋国鑫
臧琪
王尧
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010485708.6A priority Critical patent/CN111695466B/zh
Publication of CN111695466A publication Critical patent/CN111695466A/zh
Application granted granted Critical
Publication of CN111695466B publication Critical patent/CN111695466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征mixup的半监督极化SAR地物分类方法，准备数据集；制作数据集；数据预处理；设计半监督网络结构；双分支特征提取；特征mixup融合；多分支预测分类结果；网络训练；预测地物类别；评估网络性能。本发明有效克服了现有技术中对输入进行mixup和单分支预测所带来的问题，极大的提高了网络的性能，增强了网络的鲁棒性。可用于土地覆盖类型判别，也可以作为目标检测、地质勘探、植被种类判别的中间环节。

Description

一种基于特征mixup的半监督极化SAR地物分类方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于特征mixup的半监督极化SAR地物分类方法。
背景技术
极化SAR图像分类作为极化SAR图像理解与解译的重要研究内容，近年来受到越来越多的研究者的关注。极化SAR图像分类就是根据极化特性等信息，将图像中相同或相似的像素点分为同一类，将不同特性的像素点分为不同的类。在本文中我们提出了一种半监督网络模型结构用于极化SAR地物分类，在公开的数据集上取得了先进的性能。
随着深度学习的发展，深度学习的应用越来越广泛，其不仅广泛应用在自然可见光领域，很多研究员在遥感领域也尝试使用深度学习方法，通过使用深度学习算法，在极化SAR分类任务中和传统的方法相比取得很不错的成果。
现有方法训练时间过长，因为这样的网络模型的训练过程是逐层进行训练，效率比较低，如果网络层数比较多，时间复杂度更高。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于特征mixup的半监督极化SAR地物分类方法，可以直接用于土地覆盖类型判别，也可以作为目标检测、地质勘探、植被种类判别的中间环节，在公开的数据集上取得了先进的性能，有效提高极化SAR地物分类精度。
本发明采用以下技术方案：
一种基于特征mixup的半监督极化SAR地物分类方法，包括以下步骤：
S1、使用FlevolandI数据集、San Francisco数据集和FlevolandII数据集，每个数据集上，每个类别随机选择10个有标记的样本和若干无标记样本作为训练集，其他样本作为测试集；
S2、选取像素点周围大小为5×5的图像块作为一个样本，图像块的类别和中心像素点的类别一致，制作数据集；
S3、将极化SAR数据进行lee滤波，完成数据预处理；
S4、建立半监督网络结构，半监督网络结构的第一部分负责提取输入图像的初级特征；第二部分将mixup操作融合后的初级特征映射为抽象的高级特征；第三部分是分类器；
S5、利用两个分支提取不同类别图像的特征，两个分支权重共享；
S6、对步骤S5中提取到的初级特征进行mixup操作；
S7、对步骤S6中得到的混合特征进一步抽象之后，将其送入多分支预测模块，得到最终的预测类别；
S8、基于步骤S7获得的预测类别，计算交叉熵损失和一致性损失，利用两个损失联合优化整个网络；
S9、将步骤S8训练得到的权重载入网络，得到每一个测试样本的中心像素点所属地物类别，完成分类。
具体的，步骤S2中，每个数据集中每个类别选取10个有标记数据以及无标记数据作为训练集，其中，FlevolandI数据集每个类选取2000个无标记样本，每个类选择3000个有标记样本进行测试；San Francisco数据集每个类选取10000个无标记样本，每个类选择10000个有标记样本进行测试；FlevolandII数据集每个类选取5000个无标记样本，每个类选择15000个样本进行测试。
具体的，步骤S4中，基于特征mixup多分支预测网络结构的输入端有两个相同的分支，两个分支共享参数；每个分支的输入是一个5×5的图像块，对它的输出进行mixup操作；而后经过进一步的特征提取，将得到特征输入到多分支预测模块，每个分支输出的是一个预测的地物类别。
具体的，步骤S6中，特征mixup之后得到的混合特征mixup(xi,xj)和混合地物标签
Figure BDA0002519096130000031
具体为：
mixup(f1(xi),f2(xj))＝λf1(xi)+(1-λ)f2(xj)
Figure BDA0002519096130000032
其中，xi、xj表示第i个输入图像、第j个输入图像，yi、yj表示对应的one-hot地物标签，f1、f2表示输入端的双分支的特征提取器，λ＝max(μ,1-μ)，μ服从beta分布，μ～Beta(α，α),α∈(0,∞)。
进一步的，mixup中的超参数μ控制两个样本之间的插值长度，设置α等于0.75，λ的值取为0.9。
具体的，步骤S7中，最终的预测结果h(x)为：
Figure BDA0002519096130000033
G(x1,x2)＝h(fh(mixup(f1(x1),f2(x2))))
其中，G(x1,x2)为两个样本特征融合后的预测结果，fh为紧跟特征融合模块后的特征提取模块，mixup为特征融合模块，f1(x1)为提取到的x1的特征，f2(x2)为提取到的x2的特征，h(x)为三个分类器预测结果的集成，hi(G)为单个分类器的预测结果。
具体的，步骤S8具体为：
S801、设训练过程中每个批次对应的图像数量为B，在网络的训练过程中，首先取B张有标记的样本记作xl，其对应的标签为yl，同时取B张无标记的样本记作xu，对于无标记样本，用当下的网络给每个无标记样本打上伪标签，无标记样本对应的伪标签记为yu；
S802、把xl、xu在第一维度上进行堆叠，融合结果记作xl+u，原来第一个维度大小为B，现在为2×B，然后把融合之后的数据结果在第一维度上打乱顺序，记作xl′+u；xl+u中的前B张图像是有标记样本，后B张图像是无标记样本，使用浅层网络提取的特征进行mixup操作，再送入后续的特征提取模块和多分支分类器；
S803、计算半监督损失函数。
进一步的，步骤S803中半监督损失函数Loss具体为：
Loss＝LX+ω(t)LU
其中，LX为监督损失，LU为无监督损失，ω(t)为时变函数。
一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
一种分类设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于特征mixup的半监督极化SAR地物分类方法，基于mixup数据增强策略的一些不足，提出对浅层网络提取的特征进行mixup操作的策略，这种方法可以过滤掉冗余像素带来的影响，从而提取判别性更高的特征；鉴于使用均方差计算一致性损失会增强网络的记忆能力，因本发明使用KL散度计算一致性损失，让网络学习一种分布，对于一些模型训练过程中没见过的样本可以做出很好的预测及分类，采用集成策略，在网络结构中设计了多分支结构进行分类。
进一步的，确定一个合适的图像块大小对于后续的分类有着至关重要的影响。如果图像块选择的太大，该图像块内部包含不同地物类别的样本点的概率就越大，中心像素的类别就难以代表图像块的类别，从而影响分类精度。反之，如果图像块选择的太小，就不能构建良好的邻域信息作为补充，也会影响分类精度。因此本发明在两者之间去平衡点，选择5×5的图像块大小，且在实验中表现较好。
进一步的，半监督网络结构将特征提取、融合、分类分为三个子模块，串联起来，以进行端到端的训练。可以根据分类任务，联合优化每个模块。
进一步的，由于直接对不同图像进行融合会引入冗余像素的影响，这些冗余像素对图像的正确分类非但没有促进作用，甚至影响分类结果。本发明采用对网络提取的特征进行融合的策略，这样做减少了冗余像素的影响，能让网络更好的学习到不同类别数据分布的决策边界，进一步提高分类精度。
进一步的，单分支预测结构的预测结果置信度有限，本发明使用多分支预测结构，类似于集成的策略，将每个分支的优势结合起来，可以得到置信度更高的预测结果。
进一步的，训练过程中，设计半监督损失函数以更好的利用无标记数据。对于有标记样本，计算交叉熵损失，以正确的对有标记样本进行分类；对于无标记样本，用KL散度计算一致性损失作为正则化项，KL散度可以拟合样本的特征分布，进一步对两个样本的插值数据也可以进行很好的预测。
综上所述，本发明利用特征mixup、KL散度计算一致性损失和多分支预测，极大的提高了极化SAR地物分类的准确率，提高了网络的性能，增强了网络的鲁棒性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程图；
图2为本发明提出的网络结构图；
图3为本发明在仿真实验中使用的FlevolandI数据集图，其中，(a)为Pauli分解伪彩图，(b)为标签；
图4为本发明在仿真实验中使用的San Francisco数据集图，其中，(a)为Pauli分解伪彩图，(b)为标签；
图5为本发明在仿真实验中使用的FlevolandII数据集图，其中，(a)为Pauli分解伪彩图，(b)为标签；
图6为本发明在FlevolandI数据集上的预测结果图，其中，(a)为标签分类结果，(b)为全图分类结果；
图7为本发明在San Francisco数据集上的预测结果图，其中，(a)为全图分类结果，(b)为标签分类结果；
图8为本发明在FlevolandII数据集上的预测结果图，其中，(a)为全图分类结果，(b)为标签分类结果。
具体实施方式
本发明提供了一种基于特征mixup的半监督极化SAR地物分类方法，准备数据集；制作数据集；数据预处理；设计网络结构；双分支网络提取初级特征；对特征进行mixup操作；多分支预测地物类别；训练地物分类网络；将测试样本输入网络，预测地物类别；评估网络性能。本发明有效克服了现有技术中直接对输入进行mixup所造成冗余像素影响分类结果的问题、使用均方差计算一致性损失会增强网络的记忆能力的问题与单分支预测不可靠的问题，极大的提高了网络的性能，增强了网络的鲁棒性。本发明可用于土地覆盖类型判别，也可以作为目标检测、地质勘探、植被种类判别的中间环节。
请参阅图1，本发明一种基于特征mixup的半监督极化SAR地物分类方法，同时使用KL散度公式计算一致性误差损失，以便学习训练数据的分布，进而对数据间的插值数据做出很好的预测。在半监督分类任务中鉴于单分支预测模型的置信度不高，设计了多分支预测结构的模型。使用这些方法和策略在极化SAR地物分类任务中取得了非常好的结果。包括以下步骤：
S1、准备数据集
本发明使用公开的FlevolandI数据集、San Francisco数据集和FlevolandII数据集。每个数据集上，每个类别随机选择10个有标记的样本和一定数量的无标记样本作为训练集，其他样本作为测试集；
请参阅图3、图4和图5，FlevolandI的尺寸为750×1024像素，真实地面中有15种不同的地形类型，其中大多数是农作物，包括水域、菜子、草、裸土、土豆、甜菜、小麦(3种)、苜蓿、森林、豌豆、建筑物、马铃薯和茎豆；San Francisco的尺寸是1300×1300像素，真实地面中有5种不同的地形类型，包括海洋、植被、低密度区、高密度区和建筑物；FlevolandII的尺寸为1400×1200，有4种不同的地形类型，包括水域、城区、林地和农田。
S2、制作数据集
选取像素点周围大小为5×5的图像块作为一个样本，该图像块的类别和它的中心像素点的类别一致；
同时每个数据集中每个类别选取10个有标记数据以及一些无标记数据作为训练集，其中，FlevolandI数据集每个类选取2000个无标记样本，同时每个类选择3000个有标记样本进行测试；San Francisco数据集每个类选取10000个无标记样本，同时每个类选择10000个有标记样本进行测试；FlevolandII数据集每个类选取5000个无标记样本，同时每个类选择15000个样本进行测试。
S3、数据预处理
将极化SAR数据进行lee滤波，减少斑点噪声的干扰；
S4、半监督网络结构
本发明提出的半监督网络结构由三部分组成。第一部分负责提取输入图像的初级特征；第二部分将mixup操作融合后的初级特征映射为抽象的高级特征；第三部分是分类器；
请参阅图2，设计了一个基于特征mixup多分支预测的网络结构。网络输入端有两个相同的分支，两个分支共享参数。每个分支的输入是一个5×5的图像块，对它的输出进行mixup操作；而后经过进一步的特征提取，将得到特征输入到多分支预测模块，每个分支输出的是一个预测的地物类别
S5、双分支特征提取结构
利用两个分支提取不同类别图像的特征，这两个分支权重共享，为后续的特征mixup操作做准备；
S6、特征mixup模块
对步骤S5中提取到的初级特征进行mixup操作，过滤掉冗余像素带来的负面影响，让网络更好的学习到不同类别数据分布的决策边界，提高模型的分类精度；
特征mixup具体为：
mixup(f1(xi),f2(xj))＝λf1(xi)+(1-λ)f2(xj)
Figure BDA0002519096130000091
其中，xi、xi表示第i个输入图像、第j个输入图像，yi、yj表示对应的one-hot地物标签，f1和f2表示输入端的双分支的特征提取器，mixup(xi,xj)、
Figure BDA0002519096130000092
分别表示特征mixup之后得到的混合特征和混合地物标签。其中，λ＝max(μ,1-μ)，μ服从beta分布，μ～Beta(α，α),α∈(0,∞)。
mixup中的超参数μ控制两个样本之间的插值长度。对于有标记样本的标签是确定的，在和无标记样本融合的过程中权重要大，本发明设置α等于0.75，保证μ的取值分布在0.9或者0.1附近，则λ的取值就会分布在0.9附近。λ的值取0.9主要目的是为了让有标记样本起到主要作用，因为有标记样本的标签是确定的。
S7、多分支预测模块
对步骤S6中得到的混合特征进一步抽象之后，将其送入多分支预测模块，得到最终的预测类别。多分支预测类似集成的策略，得到的结果准确率更高；
多个分支的参数不一样，则特征空间的映射结果就不一样，但是经过softmax函数之后，所有的输出结果都会被归一化操作，此时对多个预测的结果就有了统一的量纲因此可以进行求和取平均操作，类似于少数服从多数，经过多分支预测的输出更有说服力。
G(x1,x2)＝h(fh(mixup(f1(x1),f2(x2))))
Figure BDA0002519096130000093
此处用多分支预测结构进行预测，最后对预测结果进行融合，类似于少数服从多数，预测的输出会更有说服力。设分类器分别为h1、h2和h3，h(x)为最终的预测结果。
S8、训练网络
基于步骤S7获得的预测类别，计算交叉熵损失和一致性损失，对于无标记数据，计算一致性损失；最终的损失函数为交叉熵损失和一致性损失的线性组合，根据损失函数，利用两个损失联合优化整个网络；具体为：
S801、设训练过程中每个批次对应的图像数量为B，在网络的训练过程中，首先取B张有标记的样本记作xl，其对应的标签为yl，同时取B张无标记的样本记作xu，对于无标记样本，用当下的网络给每个无标记样本打上伪标签，无标记样本对应的伪标签记为yu。
S802、首先把xl、xu在第一维度上进行堆叠，融合结果记作xl+u，原来第一个维度大小为B，现在为2×B，然后把融合之后的数据结果在第一维度上打乱顺序，记作x′l+u，xl+u中的前B张图像是有标记样本，后B张图像是无标记样本，而x′l+u的顺序是混乱的。使用浅层网络提取的特征进行mixup操作，再送入后续的特征提取模块和多分支分类器。
S803、计算半监督损失函数：
Figure BDA0002519096130000101
Figure BDA0002519096130000102
Loss＝LX+ω(t)LU
其中，
Figure BDA0002519096130000103
和
Figure BDA0002519096130000104
表示从有标记样本和无标记样本中提取的浅层特征；X′是mixup操作后有标记样本集合，U′是mixup操作后无标记样本集合；q是无标记样本对应的伪标签，p表示经过softmax后网络的预测结果；H表示交叉熵损失函数，KL表示KL散度；Loss为总的损失。公式中的ω(t)是一个时变函数，是一个从0开始逐渐增大最后增大到设定的阈值之后保持不变的过程，网络训练起始阶段ω(t)的值很小是因为刚开始模型基本上没有预测能力，先让有标记样本起主导作用，使网络具有一定的分类能力之后逐渐增大一致性损失的权重。最后使用优化器优化损失函数。
S9、预测匹配概率
将步骤S8训练得到的权重载入网络，得给网络输入测试样本，网络输出测试样本中心像素点所属的地物类别；
S10、评估网络性能
分别在FlevolandI数据集、San Francisco数集和FlevolandII数据集上计算kappa系数和准确率。通过kappa系数和准确率评估网络在这3个数据集上的性能。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图2，矩形方框代表网络在不同阶段提取的特征图，两个圆圈依次代表特征mixup模块和多分支预测集成模块，最右边长条代表的是各分支的预测结果和多分支融合后的预测结果，极化SAR(Synthetic Aperture Radar)图像分类是图像解译过程中的一个重要步骤，也是极化SAR图像处理的一个重要研究方向。基于mixup数据增强策略的一些不足，提出对浅层网络提取的特征进行mixup操作的策略，这种方法可以过滤掉冗余像素带来的影响，从而提取判别性更高的特征，鉴于使用均方差计算一致性损失会增强网络的记忆能力，因此本发明使用KL散度计算一致性损失，让网络学习一种分布，对于一些模型训练过程中没见过的样本可以做出很好的预测及分类，另外由于单分支的分类网络的分类能力不足，因此本发明在网络结构中设计了多分支结构进行分类。
仿真实验条件
本发明仿真实验的硬件平台是：戴尔计算机Intel(R)Core5处理器，主频3.20GHz，内存64GB；
仿真软件平台是：Spyder软件(Python3.6)版。
仿真实验内容与结果分析：
本发明的仿真实验具体分为三个仿真实验。
本发明使用了公开的FlevolandI数据集、San Francisco数据集和FlevolandII数据集。FlevolandI数据集真实地面中有15种不同的地形类型，其中大多数是农作物，包括水域、菜子、草、裸土、土豆、甜菜、小麦(3种)、苜蓿、森林、豌豆、建筑物、马铃薯和茎豆。每类选取10个有标记数据和2000个无标记数据作为训练集，每类中选择3000个有标记样本进行测试。San Francisco数据集真实地面中有5种不同的地形类型，包括海洋、植被、低密度区、高密度区和建筑物。每类选取10个有标记数据和10000个无标记数据作为训练集，每类选额10000个有标记样本作为测试集。FlevolandII数据集有4种不同的地形类型，包括水域、城区、林地和农田。每类选取10个有标记数据和5000个无标记数据作为训练集，每类选取15000个样本作为测试集。每个数据是一个5×5的图像块，其中心像素的类别作为这个图像块的类别。本发明使用训练好的网络权重预测测试集个样本的地物类别，预测结果参见图6、图7、图8。
仿真实验1
本发明与现有技术在FlevolandI数据集上的性能进行对比。分别用相同训练集样本进行训练，再用相同测试集样本对各种方法进行评价。评价结果如表1所示，准确率和kappa值越大越好。
表1不同方法在FlevolandI数据集上的统计结果
Figure BDA0002519096130000131
其中MixMatch+和KL+MixMatch+是本发明的结果，MixMatch+采用特征mixup操作，KL+MixMatch+在MixMatch+的基础上，一致性损失函数使用KL散度计算。从统计表可以清楚的看到基于特征mixup的方法相比于基于图像mixup的方法提升幅度很大，和其他半监督学习方法对比更加明显。
仿真实验2
本发明与现有技术的在San Francisco数据集上的性能进行对比。评价结果如表2所示，
表2不同方法在San Francisco数据集上的统计结果
Figure BDA0002519096130000141
其中MixMatch+和多分支+MixMatch+是本发明的结果，MixMatch+采用特征mixup操作，多分支+MixMatch+在MixMatch+的基础上，采用多分支分类器。从表2可以清楚的看到在San Francisco数据集上，基于特征融合的方法相比于基于图像融合的方法提升幅度很大，和其他半监督学习方法对比更加明显，且不同类别之间的决策边界也比其他方法清晰。
仿真实验3
本发明与现有技术的在FlevolandII数据集基准数据集上的性能对比。评价结果如表3所示。
表3不同方法在FlevolandII数据集上的统计结果
Figure BDA0002519096130000142
Figure BDA0002519096130000151
其中，MixMatch+和多分支+MixMatch+是本发明的结果。从表3结果可以看出，本发明相比于一些基于数据增强的半监督方法相比，整体上提升明显，特别的在第3个类别上的kappa系数提升幅度巨大，统计结果显示，特征mixup的方法确实有助于模型学习一个高精度的分类器。
本发明提出了一种极化SAR地物分类方法，基于mixup数据增强策略的一些不足，本发明对浅层网络提取的特征进行mixup操作，这种方法可以过滤掉冗余像素带来的影响，从而提取判别性更高的特征；本发明使用KL散度计算一致性损失，让网络学习一种分布，对于一些模型训练过程中没见过的样本可以做出很好的预测及分类；本发明在网络结构中设计了多分支结构进行分类，避免由于单分支的分类网络的分类能力不足。
综上所述，本发明公开了一种基于特征mixup的半监督极化SAR地物分类方法，解决了极化SAR地物分类的问题。有效克服了现有技术中对输入进行mixup和单分支预测所带来的问题，极大的提高了网络的性能，增强了网络的鲁棒性。本发明可用于土地覆盖类型判别，也可以作为目标检测、地质勘探、植被种类判别的中间环节。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于特征mixup的半监督极化SAR地物分类方法，其特征在于，包括以下步骤：
S1、使用FlevolandI数据集、San Francisco数据集和FlevolandII数据集，每个数据集上，每个类别随机选择10个有标记的样本和若干无标记样本作为训练集，其他样本作为测试集；
S2、选取像素点周围大小为5×5的图像块作为一个样本，图像块的类别和中心像素点的类别一致，制作数据集；
S3、将极化SAR数据进行lee滤波，完成数据预处理；
S4、建立半监督网络结构，半监督网络结构的第一部分负责提取输入图像的初级特征；第二部分将mixup操作融合后的初级特征映射为抽象的高级特征；第三部分是分类器；
S5、利用两个分支提取不同类别图像的特征，两个分支权重共享；
S6、对步骤S5中提取到的初级特征进行mixup操作；
S7、对步骤S6中得到的混合特征进一步抽象之后，将其送入多分支预测模块，得到最终的预测类别；
S8、基于步骤S7获得的预测类别，计算交叉熵损失和一致性损失，利用两个损失联合优化整个网络；
S9、将步骤S8训练得到的权重载入网络，得到每一个测试样本的中心像素点所属地物类别，完成分类。
2.根据权利要求1所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，步骤S2中，每个数据集中每个类别选取10个有标记数据以及无标记数据作为训练集，其中，FlevolandI数据集每个类选取2000个无标记样本，每个类选择3000个有标记样本进行测试；San Francisco数据集每个类选取10000个无标记样本，每个类选择10000个有标记样本进行测试；FlevolandII数据集每个类选取5000个无标记样本，每个类选择15000个样本进行测试。
3.根据权利要求1所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，步骤S4中，基于特征mixup多分支预测网络结构的输入端有两个相同的分支，两个分支共享参数；每个分支的输入是一个5×5的图像块，对它的输出进行mixup操作；而后经过进一步的特征提取，将得到特征输入到多分支预测模块，每个分支输出的是一个预测的地物类别。
4.根据权利要求1所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，步骤S6中，特征mixup之后得到的混合特征mixup(xi,xj)和混合地物标签
Figure FDA0002519096120000023
具体为：
mixup(f1(xi),f2(xj))＝λf1(xi)+(1-λ)f2(xj)
Figure FDA0002519096120000021
其中，xi、xj表示第i个输入图像、第j个输入图像，yi、yj表示对应的one-hot地物标签，f1、f2表示输入端的双分支的特征提取器，λ＝max(μ,1-μ)，μ服从beta分布，μ～Beta(α，α),α∈(0,∞)。
5.根据权利要求4所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，mixup中的超参数μ控制两个样本之间的插值长度，设置α等于0.75，λ的值取为0.9。
6.根据权利要求1所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，步骤S7中，最终的预测结果h(x)为：
Figure FDA0002519096120000022
G(x1,x2)＝h(fh(mixup(f1(x1),f2(x2))))
其中，G(x1,x2)为两个样本特征融合后的预测结果，fh为紧跟特征融合模块后的特征提取模块，mixup为特征融合模块，f1(x1)为提取到的x1的特征，f2(x2)为提取到的x2的特征，h(x)为三个分类器预测结果的集成，hi(G)为单个分类器的预测结果。
7.根据权利要求1所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，步骤S8具体为：
S801、设训练过程中每个批次对应的图像数量为B，在网络的训练过程中，首先取B张有标记的样本记作xl，其对应的标签为yl，同时取B张无标记的样本记作xu，对于无标记样本，用当下的网络给每个无标记样本打上伪标签，无标记样本对应的伪标签记为yu；
S802、把xl、xu在第一维度上进行堆叠，融合结果记作xl+u，原来第一个维度大小为B，现在为2×B，然后把融合之后的数据结果在第一维度上打乱顺序，记作x′l+u；xl+u中的前B张图像是有标记样本，后B张图像是无标记样本，使用浅层网络提取的特征进行mixup操作，再送入后续的特征提取模块和多分支分类器；
S803、计算半监督损失函数。
8.根据权利要求7所述的基于特征mixup的半监督极化SAR地物分类方法，其特征在于，步骤S803中半监督损失函数Loss具体为：
Loss＝LX+ω(t)LU
其中，LX为监督损失，LU为无监督损失，ω(t)为时变函数。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种分类设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
CN202010485708.6A 2020-06-01 2020-06-01 一种基于特征mixup的半监督极化SAR地物分类方法 Active CN111695466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010485708.6A CN111695466B (zh) 2020-06-01 2020-06-01 一种基于特征mixup的半监督极化SAR地物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010485708.6A CN111695466B (zh) 2020-06-01 2020-06-01 一种基于特征mixup的半监督极化SAR地物分类方法

Publications (2)

Publication Number Publication Date
CN111695466A true CN111695466A (zh) 2020-09-22
CN111695466B CN111695466B (zh) 2023-03-24

Family

ID=72479057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010485708.6A Active CN111695466B (zh) 2020-06-01 2020-06-01 一种基于特征mixup的半监督极化SAR地物分类方法

Country Status (1)

Country Link
CN (1) CN111695466B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183509A (zh) * 2020-12-01 2021-01-05 广州市玄武无线科技股份有限公司 一种基于目标检测的仓储稽核方法及系统
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
CN112257726A (zh) * 2020-10-29 2021-01-22 上海明略人工智能(集团)有限公司 目标检测训练方法、系统、电子设备及计算机可读存储介质
CN112966748A (zh) * 2021-03-09 2021-06-15 中国电子科技集团公司第五十四研究所 基于边缘感知双分支fcn的极化sar图像分类方法
CN113420786A (zh) * 2021-05-31 2021-09-21 杭州电子科技大学 一种特征混合图像的半监督分类方法
CN113688665A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN113780096A (zh) * 2021-08-17 2021-12-10 北京数慧时空信息技术有限公司 基于半监督深度学习的植被类地物提取方法
CN113869136A (zh) * 2021-09-03 2021-12-31 西安电子科技大学 基于多分支网络的半监督极化sar图像分类方法
CN115563284A (zh) * 2022-10-24 2023-01-03 重庆理工大学 一种基于语义的深度多实例弱监督文本分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194336A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 基于半监督深度距离度量网络的极化sar图像分类方法
CN107491734A (zh) * 2017-07-19 2017-12-19 苏州闻捷传感技术有限公司 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN109145832A (zh) * 2018-08-27 2019-01-04 大连理工大学 基于dsfnn与非局部决策的极化sar图像半监督分类方法
US20200019817A1 (en) * 2018-07-11 2020-01-16 Harbin Institute Of Technology Superpixel classification method based on semi-supervised k-svd and multiscale sparse representation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194336A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 基于半监督深度距离度量网络的极化sar图像分类方法
CN107491734A (zh) * 2017-07-19 2017-12-19 苏州闻捷传感技术有限公司 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
US20200019817A1 (en) * 2018-07-11 2020-01-16 Harbin Institute Of Technology Superpixel classification method based on semi-supervised k-svd and multiscale sparse representation
CN109145832A (zh) * 2018-08-27 2019-01-04 大连理工大学 基于dsfnn与非局部决策的极化sar图像半监督分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜友田等: "融合异构信息的网络视频在线半监督分类方法", 《西安交通大学学报》 *
耿艳磊等: "高分辨率遥感影像语义分割的半监督全卷积网络法", 《测绘学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232349B (zh) * 2020-09-23 2023-11-03 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
CN112257726A (zh) * 2020-10-29 2021-01-22 上海明略人工智能(集团)有限公司 目标检测训练方法、系统、电子设备及计算机可读存储介质
CN112257726B (zh) * 2020-10-29 2023-12-15 上海明略人工智能(集团)有限公司 目标检测训练方法、系统、电子设备及计算机可读存储介质
CN112183509B (zh) * 2020-12-01 2021-04-23 广州市玄武无线科技股份有限公司 一种基于目标检测的仓储稽核方法及系统
CN112183509A (zh) * 2020-12-01 2021-01-05 广州市玄武无线科技股份有限公司 一种基于目标检测的仓储稽核方法及系统
CN112966748A (zh) * 2021-03-09 2021-06-15 中国电子科技集团公司第五十四研究所 基于边缘感知双分支fcn的极化sar图像分类方法
CN113420786A (zh) * 2021-05-31 2021-09-21 杭州电子科技大学 一种特征混合图像的半监督分类方法
CN113688665A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN113688665B (zh) * 2021-07-08 2024-02-20 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN113780096B (zh) * 2021-08-17 2023-12-01 北京数慧时空信息技术有限公司 基于半监督深度学习的植被类地物提取方法
CN113780096A (zh) * 2021-08-17 2021-12-10 北京数慧时空信息技术有限公司 基于半监督深度学习的植被类地物提取方法
CN113869136A (zh) * 2021-09-03 2021-12-31 西安电子科技大学 基于多分支网络的半监督极化sar图像分类方法
CN115563284A (zh) * 2022-10-24 2023-01-03 重庆理工大学 一种基于语义的深度多实例弱监督文本分类方法

Also Published As

Publication number Publication date
CN111695466B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111695466B (zh) 一种基于特征mixup的半监督极化SAR地物分类方法
Xie et al. A deep-learning-based real-time detector for grape leaf diseases using improved convolutional neural networks
CN109993220B (zh) 基于双路注意力融合神经网络的多源遥感图像分类方法
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN113011499A (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
CN109508655A (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN106446942A (zh) 基于增量学习的农作物病害识别方法
Mishra et al. A Deep Learning-Based Novel Approach for Weed Growth Estimation.
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
Su et al. LodgeNet: Improved rice lodging recognition using semantic segmentation of UAV high-resolution remote sensing images
CN111985554A (zh) 一种模型训练方法、手镯识别方法及对应装置
CN110084812A (zh) 一种太赫兹图像缺陷检测方法、装置、系统及存储介质
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN114693616A (zh) 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质
Yang et al. Convolutional neural network-based automatic image recognition for agricultural machinery
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
Yang et al. Automatically adjustable multi-scale feature extraction framework for hyperspectral image classification
CN116681927A (zh) 结合深度学习模型和传统分类器的用于PolSAR数据的分类方法及系统
Song et al. Detection of Northern Corn Leaf Blight Disease in Real Environment Using Optimized YOLOv3
CN110210574A (zh) 合成孔径雷达图像解译方法、目标识别装置及设备
HARMANCI et al. Classification of hazelnut species with pre-trained deep learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant