CN111832615A - 一种基于前景背景特征融合的样本扩充方法及系统 - Google Patents

一种基于前景背景特征融合的样本扩充方法及系统 Download PDF

Info

Publication number
CN111832615A
CN111832615A CN202010502552.8A CN202010502552A CN111832615A CN 111832615 A CN111832615 A CN 111832615A CN 202010502552 A CN202010502552 A CN 202010502552A CN 111832615 A CN111832615 A CN 111832615A
Authority
CN
China
Prior art keywords
sample
feature
training
data set
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010502552.8A
Other languages
English (en)
Inventor
张义
孙显
付琨
张跃
王辉
常仲翰
张腾飞
李�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010502552.8A priority Critical patent/CN111832615A/zh
Publication of CN111832615A publication Critical patent/CN111832615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于前景背景特征融合的样本扩充方法及系统，包括基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；基于源数据集构建小样本源地物分类任务，并基于小样本源分类任务训练特征提取器，混合模型和分类器；基于目标数据集构建小样本目标地物分类任务；基于目标分类任务利用训练好的特征提取器和混合模型进行样本扩充；其中，每个任务均包括：前景特征、背景特征和混合特征，混合特征为前景特征和背景特征利用混合模型合成的特征，本发明基于分类任务训练混合模型，不增加额外的人工标注扩充训练样本，降低了训练成本，利用训练好的特征提取器与混合模型对目标数据集进行扩充，对分类器进行训练，实现了样本扩充的方法。

Description

一种基于前景背景特征融合的样本扩充方法及系统
技术领域
本发明涉及遥感智能识别领域，具体涉及一种基于前景背景特征融合的样本扩充方法及系统。
背景技术
小样本学习是从少量的数据中快速学习到模型。小样本图像识别是人工智能中具有挑战性的新兴领域。传统深度学习方法需要大量的训练数据，当数据量比较小时容易使模型出现过拟合从而降低性能。然后在很多领域都有数据量匮乏的现象，例如珍稀物种的识别，医学诊断图片等，由于难以获取数据，或者不易于标注，导致传统的深度学习技术无法很好的应用在这些领域。
随着航天技术的发展，我国的对地观测系统已经初步形成。我们可以通过遥感卫星获取高分辨率的遥感数据。高分辨的遥感影像在国土调查、城市检测、气象、水利水电、国防安全等领域有着重要的作用。遥感地物分类在挖掘遥感影像数据中有着重要的价值。然而在实际研究中，获取的遥感地物样本通常是大量的无标签数据，需要对数据进行人工标注。而且训练数据不同类别样本的数据量往往不一样，会出现样本数量不均衡的情况。
综上所述，在样本稀少的情况实现小样本遥感地物分类是一个十分具有实际意义的工作。现有的小样本图像分类方法提出有如下几种：
度量学习通过神经网络学习实例之间的相似性，将目标特征输入到关系单元中与训练样本的特征进行比较，通过相似度的衡量来结果的判断。
元学习方法的思想是寻找模型的超参数和参数，使用少量样本通过元学习器学习这个任务的模型，从而解决这个任务，同时通过模型的通用性。
数据增强通过数据生成网络生成虚拟数据扩充样本的多样性，通过端到端的方式训练生成网络和分类算法，并且保证了生成的图像对分类任务有作用。但是它增加了训练成本，需要多个数据集参与训练。
发明内容
为了解决现有技术中通过数据生成网络扩充样本所存在的额外训练成本问题，本发明提供一种基于前景背景特征融合的样本扩充方法，包括：
基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；
基于所述源数据集构建小样本源地物分类任务，并基于所述小样本源分类任务训练特征提取器，混合模型和分类器；
基于所述目标数据集构建小样本目标地物分类任务；
基于所述目标分类任务利用所述训练好的特征提取器和混合模型进行样本扩充；
其中，所述每个任务均包括：前景特征、背景特征和混合特征，所述混合特征为前景特征和背景特征利用混合模型合成的特征。
优选的所述基于所述源数据集构建小样本源地物分类任务或基于所述目标数据集构建小样本目标地物分类任务，包括：
基于源数据集或目标数据集：
随机选取多个类别；
每类随机选取多个样本组成多个小样本源地物分类任务或目标分类任务。
优选的所述基于源数据集小样本地物分类任务训练特征提取器，混合模型和分类器，包括：
在每个训练任务中，采用显著性预测网络提取每个地物图像的显著性区域掩膜，使用网络的特征提取器作为分类任务的特征提取器，利用所述掩膜获取该样本的前景特征与背景特征；
计算每个任务中不同类别的不同样本的背景相似先验度，并将高于一定阈值的样本的背景与前景特征两两组合，通过混合模型得到合成的特征；
使用合成后的特征进行训练，在交叉熵损失函数下按照反向传播算法，对混合模型和分类器进行优化。
优选的，所述基于小样本源分类任务训练特征提取器，包括：
将所述小样本源分类数据集划分为训练集和测试集使用显著性检测网络利用训练集对特征提取器进行训练；
在训练过程中，将显著性检测网络分为一个显著性学习模块和噪声学习模块利用显著性模块损失函数的预测结果作为监督，其中所述损失函数为交叉熵损失函数；
利用噪声模块对预测结果建模得到预测噪声；
优选的所述显著性模块中损失函数计算式如下：
Figure BDA0002524562580000031
式中，L1为显著性模块中损失函数，i为训练图像的索引，j为显著性图的索引，L()为交叉熵损失函数计算，N为训练图片的数量，M为每张图像M个显著性图，
Figure BDA0002524562580000032
为显著性网络的预测输出，
Figure BDA0002524562580000033
为使用非监督方法的预测结果；
所述交叉熵损失函数计算式如下：
Figure BDA0002524562580000034
所述噪声模块中损失函数如下式：
Figure BDA0002524562580000035
式中，Lz为噪声模块中损失函数，KL()为KL散度计算。
优选的所述采用显著性模块提取每个地物图像的显著性区域掩膜，利用所述掩膜获取该样本的前景特征与背景特征，包括：
采用所述训练好的显著性学习模块提取每个地物图像的显著性区域掩膜；
利用所述地物图像的显著性区域掩膜确定获得图像的前景特征；
所述地物图像特征中的其他部分为背景特征。
优选的所述将每个任务中不同样本的前景、背景特征两两组合，通过混合模型得到合成的特征，包括：
将每个任务中不同样本的前景、背景特征经过混合模型中一半的卷积块进行求和；
再经过剩余一半的卷积块得到融合特征；
其中，所述混合模型，包括多个卷积块构成，每个卷积块均包括：一个卷积层、BatchNorm层、激活函数和池化层。
优选的所述混合模型的卷积块为8个。
优选的所述通过测量选定图像背景与其他背景的相似度，过滤虚假的数据，使用合成后的特征进行训练，在交叉熵损失函数下按照反向传播算法，对混合模型和分类器进行优化，包括：
对于所有类别样本，计算两两样本背景之间的距离；
基于两两样本背景之间的距离计算两两样本背景的相似先验度；
当存在大于一定阈值的两两样本背景的相似先验度时，如果大于一定阈值的两两样本为同类别样本时，实行特征融合，如果所述两两样本为同一类别的时，将其背景与前景的特征进行两两融合；
将特征网络提取的特征与混合后的特征一起送入分类器，计算其交叉熵损失，使用反向传播算法更新神经网络参数。
利用所述训练集和验证集对特征提取器进行优化，使用测试集对分类器进行测试。
优选的所述两两样本背景之间距离的计算公式如下：
Figure BDA0002524562580000041
式中，d()为bn，bn′背景之间距离；bn，bn′为样本n和样本n′的背景标签；f()为样本背景的特征表示；
所述相似先验度计算公式：
Figure BDA0002524562580000042
其中p()为bn，bn′相似先验度；a，d为超参数；
所述交叉熵损失函数如下：
Figure BDA0002524562580000043
式中，Lcls为交叉熵损失函数；yc为第c类样本标签，c为类别数目；
Figure BDA0002524562580000044
为预测输出。
优选的所述采用所述混合模型对所述目标数据集中的样本进行扩充，之后还包括：
步骤1)将所述扩充后的样本划分为扩充训练集和测试集，
步骤2)利用所述扩充后的样本对分类器进行扩充训练，得到小样本条件下的遥感地物分类；
步骤3)将所述测试集带入扩充训练后的分类器得到小样本条件下的遥感地物预测分类；
步骤4)基于所述遥感地物预测分类和测试集中的地物分类，采用F-score法对精确率与召唤率进行计算得到F-score指标；
步骤5)再次将所述扩充后的样本划分为扩充训练集和测试集，重复执行所述步骤2)，直到将所述目标数据集重复划分设定次数后，执行步骤6)；
步骤6)计算F-score指标的平均值，并基于所述平均值对分类器进行优化。
优选的，所述精确率计算式如下：
Figure BDA0002524562580000051
式中，P为精确率；TP表示被正确判定为正样本的数目；FP表示被错误判定为正样本的数目；
所述召唤率(R)计算式如下：
Figure BDA0002524562580000052
式中：R为召唤率；FN表示被误判为负样本的正样本；
F-score的计算方式如下：
Figure BDA0002524562580000053
式中，F为指标值。基于同一种发明构思，本发明还提供一种基于前景背景特征融合的样本扩充系统，包括：
划分模块用于，基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；
训练模块用于，基于所述源数据集构建小样本源地物分类任务，并基于所述小样本源分类任务训练特征提取器，混合模型和分类器；
分类任务模块用于，基于所述目标数据集构建小样本目标地物分类任务；
样本扩充模块用于，基于所述源分类任务利用所述训练好的特征提取器和混合模型进行样本扩充；
其中，所述每个任务均包括：前景特征、背景特征和混合特征，所述混合特征为前景特征和背景特征利用混合模型合成的特征。
与现有技术相比，本发明的有益效果为：
1、本发明提供了一种基于前景背景特征融合的样本扩充方法及系统，包括基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；基于源数据集构建小样本源地物分类任务，并基于小样本源分类任务训练特征提取器，混合模型和分类器；基于目标数据集构建小样本目标地物分类任务；基于目标分类任务利用训练好的特征提取器和混合模型进行样本扩充；其中，每个任务均包括：前景特征、背景特征和混合特征，混合特征为前景特征和背景特征利用混合模型合成的特征，基于分类任务训练混合模型，不增加额外的人工标注扩充训练样本，降低了训练成本，利用训练好的特征提取器与混合模型对目标数据集进行扩充，对分类器进行训练，实现了样本扩充的方法。
2、本发明提供的一种基于前景背景特征融合的样本扩充方法及系统，通过源数据集对显著性检测网络的训练，完成特征提取器的参数初始化，通过分类任务对混合模型以及分类器进行训练，降低源数据集上的过拟合风险，不需要使用额外的人工标注数据集训练生成模型，降低了训练成本。
3、本发明提出的一种基于前景背景特征融合的样本扩充方法及系统对不同类别的样本使用了过滤虚假样本的策略，基于两两样本背景之间的距离计算两两样本背景的相似先验度，当其大于一定阈值时，将其背景与前景的特征进行融合，可以将不符合真实生活的样本过滤掉，避免虚拟数据对模型产生副作用，有效地扩展出新的目标数据，提高了模型的性能，在公开遥感地物数据集上获得目前最好的效果。
附图说明
图1为本申请实施例提供的一种基于前景背景特征融合的样本自动扩充方法的流程示意图；
图2为本申请实施例提供的小样本遥感地物分类的数据集划分流程示意图；
图3为本申请实施例提供的一种显著性检测网络训练流程图；
图4为本申请实施例提供的小样本地物分类任务构建示意图；
图5为本申请实施例提供的一种基于自动样本扩充的小样本遥感地物分类方法的前景背景特征合成示意图；
图6本申请实施例2提供的小样本遥感地物分类系统总体框图。
具体实施方式
为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。
实施例1：
如图1所示，一种基于前景背景特征融合的样本扩充方法，其特征在于，包括：
S1：基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；
S2：基于所述源数据集构建小样本源地物分类任务，并基于所述小样本源分类任务训练特征提取器，混合模型和分类器；
S3：基于所述目标数据集构建小样本目标地物分类任务；
S4：基于所述目标分类任务利用所述训练好的特征提取器和混合模型进行样本扩充；
其中，所述每个任务均包括：前景特征、背景特征和混合特征，所述混合特征为前景特征和背景特征利用混合模型合成的特征。
S1：基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集，如图2所示，其中具体包括：
将遥感地物分类数据集中地物类别划分为源类别、目标类别，并保证二者不存在地物类别重合。进一步按照源类别、目标类别，将遥感地物分类数据集划分为源数据集、目标数据集，并保证源数据集上每类样本数一般不少于500个；
S2：所述基于源数据集小样本地物分类任务训练特征提取器，混合模型和分类器，首选构建显著性图检测任务，使用源数据集对显著性检测网络进行训练，提取每个地物图像的显著性区域掩膜。然后从源数据集中随机选取N个类别，每类随机选取K个样本组成N-way，K-shot小样本地物分类任务，并从每类剩余样本中随机抽取W个样本作为该任务的测试样本，从源数据集中构建S个这样的任务，示意图如图4所示。使用该网络的特征提取器作为分类任务的特征提取器，获取样本的前景特征与背景特征，通过混合模型得到合成的特征，前景背景特征合成示意图如图5所示，使用合成后的特征进行训练，在交叉熵损失函数下按照反向传播算法，对混合模型和分类器进行优化，包括：
(1)将所述小样本源分类数据集划分为训练集和测试集使用显著性检测网络利用训练集对特征提取器进行训练，训练示意图如图3；
步骤1：深度检测网络预测显著性图，由特征提取器和FCN构成，使用噪声模型预测噪声，将传统显著性检测方法的预测结果看做显著性图加噪声的集合作为网络的监督；
步骤2：损失函数由两部分构成，显著性模块直接使用已有方法的非监督方法的预测结果，与本方法的预测结果使用交叉熵损失函数，噪声模块假设噪声服从高斯分布，使用预测噪声与理想噪声的KL散度作为损失函数，KL散度(Kullback-Leibler divergence)或信息散度(information divergence)，是两个概率分布(probability distribution)间差异的非对称性度量，在本发明中用来训练显著性检测网络中的噪声模块；
显著性模块中损失函数计算式如下：
Figure BDA0002524562580000081
式中，L1为显著性模块中损失函数，i为训练图像的索引，j为显著性图的索引，L()为交叉熵损失函数计算，N为训练图片的数量，M为每张图像M个显著性图，
Figure BDA0002524562580000082
为显著性网络的预测输出，
Figure BDA0002524562580000083
为使用非监督方法的预测结果；
交叉熵损失函数计算式如下：
Figure BDA0002524562580000084
噪声模块中损失函数如下式：
Figure BDA0002524562580000085
式中，Lz为噪声模块中损失函数，KL()为KL散度计算。
步骤3：待损失函数趋于平稳后终止训练。剔除深度检测网络的FCN，并将剩余部位的参数用于特征提取器的参数初始化。
(2)采用显著性预测网络提取每个地物图像的显著性区域掩膜，利用所述掩膜获取该样本的前景特征与背景特征，计算每个任务中不同类别的不同样本的背景相似先验度，高于一定阈值的样本，将其前景、背景特征通过混合模型得到合成的特征，包括：
步骤1：采用所述训练好的显著性学习模块提取每个地物图像的显著性区域掩膜，利用所述地物图像的显著性区域掩膜确定获得图像的前景特征，所述地物图像特征中的其他部分为背景特征；
步骤2：对于不同类别样本，计算两两样本背景之间的距离，基于两两样本之间的背景距离计算两两样本背景的相似先验度，当存在大于一定阈值的两两样本背景的相似先验度时，实行特征融合，如果所述两两样本同一类别的时，将其背景与前景的特征进行两两融合；
其中，两两样本背景之间距离的计算公式如下：
Figure BDA0002524562580000091
式中，d()为bn，bn′背景之间距离；bn，bn′为样本n和样本n′的背景标签；f()为样本背景的特征表示；
相似先验度计算公式：
Figure BDA0002524562580000092
其中p()为bn，bn′相似先验度；a，d为超参数；
交叉熵损失函数如下：
Figure BDA0002524562580000093
式中，Lcls为交叉熵损失函数；yc为第c类样本标签，c为类别数目；
Figure BDA0002524562580000094
为预测输出。
步骤3：混合模型由12个卷积块构成，样本的前景、背景特征各经过4个卷积块之后进行求和，再经过剩余一半的卷积块得到融合特征；其中，所述混合模型，包括多个卷积块构成，每个卷积块均包括：一个卷积层、BatchNorm层、激活函数和池化层。
(3)将特征网络提取的特征与混合后的特征一起送入分类器，计算其交叉熵损失，使用反向传播算法更新神经网络参数，对混合模型和分类器进行优化。
S3：基于所述目标数据集构建小样本目标地物分类任务，然后从目标数据集中随机选取N个类别，每类随机选取K个样本组成N-way，K-shot小样本地物分类任务，并从每类剩余样本中随机抽取W个样本作为该任务的测试样本，从目标数据集中构建S个这样的任务，示意图如图4所示。
S4：给定目标数据集上的小样本地物分类任务。利用显著性检测网络获取训练样本的显著性区域掩膜，利用特征提取器获取样本的特征，通过混合模型对训练样本特征进行融合的扩充后的样本空间，使用合成后特征以及特征网络提取的特征对分类器进行训练，使用训练好的分类器对测试集中样本进行测试，确定测试样本的地物分类；
此外，考虑到目标数据集的训练集中样本数量较少，不具有代表性，为了让本算法的小样本地物分类性能的测试结果更为可靠，一般将目标数据集重复划分M次，然后重复进行模型的训练、测试，最后将M次划分中测试结果的平均值作为最终的测试结果。本算法采用基于F-score的标准差进行判别，其中对于F-score的计算方式如下：
Figure BDA0002524562580000101
P为精确率，即预测为正且预测正确的样本占所有预测为正的样本的比例；R为召回率，即预测为正且预测正确的样本占所有实际为正的样本的比例。
实施例2
为了实现上述方法，本发明还提供一种基于前景背景特征融合的样本扩充系统，如图6所示，包括：
划分模块用于，基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；
训练模块用于，基于所述源数据集构建小样本源地物分类任务，并基于所述小样本源分类任务训练特征提取器，混合模型和分类器；
分类任务模块用于，基于所述目标数据集构建小样本目标地物分类任务；
样本扩充模块用于，基于所述源分类任务利用所述训练好的特征提取器和混合模型进行样本扩充；
其中，所述每个任务均包括：前景特征、背景特征和混合特征，所述混合特征为前景特征和背景特征利用混合模型合成的特征。其中，数据集划分模块具体用于：
将遥感地物分类数据集中地物类别划分为源类别、目标类别，且所述源类别和目标类别中的地物类别互斥；
基于所述源类别和目标类别将遥感地物分类数据集划分为源数据集、目标数据集；
本实施例中源数据集上每类地物目标所所对应的样本数应不少于500。
训练模块具体用于：
(1)使用显著性检测网络利用源数据集训练集对特征提取器进行训练，包括：
由特征提取器和FCN进行预测显著性图，使用噪声模型预测噪声，将传统显著性检测方法的预测结果看做显著性图加噪声的集合作为网络的监督；
损失函数由两部分构成，显著性预测模块的损失函数加上噪声模块的损失函数，同时用一个正则化因子进行权衡。
待损失函数趋于平稳后终止训练，使用训练好的特征提取器作为分类器的特征提取器。
(2)使用混合模型对特征进行融合，包括：
采用显著性预测网络提取每个地物图像的显著性区域掩膜，利用所述掩膜获取该样本的前景特征与背景特征，
计算每个任务中不同类别的不同样本的背景相似先验度，高于一定阈值的样本，将其前景、背景特征通过混合模型得到合成的特征，
(3)将特征网络提取的特征与混合后的特征一起送入分类器，计算其交叉熵损失，使用反向传播算法更新神经网络参数，对混合模型和分类器进行优化。
分类任务模块用于：
基于所述目标数据集构建小样本目标地物分类任务，包括：
基于所述目标数据集构建小样本目标地物分类任务，然后从目标数据集中随机选取N个类别，每类随机选取K个样本组成N-way，K-shot小样本地物分类任务，并从每类剩余样本中随机抽取W个样本作为该任务的测试样本，从目标数据集中构建S个这样的任务；
样本扩充模块用于：
基于所述源分类任务利用所述训练好的特征提取器和混合模型进行样本扩充，具体包括：
利用显著性检测网络提取每个地物图像的显著性区域掩膜，利用特征提取器获取样本的前景特征，背景特征，
通过混合模型对训练样本特征进行融合的扩充后的样本空间，
使用合成后特征以及特征网络提取的特征对分类器进行训练，
使用训练好的分类器对测试集中样本进行测试，确定测试样本的地物分类。

Claims (10)

1.一种基于前景背景特征融合的样本扩充方法，其特征在于，包括：
基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；
基于所述源数据集构建小样本源地物分类任务，并基于所述小样本源分类任务训练特征提取器，混合模型和分类器；
基于所述目标数据集构建小样本目标地物分类任务；
基于所述目标分类任务利用所述训练好的特征提取器和混合模型进行样本扩充；
其中，所述每个任务均包括：前景特征、背景特征和混合特征，所述混合特征为前景特征和背景特征利用混合模型合成的特征。
2.如权利要求1所述的样本扩充方法，其特征在于，所述基于所述源数据集构建小样本源地物分类任务或基于所述目标数据集构建小样本目标地物分类任务，包括：
基于源数据集或目标数据集：
随机选取多个类别；
每类随机选取多个样本组成多个小样本源地物分类任务或目标分类任务。
3.如权利要求1所述的样本扩充方法，其特征在于，所述基于源数据集小样本地物分类任务训练特征提取器，混合模型和分类器，包括：
在每个训练任务中，采用显著性预测网络提取每个地物图像的显著性区域掩膜，使用网络的特征提取器作为分类任务的特征提取器，利用所述掩膜获取该样本的前景特征与背景特征；
计算每个任务中不同类别的不同样本的背景相似先验度，并将高于一定阈值的样本的背景与前景特征两两组合，通过混合模型得到合成的特征；
使用合成后的特征进行训练，在交叉熵损失函数下按照反向传播算法，对混合模型和分类器进行优化。
4.如权利要求1所述的样本扩充方法，其特征在于，所述基于小样本源分类任务训练特征提取器，包括：
将所述小样本源分类数据集划分为训练集和测试集使用显著性检测网络利用训练集对特征提取器进行训练；
在训练过程中，将显著性检测网络分为一个显著性学习模块和噪声学习模块
利用显著性模块损失函数的预测结果作为监督，其中所述损失函数为交叉熵损失函数；
利用噪声模块对预测结果建模得到预测噪声；
优选的，所述显著性模块中损失函数计算式如下：
Figure FDA0002524562570000021
式中，L1为显著性模块中损失函数，i为训练图像的索引，j为显著性图的索引，L()为交叉熵损失函数计算，N为训练图片的数量，M为每张图像M个显著性图，
Figure FDA0002524562570000022
为显著性网络的预测输出，
Figure FDA0002524562570000023
为使用非监督方法的预测结果；
所述交叉熵损失函数计算式如下：
Figure FDA0002524562570000024
所述噪声模块中损失函数如下式：
Figure FDA0002524562570000025
式中，L2为噪声模块中损失函数，KL()为KL散度计算；
优选的，所述采用显著性模块提取每个地物图像的显著性区域掩膜，利用所述掩膜获取该样本的前景特征与背景特征，包括：
采用所述训练好的显著性学习模块提取每个地物图像的显著性区域掩膜；
利用所述地物图像的显著性区域掩膜确定获得图像的前景特征；
所述地物图像特征中的其他部分为背景特征。
5.如权利要求3所述的样本扩充方法，其特征在于，所述将每个任务中不同样本的前景、背景特征两两组合，通过混合模型得到合成的特征，包括：
将每个任务中不同样本的前景、背景特征经过混合模型中一半的卷积块进行求和；
再经过剩余一半的卷积块得到融合特征；
其中，所述混合模型，包括多个卷积块构成，每个卷积块均包括：一个卷积层、BatchNorm层、激活函数和池化层。
优选的，所述混合模型的卷积块为8个。
6.如权利要求5所述的样本扩充方法，其特征在于，所述通过测量选定图像背景与其他背景的相似度，过滤虚假的数据，使用合成后的特征进行训练，在交叉熵损失函数下按照反向传播算法，对混合模型和分类器进行优化，包括：
对于所有类别样本，计算两两样本背景之间的距离；
基于两两样本背景之间的距离计算两两样本背景的相似先验度；
当存在大于一定阈值的两两样本背景的相似先验度时，如果大于一定阈值的两两样本为同类别样本时，实行特征融合，如果所述两两样本为同一类别的时，将其背景与前景的特征进行两两融合；
将特征网络提取的特征与混合后的特征一起送入分类器，计算其交叉熵损失，使用反向传播算法更新神经网络参数。
利用所述训练集和验证集对特征提取器进行优化，使用测试集对分类器进行测试。
7.如权利要求6所述的样本扩充方法，其特征在于，两两样本背景之间距离的计算公式如下：
Figure FDA0002524562570000031
式中，d()为bn，bn′背景之间距离；bn，bn′为样本n和样本n′的背景标签；f()为样本背景的特征表示；
所述相似先验度计算公式：
Figure FDA0002524562570000032
其中p()为bn，bn′相似先验度；a，d为超参数；
所述交叉熵损失函数如下：
Figure FDA0002524562570000033
式中，Lcls为交叉熵损失函数；yc为第c类样本标签，c为类别数目；
Figure FDA0002524562570000034
为预测输出。
8.如权利要求1所述的样本扩充方法，其特征在于，所述采用所述混合模型对所述目标数据集中的样本进行扩充，之后还包括：
步骤1)将所述扩充后的样本划分为扩充训练集和测试集，
步骤2)利用所述扩充后的样本对分类器进行扩充训练，得到小样本条件下的遥感地物分类；
步骤3)将所述测试集带入扩充训练后的分类器得到小样本条件下的遥感地物预测分类；
步骤4)基于所述遥感地物预测分类和测试集中的地物分类，采用F-score法对精确率与召唤率进行计算得到F-score指标；
步骤5)再次将所述扩充后的样本划分为扩充训练集和测试集，重复执行所述步骤2)，直到将所述目标数据集重复划分设定次数后，执行步骤6)；
步骤6)计算F-score指标的平均值，并基于所述平均值对分类器进行优化。
9.如权利要求8所述的测试指标计算方法，其特征在于，所述精确率计算式如下：
Figure FDA0002524562570000041
式中，P为精确率；TP表示被正确判定为正样本的数目；FP表示被错误判定为正样本的数目；
所述召唤率(R)计算式如下：
Figure FDA0002524562570000042
式中：R为召唤率；FN表示被误判为负样本的正样本；
F-score的计算方式如下：
Figure FDA0002524562570000043
式中，F为指标值。
10.一种基于前景背景特征融合的样本扩充系统，其特征在于，包括：
划分模块用于，基于地物类别将遥感地物分类数据集划分为源数据集、目标数据集；
训练模块用于，基于所述源数据集构建小样本源地物分类任务，并基于所述小样本源分类任务训练特征提取器，混合模型分类器；
分类任务模块用于，基于所述目标数据集构建小样本目标地物分类任务；
样本扩充模块用于，基于所述源分类任务利用所述训练好的特征提取器和混合模型进行样本扩充；
其中，所述每个任务均包括：前景特征、背景特征和混合特征，所述混合特征为前景特征和背景特征利用混合模型合成的特征。
CN202010502552.8A 2020-06-04 2020-06-04 一种基于前景背景特征融合的样本扩充方法及系统 Pending CN111832615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502552.8A CN111832615A (zh) 2020-06-04 2020-06-04 一种基于前景背景特征融合的样本扩充方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502552.8A CN111832615A (zh) 2020-06-04 2020-06-04 一种基于前景背景特征融合的样本扩充方法及系统

Publications (1)

Publication Number Publication Date
CN111832615A true CN111832615A (zh) 2020-10-27

Family

ID=72897554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502552.8A Pending CN111832615A (zh) 2020-06-04 2020-06-04 一种基于前景背景特征融合的样本扩充方法及系统

Country Status (1)

Country Link
CN (1) CN111832615A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465064A (zh) * 2020-12-14 2021-03-09 合肥工业大学 基于深度课程学习的图像识别方法、装置及设备
CN112613575A (zh) * 2020-12-30 2021-04-06 清华大学 一种图像分类模型的数据集扩充方法、训练方法及装置
CN113222011A (zh) * 2021-05-10 2021-08-06 西北工业大学 一种基于原型校正的小样本遥感图像分类方法
CN113408575A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于判别性区域定位的图像数据增广方法
CN113449666A (zh) * 2021-07-07 2021-09-28 中南大学 基于数据融合与特征选择的遥感影像多尺度目标检测方法
CN113673579A (zh) * 2021-07-27 2021-11-19 国网湖北省电力有限公司营销服务中心(计量中心) 一种基于小样本的用电负荷分类算法
CN113762422A (zh) * 2021-11-09 2021-12-07 广州思德医疗科技有限公司 一种图像训练集合成方法及系统
CN114282684A (zh) * 2021-12-24 2022-04-05 支付宝(杭州)信息技术有限公司 训练用户相关的分类模型、进行用户分类的方法及装置
CN117392485A (zh) * 2023-12-07 2024-01-12 之江实验室 图像生成模型训练方法、业务执行方法、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080453A1 (en) * 2017-09-12 2019-03-14 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
CN110956185A (zh) * 2019-11-21 2020-04-03 大连理工大学人工智能大连研究院 一种图像显著目标的检测方法
CN111045894A (zh) * 2019-12-13 2020-04-21 贵州广思信息网络有限公司广州分公司 数据库异常检测方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080453A1 (en) * 2017-09-12 2019-03-14 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
CN110956185A (zh) * 2019-11-21 2020-04-03 大连理工大学人工智能大连研究院 一种图像显著目标的检测方法
CN111045894A (zh) * 2019-12-13 2020-04-21 贵州广思信息网络有限公司广州分公司 数据库异常检测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGGUANG ZHANG等: "Few-shot Learning via Saliency-guided Hallucination of Samples", 《HTTPS://ARXIV.ORG/ABS/1904.03472》 *
JING ZHANG等: "Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective", 《HTTPS://ARXIV.ORG/ABS/1803.10910》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465064A (zh) * 2020-12-14 2021-03-09 合肥工业大学 基于深度课程学习的图像识别方法、装置及设备
CN112613575A (zh) * 2020-12-30 2021-04-06 清华大学 一种图像分类模型的数据集扩充方法、训练方法及装置
CN112613575B (zh) * 2020-12-30 2024-02-09 清华大学 一种图像分类模型的数据集扩充方法、训练方法及装置
CN113222011A (zh) * 2021-05-10 2021-08-06 西北工业大学 一种基于原型校正的小样本遥感图像分类方法
CN113408575B (zh) * 2021-05-12 2022-08-19 桂林电子科技大学 一种基于判别性区域定位的图像数据增广方法
CN113408575A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于判别性区域定位的图像数据增广方法
CN113449666A (zh) * 2021-07-07 2021-09-28 中南大学 基于数据融合与特征选择的遥感影像多尺度目标检测方法
CN113673579A (zh) * 2021-07-27 2021-11-19 国网湖北省电力有限公司营销服务中心(计量中心) 一种基于小样本的用电负荷分类算法
CN113762422A (zh) * 2021-11-09 2021-12-07 广州思德医疗科技有限公司 一种图像训练集合成方法及系统
CN113762422B (zh) * 2021-11-09 2022-04-05 广州思德医疗科技有限公司 一种图像训练集合成方法及系统
CN114282684A (zh) * 2021-12-24 2022-04-05 支付宝(杭州)信息技术有限公司 训练用户相关的分类模型、进行用户分类的方法及装置
CN117392485A (zh) * 2023-12-07 2024-01-12 之江实验室 图像生成模型训练方法、业务执行方法、装置及介质
CN117392485B (zh) * 2023-12-07 2024-02-23 之江实验室 图像生成模型训练方法、业务执行方法、装置及介质

Similar Documents

Publication Publication Date Title
CN111832615A (zh) 一种基于前景背景特征融合的样本扩充方法及系统
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN111652293B (zh) 一种多任务联合判别学习的车辆重识别方法
CN111222434A (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN111008337B (zh) 一种基于三元特征的深度注意力谣言鉴别方法及装置
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN101710422B (zh) 基于全局流形原型聚类算法与分水岭算法的图像分割方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN107423747A (zh) 一种基于深度卷积网络的显著性目标检测方法
CN112528934A (zh) 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
CN111144462B (zh) 一种雷达信号的未知个体识别方法及装置
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
CN115099328A (zh) 基于对抗网络的交通流量预测方法、系统、设备及存储介质
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
CN112800934A (zh) 一种多类别工程车的行为识别方法及装置
CN115797884A (zh) 一种基于类人视觉注意力加权的车辆重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication