CN115661504A - 基于迁移学习和视觉词包的遥感样本分类方法 - Google Patents

基于迁移学习和视觉词包的遥感样本分类方法 Download PDF

Info

Publication number
CN115661504A
CN115661504A CN202211019600.3A CN202211019600A CN115661504A CN 115661504 A CN115661504 A CN 115661504A CN 202211019600 A CN202211019600 A CN 202211019600A CN 115661504 A CN115661504 A CN 115661504A
Authority
CN
China
Prior art keywords
sample
visual word
visual
sample set
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211019600.3A
Other languages
English (en)
Inventor
贾若愚
刘仕琪
李洁
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202211019600.3A priority Critical patent/CN115661504A/zh
Publication of CN115661504A publication Critical patent/CN115661504A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于迁移学习和视觉词包的遥感样本分类方法，该方法包括：获取样本集和源域集；构建组合模型，包括深度学习网络和迁移学习算法；将样本集和源域集输入组合模型，得到样本集的标签，并对样本集的标签基于场景类别进行编号；对样本集进行二次特征提取，得到特征集，采用聚类方法对特征集进行聚类，得到视觉词典；对样本集中的每个样本图像进行视觉单词映射，生成视觉词包分布图，对视觉词包分布图进行低维度统计，得到视觉词包特征的低维度统计表示；将视觉词包特征的低维度统计表示和标签编号作为训练数据，训练得到场景分类模型。本发明的方法充分利用前期影像的先验知识，得到的场景分类模型分类效果更好，准确率更高。

Description

基于迁移学习和视觉词包的遥感样本分类方法
技术领域
本发明涉及一种遥感样本分类方法，尤其涉及一种基于迁移学习和视觉词包 的遥感样本分类方法，属于遥感图像分类领域。
背景技术
随着遥感技术的发展，空间、时间分辨率的提高，遥感图像，尤其是高空间 分辨率遥感图像数据量急速增加，使得图像中土地利用场景包含多种类型的土地 覆盖类型。在这种情况下，利用人工目视解译的方法进行遥感图像土地利用场景 的分类需要大量时间和工作量，有限的专家也不能及时对海量数据进行处理。鉴 于目视解译存在的不足，利用计算机技术进行自动化、智能化的土地利用场景分 类成为当前遥感领域的一个研究热点。
针对遥感图像土地利用场景的分类，传统的方法通常采用颜色、纹理、形状 等低层特征建立遥感图像土地利用场景模型，利用分类器对场景的高层信息进行 推导。然而，采用基于低层特征描述的土地利用场景分类方法由于缺乏中间语义 的图像表示，所以泛化性差，很难用于处理训练集以外的场景图像。为了克服遥 感图像低层视觉特征与高层语义之间的鸿沟，基于中层特征对土地利用场景语义 建模描述的方法逐渐得到广泛的关注。尤其是近年来的视觉词包( bag-of-visual-words,BOVW)模型在图像分析和图像分类的应用中取得了巨大成 功，成为一种新的、有效的图像内容表达的研究思路，并在遥感图像土地利用场 景分类中取得了一定成果。视觉词包模型的优点在于无需分析场景图像中的具体 目标组成，而是应用图像场景的整体统计信息，将量化后的图像低层特征视为视 觉单词，通过图像的视觉单词分布来表达图像场景内容，为图像的场景分类提供 基础数据。
基于视觉词袋模型的图像分类系统主要由四个部分组成，分别为：图像特征 提取、视觉词典生成、视觉词汇特征构建和分类器。其中视觉词典的优劣直接影 响着系统的性能表现，如何构建区分性好、表达能力强的视觉词典成为近些年来 基于视觉词包模型的图像分类研究的重点。根据视觉词典的生成过程中是否利用 训练集中已知类别标注等信息，可将视觉词典生成方式分为两类：无监督生成视 觉词典和有监督生成视觉词典。而由于引入了额外信息对视觉词典的生成过程进 行监督，有监督方法生成的视觉词典的性能通常要比无监督的好。但有监督方法 生成视觉词典同样存在缺点：一是计算复杂度高，有监督方法通常对应求解一个 最优化问题，需要精心设计快速、有效的迭代算法；二是需要大量已标注好样本 完成训练过程，但人工标注成本很高，标注的质量也参差不齐。
发明内容
基于上述技术问题，本发明提出一种基于迁移学习和视觉词包的遥感样本分 类方法，利用迁移学习算法将前期影像丰富的标签信息和知识迁移到当前样本集 ，并采用视觉词包模型对包含标签语义信息的样本集进行场景分类，得到的场景 分类模型准确率更高。
本发明提供一种基于迁移学习和视觉词包的遥感样本分类方法，该方法 包括：
S1获取样本集，同时在前期影像库中筛选源域集；
S2构建组合模型，包括深度学习网络和迁移学习算法；
S3将所述样本集和所述源域集输入所述组合模型，通过所述深度学习 网络提取局部特征，利用所述迁移学习算法对所述源域集基于局部特征进行 迁移，并构建所述局部特征与标签的映射关系，得到所述样本集的标签，并 对所述样本集的标签基于场景类别进行编号；
S4对所述样本集进行二次特征提取，得到特征集，采用聚类方法对所 述特征集进行聚类，每个聚类中心的取值与对应的标签编号组成一个视觉单 词，所有的所述视觉单词组成视觉词典；
S5对所述样本集中的每个样本图像与所述视觉词典中的视觉单词进行 映射，生成视觉词包分布图，对所述视觉词包分布图进行低维度统计，得到 视觉词包特征的低维度统计表示；
S6将所述视觉词包特征的低维度统计表示和标签编号作为训练数据， 交叉训练得到多个基于不同场景的分类器，所有的分类器组成场景分类模型 。
于本发明一具体实施例中，该方法还包括：
获取新样本，根据步骤S3-S5，得到新样本的视觉词包特征的低维度统 计表示；
将新样本的视觉词包特征的低维度统计表示输入所述场景分类模型，得 到新样本的场景类别。
于本发明一具体实施例中，深度学习网络为AlexNet、ResNet、VGGNet 或其它深度学习网络中的至少一项，迁移学习算法为基于特征的迁移学习算 法。
于本发明一具体实施例中，步骤S4包括：
对所述样本集中的每个样本进行密集格网采样，利用SIFT方法对每个 采样区进行二次特征提取，得到SIFT特征；
采用E2LSH聚类方法对SIFT特征进行聚类，所得到的每个聚类中心的 取值与对应的标签编号组成一个视觉单词，所有的视觉单词构成视觉词典。
于本发明一具体实施例中，步骤S5包括：
计算每个采样区的SIFT特征与所述视觉词典中的每个视觉单词对应的 特征值之间的欧氏距离；
找出欧氏距离最小的视觉单词的编号，并将其作为相应的采样区的视觉 单词映射结果，得到每个样本图像的视觉词包分布图；
将所述视觉词包分布图作为图像进行LBP变换，得到视觉词包特征的 LBP直方图表示。
于本发明一具体实施例中，所述将所述样本集和所述源域集输入所述组 合模型，通过所述深度学习网络提取局部特征，包括：
分别将所述样本集中的样本图像和所述源域集中的样本图像输入深度 学习网络，所述深度学习网络包括第五层的池化层以及第六层和第七层的全 连接层
提取第六和第七两个全连接层的输出，得到两种不同的高层特征；
提取第五层池化层的输出，并采用主成分分析方法进行降维，得到第三 种高层特征；
将三种高层特征通过串联的形式进行特征融合，得到融合后的深度特征 向量，作为提取得到的局部特征。
于本发明一具体实施例中，所述得到所述样本集的标签，包括：
构建预测样本集Dt的样本xt的标签y的目标函数；
将所述目标函数形式化为关于y和xt相关的期望损失，所述期望损失包 括θY和
Figure BDA0003813763570000031
相关的损失函数，θY和
Figure BDA0003813763570000032
是关于标签空间Y和所述样本集Dt的模 型参数；
将所述损失函数公式化为两个模型θY和
Figure BDA0003813763570000033
之间的距离函数；
根据所述距离函数对所述期望损失进行调整，得到包含距离函数的目标 函数；
利用最大后验概率再近似积分对所述包含距离函数的目标函数进行估算， 得到估算的目标函数；
在所述估算的目标函数满足预设条件时，将所述估算的目标函数调整为 标签空间Y的参数分布
Figure BDA0003813763570000034
以及样本集xt的参数分布
Figure BDA0003813763570000035
之间的差异函数；
根据所述目标函数以及差异函数得到所述样本集的标签。
于本发明一具体实施例中，所述利用所述迁移学习算法对所述源域集基 于局部特征进行迁移，包括：
获取
Figure BDA0003813763570000036
在特征空间Xt中分布的先验概率以及
Figure BDA0003813763570000037
在特征空间Xt中分布的先 验概率；
确定
Figure BDA0003813763570000038
在特征空间Xt中分布的先验概率以及
Figure BDA0003813763570000039
在特征空间Xt中分布的先 验概率之间的距离；
根据所述距离对所述源域集基于局部特征进行迁移。
于本发明一具体实施例中，获取
Figure BDA00038137635700000310
在特征空间Xt中分布的先验概率，包 括：
估计源域集特征空间Xs翻译至样本集特征空间Xt的概率、任意标签y′在 源域集特征空间Xs中分布的概率、
Figure BDA00038137635700000311
为标签y′的概率以及标签y′在样本集 特征空间Xt中分布的概率；
根据所述源域集特征空间Xs翻译至样本集特征空间Xt的概率、任意标签 y′在源域集特征空间Xs中分布的概率、
Figure BDA00038137635700000312
为标签y′的概率以及标签y′在样 本集特征空间Xt中分布的概率，得到
Figure BDA00038137635700000313
在特征空间Xt中分布的先验概率
Figure BDA00038137635700000314
于本发明一具体实施例中，获取
Figure BDA00038137635700000315
在特征空间Xt中分布的先验概率，包 括：
估计任意样本集x′t翻译至Xt的概率以及
Figure BDA00038137635700000319
估计x′t的概率；
根据所述任意样本集x′t翻译至Xt的概率以及
Figure BDA00038137635700000320
估计x′t的概率，得到
Figure BDA00038137635700000321
在特征空间Xt中分布的先验概率。
本发明的有益效果为：提出一种基于迁移学习和视觉词包的遥感样本分类 方法，先构建一个组合模型，其中包括深度学习网络和迁移学习算法，利用 深度学习网络提取样本集和源域集的局部特征，然后利用迁移学习算法对源 域集进行基于局部特征的迁移，充分利用前期影像的标签信息和先验知识，得到 样本集的标签，并得到特征和标签之间的内在关系，之后采用视觉词包模型对包 含标签语义信息的样本集进行场景分类，其中利用丰富的标签信息，通过有监督 的方式生成视觉词典，提高了视觉词典性能，得到的多个分类器组成场景分类模 型的分类效果更好，准确率更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下 ，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚 、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施 例，都属于本发明保护的范围。
本发明提供一种基于迁移学习和视觉词包的遥感样本分类方法，该方法 包括：
S1获取样本集，同时在前期影像库中筛选源域集；
S2构建组合模型，包括深度学习网络和迁移学习算法；
S3将所述样本集和所述源域集输入所述组合模型，通过所述深度学习 网络提取局部特征，利用所述迁移学习算法对所述源域集基于局部特征进行 迁移，并构建所述局部特征与标签的映射关系，得到所述样本集的标签，并 对所述样本集的标签基于场景类别进行编号；
S4对所述样本集进行二次特征提取，得到特征集，采用聚类方法对所 述特征集进行聚类，每个聚类中心的取值与对应的标签编号组成一个视觉单 词，所有的所述视觉单词组成视觉词典；
S5对所述样本集中的每个样本图像与所述视觉词典中的视觉单词进行 映射，生成视觉词包分布图，对所述视觉词包分布图进行低维度统计，得到 视觉词包特征的低维度统计表示；
S6将所述视觉词包特征的低维度统计表示和标签编号作为训练数据， 交叉训练得到多个基于不同场景的分类器，所有的分类器组成场景分类模型 。
遥感影像也为遥感图像，首先获取遥感图像的样本集，该样本集中包含 多个遥感图像的样本，样本集未含有标签信息或只有其中少量的样本包含标 签信息。同时从前期影像库中筛选源域集，前期影像库里面包含大量的带有 标签信息的遥感图像，筛选的策略为：采用人工选取前期影像库中地表覆盖 类型与样本集的相似度达到70％以上的遥感图像，组成源域集。
构建组合模型，包括深度学习网络和迁移学习算法，其中深度学习网络 为AlexNet、ResNet、VGGNet或其它深度学习网络，迁移学习算法为基于特 征的迁移学习算法。
本实施例为七层深度学习网络，且已训练好，前五层分别为layer1，layer2 ，layer3，layer4和layer5，layer1，layer2和layer5分别包括卷积层和池化层 ，layer3和layer4分别只有一个卷积层，第六层和第七层为全连接层。其中 ，卷积层用于提取特征图，池化层用于对卷积层得到的特征图进行压缩，全 连接层用于将二维特征图转化为一维向量。
将样本集和源域集输入组合模型，通过深度学习网络提取局部特征。对 样本集和源域集进行局部特征提取的步骤相同，以样本集的局部特征提取为 例：
将样本集中的样本图像输入深度学习网络，提取第六和第七两个全连接 层的输出，得到两种不同的高层特征，同时，提取第五层池化层的输出，并 采用主成分分析方法进行降维，得到第三种高层特征；将三种高层特征通过 串联的形式进行特征融合，最后得到融合后的深度特征向量，作为提取得到 的局部特征。该步骤中提取得到的三种不同的高层特征涵盖的图像信息完整 并具有较强的鉴别性，将三种高层特征进行融合，融合后的深度特征向量可 进一步增强特征的表现力和鲁棒性。
本实施例的迁移学习算法为基于特征的迁移学习算法。迁移学习中的两 个重要概念为域和任务，域包括源域和目标域，任务是迁移学习的目标。将 源域和目标域分别表示为Ds和Dt。用X表示特征空间，Y表示标签空间。源 域中的数据集为源域集，在源域中，任意源域集的样本xs∈Ds可表示为特征 向量
Figure BDA0003813763570000051
其中
Figure BDA0003813763570000052
同样的，目标域中的数据集为样本集，在 目标域中，任意样本集的样本xt∈Dt可表示为特征向量
Figure BDA0003813763570000053
其中
Figure BDA0003813763570000054
源域集中的样本含有丰富的先验知识，即源域集包含标签信息， 令
Figure BDA0003813763570000055
其中
Figure BDA0003813763570000056
是
Figure BDA0003813763570000057
的标签。当样本集中包含 少量的标注样本时，样本集可分为两个集合，分别为标注集合
Figure BDA0003813763570000058
和未标注集 合U。其中，
Figure BDA0003813763570000059
Figure BDA00038137635700000510
且
Figure BDA00038137635700000511
通常m非常小；U中包含 k个样本
Figure BDA00038137635700000512
Figure BDA00038137635700000513
构建一个目标函数，也为期望风险函数，定义 为T(y,xt)，该目标函数为描述将一个样本xt分类到y的风险。为了预测xt的 标签，需要找到一个标签y，能最小化目标函数，即：
Figure BDA00038137635700000514
将目标函数形式化为一个关于y和xt相关的期望损失，即：
Figure BDA00038137635700000515
其中，r＝1代表“相关”的一个事件，即“y和xt是相关的”或“xt的标签 应该是y”；θY和
Figure BDA00038137635700000516
是关于Y和Dt的模型参数；ΘY和
Figure BDA00038137635700000517
是两个相应的模型 空间，包括各种可能的生成模型；需要明确的是，θY仅仅与y相关，以及
Figure BDA00038137635700000518
仅 仅与xt相关。
式中，
Figure BDA00038137635700000519
是关于θY和
Figure BDA00038137635700000520
相关的损失函数。其可以被公式化 为两个模型θY和
Figure BDA00038137635700000521
之间的距离和，即：
Figure BDA00038137635700000522
其中，
Figure BDA00038137635700000523
是一个距离函数，例如可以是Kullback-Leibler距离。将 式(3)代入式(2)得到：
Figure BDA00038137635700000524
利用最大后验概率再近似积分来计算式(4)：
Figure BDA00038137635700000525
其中
Figure BDA0003813763570000061
Figure BDA0003813763570000062
式(5)中，
Figure BDA0003813763570000063
是关于
Figure BDA0003813763570000064
的先验概率，用来描述类与类之间的不平 衡性。当假设各个类之间没有先验差异时，目标函数为：
Figure BDA0003813763570000065
其中
Figure BDA0003813763570000066
表示两个模型
Figure BDA0003813763570000067
和
Figure BDA0003813763570000068
之间的差异，
Figure BDA0003813763570000069
和
Figure BDA00038137635700000610
分别表示标签空 间Y的参数分布以及样本集xt的参数分布。将两个模型的参数分布统一在样 本集的特征空间Xt中。用KL距离作为距离函数，得到：
Figure BDA00038137635700000611
其中
Figure BDA00038137635700000612
表示
Figure BDA00038137635700000613
在特征空间Xt中分布的先验概率，
Figure BDA00038137635700000614
表示
Figure BDA00038137635700000615
在 特征空间Xt中分布的先验概率。
模型估计：
Figure BDA00038137635700000616
其中p(Xt|Xs)表示用以描述将Xs翻译至Xt的概率，p(Xs|y′)表示标签y′ 在源域集特征空间Xs中分布的概率，
Figure BDA00038137635700000617
表示
Figure BDA00038137635700000618
估计标签y′的概率， p(Xt|y′)标签y′在样本集特征空间Xt中分布的概率。
用翻译器φ来估计p(Xt|Xs)，源域集来估计p(Xs|y′)，样本集中的标注 集合来估计p(Xt|y′)。
Figure BDA00038137635700000619
可以被估计为
Figure BDA00038137635700000620
当y′＝y，否 则
Figure BDA00038137635700000621
λ是一个平衡因子，用来调节源域集和样本集的两个特征空 间之间的影响力。
Figure BDA00038137635700000622
其中，p(Xt|x′t)可以用一个特征提取器估计，用以描述将任意样本集x′t翻译至Xt的概率；当
Figure BDA00038137635700000623
可以被估计为
Figure BDA00038137635700000624
否则
Figure BDA00038137635700000625
用以描述将
Figure BDA00038137635700000629
估计x′t的概率。
根据翻译学习算法得到样本集的标签：基于式(10)估计一个模型
Figure BDA00038137635700000627
对于任意的xt∈U，基于式(11)估计一个模型
Figure BDA00038137635700000628
根据式(1)和式(8) ，对于任意的xt，预测其标签ht(xt)，通过翻译学习对特征进行学习，利用源 域集，帮助样本集构建一个更高的特征空间表示，将源域的知识迁移到目标 域，通过特征层面的迁移，可迁移的数据面得到了大大的拓展，该方法不要 求源域和目标域的特征空间需要有共集，即便源域数据集和目标域数据集的特征空间完全不同，也可以通过该方法进行特征迁移学习，从而提高了数据 迁移的适应性。
得到样本集的标签信息的同时，构建局部特征与标签之间的映射关系并 保存。即构建一个样本的局部特征与标签之间的映射关系，其映射路径表示 为：
Figure BDA0003813763570000071
其中，y(xt)表示样本xt最终的标签，也就 是样本xt的局部特征与其标签之间也有映射关系：
Figure BDA0003813763570000072
并将样本集的各映射关系组成映射表。
对样本集中的每个样本进行密集格网采样，利用SIFT对每个采样区进 行再次特征提取，得到SIFT特征集，SIFT特征能够有效描述图像的局部区 域信息，对图像旋转、亮度变化和尺度变化具有不变性，对仿射变化、视角 变化和噪声也具有较强的鲁棒性。
局部特征能够表征图像的底层视觉特性，被大量用于图像内 容分析中。但是，图像局部特征大多位于高维空间，不便于进行 存储和后续计算。此外，高维向量通常还面临稀疏、噪声等“维数 灾难”问题，导致在低维空间表现良好的算法到了高维空间其性能 急剧恶化。因此，需要将图像的高维局部特征映射到低维空间， 以便于存储、索引和计算。将大量局部特征映射到低维空间，得 到局部特征对应的编码，这些编码就称为视觉单词，所有的视觉 单词构成视觉词典。
在本发明实施例中，构建视觉词典的步骤如下：
(1)将样本集的标签进行编号，将局部特征以特征值的形式进行记录 ，并更新映射表，该映射表中显示特征值-标签-标签编号的三元关系组。
(2)采用基于E2LSH算法和聚类集成算法对SIFT特征集进行聚类。
E2LSH是随机映射的一个特例，它把高维向量映射到低维空间后，也完 成了维数约减的任务。同时，相同的桶中的点比不同桶中的点更相似。因此 ，如果根据桶标志对数据点进行分组，也可以达到对数据点进行聚类的目的 。用于聚类时，当数据集规模变化时不需要对整个数据集重新进行聚类，只 需要对变化的数据点运算即可，也就是说它可以方便地起到动态聚类的作用 ，再加上它的时间优势使得它可以较好的用于增量大数据集聚类。E2LSH基 本原理是利用位置敏感哈希函数把高维向量距离保持地映射到低维空间。
本实施例采用基于E2LSH算法和聚类集成算法的聚类方法对SIFT特征 集进行聚类，所述聚类方法的基础是E2LSH的哈希函数和聚类集成。
E2LSH的哈希函数是基于p-稳定分布函数的，p∈(0,2]。其哈希函数定 义如下：
Figure BDA0003813763570000073
其中，v为d维原始数据，w是宽度值，a是由p-稳定分布函数产生的n 维随机向量，内积(a·v)对SIFT特征点进行随机映射，b对映射后的结果加上 一个偏移。w需要人为调动，b使用均匀分布随机产生，其均匀分布的范围 在[0,w]。
SIFT特征集在经过E2LSH算法映射后，相对距离、类边界和角度能够 得以保持。
聚类集成是集成学习的一部分，对改善聚类性能有着重要的作用，这是 因为没有一个单一的聚类算法能够发现不同形状和不同分布的类，而不同数 据集的内部结构是不同的。聚类集成同一数据集的多个基聚类方案结合起来 ，得出一个统一的聚类方案，该方案比大多数基聚类方案的聚类质量要好。
所述聚类方法对SIFT进行聚类的步骤包括：确定聚类数目、生成E2LSH 聚类方案、聚类方案集成。
首先通过三个有效性指标SI、DB和Wint为SIFT特征集I确定聚类数 目k。
然后生成服从高斯分布的n×k的随机矩阵A＝(A1,A2,...,An)T和b、w，Ai是一个k维向量，n＝|I|。
对所有的SIFT特征点进行随机映射，每个特征点xi的映射的结果为k 维桶标记Bi，则全部特征点的桶标记为一个n×k维矩阵B。其中，B的每一 列都是对全部特征集的一次映射。
之后用PAM算法对B的每一列聚成k类，得到的结果即对特征集的k 个划分。
最后使用聚类集成方法对k个基划分进行集成并得出最终划分。
在聚类结束后，在最终的聚类结果中获取k个类的聚类中心。
(3)将得到的k个聚类中心的取值与映射表进行比对，得到对应的标 签编号，将每个聚类中心的取值及其标签编号组成一个视觉单词，所有的视 觉单词构成视觉词典。
本发明实施例所采用的聚类方法结合了E2LSH算法与集成聚类的特点， 能够高效处理高维数据，当进行高维空间划分时，能有效减弱生成视觉词典 时存在的视觉单词同义性和歧义性等问题，且本实施例是有监督生成视觉词 典，在构建视觉词典时，充分利用了标签信息，得到的视觉词典的区分能力 和表达能力更强，能够更好的描述遥感图像。
在构建得到视觉词典后，计算每个采样区的SIFT特征与视觉词典中的 每个视觉单词对应的特征值之间的欧氏距离，找出欧氏距离最小的视觉单词 的编号，并将其作为相应的采样区的视觉单词映射结果，即每个样本的每个 采样区都被赋予一个视觉单词编号，最后得到每一幅样本图像的视觉词包分 布图。
对视觉词包分布图作为图像进行低维度统计，得到视觉词包特征的低维 度统计表示，本实施例中低维度统计为LBP直方图统计，即对视觉词包分布 图作为图像进行LBP直方图变换，得到视觉词包特征的LBP直方图表示， 通过利用视觉词汇特征来表达图像，能降低遥感图像分类的复杂度，并对视 觉词包分布图进行LBP直方图变换，进一步提高了视觉词汇特征表达图像内 容的完整性，提升了遥感图像分类的准确率。
将视觉词包特征的低维度统计表示和标签编号作为训练数据，交叉训练 得到多个基于不同场景的分类器，本实施例中利用SVM算法进行交叉训练 ，具体为：每个标签编号表示一类场景，每类场景对应一个样本的子集合， 每两个样本的子集合之间都学习生成一个SVM分类器，得到多个基于不同 场景的SVM分类器，最终将所有的SVM分类器作为得到的场景分类模型。
获取一个新的样本，根据上述步骤得到新样本的视觉词包特征的低维度 统计表示，将其输入场景分类模型，采取投票机制对新样本的类别进行判定 ：有一个SVM分类器判定新样本的视觉词包特征的低维度统计表示属于第x 类，则表示第x类获得了一票，最后得票数最多的场景类别就是该新样本图 像所属的类别。
本发明的有益效果为：提出一种基于迁移学习和视觉词包的遥感样本分类 方法，先构建一个组合模型，其中包括深度学习网络和迁移学习算法，利用 深度学习网络提取样本集和源域集的局部特征，然后利用迁移学习算法对源 域集进行基于局部特征的迁移，充分利用前期影像的标签信息和先验知识，得到 样本集的标签，并得到特征和标签之间的内在关系，之后采用视觉词包模型对包 含标签语义信息的样本集进行场景分类，其中利用丰富的标签信息，通过有监督 的方式生成视觉词典，提高了视觉词典性能，得到的多个分类器组成场景分类模 型的分类效果更好，准确率更高。

Claims (10)

1.一种基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，该方法包括：
S1获取样本集，同时在前期影像库中筛选源域集；
S2构建组合模型，包括深度学习网络和迁移学习算法；
S3将所述样本集和所述源域集输入所述组合模型，通过所述深度学习网络提取局部特征，利用所述迁移学习算法对所述源域集基于局部特征进行迁移，并构建所述局部特征与标签的映射关系，得到所述样本集的标签，并对所述样本集的标签基于场景类别进行编号；
S4对所述样本集进行二次特征提取，得到特征集，采用聚类方法对所述特征集进行聚类，每个聚类中心的取值与对应的标签编号组成一个视觉单词，所有的所述视觉单词组成视觉词典；
S5对所述样本集中的每个样本图像与所述视觉词典中的视觉单词进行映射，生成视觉词包分布图，对所述视觉词包分布图进行低维度统计，得到视觉词包特征的低维度统计表示；
S6将所述视觉词包特征的低维度统计表示和标签编号作为训练数据，交叉训练得到多个基于不同场景的分类器，所有的分类器组成场景分类模型。
2.根据权利要求1所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，该方法还包括：
获取新样本，根据步骤S3-S5，得到新样本的视觉词包特征的低维度统计表示；
将新样本的视觉词包特征的低维度统计表示输入所述场景分类模型，得到新样本的场景类别。
3.根据权利要求1所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，深度学习网络为AlexNet、ResNet、VGGNet或其它深度学习网络中的至少一项，迁移学习算法为基于特征的迁移学习算法。
4.根据权利要求1所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，步骤S4包括：
对所述样本集中的每个样本进行密集格网采样，利用SIFT方法对每个采样区进行二次特征提取，得到SIFT特征；
采用E2LSH聚类方法对SIFT特征进行聚类，所得到的每个聚类中心的取值与对应的标签编号组成一个视觉单词，所有的视觉单词构成视觉词典。
5.根据权利要求4所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，步骤S5包括：
计算每个采样区的SIFT特征与所述视觉词典中的每个视觉单词对应的特征值之间的欧氏距离；
找出欧氏距离最小的视觉单词的编号，并将其作为相应的采样区的视觉单词映射结果，得到每个样本图像的视觉词包分布图；
将所述视觉词包分布图作为图像进行LBP变换，得到视觉词包特征的LBP直方图表示。
6.根据权利要求1至5中任一项所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，所述将所述样本集和所述源域集输入所述组合模型，通过所述深度学习网络提取局部特征，包括：
分别将所述样本集中的样本图像和所述源域集中的样本图像输入深度学习网络，所述深度学习网络包括第五层的池化层以及第六层和第七层的全连接层
提取第六和第七两个全连接层的输出，得到两种不同的高层特征；
提取第五层池化层的输出，并采用主成分分析方法进行降维，得到第三种高层特征；
将三种高层特征通过串联的形式进行特征融合，得到融合后的深度特征向量，作为提取得到的局部特征。
7.根据权利要求1至5中任一项所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，所述得到所述样本集的标签，包括：
构建预测样本集Dt的样本xt的标签y的目标函数；
将所述目标函数形式化为关于y和xt相关的期望损失，所述期望损失包括θY和
Figure FDA0003813763560000021
相关的损失函数，θY和
Figure FDA0003813763560000022
是关于标签空间Y和所述样本集Dt的模型参数；
将所述损失函数公式化为两个模型θY和
Figure FDA0003813763560000023
之间的距离函数；
根据所述距离函数对所述期望损失进行调整，得到包含距离函数的目标函数；
利用最大后验概率再近似积分对所述包含距离函数的目标函数进行估算，得到估算的目标函数；
在所述估算的目标函数满足预设条件时，将所述估算的目标函数调整为标签空间Y的参数分布
Figure FDA0003813763560000024
以及样本集xt的参数分布
Figure FDA0003813763560000025
之间的差异函数；
根据所述目标函数以及差异函数得到所述样本集的标签。
8.根据权利要求7所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，所述利用所述迁移学习算法对所述源域集基于局部特征进行迁移，包括：
获取
Figure FDA0003813763560000026
在特征空间Xt中分布的先验概率以及
Figure FDA0003813763560000027
在特征空间Xt中分布的先验概率；
确定
Figure FDA0003813763560000028
在特征空间Xt中分布的先验概率以及
Figure FDA0003813763560000029
在特征空间Xt中分布的先验概率之间的距离；
根据所述距离对所述源域集基于局部特征进行迁移。
9.根据权利要求8所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，获取
Figure FDA00038137635600000210
在特征空间Xt中分布的先验概率，包括：
估计源域集特征空间Xs翻译至样本集特征空间Xt的概率、任意标签y′在源域集特征空间Xs中分布的概率、
Figure FDA00038137635600000211
为标签y′的概率以及标签y′在样本集特征空间Xt中分布的概率；
根据所述源域集特征空间Xs翻译至样本集特征空间Xt的概率、任意标签y′在源域集特征空间Xs中分布的概率、
Figure FDA00038137635600000212
为标签y′的概率以及标签y′在样本集特征空间Xt中分布的概率，得到
Figure FDA00038137635600000213
在特征空间Xt中分布的先验概率
Figure FDA00038137635600000214
10.根据权利要求8所述的基于迁移学习和视觉词包的遥感样本分类方法，其特征在于，获取
Figure FDA00038137635600000215
在特征空间Xt中分布的先验概率，包括：
估计任意样本集x′t翻译至Xt的概率以及
Figure FDA00038137635600000216
估计x′t的概率；
根据所述任意样本集x′t翻译至Xt的概率以及
Figure FDA0003813763560000031
估计x′t的概率，得到
Figure FDA0003813763560000032
在特征空间Xt中分布的先验概率。
CN202211019600.3A 2022-08-24 2022-08-24 基于迁移学习和视觉词包的遥感样本分类方法 Pending CN115661504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211019600.3A CN115661504A (zh) 2022-08-24 2022-08-24 基于迁移学习和视觉词包的遥感样本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211019600.3A CN115661504A (zh) 2022-08-24 2022-08-24 基于迁移学习和视觉词包的遥感样本分类方法

Publications (1)

Publication Number Publication Date
CN115661504A true CN115661504A (zh) 2023-01-31

Family

ID=84983521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211019600.3A Pending CN115661504A (zh) 2022-08-24 2022-08-24 基于迁移学习和视觉词包的遥感样本分类方法

Country Status (1)

Country Link
CN (1) CN115661504A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091845A (zh) * 2023-03-06 2023-05-09 北京数慧时空信息技术有限公司 基于图卷积网络和深度学习网络的遥感图像场景分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091845A (zh) * 2023-03-06 2023-05-09 北京数慧时空信息技术有限公司 基于图卷积网络和深度学习网络的遥感图像场景分类方法
CN116091845B (zh) * 2023-03-06 2023-10-27 北京数慧时空信息技术有限公司 基于图卷积网络和深度学习网络的遥感图像场景分类方法

Similar Documents

Publication Publication Date Title
CN107256262A (zh) 一种基于物体检测的图像检索方法
Li et al. Adaptive metric learning for saliency detection
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN110210534B (zh) 基于多包融合的高分遥感图像场景多标签分类方法
CN113221065A (zh) 数据密度估计及回归方法、相应装置、电子设备、介质
Ahmed Recent review on image clustering
Giveki Scale-space multi-view bag of words for scene categorization
CN112115806B (zh) 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法
CN114723583A (zh) 基于深度学习的非结构化电力大数据分析方法
CN114299362A (zh) 一种基于k-means聚类的小样本图像分类方法
CN115661504A (zh) 基于迁移学习和视觉词包的遥感样本分类方法
Ting et al. Point-set kernel clustering
CN114299342B (zh) 一种基于深度学习的多标记图片分类中未知标记分类方法
CN112800138B (zh) 大数据分类方法及系统
CN112329798B (zh) 一种基于优化视觉词袋模型的图像场景分类方法
He et al. Doubly stochastic distance clustering
Kilicaslan et al. Image Retrieval using One-Dimensional Color Histogram Created with Entropy.
Visser et al. StampNet: unsupervised multi-class object discovery
Talwar et al. A topological nomenclature for 3D shape analysis in connectomics
Karpagam et al. Improved content-based classification and retrieval of images using support vector machine
CN111611427A (zh) 基于线性鉴别分析深度哈希算法的图像检索方法及系统
CN111401519A (zh) 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法
de Ridder et al. The adaptive subspace map for texture segmentation
Safari A Technical Review on Unsupervised Learning of Graph and Hypergraph Pattern Analysis
CN111340111B (zh) 基于小波核极限学习机识别人脸图像集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination