CN116740421A - 基于无监督公共子空间学习模型的遥感图像分类方法和装置 - Google Patents
基于无监督公共子空间学习模型的遥感图像分类方法和装置 Download PDFInfo
- Publication number
- CN116740421A CN116740421A CN202310593566.9A CN202310593566A CN116740421A CN 116740421 A CN116740421 A CN 116740421A CN 202310593566 A CN202310593566 A CN 202310593566A CN 116740421 A CN116740421 A CN 116740421A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- classified
- projection
- unsupervised
- transformation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 85
- 230000009466 transformation Effects 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 23
- 238000005215 recombination Methods 0.000 claims description 16
- 230000006798 recombination Effects 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 9
- 238000009795 derivation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000007918 pathogenicity Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Optimization (AREA)
- Medical Informatics (AREA)
- Pure & Applied Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无监督公共子空间学习模型的遥感图像分类方法和装置。将待分类遥感图像中每个像元作为输入数据集；使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集；通过预先设置的分类器，利用待分类遥感图像在公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对待分类投影特征集进行分类，确定每个像元的分类结果；根据每个像元的分类结果，确定待分类遥感图像的分类图像。解决了依赖标签信息进行分类，导致分类效果差的技术问题。
Description
技术领域
本发明涉及遥感图像分类技术领域，尤其涉及一种基于无监督公共子空间学习模型的遥感图像分类方法和装置。
背景技术
遥感图像分类的目的是根据遥感图像中地物分布，为遥感图像的每个像元赋予有意义的属性。针对该问题的研究具有重要实际意义及广泛的应用场景，如矿产勘探、环境监测、城市测绘、灾害检测等。
目前绝大多数现有的多模态或跨模态特征学习方法，无论是从监督建模还是半监督建模的角度来看，都是在设计时不可或缺的依赖标签信息。然而，遥感图像分类任务中，像元级标签本身不仅需要专家进行现场勘验与实验室注释，而且容易受到复杂环境因素引起的噪声破坏。此外，当分类器利用独热编码表示的标签进行模型训练时，虽然能够利用正确类别，但是容易遗漏关系信息。
发明内容
针对现有技术的不足，本发明提供一种基于无监督公共子空间学习模型的遥感图像分类方法和装置。
根据本发明的一个方面，提供了一种基于无监督公共子空间学习模型的遥感图像分类方法，包括：
将待分类遥感图像中每个像元作为输入数据集，其中待分类遥感图像包括以下的任意一种模态遥感图像：高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像；
使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集；
通过预先设置的分类器，利用待分类遥感图像在公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对待分类投影特征集进行分类，确定每个像元的分类结果；
根据每个像元的分类结果，确定待分类遥感图像的分类图像。
可选地，无监督公共子空间学习模型求解过程中的输入为多模态遥感图像训练集的输入数据集的特征重组，训练集包括多种模态数据，并且
无监督公共子空间学习模型为：正则化特征重组数据及其在公共子空间的投影，并将结果与预先设置的正则化项最小化。
可选地，通过多模态遥感图像求解无监督公共子空间学习模型的过程如下：
固定无监督公共子空间学习模型公式中的投影特征，确定关于联合变换矩阵的目标函数；
对目标函数进行关于联合变换矩阵的一阶求导，并通过计算一阶导数为零，确定联合变换矩阵的联合变换矩阵最优解；
将联合变换矩阵最优解带入无监督公共子空间学习模型公式，确定关于投影特征的目标函数；
通过对投影特征的目标函数进行谱分解，确定投影特征的投影特征解；
根据投影特征解，计算联合变换矩阵的联合变换矩阵最优解。
可选地，使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集，包括：
根据关于联合变换矩阵的目标函数，确定投影特征与联合变换矩阵的映射关系式；
根据待分类遥感图像在公共子空间中对应的同模态联合变换矩阵最优解以及映射关系式，将输入数据集映射为待分类投影特征集。
根据本发明的另一个方面，提供了一种基于无监督公共子空间学习模型的遥感图像分类装置，包括：
作为模块，用于将待分类遥感图像中每个像元作为输入数据集，其中待分类遥感图像包括以下的任意一种模态遥感图像：高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像；
第一确定模块，用于使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集；
第二确定模块，用于通过预先设置的分类器，利用待分类遥感图像在公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对待分类投影特征集进行分类，确定每个像元的分类结果；
第三确定模块，用于根据每个像元的分类结果，确定待分类遥感图像的分类图像。
根据本发明的又一个方面，提供了一种计算机可读存储介质，存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。
根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本发明提供的一种基于无监督公共子空间学习模型的遥感图像分类方法，构造完全无监督的跨模态公共子空间学习模型对待分类遥感图像进行特征提取，最后在分类器中进行分类计算，确定分类图像。并且无监督公共子空间学习模型通过在隐式公共子空间中隐式地引入待学习投影特征，直接从紧凑重组的多模态遥感图像中学习跨模态投影，而不需要标记目标像元，减少图像分类时进行代价高昂的像元标记的需要。进而解决了依赖标签信息进行分类，导致分类效果差的技术问题。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1是本发明实施例提供的基于无监督公共子空间学习模型的遥感图像分类方法的流程示意图；
图2是本发明实施例提供的基于无监督公共子空间学习模型的遥感图像分类方法的结构示意图；
图3是本发明实施例提供的基于无监督公共子空间学习模型的遥感图像分类装置的结构示意图；
图4是本发明实施例提供的电子设备的结构。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1是本发明实施例提供的基于无监督公共子空间学习模型的遥感图像分类方法的流程示意图。本实施例可应用在电子设备上，如图1所示，基于无监督公共子空间学习模型的遥感图像分类方法包括以下步骤：
步骤101，将待分类遥感图像中每个像元作为输入数据集，其中待分类遥感图像包括以下的任意一种模态遥感图像：高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像。
其中，待分类遥感图像不限于上述所述的高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像，也可以是其他模态的遥感图像。
步骤102，使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集。
可选地，无监督公共子空间学习模型求解过程中的输入为多模态遥感图像训练集的输入数据集的特征重组，训练集包括多种模态数据，并且
无监督公共子空间学习模型为：正则化特征重组数据及其在公共子空间的投影，并将结果与预先设置的正则化项最小化。
具体地，无监督公共子空间学习模型公式如下：
其中
式中，为多模态遥感图像训练集的输入数据集/>的特征重组，为第k种模态数据，/>表示维度为dk×N的实数矩阵，dk为通道数，N为训练数据像元数，K为输入数据集的模态总数，Θ＝[Θ1,…,ΘK]为联合变换矩阵，/>为模态k的映射矩阵，/>表示维度为d×dk的实数矩阵，d为每种模态映射后的维度，正则化项Φ(Θ)与Ψ(Z)分别使用正数α、β与γ进行加权，/>为/>在公共子空间的投影特征，/>为Frobenius正则化，L为图拉普拉斯矩阵。
可选地，通过多模态遥感图像求解无监督公共子空间学习模型的过程如下：
固定无监督公共子空间学习模型公式中的投影特征，确定关于联合变换矩阵的目标函数；
对目标函数进行关于联合变换矩阵的一阶求导，并通过计算一阶导数为零，确定联合变换矩阵的联合变换矩阵最优解；
将联合变换矩阵最优解带入无监督公共子空间学习模型公式，确定关于投影特征的目标函数；
通过对投影特征的目标函数进行谱分解，确定投影特征的投影特征解；
根据投影特征解，计算联合变换矩阵的联合变换矩阵最优解。
具体地，固定无监督公共子空间学习模型公式中的投影特征Z，确定关于联合变换矩阵Θ的目标函数如下：
对目标函数进行关于联合变换矩阵Θ的一阶求导，并通过计算一阶导数为零，确定联合变换矩阵Θ的联合变换矩阵最优解为：
其中，
将联合变换矩阵最优解带入无监督公共子空间学习模型公式，确定关于投影特征Z的目标函数如下：
通过对投影特征Z的目标函数进行谱分解，确定投影特征Z的投影特征解其中，/>表示模态k数据在公共子空间的投影特征解；根据投影特征解/>计算联合变换矩阵Θ的联合变换矩阵最优解为/>其中/>为将模态k数据映射到公共子空间的联合变换矩阵最优解，
上述公式中，为多模态遥感图像的输入数据集/>的特征重组，/>为第k种模态数据，/>表示维度为dk×N的实数矩阵，dk为通道数，N为像元数，K为输入数据集的模态总数，Θ＝[Θ1,…,ΘK]为联合变换矩阵，/>为模态k的映射矩阵，/>表示维度为d×dk的实数矩阵，d为每种模态映射后的维度，正则化项Φ(Θ)与Ψ(Z)分别使用正数α、β与γ进行加权，/>为/>在公共子空间的投影特征，/>为Frobenius正则化，L为图拉普拉斯矩阵，/>为模态k数据对应的映射矩阵。
可选地，使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集，包括：
根据关于联合变换矩阵的目标函数，确定投影特征与联合变换矩阵的映射关系式；
根据待分类遥感图像在公共子空间中对应的同模态联合变换矩阵最优解以及映射关系式，将输入数据集映射为待分类投影特征集。
其中，根据公式：确定投影特征与联合变换矩阵的映射关系式为Z＝ΘX，那么待分类投影特征集为/>其中k′表示待分类遥感图像的模态。
步骤103，通过预先设置的分类器，利用待分类遥感图像在公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对待分类投影特征集进行分类，确定每个像元的分类结果。
其中，多个类别标签包括：紧凑型高层建筑(Compact High-Rise)、紧凑型中层建筑(Compact Mid-Rise)、凑型低层建筑(Compact Low-Rise)、开放式高层建筑(Open High-Rise)、开放式中层建筑(Open Mid-Rise)、开放式低层建筑(Open Low-Rise)、重工业(Heavy Industry)等，分类器可以是k-NN分类器。
步骤104，根据每个像元的分类结果，确定待分类遥感图像的分类图像。
具体地，将同模态投影特征解以及投影特征解对应的多个类别标签与待分类投影特征集输入到分类器k-NN中，对于待分类投影特征集中的每个像元，选择与同模态投影特征解中距离最近的k个像元推断待分类投影特征集中每个像元的类别，最终输出待分类遥感图像的分类图。
进一步地，本发明为跨模态图像分类提出了一种无监督公共子空间学习模型进行遥感图像分类的方法。该方法不使用标签作为回归目标，在更宽松的约束条件下，通过隐式设置一个与原始重组特征具有相同多模态流形结构的潜在表示，以更好地从多模态遥感图像中提取的样本之间的潜在相关性，进一步提高了分类性能。
具体地，参考图2所示，无监督公共子空间学习模型的训练过程如下：
第一步，加载并划分多模态遥感数据；
常见的遥感数据有高光谱(Hyperspectral，HS)、多光谱(Multispectral，MS)以及合成孔径雷达(Synthetic Aperture Radar，SAR)等。在跨模态遥感图像分类中，测试阶段仅有部分训练阶段所用的数据模态可用。假设为第k种模态数据，其中，dk为通道数，N为像元数；那么训练数据可表示为/>测试数据即为/>的子集，其中K为训练阶段数据模态总数。进一步构建训练、验证与测试集。
首先,加载同一场景下的多模态数据并进行超像元分割，通过设置相对较大的超像元数量N，得到片段(segment)集合/>其中每个片段内的像元具有相同的标签。然后，通过随机选择超像元/>迭代地构建训练集，直到达到预设阈值Ntrain，最终得到训练集/>其余分割片段作为测试集或验证集，本发明中，测试集与验证集仅选择其中一种模态，分别表示为/>其中k′为选择的验证集与测试集模态,Nval、Ntest分别为验证集与测试集合数量。
本发明训练中，Ntrain设置为30，Nval、Ntest根据数据中样本数量设置。
第二步，构建无监督公共子空间学习模型UCSL；
1.特征重组：
为了方便表示，将多模态遥感图像训练集的输入数据集重新写为/>作为输入重组如下：
输出的特征重组同时包含单模态表示/>和多模态/>表示，可以丰富原始高维空间的数据分布。
2.构建联合流行正则化：
首先，引入模态k的映射矩阵并将它们串联得到联合变换矩阵Θ＝[Θ1,…,ΘK]。然后，用联合变换矩阵Θ将特征重组/>映射到d维隐式子空间，获得的投影特征/>本发明假设，投影特征Z具有正交性，如此可以减少无监督回归的病态性，最后模型公式化如下：
其中，1/2用来简化后续的微分推导，正则化项Φ(Θ)与Ψ(Z)分别使用正数α，β与γ进行加权。具体而言，本发明采用Frobenius范数促使模型获得的小值投影，以具有更好泛化能力。此外，本发明使用流形正则化来利用多模态数据的固有几何结构，从而有：
其中，为Frobenius正则化，关于右式第二项，有：
其中，i,j为像元索引,||·||2为l2范数，L称为图拉普拉斯矩阵，由图的邻接矩阵W推导而来。这样，流形上的邻域关系也可以在潜在公共子空间中加强，称为流形正则化。另一方面，本发明建议使用与上述相同的图拉普拉斯矩阵L来正则化潜在表示投影特征Z，如下：
该项通过与第一个回归项的耦合，使潜子空间中的对齐加倍。
本发明训练中，α，β与γ取值的最佳组合为(10-3,10-2,100)。
进一步，为式(3)构建无监督图。对于面向公共子空间学习的模型而言，分类性能在很大程度上取决于L。理想情况下，图邻接矩阵W的精确估计有利于捕获全局流形结构，以帮助更好地进行特征提取。然而，为了避免繁重的全图计算及其对复杂噪声的脆弱性，本发明使用局部计算，即，对每个像元只考虑固定大小的邻居，记为N(·)。无监督图的无监督图邻接矩阵WUnsup构建方式公式化如下：
其中，k表示模态，即为相同模态间的无监督邻接矩阵，i、j分别表示矩阵中元素的下标，/>分别表示重组特征/>的第k种模态特征/>对应的第i、j个像素，为径向基和函数，参数σ控制其宽度，a和b为径向基和函数的两个变量。考虑到重组的多模态表示中包含更多信息，因此本发明将模态内图设置为由计算的图，即：
其中k1、k2表示两种不同的模态，即表示任意两种不同模态间的无监督邻接矩阵，这里都设置为/>即使用重组特征/>的第K+1种模态特征/>计算而来。该式的设计为联合流形正则化提供更可靠的指导。
从而，通过构建无监督图来指导公共子空间学习，进一步完成跨模态图像分类。
进一步，有了邻接矩阵W，通过Dii＝∑jWi,j可以计算度矩阵D。那么，归一化图拉普拉斯矩阵为L有望很好地处理具有规则和不规则图结构的多模态特征。
最终，式(2)即为构建的模型，投影特征Z，联合变换矩阵Θ为待求解变量。
第三步，求解无监督公共子空间学习模型UCSL；
第一步，通过固定投影特征Z来考虑关于联合变换矩阵Θ的子问题，根据公式(2)、(3)和(5)，可得联合变换矩阵Θ的目标函数的形式如下：
该目标函数为凸的，通过计算其一阶导数为零，得到它的封闭形式最优解为其中，/>
第二步，将上述联合变换矩阵最优解代入等式(2)，将总体目标重写为关于投影特征Z的函数，如下：
在正交约束下，上述优化问题遵循谱聚类的形式，可通过特征分解给出投影特征解一般情况下，最小化等式(9)的解可以由对/>进行特征分解(Eigen decomposition)得到的d个最小特征值对应的左特征向量或右特征向量来获得/>根据H的定义，可以很容易地通过H-1＝(H-1)T来确定M是对称的，为了避免实际计算H的逆可能带来的数值不稳定性，本发明建议使用eig((M+MT)/2)代替eig(M)，这里eig(·)表示特征分解。eig((M+MT)/2)也称为谱分解，可以更有效地生成正交特征向量。
获得的投影特征Z的投影特征解将重组的K+1种模态数据中每个像元表示为d维向量,实现了隐式子空间对齐。
第三步，获得投影特征解后，计算联合变换矩阵最优解/>可表示为其中，/>可将任意模态k的数据映射到子空间。
从而，通过深入研究特征分解，利用几乎一步的计算来解决所提出的无监督公共子空间学习模型USCL。
从而，本发明提供的一种基于无监督公共子空间学习模型的遥感图像分类方法，构造完全无监督的跨模态公共子空间学习模型对待分类遥感图像进行特征提取，最后在分类器中进行分类计算，确定分类图像。并且无监督公共子空间学习模型通过在隐式公共子空间中隐式地引入待学习投影特征，直接从紧凑重组的多模态遥感图像中学习跨模态投影，而不需要标记目标像元，减少图像分类时进行代价高昂的像元标记的需要。进而解决了依赖标签信息进行分类，导致分类效果差的技术问题。并且在正交性和流形结构先验的正则化下，所提出的无监督公共子空间学习模型可以有效地转化为特征分解，从而能有效求解的迹范数优化问题，进而减少图像分类时进行代价高昂的像元标记的需要。
图3是本发明实施例提供的基于无监督公共子空间学习模型的遥感图像分类装置的结构示意图。如图3所示，装置包括：
作为模块310，用于将待分类遥感图像中每个像元作为输入数据集，其中待分类遥感图像包括以下的任意一种模态遥感图像：高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像；
第一确定模块320，用于使用预先求解的无监督公共子空间学习模型将输入数据集映射到公共子空间，确定输入数据集在公共子空间中的待分类投影特征集；
第二确定模块330，用于通过预先设置的分类器，利用待分类遥感图像在公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对待分类投影特征集进行分类，确定每个像元的分类结果；
第三确定模块340，用于根据每个像元的分类结果，确定待分类遥感图像的分类图像。
可选地，无监督公共子空间学习模型求解过程中的输入为多模态遥感图像训练集的输入数据集的特征重组，训练集包括多种模态数据，并且
无监督公共子空间学习模型为：正则化特征重组数据及其在公共子空间的投影，并将结果与预先设置的正则化项最小化。
可选地，通过多模态遥感图像求解无监督公共子空间学习模型的过程如下：
第四确定模块，用于固定无监督公共子空间学习模型公式中的投影特征，确定关于联合变换矩阵的目标函数；
第五确定模块，用于对目标函数进行关于联合变换矩阵的一阶求导，并通过计算一阶导数为零，确定联合变换矩阵的联合变换矩阵最优解；
第六确定模块，用于将联合变换矩阵最优解带入无监督公共子空间学习模型公式，确定关于投影特征的目标函数；
第七确定模块，用于通过对投影特征的目标函数进行谱分解，确定投影特征的投影特征解；
计算模块，用于根据投影特征解，计算联合变换矩阵的联合变换矩阵最优解。
可选地，第一确定模块，包括：
确定子模块，用于根据关于联合变换矩阵的目标函数，确定投影特征与联合变换矩阵的映射关系式；
映射子模块，用于根据待分类遥感图像在公共子空间中对应的同模态联合变换矩阵最优解以及映射关系式，将输入数据集映射为待分类投影特征集。
图4是本发明实施例提供的电子设备的结构。如图4所示，电子设备40包括一个或多个处理器41和存储器42。
处理器41可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器42可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器41可以运行所述程序指令，以实现上文所述的本发明的各个实施例的软件程序的方法以及/或者其他期望的功能。在一个示例中，电子设备还可以包括：输入装置43和输出装置44，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置43还可以包括例如键盘、鼠标等等。
该输出装置44可以向外部输出各种信息。该输出装置44可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书描述的各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于无监督公共子空间学习模型的遥感图像分类方法，其特征在于，包括：
将待分类遥感图像中每个像元作为输入数据集，其中所述待分类遥感图像包括以下任意一种模态遥感图像：高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像；
使用预先求解的无监督公共子空间学习模型将所述输入数据集映射到公共子空间，确定所述输入数据集在公共子空间中的待分类投影特征集；
通过预先设置的分类器，利用所述待分类遥感图像在所述公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对所述待分类投影特征集进行分类，确定每个像元的分类结果；
根据每个像元的分类结果，确定所述待分类遥感图像的分类图像。
2.根据权利要求1所述的方法，其特征在于，所述无监督公共子空间学习模型求解过程中的输入为多模态遥感图像训练集的输入数据集的特征重组，所述训练集包括多种模态数据，并且，所述无监督公共子空间学习模型为：正则化特征重组数据及其在公共子空间的投影，并将结果与预先设置的正则化项最小化。
3.根据权利要求2所述的方法，其特征在于，通过所述多模态遥感图像求解所述无监督公共子空间学习模型的过程如下：
固定所述无监督公共子空间学习模型公式中的所述投影特征，确定关于联合变换矩阵的目标函数；
对所述目标函数进行关于所述联合变换矩阵的一阶求导，并通过计算一阶导数为零，确定所述联合变换矩阵的联合变换矩阵最优解；
将所述联合变换矩阵最优解带入所述无监督公共子空间学习模型公式，确定关于所述投影特征的目标函数；
通过对所述投影特征的目标函数进行谱分解，确定所述投影特征的投影特征解；
根据所述投影特征解，计算所述联合变换矩阵的联合变换矩阵最优解。
4.根据权利要求3所述的方法，其特征在于，使用预先求解的无监督公共子空间学习模型将所述输入数据集映射到公共子空间，确定所述输入数据集在公共子空间中的待分类投影特征集，包括：
根据关于所述联合变换矩阵的所述目标函数，确定所述投影特征与所述联合变换矩阵的映射关系式；
根据所述待分类遥感图像在所述公共子空间中对应的同模态联合变换矩阵最优解以及所述映射关系式，将所述输入数据集映射为所述待分类投影特征集。
5.一种基于无监督公共子空间学习模型的遥感图像分类装置，其特征在于，包括：
作为模块，用于将待分类遥感图像中每个像元作为输入数据集，其中所述待分类遥感图像包括以下任意一种模态遥感图像：高光谱图像、激光雷达点云数据、多光谱图像以及合成孔径雷达图像；
第一确定模块，用于使用预先求解的无监督公共子空间学习模型将所述输入数据集映射到公共子空间，确定所述输入数据集在公共子空间中的待分类投影特征集；
第二确定模块，用于通过预先设置的分类器，利用所述待分类遥感图像在所述公共子空间中对应的同模态投影特征解以及投影特征解对应的多个类别标签对所述待分类投影特征集进行分类，确定每个像元的分类结果；
第三确定模块，用于根据每个像元的分类结果，确定所述待分类遥感图像的分类图像。
6.根据权利要求5所述的装置，其特征在于，所述无监督公共子空间学习模型求解过程中的输入为多模态遥感图像训练集的输入数据集的特征重组，所述训练集包括多种模态数据，并且
所述无监督公共子空间学习模型为：正则化特征重组数据及其在公共子空间的投影，并将结果与预先设置的正则化项最小化。
7.根据权利要求6所述的装置，其特征在于，通过所述多模态遥感图像求解所述无监督公共子空间学习模型的过程如下：
第四确定模块，用于固定所述无监督公共子空间学习模型公式中的所述投影特征，确定关于所述联合变换矩阵的目标函数；
第五确定模块，用于对所述目标函数进行关于所述联合变换矩阵的一阶求导，并通过计算一阶导数为零，确定所述联合变换矩阵的联合变换矩阵最优解；
第六确定模块，用于将所述联合变换矩阵最优解带入所述无监督公共子空间学习模型公式，确定关于所述投影特征的目标函数；
第七确定模块，用于通过对所述投影特征的目标函数进行谱分解，确定所述投影特征的投影特征解；
计算模块，用于根据所述投影特征解，计算所述联合变换矩阵的联合变换矩阵最优解。
8.根据权利要求7所述的装置，其特征在于，第一确定模块，包括：
确定子模块，用于根据关于所述联合变换矩阵的所述目标函数，确定所述投影特征与所述联合变换矩阵的映射关系式；
映射子模块，用于根据所述待分类遥感图像在所述公共子空间中对应的同模态联合变换矩阵最优解以及所述映射关系式，将所述输入数据集映射为所述待分类投影特征集。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-4任一所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310593566.9A CN116740421A (zh) | 2023-05-24 | 2023-05-24 | 基于无监督公共子空间学习模型的遥感图像分类方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310593566.9A CN116740421A (zh) | 2023-05-24 | 2023-05-24 | 基于无监督公共子空间学习模型的遥感图像分类方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740421A true CN116740421A (zh) | 2023-09-12 |
Family
ID=87914289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310593566.9A Pending CN116740421A (zh) | 2023-05-24 | 2023-05-24 | 基于无监督公共子空间学习模型的遥感图像分类方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740421A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422959A (zh) * | 2023-11-17 | 2024-01-19 | 中国科学院空天信息创新研究院 | 基于模态自适应的遥感多模态基础模型的数据处理方法 |
-
2023
- 2023-05-24 CN CN202310593566.9A patent/CN116740421A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422959A (zh) * | 2023-11-17 | 2024-01-19 | 中国科学院空天信息创新研究院 | 基于模态自适应的遥感多模态基础模型的数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10878173B2 (en) | Object recognition and tagging based on fusion deep learning models | |
| Wang et al. | Unsupervised feature selection via unified trace ratio formulation and k-means clustering (track) | |
| CN107636693B (zh) | 针对人工神经网络的相关性分数指派 | |
| US8953888B2 (en) | Detecting and localizing multiple objects in images using probabilistic inference | |
| EP3029606A2 (en) | Method and apparatus for image classification with joint feature adaptation and classifier learning | |
| WO2019001481A1 (zh) | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 | |
| CN108898181B (zh) | 一种图像分类模型的处理方法、装置及存储介质 | |
| CN110929802A (zh) | 基于信息熵的细分类识别模型训练、图像识别方法及装置 | |
| CN110781970B (zh) | 分类器的生成方法、装置、设备及存储介质 | |
| CN105608478B (zh) | 一种图像的特征提取与分类联合方法及系统 | |
| Chrysos et al. | Rocgan: Robust conditional gan | |
| Kuhnel et al. | Latent space non-linear statistics | |
| CN111027582B (zh) | 基于低秩图学习的半监督特征子空间学习方法及装置 | |
| KR20220047228A (ko) | 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼 | |
| Barbu et al. | Face detection with a 3d model | |
| CN113011568A (zh) | 一种模型的训练方法、数据处理方法及设备 | |
| CN116740421A (zh) | 基于无监督公共子空间学习模型的遥感图像分类方法和装置 | |
| CN114255381B (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
| Ahn et al. | Dynamic background subtraction with masked RPCA | |
| CN116108363A (zh) | 基于标签引导的不完备多视图多标签分类方法和系统 | |
| KR20160128869A (ko) | 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치 | |
| Dong et al. | Inor-net: Incremental 3-d object recognition network for point cloud representation | |
| CN114328942A (zh) | 关系抽取方法、装置、设备、存储介质和计算机程序产品 | |
| CN117455515A (zh) | 一种在线侵权商品自动化巡检系统 | |
| CN115935211A (zh) | 融入成对约束先验信息的弱监督多视图学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |