CN110210534B - 基于多包融合的高分遥感图像场景多标签分类方法 - Google Patents
基于多包融合的高分遥感图像场景多标签分类方法 Download PDFInfo
- Publication number
- CN110210534B CN110210534B CN201910422280.8A CN201910422280A CN110210534B CN 110210534 B CN110210534 B CN 110210534B CN 201910422280 A CN201910422280 A CN 201910422280A CN 110210534 B CN110210534 B CN 110210534B
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- label
- packet
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多包融合的高分遥感图像场景多标签分类方法。该方法首先在高分遥感图像上按网格划分提取多种异构特征并编码；其次，分别运用分层和分割的方法划分子区域对编码后的特征进行池化，得到分层示例包和分割示例包；然后使用马氏距离通过K‑Medoids方法对包进行聚类，求取包到所有聚类中心的距离，将所有距离值组成向量，使得多示例包转化为单示例；接下来将得到的单示例进行串联融合；最后通过一对其余方法设计多个二分类器解决多标签问题。本发明提出基于多包融合的高分遥感图像场景多标签分类方法，提高了分类的性能，相比现有的分类方法取得了更优异的分类结果。
Description
技术领域
本发明属于图像处理和模式识别技术领域，尤其涉及一种基于多包融合的高分遥感图像场景多标签分类方法。
背景技术
随着人们研究的不断深入，遥感图像分类技术取得了明显的进步，然而以往的分类技术研究往往是基于单个标签的，这种分类方法有简单明了的优势，但与此同时也存在着不能完整的描述图像内容的缺点。近年来，众多研究者们也开始意识到这种情况，并引入多标签分类的思想以解决这类问题，其中一种称为多示例多标签学习(Multi-InstanceMulti-Label learning,MIML)的典型框架尤其吸引了人们的注意力。在MIML中，一幅图像通过一个包表示，一个示例对应图像中的部分区域的描述信息。一个包由多个示例组成，如果这些示例全是负样本则该包也是负样本，否则只要包中有一个示例为正样本则该包也为正样本。正如在提出多示例多标签学习框架时所描述的，多标签是由于图像的“多义性”导致的，若针对一个“多义性”的对象仅仅使用一个示例表示则过于简单，容易造成在表示阶段就丢失图像的本质信息，若采用多示例就很符合对复杂图像的准确描述问题。
虽然多示例多标签学习已经引起了广泛的兴趣，有大量的学者都在对其研究，但现有的研究重点在于多标签分类器的设计以及类别标签之间关系的挖掘，而对如何更完整描述原图像语义、如何构建包及利用示例间关联信息的研究较少，然而这些因素对分类结果的影响都是十分巨大的。
发明内容
发明目的：针对以上问题，本发明提出一种基于多包融合的高分遥感图像场景多标签分类方法。本方法通过选用多种异构特征生成示例，然后构建分层示例包和分割示例包，实现包信息的互补，最后通过多示例多标签学习框架解决了复杂的遥感场景的多标签分类问题，提高多标签分类性能。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于多包融合的高分遥感图像场景多标签分类方法，包括以下步骤：
步骤1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集和测试样本集，按网格区域提取样本集中遥感图像的空间形状特征、光谱特征、纹理特征并进行编码；将同一网格区域形状、光谱、纹理特征编码结果串联在一起，得到融合的多特征编码；
步骤2：在提取到遥感图像的形状、光谱、纹理特征并进行编码后，采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；
步骤3：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，分别得到训练样本集的分割包集合中不同包之间的最优马氏距离以及分层包集合中不同包之间的最优马氏距离；基于所述马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新的单示例，进而得到训练样本集的单示例多标签集合；
步骤4：根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；
步骤5：根据步骤1-3所述方法处理测试样本图像，得到测试样本的单示例多标签数据；将得到的测试样本的单示例多标签数据分别输入y类标签的SVM二值分类器进行分类，若第i类标签的二值分类器输出为1，则判断该测试样本为输入第i类标签的二值分类器的正样本，即该测试样本具有第i类标签；最后得到该测试样本的y个标签分类结果。
进一步，步骤1所述构建遥感图像训练样本集和测试样本集，方法如下：
步骤1.1.1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集Train＝[Train1,...,Traini,...,Traintrn]，训练样本集共包含trn张图像，其中Traini表示训练样本集中的第i张图像；构建测试样本集Test＝[Test1,...,Testi,...,Testtst]，测试样本集共包含tst张图像，其中Testi表示测试样本集中的第i张图像；
步骤1.1.2：构建训练样本集的样本标签TrLabel＝[TrL1,...,TrLi,...,TrLtrn]，其中TrLi表示训练样本集的第i张图像对应的标签，TrLi＝[l1,...,ly]，其中l为0或1，y表示图像包含不同标签的数目，ly＝1表示对应样本包含第y类标签；构建测试样本集的样本标签TeLabel＝[TeL1,...,TeLi,...,TeLtst]，其中TeLi表示测试样本集的第i张图像对应的标签，TeLi＝[l1,...,ly]。
进一步，步骤1所述按网格区域提取样本集中遥感图像的空间形状特征并进行编码，方法如下：
步骤1.2.1：在样本集中选取第j幅图像，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；在每个网格区域内，以网格区域中心作为特征点位置，用SURF算法提取空间形状特征，则在第i个网格区域得到一个d维特征fi S，进而得到第j幅图像的SURF空间形状特征
通过上述方法，得到训练数据集的SURF空间形状特征集合
步骤1.2.2：将提取得到的SURF空间形状特征集合FS，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.2.3：对每幅图像的每个网格区域提取的SURF空间形状特征在字典B下进行局部约束线性编码(Locality-Constrained Linear Coding，LLC)；其中，第j幅图像的SURF空间形状特征编码结果为
为第i个网格区域的SURF空间形状特征使用LLC算法编码后的特征，n为划分网格区域的个数。
进一步，步骤1所述按网格区域提取样本集中遥感图像的光谱特征并进行编码，方法如下：
步骤1.3.1：将遥感图像从原始RGB空间变换到HSV和XYZ空间；
步骤1.3.2：分别在RGB、HSV和XYZ这9个子空间上，采用网格划分遥感图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；求第i个网格区域的均值meani和方差stdi，则第l个空间的第i个网格区域的均值为
方差为
第l个空间的光谱特征为
和
l＝1,2,…,9，第j张图像的光谱特征为
通过上述方法，得到训练数据集的Mean-Std光谱特征集合
步骤1.3.3：将提取得到的Mean-Std光谱特征集合FM-S，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.3.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的光谱特征编码结果为
为第i个网格区域的光谱特征使用LLC算法编码后的特征，n为划分网格区域的个数。
进一步，步骤1所述按网格区域提取样本集中遥感图像的纹理特征并进行编码，方法如下：
步骤1.4.1：将遥感图像进行单演滤波；
步骤1.4.2：分别在滤波后得到的单演幅值图像、方向图像和相位图像上，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目；分别求幅值图像、方向图像和相位图像上第i个网格区域的完备局部二进制模式(Completed LocalBinaryPattern，CLBP)特征表示该区域的纹理信息，可得到d维特征
和
将幅值图像、方向图像和相位图像上第i个网格区域得到的特征串联起来，得到遥感图像第i个网格区域的MO-CLBP纹理特征
和
分别为相位图像和方向图像上第i个网格区域的CLBP特征，则第j幅图像的MO-CLBP纹理特征可表示为
通过上述方法，得到训练数据集的MO-CLBP纹理特征集合
步骤1.4.3：将提取得到的MO-CLBP特征集合FMO，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.4.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的纹理特征编码结果为
为第i个网格区域的纹理特征使用LLC算法编码后的特征。
进一步，步骤1所述将同一网格区域形状、光谱、纹理特征编码结果串联在一起得到融合的多特征编码；其中，第i个网格区域的多特征编码如下：
进一步，步骤2所述采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；方法如下：
步骤2.1.1：采用SPM空间分层方法将图像分为t层，第t层对应2t-1×2t-1个分层子区域；遥感图像的分层子区域总数为：
步骤2.1.2：在第j个分层子区域中，将包含在该分层子区域中所有网格区域生成的多特征编码组合成矩阵
表示第k个网格区域的多特征编码，网格区域1到k包含在SPM划分的第j个分层子区域中；
步骤2.1.3：将矩阵AL进行最大池化得到一个向量，该向量用来表示第j个分层子区域，称为一个示例Ins；
步骤2.1.4：根据步骤2.1.2-2.1.3，得到遥感图像的SumL个示例，将所有示例组成一个包，即分层示例包，表示如下：
BagL＝[Ins1…InsSumL]；
步骤2.1.5：根据步骤2.1.1-2.1.4，对训练样本集中的每张遥感图像进行分层，得到对应的分层包集合TrBagL＝[BagL1,…,BagLtrn]，BagLtrn表示第trn张得到图像的分层示例包。
进一步，步骤2所述采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；方法如下：
步骤2.2.1：采用图像多区域分割算法，对随机选取的一幅遥感图像进行分割，得到SumS个分割子区域；
步骤2.2.2：在第j个分割子区域中，将包含在该分割子区域中的所有网格区域生成的多特征编码组合成矩阵
表示第s个网格区域的多特征编码，网格区域1到s包含在第j个分割子区域中；
步骤2.2.3：将矩阵AS进行最大池化，其结果表示该第j个分割子区域，称为一个示例Ins；
步骤2.2.4：根据步骤2.2.2-2.2.3，得到遥感图像的SumS个示例，将所有示例组合成一个包，称为分割示例包，表示如下：
BagS＝[Ins1…InsSumS]；
步骤2.2.5：根据步骤2.2.1-2.2.4，对训练样本集中的每张遥感图像进行多区域分割，得到对应的分割包集合TrBagS＝[BagS1,…,BagStrn]，BagStrn表示第trn张图像的分割示例包。
总之，采用多示例多标签学习(MIML)框架来解决多标签问题，构建包来对图像进行描述；包由示例组合而成，示例对应图像中部分区域的信息；区域分割算法按照图像中包含的子目标进行分割，每个分割区域对应生成的示例描述图像中的一个目标，但是区域分割后切断了不同目标之间的关系，失去了目标之间的关联信息；为了能够同时融合独立目标信息和目标之间的关联信息，对每一幅图像，一方面使用多区域分割算法划分图像，另一方面采用SPM空间分层的方式划分区域，用这两种方法构建两个包，实现基于多包的场景特征描述。
为了解决多示例多标签问题，将其转化为单示例多标签问题。其中的关键是如何度量包与包之间、示例与示例之间的距离。欧式距离可能无法利用数据中的统计规律而仅仅是在大量示例训练集中进行估计。为了更好的度量示例之间、包之间的相似性与不相似性，使用马氏距离代替欧式距离来度量不同示例间的距离，将多示例多标签学习转变为单示例多标签学习。
进一步，步骤3所述得到训练样本集的单示例多标签集合，方法如下：
步骤3.1：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，得到不同包之间的最佳度量距离，即最优的马氏距离；
使用马氏距离度量不同包之间距离的方法如下：
示例xi和xj的马氏距离定义如下：
式中，M是一个半正定矩阵，M可以分解为M＝ATA；求解马氏距离d等价于求解矩阵A；
包Xi与Xj之间的马氏距离定义如下：
式中，
和
分别是包Xi和Xj中所有示例的平均值；
构建MIML距离度量学习的目标函数，推导求解出矩阵A，从而得到不同包之间的最佳度量距离，即最优的马氏距离；
步骤3.2：根据步骤3.1所述方法分别得到训练样本集的分割包集合TrBagS中不同包之间的最优马氏距离和分层包集合TrBagL中不同包之间的最优马氏距离；
步骤3.3：基于最优马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新单示例，进而得到训练样本集的单示例多标签集合；方法如下：
步骤3.3.1：基于分层包集合中不同包之间的最优马氏距离，采用K-Medoids聚类算法，在分层包集合中得到所有分层包的聚类中心ML＝[ML1,...,MLh]，h为选定的包中心个数；
步骤3.3.2：对任意一张图像Trainj，采用马氏距离求其分层包BagLj到分层包的每个聚类中心MLh的距离
将这些距离形成一个向量
将向量LLj作为图像Trainj的一个单示例；
步骤3.3.3：基于分割包集合中不同包之间的最优马氏距离，采用K-Medoids聚类算法，在分割包集合中得到所有分割包的聚类中心MS＝[MS1,...,MSh]，h为选定的包中心个数；
步骤3.3.4：对步骤3.3.2所述图像Trainj，采用马氏距离求其分割包BagSj到分割包的每个聚类中心MSh的距离
将这些距离形成一个向量
将向量SLj作为图像Trainj的一个单示例；
步骤3.3.5：将图像Trainj的两个示例包得到的单示例对应串联，形成新的单示例Lj＝[LLj,SLj]，将问题转化为单示例多标签问题，进而得到训练样本集的单示例多标签集合，表示为L＝[L1,...,Ltrn]，Ltrn表示第trn张图像的单示例。
进一步，步骤4所述根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；步骤如下：
步骤4.1：遥感图像包含y个不同标签，每一个标签即表示一个类别，采用多类分类中的一对其余法，针对类别i，即遥感图像第i类标签，设计一个SVM二值分类器；方法如下：
步骤4.1.1：训练样本集中包含第i类标签的样本视为正样本，得到正样本的单示例数据集TrNeg＝[La,...,Lb]，La,…,Lb表示图像Traina,…,Trainb的单示例，图像Traina,…,Trainb都包含i标签；
步骤4.1.2：训练样本集中不包含第i类标签的样本视为负样本，得到负样本的单示例数据集TrPos＝[Lu,...,Lv]，Lu,…,Lv表示图像Trainu,…,Trainv的单示例，图像Trainu,…,Trainv都不包含i标签；
步骤4.1.3：由于在多标签的训练样本集中，在训练第i类标签的二值分类器时，选取包含第i类标签的样本为正样本，不包含第i类标签的样本为负样本，正样本的数据集包含的样本数会少于负样本数据集的样本数，正负样本的不均衡导致训练的模型不优；因此，在训练二值分类器时，修改负样本的权重为1，对正样本增加一个权重w，w>1；w值的设置通过实验验证得到；正、负样本的单示例数据作为分类器的输入，输入为正样本即包含第i类标签的样本时，SVM二值分类器的输出为1，输入为负样本即不包含第i类标签的样本时，SVM二值分类器的输出为-1，训练得到第i个SVM二值分类器；通过增加权重w，可以更准确地对正样本进行分类。通过上述方法，即使使用稀疏标记的数据，也可以提高分类方法的召回率；
步骤4.2：根据步骤4.1所述方法，分别得到y类标签对应的y个SVM二值分类器。
进一步，步骤5所述y个标签分类结果表示如下：
其中，TeL表示测试样本图像的单标签表示形式，SVMy表示第y类标签的SVM二值分类器，Labels是一个y维向量；当第i个分类器分类结果为1，则表示包含第i类标签，Labels＝[1,0,...,1]表示该测试图像包含第1类标签和第y类标签。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明提出了使用多个异构特征组合生成示例包来描述图像，从特征描述上最大程度的表征图像；本发明提出了使用多个包融合的方式，构建分层包和分割包，解决了使用分割包丢失了目标间关联信息的缺陷，从而在使用示例包描述图像时更完备；本发明提出的方法采用了马氏距离来度量包之间的距离，从而更好的实现了问题的简化，相比经典的等方法取得了更优异的分类结果。本发明提出基于多包融合的高分遥感图像场景多标签分类方法，提高了分类的性能，最终获得令人满意的分类结果。
附图说明
图1是本发明方法框图；
图2是本发明方法对图像网格化提取特征的示意图；
图3是本发明方法按分层区域池化生成分层示例包的示意图；
图4是本发明方法按分割区域池化生成分割示例包的示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明针对复杂的遥感场景进行更加完整的描述，提供一种基于多包融合的高分遥感图像场景多标签分类方法，其框图如图1所示。
本实施例按照SIRI-WHU和UC-Merced单标签数据集的形式，在农田、森林、住宅等单标签的基础上，从谷歌地图上对容易和其它场景混杂在一起形成复杂的场景的区域进行截取，制作了一个多标签分类实验数据集，数据集共包含637张图片，每张图大小为320×320像素，包含森林、住宅区、农田、道路、稀疏住宅和河流6类标签，且在数据集中91％以上的图片同时包含两类以上标签，在实验时任意选取60％的样本图片构建遥感图像目标样本训练集Train＝[Train1,...,Traini,...,Traintrn]，并制作相应的样本标签TrLabel＝[TrL1,...,TrLi,...,TrLtrn]，TrLi＝[l1,...,l6]，其中l为0或1，l1＝1表示对应样本包含第1个标签，trn表示训练样本集中包含trn张图片。剩余40％的样本图片根据上述方法构建遥感图像测试样本集。
一种基于多包融合的高分遥感图像场景多标签分类方法，包括以下步骤：
步骤1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集和测试样本集，按网格区域提取样本集中遥感图像的空间形状特征、光谱特征、纹理特征并进行编码；将同一网格区域形状、光谱、纹理特征编码结果串联在一起，得到融合的多特征编码；
步骤2：在提取到遥感图像的形状、光谱、纹理特征并进行编码后，采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；
步骤3：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，分别得到训练样本集的分割包集合中不同包之间的最优马氏距离以及分层包集合中不同包之间的最优马氏距离；基于所述马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新的单示例，进而得到训练样本集的单示例多标签集合；
步骤4：根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；y＝6；
步骤5：根据步骤1-3所述方法处理测试样本图像，得到测试样本的单示例多标签数据；将得到的测试样本的单示例多标签数据分别输入y类标签的SVM二值分类器进行分类，若第i类标签的二值分类器输出为1，则判断该测试样本为输入第i类标签的二值分类器的正样本，即该测试样本具有第i类标签；最后得到该测试样本的y个标签分类结果。
步骤1所述构建遥感图像训练样本集和测试样本集，方法如下：
步骤1.1.1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集Train＝[Train1,...,Traini,...,Traintrn]，训练样本集共包含trn张图像，其中Traini表示训练样本集中的第i张图像；构建测试样本集Test＝[Test1,...,Testi,...,Testtst]，测试样本集共包含tst张图像，其中Testi表示测试样本集中的第i张图像；
步骤1.1.2：构建训练样本集的样本标签TrLabel＝[TrL1,...,TrLi,...,TrLtrn]，其中TrLi表示训练样本集的第i张图像对应的标签，TrLi＝[l1,...,ly]，其中l为0或1，y表示图像包含不同标签的数目，ly＝1表示对应样本包含第y类标签；构建测试样本集的样本标签TeLabel＝[TeL1,...,TeLi,...,TeLtst]，其中TeLi表示测试样本集的第i张图像对应的标签，TeLi＝[l1,...,ly]。
步骤1所述按网格区域提取样本集中遥感图像的空间形状特征并进行编码，方法如下：
步骤1.2.1：在样本集中选取第j幅图像，采用网格划分图像，如图2所示，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；在每个网格区域内，以网格区域中心作为特征点位置，用SURF算法提取空间形状特征，则在第i个网格区域得到一个d维特征fi S，进而得到第j幅图像的SURF空间形状特征
通过上述方法，得到训练数据集的SURF空间形状特征集合
步骤1.2.2：将提取得到的SURF空间形状特征集合FS，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.2.3：对每幅图像的每个网格区域提取的SURF空间形状特征在字典B下进行局部约束线性编码(Locality-Constrained Linear Coding，LLC)；其中，第j幅图像的SURF空间形状特征编码结果为
为第i个网格区域的SURF空间形状特征使用LLC算法编码后的特征，n为划分网格区域的个数。
步骤1所述按网格区域提取样本集中遥感图像的光谱特征并进行编码，方法如下：
步骤1.3.1：将遥感图像从原始RGB空间变换到HSV和XYZ空间；
步骤1.3.2：分别在RGB、HSV和XYZ这9个子空间上，采用网格划分遥感图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；求第i个网格区域的均值meani和方差stdi，则第l个空间的第i个网格区域的均值为
方差为
第l个空间的光谱特征为
和
l＝1,2,…,9，第j张图像的光谱特征为
通过上述方法，得到训练数据集的Mean-Std光谱特征集合
步骤1.3.3：将提取得到的Mean-Std光谱特征集合FM-S，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.3.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的光谱特征编码结果为
为第i个网格区域的光谱特征使用LLC算法编码后的特征，n为划分网格区域的个数。
步骤1所述按网格区域提取样本集中遥感图像的纹理特征并进行编码，方法如下：
步骤1.4.1：将遥感图像进行单演滤波；
步骤1.4.2：分别在滤波后得到的单演幅值图像、方向图像和相位图像上，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目；分别求幅值图像、方向图像和相位图像上第i个网格区域的完备局部二进制模式(Completed LocalBinaryPattern，CLBP)特征表示该区域的纹理信息，可得到d维特征
和
将幅值图像、方向图像和相位图像上第i个网格区域得到的特征串联起来，得到遥感图像第i个网格区域的MO-CLBP纹理特征
和
分别为相位图像和方向图像上第i个网格区域的CLBP特征，则第j幅图像的MO-CLBP纹理特征可表示为
通过上述方法，得到训练数据集的MO-CLBP纹理特征集合
步骤1.4.3：将提取得到的MO-CLBP特征集合FMO，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.4.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的纹理特征编码结果为
为第i个网格区域的纹理特征使用LLC算法编码后的特征。
步骤1所述将同一网格区域形状、光谱、纹理特征编码结果串联在一起得到融合的多特征编码；其中，第i个网格区域的多特征编码如下：
步骤2所述采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；方法如下：
步骤2.1.1：采用SPM空间分层方法将图像分为t层，第t层对应2t-1×2t-1个分层子区域；如图3所示，遥感图像的分层子区域总数为：
步骤2.1.2：在第j个分层子区域中，将包含在该分层子区域中所有网格区域生成的多特征编码组合成矩阵
表示第k个网格区域的多特征编码，网格区域1到k包含在SPM划分的第j个分层子区域中；
步骤2.1.3：将矩阵AL进行最大池化得到一个向量，该向量用来表示第j个分层子区域，称为一个示例Ins；
步骤2.1.4：根据步骤2.1.2-2.1.3，得到遥感图像的SumL个示例，选择t＝3，则SumL＝21，得到21个分层子区域，即得到21个示例，将所有示例组成一个包，即分层示例包，表示如下：
BagL＝[Ins1…Ins21]；
步骤2.1.5：根据步骤2.1.1-2.1.4，对训练样本集中的每张遥感图像进行分层，得到对应的分层包集合TrBagL＝[BagL1,…,BagLtrn]，BagLtrn表示第trn张得到图像的分层示例包。
步骤2所述采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；方法如下：
步骤2.2.1：采用图像多区域分割算法，对随机选取的一幅遥感图像进行分割，得到SumS个分割子区域；如图4所示；
步骤2.2.2：在第j个分割子区域中，将包含在该分割子区域中的所有网格区域生成的多特征编码组合成矩阵
表示第s个网格区域的多特征编码，网格区域1到s包含在第j个分割子区域中；
步骤2.2.3：将矩阵AS进行最大池化，其结果表示该第j个分割子区域，称为一个示例Ins；
步骤2.2.4：根据步骤2.2.2-2.2.3，得到遥感图像的SumS个示例，将所有示例组合成一个包，称为分割示例包，表示如下：
BagS＝[Ins1…InsSumS]；
步骤2.2.5：根据步骤2.2.1-2.2.4，对训练样本集中的每张遥感图像进行多区域分割，得到对应的分割包集合TrBagS＝[BagS1,…,BagStrn]，BagStrn表示第trn张图像的分割示例包。
总之，采用多示例多标签学习(MIML)框架来解决多标签问题，构建包来对图像进行描述；包由示例组合而成，示例对应图像中部分区域的信息；区域分割算法按照图像中包含的子目标进行分割，每个分割区域对应生成的示例描述图像中的一个目标，但是区域分割后切断了不同目标之间的关系，失去了目标之间的关联信息；为了能够同时融合独立目标信息和目标之间的关联信息，对每一幅图像，一方面使用多区域分割算法划分图像，另一方面采用SPM空间分层的方式划分区域，用这两种方法构建两个包，实现基于多包的场景特征描述。
为了解决多示例多标签问题，将其转化为单示例多标签问题。其中的关键是如何度量包与包之间、示例与示例之间的距离。欧式距离可能无法利用数据中的统计规律而仅仅是在大量示例训练集中进行估计。为了更好的度量示例之间、包之间的相似性与不相似性，使用马氏距离代替欧式距离来度量不同示例间的距离，将多示例多标签学习转变为单示例多标签学习。
步骤3所述得到训练样本集的单示例多标签集合，方法如下：
步骤3.1：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，得到不同包之间的最佳度量距离，即最优的马氏距离；
使用马氏距离度量不同包之间距离的方法如下：
示例xi和xj的马氏距离定义如下：
式中，M是一个半正定矩阵，M可以分解为M＝ATA；求解马氏距离d等价于求解矩阵A；
包Xi与Xj之间的马氏距离定义如下：
式中，
和
分别是包Xi和Xj中所有示例的平均值；
构建MIML距离度量学习的目标函数，推导求解出矩阵A，从而得到不同包之间的最佳度量距离，即最优的马氏距离；
步骤3.2：根据步骤3.1所述方法分别得到训练样本集的分割包集合TrBagS中不同包之间的最优马氏距离和分层包集合TrBagL中不同包之间的最优马氏距离；
步骤3.3：基于最优马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新单示例，进而得到训练样本集的单示例多标签集合；方法如下：
步骤3.3.1：基于分层包集合中不同包之间的最优马氏距离，采用K-Medoids聚类算法，在分层包集合中得到所有分层包的聚类中心ML＝[ML1,...,MLh]，h为选定的包中心个数；
步骤3.3.2：对任意一张图像Trainj，采用马氏距离求其分层包BagLj到分层包的每个聚类中心MLh的距离
将这些距离形成一个向量
将向量LLj作为图像Trainj的一个单示例；
步骤3.3.3：基于分割包集合中不同包之间的最优马氏距离，采用K-Medoids聚类算法，在分割包集合中得到所有分割包的聚类中心MS＝[MS1,...,MSh]，h为选定的包中心个数；
步骤3.3.4：对步骤3.3.2所述图像Trainj，采用马氏距离求其分割包BagSj到分割包的每个聚类中心MSh的距离
将这些距离形成一个向量
将向量SLj作为图像Trainj的一个单示例；
步骤3.3.5：将图像Trainj的两个示例包得到的单示例对应串联，形成新的单示例Lj＝[LLj,SLj]，将问题转化为单示例多标签问题，进而得到训练样本集的单示例多标签集合，表示为L＝[L1,...,Ltrn]，Ltrn表示第trn张图像的单示例。
步骤4所述根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；步骤如下：
步骤4.1：遥感图像包含y个不同标签，每一个标签即表示一个类别，采用多类分类中的一对其余法，针对类别i，即遥感图像第i类标签，设计一个SVM二值分类器；方法如下：
步骤4.1.1：训练样本集中包含第i类标签的样本视为正样本，得到正样本的单示例数据集TrNeg＝[La,...,Lb]，La,…,Lb表示图像Traina,…,Trainb的单示例，图像Traina,…,Trainb都包含i标签；
步骤4.1.2：训练样本集中不包含第i类标签的样本视为负样本，得到负样本的单示例数据集TrPos＝[Lu,...,Lv]，Lu,…,Lv表示图像Trainu,…,Trainv的单示例，图像Trainu,…,Trainv都不包含i标签；
步骤4.1.3：由于在多标签的训练样本集中，在训练第i类标签的二值分类器时，选取包含第i类标签的样本为正样本，不包含第i类标签的样本为负样本，正样本的数据集包含的样本数会少于负样本数据集的样本数，正负样本的不均衡导致训练的模型不优；因此，在训练二值分类器时，修改负样本的权重为1，对正样本增加一个权重w，w>1；w值的设置通过实验验证得到；正、负样本的单示例数据作为分类器的输入，输入为正样本即包含第i类标签的样本时，SVM二值分类器的输出为1，输入为负样本即不包含第i类标签的样本时，SVM二值分类器的输出为-1，训练得到第i个SVM二值分类器；通过增加权重w，可以更准确地对正样本进行分类。通过上述方法，即使使用稀疏标记的数据，也可以提高分类方法的召回率；
步骤4.2：根据步骤4.1所述方法，分别得到y类标签对应的y个SVM二值分类器。
步骤5所述y个标签分类结果表示如下：
其中，TeL表示测试样本图像的单标签表示形式，SVMy表示第y类标签的SVM二值分类器，Labels是一个y维向量；当第i个分类器分类结果为1，则表示包含第i类标签，Labels＝[1,0,...,1]表示该测试图像包含第1类标签和第y类标签。
Claims (10)
1.一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：该方法包括以下步骤：
步骤1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集和测试样本集，按网格区域提取样本集中遥感图像的空间形状特征、光谱特征、纹理特征并进行编码；将同一网格区域形状、光谱、纹理特征编码结果串联在一起，得到融合的多特征编码；
步骤2：在提取到遥感图像的形状、光谱、纹理特征并进行编码后，采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；
步骤3：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，分别得到训练样本集的分割包集合中不同包之间的最优马氏距离以及分层包集合中不同包之间的最优马氏距离；基于所述马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新的单示例，进而得到训练样本集的单示例多标签集合；
步骤4：根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；
步骤5：根据步骤1-3所述方法处理测试样本图像，得到测试样本的单示例多标签数据；将得到的测试样本的单示例多标签数据分别输入y类标签的SVM二值分类器进行分类，若第i类标签的二值分类器输出为1，则判断该测试样本为输入第i类标签的二值分类器的正样本，即该测试样本具有第i类标签；最后得到该测试样本的y个标签分类结果。
2.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述构建遥感图像训练样本集和测试样本集，方法如下：
步骤1.1.1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集Train＝[Train1,...,Traini,...,Traintrn]，训练样本集共包含trn张图像，其中Traini表示训练样本集中的第i张图像；构建测试样本集Test＝[Test1,...,Testi,...,Testtst]，测试样本集共包含tst张图像，其中Testi表示测试样本集中的第i张图像；
步骤1.1.2：构建训练样本集的样本标签TrLabel＝[TrL1,...,TrLi,...,TrLtrn]，其中TrLi表示训练样本集的第i张图像对应的标签，TrLi＝[l1,…,ly]，其中l为0或1，y表示图像包含不同标签的数目，ly＝1表示对应样本包含第y类标签；构建测试样本集的样本标签TeLabel＝[TeL1,...,TeLi,...,TeLtst]，其中TeLi表示测试样本集的第i张图像对应的标签，TeLi＝[l1,…,ly]。
3.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述按网格区域提取样本集中遥感图像的空间形状特征并进行编码，方法如下：
步骤1.2.1：在样本集中选取第j幅图像，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；在每个网格区域内，以网格区域中心作为特征点位置，用SURF算法提取空间形状特征，则在第i个网格区域得到一个d维特征fi S，进而得到第j幅图像的SURF空间形状特征
通过上述方法，得到训练数据集的SURF空间形状特征集合
步骤1.2.2：将提取得到的SURF空间形状特征集合FS，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.2.3：对每幅图像的每个网格区域提取的SURF空间形状特征在字典B下进行局部约束线性编码；其中，第j幅图像的SURF空间形状特征编码结果为
为第i个网格区域的SURF空间形状特征使用LLC算法编码后的特征，n为划分网格区域的个数。
4.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述按网格区域提取样本集中遥感图像的光谱特征并进行编码，方法如下：
步骤1.3.1：将遥感图像从原始RGB空间变换到HSV和XYZ空间；
步骤1.3.2：分别在RGB、HSV和XYZ这9个子空间上，采用网格划分遥感图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；求第i个网格区域的均值meani和方差stdi，则第l个空间的第i个网格区域的均值为meani l，方差为stdi l；第l个空间的光谱特征为Meanl＝(mean1 l,...,meann l)T和Stdl＝(std1 l,...,stdn l)T，l＝1,2,…,9，第j张图像的光谱特征为
通过上述方法，得到训练数据集的Mean-Std光谱特征集合
步骤1.3.3：将提取得到的Mean-Std光谱特征集合FM-S，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.3.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的光谱特征编码结果为
为第i个网格区域的光谱特征使用LLC算法编码后的特征，n为划分网格区域的个数。
5.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述按网格区域提取样本集中遥感图像的纹理特征并进行编码，方法如下：
步骤1.4.1：将遥感图像进行单演滤波；
步骤1.4.2：分别在滤波后得到的单演幅值图像、方向图像和相位图像上，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目；分别求幅值图像、方向图像和相位图像上第i个网格区域的完备局部二进制模式特征表示该区域的纹理信息，可得到d维特征fi C-A、
和fi C-P，将幅值图像、方向图像和相位图像上第i个网格区域得到的特征串联起来，得到遥感图像第i个网格区域的MO-CLBP纹理特征
fi C-P和
分别为相位图像和方向图像上第i个网格区域的CLBP特征，则第j幅图像的MO-CLBP纹理特征可表示为
通过上述方法，得到训练数据集的MO-CLBP纹理特征集合
步骤1.4.3：将提取得到的MO-CLBP特征集合FMO，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；
步骤1.4.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的纹理特征编码结果为
为第i个网格区域的纹理特征使用LLC算法编码后的特征；
步骤1所述将同一网格区域形状、光谱、纹理特征编码结果串联在一起得到融合的多特征编码；其中，第i个网格区域的多特征编码如下：
6.根据权利要求1-5任一所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤2所述采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；方法如下：
步骤2.1.1：采用SPM空间分层方法将图像分为t层，第t层对应2t-1×2t-1个分层子区域；遥感图像的分层子区域总数为：
步骤2.1.2：在第j个分层子区域中，将包含在该分层子区域中所有网格区域生成的多特征编码组合成矩阵
表示第k个网格区域的多特征编码，网格区域1到k包含在SPM划分的第j个分层子区域中；
步骤2.1.3：将矩阵AL进行最大池化得到一个向量，该向量用来表示第j个分层子区域，称为一个示例Ins；
步骤2.1.4：根据步骤2.1.2-2.1.3，得到遥感图像的SumL个示例，将所有示例组成一个包，即分层示例包，表示如下：
BagL＝[Ins1…InsSumL]；
步骤2.1.5：根据步骤2.1.1-2.1.4，对训练样本集中的每张遥感图像进行分层，得到对应的分层包集合TrBagL＝[BagL1,…,BagLtrn]，BagLtrn表示第trn张得到图像的分层示例包。
7.根据权利要求1-5任一所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤2所述采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；方法如下：
步骤2.2.1：采用图像多区域分割算法，对随机选取的一幅遥感图像进行分割，得到SumS个分割子区域；
步骤2.2.2：在第j个分割子区域中，将包含在该分割子区域中的所有网格区域生成的多特征编码组合成矩阵
表示第s个网格区域的多特征编码，网格区域1到s包含在第j个分割子区域中；
步骤2.2.3：将矩阵AS进行最大池化，其结果表示该第j个分割子区域，称为一个示例Ins；
步骤2.2.4：根据步骤2.2.2-2.2.3，得到遥感图像的SumS个示例，将所有示例组合成一个包，称为分割示例包，表示如下：
BagS＝[Ins1…InsSumS]；
步骤2.2.5：根据步骤2.2.1-2.2.4，对训练样本集中的每张遥感图像进行多区域分割，得到对应的分割包集合TrBagS＝[BagS1,…,BagStrn]，BagStrn表示第trn张图像的分割示例包。
8.根据权利要求1-5任一所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤3所述得到训练样本集的单示例多标签集合，方法如下：
步骤3.1：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，得到不同包之间的最佳度量距离，即最优的马氏距离；
使用马氏距离度量不同包之间距离的方法如下：
示例xi和xj的马氏距离定义如下：
式中，M是一个半正定矩阵，M可以分解为M＝ATA；求解马氏距离d等价于求解矩阵A；
包Xi与Xj之间的马氏距离定义如下：
式中，
和
分别是包Xi和Xj中所有示例的平均值；
构建MIML距离度量学习的目标函数，推导求解出矩阵A，从而得到不同包之间的最佳度量距离，即最优的马氏距离；
步骤3.2：根据步骤3.1所述方法分别得到训练样本集的分割包集合TrBagS中不同包之间的最优马氏距离和分层包集合TrBagL中不同包之间的最优马氏距离；
步骤3.3：基于最优马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新单示例，进而得到训练样本集的单示例多标签集合。
9.根据权利要求8所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤3.3所述基于最优马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新单示例，进而得到训练样本集的单示例多标签集合；方法如下：
步骤3.3.1：基于分层包集合中不同包之间的最优马氏距离，采用K-Medoids聚类算法，在分层包集合中得到所有分层包的聚类中心ML＝[ML1,…,MLh]，h为选定的包中心个数；
步骤3.3.2：对任意一张图像Trainj，采用马氏距离求其分层包BagLj到分层包的每个聚类中心MLh的距离
将这些距离形成一个向量
将向量LLj作为图像Trainj的一个单示例；
步骤3.3.3：基于分割包集合中不同包之间的最优马氏距离，采用K-Medoids聚类算法，在分割包集合中得到所有分割包的聚类中心MS＝[MS1,…,MSh]，h为选定的包中心个数；
步骤3.3.4：对步骤3.3.2所述图像Trainj，采用马氏距离求其分割包BagSj到分割包的每个聚类中心MSh的距离
将这些距离形成一个向量
将向量SLj作为图像Trainj的一个单示例；
步骤3.3.5：将图像Trainj的两个示例包得到的单示例对应串联，形成新的单示例Lj＝[LLj,SLj]，将问题转化为单示例多标签问题，进而得到训练样本集的单示例多标签集合，表示为L＝[L1,…,Ltrn]，Ltrn表示第trn张图像的单示例。
10.根据权利要求1-5任一所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤4所述根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；步骤如下：
步骤4.1：遥感图像包含y个不同标签，每一个标签即表示一个类别，采用多类分类中的一对其余法，针对类别i，即遥感图像第i类标签，设计一个SVM二值分类器；方法如下：
步骤4.1.1：训练样本集中包含第i类标签的样本视为正样本，得到正样本的单示例数据集TrNeg＝[La,…,Lb]，La,…,Lb表示图像Traina,…,Trainb的单示例，图像Traina,…,Trainb都包含i标签；
步骤4.1.2：训练样本集中不包含第i类标签的样本视为负样本，得到负样本的单示例数据集TrPos＝[Lu,…,Lv]，Lu,…,Lv表示图像Trainu,…,Trainv的单示例，图像Trainu,…,Trainv都不包含i标签；
步骤4.1.3：在训练第i类标签的SVM二值分类器时，正样本的数据集包含的样本数少于负样本数据集的样本数；修改负样本的权重为1，对正样本增加一个权重w，w＞1；w值的设置通过实验验证得到，通过设置权重w优化训练模型；正、负样本的单示例数据作为分类器的输入，输入为正样本即包含第i类标签的样本时，SVM二值分类器的输出为1，输入为负样本即不包含第i类标签的样本时，SVM二值分类器的输出为-1，训练得到第i个SVM二值分类器；
步骤4.2：根据步骤4.1所述方法，分别得到y类标签对应的y个SVM二值分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910422280.8A CN110210534B (zh) | 2019-05-21 | 2019-05-21 | 基于多包融合的高分遥感图像场景多标签分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910422280.8A CN110210534B (zh) | 2019-05-21 | 2019-05-21 | 基于多包融合的高分遥感图像场景多标签分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210534A CN110210534A (zh) | 2019-09-06 |
| CN110210534B true CN110210534B (zh) | 2022-09-02 |
Family
ID=67788002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910422280.8A Active CN110210534B (zh) | 2019-05-21 | 2019-05-21 | 基于多包融合的高分遥感图像场景多标签分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210534B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507991B (zh) * | 2020-04-20 | 2023-03-21 | 西安邮电大学 | 特征区域的遥感图像分割方法及装置 |
| CN111967501B (zh) * | 2020-07-22 | 2023-11-17 | 中国科学院国家空间科学中心 | 一种遥测原始数据驱动的载荷状态判别方法及判别系统 |
| CN112598622B (zh) * | 2020-12-03 | 2022-08-09 | 天津理工大学 | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 |
| CN113157816B (zh) * | 2021-03-09 | 2023-05-16 | 大连海事大学 | 一种基于网格密度的消费者分类标签融合过滤方法 |
| CN113222068B (zh) * | 2021-06-03 | 2022-12-27 | 西安电子科技大学 | 基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法 |
| CN115272870A (zh) * | 2022-09-19 | 2022-11-01 | 北京数慧时空信息技术有限公司 | 基于地学信息和主动学习的遥感样本标注方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942564A (zh) * | 2014-04-08 | 2014-07-23 | 武汉大学 | 基于非监督特征学习的高分辨率遥感影像场景分类方法 |
| CN107480620A (zh) * | 2017-08-04 | 2017-12-15 | 河海大学 | 基于异构特征融合的遥感图像自动目标识别方法 |
| CN108596154A (zh) * | 2018-05-14 | 2018-09-28 | 河海大学 | 基于高维特征选择与多级融合的遥感图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8379994B2 (en) * | 2010-10-13 | 2013-02-19 | Sony Corporation | Digital image analysis utilizing multiple human labels |
-
2019
- 2019-05-21 CN CN201910422280.8A patent/CN110210534B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942564A (zh) * | 2014-04-08 | 2014-07-23 | 武汉大学 | 基于非监督特征学习的高分辨率遥感影像场景分类方法 |
| CN107480620A (zh) * | 2017-08-04 | 2017-12-15 | 河海大学 | 基于异构特征融合的遥感图像自动目标识别方法 |
| CN108596154A (zh) * | 2018-05-14 | 2018-09-28 | 河海大学 | 基于高维特征选择与多级融合的遥感图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| spatial pyramid co-occurrence for image classification;Yang Y;《IEEE International Conference on Computer Vision》;20111230;第1465-1672页 * |
| 基于包级空间多示例稀疏表示的图像分类算法;杨红红等;《西北工业大学学报》;20170815(第04期);第145-152页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210534A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210534B (zh) | 基于多包融合的高分遥感图像场景多标签分类方法 | |
| Wu et al. | A scene change detection framework for multi-temporal very high resolution remote sensing images | |
| Cao et al. | Landmark recognition with sparse representation classification and extreme learning machine | |
| CN107506793B (zh) | 基于弱标注图像的服装识别方法及系统 | |
| CN103942564B (zh) | 基于非监督特征学习的高分辨率遥感影像场景分类方法 | |
| CN112598024B (zh) | 一种基于深度多示例学习和自注意力的医学图像分类方法 | |
| CN106227851A (zh) | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 | |
| CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
| CN105808752B (zh) | 一种基于cca和2pknn的自动图像标注方法 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN103514456A (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
| CN109409384A (zh) | 基于细粒度图像的图像识别方法、装置、介质及设备 | |
| Zou et al. | Chronological classification of ancient paintings using appearance and shape features | |
| Li et al. | Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes | |
| CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN105956610B (zh) | 一种基于多层编码结构的遥感图像地形分类方法 | |
| CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
| CN105320963B (zh) | 面向高分遥感图像的大尺度半监督特征选择方法 | |
| CN115641473A (zh) | 基于cnn-自注意力机制混合架构的遥感图像分类方法 | |
| CN107633264B (zh) | 基于空谱多特征极限学习的线性共识集成融合分类方法 | |
| CN109657082A (zh) | 基于全卷积神经网络的遥感图像多标签检索方法及系统 | |
| Byeon et al. | Scene analysis by mid-level attribute learning using 2D LSTM networks and an application to web-image tagging | |
| KR102119136B1 (ko) | 지능형 이미지 분류 방법 | |
| CN103246895B (zh) | 基于深度信息的图像分类方法 | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |