CN113033714B - 多模态多粒度遥感影像面向对象全自动机器学习方法及系统 - Google Patents

Abstract

本发明公开了一种多模态多粒度遥感影像面向对象自动机器学习方法及系统，将初始的云样本数据，依次通过光谱‑纹理‑形状特征、地理信息特征、时间变化特征及尺度特征四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予对应的代号标签。按照适当的比例分层抽样划分训练、验证和测试样本集后，对各类样本进行扩充后，针对不同样本组的特征选择合适的机器学习方法进行模型训练及调优，将所有训练好的分类器模型集成为分类模型库，再输入测试样本集，根据尺度和特征自动优选模型进行分流预测，将预测结果依据初始样本集标签规则归类合并，最后再进行精度验证及评价。

Description

多模态多粒度遥感影像面向对象全自动机器学习方法及系统

技术领域

本发明属于遥感与地理国情监测技术领域，涉及一种云控制下多模态多粒度遥感影像面向对象全自动机器学习方法及系统，具体涉及一种多模态多粒度遥感影像的面向对象提取、划分、及其集多种机器学习（非监督聚类、监督的随机森林和深度学习）为一体的全自动机器学习训练与预测方法及系统。

背景技术

遥感影像解译通常包括面向像素的分类和面向对象（图斑）的分类两大类，而基于已标注样本集的监督分类则是目前使用较为广泛的方法。遥感影像监督分类往往需要准备准确和充足的训练、验证样本，样本的质量对于分类器的训练和最终预测起着关键作用，因此样本自动提取和优选是遥感影像分类及其预处理领域的重要研究课题。然而，遥感影像分类样本自动选择和模型训练仍然存在许多问题：

1）模态问题：遥感影像样本选择及分类往往可能因光谱形状相似，尺度差异较大，影像外部样本特征未充分利用，传感器或获取时间不同产生的影像差异等多种模态问题，导致同类样本差异较大，质量低，进而导致分类精度低；

2）粒度问题：遥感影像样本的分类级别粗，样本粒度单一化机械化，往往不能满足实际需求，导致同类样本内部差异大，质量低，进而影响分类精度；

3）自动化问题：遥感影像样本选择及分类仍然需要大量人为干预，主观性强，自动化程度低，从而耗费大量人力物力。

当前已有部分研究和专利技术对上述问题进行了分析与研究：

1）已有一种基于多模态表征的细粒度图像分类技术，但该技术主要结合图像外（基于百度词库的文本信息）辅助视觉信息对于图像及其语义标签进行细粒度分类，且不是针对遥感影像的技术（文献1）。

2）已有一种基于多尺度和多时相的遥感影像分类方法是在人为给定的三个分割尺度下，根据影像光谱等特征、时相特征等，基于大量先验知识人为给出预分类标签并建立决策树分类系统，对影像预测分类，主观性强，且其样本选择、尺度划分以及矢量化等未体现自动化，其未使用大数据样本集，并采用浅层学习进行分类（文献2）。

3）已有一种基于多粒度的遥感数据处理方法强调通过一次粒粗粒筛选，二次粒细粒筛选，不断迭代，获取归类信息，旨在提取剩余的有价值的特征信息（文献3），本质上是人工设计并提取特征，而当前深度学习可以自动学习更好更深层次的特征。

4）已有一种基于多模态的深度学习遥感影像分类方法则重点在深度学习模型上的优化，通过提取多模态分级特征，构建这种特征关联共享，但其专注模型本身，没有考虑大数据样本的质量（文献4）。

文献1：漆桂林,徐华鹏,徐康. 基于多模态表征的细粒度图像分类方法[P]. 江苏省：CN109002834A,2018-12-14.

文献2：张宁, 吴炳方, 周月敏等. 面向对象的多尺度与多时相遥感影像自动分类方法[C]. 2008海峡两岸遥感大会. 中科院遥感应用研究所, 2008.

文献3：顾沈明,吴伟志,吴远红. 一种多粒度的遥感数据处理方法[P]. 浙江省：CN109543612A,2019-03-29.

文献4：黄冬梅,杜艳玲,贺琪,宋巍,石少华,苏诚. 一种基于多模态深度学习的遥感影像分类方法[P]. 上海市：CN105930877B,2020-07-10。

发明内容

本发明的目的在于提供一种云控数据训练样本驱动多模态多层次粒度细化方案以及全自动监督机器学习方法及系统，以提升面向对象遥感影像多尺度分类精度。

本发明的方法所采用的技术方案是：一种多模态多粒度遥感影像面向对象全自动机器学习方法，包括以下步骤：

步骤1：将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；

步骤2：将初始样本集S按初始标签依次分为n类样本组，即S={S ₁, S ₂, …, S _n }；

步骤3：对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱-纹理-形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；

步骤4：经过步骤3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；

步骤5：分别对步骤4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；

步骤6：根据步骤5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；

其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；

步骤7：将步骤6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S ₁, S ₂, …, S _n },其中n为大于1的自然数。

本发明的系统所采用的技术方案是：一种多模态多粒度遥感影像面向对象全自动机器学习系统，包括以下模块：

模块1，用于将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；

模块2，用于将初始样本集S按初始标签依次分为n类样本组，即S={S ₁, S ₂, …,S _n },其中n为大于1的自然数；

模块3，用于对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱-纹理-形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；

模块4，用于经过模块3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；

模块5，用于分别对模块4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；

模块6，用于根据模块5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；

其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；

模块7，用于将模块6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S ₁, S ₂, …, S _n },其中n为大于1的自然数。

本发明基于云控制的样本及辅助遥感数据产品，根据常见的面向对象遥感影像分类样本特性，利用光谱、地理信息、时间变化和尺度四种典型模态，对常用的样本集进行四个级别的粒度细分，获得更加准确、高匀质性和精细的样本，匹配优选的模型进行训练、验证和分类器集成，然后再进行预测和预测结果合并等后处理，能够缓解遥感影像解译同物异谱和同谱异物问题，全自动化处理影像分类问题，有效提高影像分类精度和效果，具有较强的实用性和普适性。

附图说明

图1是本发明实施例的方法流程图。

图2是本发明实施例的多模态多粒度样本的面向对象遥感影像分类样本细化示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明首次提出了一种云控制下多模态多粒度遥感影像面向对象集成学习系统与全自动机器学习方法及系统。其中，“云控制”指的是“广义云”提供的时空地理大数据信息，包括：各种已有点云数据和云端地理信息产品，例如：数字高程模型(DEM, DigitalElevation Model)、数字表面模型(DSM, Digital Surface Model)、数字正射影像(DOM,Digital Orthophoto Map)、数字线划地图(DLG, Digital Line Graphic)、数字栅格地图(DRG, Digital Raster Graphic)、和土地利用与土地覆盖(LULC, Land use and landcover)等数据，不仅可以提供摄影测量的几何控制，还可以提供大量的遥感解译标签样本；而“多模态”主要（不限于）指四种模态，即提取面向对象（图斑）中的光谱-纹理-形状、云控制地理信息（例如：DEM）、时间变化和尺度大小；“多粒度”则是根据上述四种模态，对样本进行循序渐进的四种粒度层层细分。故在本发明中，面向对象＋多模态划分有效缓解同物异谱和同谱异物问题以及模型训练的缩放误差，其中云控制数据能丰富样本特征提取，通过设立标准，辅助模型训练；简单机器学习与深度学习模型集成，样本分流，各尽其用，实现样本细化标注与影像分类的全自动化。

其中，样本多模态多粒度划分主要采用非监督聚类算法，常见的聚类算法有K-Means聚类、ISODATA聚类、MeanShift聚类等。面向对象分类器主要采用监督学习，将集成随机森林分类器和深度卷积神经网络分类器，包括FCN、Seg-net、U-net、PSPNet和DeepLabv3等。

请见图1，本发明提供的一种多模态多粒度遥感影像面向对象全自动机器学习方法，包括以下步骤：

步骤1：将已标注属性标签（例如：耕地、草地、水域、城镇等属性标签）的面向对象的遥感影像云样本数据作为初始样本集S；

步骤2：将初始样本集S按初始标签依次分为n类样本组，即S={S ₁, S ₂, …, S _n },其中n为大于1的自然数；

步骤3：对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，四种不同模态包括光谱-纹理-形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态。

请见图2，本实施例的I级粒度划分(模态：Spectrum & texture & shape)：设定类内凝聚度阈值q ₁ 和类间分离度阈值t ₁，通过提取样本的光谱、纹理和形状特征，通过聚类算法，对各样本组的初始样本S _i 进行粒度划分：1）若某一聚类集合的类内凝聚度和同其他聚类集合的类间分离度达到阈值，则保留该聚类集合；2）若未达到阈值，则继续对不合格的聚类集合统一进行新一轮的聚类，重复1）2），直至所有聚类样本集的类内凝聚度和类间分离度均满足阈值。然后根据聚类结果赋上I级标签，即S _ij = I(S _i ) = {S _i1, S _i2, …, S _im }, 1<=i<=n, 1<=j<=m,其中n, m均为大于1的自然数；其中，样本光谱特征采用计算样本各波段像元灰度值的均值、标准差进行提取；样本纹理特征则通过统计灰度对出现频率构建经典的灰度共生矩阵，来提取并获取特征参数，如熵、角二阶矩 (Angular Second Moment,ASM)等；样本形状特征通过计算像元形状指数(Pixel Shape Index, PSI)、紧凑度等提取。将提取出的各种特征叠加为多维特征向量，依据初始样本的先验认知，分别赋予样本光谱、纹理和形状特征向量以不同的权重，再利用isodata算法对该加权后的多维特征向量进行特征点聚类，其中为了突出光谱特征的主导作用，通常对其赋予较高权重。根据聚类结果，将初始样本进行粒度划分组和类别，并按照每组样本数量由多至少依次附上I级标签。

本实施例的II级粒度划分(模态：Geoscience Information)：根据部分样本的高度海拔、所处环境等显著差异，结合云控制下的已有的地理信息产品，包括但不限于点云数据、DEM、DOM、DLG、DRG、LULC数据等，对I级粒度样本S _ij 进一步叠加（即增加为输入特征矩阵）以辅助判别和划分粒度。例如虽同属于林地，但乔木林长势较高，而灌木林则长势较低等，本系统可以结合样本所处地的SAR数据或高程数据等进行辅助判别。然后根据判别结果附上II级标签，即S _ijk = II(S _ij ) = {S _ij1, S _ij2, …, S _ija }, 1<=i<=n, 1<=j<=m, 1<=k<=a(无需此模态判别的样本该级粒度标签值为0，标记为S _ij0) ,其中n, m,a均为大于1的自然数；首先对用于辅助判别的云控制地理信息产品数据(简称辅助数据)和待辅助样本数据进行配准和几何校正，获取样本的地理定位信息，来查询辅助数据对应定位范围内的属性信息，如高程、年平均降水量等，提取所有待辅助样本的对应辅助属性，并进行统计和k-means聚类。依据聚类结果，将I级粒度样本进行新一轮的划分组和类别，并按照每组样本数量由多至少依次附上II级标签。

本实施例的III级粒度划分(模态：Time Change)：根据部分样本在时间上的变化特征，结合不同时相的影像数据辅助判别，对II级粒度样本S _ijk 进一步划分粒度。例如同属于林地的落叶阔叶林和常绿阔叶林在夏季难以区分，但在冬季则很容易区分。根据判别结果附上III级标签，即S _ijkl = III(S _ijk ) = {S _ijk1, S _ijk2, …, S _ijkb } 1<=i<=n, 1<=j<=m, 1<=k<=a,1<=l<=b(无需此模态判别的样本该级粒度标签值为0，标记为S _ijk0) ,其中n, m,a,b均为大于1的自然数；该步骤与步骤3.2类似，区别在于此处的辅助数据需要不同时相的多个数据，先计算其时间变化特征属性，如季节性变化特征等，并进行属性赋值和统计，不需要聚类，可以直接分类。

本实施例的IV级粒度划分(模态：Scale)：设定类间分离度阈值t ₄，根据样本的尺寸大小差异进行尺度聚类，即获取每个样本长宽，即(x,y)，利用聚类算法对样本尺寸点集进行聚类，1）若某一聚类集合的分离度达到阈值，则获取该聚类集合的尺寸上限和下限值，作为其尺度划分区间，获取区间中值作为后续处理的重采样标准；2）若未达到阈值t，则继续对不合格的聚类集合统一进行新一轮的聚类，重复1）2），直至所有聚类样本集的类间分离度均满足阈值。根据最终聚类结果，对所有样本进行尺度模态的粒度划分，并附上IV级标签，即S _ijklw = IV(S _ijkl ) = {S _ijkl1, S _ijkl2, …, S _ijklc } 1<=i<=n, 1<=j<=m, 1<=k<=a, 1<=l<=b, 1<=w<=c,其中n, m,a,b,c均为大于1的自然数。

步骤4：经过步骤3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据适当比例（例如总体样本的70%、15%和15%）分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；此处的训练、验证和测试样本集的抽样比例一般分别设置为70%、15%和15%。

步骤5：分别对步骤4划分的训练样本集、验证样本集和测试样本集进行样本扩充，包括给样本添加各种辐射噪声、对样本进行旋转扭曲等数据增强(data augmentation)方式生成新的样本，另外本系统可以通过合成或者利用生成对抗网络(GenerativeAdversarial Network, GAN)自动生成叠加各类形态的薄云、云影等噪声的新样本，从而进行数据扩充。合成样本的生产需要先对实际影像重可能存在的各类形态的薄云、云影等可视化对象噪声进行掩膜提取，然后叠加在样本上进行图像合成操作。

本实施例采用普通的数据增强等方法和云及云影噪声叠加合成或者生成对抗网络(Generative Adversarial Network, GAN)自动生成方法对各类样本进行扩充。

步骤6：根据步骤5扩充后的训练、验证样本集数量等特征差异，选择合适的机器学习分类模型，并对分类模型进行训练和超参数调优；

其中，对于尺度大于阈值、数量少于阈值且特征差异明显（即类间分离度大于阈值）的样本集，如大型道路、河流等，使用针对小样本集的集成学习分类模型；例如随机森林等，此处不赘述。对于其他样本集，使用深度神经网络分类模型；

步骤7：将步骤6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S ₁, S ₂, …, S _n },其中n为大于1的自然数。

步骤8：对步骤7的结果，通过混淆矩阵、计算总体精度(overall accuracy, OA)、kappa系数等等进行精度验证及评价。

鉴于本发明所提出系统和方法的原创性，本文本对当前已有的部分相关研究和和相似技术专利进行了分析与对比：

（1）已有一种基于多模态表征的细粒度图像分类技术，但该技术主要结合图像外（基于百度词库的文本信息）辅助视觉信息对于图像及其语义标签进行细粒度分类，且不是针对遥感影像的技术（文献1）。而本发明结合了遥感影像样本的内部信息与云控制外部辅助信息、视觉信息和属性信息，主要针对遥感影像分类领域的样本进行递进式的全自动化非监督聚类细化及标注编码，无需定义实际对象标签；

（2）已有一种基于多尺度和多时相的遥感影像分类方法是在人为给定的三个分割尺度下，根据影像光谱等特征、时相特征等，基于大量先验知识人为给出预分类标签并建立决策树分类系统，对影像预测分类，主观性强，且其样本选择、尺度划分以及矢量化等未体现自动化，其未使用大数据样本集，并采用浅层学习进行分类（文献2）。本发明中在多模态具体设计和实现上均与其存在差异，它是数据驱动型的，首先在多模态下利用聚类算法自动划分粒度，无需定义具体标签名称，然后进行多分类器集成，并且针对样本的特性，自动优选使用深度网络模型或其他简单机器学习模型，无人为干涉（具有客观性），自动化程度高；

（3）已有一种基于多粒度的遥感数据处理方法强调通过一次粒粗粒筛选，二次粒细粒筛选，不断迭代，获取归类信息，旨在提取剩余的有价值的特征信息（文献3），本质上是人工设计并提取特征，而当前深度学习可以自动学习更好更深层次的特征。本发明是对样本划分粒度等预处理，其目的是使样本更均衡，提升训练样本集的细化和质量，以更好地适应集成模型的训练和预测，本质上特征由深度神经网络等机器学习方法提取而来；

（4）已有一种基于多模态的深度学习遥感影像分类方法则重点在深度学习模型上的优化，通过提取多模态分级特征，构建这种特征关联共享（文献4），而本发明重点不侧重网络优化，重点在样本的优化上，利用的原理是特征之间的差异性区分而非特征关联性。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于，包括以下步骤：

步骤1：将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；

步骤2：将初始样本集S按初始标签依次分为n类样本组，即S={S ₁, S ₂, …, S _n }；

步骤3：对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱-纹理-形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；

步骤4：经过步骤3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；

步骤5：分别对步骤4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；

步骤6：根据步骤5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；

其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；

步骤7：将步骤6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S ₁, S ₂, …, S _n },其中n为大于1的自然数。

2.根据权利要求1所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：步骤3中，所述将每类样本组细化至I级粒度样本，采用光谱-纹理-形状特征，设定类内凝聚度阈值q ₁，类间分离度阈值t ₁，通过提取样本的光谱、纹理和结构特征，通过聚类算法，对各样本组的初始样本进行粒度划分，使所有聚类样本集的类内凝聚度和类间分离度达到阈值；然后根据聚类结果赋上I级标签，即S _ij = I(S _i ) = {S _i1, S _i2, …, S _im }, 1<=i<=n, 1<=j<=m,其中n, m均为大于1的自然数。

3.根据权利要求2所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：所述样本光谱特征，采用计算样本各波段像元灰度值的均值、标准差进行提取；样本纹理特征，通过统计灰度对出现频率构建经典的灰度共生矩阵，来提取并获取特征参；样本形状特征，通过计算像元形状指数、紧凑度来提取；将提取出的各种特征叠加为多维特征向量，依据初始样本的先验认知，分别赋予样本光谱、纹理和形状特征向量以不同的权重，再利用isodata算法对加权后的多维特征向量进行特征点聚类。

4.根据权利要求2所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：所述通过聚类算法对各样本组的初始样本进行粒度划分，若某一聚类集合的类内凝聚度和同其他聚类集合的类间分离度达到阈值，则保留该聚类集合；若未达到阈值，则继续对不合格的聚类集合统一进行新一轮的聚类，直至所有聚类样本集的类内凝聚度和类间分离度均满足阈值。

5.根据权利要求1所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：步骤3中，所述将每类样本组细化至II级粒度样本，采用云控制地理信息特征，根据部分样本的高度海拔、所处环境，结合云控制下的已有的地理信息产品，对I级粒度样本进一步叠加以辅助判别并划分粒度；然后根据判别结果附上II级标签，即S _ijk = II(S _ij ) ={S _ij1, S _ij2, …, S _ija }, 1<=i<=n, 1<=j<=m, 1<=k<=a,其中n, m, a均为大于1的自然数；无需此模态判别的样本该级粒度标签值为0，标记为S _ij0。

6.根据权利要求5所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：首先对用于辅助判别的云控制地理信息产品数据和待辅助样本数据进行配准和几何校正，获取样本的地理定位信息，来查询辅助数据对应定位范围内的属性信息，提取所有待辅助样本的对应辅助属性，并进行统计和k-means聚类；依据聚类结果，将I级粒度样本进行新一轮的划分组和类别，并按照每组样本数量由多至少依次附上II级标签。

7.根据权利要求1所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：步骤3中，所述将每类样本组细化至III级粒度样本，采用时间变化特征，根据部分样本在时间上的变化特征，结合不同时相的影像数据辅助判别，即通过计算样本时间变化特征属性并赋值后加入特征向量，对II级粒度样本进一步划分粒度；根据判别结果附上III级标签，即S _ijkl = III(S _ijk ) = {S _ijk1, S _ijk2, …, S _ijkb } 1<=i<=n, 1<=j<=m, 1<=k<=a,1<=l<=b,其中n,m,a,b均为大于1的自然数；无需此模态判别的样本该级粒度标签值为0，标记为S _ijk0。

8.根据权利要求1所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：步骤3中，所述将每类样本组细化至IV级粒度样本，采用尺度特征，设定类内凝聚度阈值q ₄和类间分离度阈值t ₄，根据样本的尺寸大小差异进行尺度聚类，即获取每个样本长宽(x，y)；利用聚类算法，对样本尺寸点集进行聚类，当所有聚类样本集的类内凝聚度和类间分离度达到阈值，获取尺寸上限和下限值，作为其尺度划分区间，获取区间中值作为后续处理的重采样标准，对样本进行尺度模态的粒度划分，并附上IV级标签，即S _ijklw = IV(S _ijkl )= {S _ijkl1, S _ijkl2, …, S _ijklc } 1<=i<=n, 1<=j<=m, 1<=k<=a, 1<=l<=b, 1<=w<=c,其中n,m,a,b,c均为大于1的自然数。

9.根据权利要求1-8任意一项所述的多模态多粒度遥感影像面向对象全自动机器学习方法，其特征在于：对步骤7的结果，通过混淆矩阵、总体精度、kappa系数进行精度验证及评价。

10.一种多模态多粒度遥感影像面向对象全自动机器学习系统，其特征在于，包括以下模块：

模块1，用于将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；

模块2，用于将初始样本集S按初始标签依次分为n类样本组，即S={S ₁, S ₂, …, S _n },其中n为大于1的自然数；

模块3，用于对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱-纹理-形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；

模块4，用于经过模块3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；

模块5，用于分别对模块4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；

模块6，用于根据模块5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；

其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；

模块7，用于将模块6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S ₁, S ₂, …, S _n },其中n为大于1的自然数。

Images