CN110647932A - 一种种植作物结构遥感影像分类方法及装置 - Google Patents

Abstract

本发明涉及一种种植作物结构遥感影像分类方法及装置，该方法及装置在采用初级深度学习模型进行预测后，根据预测结果分别将边界像元和内部像元提取出来，再分别针对边界像元和内部像元进行训练，以对应得到各个边界像元和各个内部像元的光谱特征在各个分类下的预测权重，将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，将预测权重和最高的类别作为该光谱特征的预测结果，根据该预测结果再次构建深度学习预测分类模型对待分类的种植作物结构遥感影像进行预测分类。该方法及装置倾斜权重分配，牺牲部分内部像元权重，减少了边界像元误差，提高了总体种植作物结构分类精度。

Description

一种种植作物结构遥感影像分类方法及装置

技术领域

本发明属于种植作物结构分类技术领域，具体涉及一种种植作物结构遥感影像分类方法及装置。

背景技术

种植作物结构是作物长势监测和估产分析、种植结构调整及优化、作物灌溉管理的主要依据，及时了解、掌握主要种植作物的种植面积、长势信息，对于准确预估种植作物产量，加强种植作物生产管理具有重要意义。

传统的作物长势与种植面积等相关信息的获取主要依赖政府部门向上级报告或者是对农民进行走访问卷调查，该种方式会消耗大量人力财力且浪费时间，也容易出现漏报、错报等问题。随着技术的发展，“3S”技术(RS、GIS、GPS)在农田作物的分类、区域面积计算、长势与产量预估、灾害统计等方面发挥着举足轻重的作用。

光学遥感可以根据地表不同物体反射率的差异，利用地表对太阳照射的反射波来获取地物目标信息，在利用光学遥感影像进行用分类的方法中常用的算法为传统机器学习算法，例如，作者为常升龙的《基于机器学习的农作物种植结构遥感提取研究》中便介绍了将传统机器学习算法应用于种植作物结构分类上来，包括BP神经网络、SVM分类器等，但这类算法在使用时，算法本身不具备特征提取功能，需要先进行特征提取，并将提取后的特征输入给算法供算法处理。

由于深度学习具有从大样本数据集中自动学习的特征，具有极强的学习和表达能力，故大量学者开始将深度学习应用于农作物种植结构遥感提取中来。但是，目前大多依旧采用单极深度学习模型来进行预测，研究发现，使用单极深度学习模型进行分类仍旧会出现分类错误的地方，且这些分类错误的地方主要出现在作物混合区域，导致分类精度不高。

发明内容

本发明提供了一种种植作物结构遥感影像分类方法及装置，用以解决现有技术的使用单极深度学习模型进行分类造成分类精度不高的问题。

为解决上述技术问题，本发明的技术方案和有益效果为：

本发明的一种种植作物结构遥感影像分类方法，包括如下步骤：

获取种植作物结构遥感影像，将种植作物结构遥感影像分割成各个像元，并制作种植作物结构遥感影像中各个像元的种植种类分类标签；构造初级深度学习模型，将种植作物结构遥感影像的各个像元和各个像元对应的种植种类分类标签作为第一样本输入至初级深度学习模型进行训练，提取边界像元和内部像元；其中，边界像元为初级深度学习模型输出结果与对应的种植种类分类标签不一致的像元，内部像元为初级深度学习模型输出结果与种植种类分类标签一致的像元；构造第一次级深度学习模型，将边界像元及其对应的种植种类分类标签作为第二样本输入至第一次级深度学习模型中进行训练，获取各个边界像元的光谱特征在各个分类下的预测权重；构造第二次级深度学习模型，将内部像元及其对应的种植种类分类标签作为第三样本输入至第二次级深度学习模型中进行训练，获取各个内部像元的光谱特征在各个分类下的预测权重；将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，得到各个光谱特征在任一分类下的预测权重和，进而得到各个光谱特征在各个分类下的预测权重和，将预测权重和最高的类别作为该光谱特征的预测结果；构造深度学习预测分类模型，将各个光谱特征的预测结果作为各个光谱特征的分类标签，将各个光谱特征及其分类标签作为第四样本输入至深度学习预测分类模型进行训练，得到种植作物结构分类模型；将待分类的种植作物结构遥感影像输入至种植作物结构分类模型中，得到待分类的种植作物结构遥感影像的分类结果。

本发明的一种种植作物结构遥感影像分类装置，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现方法：

获取种植作物结构遥感影像，将种植作物结构遥感影像分割成各个像元，并制作种植作物结构遥感影像中各个像元的种植种类分类标签；构造初级深度学习模型，将种植作物结构遥感影像的各个像元和各个像元对应的种植种类分类标签作为第一样本输入至初级深度学习模型进行训练，提取边界像元和内部像元；其中，边界像元为初级深度学习模型输出结果与对应的种植种类分类标签不一致的像元，内部像元为初级深度学习模型输出结果与种植种类分类标签一致的像元；构造第一次级深度学习模型，将边界像元及其对应的种植种类分类标签作为第二样本输入至第一次级深度学习模型中进行训练，获取各个边界像元的光谱特征在各个分类下的预测权重；构造第二次级深度学习模型，将内部像元及其对应的种植种类分类标签作为第三样本输入至第二次级深度学习模型中进行训练，获取各个内部像元的光谱特征在各个分类下的预测权重；将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，得到各个光谱特征在任一分类下的预测权重和，进而得到各个光谱特征在各个分类下的预测权重和，将预测权重和最高的类别作为该光谱特征的预测结果；构造深度学习预测分类模型，将各个光谱特征的预测结果作为各个光谱特征的分类标签，将各个光谱特征及其分类标签作为第四样本输入至深度学习预测分类模型进行训练，得到种植作物结构分类模型；将待分类的种植作物结构遥感影像输入至种植作物结构分类模型中，得到待分类的种植作物结构遥感影像的分类结果。

其有益效果：该方法及装置在采用初级深度学习模型进行预测后，根据预测结果分别将边界像元和内部像元提取出来，再分别针对边界像元和内部像元进行训练，以对应得到各个边界像元和各个内部像元的光谱特征在各个分类下的预测权重，将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，将预测权重和最高的类别作为该光谱特征的预测结果，根据该预测结果再次构建深度学习预测分类模型对待分类的种植作物结构遥感影像进行预测分类。该方法及装置倾斜权重分配，牺牲部分内部像元权重，减少了边界像元误差，提高了总体种植作物结构分类精度。

作为方法及装置的进一步改进，所述种植作物结构遥感影像包括低分辨率多光谱影像和高分辨率全色波段影像，还包括对获取的低分辨率多光谱影像和高分辨率全色波段影像进行图像融合的步骤。获取低分辨率多光谱影像和高分辨率全色波段影像等多源遥感影像，相比于使用单源遥感影像获得的信息更多。

作为方法及装置的进一步改进，所述图像融合方法为NND融合方法。

作为方法及装置的进一步改进，为了对应得到准确的边界/内部像元、各个边界像元的光谱特征在各个分类下的预测权重、以及各个内部像元的光谱特征在各个分类下的预测权重，以提高总体种植结构分类精度，所述初级深度学习模型、第一次级深度学习模型和第二次级深度学习模型均为U-net模型。

附图说明

图1是本发明的方法实施例中的种植作物结构遥感影像分类方法的总体流程图；

图2是本发明的方法实施例中的NND图像融合流程图；

图3是本发明的方法实施例中的计算差异系统的示意图；

图4是本发明的方法实施例中的第一次级U-net模型和第二次级U-net模型的对应的权重相加流程图。

具体实施方式

方法实施例：

该实施例提供了一种种植作物结构遥感影像分类方法，该方法适用于高分辨率多光谱遥感影像(如Landsat8、高分二号、sentinel-2等)。下面结合图1对该方法进行详细说明。

步骤一，获取种植作物结构遥感影像，包括低分辨率多光谱影像和高分辨率全色波段影像，采用NND图像融合算法将两种影像进行融合，以得到融合影像，图像融合的流程图如图2所示。具体的：

平移锐化算法遵循如图2所示的流程图，该算法分为两个分支。图2的左分支通过线性回归得到光谱带光度贡献向量T。矢量大小为b×1，其中b是MSI(多光谱影像)波段的数量。它将每个多光谱波段的数字计数对全色图像的贡献联系起来。假设：

式中，

是下采样PAN(高分辨率全色波段影像)中像素(u,v)的数字计数，T(i)是向量T中的第i个值，M_i(u,v)是MSI第i个波段中相应像素的数字计数，并说明回归误差。这个假设是有效的，因为MSI中每个单波段的光谱响应函数彼此之间没有太多重叠，并且所有MSI波段的光谱综合起来一般可以覆盖PAN的光谱范围。实际上，如果某些MSI波段不与泛光谱带宽重叠，这些波段的T(i)应为零或非常接近零。由于PAN和MSI的空间大小不同，为了得到T，需要对PAN进行缩小采样，以适应MSI的大小，然后执行线性回归。在以下步骤中，向量T可用于规范化光谱值，T也可以从传感器光谱辐射响应中获得。

在图2的另一个分支中，以原始分辨率从PAN获取每个像素的相邻超级像素的差异因子N[9]。这些因素是计算自：

式中，Ω_j(x,y)定义了图3所示九个相邻超级像素中每个像素的扩散区域，图3中感兴趣像素(蓝色)的积分区域Ω_j(阴影像素)显示为最近的九个相邻超级像素(由附在厚边框中的4×4网格表示)，且(x,y)表示像素在高分辨率坐标中的位置。差分因子的基本思想是反映感兴趣的像素在平移中与其相邻的每个超级像素之间的差异。差异因子通过比较差异的总和来估计感兴趣的像素与其九个超级像素的相似性。N_j(x,y)表示第j个超级像素(以行主要方式计数)与像素(x,y)相同发生强扩散；另一方面，高N_j(x,y)值表明_x；y_与第j个超级像素非常不同，因此应该存在非常有限的扩散。

图3中的集成区域不仅包括超级像素本身，还包括从感兴趣的像素到超级像素的一些连接像素。引入这些像素是为了解释当强边位于连接像素上而不是位于超像素内部时的情况，这应该表示弱扩散信号。对连接像素的求和将避免这种无根据的扩散。在理想情况下，差分因子应计算为从兴趣点到超级像素中每个像素的最短测地线距离的总和，但这将需要复杂的优化技术，如蚁群优化；等式(2)作为该理想情况的有效近似值，因为扩散面积相当小。此外，该估计可以显著缩短计算时间。

N_j(x,y)提供像素(x,y)与其相邻超级像素之间的相似性度量。然后可以生成新的光谱来模拟各向异性扩散问题如下：

其中，ΗΜ(x,y)×T＝P(x,y)-ε (4)

式中，T由等式(1)的线性回归得出。锐化图像HM将类似于PAN，保留来自PAN的梯度信息。该算法还使用如等式(3)所示的线性混合模型，使得MSI中的光谱是最小的，其中M(u,v；x,y,j)是相邻超像素(u,v)对应于像素(x,y)的光谱矢量，j符合图3所示的扩散区域。x_u,v和y_u,v是九个相邻超级像素(u,v)的中心像素位置。σ和σ_s分别是控制扩散灵敏度的强度(范围)和空间平滑因子。方程(3)将扩散因子与像素值相似度和空间接近度的乘积联系起来。在求和中，exp[-N_j(x,y)/σ²]给出了像素(x,y)与其相邻超级像素之间的相似性度量，而

提供了像素(x,y)到相邻超级像素中心的空间接近性度量。k(x,y)是作为操作元素计算的归一化因子。线性混合模型减少了颜色失真，保持了光谱完整性。

步骤二，通过人工的方式制作融合影像中各个像元的种植种类分类标签，也即将融合影像中各个区域的种植种类进行标注，标注每个像元是小麦、棉花还是其他；将融合影像和对应的各个像元的种植种类分类标签作为下个步骤模型训练所需的第一样本。

步骤三，构造初级U-net模型，利用第一样本(可部分作为训练样本，部分作为测试样本)对初级U-net模型进行训练，得到初级分类模型。该初级U-net模型能够对种植作物结构遥感影像中各个像元的光谱特征进行提取，根据光谱特征确定该像元是属于哪种类型作物的权重(表现为概率)，将权重最大对应的作物种类作为该像元的光谱特征的初级分类结果。例如，初级U-net模型内部设置的种类类别数量为3，标记为label₁，label₂，label₃，分别对应小麦、棉花、其他，最终模型会生成该像元属于label_i(1≤i≤3)的权重，比如label₁＝0.1，label₂＝0.7，label₃＝0.2，那么label_i的最大值为0.7，属于label₂，则该像元便归为“棉花”类。

步骤四，重新将获取的种植作物结构遥感影像输入至初级分类模型中，得到种植作物结构遥感影像中各个像元的光谱特征的初级分类结果。

步骤五，将各个像元的光谱特征的初级分类结果与对应的种植种类分类标签进行比对，确定是预测结果正确的内部像元还是预测结果错误的边界像元。具体的分类方法可采用Applied Science期刊2018年08月刊载的《Convolutional Neural Network-BasedRemote Sensing Images Segmentation Method for Extracting Winter Wheat SpatialDistribution》。该方法对比初级分类结果及标签影像，参考经典softmax分类器，制作由边界、内部像元构成的标签影像，作为下一次级模型中边界及内部两个输入的标签数据。

步骤六，构造第一次级U-net模型，以对各个边界像元的光谱特征进行提取从而得到各个边界像元的光谱特征在各个分类下的预测权重。具体的，将边界像元和其对应的种植种类分类标签作为第二样本(可部分作为训练样本，部分作为测试样本)对第一次级U-net模型进行训练，得到边界像元分类模型。重新将各个边界像元输入至边界像元分类模型，得到各个边界像元的光谱特征在各个分类下的预测权重。例如，边界像元1的光谱特征表征为光谱特征1，其在小麦、棉花、其他下的预测权重分别为label₁＝0.1，label₂＝0.8，label₃＝0.1，边界像元2的光谱特征表征为光谱特征2，其在小麦、棉花、其他下的预测权重分别为label₁＝0.5，label₂＝0.2，label₃＝0.3，边界像元3的光谱特征表征为光谱特征3，其在小麦、棉花、其他下的预测权重分别为label₁＝0.2，label₂＝0.2，label₃＝0.6。

步骤七，构造第二次级U-net模型，以对各个内部像元的光谱特征进行提取从而得到各个内部像元的光谱特征在各个分类下的预测权重。具体的，将内部像元和其对应的种植种类分类标签作为第三样本(可部分作为训练样本，部分作为测试样本)对第二次级U-net模型进行训练，得到内部像元分类模型。重新将各个内部像元输入至内部像元分类模型，得到各个内部像元的光谱特征在各个分类下的预测权重。例如，内部像元1的光谱特征表征为光谱特征3，其在小麦、棉花、其他下的预测权重分别为label₁＝0.3，label₂＝0.1，label₃＝0.6，边界像元2的光谱特征表征为光谱特征1，其在小麦、棉花、其他下的预测权重分别为label₁＝0.2，label₂＝0.1，label₃＝0.7，边界像元3的光谱特征表征为光谱特征2，其在小麦、棉花、其他下的预测权重分别为label₁＝0.3，label₂＝0.4，label₃＝0.3。

步骤八，如图4所示，将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，得到各个光谱特征在任一分类下的预测权重和，进而得到各个光谱特征在各个分类下的预测权重和，将预测权重和最高的类别作为该光谱特征的预测结果。例如，结合步骤七和步骤六，光谱特征1在小麦、棉花、其他下的预测权重和分别为(0.1+0.2＝0.3)、(0.8+0.1＝0.9)、(0.1+0.7＝0.8)，则最终光谱特征1的预测结果为棉花；光谱特征2在小麦、棉花、其他下的预测权重和分别为(0.5+0.3＝0.8)、(0.2+0.4＝0.6)、(0.3+0.3＝0.6)，则最终光谱特征2的预测结果为小麦；光谱特征3在小麦、棉花、其他下的预测权重和分别为(0.2+0.3＝0.5)、(0.2+0.1＝0.3)、(0.6+0.6＝1.2)，则最终光谱特征3的预测结果为其他。

步骤九，构造深度学习预测分类模型，该深度学习预测分类模型也可为U-net模型，将步骤八得到的各个光谱的预测结果作为各个光谱特征的分类标签，将各个光谱特征及其分类标签作为第四样本(部分作为训练样本，部分作为测试样本)输入至深度学习预测分类模型进行训练，得到种植作物结构分类模型。针对该模型，可计算相关参数例如精密度(Precision)、召回率(Recall)和Kappa系数等进行精度评价。

步骤十，将待分类的种植作物结构遥感影像输入至步骤九得到的种植作物结构分类模型中，得到待分类的种植作物结构遥感影像的分类结果。

在该实施例的步骤一中，采用NND图像融合方法将低分辨率多光谱影像和高分辨率全色波段影像进行融合处理，作为其他实施方式，可采用现有技术中的其他图像融合算法，例如PCA融合算法。

在该实施例中，步骤三中采用初级U-net模型作为初级深度学习模型，步骤六中采用第一次级U-net模型作为第一次级深度学习模型，步骤七中采用第二次级U-net模型作为第二次级深度学习模型，步骤九中采用U-net模型作为深度学习预测分类模型。作为其实施方式，可采用现有技术中的其他深度学习模型作为初级深度学习模型、第一次级深度学习模型、第二次级深度学习模型和深度学习预测分类模型，例如FCN模型，这四种模型可使用相同的深度学习模型，也可采用不同的深度学习模型。

装置实施例：

该实施例提供了一种种植作物结构遥感影像分类装置，该装置包括存储器和处理器，存储器和处理器之间直接或间接地电性连接以实现数据的传输或交互。这里的处理器可以是通用处理器，例如中央处理器CPU，也可以是其他可编程逻辑器件，例如数字信号处理器DSP，处理器用于执行存储在存储器中的指令以实现方法实施例中介绍的一种种植作物结构遥感影像分类方法，由于方法实施例已对该方法做了详细说明，这里不再赘述。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种种植作物结构遥感影像分类方法，其特征在于，包括如下步骤：

获取种植作物结构遥感影像，将种植作物结构遥感影像分割成各个像元，并制作种植作物结构遥感影像中各个像元的种植种类分类标签；

构造初级深度学习模型，将种植作物结构遥感影像的各个像元和各个像元对应的种植种类分类标签作为第一样本输入至初级深度学习模型进行训练，提取边界像元和内部像元；其中，边界像元为初级深度学习模型输出结果与对应的种植种类分类标签不一致的像元，内部像元为初级深度学习模型输出结果与种植种类分类标签一致的像元；

构造第一次级深度学习模型，将边界像元及其对应的种植种类分类标签作为第二样本输入至第一次级深度学习模型中进行训练，获取各个边界像元的光谱特征在各个分类下的预测权重；

构造第二次级深度学习模型，将内部像元及其对应的种植种类分类标签作为第三样本输入至第二次级深度学习模型中进行训练，获取各个内部像元的光谱特征在各个分类下的预测权重；

将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，得到各个光谱特征在任一分类下的预测权重和，进而得到各个光谱特征在各个分类下的预测权重和，将预测权重和最高的类别作为该光谱特征的预测结果；

构造深度学习预测分类模型，将各个光谱特征的预测结果作为各个光谱特征的分类标签，将各个光谱特征及其分类标签作为第四样本输入至深度学习预测分类模型进行训练，得到种植作物结构分类模型；将待分类的种植作物结构遥感影像输入至种植作物结构分类模型中，得到待分类的种植作物结构遥感影像的分类结果。

2.根据权利要求1所述的种植作物结构遥感影像分类方法，其特征在于，所述种植作物结构遥感影像包括低分辨率多光谱影像和高分辨率全色波段影像，还包括对获取的低分辨率多光谱影像和高分辨率全色波段影像进行图像融合的步骤。

3.根据权利要求2所述的种植作物结构遥感影像分类方法，其特征在于，所述图像融合方法为NND融合方法。

4.根据权利要求1～3任一项所述的种植作物结构遥感影像分类方法，其特征在于，所述初级深度学习模型、第一次级深度学习模型和第二次级深度学习模型均为U-net模型。

5.一种种植作物结构遥感影像分类装置，其特征在于，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现方法：

获取种植作物结构遥感影像，将种植作物结构遥感影像分割成各个像元，并制作种植作物结构遥感影像中各个像元的种植种类分类标签；

构造初级深度学习模型，将种植作物结构遥感影像的各个像元和各个像元对应的种植种类分类标签作为第一样本输入至初级深度学习模型进行训练，提取边界像元和内部像元；其中，边界像元为初级深度学习模型输出结果与对应的种植种类分类标签不一致的像元，内部像元为初级深度学习模型输出结果与种植种类分类标签一致的像元；

构造第一次级深度学习模型，将边界像元及其对应的种植种类分类标签作为第二样本输入至第一次级深度学习模型中进行训练，获取各个边界像元的光谱特征在各个分类下的预测权重；

构造第二次级深度学习模型，将内部像元及其对应的种植种类分类标签作为第三样本输入至第二次级深度学习模型中进行训练，获取各个内部像元的光谱特征在各个分类下的预测权重；

将光谱特征相同的边界像元在任一分类下的预测权重与内部像元在相同分类下的预测权重相加，得到各个光谱特征在任一分类下的预测权重和，进而得到各个光谱特征在各个分类下的预测权重和，将预测权重和最高的类别作为该光谱特征的预测结果；

构造深度学习预测分类模型，将各个光谱特征的预测结果作为各个光谱特征的分类标签，将各个光谱特征及其分类标签作为第四样本输入至深度学习预测分类模型进行训练，得到种植作物结构分类模型；将待分类的种植作物结构遥感影像输入至种植作物结构分类模型中，得到待分类的种植作物结构遥感影像的分类结果。

6.根据权利要求5所述的种植作物结构遥感影像分类装置，其特征在于，所述种植作物结构遥感影像包括低分辨率多光谱影像和高分辨率全色波段影像，还包括对获取的低分辨率多光谱影像和高分辨率全色波段影像进行图像融合的步骤。

7.根据权利要求6所述的种植作物结构遥感影像分类装置，其特征在于，所述图像融合方法为NND融合方法。

8.根据权利要求5～7任一项所述的种植作物结构遥感影像分类装置，其特征在于，所述初级深度学习模型、第一次级深度学习模型和第二次级深度学习模型均为U-net模型。

Images