CN112861807B - 一种基于改进gli指数和深度学习的极地植被提取方法 - Google Patents

Abstract

本发明提供了一种基于改进GLI指数和深度学习的极地植被提取方法，包括以下步骤：S1、获取遥感影像，进行预处理，并生成暗通道影像；S2、改进并计算GLI指数；S3、合成假色彩影像，用以突出植被特征；S4、对假色彩影像进行切片制作数据集，并对数据集进行处理；S5、对数据集中的极地植被区域进行标记；S6、将切分和标记后的数据集导入到Mask RCNN模型进行训练，使用Mask RCNN模型提取植被区域。对比传统的计算机视觉方法，本发明仅需配合人工经验进行少量的标注，可以有效地提高无人机影像植被检测精度和效率。

Description

一种基于改进GLI指数和深度学习的极地植被提取方法

技术领域

本发明属于遥感影像检测提取技术领域，尤其是涉及一种基于改进GLI指数和深度学习的极地植被提取方法。

背景技术

极地气候严寒，干燥风大。极地植物稀少，多数为苔藓、藻类植物。提取极地影像上的植被对研究植被生长和植被演替，评价极地生态环境，预测全球气候变化趋势具有重要意义。无人机遥感影像具有低成本、高时效、高分辨率等优点。利用无人机遥感技术获取的可见光影单幅数据量大，光谱信息少，仅有红、绿、蓝三个波段难以采用常用的NDVI(归一化植被指数)等方法提取植被。采用阈值法和监督、非监督分类方法往往精度不高，缺乏自动化和自适应能力。面向对象的提取分割尺度的确定、特征空间的构建需要人工参与，分类结果受主观因素影响。人工目视解译周期长，费事费力，且依赖解译者经验。因此，一种植被与其它地物区分度高、人工标记量少、识别精度和自动化程度高的极地植被识别方法对该领域的研究和发展具有重要意义。

发明内容

有鉴于此，为克服现有技术的缺陷，本发明旨在提出一种基于改进GLI指数和深度学习的极地植被提取方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于改进GLI指数和深度学习的极地植被提取方法，包括以下步骤：

S1、获取遥感影像，进行预处理，并生成暗通道影像；

S2、改进并计算GLI指数；

S3、合成假色彩影像，用以突出植被特征；

S4、对假色彩影像进行切片制作数据集，并对数据集进行处理；

S5、对数据集中的极地植被区域进行标记；

S6、将切分和标记后的数据集导入到Mask RCNN模型进行训练，使用Mask RCNN模型提取植被区域。

进一步的，所述步骤S1中对遥感影像预处理的方法如下：

辐射校正，用以减少传感器、太阳高度角、地形造成的辐射误差；

大气校正，用以消除大气散射、吸收、反射造成的误差；

正射校正，用以消除影像几何变形。

进一步的，所述步骤S1中，生成暗通道影像时，暗通道计算公式如下：

其中，I^c代表原始影像上的RGB三个通道，Ω(x)代表以像素x为中心的一个窗口，I^dark代表生成的暗通道。

进一步的，所述步骤S2中改进并计算GLI指数的方法如下：

将GLI中的红波段用暗通道I^dark替换，用以进一步扩大植被与其他地物的区分度，利用遥感软件波段计算工具，按照以下公式进行波段运算，DN值为负代表其它区域，DN值为正代表植被。

MGLI＝(2G-I^dark-B)/(2G+I^dark+B)

其中，MGLI为改进的GLI，G为原始影像绿波段DN值，B为原始影像蓝波段DN值。

进一步的，所述步骤S3中，合成假色彩影像的方法如下：

经反差增强和波段运算，将暗通道、改进的GLI、蓝波段、分别赋予红色、绿色、蓝色，合成假彩色影像。

进一步的，所述步骤S4中，对假色彩影像进行切片制作数据集的方法如下：

根据假彩色影像的分辨率，选择合适的尺度进行降采样，对采样之后的影像进行批量切片，切片后每块影像尺寸为224×224，并剔除灰度值单一的背景数据，得到数据集。

进一步的，所述步骤S4中对数据集进行处理的方式包括去噪处理，具体方法如下：

对重采样导致的椒盐噪声以及影像上零星分布的碎石块，采用3×3的小卷积核对影像进行双边滤波，保留地物边缘，用以减少噪声，平滑影像，其中，双边滤波公式为：

其中，

为输出影像，I_q为输入影像，

为归一化权重，σ_s为核尺寸，G_σs(|I_p-I_q)为相似权重，G_σs(||p-q||)为空间权重。

进一步的，所述步骤S5中对数据集进行标记的方法如下：采用Labelme进行数据集标记，确定植被类别，勾绘植被区域，输入对应的标签。

进一步的，所述步骤S6中，Mask RCNN模型的创建方法如下：

模型由ResNet和RPN构成，ResNet利用多层卷积结构提取特征图，RPN则用于生成多个ROI；Mask RCNN模型改进了RoI Pooling采用RoI Align，并采用双线性插值将RPN生成的多个ROI特征区域映射到统一的尺寸，最后对多个ROI进行分类和定位框的回归操作，引入FCN生成植被对应的Mask，Mask RCNN的损失函数Loss定义为：

Loss＝L_cls+L_box+L_mask

其中L_cls为分类误差，L_box为定位框产生的误差，L_mask为掩膜Mask造成的误差，L_cls采用的是对数似然损失，其计算公式如下:

其中，X、Y为分别为输入输出变量，N为输入样本量，M为可能的类别数，y_ij是一个二值指标，表示类别j是否是输入实例x_i的真实类别，p_ij为模型预测输入实例x_i属于类别j的概率；

L_box使用的损失函数为鲁棒性更佳的L1损失函数，用于候选框的回归分析，对每个ROI里任意像素，均采用sigmod函数求相对熵，得到平均相对熵误差L_mask；

为了使少量标记的极地植被数据集在MaskRCNN获得更好的泛化性能，引入了COCO数据集上预训练的权重进行fine tuning。

相对于现有技术，本发明所述的基于改进GLI指数和深度学习的极地植被提取方法具有以下优势：

本发明提供的基于改进GLI指数和深度学习的极地植被提取方法对比传统的计算机视觉方法，本发明仅需配合人工经验进行少量的标注，可以有效地提高无人机影像植被检测精度和效率；本发明对研究植被生长和植被演替、评价极地生态环境、预测全球气候变化趋势等具有重要意义。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的基于改进GLI指数和深度学习的极地植被提取方法流程图；

图2为本发明创造实施例所述的数据集制作流程图；

图3为本发明创造实施例所述的植被区域标注示意图；

图4为本发明创造实施例所述的标注文件格式转换示意图；

图5为本发明创造实施例所述的Mask RCNN网络结构示意图；

图6为本发明创造实施例所述的实验结果对照图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

本发明基于深度学习的无人机影像的极地植被提取方法的实施流程如图1所示。技术步骤包括无人机影像预处理、生成暗通道影像、改进GLI指数计算、假彩色影像合成、数据集制作、对数据集中的极地植被区域进行标记、标记后的数据集引入Mask RCNN模型进行训练、待检测的图片输入训练好的Mask RCNN模型中获取检测后的结果共八部分。

1)无人机影像预处理。利用遥感软件首先辐射校正，减少传感器、太阳高度角、地形等造成的辐射误差；然后大气校正，消除大气散射、吸收、反射等造成的误差；最后正射校正，消除影像几何变形，校正流程如图2所示。

2)生成暗通道影像。极地影像上地物大多为冰雪、岩石、植被等，植被色彩丰富，根据何凯明的暗通道先验理论(dark channel prior)，植被在RGB颜色通道中至少存在一个颜色通道灰度值很低，光强度最小值很小，即暗通道上植被的DN值很小。暗通道计算公式如下：

其中，I^c代表原始影像上的RGB三个通道，Ω(x)代表以像素x为中心的一个窗口，I^dark代表生成的暗通道。

3)改进的GLI指数计算。GLI指数通过比较红波段与蓝波段DN值的平均值和绿波段的DN值，将无人机彩色影像灰度化和归一化，在暗通道中，植被的DN值很小，和其他地物区分度明显，本发明将GLI中的红波段用暗通道I^dark替换，用以进一步扩大植被与其他地物的区分度，利用遥感软件波段计算工具，按照以下公式进行波段运算，一般DN值为负代表其它区域，DN值为正代表植被。

MGLI＝(2G-I^dark-B)/(2G+I^dark+B)

其中，MGLI为改进的GLI，G为原始影像绿波段DN值，B为原始影像蓝波段DN值。

4)假彩色影像合成。经反差增强和波段运算，将暗通道、MGLI、蓝波段、分别赋予红色、绿色、蓝色，合成假彩色影像，突出植被特征、形状，使得各地物色调区分明显，在假彩色影像上，植被呈现亮绿色、岩石冰雪等呈现暗灰色、水域呈现蓝色。

5)数据集制作。制作数据集分两个步骤进行，首先对影像进行切分，然后对切分之后的数据集进行预处理，具体方法为：

5-1：影像切片。原始无人机影像分辨率高，细节丰富。由于极地植被大多成片分布，经过增强处理之后的植被边缘清晰，为减少数据冗余，提高识别效率，同时保证识别精度，对影像进行降采样，采样方法选用三次卷积法(Cubic Convolution)，像元大小为原始影像的k倍，k根据原始图像空间分辨率确定，一般不超过5倍。利用ArcGIS的SIZE_OF_TILE方法，设置分割尺寸，将降采样之后的影像分割为尺寸为224×224的影像块，影像块之间共享源数据空间参考、像素类型、像素深度等属性；

5-2：数据集去噪。重采样导致图像噪声变大，椒盐噪声增多，为有效去除噪声的同时保持边缘清晰，采用双边滤波(bilateral Filter)对降采样之后的影像进行小卷积核滤波，双边滤波可以综合考虑像素间的欧式距离和辐射差异，能有效降噪保边，双边滤波过程如下公式所示。

其中，

为输出影像，I_q为输入影像，

为归一化权重，σ_s为核尺寸，

为相似权重，

为空间权重。

最后设置背景值，对去噪之后的影像S进行过滤，剔除全为背景的影像，得到最终的数据集，制作数据集流程如图2所示。

6)对数据集中的极地植被区域进行标记。在数据集制作完成后，由于前期的植被增强处理，植被边缘相对清晰，和周边地物有较大区别。标记采取多线段、多点的方式对极地植被进行分割。在标记数据集的过程中加入一些含有冰雪、岩石、水域等地物的负样本以及复杂场景的标记，使得训练的神经网络更具鲁棒性。如图3所示，采用labelme标记工具标注极地植被的多边形轮廓。如图4所示，设置轮廓的Group ID，设置极地植被轮廓的标签名称。标记的样本将生成与之对应的json文件。json格式的文件来存储样本中极地植被的轮廓和图像信息。最后，将json文件转化为深度学习读取的文件格式。

7)导入Mask RCNN数据集进行训练。输入Mask RCNN的训练样本的分辨率为224×224，Mask RCNN模型主要由ResNet和RPN构成，ResNet利用多层卷积结构提取特征图，RPN则用于生成多个ROI。Mask RCNN改进了RoI Pooling采用RoI Align，并采用双线性插值将RPN生成的多个ROI特征区域映射到统一的(7×7)尺寸。最后对多个RoI进行分类和定位框的回归操作，引入FCN生成植被对应的mask。Mask RCNN的损失函数定义为Loss＝L_cls+L_box+L_mask，其中L_cls为分类误差，L_box为定位框产生的误差，L_mask为掩膜mask造成的误差。为了使少量标记的极地植被数据集在MaskRCNN获得更好的泛化性能，本发明引入了COCO数据集上预训练的权重(mask_rcnn_coco.h5)进行fine tuning。为加速训练过程，本发明基于Ubuntu18.04操作系统，配置Nvidia drive410.104、cuda9、cudnn7等环境。调用如下第三方库：numpy、scipy、Pillow、cython、matplotlib、scikit-image、tensorflow>＝1.3.0、keras>＝2.0.8、opencv-python、h5py、imgaug、IPython[all]，Mask RCNN的网络结构如图5所示。

8)将待检测的图片输入训练好的Mask RCNN模型，输出标记好的极地影像上的植被区域，将输出的模型分类得到的部分结果或修改分类结果作为标记样本导入网络中，再次训练，改善模型，得到最终的分类模型，将待检测数据集导入最终Mask RCNN模型输出植被区域，最终结果如图6所示。

对比传统的计算机视觉方法，该发明仅需配合人工经验进行少量的标注，可以有效地提高无人机影像植被检测精度和效率。本发明对研究植被生长和植被演替、评价极地生态环境、预测全球气候变化趋势等具有重要意义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于改进GLI指数和深度学习的极地植被提取方法，其特征在于，包括以下步骤：

S1、获取遥感影像，进行预处理，并生成暗通道影像，

生成暗通道影像：极地影像上地物为冰雪、岩石、植被，由于植被色彩丰富，植被在RGB颜色通道中至少存在一个颜色通道灰度值低，光强度最小值小的情况，因此暗通道上植被的DN值小，暗通道计算公式如下：

其中，I^c代表原始影像上的RGB三个通道，Ω(x)代表以像素x为中心的一个窗口，I^dark代表生成的暗通道；

S2、改进并计算GLI指数；

S3、合成假色彩影像，用以突出植被特征；

S4、对假色彩影像进行切片制作数据集，并对数据集进行处理；

S5、对数据集中的极地植被区域进行标记；

S6、将切分和标记后的数据集导入到Mask RCNN模型进行训练，使用Mask RCNN模型提取植被区域；

所述步骤S2中改进并计算GLI指数的方法如下：

改进的GLI指数计算：GLI指数通过比较红波段与蓝波段DN值的平均值和绿波段的DN值，将无人机彩色影像灰度化和归一化，在暗通道中植被的DN值小，和其他地物区分度明显，将红波段用暗通道I^dark替换，用以进一步扩大植被与其他地物的区分度，利用遥感软件波段计算工具，按照以下公式进行波段运算，DN值为负代表其他地物区域，DN值为正代表植被：

MGLI＝(2G-I^dark-B)/(2G+I^dark+B)

其中，MGLI为改进的GLI，G为原始影像绿波段DN值，B为原始影像蓝波段DN值；

所述步骤S3中，合成假色彩影像的方法如下：

经反差增强和波段运算，将暗通道、改进的GLI、蓝波段、分别赋予红色、绿色、蓝色，合成假彩色影像；

所述步骤S6中，Mask RCNN模型的创建方法如下：

模型由ResNet和RPN构成，ResNet利用多层卷积结构提取特征图，RPN则用于生成多个ROI；Mask RCNN模型改进了RoI Pooling采用RoI Align，并采用双线性插值将RPN生成的多个ROI特征区域映射到统一的尺寸，最后对多个ROI进行分类和定位框的回归操作，引入FCN生成植被对应的Mask，Mask RCNN的损失函数Loss定义为：

Loss＝L_cls+L_box+L_mask

其中L_cls为分类误差，L_box为定位框产生的误差，L_mask为掩膜Mask造成的误差，L_cls采用的是对数似然损失，其计算公式如下:

其中，X、Y分别为输入输出变量，N为输入样本量，M为类别数，y_ij是一个二值指标，表示类别j是否是输入实例x_i的真实类别，p_ij为模型预测输入实例x_i属于类别j的概率；

L_box使用的损失函数为的L1损失函数，用于候选框的回归分析，对每个ROI里任意像素，均采用sigmod函数求相对熵，得到平均相对熵误差L_mask；

引入了COCO数据集上预训练的权重进行fine tuning。

2.根据权利要求1所述的基于改进GLI指数和深度学习的极地植被提取方法，其特征在于，所述步骤S1中对遥感影像预处理的方法如下：

辐射校正，用以减少传感器、太阳高度角、地形造成的辐射误差；

大气校正，用以消除大气散射、吸收、反射造成的误差；

正射校正，用以消除影像几何变形。

3.根据权利要求1所述的基于改进GLI指数和深度学习的极地植被提取方法，其特征在于，所述步骤S1中，生成暗通道影像时，暗通道计算公式如下：

其中，I^c代表原始影像上的RGB三个通道，Ω(x)代表以像素x为中心的一个窗口，I^dark代表生成的暗通道。

4.根据权利要求1所述的基于改进GLI指数和深度学习的极地植被提取方法，其特征在于，所述步骤S4中，对假色彩影像进行切片制作数据集的方法如下：

根据假彩色影像的分辨率，选择合适的尺度进行降采样，并对采样之后的影像进行批量切片，切片后每块影像尺寸为224×224，并剔除灰度值单一的背景数据，得到数据集。

5.根据权利要求1所述的基于改进GLI指数和深度学习的极地植被提取方法，其特征在于，所述步骤S4中对数据集进行处理的方式包括去噪处理，具体方法如下：

对重采样导致的椒盐噪声以及影像上零星分布的碎石块，采用3×3的小卷积核对影像进行双边滤波，保留地物边缘，用以减少噪声，平滑影像，其中，双边滤波公式为：

其中，

为输出影像，I_q为输入影像，

为归一化权重，σ_s为核尺寸，

为相似权重，

为空间权重。

6.根据权利要求1所述的基于改进GLI指数和深度学习的极地植被提取方法，其特征在于，所述步骤S5中对数据集进行标记的方法如下：采用Labelme进行数据集标记，确定植被类别，勾绘植被区域，输入对应的标签。

Images