CN111666849B - 多视角深度网络迭代进化的多源遥感影像水体检测方法 - Google Patents

Abstract

本发明公开了一种多视角深度网络迭代进化的多源遥感影像水体检测方法。本发明在训练阶段，将原始数据集划分为多个互不重叠的子数据集，利用不同子数据集来训练不同视角的深度语义分割网络，然后利用多视角深度语义分割网络协同更新标签，利用更新后的标签重新训练多视角深度语义分割网络，多次迭代后可以获得好的深度语义分割网络。在测试阶段，一幅多源遥感影像经多视角深度语义分割网络分别预测，然后进行投票产生最后的水体检测结果。这种多视角深度网络迭代进化的多源遥感影像水体检测方法可以有效解决训练数据水体标签分辨率低、噪声多导致基于深度学习的水体检测精度降低的问题，提高水体检测的精度。

Description

多视角深度网络迭代进化的多源遥感影像水体检测方法

技术领域

本发明属于遥感解译与人工智能的交叉领域，具体涉及一种多视角深度网络迭代进化的多源遥感影像水体检测方法。

背景技术

遥感影像的水体检测在洪涝灾害评估、水资源价值估算、生态环境保护等方面都具有重要意义。现代社会对环境日益重视，人们对水体信息提取的要求越来越严格。而遥感影像成像周期短，成像精度日益提高，高分辨率遥感影像的水体检测，成为科研工作者关注的重点。

遥感影像水体检测方法，主要分为基于影像光谱特征的水体方法、基于分类器的水体检测方法以及基于深度学习的水体检测方法。基于影像光谱特征的方法对多光谱的波段进行组合，是对单个像素的不同波段值进行组合计算，主要利用水体在近红外或中红外波段强烈吸收的原理来识别水体信息，或者综合遥感影像不同的波段利用水体波段间的关系特征来识别水体。但是基于影像光谱特征的提取方法仍集中在遥感影像各波段的波谱特征上，对影像纹理、空间等其他特征关注较少，严重制约了水体检测的精度。基于分类器的水体检测方法主要基于某种算法规则进行图像划分，包括支持向量机、决策树和面向对象等方法。基于分类器的水体检测方法，在不同的区域、不同的影像上泛用性较差。基于深度学习的水体检测方法可以获得更好的泛化能力和水体检测结果。但是取得理想效果的前提是具备高质量的水体检测数据集，即深度语义分割网络的训练数据需要有精确的像素级水体标签，人工标注高质量水体标签耗费大量人力物力，同时已有的全球公开水体覆盖产品的空间分辨率低并且存在一定错误，上述情况制约了深度学习在遥感影像水体检测领域的应用。

发明内容

本发明主要是解决训练数据水体标签分辨率低、噪声多导致基于深度学习的水体检测精度降低的问题，提供了一种多视角深度网络迭代进化的多源遥感影像水体检测方法，可以在训练数据水体标签分辨率低、噪声多的前提下，多视角迭代地训练深度语义分割网络，有效地提高水体检测的精度。

本发明所采用的技术方案是：多视角深度网络迭代进化的多源遥感影像水体检测方法，包括以下步骤：

步骤1，原数据集S＝{(I^k,L^k)|k＝1,2,…,K}，其中，K表示样本总个数，k表示样本的序号，I^k为多源遥感影像，L^k为多源影像的标签。在训练阶段，随机地将原数据集S划分为N个互不重叠的子数据集S_n(t)，其中，n表示在同一次迭代中子数据集的序号(n＝1,…,N)，并且

S₁(t)∪…∪S_N(t)＝S，t表示迭代次数。

步骤2，在每个子数据集S_n(t)上，各训练一个深度语义分割网络模型C_n(t)。

步骤3，用训练得到的网络模型C_n(t)分别对N个子数据集进行预测，得到预测图P_ij(t)(i表示模型序号，j表示子数据集序号)，即i*j组输出图。预测结果W_ij(t)由网络的输出图P_ij(t)进行阈值分割后得到。

步骤4，对阈值分割后的预测图W_ij(t)进行合并，可以得到数据集新的标签L_n(t)。

步骤5，然后根据模型的预测结果W_ij(t)，计算掩膜M_n(t)。

步骤6，用新的标签替代原有的标签，在这基础上，利用新的标签和掩膜M_n(t)重新在N个子数据集上训练模型。

步骤7，重复步骤3-6，直到达到最大迭代次数T，在训练阶段最终获得N个训练好的深度语义分割网络模型。

步骤8，在测试阶段，用训练阶段获得的N个模型分别对测试样本I进行预测，得到输出图P_i，i表示模型的序号。

步骤9，对N个模型的输出P_i进行投票预测，获得预测图P_mean，对预测图P_mean进行阈值分割，得到W作为图像I的水体检测结果。

进一步的，步骤2所述深度语义分割网络为U-net网络，U-net是一个基于全卷积神经网络的图像分割网络，其中编码器和解码器由卷积层Conv、最大池化层Max Pooling、反卷积层Up-conv以及修正线性单元(Rectified Linear Unit，ReLU)激活函数组成；在编码过程中，经过2次3X3卷积，每次卷积紧接一个ReLU操作，2次卷积后进行1次2X2步长为2的最大池化，按照上述过程重复进行4次；在解码过程中，首先进行2X2的反卷积操作，然后对对应最大池化层之前的图像的复制和剪裁，与反卷积得到的图像拼接起来，再进行2次3X3卷积，每次卷积紧接一个ReLU操作，按照上述过程重复进行4次，在每进行一次拼接之后的第一个3X3卷积操作，3X3卷积核数量成倍减少。

进一步的，步骤4中对分割后的预测图进行合并，具体合并公式如下：

L_n(t)＝[W_1n(t)+W_2n(t)+…+W_Nn(t)]/N (1)

进一步的，步骤5中掩膜的计算公式如下：

M_n(t)＝W_1n(t)·W_2n(t)…W_Nn(t)+{[1-W_1n(t)]·[1-W_2n(t)]…[1-W_Nn(t)]} (2)

进一步的，步骤6中，联合新的标签、掩膜训练深度语义分割网络模型时的损失函数具体如下：

其中，t表示迭代次数，i、j表示图像的行列数，L_ij(t)、P_ij(t+1)、M_ij(t)分别表示标签、模型预测、掩膜在第i行第j列的像素值。

进一步的，步骤9中投票预测的具体公式如下：

P_mean＝(P₁+P₂+…+P_N)/N (4)

本发明与现有技术相比，具有如下优点和有益效果：

本发明在训练阶段，将原始数据集划分为多个互不重叠的子数据集，利用不同子数据集来训练不同视角的深度语义分割网络，然后利用多视角深度语义分割网络协同更新标签，利用更新后的标签重新训练多视角深度语义分割网络，多次迭代后可以获得好的深度语义分割网络。在测试阶段，一幅多源遥感影像经多视角深度语义分割网络分别预测，然后进行投票产生最后的水体检测结果。这种多视角深度网络迭代进化的多源遥感影像水体检测方法可以有效解决训练数据水体标签分辨率低、噪声多导致基于深度学习的水体检测精度降低的问题，提高水体检测的精度。

附图说明

图1：为本发明实施例的训练阶段流程图

图2：为本发明实施例的测试阶段流程图。

图3：为本发明实施例的深度语义分割网络结构图。

图4：为本发明实施例的水体检测结果示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2，本发明提供的一种多视角深度网络迭代进化的多源遥感影像水体检测方法，包括以下步骤：

步骤1，原数据集S＝{(I^k,L^k)|k＝1,2,…,K}，其中，K表示样本总个数，k表示样本的序号，I^k为多源遥感影像，L^k为多源影像的标签。在训练阶段，随机地将原数据集S划分为N个互不重叠的子数据集S_n(t)，其中，n表示在同一次迭代中子数据集的序号(n＝1,…,N)，并且

S₁(t)∪…∪S_N(t)＝S，t表示迭代次数。数据集标签共包含两类：水体、非水体。标签为像素级标签。

步骤2，在每个子数据集S_n(t)上，各训练一个深度语义分割网络模型C_n(t)。

本发明以深度语义分割网络U-net为例进行阐述，U-net是一个基于全卷积神经网络的图像分割网络，其中编码器和解码器由卷积层(Conv)、最大池化层(Max Pooling)、反卷积层(Up-conv)以及修正线性单元(Rectified Linear Unit，ReLU)激活函数组成。在编码过程中，经过2次3X3卷积，每次卷积紧接一个ReLU操作，2次卷积后进行1次2X2步长为2的最大池化，按照上述过程重复进行4次；在解码过程中，首先进行2X2的反卷积操作，然后对对应最大池化层之前的图像的复制和剪裁，与反卷积得到的图像拼接起来，再进行2次3X3卷积，每次卷积紧接一个ReLU操作，按照上述过程重复进行4次，在每进行一次拼接之后的第一个3X3卷积操作，3X3卷积核数量成倍减少。

步骤3，用训练得到的网络模型C_n(t)分别对N个子数据集进行预测，得到预测图P_ij(t)(i表示模型序号，j表示子数据集序号)，即i*j组输出图。预测结果W_ij(t)由网络的输出图P_ij(t)进行阈值分割后得到。

步骤4，对阈值分割后的预测图W_ij(t)进行合并，可以得到数据集新的标签L_n(t)，合并的具体公式如下：

L_n(t)＝[W_1n(t)+W_2n(t)+…+W_Nn(t)]/N (1)

步骤5，然后根据模型的预测结果W_ij(t)，计算掩膜M_n(t)，具体公式如下：

M_n(t)＝W_1n(t)·W_2n(t)…W_Nn(t)+{[1-W_1n(t)]·[1-W_2n(t)]…[1-W_Nn(t)]} (2)

步骤6，用新的标签替代原有的标签，在这基础上，利用新的标签和掩膜M_n(t)重新在N个子数据集上训练模型，此时损失函数具体为：

步骤7，重复步骤3-6，直到达到最大迭代次数T，在训练阶段最终获得N个训练好的深度语义分割网络模型。这里迭代次数推荐为5。

步骤8，在测试阶段，用训练阶段获得的N个模型分别对测试样本I进行预测，得到输出图P_i，i表示模型的序号。

步骤9，对N个模型的输出P_i进行投票预测，获得预测图P_mean，对预测图P_mean进行阈值分割，得到W作为图像I的水体检测结果，投票预测的具体公式如下：

P_mean＝(P₁+P₂+…+P_N)/N (4)

应当理解的是，本说明未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种多视角深度网络迭代进化的多源遥感影像水体检测方法，其特征在于，包括以下步骤：

步骤1，原数据集S＝{(I^k，L^k)|k＝1，2，…，K}，其中，K表示样本总个数，k表示样本的序号，I^k为多源遥感影像，L^k为多源影像的标签；在训练阶段，随机地将原数据集S划分为N个互不重叠的子数据集S_n(t)，其中，n表示在同一次迭代中子数据集的序号，n＝1，…，N，并且

S₁(t)∪…∪S_N(t)＝S，t表示迭代次数；

步骤2，在每个子数据集S_n(t)上，各训练一个深度语义分割网络模型C_n(t)；

步骤2所述深度语义分割网络为U-net网络，U-net是一个基于全卷积神经网络的图像分割网络，其中编码器和解码器由卷积层Conv、最大池化层Max Pooling、反卷积层Up-conv以及修正线性单元ReLU激活函数组成；在编码过程中，经过2次3X3卷积，每次卷积紧接一个ReLU操作，2次卷积后进行1次2X2步长为2的最大池化，按照上述过程重复进行4次；在解码过程中，首先进行2X2的反卷积操作，然后对对应最大池化层之前的图像的复制和剪裁，与反卷积得到的图像拼接起来，再进行2次3X3卷积，每次卷积紧接一个ReLU操作，按照上述过程重复进行4次，在每进行一次拼接之后的第一个3X3卷积操作，3X3卷积核数量成倍减少；

步骤3，用训练得到的网络模型C_n(t)分别对N个子数据集进行预测，得到预测图P_ij(t)，i表示模型序号，j表示子数据集序号，即i*j组输出图；预测结果W_ij(t)由网络的输出图P_ij(t)进行阈值分割后得到；

步骤4，对阈值分割后的预测结果W_ij(t)进行合并，即对N个子数据集的预测结果求平均值，得到数据集新的标签L_n(t)；

步骤5，然后根据模型的预测结果W_ij(t)，计算掩膜M_n(t)；

步骤5中掩膜的计算公式如下：

M_n(t)＝W_1n(t)·W_2n(t)…W_Nn(t)+{[1-W_1n(t)]·[1-W_2n(t)]…[1-W_Nn(t)]} (2)

步骤6，用新的标签替代原有的标签，在这基础上，利用新的标签和掩膜M_n(t)重新在N个子数据集上训练模型；

步骤7，重复步骤3-6，直到达到最大迭代次数T，在训练阶段最终获得N个训练好的深度语义分割网络模型；

步骤8，在测试阶段，用训练阶段获得的N个模型分别对测试样本I’进行预测，得到输出图P_i，i表示模型序号；

步骤9，对N个模型的输出图P_i进行投票预测，获得预测图P_mean，对预测图P_mean进行阈值分割，得到预测结果W作为图像I的水体检测结果。

2.根据权利要求1所述的一种多视角深度网络迭代进化的多源遥感影像水体检测方法，其特征在于：步骤4中对分割后的预测结果进行合并，具体合并公式如下：

L_n(t)＝[W_1n(t)+W_2n(t)+…+W_Nn(t)]/N (1)。

3.根据权利要求1所述的一种多视角深度网络迭代进化的多源遥感影像水体检测方法，其特征在于：步骤6中，联合新的标签、掩膜训练深度语义分割网络模型时的损失函数具体如下：

其中，t表示迭代次数，i′、j′表示图像的行列数，L_i′j′(t)、P_i′j′(t+1)、M_i′j′(t)分别表示标签、模型预测、掩膜在第i′行第j′列的像素值。

4.根据权利要求1所述的一种多视角深度网络迭代进化的多源遥感影像水体检测方法，其特征在于：步骤9中投票预测的具体公式如下：

P_mean＝(P₁+P₂+…+P_N)/N (4)。

Images