CN109711449A - 一种基于全卷积网络的图像分类算法 - Google Patents

Abstract

本发明公开了一种基于全卷积网络的图像分类算法，包括步骤S1，对原始遥感影像进行预处理操作，并裁切到合适的感兴趣区；步骤S2，标记样本的制作，将上述裁切到感兴趣区进行标记地物类别，生成其对应的真值图，并将这两者合理的切分成大小相同的样本数据；步骤S3，训练全卷积网络；步骤S4，使用验证样本对已训练好的模型权重参数进行微调；步骤S5，使用测试集样本影像送入模型中，并进行前向传播，得到测试影像的预测结果。本发明一种基于全卷积网络的图像分类算法，本算法在已处理的GF‑2数据集上有效提高了图像分类精度，并以端到端的方式实现高质量分类，同时训练的模型对遥感影像数据具有较好的拟合能力和泛化能力，满足了现有的实际需求。

Description

一种基于全卷积网络的图像分类算法

技术领域

本发明涉及一种图像分类算法，特别涉及一种基于全卷积网络的图像分类算法，属于深度学习与人工智能技术领域。

背景技术

分类是遥感图像分析的基本任务。早期分类主要针对低空间分辨率图像和像素级图像，包括无监督分类和监督分类。这些方法通常仅使用图像的光谱信息，应用于土地资源，环境，农业和其他领域。近年来，将机器学习领域的最新成果，如流形排名和稀疏表示，应用于高光谱图像分类中越来越多。

土地覆盖有各种类型，受噪声，光照，季节和许多其他因素的影响，但是使用高分辨率图像分类带来很大困难。图像分类算法在近些年得到了长足的进步，使用卷积神经网络实现分类，但是对于实现端对端的像素分类，现有的CNN仍然不能满足这个条件。因此急需一种基于全卷积网络的图像分类算法。

发明内容

本发明的目的在于提供一种基于全卷积网络的图像分类算法，以解决上述背景技术中提出的现有的CNN不能实现端对端的像素分类的问题。

为实现上述目的，本发明提供如下技术方案：一种基于全卷积网络的图像分类算法，包括前向传播，所述前向传播具体包括以下步骤：

步骤S1，对原始遥感影像进行预处理操作，并裁切到合适的感兴趣区；

步骤S2，标记样本的制作，将上述裁切到感兴趣区进行标记地物类别，生成其对应的真值图，并将这两者合理的切分成大小相同的样本数据；

步骤S3，训练全卷积网络；

对于卷积层，其第i层第j个特征图在坐标(x,y)的输出值可表述为下式，

g(x)＝ReLU(x)＝max(0,x)

其中，m代表上一层特征图连接当前特征图的个数，P和Q分别代表卷积核的高度和宽度，代表(p,q)连接m层特征图的权重，并且b_ij代表第i层第j个特征图的偏差值，G(x)为ReLU的激活函数。

池化层，也为下采样层，主要有两种类型：最大池化和平均池化。

上采样层主要目的是将深层网络的输出特征图大小与输出图像相同，同时保证了影响的高频信息。在输出的特征图后面使用softmax函数预测图像中每个像元的类别作为模型的预测结果。

在计算代价函数的时候，使用了交叉熵函数，

其中，m代表了样本个数，x_i代表了模型的预测结果，z_i代表了真值图。

在反向传播调节网络参数权重时，使用了基于动量的随机梯度下降的优化算法，因为其设计了一个自适应的学习率，加速网络模型的训练。

W⁽ⁿ⁺¹⁾＝W⁽ⁿ⁾-ΔW⁽ⁿ⁺¹⁾

其中，η为学习率。

步骤S4，使用验证样本对已训练好的模型权重参数进行微调；

步骤S5，使用测试集样本影像送入模型中，并进行前向传播，得到测试影像的预测结果；

步骤S6，使用随机条件场作为后处理以细化图像分割结果，该模型采用能量函数，E(x)＝∑_iθ_i(x_i)+∑_ijθ_ij(x_i,x_j)

θ_i(x_i)＝-log P(x_i)

其中P(x)是像素x处的标签分配概率，作为softmax函数之后的多尺度网络的输出。μ(x_i,x_j)为标志位函数，k^m为高斯核函数，ω_m为每个高斯核的权重。使用平均场近似求解CRF，类标签在位置颜色约束下进行调整和细化。

作为本发明的一种优选技术方案，所述网络模型包括用于底层视觉特征、高层语义信息提取的卷积层；用于特征融合、降低维度的池化层；用于保持输出结果与原始影像大小相同的上采样层；用于优化FCN输出像素类别的随机条件场。

作为本发明的一种优选技术方案，所述步骤S3中，在训练过程中采用一种end-to-end的训练方式，使用对原始图片预处理后的结果作为输入，训练包含过程通过前向传播计算误差，反向传播更显模型权重。模型经过多次迭代训练完毕后，模型达到收敛状态，使用验证样本对网络模型参数进行微调，然后测试样本经过模型的前向传播后，预测每个像素的类别，最后通过随机条件场对预测结果进行进一步优化。

作为本发明的一种优选技术方案，所述步骤S3中，使用的全卷积神经网络的模型为VGG19的基础上，用卷积层代替原先的全连接层，并添加上采样层；同时使用条件随机场对FCN输出结果做出优化。

作为本发明的一种优选技术方案，所述输出包括测试图片对应的分类标签的概率分布。

作为本发明的一种优选技术方案，所述输入包括原始图像。

与现有技术相比，本发明的有益效果是：本发明一种基于全卷积网络的图像分类算法，本算法在已处理的GF-2数据集上有效提高了图像分类精度，并以端到端的方式实现高质量分类，同时训练的模型对遥感影像数据具有较好的拟合能力和泛化能力，满足了现有的实际需求。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1，本发明提供了一种基于全卷积网络的图像分类算法，包括前向传播，具体步骤如下：

步骤S1，对原始遥感影像进行预处理操作，并裁切到合适的感兴趣区；

步骤S2，标记样本的制作，将上述裁切到感兴趣区进行标记地物类别，生成其对应的真值图，并将这两者合理的切分成大小相同的样本数据；

步骤S3，训练全卷积网络；

对于卷积层，其第i层第j个特征图在坐标(x,y)的输出值可表述为下式，

g(x)＝ReLU(x)＝max(0,x)

其中，m代表上一层特征图连接当前特征图的个数，P和Q分别代表卷积核的高度和宽度，代表(p,q)连接m层特征图的权重，并且b_ij代表第i层第j个特征图的偏差值，G(x)为ReLU的激活函数。

池化层，也为下采样层，主要有两种类型：最大池化和平均池化。

上采样层主要目的是将深层网络的输出特征图大小与输出图像相同，同时保证了影响的高频信息。在输出的特征图后面使用softmax函数预测图像中每个像元的类别作为模型的预测结果。

在计算代价函数的时候，使用了交叉熵函数，

其中，m代表了样本个数，x_i代表了模型的预测结果，z_i代表了真值图。

在反向传播调节网络参数权重时，使用了基于动量的随机梯度下降的优化算法，因为其设计了一个自适应的学习率，加速网络模型的训练。

W⁽ⁿ⁺¹⁾＝W⁽ⁿ⁾-ΔW⁽ⁿ⁺¹⁾

其中，η为学习率。

步骤S4，使用验证样本对已训练好的模型权重参数进行微调；

步骤S5，使用测试集样本影像送入模型中，并进行前向传播，得到测试影像的预测结果；

步骤S6，使用随机条件场作为后处理以细化图像分割结果，该模型采用能量函数，E(x)＝∑_iθ_i(x_i)+∑_ijθ_ij(x_i,x_j)

θ_i(x_i)＝-log P(x_i)

其中P(x)是像素x处的标签分配概率，作为softmax函数之后的多尺度网络的输出。μ(x_i,x_j)为标志位函数，k^m为高斯核函数，ω_m为每个高斯核的权重。使用平均场近似求解CRF，类标签在位置颜色约束下进行调整和细化。

实施例2

在GF-2卫星拍摄的图像中实现该图像分类算法，采用如图1所示的流程，包括以下步骤：

步骤S1-步骤S6同实施例1。

实施例3

在GF-2卫星传输的已处理的数据集上分别实施例1和实施例2，并使用SVM，CNN以及FCN三种对比方法，对比本文方法与三种方法的的分类性能。

表1已处理的GF-2数据集实验结果

本发明方法与其他的遥感分类模型的对比实验中得出，本算法在已处理的GF-2数据集上的分类精度有明显提高，并以端到端的方式实现高质量图像分类，同时训练的模型对遥感影像数据具有较好的拟合能力和泛化能力。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于全卷积网络的图像分类算法，其特征在于，包括前向传播，所述前向传播具体包括以下步骤：

步骤S1，对原始遥感影像进行预处理操作，并裁切到合适的感兴趣区；

步骤S2，标记样本的制作，将上述裁切到感兴趣区进行标记地物类别，生成其对应的真值图，并将这两者合理的切分成大小相同的样本数据；

步骤S3，训练全卷积网络；

对于卷积层，其第i层第j个特征图在坐标(x,y)的输出值可表述为下式，

g(x)＝ReLU(x)＝max(0,x)

其中，m代表上一层特征图连接当前特征图的个数，P和Q分别代表卷积核的高度和宽度，代表(p,q)连接m层特征图的权重，并且b_ij代表第i层第j个特征图的偏差值，G(x)为ReLU的激活函数。

池化层，也为下采样层，主要有两种类型：最大池化和平均池化。

上采样层主要目的是将深层网络的输出特征图大小与输出图像相同，同时保证了影响的高频信息。在输出的特征图后面使用softmax函数预测图像中每个像元的类别作为模型的预测结果。

在计算代价函数的时候，使用了交叉熵函数，

其中，m代表了样本个数，x_i代表了模型的预测结果，z_i代表了真值图。

在反向传播调节网络参数权重时，使用了基于动量的随机梯度下降的优化算法，因为其设计了一个自适应的学习率，加速网络模型的训练。

W⁽ⁿ⁺¹⁾＝W⁽ⁿ⁾-ΔW⁽ⁿ⁺¹⁾

其中，η为学习率。

步骤S4，使用验证样本对已训练好的模型权重参数进行微调；

步骤S5，使用测试集样本影像送入模型中，并进行前向传播，得到测试影像的预测结果；

步骤S6，使用随机条件场作为后处理以细化图像分割结果，该模型采用能量函数，E(x)＝∑_iθ_i(x_i)+∑_ijθ_ij(x_i,x_j)

θ_i(x_i)＝-logP(x_i)

其中P(x)是像素x处的标签分配概率，作为softmax函数之后的多尺度网络的输出。μ(x_i,x_j)为标志位函数，k^m为高斯核函数，ω_m为每个高斯核的权重。使用平均场近似求解CRF，类标签在位置颜色约束下进行调整和细化。

2.根据权利要求1所述的一种基于全卷积网络的图像分类算法，其特征在于：所述网络模型包括用于底层视觉特征、高层语义信息提取的卷积层；用于特征融合、降低维度的池化层；用于保持输出结果与原始影像大小相同的上采样层；用于优化FCN输出像素类别的随机条件场。

3.根据权利要求1所述的一种基于全卷积网络的图像分类算法，其特征在于：所述步骤S3中，在训练过程中采用一种end-to-end的训练方式，使用对原始图片预处理后的结果作为输入，训练包含过程通过前向传播计算误差，反向传播更显模型权重。模型经过多次迭代训练完毕后，模型达到收敛状态，使用验证样本对网络模型参数进行微调，然后测试样本经过模型的前向传播后，预测每个像素的类别，最后通过随机条件场对预测结果进行进一步优化。

4.根据权利要求1所述的一种基于全卷积网络的图像分类算法，其特征在于：所述步骤S3中，使用的全卷积神经网络的模型为VGG19的基础上，用卷积层代替原先的全连接层，并添加上采样层；同时使用条件随机场对FCN输出结果做出优化。

5.根据权利要求2所述的一种基于全卷积网络的图像分类算法，其特征在于：所述输出包括测试图片对应的分类标签的概率分布。

6.根据权利要求3所述的一种基于全卷积网络的图像分类算法，其特征在于：所述输入包括原始图像。