CN112766340A - 基于自适应空间模式的深度胶囊网络图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于自适应空间模式的深度胶囊网络图像分类方法及系统，该方法包括：对训练用图像进行图像预处理，并构建训练集；基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；获取待测图像并将待测图像输入训练完成的深度胶囊网络进行图像分类，得到图像分类结果；所述深度胶囊网络包括ASPConvs模块、ASPCaps模块和全连接胶囊层。该系统包括：预处理模块、训练模块和分类模块。通过使用本发明，自适应学习复杂的物结构信息，提升纹理密集区域的图像分类精度。本发明作为一种基于自适应空间模式的深度胶囊网络图像分类方法及系统，可广泛应用于图像分类领域。

Description

基于自适应空间模式的深度胶囊网络图像分类方法及系统

技术领域

本发明涉及图像分类领域，尤其涉及一种基于自适应空间模式的深度胶囊网络图像分类方法及系统。

背景技术

传统的深度学习图像分类算法包括：堆叠自编码网络、深度置信神经网络，递归神经网络，生成对抗性神经网络以及卷积神经网络等，其中传统的基于神经网络的图像分类方法通过卷积、池化、全连接层等步骤进行图像特征提取。然而，该类方法往往网络模型训练需要大量的数据样本，且训练过程复杂，复杂的场景特征下图像关键兴趣点特征提取困难。且对于传统的神经网络方法，其卷积核中采样点的位置通常是固定不变的，其不能根据真实物体的实际空间形态分布自适应的调整学习区域。因此，当数据集结构复杂的情况下，现有的深度学习方法往往无法学习到清晰轮廓特征的图像边缘信息，因而面临无法精准高效地识别图像复杂纹理信息的问题。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于自适应空间模式的深度胶囊网络图像分类方法及系统，解决空间结构特征复杂的高光谱图像分类数据集分类精度不准确的问题。

本发明所采用的第一技术方案是：基于自适应空间模式的深度胶囊网络图像分类方法，包括以下步骤：

对训练用图像进行图像预处理，并构建训练集；

基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；

获取待测图像并将待测图像输入训练完成的深度胶囊网络进行图像分类，得到图像分类结果；

所述深度胶囊网络包括ASPConvs模块、ASPCaps模块和全连接胶囊层。

进一步，所述对训练用图像进行图像预处理，并构建训练集这一步骤，其具体包括：

获取训练用的高光谱图像X∈R^H×W×D；

基于主成分分析算法将数据降到d维，得到图像训练块Y^k∈R^m×m×d；

结合图像训练块和对应的标签构建训练集

进一步，所述基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络这一步骤，其具体包括：

将训练集输入到适应空间单元深度胶囊网络；

基于ASPConvs模块对训练图像块进行卷积处理，提取得到次高级目标图像特征；

基于ASPCaps模块对次高级图像特征进行胶囊分组和预测处理，重新提取得到高级语义特征。

基于全连接胶囊网络层对高级语义特征进行概率分类，得到分类结果。

进一步，所述基于ASPConvs模块对训练图像块进行卷积处理，提取得到次高级目标图像特征这一步骤，其具体包括：

给定训练图像块Y^k，引入空洞卷积规则并自适应学习寻找采样位置；

基于采样位置提取得到次高级目标图像特征。

进一步，所述自适应学习寻找采样位置的表达式如下：

上式中，(x,y)表示初定采样位置，

表示对应的采样值，Δx和Δy表示偏移场，

表示调整后的采样位置的采样值。

进一步，所述这次高级目标图像特征的表达式如下：

上式中，w_i表示采用卷积核对应的权重，Δm_i表示第i个采样像素位置对应的权重。

表示向量

内元素总长度，

表示采样位置为(x_i,y_i)的采样值。

进一步，所述基于ASPCaps模块对次高级图像特征进行胶囊分组和预测处理，重新提取得到高级语义特征这一步骤，其具体包括：

将次高级图像特征u分成多组胶囊子图并计算所有次高级图像特征u的预测向量；

基于预测向量构建高层次特征的输入向量；

基于Squash函数对高层次特征的输入向量进行压缩处理，得到高级语义特征。

进一步，所述高层次特征的输入向量

的表达式如下：

上式中，

表示动态由路系数，

表示在采样点为(x+p)(y+q)的预测向量，

表示高层次特征的输入向量。

本发明所采用的第二技术方案是：基于自适应空间模式的深度胶囊网络图像分类系统，包括：

预处理模块，用于对训练用图像进行图像预处理，并构建训练集；

训练模块，用于基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；

分类模块，用于获取待测图像并将待测图像输入训练完成的深度胶囊网络执行图像分类，得到分类结果。

本发明方法及系统的有益效果是：本发明通过多次引入所提自适应卷积单元于深度胶囊网络结构中，避免了传统基于粗特征胶囊网络的图像分类方法带来的弊端，能在不同场景区域都获得优异的图像分类结果，既能兼顾图像平滑去噪与图像边缘细节保留特性，还能自适应的学习噪声和光谱混合严重的情况下的图像分类特征并获得优异的分类结果。

附图说明

图1是本发明基于自适应空间模式的深度胶囊网络图像分类方法的步骤流程图；

图2是本发明基于自适应空间模式的深度胶囊网络图像分类系统的结构框图；

图3是本发明具体实施例ASPConv模块的工作示意图；

图4是本发明具体实施例ASPCaps模块的工作示意图；

图5是本发明具体实施例深度胶囊网络图像分类方法示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本发明通过构建一组自适应卷积单元(ASP单元)，在扩大感受野的基础上，形状自适应地调整卷积单元的学习区域，为复杂纹理结构的高光谱图像数据集分类提供解决方案。即该卷积单元内部仅仅通过增加少量的变换参数，可获得学习到更优异的图像细节特征。具体而言，本发明首先对原始高光谱图像数据集采用主成分分析算法进行图像降维，获得前十五维主成分图像。接下来，采用自适应空间单元卷积运算(ASPConvs模块)获得的次高级图像特征，作为后续胶囊网络运算的输入。然后，在动态路由过程采用基于自适应空间单元的卷积运算(ASPCaps模块)，自适应地调整卷积核的采样位置。最后，根据全连接胶囊层确定像素的类别标签。

参照图1和图5，本发明提供了基于自适应空间模式的深度胶囊网络图像分类方法，该方法包括以下步骤：

对训练用图像进行图像预处理，并构建训练集；

基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；

获取待测图像并将待测图像输入训练完成的深度胶囊网络进行图像分类，得到图像分类结果；

所述深度胶囊网络包括ASPConvs模块、ASPCaps模块和全连接胶囊层。

参照图5，有两个ASPConvs模块。每个模块由三层组成，将ASP层，卷积层和整流线性单元(ReLU)激活功能结合在一起。在ASPConv 1模块中，对于ASP层，内核(Kernel)包含3×3个非零权重，128个滤波器(Filter)，步长(Stride)为1，填充(Padding)以same形式。对于卷积层，有128个大小为1×1的滤波器内核，步长为2，填充以same形式。卷积操作后，将执行ReLU激活功能，最后通过进行填充操作以确保特征图在卷积之前和之后保持相同的大小。在ASPConv 2模块中，对于ASP层，内核包含3×3个非零权重，256个滤波器，步长为2，填充以same形式。对于卷积层，内核包含1×1个非零权重，256个滤波器，步长为2，填充以same形式。卷积操作之后，将执行ReLU激活功能和批归一化(BN)层。

参照图5，有两个ASPC模块。对于ASPCaps 1，内核包含3×3个非零权重，32×4个滤波器，步长为1和填充same。在ASPC操作之后，将执行ReLU激活功能。对于ASPCaps 2，内核包含3×3个非零权重，32×4个滤波器，步长为1，填充以same形式。

进一步作为本方法的优选实施例，所述对训练用图像进行图像预处理，并构建训练集这一步骤，其具体包括：

获取训练用的高光谱图像X∈R^H×W×D；

具体地，H×W×D表示高光谱图像的长，宽，维度。

基于主成分分析算法将数据降到d维，得到图像训练块Y^k∈R^m×m×d；

具体地，m×m×d表示图像训练的长，宽，维度。

结合图像训练块和对应的标签构建训练集

具体地，Y^k表示第k个样本，t^k表示第k个样本的所属类别。

进一步作为本方法的优选实施例，所述基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络这一步骤，其具体包括：

将训练集输入到适应空间单元深度胶囊网络；

基于ASPConvs模块对训练图像块进行卷积处理，提取得到次高级目标图像特征；

具体地，传统的卷积操作尺寸大小为p×q直接在图像上滑动，进行网络卷积。然而，传统卷积方式的采样位置点为固定点，其不能根据图像的实际分布状态自适应的调整学习采样区域。此外，常规的神经网络在经过多层卷积之后，通常采用池化操作，通过保留局部区域显著特征操作以降低图像的计算维度。但是，该方式在为后续网络降低参数量的同时，会直接导致丢失大量细节信息。

基于ASPCaps模块对次高级图像特征进行胶囊分组和预测处理，重新提取得到高级语义特征。

基于全连接胶囊网络层对高级语义特征进行概率分类，得到分类结果。

进一步作为本方法的优选实施例，所述基于ASPConvs模块对训练图像块进行卷积处理，提取得到次高级目标图像特征这一步骤，其具体包括：

给定训练图像块Y^k，引入空洞卷积规则并自适应学习寻找采样位置,即自适应卷积(adaptive conv)；

具体地，ASPConvs模块的工作过程参照图3，为在扩大感受野的基础上实现采样位置自适应学习，本发明首先引入空洞卷积规则，增大图像感受野如下：

p_dr＝p+(p-1)(h_dr-1)

q_dr＝q+(q-1)(h_dr-1)

上式中，p_dr表示卷积尺寸的长，q_dr表示卷积尺寸的宽，h_dr表示空洞率。

基于采样位置提取得到次高级目标图像特征。

进一步作为本方法优选实施例，所述自适应学习寻找采样位置的表达式如下：

上式中，(x,y)表示初定采样位置，

表示对应的采样值，Δx和Δy表示偏移场(offset filed)，

表示调整后的采样位置的采样值。

具体地，其中x′和y′分别代表方位分数，通过x′＝min(max(0,x+Δx),p-1)和y′＝min(max(0,y+Δy),p-1)计算得到。

利用对邻域位置样本进行线性插值得到。

进一步作为本方法优选实施例，所述这次高级目标图像特征的表达式如下：

上式中，w_i表示采用卷积核对应的权重，Δm_i表示第i个采样像素位置对应的权重。

表示向量

内元素总长度，

表示采样位置为(x_i,y_i)的采样值。

进一步作为本方法优选实施例，所述基于ASPCaps模块对次高级图像特征进行胶囊分组和预测处理，重新提取得到高级语义特征这一步骤，其具体包括：

将次高级图像特征u分成多组胶囊子图并计算所有次高级图像特征u的预测向量；

基于预测向量构建高层次特征的输入向量；

基于Squash函数对高层次特征的输入向量进行压缩处理，得到高级语义特征。

具体地，在已提取到的次高级图像特征基础上，通过沿用3D胶囊网络卷积形式，并加以ASPCaps模块旋转特征，以提取上下层多重胶囊网络之间的信息传递。

ASPCaps模块的工作示意图参照图4，对于次高级图像特征(即PreviousFeatures)u,将其分成多组胶囊子图u＝{u_i,i＝1,...,I}，分为I组胶囊子图，下一层的高级语义特征(即Posterior Features)v分为J组胶囊子图，给定任意一个像素的空间位置为(x,y)，

表示上一层胶囊单元中第i个胶囊的输出信息，p和q分别表示胶囊卷积过程中卷积核的长和宽，

表示特征u中第i个胶囊和特征v中第j个胶囊之间的权值共享系数，则第j个特征预测值在高层次特征v中的预测向量

计算如下，

当获取到所有特征u中所有的预测向量u_j∣i之后，计算(x+p)(y+q)采样点的加权求和，可获得特征v中胶囊j的输入向量

如下:

上式中，

表示动态由路系数，

表示在采样点为(x+p)(y+q)的预测向量，

表示高层次特征的输入向量。

表示动态由路系数，该系数通过softmax函数获得，并通过动态路由算法进行更新，具体计算如下：

其中J是下一层的特征v的胶囊总数。

在训练开始之前初始化为0，由动态路由算法进行数据更新。在动态路由算法中，系数

通过计算“预测向量”

和

如果符合一致性原则，则表明胶囊

可以很好地预测胶囊

则系数

将增加，反之亦然。在本发明所提网络中，一致性被量化为两个向量

和

之间的内积，通过该协议更新

具体如下所示：

最后，输入向量被非线性函数(即Squash函数)压缩以生成胶囊的输出，具体计算如下：

基于ASPCaps获得高级语义特征v后，本发明使用完全连接的胶囊层获取数字胶囊v′，其维度大小为T×16。然后，使用欧几里得范数(即||l₂||)来获得每个大小为T的测试补丁的概率向量v″，其大小为T×1，其中每个值都映射到[0，1]。最后，深度胶囊网络训练完成后，对于Y^k∈R^m×m×d中的测试图像块，其中心像素的类标签可以根据最大概率确定如下：

另外，本发明使用余量损失作为损失函数，与传统的交叉熵损失相比，余量损失以提高真实分类的概率。对于最后一个胶囊层中的每个胶囊j，其损失函数L_j可以计算如下:

L_j＝T_j·max(0,n⁺-||v_j||)²+λ(1-T_j)·max(0,||v_j||-n^-)²

其中，当类j实际上存在时，T_j＝1，否则等于0。我们分别将n⁺＝0.9和n^-＝0.1设置为正确类别和错误类别的下限和上限。λ是一个超参数，它在训练时控制初始阶段的梯度反向传播的效果。模型的总损耗是最后一层所有输出胶囊的损失之和。

如图2所示，基于自适应空间模式的深度胶囊网络图像分类系统，包括：

预处理模块，用于对训练用图像进行图像预处理，并构建训练集；

训练模块，用于基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；

分类模块，用于获取待测图像并将待测图像输入训练完成的深度胶囊网络执行图像分类，得到分类结果。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，包括以下步骤：

对训练用图像进行图像预处理，并构建训练集；

基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；

获取待测图像并将待测图像输入训练完成的深度胶囊网络进行图像分类，得到图像分类结果；

所述深度胶囊网络包括ASPConvs模块、ASPCaps模块和全连接胶囊层。

2.根据权利要求1所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述对训练用图像进行图像预处理，并构建训练集这一步骤，其具体包括：

获取训练用的高光谱图像X∈R^H×W×D；

基于主成分分析算法将数据降到d维，得到图像训练块Y^k∈R^m×m×d；

结合图像训练块和对应的标签构建训练集

3.根据权利要求2所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络这一步骤，其具体包括：

将训练集输入到适应空间单元深度胶囊网络；

基于ASPConvs模块对训练图像块进行卷积处理，提取得到次高级目标图像特征；

基于ASPCaps模块对次高级图像特征进行胶囊分组和预测处理，重新提取得到高级语义特征；

基于全连接胶囊网络层对高级语义特征进行概率分类，得到分类结果。

4.根据权利要求3所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述基于ASPConvs模块对训练图像块进行卷积处理，提取得到次高级目标图像特征这一步骤，其具体包括：

给定训练图像块Y^k，引入空洞卷积规则并自适应学习寻找采样位置；

基于采样位置提取得到次高级目标图像特征。

5.根据权利要求4所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述自适应学习寻找采样位置的表达式如下：

上式中，(x,y)表示初定采样位置，

表示对应的采样值，Δx和Δy表示偏移场，

表示调整后的采样位置的采样值。

6.根据权利要求5所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述次高级目标图像特征的表达式如下：

上式中，w_i表示采用卷积核对应的权重，Δm_i表示第i个采样像素位置对应的权重。

表示向量

内元素总长度，

表示采样位置为(x_i,y_i)的采样值。

7.根据权利要求6所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述基于ASPCaps模块对次高级图像特征进行胶囊分组和预测处理，重新提取得到高级语义特征这一步骤，其具体包括：

将次高级图像特征u分成多组胶囊子图并计算所有次高级图像特征u的预测向量；

基于预测向量构建高层次特征的输入向量；

基于Squash函数对高层次特征的输入向量进行压缩处理，得到高级语义特征。

8.根据权利要求7所述一种基于自适应空间模式的深度胶囊网络图像分类方法，其特征在于，所述高层次特征的输入向量

的表达式如下：

上式中，

表示动态由路系数，

表示在采样点为(x+p)(y+q)的预测向量，

表示高层次特征的输入向量。

9.基于自适应空间模式的深度胶囊网络图像分类系统，其特征在于，包括：

预处理模块，用于对训练用图像进行图像预处理，并构建训练集；

训练模块，用于基于训练集进行适应空间单元深度胶囊网络的训练，得到训练完成的深度胶囊网络；

分类模块，用于获取待测图像并将待测图像输入训练完成的深度胶囊网络执行图像分类，得到分类结果。

Images