CN112348119B - 基于胶囊网络的图像分类方法、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种基于胶囊网络的图像分类方法、存储介质及电子设备，所述基于胶囊网络的图像分类方法包括：获取待训练的图像集；将所述图像集划分为训练集和测试集；利用所述训练集训练分类胶囊网络模型，在训练过程中根据所述训练集中图像特征仿射变换后形成的图像预测胶囊进行路由迭代；将所述测试集输入所述分类胶囊网络模型中进行图像分类的性能测试。本发明提出了不涉及耦合系数参与训练的自适应路由方法，在路由的迭代过程中可以使胶囊自适应地改变自身的特征，使胶囊向更有判别性的方向偏移，避免在出现梯度消失问题的同时也提高了模型的性能。

Description

基于胶囊网络的图像分类方法、存储介质及电子设备

技术领域

本发明属于深度神经网络的技术领域，涉及一种图像分类方法，特别是涉及一种基于胶囊网络的图像分类方法、存储介质及电子设备。

背景技术

深度学习是近几年人工智能领域研究的一个热点方向，面向不同任务的神经网络的提出，更是加速了这一领域的发展。传统的神经网络在训练的过程中，无法学习特征之间的空间关系。基于传统神经网络的这一缺点，提出了胶囊网络。胶囊网络的提出，解决传统的神经网络在训练模型的时候无法整体的考虑多个神经元之间特征的空间关系，从而造成了信息的丢失，同时胶囊网络也可以更好的模仿人类大脑的思维模式。

在许多的分类任务中，对目标作出判别的时候仅仅根据目标的特征，丢失了特征之间的位置关系。例如在人脸识别的时候，神经网络仅仅判断图像中有没有存在眼睛、鼻子、嘴巴等重要特征，但是特征之间的位置关系，胶囊网络模型是不关心的。胶囊网络中胶囊的存在可以将特征之间的位置关系编码到胶囊中，对任务的判别更加合理和准确。在现有技术中，胶囊网络模型的训练由动态路由算法实现，动态路由算法是Hinton提出的一种学习胶囊层之间参数的算法。在胶囊网络的训练过程中，通过动态路由算法可以学习相邻胶囊层之间对应胶囊的耦合系数，使得模型寻找到低层胶囊和高层胶囊的对应关系，因此胶囊网络得以正常工作。

在神经网络的研究进展中，一个提高网络模型性能很直接的方法就是使网络的层数加深。这样模型可以学习到更强的非线性变换的能力。但是基于动态路由算法的胶囊网络却无法简单的叠加多个胶囊层，因为动态路由算法中由于耦合系数的存在会对梯度起放缩的作用。当堆叠深层胶囊网络模型时，将会造成梯度消失现象，使得模型无法正常工作。

因此，如何提供一种基于胶囊网络的图像分类方法、存储介质及电子设备，以解决现有技术无法在利用胶囊网络进行图像分类时，避免胶囊网络迭代过程中的梯度消失等缺陷，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于胶囊网络的图像分类方法、存储介质及电子设备，用于解决现有技术无法在利用胶囊网络进行图像分类时，避免胶囊网络迭代过程中的梯度消失的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种基于胶囊网络的图像分类方法，所述基于胶囊网络的图像分类方法包括：获取待训练的图像集；将所述图像集划分为训练集和测试集；利用所述训练集训练分类胶囊网络模型，在训练过程中根据所述训练集中图像特征仿射变换后形成的图像预测胶囊进行路由迭代；其中，用于图像分类的分类胶囊网络模型叠加多个所述图像预测胶囊的特征；将所述测试集输入所述分类胶囊网络模型中进行图像分类的性能测试。

于本发明的一实施例中，所述在训练过程中根据所述训练集中图像特征仿射变换后形成的图像预测胶囊进行路由迭代的步骤包括：将所述训练集中的图像进行特征提取，获取特征图，将所述特征图进行堆叠形成基本图像特征；对所有的所述基本图像特征的维度进行仿射变换，以对所述基本图像特征的维度进行调整，使其与组合图像特征的维度相同；对维度调整后的所有基本图像特征进行组合，并将组合的特征进行激活处理，以得到激活后的胶囊特征；根据所述基本图像特征和所述激活后的胶囊特征形成组合图像特征，以通过前一层胶囊中图像特征的组合形成后一层胶囊的图像特征。

于本发明的一实施例中，将所述基本图像特征对应的矩阵定义为：

其中，i表示基本图像特征所在的层数，n表示第n个特征图，

表示第n个特征图上的第1个特征对应的损失函数值。

于本发明的一实施例中，所述对所有的所述基本图像特征的维度进行仿射变换的步骤包括：确定仿射矩阵W_ij，其中，i表示基本图像特征所在的层数，j表示组合图像特征所在的层数；通过公式

对基本图像特征矩阵u_i进行仿射变换，得到所述图像预测胶囊

于本发明的一实施例中，所述对维度调整后的所有基本图像特征进行组合，并将组合的特征进行激活处理，以得到激活后的胶囊特征的步骤包括：通过公式

对所述图像预测胶囊

求和，得到求和结果s_j；其中，i表示基本图像特征所在的层数，j表示组合图像特征所在的层数；利用激活函数对所述求和结果s_j进行压缩，以得到所述激活后的胶囊特征v_j。

于本发明的一实施例中，所述根据所述基本图像特征和所述激活后的胶囊特征形成组合图像特征的步骤包括：利用公式

对所述图像预测胶囊

进行更新，并将更新后的图像预测胶囊

作为所述组合图像特征的图像预测胶囊。

于本发明的一实施例中，在所述根据所述基本图像特征和所述激活后的胶囊特征形成组合图像特征的步骤之后，所述基于胶囊网络的图像分类方法还包括：将当前迭代完成的胶囊作为前一层胶囊，通过所述前一层胶囊的图像预测胶囊的迭代优化形成后一层胶囊的图像预测胶囊，以结合当前迭代完成的胶囊进行胶囊的逐层迭代。

于本发明的一实施例中，所述将所述测试集输入所述分类胶囊网络模型中进行图像分类的性能测试的步骤包括：通过原始图像的尺寸调整、每个方向上以零填充进行像素的移动、卷积层的卷积核大小设置及步长设置、训练参数的调整中的一种或多种方式，将所述测试集输入所述分类胶囊网络模型进行测试，以获取相应的准确率结果。

本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于胶囊网络的图像分类方法。

本发明最后一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的基于胶囊网络的图像分类方法。

如上所述，本发明所述的基于胶囊网络的图像分类方法、存储介质及电子设备，具有以下有益效果：

本发明中基于现有技术中耦合系数会造成梯度消失现象这一缺点，提出了不涉及耦合系数参与训练的自适应路由方法，该方法在路由的迭代过程中在路由过程中不涉及耦合系数c_ij，整个路由的迭代过程仅仅更新低层胶囊的自身，可以使胶囊自适应地改变自身的特征，使胶囊向更有判别性的方向偏移，避免在出现梯度消失问题的同时也提高了模型的性能。进一步地，应用本发明所述的基于胶囊网络的图像分类方法可以在图像分类的任务中，取得更高的准确率，更准确的识别图像的类别。

附图说明

图1显示为胶囊网络与传统神经网络的对比示意图。

图2显示为现有技术中胶囊网络动态路由迭代原理图。

图3显示为本发明的基于胶囊网络的图像分类方法于一实施例中的路由迭代示意图。

图4显示为本发明的基于胶囊网络的图像分类方法于一实施例中的原理流程图。

图5显示为本发明的基于胶囊网络的图像分类方法于一实施例中的路由迭代流程图。

图6显示为本发明的电子设备于一实施例中的结构连接示意图。

元件标号说明

6              电子设备

61             处理器

62             存储器

S41～S44       步骤

S431～S434     步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明所述的基于胶囊网络的图像分类方法、存储介质及电子设备提出了不涉及耦合系数参与训练的自适应路由方法，在路由的迭代过程中通过自适应路算法可以使胶囊自适应地改变自身的特征，使胶囊向更有判别性的方向偏移，避免在出现梯度消失问题的同时也提高了模型的性能。

以下将结合图1至图6详细阐述本实施例的一种基于胶囊网络的图像分类方法、存储介质及电子设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于胶囊网络的图像分类方法、存储介质及电子设备。

首先，分析现有技术中动态路由算法在堆叠多层胶囊层时，容易造成梯度消失的原因，进而本发明中通过所述的基于胶囊网络的图像分类方法训练一分类胶囊网络模型，用于解决如何在利用胶囊网络进行图像分类时，通过避免胶囊网络迭代过程中的梯度消失来提高图像分类的准确率这一技术问题，应用改进的自适应路由算法对分类胶囊网络模型训练时的路由迭代进行优化。

在现有的基于动态路由算法的胶囊网络中，仅仅有PrimaryCaps和DigitCaps两层胶囊层，第一层胶囊层是由经过卷积神经网络提取特征之后的特征图按照一定的规则堆叠形成的，而第二层的胶囊层则是使用动态路由算法，对PrimaryCaps层的胶囊进行迭代计算之后得到的。在两层胶囊层之间，有需要反向传播训练的仿射变换矩阵W_ij，和经过动态路由算法迭代计算得到的耦合系数c_ij。

请参阅图1，显示为胶囊网络与传统神经网络的对比示意图。如图1所示，神经元从其他神经元接收输入标量，然后将它们乘以标量权重和总和。然后将该总和传递到许多可能的非线性激活函数之一，该函数采用输入标量并根据该函数输出标量。标量将是神经元的输出，它将作为其他神经元的输入。由此，人工神经元可以通过3个步骤来描述：1.输入标量的标量加权；2.加权输入标量之和；3.标量到标量的非线性。胶囊神经元除了传统神经网络的三个步骤外，还有一个仿射变换过程，由此，胶囊神经元可以通过4个步骤来描述：1.输入向量的矩阵乘法(仿射变换)；2.输入向量的标量加权；3加权输入向量之和；4.向量对向量的非线性变换。

请参阅图2，显示为现有技术中胶囊网络动态路由迭代原理图。如图2所示，显示了基于动态路由算法的胶囊网络中PrimaryCaps层和DigitCaps层之间的前向数据流和后向梯度流。m*是仿射变换矩阵W_ij中的参数，而x^*是与胶囊u_i中与m^*相关的、而且在特征图上

的特征x对应的loss值。实线箭头表示前向的数据流，虚线箭头表示后向的梯度流。PrimaryCaps层中的特征层为

(下标为第几个特征图)，如下面的等式中所定义：

将不同特征图上的特征堆叠(一组胶囊由8个特征图组成)并形成胶囊。并且所有胶囊i在第l层中，而胶囊j在第(l+1)层中。低层的胶囊u_i由特征图

(每个特征图上有36个特征)上的特征组成，

表示特征图上的特征点，n表示第n个特征图，1表示第n个特征图上的第一个特征点。特征图堆叠形成的低层胶囊u_i(下标i代表第i个低层胶囊，本发明中所述的i意义均相同)根据

进行定义。

通过仿射矩阵W_ij对低层胶囊u_i进行仿射变换，以将维度8的胶囊转换成维度16的胶囊，增加了胶囊的仿射变换能力。W_ij矩阵中的参数

表示矩阵中每个点的值，维度(8，16)，参数m的上下标表示在仿射矩阵中不同维度的序号。因此，u_i通过W_ij的仿射变换获得

代表第j个高层胶囊，本发明中所述的j意义都相同)：

其中，仿射矩阵W_ij为：

然后，计算

的加权和的值，其中，权值为耦合系数c_ij，得到高层胶囊v_j，如下面的等式中所述：

胶囊网络中分类正确类别的损失函数为L_j，L_j＝k·max(0,m⁺-||v_j||)²，其中，m⁺＝0.9，k＝0.5是用于在模长求导的过程中消去系数，由人为设定，为了求导后方便计算。

从损失函数L_j的等式可以得出，胶囊网络的损失与高层胶囊v_j的长度和v_j中的值有关。m是仿射变换矩阵W_ij中的参数，它是通过反向传播算法学习的。c_ij是耦合系数，它是通过动态路由的迭代计算得到的。当梯度流过相邻的胶囊层时，结果如下：

根据上面等式可以得到，m^*是仿射变换矩阵W_ij中的参数，而x^*是与胶囊u_i中与m^*相关的、而且在特征图上

的特征x对应的loss值。综上可知，反向传播中的梯度值将受到耦合系数c_ij的影响。因为动态路由算法获得的耦合系数c_ij大多接近0.1，甚至更小。所以当胶囊网络中堆叠了多个胶囊层时，c_ij的存在将使梯度值变小，这会影响对前层参数的学习，并使胶囊网络无法工作。

所以当耦合系数c_ij的值较小时，会对梯度起放缩的作用。在胶囊网络叠加多层胶囊层时，再根据链式法则，耦合系数c_ij对梯度的影响会成倍放大，造成模型前面的网络层发生梯度消失现象，使得网络模型无法正常工作。

请参阅图3，显示为本发明的基于胶囊网络的图像分类方法于一实施例中的路由迭代示意图。如图3所示，胶囊通过箭头表示，低层的浅色胶囊与高层的深色胶囊方向相似，因此在经过迭代后其长度会变长，低层的浅色胶囊与高层的深色胶囊方向相反，因此在经过迭代后其长度会变短。在迭代过程中，低层中的胶囊会自适应地朝高层中的胶囊的方向移动。自适应路由算法在路由迭代过程中不涉及参数训练。图像通过卷积神经网络进行卷积后，形成特征图，将不同的特征图进行堆叠之后，形成了低层的胶囊(初始胶囊层)。在本发明中，低层胶囊通过自适应路由算法仅仅自适应的更新自己，使得自己向更正确的方向移动，排除了耦合系数对模型梯度的影响。在胶囊网络中，低层胶囊首先经过仿射变换矩阵W_ij学习到了仿射变换的能力，接着，将低层胶囊加权求和得到高层胶囊。所以高层胶囊的方向接近于低层胶囊长度的最大方向，如果在路由算法中去除了耦合系数c_ij，则所有低层胶囊在经过仿射变换矩阵W_ij的变换后直接加权求和得到激活前的高层胶囊s_j。

请参阅图4，显示为本发明的基于胶囊网络的图像分类方法于一实施例中的原理流程图。如图4所示，所述基于胶囊网络的图像分类方法具体包括以下几个步骤：

S41，获取待训练的图像集。

S42，将所述图像集划分为训练集和测试集。

S43，利用所述训练集训练分类胶囊网络模型，在训练过程中根据所述训练集中图像特征仿射变换后形成的图像预测胶囊进行路由迭代；其中，用于图像分类的分类胶囊网络模型叠加多个所述图像预测胶囊的特征。

请参阅图5，显示为本发明的基于胶囊网络的图像分类方法于一实施例中的路由迭代流程图。如图5所示，S43包括：

S431，将所述训练集中的图像进行特征提取，获取特征图，将所述特征图进行堆叠形成基本图像特征。具体地，在训练过程中将通过卷积层提取抽象特征后的图像特征堆叠为胶囊形式，然后经过抽象特征对应的图像特征自身的仿射变换后形成的图像预测胶囊进行路由迭代。

在本实施例中，低层胶囊为基本图像特征对应的胶囊，将所述低层胶囊对应的矩阵定义为：

其中，i表示低层胶囊所在的层数，n表示第n个特征图，

表示第n个特征图上的第1个特征对应的损失函数值。

S432，对所有的所述基本图像特征的维度进行仿射变换，以对所述基本图像特征的维度进行调整，使其与组合图像特征的维度相同，进而进行线性求和得到对应类别的高层胶囊。例如，在基于人脸识别的图像分类应用中，低层胶囊对应单独的眼睛、鼻子、嘴巴等基本图像特征，对低层胶囊的基本图像特征进行求和后，形成人脸整体的五官特征，将五官特征作为组合图像特征，为高层胶囊。

在本实施例中，确定仿射矩阵W_ij，其中，i表示低层胶囊所在的层数，j表示高层胶囊所在的层数。其中，低层胶囊为基本图像特征对应的胶囊，高层胶囊为组合图像特征对应的胶囊。需要说明的是，本发明中低层与高层以及前一层与后一层为胶囊网络中的相对概念，即相邻的胶囊层，前一层胶囊作为低层胶囊，后一层胶囊作为高层胶囊。

通过公式

对矩阵u_i进行仿射变换，得到图像预测胶囊

S433，对维度调整后的所有基本图像特征进行组合，并将组合的特征进行激活处理，以得到激活后的胶囊特征。

在本实施例中，通过公式

对所述图像预测胶囊

求和，得到求和结果s_j；其中，i表示低层胶囊所在的层数，j表示高层胶囊所在的层数。

利用激活函数对所述求和结果s_j进行压缩，以得到激活后的胶囊特征v_j，目的是将不同的高层胶囊压缩到统一尺度，实现归一化的效果。

具体地，使用激活函数(squash)压缩s_j，v_j＝squash(s_j)，由此，获得激活后的高层胶囊的v_j(与sj方向相同)。

由此，如果低层胶囊和相应的高层胶囊具有更高的相似性，则迭代后它们之间的耦合系数越大。因此，可以将低层胶囊移向相应的高层胶囊来实现相同的功能。如果低层胶囊和相应的高层胶囊具有更高的相似性，则新的

朝着相应的高层胶囊移动，在原始的基础上增强了

的方向性。相反的，如果低层胶囊和相应的高层胶囊具有较低的相似性，则新的

也朝着相应的高层胶囊移动，在原始的基础上减少了

的方向性。

S434，根据所述基本图像特征和所述激活后的胶囊特征形成组合图像特征，以通过前一层胶囊中图像特征的组合形成后一层胶囊的图像特征。

在本实施例中，利用公式

对所述图像预测胶囊

进行更新，并将更新后的图像预测胶囊

作为所述高层胶囊的预图像预测胶囊。

在S434之后，所述基于胶囊网络的图像分类方法还包括：将当前迭代完成的胶囊作为前一层胶囊，通过所述前一层胶囊的图像预测胶囊的迭代优化形成后一层胶囊的图像预测胶囊，以结合当前迭代完成的胶囊进行胶囊的逐层迭代。

S44，将所述测试集输入所述分类胶囊网络模型中进行图像分类的性能测试。

在本实施例中，通过原始图像的尺寸调整、每个方向上以零填充进行像素的移动、卷积层的卷积核大小设置及步长设置、训练参数的调整中的一种或多种方式，将所述测试集输入所述分类胶囊网络模型进行测试，以获取相应的准确率结果。

具体地，在16个现有公知的图像数据集上对所述分类胶囊网络模型进行了测试，实验使用的数据集为MNIST、Fashion-MNIST、Kuzushiji-MNIST、Q-MNIST、3D-MNIST、Tiny-Imagenet、smallNORB、STL10、LabelMe-12-50k、SVHN、CIFAR10、CIFAR100、COIL20、COIL100、USPS和Semeion Handwritten。

在本实验使用pytorch库进行实验开发。在训练过程中，本实验使用Adam优化器，其初始学习率为0.001，在每轮使用之后，其初始学习率降低了5％。该模型在GTX-1080Ti上进行了训练，每次实验训练了150轮的训练。所有实验进行了三次，并对结果取平均值。对于不同的数据集，本实验使用了不同的预处理方式。

(1)对于数据集MNIST、Fashion-MNIST、Kuzushiji-MNIST和Q-MNIST，由于上述数据集的图像都是28×28的灰度图像，本实验使用了原始图像的尺寸大小，并在每个方向上以零填充向上移动最多2像素，不再使用其他的数据增强/变形。网络模型的结构和原始胶囊网络中的结构相同，将训练的batchsize设置为128。

(2)对于3D-MNIST数据集，本实验将其图像大小调整为16×16×16，不使用其他的数据增强。因为图像的像素较小，于是本实验将原始胶囊网络中特征提取的卷积层的卷积核大小都由9×9改为5×5，步长都改为1，将训练batchsize设置为128。

(3)对于Tiny-Imagenet数据集，本实验使用其原始的图像大小，将原始胶囊网络中特征提取的卷积层的卷积核的步长都改为2，因为图像的数据量较大，且类别数较多，模型参数量较大，受到显存大小的限制，所以将batchsize设置为8。

(4)对于数据集smallNORB、STL10、LabelMe-12-50k、SVHN、CIFAR10、CIFAR100、COIL20和COIL100，本实验将其图像大小调整为32×32×3，并在每个方向上以零填充向上移动最多2像素，不再使用其他的数据增强/变形。网络模型的结构和原始胶囊网络中的结构相同，数据集的训练的batchsize设置为128。

(5)对于USPS、Semeion Handwritten数据集，本实验将其图像大小调整为16×16×1，并在每个方向上以零填充向上移动最多2像素，不再使用其他的数据增强/变形。网络模型的结构和原始胶囊网络中的结构相同，数据集的训练的batchsize设置为128。

基于上述数据集的设置，利用自适应路由算法训练的分类胶囊网络模型在不同数据集的实验结果如下：

(1)对于数据集MNIST、Fashion-MNIST、Kuzushiji-MNIST和Q-MNIST，因为这些数据集的图像都是28×28的灰度图像，经过预处理之后输入胶囊网络的数据相似。将MNIST等4个数据集的分类结果进行列表管理，形成表1。从表1中可以得出，对于MNIST类的数据集，自适应路由算法都取得了比动态路由算法相同或更好的结果。在Fashion-MNIST和Kuzushiji-MNIST数据集上，自适应路由算法的表现更好，在MNIST和Q-MNIST数据集上，自适应路由算法和动态路由算法的性能相同。因为MNIST和Q-MNIST数据集是简单的手写数据识别的数据集，而Fashion-MNIST和Kuzushiji-MNIST是服饰和日文数据集，相对于MNIST和Q-MNIST数据集更复杂一些，从不同数据集的实验结果可以看出，对于复杂度大一些数据集，自适应路由算法将取得更好的性能。

表1第一实验结果对比表

(2)对于3D-MNIST数据集，将其图像大小调整为16×16×16，因为数据预处理之后只有它是这种格式的数据，所以单独对其进行实验结果进行分析。将3D-MNIST数据集的分类结果进行列表管理，形成表2。从表2中可以得出，对于3D-MNIST类的数据集，自适应路由算法取得了比动态路由算法更好的结果。相较于前一组数据集，3D-MNIST数据集变得更加复杂，图像也从2D升级到了3D，所以对于更复杂的数据集来讲，自适应路由算法取得了更好的性能。

表2第二实验结果对比表

	3D-MINIST
		动态路由算法结果	71.24
自适应路由算法结果	73.61

(3)对于Tiny-Imagenet数据集，使用其原始的图像大小64×64×3，并将原始胶囊网络中特征提取的卷积层的卷积核的步长都改为2，因为图像的数据维度较大且类别数较多，使得模型参数量较大。将Tiny-Imagenet数据集的分类结果进行列表管理，形成表3。从表3中可以得出，对于Tiny-Imagenet这种特征更加复杂，数据量更多，维度更大，训练过程更长的数据集。自适应路由算法取得了比动态路由算法更好的结果。

表3第三实验结果对比表

	Tiny-Imagenet
		动态路由算法结果	29.55
自适应路由算法结果	29.74

(4)对于数据集smallNORB、STL10、LabelMe-12-50k、SVHN、CIFAR10、CIFAR100、COIL20和COIL100，将其图像大小调整为32×32×3，这几个数据集经过预处理之后的数据格式相同。将smallNORB等8个数据集的分类结果进行列表管理，形成表4。从表4中可以得出，对于这些数据集，自适应路由算法都取得了比动态路由算法相同或更好的结果。对于COIL20和COIL100这种同类图像相似度较大，异类图像区别较大的数据集，自适应路由算法和动态路由算法都取得了极好的结果，它们不分伯仲。对于smallNORB、STL10、LabelMe-12-50k、SVHN、CIFAR10、CIFAR100这些图像复杂度较大，特征较多的数据集，自适应路由算法比动态路由算法取得了更好的结果，更加证实了对于复杂数据集，自适应路由算法的效果更好。

表4第四实验结果对比表

数据集	动态路由算法结果	自适应路由算法结果
			CIFAR10	76.05	78.41
CIFAR100	44.14	48.12
			smallNORB	89.70	89.17
STL10	38.61	39.13
			LabelMe-12-50k	25.12	25.47
COIL20	99.99	99.99
			COIL100	99.99	99.99
SVHN	93.65	94.27

(5)对于USPS和Semeion Handwritten数据集，将其图像大小调整为16×16×1，这两个数据集经过预处理之后的数据格式相同。将USPS和Semeion Handwritten数据集的分类结果进行列表管理，形成表5。从表5中可以得出，对于USPS和Semeion Handwritten这种复杂度更低，但是数据量也更好的数据集，自适应路由算法依然取得了比动态路由算法更好的性能。由此可见，复杂度低的数据集，同时一定程度上降低模型的复杂度，防止过拟合现象的产生，自适应路由算法相对于动态路由算法仍然可以取得更好的实验结果。

表5第五实验结果对比表

	USPS	Semeion Handwritten
			动态路由算法结果	97.50	95.82
自适应路由算法结果	98.43	98.54

综上所述，利用本发明所述的基于胶囊网络的图像分类方法对数据集进行测试，在16个公开数据集上基本都取得了很好的实验结果。图像分类任务目的是为了更准确的识别图像的类别。基于表1～表5的实验结果可以得到，对于本发明使用的多个图像分类数据集，在和原始的动态路由的算法相比较之后，本发明的自适应路由的算法在图像分类的任务中，取得了更高的准确率，可以更准确的识别图像的类别。对于越复杂的数据集，自适应路由算法表现越好；对于简单的数据集，在相同的模型下自适应路由算法的表现都优于动态路由算法，且模型越简单，自适应路由算法的优势越突出。

本发明所述的基于胶囊网络的图像分类方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于胶囊网络的图像分类方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。

请参阅图6，显示为本发明的电子设备于一实施例中的结构连接示意图。如图6所示，本实施例提供一种电子设备6，电子设备6具体包括：处理器61和存储器62。

上述的处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Alication SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

上述存储器62用于存储计算机程序，可能包含随机存取存储器(Random AccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

综上所述，本发明所述基于胶囊网络的图像分类方法、存储介质及电子设备基于现有技术中耦合系数会造成梯度消失现象这一缺点，提出了不涉及耦合系数参与训练的自适应路由方法，该方法在路由的迭代过程中在路由过程中不涉及耦合系数，整个路由的迭代过程仅仅更新低层胶囊的自身，可以使胶囊自适应的改变自身的特征，使胶囊向更有判别性的方向偏移，避免在出现梯度消失问题的同时也提高了模型的性能。进一步地，应用本发明所述的基于胶囊网络的图像分类方法可以在图像分类的任务中，取得更高的准确率，更准确的识别图像的类别。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (4)

1.一种基于胶囊网络的图像分类方法，其特征在于，所述基于胶囊网络的图像分类方法包括：

获取待训练的图像集；

将所述图像集划分为训练集和测试集；

利用所述训练集训练分类胶囊网络模型，在训练过程中根据所述训练集中图像特征仿射变换后形成的图像预测胶囊进行路由迭代；其中，用于图像分类的分类胶囊网络模型叠加多个所述图像预测胶囊的特征；将所述测试集输入所述分类胶囊网络模型中进行图像分类的性能测试；

所述在训练过程中根据所述训练集中图像特征仿射变换后形成的图像预测胶囊进行路由迭代的步骤包括：

将所述训练集中的图像进行特征提取，获取特征图，将所述特征图进行堆叠形成基本图像特征，所述基本图像特征对应的矩阵定义为：

其中，i表示基本图像特征所在的层数，n表示第n个特征图，

表示第n个特征图上的第1个特征对应的损失函数值；

对所有的所述基本图像特征的维度进行仿射变换，以对所述基本图像特征的维度进行调整，使其与组合图像特征的维度相同；

所述对所有的所述基本图像特征的维度进行仿射变换的步骤包括：

确定仿射矩阵W_ij，其中，i表示基本图像特征所在的层数，j表示组合图像特征所在的层数；

通过公式

对基本图像特征矩阵u_i进行仿射变换，得到所述图像预测胶囊

对维度调整后的所有基本图像特征进行组合，并将组合的特征进行激活处理，以得到激活后的胶囊特征，包括：

通过公式

对所述图像预测胶囊

求和，得到求和结果s_j；其中，i表示基本图像特征所在的层数，j表示组合图像特征所在的层数；

利用激活函数对所述求和结果s_j进行压缩，以得到所述激活后的胶囊特征v_j；

根据所述基本图像特征和所述激活后的胶囊特征形成组合图像特征，以通过前一层胶囊中图像特征的组合形成后一层胶囊的图像特征，所述根据所述基本图像特征和所述激活后的胶囊特征形成组合图像特征的步骤包括：

利用公式

对所述图像预测胶囊

进行更新，并将更新后的图像预测胶囊

作为所述组合图像特征的图像预测胶囊；

将当前迭代完成的胶囊作为前一层胶囊，通过所述前一层胶囊的图像预测胶囊的迭代优化形成后一层胶囊的图像预测胶囊，以结合当前迭代完成的胶囊进行胶囊的逐层迭代。

2.根据权利要求1所述的基于胶囊网络的图像分类方法，其特征在于，所述将所述测试集输入所述分类胶囊网络模型中进行图像分类的性能测试的步骤包括：

通过原始图像的尺寸调整、每个方向上以零填充进行像素的移动、卷积层的卷积核大小设置及步长设置、训练参数的调整中的一种或多种方式，将所述测试集输入所述分类胶囊网络模型进行测试，以获取相应的准确率结果。

3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至2中任一项所述的基于胶囊网络的图像分类方法。

4.一种电子设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至2中任一项所述的基于胶囊网络的图像分类方法。

Images