CN109840560A - 基于胶囊网络中融入聚类的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于胶囊网络中融入聚类的图像分类方法，克服了现有技术中使用的路由迭代算法求取组合图像高级特征的权重系数存在计算耗能严重、网络扩展性差和分类准确性不稳定的问题。本发明的实现步骤是：(1)输入待分类的自然图像；(2)获得训练样本集和测试样本集；(3)构建胶囊网络；(4)提取训练样本集中样本的预测特征向量；(5)获取训练样本集中样本的聚类中心向量；(6)训练胶囊网络，(7)对测试样本集进行分类。本发明具有模型简单、训练速度快，网络扩展性好的优点，可以用于自然图像的分类。

Description

基于胶囊网络中融入聚类的图像分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于胶囊网络中融入聚类的图像分类方法。本发明可依据胶囊网络获取自然图像的聚类中心向量，利用聚类中心向量对含有不同类别目标的自然图像进行分类。

背景技术

自然图像是指通过相机等拍摄设备对自然场景进行拍摄得到的图像，或摄像机对自然场景进行拍摄记录的视频中截取获得的图像，对自然场景下获取的图像进行分类是指对获取的图像进行图像处理，依据处理获取的图像特征对图像进行分类。

Dilin Wang等人在其发表的论文“An Optimization View on Dynamic RoutingBetween Capsules”(International Conference on Learning Representations,2018)中提出一种胶囊网络对图像中分别含有规则三角形、倒三角形和矩形的图像进行分类的方法。该方法将待分类图像作为输入，构建胶囊网络从待分类图像中提取出可以表达图像的高级特征，使用路由迭代算法来求取组合图像高级特征的权重系数，将按不同权重系数组合的图像高级特征输入到分类器中，得到图像分类结果。该方法虽然使用了胶囊网络来提取图像的高级特征，进而获得更好的分类结果，但是，该方法仍然存在的不足之处是，由于路由算法需要多次迭代过程，寻找最优的迭代次数的计算代价是相当大的，因而限制了胶囊网络结构的扩展性，使得胶囊网络加深层数时，计算耗能问题会更加严重，不能保证网络获得良好的分类性能。

西南大学在其申请的专利文献“一种改进重构网络的胶囊网络图像分类识别方法”(专利申请号：CN201810509412.6，申请公布号：CN108985316A)中提出了一种改进重构网络的胶囊网络对包含恶性肺结节和不包含肺结节的肺部切片图像进行分类的方法。该方法的具体步骤是：构建胶囊网络，输入图像训练集到胶囊网络，经过训练学习后完成图像分类识别校准，输入待分类图像到胶囊网络中，得到胶囊网络所有输出向量中模值最大的作为分类结果，并将胶囊网络的重构网络结构设置为反卷积层，通过反卷积操作把向量还原为图像，对比还原的图像和原始图像的误差来调节网络参数，该方法在胶囊网络中使用反卷积层作为重构网络结构，虽然减少了计算参数量，但是该方法仍然存在的不足之处是，图像分类任务中，使用反卷积操作把向量还原为图像并不是必要的，采用反卷积层，网络依然存在参数量大的缺点，从而导致该方法在图像分类中模型网络层数多，结构复杂，训练过程耗能高，模型分类效率低。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于胶囊网络中融入聚类的图像分类方法。

实现本发明目的的思路是胶囊网络中动态路由的本质是kmeans聚类方法寻找聚类中心，不同的聚类适合不同的数据分布，并不通用，同时聚类的迭代次数难以确定，本发明提出训练网络从一个简单的聚类中心出发去学习一个合适的聚类中心，训练得到的聚类中心可以适应不同的数据分布。

为实现上述目的，本发明的具体步骤如下：

(1)输入待分类的自然图像：

(1a)输入与待分类类别总数相等的自然图像，其中每一类的自然图像数量不少于500张；

(1b)输入每张待分类自然图像对应的类别标签；

(2)获得训练样本集和测试样本集：

在待分类自然图像中随机选取p％的自然图像以及对应的类别标签，组成训练样本集，其中，p的取值范围为(30,100)中任意整数，将剩余的自然图像和对应的类别标签，组成测试样本集；

(3)构建胶囊网络：

(3a)搭建一个5层的胶囊网络，其结构依次为：普通卷积层→初级胶囊层→空间关系编码层→姿态调整层→分类胶囊层；

(3b)设置胶囊网络中各层的参数；

(4)提取训练样本集中样本的预测特征向量：

(4a)将训练样本集中的样本依次输入到胶囊网络中，通过普通卷积层和初级胶囊层，提取每个训练样本的初阶特征向量；

(4b)将初阶特征向量输入到胶囊网络的空间关系编码层中，得到每个训练样本的预测特征向量，预测特征向量的类别数与待分类自然图像的类别总数相同；

(5)获取训练样本集中样本的聚类中心向量：

(5a)对训练样本集每个样本的每类图像预测特征向量分别进行求和；

(5b)利用压缩公式，对求和后的预测特征向量的长度进行压缩；

(5c)使用训练聚类中心公式，获取训练样本中每一个样本的聚类中心向量；

(6)训练胶囊网络：

(6a)将聚类中心向量输入到神经网络分类器中进行分类；

(6b)重复执行步骤(4)、步骤(5)和步骤(6a)训练胶囊网络3万次，得到训练好的胶囊网络；

(7)对测试样本集进行分类：

将测试样本集每个样本依次输入到训练好的胶囊网络中，得到测试样本集图像的分类结果。

本发明与现有的技术相比具有以下优点：

第一，由于本发明构建胶囊网络，使用了姿态调整层，克服了现有技术中胶囊网络中的路由算法由于存在迭代过程，导致的参数量大、计算耗能严重的问题，使得本发明具有参数少，模型简单，分类效率高的优点。

第二，由于本发明构建的胶囊网络，获取训练样本集中样本的聚类中心向量，聚类中心向量是待分类图像更精确的表达，克服了现有技术中胶囊网络中路由算法最优迭代次数难以确定，导致不能保证网络获得良好的分类性能的问题，使得本发明具有较好的分类性能。

第三，由于本发明构建的胶囊网络，使用训练聚类中心公式，获取训练样本中每个样本的聚类中心向量，克服了现有技术中路由算法最优次数难以确定，导致网络的扩展性差的问题，使得本发明的方法具有更广泛的适用性和扩展性。

附图说明

图1是本发明的流程图；

图2是本发明胶囊网络模型说明图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，对本发明的实现的具体步骤做进一步的描述。

步骤1,输入待分类的自然图像。

输入待分类的自然图像：

输入与待分类类别总数相等的自然图像，其中每一类的自然图像数量不少于500张。

输入每张待分类自然图像对应的类别标签。

步骤2，获得训练样本集和测试样本集。

在待分类自然图像中随机选取85％的自然图像以及对应的类别标签，组成训练样本集，将剩余的自然图像和对应的类别标签，组成测试样本集。

步骤3，构建胶囊网络。

搭建一个5层的胶囊网络，其结构依次为：普通卷积层→初级胶囊层→空间关系编码层→姿态调整层→分类胶囊层。

设置胶囊网络中各层的参数。

所述的胶囊网络中各层的参数设置如下：将普通卷积层的特征映射图设置为32个，将卷积核大小设置为9×9像素，步长设置为1像素；将初级胶囊层的特征映射图设置为8个，将卷积核大小设置为5×5像素，步长设置为2像素；将空间关系编码层的变换矩阵大小设置为16×32；将姿态调整层的寻优矩阵大小设置为待分类类别数×32；将分类胶囊层的特征映射图的个数设置为与待分类彩色图像的类别总数相同，其特征映射图维度设置为32维。

参照附图2，对本发明的胶囊网络做进一步的描述。

本发明的胶囊网络一共包含5层，其结构依次为：普通卷积层→初级胶囊层→空间关系编码层→姿态调整层→分类胶囊层。

其中普通卷积层和初级胶囊层执行卷积操作后输出特征向量，该特征向量作为输入依次经过空间关系编码层、姿态调整层和分类胶囊层后输出聚类中心向量，依据该聚类中心向量对图像进行分类。

步骤4，提取训练样本集中样本的预测特征向量。

将训练样本集中的样本依次输入到胶囊网络中，通过普通卷积层和初级胶囊层，提取每个训练样本的初阶特征向量。

将初阶特征向量输入到胶囊网络的空间关系编码层中，得到每个训练样本的预测特征向量，预测特征向量的类别数与待分类自然图像的类别总数相同。

步骤5，获取训练样本集中样本的聚类中心向量。

对训练样本集每个样本的每类图像预测特征向量分别进行求和。

利用压缩公式，对求和后的预测特征向量的长度进行压缩。

所述的压缩公式如下：

其中，表示求和后的第j类图像特征向量的压缩值，j＝1,2,…n，n取值为待分类图像类别总数，||·||²表示2范数操作，s_j表示求和后的第j类图像特征向量，||·||表示1范数操作。

使用训练聚类中心公式，获取训练样本中每一个样本的聚类中心向量。

所述的训练聚类中心公式如下：

其中，v_i为表达第i类自然图像的聚类中心向量，i＝1,2,…m，m取值为待分类图像类别总数，w_i表示对第i类自然图像聚类中心向量的压缩值进行一个局部范围的调整参数，w_i＜ξ，-1＜ξ＜1，表示压缩后的空间关系编码层求和后的第i类自然图像输出向量。

步骤6，训练胶囊网络。

将聚类中心向量输入到神经网络分类器中进行分类。

重复执行步骤5、步骤5和步骤6训练胶囊网络3万次，得到训练好的胶囊网络；

步骤7，对测试样本集进行分类。

将测试样本集每个样本依次输入到训练好的胶囊网络中，得到测试样本集图像的分类结果。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明的仿真实验的硬件平台为：Intel(R)Xeon(R)CPU E5-2650 v4@2.20GHz。本发明的仿真实验的软件采用tensorflow。

2.仿真内容：

本发明的仿真实验是采用本发明和现有技术的原动态路由方法，分别对12630张的共包含43类不同的交通标志的图像进行分类，所有的图像是从德国交通标志图像集中获取的，同时获取每张图像对应的类别标签。

本发明仿真实验中所用到的现有技术对比分类方法为Sara Sabour等人在“Dynamic routing between capsules,in Advances in Neural InformationProcessing Systems,2017,pp.3856–3866.”中提出的图像分类方法，简称原动态路由方法。

为了验证本发明的高效性和良好的分类性能，使用两个评价指标进行评估：

第一个评价指标是分类准确率，表示正确分类的样本占所有分类后所有样本的比例，该值越大，说明分类效果越好，对每张图像来说，正确分类是指模型预测图像类别与图像标签类别相同。

第二个评价指标是采用不同方法实现的网络平均训练一次的运行时长，不同方法实现的网络指本发明方法的胶囊网络和原动态路由方法的胶囊网络，平均训练一次的运行时长表示方法的胶囊网络计算复杂度和耗能情况，该值越小，说明该方法的胶囊网路计算量越小、该方法的胶囊网路分类效率越高。

表1本发明与原动态路由方法效果对比表

由表1中可以看出，本发明的提出的方法，可以得到更高的分类准确率，同时只需要更少的训练时间。

综上所述，本发明针对胶囊网络路由迭代部分，提出一种基于胶囊网络中融入聚类的图像分类方法，实验证明，该方法可以获得比原动态路由方法更好的分类效果，同时具有缩短训练时长，减少网络复杂度的优点。

Claims (4)

1.一种基于胶囊网络中融入聚类的图像分类方法，其特征在于，构建胶囊网络，通过胶囊网络中的普通卷积层和初级胶囊层提取自然图像中的初阶特征向量，初级特征向量通过空间关系编码层和姿态调整层获取能良好表达自然图像的特征的聚类中心向量，利用聚类中心向量对自然图像进行分类，该方法的具体步骤包括如下：

(1)输入待分类的自然图像：

(1a)输入与待分类类别总数相等的自然图像，其中每一类的自然图像数量不少于200张；

(1b)输入每张待分类自然图像对应的类别标签；

(2)获得训练样本集和测试样本集：

在待分类自然图像中随机选取p％的自然图像以及对应的类别标签，组成训练样本集，其中，p的取值范围为(30,100)中任意整数，将剩余的自然图像和对应的类别标签，组成测试样本集；

(3)构建胶囊网络：

(3a)搭建一个5层的胶囊网络，其结构依次为：普通卷积层→初级胶囊层→空间关系编码层→姿态调整层→分类胶囊层；

(3b)设置胶囊网络中各层的参数；

(4)提取训练样本集中样本的预测特征向量：

(4a)将训练样本集中的样本依次输入到胶囊网络中，通过普通卷积层和初级胶囊层，提取每个训练样本的初阶特征向量；

(4b)将初阶特征向量输入到胶囊网络的空间关系编码层中，得到每个训练样本的预测特征向量，预测特征向量的类别数与待分类自然图像的类别总数相同；

(5)获取训练样本集中样本的聚类中心向量：

(5a)对训练样本集每个样本的每类图像预测特征向量分别进行求和；

(5b)利用压缩公式，对求和后的预测特征向量的长度进行压缩；

(5c)使用训练聚类中心公式，获取训练样本中每个样本的聚类中心向量；

(6)训练胶囊网络：

(6a)将聚类中心向量输入到神经网络分类器中进行分类；

(6b)重复执行步骤(4)、步骤(5)和步骤(6a)训练胶囊网络3万次，得到训练好的胶囊网络；

(7)对测试样本集进行分类：

将测试样本集每个样本依次输入到训练好的胶囊网络中，得到测试样本集图像的分类结果。

2.根据权利要求1所述的基于胶囊网络中融入聚类的图像分类方法，其特征在于，步骤(3b)胶囊网络中各层的参数设置如下：将普通卷积层的特征映射图设置为F₁个，其中F₁取值范围为(1,512)中的任意整数，将卷积核大小设置为K₁×K₁像素，其中K₁的取值范围为(1,10)中任意整数，步长设置为P₁像素，其中P₁取值范围为(1,10)中任意整数；将初级胶囊层的特征映射图设置为F₂个，其中F₂取值范围为(1,512)中的任意整数，将卷积核大小设置为K₂×K₂像素，其中K₂的取值范围为(1,10)中任意整数，步长设置为P₂像素，P₂取值范围为(1,10)中任意整数；将空间关系编码层的变换矩阵大小设置为M×N，其中M和N的取值范围为(1,128)中任意整数；将姿态调整层的寻优矩阵大小设置为待分类类别数×N；将分类胶囊层的特征映射图的个数设置为与待分类自然图像的类别总数相同，其特征映射图维度设置为N维。

3.根据权利要求1所述的基于胶囊网络中融入聚类的图像分类方法，其特征在于，步骤(5b)中所述的压缩公式如下：

其中，表示求和后的第j类图像特征向量的压缩值，j＝1,2,…n，n取值为待分类图像类别总数，||·||²表示2范数操作，s_j表示求和后的第j类图像特征向量，||·||表示1范数操作。

4.根据权利要求1所述的基于胶囊网络中融入聚类的图像分类方法，其特征在于，步骤(5c)中所述的训练聚类中心公式如下：

其中，v_i为表达第i类自然图像的聚类中心向量，i＝1,2,…m，m取值为待分类图像类别总数，w_i表示对第i类自然图像聚类中心向量的压缩值进行一个局部范围的调整参数，w_i＜ξ，-1＜ξ＜1，表示压缩后的空间关系编码层求和后的第i类自然图像输出向量。