CN109102002A - 结合卷积神经网络和概念机递归神经网络的图像分类方法 - Google Patents

Abstract

本发明公开了一种结合卷积神经网络和概念机递归神经网络的图像分类方法，包括步骤：1)搭建并训练Resnet50残差神经网络；2)搭建概念机递归神经网络；3)将Resnet50残差神经网络结构和概念机递归神经网络进行融合；4)把图像的训练样本集输入融合后的神经网络；5)对于储备池状态序列x(1),…x(L)，构建代价函数；6)通过训练样本的每类图像得到概念机；7)对于每一类图像计算反向概念机；8)计算出测试样本所属的图像类别。本发明不仅可利用卷积神经网络的迁移学习把已学好的模型参数迁移到新的模型来帮助新模型训练，还可以利用概念机递归神经网络进行增量式的学习识别新的图像而不必对已学习的图像进行重复学习和训练。

Description

结合卷积神经网络和概念机递归神经网络的图像分类方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像分类方法。

背景技术

图像识别和分类是计算机视觉和图像理解领域的一个重要方向，目前，在处理图像分类问题上，卷积神经网络取得了较为明显的成果，虽然卷积神经网络具有较高的准确度，但是它在经过学习后其结构就已经建立，而且不可更改，无法在原有的基础上继续学习识别新的图像。如果需要学习识别新的图像，则必须重新初始化所有结构，这必将浪费巨大的损耗来重新训练和学习模型。

发明内容

有鉴于此，本发明的目的一种结合卷积神经网络和概念机递归神经网络的图像分类方法，利用卷积神经网络来更好的提取图像的特征，同时利用概念机递归神经网络增量学习的优势，实现不仅可利用卷积神经网络的迁移学习把已学好的模型参数迁移到新的模型来帮助新模型训练，同时也可以利用概念机递归神经网络进行增量式的学习识别新的图像而不必对已学习的图像进行重复学习和训练；以解决现有采用卷积神经网络处理图像分类问题，如果需要学习识别新的图像，则必须重新初始化所有结构，将浪费巨大的损耗来重新训练和学习模型的问题。

本发明结合卷积神经网络和概念机递归神经网络的图像分类方法，其特征在于：包括以下步骤：

1)搭建Resnet50残差神经网络，所述Resnet50残差神经网络包含卷积层、池化层和最后的全连接层，基于ImageNet图像数据集训练Resnet50残差神经网络，当训练迭代次数大于指定迭代次数时训练结束，保存Resnet50残差神经网络的卷积层参数和池化层参数作为预训练网络模型；

2)搭建概念机递归神经网络，所述概念机递归神经网络由输入神经元、储备池神经元和输出神经元组成，全部的储备池神经元构成储备池，储备池神经元之间的连接矩阵符合ESN规则，即储备池内部连接权值矩阵的谱半径β<1，以保证储备池具有回声状态属性；储备池激励函数采用双曲正切函数，网络的更新方程为：

x_j(n+1)＝tanh(W*x_j(n)+W_in*p_j(n+1)+b)

其中，W_in为输入层神经元与储备池神经元之间的输入权值矩阵，由标准正态分布的随机数组成；W为储备池神经元之间的连接权值矩阵，先由标准正态分布的随机数生成，再约束其谱半径β<1；b为偏置，值为1；p_j(n+1)为概念机递归神经网络的输入，即Resnet50残差神经网络最后的池化层输出；W_in、W和b生成之后固定不变；x_j(n)是储备池上一个时刻的状态空间；n是指一个时刻，下标j是输入图像样本的顺序编号；

3)去除Resnet50残差神经网络结构的全连接层，加载预训练网络模型的卷积层参数和池化层参数，将Resnet50残差神经网络最后的池化层输出作为概念机递归神经网络的输入，即把Resnet50残差神经网络最后的池化层的输出作为概念机递归神经网络的训练样本集，从而将Resnet50残差神经网络和概念机递归神经网络融合以进行新模型的训练；

4)把图像的训练样本集输入融合后的神经网络，计算并记录由概念机递归神经网络的输入即Resnet50残差神经网络的输出p_j所激发的储备池内部状态集{x^j}；

5)对于储备池状态序列x(1),…x(L)，构建如下的代价函数：

其中C为概念机矩阵，它描述了储备池状态空间的特征；α≥0，是一个调节参数，通过调节α可找到一个使目标函数最小化的平衡点；L是指此类图像的样本数；通过随机梯度下降法得到概念机C：

C(R,α)＝R(R+α^-2I)^-1

其中，R＝XX^T/L，为状态相关矩阵，X为状态集{x¹}，X^T是X的转置；I是单位矩阵；根据Frobenius平方范数的梯度寻找合适的α：

用于衡量概念机C在指数尺度上的敏感度，当达到最大值，C对数据变化的敏感程度最大；

6)通过概念机神经网络的输入p_j得到概念机C_j；

7)对于每一类图像计算反向概念机 符号表示逻辑非操作，符号∨表示逻辑或操作；给定两个概念机矩阵C₁、C₂和一个单位矩阵I，可以进行如下逻辑操作：

逻辑非操作

逻辑与操作(∧)：C₁∧C₂＝(C₁ ^-1+C₂ ^-1-I)^-1

逻辑或操作(∨)：

8)将概念机递归神经网络的训练样本p₁,p₂,…都加载到储备池中，则可以对测试样本集p_i进行识别，通过步骤4)得到测试样本集p_i的储备池内部状态集{xⁱ}，计算图像的正向判别依据：

E⁺(C，X)＝X^TCX

同样的再根据概念机计算图像的反向判别依据：

E^-(C^-，X)＝X^TC^-X

结合这两种判别依据得到一个综合判别依据：

E^+-(C，C^-，X)＝E⁺(C，X)+E^-(C^-，X)

通过训练样本计算得到的概念机C_j、和测试样本所激发的储备池状态，计算出测试样本所属的图像类别：

j*就是测试图像的所属类别，j＝1,…,M；M为图像的类别数量。

本发明的有益效果：

本发明结合卷积神经网络和概念机递归神经网络的图像分类方法，不仅可利用卷积神经网络的迁移学习把已学好的模型参数迁移到新的模型来帮助新模型训练，同时也可以利用概念机递归神经网络进行增量式的学习识别新的图像而不必对已学习的图像进行重复学习和训练，解决了现有采用卷积神经网络处理图像分类问题时，如果需要学习识别新的图像，则必须重新初始化所有结构，将浪费巨大的损耗来重新训练和学习模型的问题。

附图说明

图1是概念机递归神经网络结构图，图中K input units意思为K个输入神经元，Ninterlnal units意思为N个储备池神经元，L output units意思为L个输出神经元；

图2是Resnet50残差神经网络和概念机递归神经网络融合后的神经网络结构；

图3是概念机的逻辑或操作示意图，虚线为C₁，点划线为C₂，双划线表示C₁∨C₂；双划线--点划线.-虚线..；

图4是概念机的逻辑与操作示意图，虚线为C₁，点划线为C₂，双划线表示C₁∧C₂；双划线--点划线.-虚线..；

图5是概念机的逻辑非操作示意图，虚线为C₁，双划线表示C₁；双划线--虚线..；

图6是本发明结合卷积神经网络和概念机递归神经网络的图像分类方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

本实施例结合卷积神经网络和概念机递归神经网络的图像分类方法，其特征在于：包括以下步骤：

1)搭建Resnet50残差神经网络，所述Resnet50残差神经网络包含卷积层、池化层和最后的全连接层，基于ImageNet图像数据集训练Resnet50残差神经网络，当训练迭代次数大于指定迭代次数时训练结束，保存Resnet50残差神经网络的卷积层参数和池化层参数作为预训练网络模型；

2)搭建概念机递归神经网络，所述概念机递归神经网络由输入神经元、储备池神经元和输出神经元组成，全部的储备池神经元构成储备池，储备池神经元之间的连接矩阵符合ESN规则，即储备池内部连接权值矩阵的谱半径β<1，以保证储备池具有回声状态属性；储备池激励函数采用双曲正切函数，网络的更新方程为：

x_j(n+1)＝tanh(W*x_j(n)+W_in*p_j(n+1)+b)

其中，W_in为输入层神经元与储备池神经元之间的输入权值矩阵，由标准正态分布的随机数组成；W为储备池神经元之间的连接权值矩阵，先由标准正态分布的随机数生成，再约束其谱半径β<1；b为偏置，值为1；p_j(n+1)为概念机递归神经网络的输入，即Resnet50残差神经网络最后的池化层输出；W_in、W和b生成之后固定不变；x_j(n)是储备池上一个时刻的状态空间；n是指一个时刻，下标j是输入图像样本的顺序编号；

3)去除Resnet50残差神经网络结构的全连接层，加载预训练网络模型的卷积层参数和池化层参数，将Resnet50残差神经网络最后的池化层输出作为概念机递归神经网络的输入，即把Resnet50残差神经网络最后的池化层的输出作为概念机递归神经网络的训练样本集，从而将Resnet50残差神经网络和概念机递归神经网络融合以进行新模型的训练；

4)把图像的训练样本集输入融合后的神经网络，计算并记录由概念机递归神经网络的输入即Resnet50残差神经网络的输出p_j所激发的储备池内部状态集{x^j}；

5)对于储备池状态序列x(1),…x(L)，构建如下的代价函数：

其中C为概念机矩阵，它描述了储备池状态空间的特征；α≥0，是一个调节参数，通过调节α可找到一个使目标函数最小化的平衡点；L是指此类图像的样本数；通过随机梯度下降法得到概念机C：

C(R,α)＝R(R+α^-2I)^-1

其中，R＝XX^T/L，为状态相关矩阵，X为状态集{x¹}，X^T是X的转置；I是单位矩阵；根据Frobenius平方范数的梯度寻找合适的α：

用于衡量概念机C在指数尺度上的敏感度，当达到最大值，C对数据变化的敏感程度最大；

6)通过概念机神经网络的输入p_j得到概念机C_j；

7)对于每一类图像计算反向概念机 符号表示逻辑非操作，符号∨表示逻辑或操作；给定两个概念机矩阵C₁、C₂和一个单位矩阵I，可以进行如下逻辑操作：

逻辑非操作

逻辑与操作(∧)：C₁∧C₂＝(C₁ ^-1+C₂ ^-1-I)^-1

逻辑或操作(∨)：

8)将概念机递归神经网络的训练样本p₁,p₂,…都加载到储备池中，则可以对测试样本集p_i进行识别，通过步骤4)得到测试样本集p_i的储备池内部状态集{xⁱ}，计算图像的正向判别依据：

E⁺(C，X)＝X^TCX

同样的再根据概念机计算图像的反向判别依据：

E^-(C^-，X)＝X^TC^-X

结合这两种判别依据得到一个综合判别依据：

E^+-(C，C^-，X)＝E⁺(C，X)+E^-(C^-，X)

通过训练样本计算得到的概念机C_j、和测试样本所激发的储备池状态，计算出测试样本所属的图像类别：

j*就是测试图像的所属类别，j＝1,…,M；M为图像的类别数量。

本实施例结合卷积神经网络和概念机递归神经网络的图像分类方法，不仅可利用卷积神经网络的迁移学习把已学好的模型参数迁移到新的模型来帮助新模型训练，并且通过步骤3、4、5、6和7计算图像的概念机矩阵可以让概念机递归神经网络增量式的学习识别新的图像，而不必对已学习的图像进行重复学习，通过步骤8可以识别已学习的图像类别。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.结合卷积神经网络和概念机递归神经网络的图像分类方法，其特征在于：包括以下步骤：

1)搭建Resnet50残差神经网络，所述Resnet50残差神经网络包含卷积层、池化层和最后的全连接层，基于ImageNet图像数据集训练Resnet50残差神经网络，当训练迭代次数大于指定迭代次数时训练结束，保存Resnet50残差神经网络的卷积层参数和池化层参数作为预训练网络模型；

2)搭建概念机递归神经网络，所述概念机递归神经网络由输入神经元、储备池神经元和输出神经元组成，全部的储备池神经元构成储备池，储备池神经元之间的连接矩阵符合ESN规则，即储备池内部连接权值矩阵的谱半径β<1，以保证储备池具有回声状态属性；储备池激励函数采用双曲正切函数，网络的更新方程为：

x_j(n+1)＝tanh(W*x_j(n)+W_in*p_j(n+1)+b)

其中，W_in为输入层神经元与储备池神经元之间的输入权值矩阵，由标准正态分布的随机数组成；W为储备池神经元之间的连接权值矩阵，先由标准正态分布的随机数生成，再约束其谱半径β<1；b为偏置，值为1；p_j(n+1)为概念机递归神经网络的输入，即Resnet50残差神经网络最后的池化层输出；W_in、W和b生成之后固定不变；x_j(n)是储备池上一个时刻的状态空间；n是指一个时刻，下标j是输入图像样本的顺序编号；

3)去除Resnet50残差神经网络结构的全连接层，加载预训练网络模型的卷积层参数和池化层参数，将Resnet50残差神经网络最后的池化层输出作为概念机递归神经网络的输入，即把Resnet50残差神经网络最后的池化层的输出作为概念机递归神经网络的训练样本集，从而将Resnet50残差神经网络和概念机递归神经网络融合以进行新模型的训练；

4)把图像的训练样本集输入融合后的神经网络，计算并记录由概念机递归神经网络的输入即Resnet50残差神经网络的输出p_j所激发的储备池内部状态集{x^j}；

5)对于储备池状态序列x(1),…x(L)，构建如下的代价函数：

其中C为概念机矩阵，它描述了储备池状态空间的特征；α≥0，是一个调节参数，通过调节α可找到一个使目标函数最小化的平衡点；L是指此类图像的样本数；通过随机梯度下降法得到概念机C：

C(R,α)＝R(R+α^-2I)^-1

其中，R＝XX^T/L，为状态相关矩阵，X为状态集{x¹}，X^T是X的转置；I是单位矩阵；根据Frobenius平方范数的梯度寻找合适的α：

用于衡量概念机C在指数尺度上的敏感度，当达到最大值，C对数据变化的敏感程度最大；

6)通过概念念机神经网络的输入p_j得到概念机C_j；

7)对于每一类图像计算反向概念机符号表示逻辑非操作，符号∨表示逻辑或操作；给定两个概念机矩阵C₁、C₂和一个单位矩阵I，可以进行如下逻辑操作：

逻辑非操作

逻辑与操作(∧)：C₁∧C₂＝(C₁ ^-1+C₂ ^-1-I)^-1

逻辑或操作

8)将概念机递归神经网络的训练样本p₁,p₂,…都加载到储备池中，则可以对测试样本集p_i进行识别，通过步骤4)得到测试样本集p_i的储备池内部状态集{xⁱ}，计算图像的正向判别依据：

E⁺(C，X)＝X^TCX

同样的再根据概念机计算图像的反向判别依据：

E^-(C^-，X)＝X^TC^-X

结合这两种判别依据得到一个综合判别依据：

E^+-(C，C^-，X)＝E⁺(C，X)+E^-(C^-，X)

通过训练样本计算得到的概念机C_j、和测试样本所激发的储备池状态，计算出测试样本所属的图像类别：

j*就是测试图像的所属类别，j＝1，…，M；M为图像的类别数量。