CN109102010A - 一种基于双向神经网络结构的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于双向神经网络结构的图像分类方法，包括以下步骤：1.以Two‑Directional层替代传统卷积网络中的全连阶层，搭建基于双向神经的图像分类模型,2.网络前向传播，通过新增的变换矩阵L和R保持最后一层卷积的矩形结构,3.网络反向传播，更新网络的权重以及响应的变换矩阵L和R4，重复步骤2、3，微调双向神经网络，直到分类网络收敛,5.在训练得到的模型上通过前向传播得到图像的类别编号。本发明利用一种双向神经网络结构，在保证网络深度和宽度不变的前提下，通过设计变换矩阵对特征进行维度变换处理，保证卷积的矩阵形式，有效地保留了图像原始特征空间的结构信息，避免了全连接层中矩阵拉成向量过程中的空间结构信息损失。

Description

一种基于双向神经网络结构的图像分类方法

技术领域

本发明属于深度学习与人工智能领域，特别是指一种图像分类算法，用于大规模图像标注、属性分类问题。

背景技术

图像分类是人工智能研究的重要方向之一，在实际生活中有着众多的应用，例如，智能交通监控中车辆有无遮挡、悬挂车牌,农业卫星的农业与非农业地域的判定,以及百度推出的百度识图、谷歌的花卉识别等，如果图片的属性预测分类工作完全依靠人工，则需要投入大量的人力物力财力,使用基于深度学习的图像分类技术，可以快速、准确的进行图像分类。

当前，随着大数据时代的来临，如何通过海量样本提升模型的分类准确率成为当前的重要挑战和难点,图像分类算法在近些年得到了长足的进步，有些算法认为可通过增加网络的宽度可以提升特征的提取能力，进一步提升分类准确率,目前的算法都是依靠增加网络的宽度或者深度来提升模型的性能,如果想进一步提升算法性能，需要反复设计调整网络、训练微调模型，会耗费大量的人力物力，且并不能保证最终的分类效果得到提升。

发明内容

鉴于上述技术背景，本发明的目的在于：提供一种基于双向神经网络的图像分类方法，不需要重新设计新的网络模型，直接使用Two-Directional layer替换全连接层，避免了模型的繁杂训练过程，在现有模型的基础上就可以大幅提升模型的分类准确度。

为解决上述技术问题，本发明提供了一种基于双向神经网络的图像分类算法，包括以下步骤：

步骤S1，对于全连接层，第l层的输出可表述为下式；

X^l＝f(U^l)

＝f(W^l*X^l-1+b^l)

其中，W表示该层的权重，b表示该层的偏置，f表示的激活函数。

步骤S2，假设第l层为双向神经网络层，前一层为l-1层，后一层为l+1层，这种层的定义可表述为以下式：

其中，m＜a,n＜b，L和R是变换矩阵，T_mn ^l是原始特征经过双向神经网络降维变换后的新特征。

步骤S3，因此在双向神经网络层中，第l层的输出可表述成以下式：

其中f(·)表示激活操作，采用RELU激活函数f(x)＝max(0,x)，解决训练过程中的梯度消失问题；其中W^l为第l层的权重，b^l为第l层的偏置，R^T L就相当于原先完全连接层中的权重矩阵W^l。

步骤S4，对于原来的完全连接层，只需要计算权重矩阵W在每一次迭代时的更新。而对于双向神经网络，需要每次迭代对变换矩阵L和R的参数进行更新：

L^t+1＝L^t+ΔL

R^t+1＝R^t+ΔR

其中t为迭代次数。定义当前层的损失为E，需要分别计算

步骤S5，定义变换矩阵L和R：

那么中间矩阵W为：

因此W的维度为nm*ba，根据链式法则可以计算出误差对变换矩阵L和R的偏导数：

步骤S6，定义输出层的误差为：

其中c为样本总类别个数，t_k为样本的目标输出，y_k为网络的输出。那么输出层的敏感度为：

进而能够计算Two-Directional层和其前一层的误差：

那么可以计算出误差对整个权重矩阵W的偏导数：

这样就可以算出每次迭代的ΔL和ΔR：

步骤S7，由此可得双向神经网络反向传播中变换矩阵L和R在每次迭代的参数更新：

4.权利要求2所述的方法，其特征在于：在训练过程中采用一种end-to-end的训练方式，使用原始图片作为输入，训练包含Two-Directional的分类模型，通过前向传播计算误差，反向传播更显模型权重。模型训练完毕后，通过卷积层提取不同尺度特征，经过迟化层特征融合，然后通过Two-Directional层投影，进行特征的空间结构信息保存，通过1x1卷积操作拉成1列，通过SoftMax预测标签属性。

与现有技术相比，本发明是采用含有两个变换矩阵L和R的Two-Directionallayer替换传统的全连阶层来训练分类模型。其中，变换矩阵将原始高维特征信息投影到低维空间，去除了信息的冗余，同时保持特征的矩形结构，较好解决了传统网络架构采用全连阶层，将特征拉成列向量时空间结构信息的损失。并添加1x1卷积，融合Two-Directionallayer输出的特征和降低维度，进而完成图像的分类任务。本发明中通过使用新设计的Two-Directional layer，不需要对现有网络架构的重新设计，通过finetune就可以较大幅度提升模型的分类准确率,在大规模分类图像库上效果极为明显。

附图说明

图1是本发明的总流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述,以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

包括以下步骤：

步骤S1，使用包含两个变换矩阵的Two-Directional层替换CaffeNet的全连接层；

步骤S2，假设第l层为双向神经网络层，前一层为l-1层，后一层为l+1层，这种层的定义可表述为以下式：

其中，m＜a,n＜b，L和R是变换矩阵，T_mn ^l是原始特征经过双向神经网络降维变换后的新特征。

步骤S3，因此在双向神经网络层中，第l层的输出可表述成以下式：

其中f(·)表示激活操作，采用RELU激活函数f(x)＝max(0,x)，解决训练过程中的梯度消失问题；其中W^l为第l层的权重，b^l为第l层的偏置，就相当于原先完全连接层中的权重矩阵W^l。

步骤S4，对于原来的完全连接层，只需要计算权重矩阵W在每一次迭代时的更新。而对于双向神经网络，需要每次迭代对变换矩阵L和R的参数进行更新：

L^t+1＝L^t+ΔL

R^t+1＝R^t+ΔR

其中t为迭代次数。定义当前层的损失为E，需要分别计算和

步骤S5，定义变换矩阵L和R：

那么中间矩阵W为：

因此W的维度为nm*ba，根据链式法则可以计算出误差对变换矩阵L和R的偏导数：

步骤S6，定义输出层的误差为：

其中c为样本总类别个数，t_k为样本的目标输出，y_k为网络的输出。那么输出层的敏感度为：

进而能够计算Two-Directional层和其前一层的误差：

那么可以计算出误差对整个权重矩阵W的偏导数：

这样就可以算出每次迭代的ΔL和ΔR：

步骤S7，由此可得双向神经网络反向传播中变换矩阵L和R在每次迭代的参数更新：

步骤S8，在训练过程中采用一种end-to-end的训练方式，使用原始图片作为输入，训练包含Two-Directional的分类模型，通过前向传播计算误差，反向传播更显模型权重。模型训练完毕后，通过卷积层提取不同尺度特征，经过迟化层特征融合，然后通过Two-Directional层投影，进行特征的空间结构信息保存，通过1x1卷积操作拉成1列，通过SoftMax预测标签属性。

实施例2

在VGGNet上实现Two-Direction图像分类算法，采用如图1所示的流程，包括以下步骤：

步骤S1，使用包含两个变换矩阵的Two-Directional层替换VGGNet的全连接层；

步骤S2～步骤S8同实施例1。

实施例3

在Caltech-256数据集上分别实施例1、例2，并比较添加Two-Direction层前后的分类性能。

表1 Caltech-256数据集实验结果

实施例4

在Oxford Flower-102数据集上分别实施例1、例2，并比较添加Two-Direction层前后的分类性能。

表2 Oxford Flower-102数据集实验结果

本发明方法与传统的使用全连接层的图像分类模型的对比实验中，本算法在Caltech-256、Oxford Flower-102数据集上分类精度提升了1～3.5个百分点。证明了本发明算法可以避免重新设计网络，去除了漫长的模型训练过程，仅需要简单的微调就可以使得现有分类网络框架分类精度大大提高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种基于双向神经网络结构的图像分类方法，其特征在于包括：所述模型通过在CaffeNet、VGG-16网络模型基础上使用Two-Directional layer替换传统的全连接层的方式构建；

所述网络模型包括用于底层视觉特征、高层语义信息提取的卷积层；用于特征融合、降低维度的迟化层；用于保持空间结构信、特征维度映射的Two-Directional layer；所述的输入包括原始图像；所述的输出包括测试图片对应的分类标签的概率分布。

2.根据权利要求1所述的一种基于双向神经网络的图像分类算法，其特征是，将高维的模式样本投影到最佳判别的低维矢量空间，达到抽取分类信息与压缩特征空间维度的效果，通过变换矩阵矩阵L和R对当前层的特征进行维度变换，并送入SoftMax输出层进行分类。

3.根据权利要求2所述的一种基于双向神经网络的图像分类算法，所述的前向传播包括以下步骤：

步骤S1，对于全连接层，第l层的输出可表述为下式；

X^l＝f(U^l)

＝f(W^l*X^l-1+b^l)

其中，W表示该层的权重，b表示该层的偏置，f表示的激活函数。

步骤S2，假设第l层为双向神经网络层，前一层为l-1层，后一层为l+1层，这种层的定义可表述为以下式：

其中，m＜a,n＜b，L和R是变换矩阵，T_mn ^l是原始特征经过双向神经网络降维变换后的新特征。

步骤S3，因此在双向神经网络层中，第l层的输出可表述成以下式：

其中f(·)表示激活操作，采用RELU激活函数f(x)＝max(0,x)，解决训练过程中的梯度消失问题；其中W^l为第l层的权重，b^l为第l层的偏置，就相当于原先完全连接层中的权重矩阵W^l。

步骤S4，对于原来的完全连接层，只需要计算权重矩阵W在每一次迭代时的更新。而对于双向神经网络，需要每次迭代对变换矩阵L和R的参数进行更新：

L^t+1＝L^t+ΔL

R^t+1＝R^t+ΔR

其中t为迭代次数。定义当前层的损失为E，需要分别计算和

步骤S5，定义变换矩阵L和R：

那么中间矩阵W为：

因此W的维度为nm*ba，根据链式法则可以计算出误差对变换矩阵L和R的偏导数：

步骤S6，定义输出层的误差为：

其中c为样本总类别个数，t_k为样本的目标输出，y_k为网络的输出。那么输出层的敏感度为：

进而能够计算Two-Directional层和其前一层的误差：

那么可以计算出误差对整个权重矩阵W的偏导数：

这样就可以算出每次迭代的ΔL和ΔR：

步骤S7，由此可得双向神经网络反向传播中变换矩阵L和R在每次迭代的参数更新：

4.权利要求2所述的方法，其特征在于：在训练过程中采用一种end-to-end的训练方式，使用原始图片作为输入，训练包含Two-Directional的分类模型，通过前向传播计算误差，反向传播更显模型权重。模型训练完毕后，通过卷积层提取不同尺度特征，经过迟化层特征融合，然后通过Two-Directional层投影，进行特征的空间结构信息保存，通过1x1卷积操作拉成1列，通过SoftMax预测标签属性。