CN110288002B - 一种基于稀疏正交神经网络的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于稀疏正交神经网络的图像分类方法，将获取图像数据作为样本集X和与之对应的样本标签集Y；先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型，初始化代理变量V，根据正交权重W_orth和稀疏矩阵G获得稀疏正交权重W_{orth_es}，再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss，反向传播更新代理变量V后，直到输出最优的稀疏正交权重W_{orth_es}，从而获得训练好的稀疏正交神经网络模型；再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。本发明引入了稀疏矩阵，从而构造出稀疏权重，再运用稀疏权重实现网络的剪枝，减少网络中的参数使用，从而进行了模型的压缩，减少了计算机内存的使用，降低了模型训练时计算机的计算量。

Description

一种基于稀疏正交神经网络的图像分类方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于稀疏正交神经网络的图像分类方法。

背景技术

随着时代的发展，图像识别技术已经逐渐应用于越来越多的领域。深度学习中图像识别的准确率和可靠性也越来越高。一个最主要的因素就是它是由多层非线性变换组成，这些变换具有大量可学习的权重和参数。由于大量的参数，深度网络需要使用大量的计算机内存和计算量来进行训练，并且如果训练数据不充分的话可能会导致过拟合的问题。基于这个问题，很多研究者通过减少参数来实现模型的压缩。

传统的方法通过Dropout剪枝方法对神经网络进行剪枝，实现了网络参数的减少，但是因其随机对神经元进行剪枝，但是伤害了网络的训练效率，往往需要更多的训练次数来达到比较好的准确率。

Batch Normalization批归一化技术的提出能够有效的防止网络的梯度爆炸和梯度消失的问题。但是其在小数据量上不能够发挥的很好。现有的神经网络对图像进行分类存在着以下一些问题：

1.深度神经网络往往需要很多的参数进行图像的识别，图像的训练和测试的代价过高。

2.深层的神经网络往往会带来梯度消失和梯度爆炸的问题，并且现有的处理技术还存在一定的缺陷。

发明内容

本发明根据现有技术中存在的问题，提出了一种基于稀疏正交神经网络的图像分类方法，引入了稀疏矩阵，从而构造出稀疏权重，再运用稀疏权重实现网络的剪枝，减少网络中的参数使用，从而进行了模型的压缩，减少了计算机内存的使用，降低了模型训练时计算机的计算量。

本发明所采用的技术方案如下：

一种基于稀疏正交神经网络的图像分类方法，包括以下步骤：

步骤1，获取图像数据作为样本集X和与之对应的样本标签集Y；

步骤2，先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型，初始化代理变量V，根据正交权重W_orth和稀疏矩阵G获得稀疏正交权重W_{orth_es}，再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss，反向传播更新代理变量V后，直到输出最优的稀疏正交权重W_{orth_es}，从而获得训练好的稀疏正交神经网络模型；

步骤3，再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果。

进一步，所述初始化代理变量V的方法为：对V做一个中心化处理：

其中，

1_d是一个全都是1的d维向量；

进一步，获得正交权重W_orth的方法为：

先构建正交模型：

min_ptr((W-Vc)(W-Vc)^T)

s.t.W＝PVc and WW^T＝I

由正交模型得到P＝DΛ^-1/2D^T；

得到正交的权重W_orth为：W_orth＝PVc＝DΛ^-1/2D^TVc；

其中，W为权重，I为单位矩阵，D为Vc Vc^T的特征向量矩阵，Λ为Vc Vc^T特征值矩阵；

进一步，所述稀疏矩阵G表示为：

其中，λ为正则化参数，w_g为一组权重向量，w_g,i为一组权重向量中的单个元素。

进一步，获得所述稀疏正交权重W_{orth_es}的方法为：在正交模型中添加稀疏矩阵G，使得正交模型变的稀疏，表示如下：

min_ptr((WG-Vc)(WG-Vc)^T)

s.t.WG＝PVc and WG²W^T＝I

由于W＝w_g,iG^-1

将正交的权重W_orth代入上式，得到稀疏正交权重W_orth__es表达式：

进一步，所述损失Loss的计算方法为：Loss＝F(Y_predict,Y)；其中，Y_predict为预测标签结果，Y为真实值。

进一步，所述反向传播更新代理变量V的方法为：

其中，L为损失Loss，V为代理变量。

进一步，所述步骤3的处理过程为：根据Y_predict＝W_orth__es ^TX_test，获得图像测试集的预测标签结果Y_predict，从而实现对对图像的分类。

本发明的有益效果：

1.有效防止了神经网络学习中的梯度爆炸和梯度消失的问题，并且加速了网络的收敛。

2.运用稀疏权重实现网络的剪枝，减少网络中的参数使用，从而进行了模型的压缩，减少了计算机内存的使用，降低了模型训练时计算机的计算量。

附图说明

图1是本发明的整体流程框图；

图2是本发明稀疏正交神经网络模型的构造方法；

图3是本发明神经网络的稀疏效果图；

图4是本发明稀疏正交神经网络模型对图片分类效果与其他模型的分类效果的对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1，本发明所设计的一种基于稀疏正交神经网络的图像分类方法，包括以下步骤：

步骤1，获取图像数据作为样本集,对于空间R，设有样本集X＝[x₁,x₂,x₃...x_m]∈Rⁿ*^m其中，x_m是图像样本，n样本的特征数，m是样本的数量；与样本集对应的是样本的标签集Y＝[y₁,y₂,y₃...y_m]∈R^p*m，其中，y_m是图像的标签,p是标签集Y的维度，m是标签集样本的数量。

步骤2，训练稀疏正交神经网络模型的方法为：

S1、初始化代理变量V，通过V的函数使网络中的权重正交W＝φ(V)，WW^T＝I。将V做一个中心化处理得到：

其中

1_d是一个全都是1的d维向量。

S2、为了使得权重W和Vc之间的误差最小，先构建正交模型：

通过正交模型确定了P的值：

P＝DΛ^-1/2D^T；   (2)

最终我们更新权重W得到正交的权重W_orth为

W_orth＝DΛ^-1/2D^TVc；   (3)

其中，I为单位矩阵，D为特征值分解矩阵，Λ为特征值矩阵。

S3、选取L1-范数作为基础构建稀疏矩阵G，表示为：

其中λ为正则化参数，w_g为一组权重向量，w_g,i为一组权重向量中的单个元素。

S4、为了实现稀疏的结构，向正交模型添加一个矩阵G来使得模型变的稀疏：

实现正交的权重W_orth的更新：

W＝w_g,iG^-1；   (5)

将正交的权重W_orth代入上式，得到稀疏正交权重W_{orth_es}表达式：

S5、输入此时的稀疏正交权重W_orth__es，输入一组图像样本数据集，进行深度网络训练得到预测值Y_predict，根据预测值Y_predict和真实值Y计算得到损失值Loss：

Loss＝F(Y_predict,Y)；   (7)

S6、根据损失值Loss进行反向传播，从而对此时的代理变量V进行更新，得到一个更新后的V

其中，L为损失Loss。

S7、设定遍历次数Epoch，将S6更新后的代理变量V再重复S2-S7，在完成所设定的遍历次数后输出最优的稀疏正交权重W_orth__es，从而获得训练好的稀疏正交神经网络模型。

步骤3，将测试集X_test＝[x₁,x₂,x₃...x_m]∈Rⁿ*m输入训练好的稀疏正交神经网络模型根据Y_predict＝W^TX用于现在的图像识别并且对图像进行分类,其中Y_predict是预测标签结果。其中X_test是图像样本，n样本的特征数，m是样本的数量。

如图3，本发明的稀疏正交神经网络模型通过稀疏正交的方法，网络中的某些权重被抛弃(图中虚线)。

为了更清楚的说明本发明所带来的技术效果，如图4，通过不同的稀疏程度得到不同的参数使用量并与传统标准方法进行对比。结果表示本发明的方法在使用更少的参数情况下错误率更低，准确率更高。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (2)

1.一种基于稀疏正交神经网络的图像分类方法，其特征在于，包括以下步骤：

步骤1，获取图像数据作为样本集X和与之对应的样本标签集Y；

步骤2，先将样本集X和标签集Y的训练集输入稀疏正交神经网络模型，初始化代理变量V，根据正交权重W_orth和稀疏矩阵G获得稀疏正交权重W_{orth_es}，再通过设定遍历次数计算图像样本预测值跟真实值之间的损失Loss，反向传播更新代理变量V后，直到输出最优的稀疏正交权重W_{orth_es}，从而获得训练好的稀疏正交神经网络模型；

步骤3，再利用训练后的稀疏正交神经网络模型对测试集进行处理输出图像的分类结果；

所述初始化代理变量V的方法为：对V做一个中心化处理：

其中，

1_d是一个全都是1的d维向量；

获得正交权重W_orth的方法为：先构建正交模型：

min_ptr((W-Vc)(W-Vc)^T)

s.t.W＝PVc and WW^T＝I

由正交模型得到P＝DΛ^-1/2D^T；

得到正交的权重W_orth为：W_orth＝PVc＝DΛ^-1/2D^TVc；其中，W为权重，I为单位矩阵，D为VcVc^T的特征向量矩阵，Λ为Vc Vc^T特征值矩阵；

所述稀疏矩阵G表示为：

其中，λ为正则化参数，w_g为一组权重向量，w_g,i为一组权重向量中的单个元素；

获得所述稀疏正交权重W_{orth_es}的方法为：在正交模型中添加稀疏矩阵G，使得正交模型变的稀疏，表示如下：

min_ptr((WG-Vc)(WG-Vc)^T)

s.t.WG＝PVc and WG²W^T＝I

由于W＝w_g,iG^-1；将正交的权重W_orth代入上式，得到稀疏正交权重W_{orth_es}表达式：

所述损失Loss的计算方法为：Loss＝F(Y_predict,Y)；其中，Y_predict为预测标签结果，Y为真实值；

所述反向传播更新代理变量V的方法为：

其中，L为损失Loss，V为代理变量。

2.根据权利要求1所述的一种基于稀疏正交神经网络的图像分类方法，其特征在于，所述步骤3的处理过程为：根据Y_predict＝W_{orth_es} ^TX_test，获得图像测试集的预测标签结果Y_predict，从而实现对图像的分类。

Images