CN111401430A - 一种基于双通道深度神经网络的图像在线分类方法 - Google Patents

Abstract

本发明提供了一种基于双通道深度神经网络的图像在线分类方法，本发明构建两个通道网络以及一个融合网络的能量网络，将训练图像数据d_i分别输入至两个通道网络进行训练，生成新的图像训练数据序列；将训练图像数据d_i+1分别加入至生成的图像训练数据序列并输入至融合网络进行训练。本发明使用双通道网络以及加入了网络修正因子φ，使得两个通道的神经网络对历史训练数据和在线添加的新数据的学习存在敏感性差异，并且能够整合两个通道网络的学习结果，弥补了深度神经网络在线学习的所有缺点，完全消除使用生成数据对网络多次训练造成的不良影响。

Description

一种基于双通道深度神经网络的图像在线分类方法

技术领域

本发明属于图像分类技术领域，尤其涉及一种基于双通道深度神经网络的图像在线分类方法。

背景技术

深度神经网络的训练通常以离线学习的方式进行，网络在训练完成后将无法使用新的数据对其进行继续训练，在线学习可以循序渐进的给网络提供训练数据，逐步积累学习成果。在线通过每次接收数据时，判断新数据是否相对于旧的数据包含了新的特征，来决定是否对新数据进行学习，这样较好的解决了重复学习全部训练样本、以及学习新数据之后旧数据的特征被覆盖的问题。但是，深度神经网络的在线学习存在着一些问题，其中最为严重的就是“灾难遗忘”问题，“灾难遗忘”是深部神经网络在线训练过程中，一旦新的数据集被用于训练现有的神经网络，网络将失去识别原始数据集的能力。

为了克服灾难性的遗忘，像L2正则化和Dropout这样的方法可以通过巩固网络内的权重最大化保留，降低某些参数上的学习率也可以减少遗忘现象，但是，这些方法的对缓解“灾难遗忘”的能力非常有限。生成性重放(GR)是一种新方法，该方法通过利用生成网络的容量而不是记录过去的经验来减轻“灾难遗忘”，在GR过程中，生成网络生成包含原始数据集信息的“存储数据”，然后，将生成的“存储器数据”作为重放知识，重新训练网络。生成网络近似于训练数据分布的能力直接决定了存储器数据的质量，影响了GR的性能，此外，使用GR的深度神经网络本身也存在一个严重的缺陷，在多次使用生成数据后，会过多加强历史数据的影响，这中为了消除“灾难遗忘”而造成的矫枉过正，同样会对深度神经网络的在线学习带来极大的影响。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于双通道深度神经网络的图像在线分类方法，弥补了深度神经网络在线学习的所有缺点。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于双通道深度神经网络的图像在线分类方法，包括以下步骤：

S1、构建包含Net₁和Net₂的两个通道网络以及一个融合网络Net₃的能量网络，且所述三个网络均为基于能量的深度神经网络，并具有相同的网络结构；

S2、将训练图像数据d₁,d₂,d₃,…,d_n组成图像训练数据序列{d₁,d₂,d₃,…,d_n},其中，n表示训练图像数据集合中数据的个数；

S3、令i＝1,将训练图像数据d_i分别输入至Net₁和Net₂两个通道网络进行训练；

S4、分别利用Net₁和Net₂的两个通道网络，生成新的图像训练数据序列{g¹ ₁,g¹ ₂g¹ ₃,…,g¹ _m}和{g² ₁,g² ₂g² ₃,…,g² _m}，其中，m表示生成图像数据的个数；

S5、将训练图像数据d_i+1分别加入至所述新的图像训练数据序列，得到图像数据序列

和

S6、将所述图像数据序列

和

分别输入至Net₁和Net₂两个通道网络进行训练，并令i＝i+1；

S7、将经步骤S6训练生成的新图像数据序列

和

组成图像数据序列

并将组成的图像数据序列D₃输入至融合网络Net₃进行训练；

S8、判断所述图像训练数据序列{d₁,d₂,d₃,…,d_n}中所有数据是否均被使用，若是，则完成图像的在线分类，否则，返回步骤S4。

进一步地，所述步骤S1包括以下步骤：

S101、确定含有Net₁和Net₂两个通道网络以及融合网络Net₃的能量函数；

S102、根据下式计算得到所述能量函数中单个显层单元v_i的对数似然导数

其中，logp(v)表示显层单元概率的对数，w_ij表示第i个和第j个神经元的连接权重，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元,p(h_i＝1|v)表示隐层第i个神经元值为1的概率；

S103、根据所述对数似然导数令能量网络的期望E(Net)＝∑_vp(v)p(h_i＝1|v)v_j,训练数据的期望E(date)＝p(h_i＝1|v)v_i；

S104、分别初始化通道网络Net₁和Net₂，以及融合网络Net₃的网络参数W₁,W₂和W₃，并更新参数ΔW₁、ΔW₂和ΔW₃，从而完成对能量网络的构建，其中，W₁表示能量网络Net₁的初始化参数，ΔW₁表示W₁的更新量，W₂表示能量网络Net₂的初始化参数，ΔW₂表示W₂的更新量，W₃表示能量网络Net₃的初始化参数，ΔW₃表示W₃的更新量。

再进一步地，所述步骤S101中能量函数ε(v,h；W)的表达式如下：

ε(v,h；W)＝-v^TWh

v＝(v₁,v₂,v₃,...,v_N)

h＝(h₁,h₂,h₃,...,h_m)

其中，v表示能量网络的显层单元,N表示显层单元神经元个数,h表示能量网络的隐层单元，m表示隐层单元神经元个数,W表示网络参数。

再进一步地，所述步骤S6包括以下步骤：

S601、将所述图像数据序列

输入至Net₁通道网络进行训练，并令i＝i+1，更新初始化参数为W₁’；

S602、将所述图像数据序列

输入至Net₂通道网络进行训练，并令i＝i+1，更新初始化参数为W₂’。

再进一步地，所述步骤S601中更新后的参数W₁’的表达式如下：

W₁'＝W₁+ΔW₁

ΔW₁＝p(h_i＝1|v)v_j-∑_vp(v)p(h_i＝1|v)v_j

其中，W₁表示能量网络Net₁的初始化参数，ΔW₁表示W₁的更新量，p(h_i＝1|v)表示隐层第i个神经元值为1的概率，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元。

再进一步地，所述步骤S602中更新后的参数W₂’的表达式如下：

W₂'＝W₂+ΔW₂'

ΔW₂'＝ΔW₂+[φE(d_i)+E(D₂)-E(Net₂)]

其中，W₂表示能量网络Net₂的初始化参数，ΔW₂表示W₂的更新量，E(·)表示图像数据的期望，d_i表示第i个训练图像数据，D₂表示能量网络Net₂生成的图像数据集，n表示图像训练数据集合中数据的个数，φ表示网络修下因子，k表示生成样本的补偿参数，且k＜m，k＝3,m表示生成图像数据的个数,ΔW₂'表示更新后的ΔW₂。

再进一步地，所述步骤S7中融合网络Net₃训练后的参数W₃'表达式如下：

W₃'＝W₃+ΔW₃

ΔW₃＝p(h_i＝1|v)v_j-∑_vp(v)p(h_i＝1|v)v_j

其中，W₃表示能量网络Net₃的初始化参数，ΔW₃表示W₃的更新量，p(h_i＝1|v)表示隐层第i个神经元值为1的概率，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元。

本发明的有益效果：

(1)本发明提供一种基于双通道深度神经网络的图像在线分类方法，能量网络本身即是判别神经网络，又是一种生成神经网络，能使该方法可以作为任意其他判别网络或生成网络的参数训练架构，拓展性极强，从而可以使深度神经网络在线学习的效果不逊色于离线学习；

(2)本发明使用双通道网络，既消除了“灾难遗忘”的影响，又消除了使用GR方法带来的历史数据过度学习的问题；

(3)本发明在双通道网络中加入了网络修正因子φ，该因子可以使得两个通道的神经网络对历史训练图像数据和在线添加的新图像数据的学习存在敏感性差异，并且能够整合两个通道网络的学习结果，弥补了深度神经网络在线学习的所有缺点，可以完全消除使用生成数据来对网络多次训练造成的不良影响。

附图说明

图1为本发明的方法流程图。

图2为本发明的能量网络结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

如图1-图2所示，本发明提供了一种基于双通道深度神经网络的图像在线分类方法，其实现方法如下：

S1、构建包含Net₁和Net₂的两个通道网络以及一个融合网络Net₃的能量网络，且三个网络均为基于能量的深度神经网络，并具有相同的网络结构；

S2、将训练图像数据d₁,d₂,d₃,…,d_n组成图像训练数据序列{d₁,d₂,d₃,…,d_n},其中，n表示训练图像数据集合中数据的个数；

S3、令i＝1,将训练图像数据d_i分别输入至Net₁和Net₂两个通道网络进行训练；

S4、分别利用Net₁和Net₂的两个通道网络，生成新的图像训练数据序列{g¹ ₁,g¹ ₂g¹ ₃,…,g¹ _m}和{g² ₁,g² ₂g² ₃,…,g² _m}，其中，m表示生成图像数据的个数；

S5、将训练图像数据d_i+1分别加入至新的图像训练数据序列，得到图像数据序列

和

S6、将图像数据序列

和

分别输入至Net₁和Net₂两个通道网络进行训练，并令i＝i+1；

S7、将经步骤S6训练生成的新图像数据序列

和

组成图像数据序列

并将组成的图像数据序列D₃输入至融合网络Net₃进行训练；

S8、判断图像训练数据序列{d₁,d₂,d₃,…,d_n}中所有数据是否均被使用，若是，则完成图像的在线分类，否则，返回步骤S4。

本实施例中，步骤S1包括以下步骤：

S101、确定含有Net₁和Net₂两个通道网络以及融合网络Net₃的能量函数；

能量函数ε(v,h；W)的表达式如下：

ε(v,h；W)＝-v^TWh

v＝(v₁,v₂,v₃,...,v_N)

h＝(h₁,h₂,h₃,...,h_m)

其中，v表示能量网络的显层单元,N表示显层单元神经元个数,h表示能量网络的隐层单元，m表示隐层单元神经元个数,W表示网络参数；

S102、根据下式计算得到能量函数中单个显层单元v_i的对数似然导数

其中，logp(v)表示显层单元概率的对数，w_ij表示第i个和第j个神经元的连接权重，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元,p(h_i＝1|v)表示隐层第i个神经元值为1的概率；

S103、根据对数似然导数令能量网络的期望E(Net)＝∑_vp(v)p(h_i＝1|v)v_j,训练数据的期望E(date)＝p(h_i＝1|v)v_i；

S104、分别初始化通道网络Net₁和Net₂，以及融合网络Net₃的网络参数W₁,W₂和W₃，并更新参数ΔW₁、ΔW₂和ΔW₃，从而完成对能量网络的构建，其中，W₁表示能量网络Net₁的初始化参数，ΔW₁表示W₁的更新量，W₂表示能量网络Net₂的初始化参数，ΔW₂表示W₂的更新量，W₃表示能量网络Net₃的初始化参数，ΔW₃表示W₃的更新量。

本实施例中，步骤S6包括以下步骤：

S601、将图像数据序列

输入至Net₁通道网络进行训练，并令i＝i+1，更新初始化参数为W₁’；

更新后的参数W₁’的表达式如下：

W₁'＝W₁+ΔW₁

ΔW₁＝p(h_i＝1|v)v_j-∑_vp(v)p(h_i＝1|v)v_j

其中，W₁表示能量网络Net₁的初始化参数，ΔW₁表示W₁的更新量，p(h_i＝1|v)表示隐层第i个神经元值为1的概率，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元；

S602、将图像数据序列

输入至Net₂通道网络进行训练，并令i＝i+1，更新初始化参数为W₂’；

更新后的参数W₂’的表达式如下：

W₂'＝W₂+ΔW₂'

ΔW₂'＝ΔW₂+[φE(d_i)+E(D₂)-E(Net₂)]

其中，W₂表示能量网络Net₂的初始化参数，ΔW₂表示W₂的更新量，E(·)表示图像数据的期望，d_i表示第i个训练图像数据，D₂表示能量网络Net₂生成的图像数据集，n表示图像训练数据集合中数据的个数，φ表示网络修下因子，k表示生成样本的补偿参数，且k＜m，k＝3,m表示生成图像数据的个数,ΔW₂'表示更新后的ΔW₂。

本实施例中，融合网络Net₃训练后的参数W₃'表达式如下：

W₃'＝W₃+ΔW₃

ΔW₃＝p(h_i＝1|v)v_j-∑_vp(v)p(h_i＝1|v)v_j

其中，W₃表示能量网络Net₃的初始化参数，ΔW₃表示W₃的更新量，p(h_i＝1|v)表示隐层第i个神经元值为1的概率，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元。

本实施例中，本发明在多个公开数据库中均取得目前所有深度神经网络在线学习的最优结果，其中，NORB数据集最高分类准确率为96.02％，最低准确率为95.01％；CIFAR-10数据集最高分类准确率为97.68％，最低准确率为95.34％。

Claims (7)

1.一种基于双通道深度神经网络的图像在线分类方法，其特征在于，包括以下步骤：

S1、构建包含Net₁和Net₂的两个通道网络以及一个融合网络Net₃的能量网络，且所述三个网络均为基于能量的深度神经网络，并具有相同的网络结构；

S2、将训练图像数据d₁,d₂,d₃,…,d_n组成图像训练数据序列{d₁,d₂,d₃,…,d_n},其中，n表示训练图像数据集合中数据的个数；

S3、令i＝1,将训练图像数据d_i分别输入至Net₁和Net₂两个通道网络进行训练；

S4、分别利用Net₁和Net₂的两个通道网络，生成新的图像训练数据序列{g¹ ₁,g¹ ₂g¹ ₃,…,g¹ _m}和{g² ₁,g² ₂g² ₃,…,g² _m}，其中，m表示生成图像数据的个数；

S5、将训练图像数据d_i+1分别加入至所述新的图像训练数据序列，得到图像数据序列

和

S6、将所述图像数据序列

和

分别输入至Net₁和Net₂两个通道网络进行训练，并令i＝i+1；

S7、将经步骤S6训练生成的新图像数据序列

和

组成图像数据序列

并将组成的图像数据序列D₃输入至融合网络Net₃进行训练；

S8、判断所述图像训练数据序列{d₁,d₂,d₃,…,d_n}中所有数据是否均被使用，若是，则完成图像的在线分类，否则，返回步骤S4。

2.根据权利要求1所述的基于双通道深度神经网络的图像在线分类方法，其特征在于，所述步骤S1包括以下步骤：

S101、确定含有Net₁和Net₂两个通道网络以及融合网络Net₃的能量函数；

S102、根据下式计算得到所述能量函数中单个显层单元v_i的对数似然导数

其中，logp(v)表示显层单元概率的对数，w_ij表示第i个和第j个神经元的连接权重，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元,p(h_i＝1|v)表示隐层第i个神经元值为1的概率；

S103、根据所述对数似然导数令能量网络的期望E(Net)＝∑_vp(v)p(h_i＝1|v)v_j,训练数据的期望E(date)＝p(h_i＝1|v)v_i；

S104、分别初始化通道网络Net₁和Net₂，以及融合网络Net₃的网络参数W₁,W₂和W₃，并更新参数ΔW₁、ΔW₂和ΔW₃，从而完成对能量网络的构建，其中，W₁表示能量网络Net₁的初始化参数，ΔW₁表示W₁的更新量，W₂表示能量网络Net₂的初始化参数，ΔW₂表示W₂的更新量，W₃表示能量网络Net₃的初始化参数，ΔW₃表示W₃的更新量。

3.根据权利要求2所述的基于双通道深度神经网络的图像在线分类方法，其特征在于，所述步骤S101中能量函数ε(v,h；W)的表达式如下：

ε(v,h；W)＝-v^TWh

v＝(v₁,v₂,v₃,...,v_N)

h＝(h₁,h₂,h₃,...,h_m)

其中，v表示能量网络的显层单元,N表示显层单元神经元个数,h表示能量网络的隐层单元，m表示隐层单元神经元个数,W表示网络参数。

4.根据权利要求1所述的基于双通道深度神经网络的图像在线分类方法，其特征在于，所述步骤S6包括以下步骤：

S601、将所述图像数据序列

输入至Net₁通道网络进行训练，并令i＝i+1，更新初始化参数为W₁’；

S602、将所述图像数据序列

输入至Net₂通道网络进行训练，并令i＝i+1，更新初始化参数为W₂’。

5.根据权利要求4所述的基于双通道深度神经网络的图像在线分类方法，其特征在于，所述步骤S601中更新后的参数W₁’的表达式如下：

W₁'＝W₁+ΔW₁

ΔW₁＝p(h_i＝1|v)v_j-∑_vp(v)p(h_i＝1|v)v_j

其中，W₁表示能量网络Net₁的初始化参数，ΔW₁表示W₁的更新量，p(h_i＝1|v)表示隐层第i个神经元值为1的概率，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元。

6.根据权利要求4所述的基于双通道深度神经网络的图像在线分类方法，其特征在于，所述步骤S602中更新后的参数W₂’的表达式如下：

W₂'＝W₂+ΔW₂'

ΔW₂'＝ΔW₂+[φE(d_i)+E(D₂)-E(Net₂)]

其中，W₂表示能量网络Net₂的初始化参数，ΔW₂表示W₂的更新量，E(·)表示图像数据的期望，d_i表示第i个训练图像数据，D₂表示能量网络Net₂生成的图像数据集，n表示图像训练数据集合中数据的个数，φ表示网络修下因子，k表示生成样本的补偿参数，且k＜m，k＝3,m表示生成图像数据的个数,ΔW₂'表示更新后的ΔW₂。

7.根据权利要求1所述的基于双通道深度神经网络的图像在线分类方法，其特征在于，所述步骤S7中融合网络Net₃训练后的参数W₃'表达式如下：

W₃'＝W₃+ΔW₃

ΔW₃＝p(h_i＝1|v)v_j-∑_vp(v)p(h_i＝1|v)v_j

其中，W₃表示能量网络Net₃的初始化参数，ΔW₃表示W₃的更新量，p(h_i＝1|v)表示隐层第i个神经元值为1的概率，h_i表示隐层第i个神经元,v_j表示显层第j神经元，v表示能量网络的显层单元。

Images