CN108446718B - 一种动态深度置信网络分析方法 - Google Patents
一种动态深度置信网络分析方法 Download PDFInfo
- Publication number
- CN108446718B CN108446718B CN201810126792.5A CN201810126792A CN108446718B CN 108446718 B CN108446718 B CN 108446718B CN 201810126792 A CN201810126792 A CN 201810126792A CN 108446718 B CN108446718 B CN 108446718B
- Authority
- CN
- China
- Prior art keywords
- class
- network
- training
- node
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
- G06F18/21324—Rendering the within-class scatter matrix non-singular involving projections, e.g. Fisherface techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及深度学习领域的一种基于深度置信网络的动态网络结构训练分析方法。本发明的目的在于克服深度置信网络的几点不足,提供一种基于深度置信网络的由整体至特殊的动态网络结构训练分析策略。该策略参考人类识别物体时大脑的分析策略,引入细致化分析的过程。该策略针对分类问题,在训练阶段产生两种网络,包括一个全局网络和若干个针对具体的各个类别的特殊网络。在预测阶段,综合考虑两种网络的输出结果,使得整个模型的预测更加具有针对性,从而提高分类模型的准确性。
Description
技术领域
本发明涉及深度学习领域的一种基于深度置信网络的动态网络结构训练分析方法。
技术背景
●深度置信网络
深度置信网络(Deep belief network,DBN)是深度学习领域的一种概率生成模型,该模型由Geoffrey Hinton在他于2006年发表的论文“A Fast Learning AlgorithmFor Deep Belief Nets”中提出,通常用于分类。与传统的判别模型的神经网络相对,深度置信网络用于建立一个观察数据和标签之间的联合分布。
理论上,对于神经网络结构,隐藏层的层数越多,模型的表达力能也就越强。但当网络层数逐渐加深的时候,使用传统的梯度下降算法来优化参数会产生一些问题。比如当计算最前面几层网络层的误差时,梯度值会非常小,如此造成这几层链接的权重修改过小,产生所谓的“梯度消失”问题。深度置信网络通过逐层非监督地训练的方法,先求取比较接近最优解的初始权重,从而成功地避免了这类问题。这使得神经网络可以真正地增加其深度,使其性能大幅地提高。深度置信网络也真正开启了深度学习领域的研究热潮。
深度置信网络由一些包含多个节点的网络层组成,这些网络层以一个输入层为起始,若干个隐藏层为中间结构,再以一个输出层为结束。每层的节点与其相邻层的节点均一一相连。可将深度置信网络看成由一堆受限的玻尔兹曼机(Restricted BoltzmannMachines,RBMs)组成的网络,在这堆受限的玻尔兹曼机中,每个隐藏层都被当做下一个隐藏层的可见层。
网络参数的训练分为两个步骤——预训练和微调。在预训练阶段,深度置信网络采用逐层无监督的方法来学习节点与节点之间连接的权重值和偏置。首先将输入层和第一个隐藏层h1视作一个受限玻尔兹曼机,其中输入层为可视层,h1为隐层。基于未标签的数据集,深度置信网络使用对比散度算法(Contrastive Divergence,CD)去学习两个层之间链接的参数。之后将h1视为另一个受限玻尔兹曼机的可视层,将第二个隐藏层h2视为其隐层,用同样的方法训练得到h1与h2之间链接的参数。如此逐层地训练,直至除输出层外所有层之间的链接都有较好的初始权重和偏置。之后进入微调阶段,给训练好的模型加入一个输出层,基于标签好的数据集,通过反向传播算法(Back Propagation,BP)有监督训练调整整个网络的参数。最终获得完整的训练模型。
深度置信网络由几点明显的不足:1、模型训练时力求寻找到整个训练集所有数据的综合最优拟合,并不考虑某些特殊类;2,整个模型训练完成后便不会再更改,所有的测试集数据都输入到一个模型里进行预测,虽然便捷但是缺乏一定的针对性。
发明内容
本发明的目的在于克服深度置信网络的几点不足,提供一种基于深度置信网络的由整体至特殊的动态网络结构训练分析策略。该策略参考人类识别物体时大脑的分析策略,引入细致化分析的过程。该策略针对分类问题,在训练阶段产生两种网络,包括一个全局网络和若干个针对具体的各个类别的特殊网络。在预测阶段,综合考虑两种网络的输出结果,使得整个模型的预测更加具有针对性,从而提高分类模型的准确性。
本发明技术方案为:
一种基于深度置信网络的动态网络结构训练分析方法,其特征在于,该训练分析策略,包括:
一,训练阶段:
在训练阶段,需获取一个全局网络和包含一系列特殊网络的网络池。
首先,以全部的训练集有监督地训练全局网络。
在训练完该全局网络后,针对每个类再基于全局网络来训练一个特殊的针对性网络,该网络去掉对该类的分类结果产生干扰的节点,从而使得这一具体的类的分类性能更加强大。这一系列特殊网络的训练基于Fisher判别函数。在训练第i类的特殊网络时,先将整个训练集重新划分为两类,即除了第i类的实例,其它实例都合并为一类,称之为非i类(记为)。将划分后的两类实例集重新输入至全局网络,则可根据每个节点的输出,计算该节点的Fisher值,第j个节点的Fisher计算式子如下:
一个节点的Fisher值较高则代表着该节点区分i类和类实例的能力较强,否则则能力较弱。只删除最后一层隐层中低Fisher值的节点。将该层所有节点的Fisher值求平均,则该平均值作为第i类特殊网络的阈值,所有Fisher值低于该阈值的节点及其相连的连接都被删除,以上为步骤①。
完成后,重新利用两类实例对剩余的网络结构进行再训练,最终获得第i类特殊网络,以上为步骤③。
对每个类都执行一次以上三个完整步骤过程,则在训练阶段结束后将获得所有类的特殊网络。
二,预测阶段:
在预测阶段,采取由整体至特殊的分级的分类策略。即首先做个整体的初步分析,获得最有可能两个类。再根据结果看是否需要进一步分析,从这两个类中选择最终的分类预测结果。
预测某一个实例的类别x,首先将该实例输入至全局网络。根据结果,先查看输出概率最大的类C1的概率P(y=C1|Mg,x)是否大于设定的置信阈值(Mg即全局网络,Mc1和Mc2分别指C1和C2类的特殊网络)。若是,则证明该预测的结果是高度可信的,此时将C1作为最终的预测结果,该实例的预测阶段结束。若否,则再获取全局网络输出概率次大的类C2,再进行进一步的细致化分析。将该实例输入至C1和C2的特殊网络,得到两个输出P(y=C1|Mc1,x)和P(y=C2|Mc2,x)。比较这两个输出的值,哪个更大则将其代表的类别作为x的预测类别输出。
本发明给出的基于深度置信网络的由整体至特殊的动态网络结构训练分析策略,综合考虑两种网络的输出结果,使得整个模型的预测更加具有针对性,从而提高分类模型的准确性。
附图说明
图1第i类特殊网络的训练过程
图2动态预测分析策略流程图
图3整个训练分析方法的示意图
图4车牌数据库与手写数字数据库的部分实例
具体实施方法
为实现本发明目的,本发明给出的训练分析策略为:
1,训练阶段:
在训练阶段,需获取一个全局网络和包含一系列特殊网络的网络池。
首先,以全部的训练集有监督地训练一个完整的深度置信网络,该网络在本发明中被称为全局网络。由深度置信网络原理可知,该网络的目的是最大化地区分所有类别的不同,而并没有针对某个具体的类进行优化。因此,该网络在分析某个类的具体实例时,有部分网络内节点的输出反而会成为干扰,影响最终的分类结果。为此,在训练完该全局网络后,针对每个类,再基于全局网络来训练一个特殊的针对性网络,该网络去掉对该类的分类结果产生干扰的节点,从而使得这一具体的类的分类性能更加强大。
这一系列特殊网络的训练基于Fisher判别函数。在训练第i类的特殊网络时,先将整个训练集重新划分为两类,即除了第i类的实例,其它实例都合并为一类,称之为非i类(记为)。将划分后的两类实例集重新输入至全局网络,则可根据每个节点的输出,计算该节点的Fisher值,第j个节点的Fisher计算式子如下:
一个节点的Fisher值较高则代表着该节点区分i类和类实例的能力较强,否则则能力较弱。因为最后一层隐层中节点所代表的特征更加整体化,与类比本身特征的联系也更加紧密,所以该策略只删除最后一层隐层中低Fisher值的节点。将该层所有节点的Fisher值求平均,则该平均值作为第i类特殊网络的阈值,所有Fisher值低于该阈值的节点及其相连的连接都被删除,该步骤为图1的步骤①。
完成后,重新利用两类实例对剩余的网络结构进行再训练,最终获得第i类特殊网络,该步骤为图1的步骤③。对每个类都执行一次图1的完整过程,则在训练阶段结束后将获得所有类的特殊网络。
2,预测阶段:
在预测阶段,采取由整体至特殊的分级的分类策略。即首先做个整体的初步分析,获得最有可能两个类。再根据结果看是否需要进一步分析,从这两个类中选择最终的分类预测结果。
预测某一个实例的类别x,首先将该实例输入至全局网络。根据结果,先查看输出概率最大的类C1的概率P(y=C1|Mg,x)是否大于设定的置信阈值(Mg即全局网络,后文中Mc1和Mc2分别指C1和C2类的特殊网络),在具体的操作中将该阈值设为0.99。若是,则证明该预测的结果是高度可信的,此时将C1作为最终的预测结果,该实例的预测阶段结束。若否,则再获取全局网络输出概率次大的类C2,再进行进一步的细致化分析。将该实例输入至C1和C2的特殊网络,得到两个输出P(y=C1|Mc1,x)和P(y=C2|Mc2,x)。比较这两个输出的值,哪个更大则将其代表的类别作为x的预测类别输出。预测分析策略流程图如图3所示。
以上,完整的训练与分析方法示意图如图3所示。
3,实验结果:
我们在三个常用分类数据集上(MNIST库,USPS库,ISOLET库)比较了本发明与传统深度置信网络的性能,其错误率结果如表1所示。实验结果显示改进后的算法有效地降低了各个数据库的预测错误率。
传统DBN错误率(%) | 改进后方法的错误率(%) | |
MNSIT库 | 1.25 | 0.97 |
USPS库 | 4.53 | 4.14 |
ISOLET库 | 5.45 | 3.78 |
表1传统DBN与本文改进方法在三个常用数据库上的错误率的比较
与现有技术相比,本发明不仅能考虑全局特征的输出,更能动态地选择更精细化的特征网络进行深一步的分析,针对具体的类别做特性化比较。结合多个数据集测试体现,该方法能有效提升深度信念网络的分类准确性。
本发明的方法可以应用于基于深度信念网络的各种分类任务上,诸如车牌数字的识别,以及手写数字的识别任务(见图4)。将本文的动态深度置信网络分析方法代替传统的深度置信网络,文中的实验结果显示在两个常用数字数据库上,本方法将预测错误率分别从1.25%与4.53%下降到了0.97%与4.14%,能够在日常的应用中有效地提高车牌识别和数字识别的准确率。另外,本方法在纯特征的分类问题上也有着很好的表现,诸如利用深度信念网络去预测天气情况。
Claims (1)
1.一种基于深度置信网络的动态网络结构训练手写数字的识别分析方法,其特征在于,该训练分析策略,包括:
一,训练阶段:
采用三个常用分类数据集,MNIST库、USPS库或者ISOLET库为手写数字的实例集;
在训练阶段,需获取一个全局网络和包含一系列特殊网络的网络池;首先,以全部的训练集训练全局网络;
训练完全局网络后,针对每个类再基于全局网络来训练一个针对性的特殊网络,特殊网络去掉对该类的分类结果产生干扰的节点,从而使得这一具体的类的分类性能更加强大;这一系列特殊网络的训练基于Fisher判别函数;在训练第i类的特殊网络时,先将整个训练集重新划分为两类,即除了第i类的实例,其它实例都合并为一类,称之为非i类,记为将划分后的两类实例集重新输入至全局网络,则可根据每个节点的输出,计算该节点的Fisher值,第j个节点的Fisher计算式子如下:
一个节点的Fisher值较高则代表着该节点区分i类和类实例的能力较强,否则则能力较弱;只删除最后一层隐层中低Fisher值的节点;将该层所有节点的Fisher值求平均,则该平均值作为第i类特殊网络的阈值,所有Fisher值低于该阈值的节点及其相连的连接都被删除;以上为步骤①;
完成后,重新利用两类实例对剩余的网络结构进行再训练,最终获得第i类特殊网络;以上为步骤③;
对每个类都执行一次以上三个完整步骤过程,则在训练阶段结束后将获得所有类的特殊网络;
二,预测阶段:
在预测阶段,采取由整体至特殊的分级的分类策略;首先做个整体的初步分析,获得最有可能两个类;再根据结果看是否需要进一步分析,从这两个类中选择最终的分类预测结果;
预测某一个手写数字实例的类别x,首先将该实例输入至全局网络;根据结果,先查看输出概率最大的类C1的概率P(y=C1|Mg,x)是否大于设定的置信阈值;若是,则证明该预测的结果是可信的,此时将C1作为最终的预测结果,该实例的预测阶段结束;若否,则再获取全局网络输出概率次大的类C2,再进行进一步的细致化分析;
将该手写数字实例输入至C1和C2的特殊网络,得到两个输出P(y=C1|Mc1,x)和P(y=C2|Mc2,x);比较这两个输出的值,哪个更大则将其代表的类别作为x的预测类别输出,代表着更高精度的手写数字识别结果;
Mg为全局网络,Mc1和Mc2分别指C1和C2类的特殊网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810126792.5A CN108446718B (zh) | 2018-02-08 | 2018-02-08 | 一种动态深度置信网络分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810126792.5A CN108446718B (zh) | 2018-02-08 | 2018-02-08 | 一种动态深度置信网络分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108446718A CN108446718A (zh) | 2018-08-24 |
CN108446718B true CN108446718B (zh) | 2021-01-26 |
Family
ID=63191924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810126792.5A Active CN108446718B (zh) | 2018-02-08 | 2018-02-08 | 一种动态深度置信网络分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108446718B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166281A (zh) * | 2018-10-08 | 2019-01-08 | 重庆工商大学 | 一种深度信念网络的印染车间VOCs监测预警系统 |
CN111476272B (zh) * | 2020-03-11 | 2023-02-21 | 重庆邮电大学 | 一种基于结构约束对称低秩保留投影的降维方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732278A (zh) * | 2015-04-08 | 2015-06-24 | 中国科学技术大学 | 一种基于海云协同架构的深度神经网络训练方法 |
CN104751153A (zh) * | 2013-12-31 | 2015-07-01 | 中国科学院深圳先进技术研究院 | 一种识别场景文字的方法及装置 |
CN106295708A (zh) * | 2016-08-19 | 2017-01-04 | 重庆大学 | 一种基于Fisher分类器组的连续型数据预处理方法 |
CN106991429A (zh) * | 2017-02-27 | 2017-07-28 | 陕西师范大学 | 图像识别深度信念网络结构的构建方法 |
CN107229914A (zh) * | 2017-05-26 | 2017-10-03 | 北京工业大学 | 一种基于深度q学习策略的手写数字识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495619B2 (en) * | 2014-12-30 | 2016-11-15 | Facebook, Inc. | Systems and methods for image object recognition based on location information and object categories |
-
2018
- 2018-02-08 CN CN201810126792.5A patent/CN108446718B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751153A (zh) * | 2013-12-31 | 2015-07-01 | 中国科学院深圳先进技术研究院 | 一种识别场景文字的方法及装置 |
CN104732278A (zh) * | 2015-04-08 | 2015-06-24 | 中国科学技术大学 | 一种基于海云协同架构的深度神经网络训练方法 |
CN106295708A (zh) * | 2016-08-19 | 2017-01-04 | 重庆大学 | 一种基于Fisher分类器组的连续型数据预处理方法 |
CN106991429A (zh) * | 2017-02-27 | 2017-07-28 | 陕西师范大学 | 图像识别深度信念网络结构的构建方法 |
CN107229914A (zh) * | 2017-05-26 | 2017-10-03 | 北京工业大学 | 一种基于深度q学习策略的手写数字识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108446718A (zh) | 2018-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2020104006A4 (en) | Radar target recognition method based on feature pyramid lightweight convolutional neural network | |
US20220327308A1 (en) | Method for recognizing facial expressions based on adversarial elimination | |
US11042802B2 (en) | System and method for hierarchically building predictive analytic models on a dataset | |
CN110472817A (zh) | 一种结合深度神经网络的XGBoost集成信用评价系统及其方法 | |
CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
CN111477247B (zh) | 基于gan的语音对抗样本生成方法 | |
CN112766355B (zh) | 一种标签噪声下的脑电信号情绪识别方法 | |
CN111353534B (zh) | 一种基于自适应分数阶梯度的图数据类别预测方法 | |
CN113222035B (zh) | 基于强化学习和知识蒸馏的多类别不平衡故障分类方法 | |
CN115578248B (zh) | 一种基于风格引导的泛化增强图像分类算法 | |
CN108446718B (zh) | 一种动态深度置信网络分析方法 | |
Zhou et al. | Semantic adaptation network for unsupervised domain adaptation | |
CN112668633B (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
CN111368686B (zh) | 一种基于深度学习的脑电图情感分类方法 | |
Kanchinadam et al. | Graph neural networks to predict customer satisfaction following interactions with a corporate call center | |
CN114596913B (zh) | 基于深度中心点模型的蛋白质折叠识别方法及系统 | |
CN115512721A (zh) | 基于pdan的跨库语音情感识别方法及装置 | |
CN112488238B (zh) | 一种基于对抗自编码器的混合异常检测方法 | |
CN114997266A (zh) | 一种面向语音识别的特征迁移学习方法及系统 | |
CN114168822A (zh) | 一种时间序列数据聚类模型建立及时间序列数据聚类方法 | |
CN114387490A (zh) | 基于NAS搜索的端侧OCR识别系统的Backbone设计 | |
Tarle et al. | Improved artificial neural network for dimension reduction in medical data classification | |
CN112465054A (zh) | 一种基于fcn的多变量时间序列数据分类方法 | |
CN112015894A (zh) | 一种基于深度学习的文本单类分类方法及系统 | |
Wang et al. | Clustering analysis of human behavior based on mobile phone sensor data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |