CN112508192B - 一种具有深度结构的增量堆叠式宽度学习系统 - Google Patents

一种具有深度结构的增量堆叠式宽度学习系统 Download PDF

Info

Publication number
CN112508192B
CN112508192B CN202011519673.XA CN202011519673A CN112508192B CN 112508192 B CN112508192 B CN 112508192B CN 202011519673 A CN202011519673 A CN 202011519673A CN 112508192 B CN112508192 B CN 112508192B
Authority
CN
China
Prior art keywords
learning system
width learning
width
output
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011519673.XA
Other languages
English (en)
Other versions
CN112508192A (zh
Inventor
陈俊龙
刘竹琳
贾雪
叶汉云
冯绮颖
张通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011519673.XA priority Critical patent/CN112508192B/zh
Priority to PCT/CN2021/074287 priority patent/WO2022134268A1/zh
Publication of CN112508192A publication Critical patent/CN112508192A/zh
Application granted granted Critical
Publication of CN112508192B publication Critical patent/CN112508192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种具有深度结构的增量堆叠式宽度学习系统，其特征在于：包括n个宽度学习系统模块；n个宽度学习系统模块通过残差连接堆叠起来；第i‑1个宽度学习系统模块的输出将作为第i个宽度学习系统模块的输入，且第i个宽度学习系统模块的期望输出为第1,…,i‑1个宽度学习系统模块的残差，i≤n；系统的最终输出为n个宽度学习系统模块的输出总和。该系统保留了宽度学习系统高效、快速的优点，同时通过残差连接堆叠多个宽度学习系统模块，从而增加网络的深度，使网络具有强大的学习能力。

Description

一种具有深度结构的增量堆叠式宽度学习系统
技术领域
本发明涉及宽度学习技术领域，更具体地说，涉及一种具有深度结构的增量堆叠式宽度学习系统。
背景技术
随着人工智能技术的发展，为了满足处理大规模数据的巨大需求，许多的机器学习算法被提出，然而传统的机器学习算法依赖于特征表达，良好的特征对算法的性能起着非常关键的作用，因此采用机器学习算法需要复杂的特征提取工作，具有一定局限性。深度学习的提出解决了这一问题，深度学习网络可以通过叠加网络的深度自动从数据中学习高维抽象特征，因此深度学习在很多领域取得了关键性的突破。
尽管深层的网络结构能够使网络具有强大的学习能力，然而这种结构存在着大量的超参数以及相对应的传播过程，其训练相当耗时。同时，深度结构使得网络的复杂性大大提高，增加了从理论上分析网络结构的难度。
宽度学习系统(Broad Learning System，BLS)是一种浅层的神经网络结构，与深度结构相比，宽度学习系统减少了层与层之间的耦合，使得网络结构更为简洁。宽度学习系统利用输入生成特征节点和增强节点，且特征节点和增强节点与输出层连接，其权重通过计算伪逆来获得。此外，宽度学习系统是一种增量学习系统，可以以增量的方式更新网络参数，即新增加特征节点、增强节点或输入数据时，网络不需要从头重新训练，只需要计算新增加部分的权重即可，因此，相比于深度结构的网络，宽度学习系统具快速、高效的特点。
然而，宽度学习系统作为一个浅层的神经网络，宽度学习系统的学习能力比较有限，在面对非常复杂的任务时，宽度学习系统的准确率不能得到很好的保证。目前的一些方法常采用将大量线性或非线性信息与输出层相连接，来进一步提高宽度学习系统的性能。然而，这样的修改可能会增加网络的冗余，这与宽度学习系统的效率和有效性的特性是相悖的。
目前宽度学习系统已有各种各样的结构变体，其中一些变体是将深度学习算法与宽度学习系统相结合。宽度学习系统通常通过增加隐藏层节点的数量来提高模型的表现，级联宽度学习系统(Cascaded BLS)在此基础上，利用特征映射节点或增强节点的级联作为特征，通过提高网络的级联度来提高特征表征能力，进而提高宽度学习系统在大型数据集上的性能。循环宽度学习系统和门控宽度学习系统(Recurrent and Gated BLS)针对时序数据，将循环神经网络嵌入到宽度学习系统中，模型能够学习到序列特征中信息和文本的重要性，提高了处理时序信号的能力。卷积宽度学习系统(Convolutional BLS)通过构建卷积核和宽度学习系统的映射，为子序列的研究提供先验知识，根据给定的分布随机采样卷积过滤器的权重，使模型学习到更为鲁棒的图像特征。诸如此类的宽度学习系统的变体针对不同模态的数据，不同类型的任务，实现了性能和效率上的提高。
尽管宽度学习系统已经有多种变体，能够满足不同的任务需求，然而这些变体的模型的泛化能力仍有一定的局限，只能针对特定的任务，在面对复杂度很高的数据集时，表现不是十分良好。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种具有深层结构的堆叠式宽度学习系统；该系统保留了宽度学习系统高效、快速的优点，同时通过残差连接堆叠多个宽度学习系统模块，从而增加网络的深度，使网络具有强大的学习能力。
为了达到上述目的，本发明通过下述技术方案予以实现：一种具有深度结构的增量堆叠式宽度学习系统，其特征在于：包括n个宽度学习系统模块；n个宽度学习系统模块通过残差连接堆叠起来；第i-1个宽度学习系统模块的输出将作为第i个宽度学习系统模块的输入，且第i个宽度学习系统模块的期望输出为第1，...，i-1个宽度学习系统模块的残差，i≤n；系统的最终输出为n个宽度学习系统模块的输出总和。
优选地，每个宽度学习系统模块均为原始宽度学习系统单元；所述原始宽度学习系统单元包括特征节点、特征节点权重层、增强节点和增强节点权重层。
优选地，设定输入数据为x，输出数据为y，则第i个宽度学习系统模块的输出ui为：
Figure BDA0002848539340000031
其中，
Figure BDA0002848539340000032
和
Figure BDA0002848539340000033
为特征节点与输出层的连接权重；
Figure BDA0002848539340000034
为随机生成的输入与特征节点之间的连接权重；
Figure BDA0002848539340000035
为随机生成的特征节点与增强节点之间的连接权重；
Figure BDA0002848539340000036
是
Figure BDA0002848539340000037
和
Figure BDA0002848539340000038
的复合映射，其中
Figure BDA0002848539340000039
为特征节点的广义函数，
Figure BDA00028485393400000310
为增强节点的广义函数；vi＝g(ui-1)，g(·)为映射函数；
系统的最终输出为：
Figure BDA00028485393400000311
优选地，所述
Figure BDA00028485393400000312
和
Figure BDA00028485393400000313
通过求解优化问题来获得：
Figure BDA00028485393400000314
其中，yi是第i个宽度学习系统模块中对于训练数据vi的期望输出。
优选地，所述优化问题通过岭回归近似来求解：
Figure BDA00028485393400000315
其中，
Figure BDA00028485393400000316
优选地，第i个宽度学习系统模块在第i-1个宽度学习系统模块的基础上，动态添加特征节点和增强节点来增加网络的宽度，并且新增特征节点和增强节点的权重矩阵通过单独计算得到，无需改变已有节点的权重矩阵。
优选地，设定对于第i个宽度学习系统模块，新增加一组含有p个节点的增强节点；第i个宽度学习系统模块的输出ui更新为：
Figure BDA00028485393400000317
其中，
Figure BDA00028485393400000318
为新增加的增强节点，
Figure BDA00028485393400000319
为随机生成的连接权重。
优选地，所述
Figure BDA00028485393400000320
和
Figure BDA00028485393400000321
通过以下公式动态更新：
Figure BDA0002848539340000041
其中，
Figure BDA0002848539340000042
Figure BDA0002848539340000043
Figure BDA0002848539340000044
Figure BDA0002848539340000045
新的权重矩阵可以表示为：
Figure BDA0002848539340000046
其中，
Figure BDA0002848539340000047
另一种优选方案是：每个宽度学习系统模块均为宽度学习系统的各种变体结构；所述宽度学习系统的各种变体结构包括级联宽度学习系统、循环宽度学习系统和门控宽度学习系统和卷积宽度学习系统中的任一种或两种以上。
与现有技术相比，本发明具有如下优点与有益效果：
宽度学习系统具有快速、高效的优点，然而，作为一个浅层的神经网络，宽度学习系统的学习能力比较有限，目前的一些方法常采用将大量线性或非线性信息与输出层相连接，来进一步提高宽度学习系统的性能。然而，这样的修改可能会增加网络的冗余，这与宽度学习系统的效率和有效性的特性是相悖的。因此，本专利提出了一种新型的具有深层结构的堆叠式宽度学习系统，其保留了原始宽度学习系统快速、高效的优点，同时用一种合适的方法将多个宽度学习系统模块组合起来，加深网络结构，使其具有更强的学习能力。
(1)传统深度网络结构存在大量超参数，使得网络的复杂性提高，增加了从理论上分析网络结构的难度，且传统深度网络通常采用基于反向传播的梯度下降方法来求解网络参数，存在训练消耗时间长、容易陷入局部最优解等问题。本专利提出的具有深度结构的增量堆叠式宽度学习系统保留了宽度学习系统中通过计算伪逆来学习权重矩阵的训练方式，具有高效、快速优点，同时，模型通过残差连接堆叠多个宽度学习系统模块，每个模块的网络结构简单，降低了模型的复杂度。
(2)原始的宽度学习系统是一个浅层网络，这限制了模型的学习能力，面对复杂任务时，浅层网络往往无法学习到深层的抽象特征。本专利提出的具有深度结构的增量堆叠式宽度学习系统将深度网络中的残差连接完全嵌入到宽度学习系统中，提高了网络的特征表达和学习能力。
(3)传统深度网络结构通常采用基于反向传播的梯度下降方法来求解网络参数，当网络结构改变时，需要从头重新训练网络，消耗时间长且耗费资源。本专利提出的具有深度结构的增量堆叠式宽度学习系统可以在宽度方向和深度方向上进行增量学习，当新增加特征节点、增强节点或输入数据时，或者新增加宽度学习系统模块时，都只需要计算新增加部分的网络参数即可，不需要重新训练网络，具有灵活高效、适应性强、泛化能力强的优点。
(4)本专利提出的模型在多个数据集上展现了优越性，在面对UCI数据集上的回归任务中，展现了超过支持向量机(SVM)、最小二乘支持向量机(LSSVM)以及极限学习机(ELM)等机器学习方法的表现；同时在图像分类任务中，对手写数字数据集MNIST，本模型达到了99.12％的分类准确率，大幅缩短了训练时间，仅为30.1916秒，与原始的宽度学习系统的训练时间十分接近；对3D物体图像识别数据集NORB，本模型达到了91.20％的分类准准确率，并且训练时间仅为5.1718秒，大大优于其他方法；对真实物体图像识别数据集CIFAR-10和CIFAR-100，本模型达到了94.78％与78.87％的分类准确率，均优于现有的很多图像分类方法，同时相较于深度神经网络方法，大幅减少了网络计算时所需要的参数数量。
附图说明
图1是本发明堆叠式宽度学习系统的系统框图；
图2是实施例一具有三层结构的堆叠式宽度学习系统的系统框图；
图3是本发明堆叠式宽度学习系统在宽度上进行增量学习的示意图；
图4是实施例三具有三层结构的堆叠式宽度学习系统的系统框图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例具有深层结构的堆叠式宽度学习系统，如图1所示，由多个宽度学习系统模块组成，宽度学习系统模块可以是原始宽度学习系统单元。原始宽度学习系统单元包括特征节点、特征节点权重层、增强节点和增强节点权重层。设一个宽度学习系统有n组特征节点和m组增强节点，则网络输出的近似结果可以表示为：
Y＝[Zn，Hm]Wm
＝[Z1，Z2，...，Zn，H1，H2，...，Hm]Wm
＝[Z1，Z2，...，Zn]WE+[H1，H2，...，Hm]Wm
其中，Zn表示n组特征节点，Hm表示m组增强节点，
Figure BDA0002848539340000061
为特征节点权重层和增强节点权重层。令
Figure BDA0002848539340000062
为特征节点的广义函数，例如n组特征节点的集合，令
Figure BDA0002848539340000063
为增强节点的广义函数，例如m组增强节点的集合，则宽度学习系统模块可以重新写为：
Figure BDA0002848539340000064
其中，x为输入向量，y为输出向量，
Figure BDA0002848539340000065
是
Figure BDA00028485393400000610
和
Figure BDA00028485393400000611
的复合映射，
Figure BDA00028485393400000612
为随机生成的输入与特征节点之间的连接权重，
Figure BDA0002848539340000069
为随机生成的特征节点与增强节点之间的连接权重。
设输入数据为x，输出数据为y，n个宽度学习系统模块的输出表示为ui，i＝1，...，n，则对于第i个宽度学习系统模块，其输出可以表示为：
Figure BDA0002848539340000071
其中，i＝1，...，n，
Figure BDA0002848539340000072
和
Figure BDA0002848539340000073
为随机生成的权重，vi＝g(ui-1)，即第i层的输入是第i-1层输出的函数映射，函数g可以选择多种函数，这里我们可以选择恒等函数，即vi＝ui-1，也就是说，第i个(i＞2)宽度学习系统模块的输入，来自于第i-1个宽度学习系统模块的输出；函数g也可以采用其他函数，如sigmoid函数等。每一个宽度学习系统模块的广义函数
Figure BDA0002848539340000074
和
Figure BDA0002848539340000075
都可以根据建模任务的复杂性选择不同的函数，因此相比于原始的宽度学习系统，这种具有深层结构的堆叠式宽度学习系统具有更强的学习能力。
在上式中，
Figure BDA0002848539340000076
和
Figure BDA0002848539340000077
为特征节点与输出层的连接权重，可以通过求解以下优化问题来获得：
Figure BDA0002848539340000078
其中，yi是第i个宽度学习系统模块中对于训练数据vi的期望输出。
以上优化问题可以通过岭回归近似来求解：
Figure BDA0002848539340000079
其中，
Figure BDA00028485393400000710
为了充分利用每一个宽度学习系统模块的输出，所有模块的输出ui(i＝1，...，n)都被用来近似期望输出y，相邻模块之间用残差来组合，即每一个模块的期望输出可以表示为：
Figure BDA00028485393400000711
堆叠式宽度学习系统实现步骤具体如下：
①定义输入数据x，宽度学习系统模块的最大增长数量n，以及临界值∈；
②对于第一个宽度学习系统模块，先随机初始化权重矩阵
Figure BDA0002848539340000081
和
Figure BDA0002848539340000082
使用
Figure BDA0002848539340000083
Figure BDA0002848539340000084
和x计算得到特征节点和增强节点
Figure BDA0002848539340000085
便可通过公式：
Figure BDA0002848539340000086
计算得到输入数据x与期望输出y之间的权重
Figure BDA0002848539340000087
进而通过公式：
Figure BDA0002848539340000088
得到预测输出u1；
③在第一个宽度学习系统模块的基础上堆叠新的宽度学习模块，对于堆叠的第i个(其中i＝2，...，n)宽度学习系统模块，输入为g(ui-1)，即上一个宽度学习系统模块的输出，期望输出
Figure BDA0002848539340000089
同样地随机初始化权重矩阵
Figure BDA00028485393400000810
和
Figure BDA00028485393400000811
使用
Figure BDA00028485393400000812
和g(ui-1)计算得到特征节点和增强节点
Figure BDA00028485393400000813
Figure BDA00028485393400000814
便可通过公式：
Figure BDA00028485393400000815
计算得到输入g(ui-1)与期望输出yi之间的权重
Figure BDA00028485393400000816
进而通过公式：
Figure BDA00028485393400000817
得到预测输出ui；
④重复步骤③直到
Figure BDA00028485393400000818
或者堆叠的宽度学习系统模块的数量等于n，最终的预测输出为
Figure BDA00028485393400000819
下面举例说明多层堆叠式宽度学习系统的每层参数与实现细节。设给定的训练数据为{(xi，yi)|xi∈RM，yi∈RC，i＝1，...，N}，则：
第一个宽度学习系统模块的输入为v1＝x，期望输出为y1＝y，其真实输出为：
Figure BDA0002848539340000091
其中，
Figure BDA0002848539340000092
和
Figure BDA0002848539340000093
为随机生成的权重，
Figure BDA0002848539340000094
和
Figure BDA0002848539340000095
可通过计算下列式子得到：
Figure BDA0002848539340000096
第二个宽度学习系统模块的输入为v2＝g(u1)，期望输出为y2＝y-u1，其真实输出为：
Figure BDA0002848539340000097
其中，
Figure BDA0002848539340000098
和
Figure BDA0002848539340000099
为随机生成的权重，
Figure BDA00028485393400000910
和
Figure BDA00028485393400000911
可通过计算下列式子得到：
Figure BDA00028485393400000912
第i个宽度学习系统模块的输入为vi＝g(ui-1)，期望输出为
Figure BDA00028485393400000913
Figure BDA00028485393400000914
其真实输出为：
Figure BDA00028485393400000915
其中，
Figure BDA00028485393400000916
和
Figure BDA00028485393400000917
为随机生成的权重，
Figure BDA00028485393400000918
和
Figure BDA00028485393400000919
可通过计算下列式子得到：
Figure BDA00028485393400000920
对于叠加了n个宽度学习系统模块的网络，要训练最后一个模块的得到的输出近似于yn，即：
Figure BDA00028485393400000921
等价地，我们可以得到：
Figure BDA00028485393400000922
即堆叠式宽度学习系统的最终输出近似于所有宽度学习系统模块的输出之和。通过以上步骤，我们可以构建一个具有深度结构的堆叠式宽度学习系统。一个具有三层结构的堆叠式宽度学习系统如图2所示。
实施例二
在实际应用中，我们需要调整堆叠网络的节点数量，使模型获得最佳性能。对于大多数深度结构模型来说，若增加了网络中的节点，则需要从头开始训练网络，网络中所有参数都需要重新更新，耗时耗力。本专利提出的增量堆叠式宽度学习系统不仅可以在宽度方向上进行增量学习，而且可以在深度方向上实现增量学习，该模型保留宽度学习系统增量学习优点的同时也为深度网络进行增量学习提供了新方法。
(1)宽度方向上的增量学习
在增量堆叠式宽度学习系统的每一个宽度学习系统模块中，我们可以实现动态地添加特征节点和增强节点来增加网络的宽度，并且新增节点的权重矩阵可以单独计算，并不会影响之前训练好的节点的权重矩阵。
假设对于第i个宽度学习系统模块，新增加一组含有p个节点的增强节点，则第i个模块可以通过以下公式更新：
Figure BDA0002848539340000101
其中，
Figure BDA0002848539340000102
为新增加的增强节点，
Figure BDA0002848539340000103
也是随机生成的。
对于公式中的
Figure BDA0002848539340000104
和
Figure BDA0002848539340000105
可以通过以下公式动态更新：
Figure BDA0002848539340000106
其中，
Figure BDA0002848539340000107
Figure BDA0002848539340000108
Figure BDA0002848539340000109
Figure BDA00028485393400001010
因此，新的权重矩阵可以表示为：
Figure BDA0002848539340000111
其中，
Figure BDA0002848539340000112
上述公式说明，在堆叠式宽度学习系统的每一个宽度学习系统模块中，当增加新的增强节点时，新网络的权重矩阵可以分解为原始节点的权重矩阵和新增节点的权重矩阵，因此，我们不需要从头重新训练网络，只需要计算新增加的节点的权重即可，原始节点的权重矩阵保持不变，这种增量学习的方法可以大大提高训练速度，使堆叠式宽度学习系统更加灵活和高效。图3为堆叠式宽度学习系统的在宽度上进行增量学习的方法示意图。
堆叠宽度学习系统的增量学习方式实现步骤为：
①定义输入定义输入数据x，宽度学习系统模块的最大增长数量n，每个宽度学习系统模块中新增的增强节点每个组的节点数量p，每个宽度学习系统中新增的增强节点的组的数量m，以及临界值∈；
②对于第一个宽度学习系统模块，先随机初始化权重矩阵
Figure BDA0002848539340000113
和
Figure BDA0002848539340000114
使用
Figure BDA0002848539340000115
Figure BDA0002848539340000116
和x计算得到特征节点和增强节点
Figure BDA0002848539340000117
便可通过公式：
Figure BDA0002848539340000118
计算得到输入数据x与期望输出y之间的权重
Figure BDA0002848539340000119
进而通过公式：
Figure BDA00028485393400001110
得到预测输出u1；
③在第一个宽度学习系统模块的基础上堆叠新的宽度学习模块，对于堆叠的第i个(其中i＝2，...，n)宽度学习系统模块，输入为g(ui-1)，即上一个宽度学习系统模块的输出，期望输出
Figure BDA00028485393400001111
同样地随机初始化权重矩阵
Figure BDA00028485393400001112
和
Figure BDA00028485393400001113
使用
Figure BDA00028485393400001114
和g(ui-1)计算得到特征节点和增强节点
Figure BDA00028485393400001115
Figure BDA0002848539340000121
便可通过公式：
Figure BDA0002848539340000122
计算得到输入g(ui-1)与期望输出yi之间的权重
Figure BDA0002848539340000123
进而通过公式：
Figure BDA0002848539340000124
得到预测输出ui；
对于新增的增强节点，随机初始化权重矩阵
Figure BDA0002848539340000125
通过公式：
Figure BDA0002848539340000126
Figure BDA0002848539340000127
Figure BDA0002848539340000128
Figure BDA0002848539340000129
便可求得新增节点后的权重矩阵：
Figure BDA00028485393400001210
预测输出ui更新为
Figure BDA00028485393400001211
将强化节点权重矩阵
Figure BDA00028485393400001212
更新为
Figure BDA00028485393400001213
权重矩阵
Figure BDA00028485393400001214
更新为
Figure BDA00028485393400001215
同时对A和
Figure BDA00028485393400001216
也做相应的更新。
④重复步骤③直到
Figure BDA00028485393400001217
或者堆叠的宽度学习系统模块的数量等于n，最终的预测输出为
Figure BDA00028485393400001218
(2)深度方向上的增量学习
增量堆叠式宽度学习系统通过叠加多个宽度学习系统模块，实现加深网络的目的，因此，深度方向上的增量学习体现在宽度学习系统模块之间，当叠加第i个宽度学习系统模块时，下层的第1...i-1个宽度学习系统模块已训练好的参数固定不变，只需要计算新叠加的第i个宽度学习系统模块的网络参数即可，这种增量学习方式使模型的计算量降低，避免了重复性计算，使用过程中可以很方便的增加网络深度，并实现快速、高效的训练，提高模型对不同复杂度任务的适应能力和泛化能力。
实施例三
本实施例具有深层结构的堆叠式宽度学习系统中，宽度学习模块采用宽度学习系统各种变体结构；宽度学习系统各种变体结构包括但不限于级联宽度学习系统(CascadedBLS)、循环宽度学习系统和门控宽度学习系统(Recurrent and Gated BLS)、卷积宽度学习系统(Convolutional BLS)等，每一个宽度学习模块都可以根据任务复杂度灵活选择模型，一个具有三层结构的采用宽度学习变体结构的堆叠式宽度学习系统如图4所示。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种具有深度结构的增量堆叠式宽度学习系统，其特征在于：包括n个宽度学习系统模块；n个宽度学习系统模块通过残差连接堆叠起来；第i-1个宽度学习系统模块的输出将作为第i个宽度学习系统模块的输入，且第i个宽度学习系统模块的期望输出为第1,…,i-1个宽度学习系统模块的残差，i≤n；系统的最终输出为n个宽度学习系统模块的输出总和；
每个宽度学习系统模块均为原始宽度学习系统单元；所述原始宽度学习系统单元包括特征节点、特征节点权重层、增强节点和增强节点权重层；
设定输入数据为x，输出数据为y，则第i个宽度学习系统模块的输出ui为：
Figure FDA0003477628380000011
其中，
Figure FDA0003477628380000012
和
Figure FDA0003477628380000013
为特征节点与输出层的连接权重；
Figure FDA0003477628380000014
为随机生成的输入与特征节点之间的连接权重；
Figure FDA0003477628380000015
为随机生成的特征节点与增强节点之间的连接权重；
Figure FDA0003477628380000016
是
Figure FDA0003477628380000017
和
Figure FDA0003477628380000018
的复合映射，其中
Figure FDA0003477628380000019
为特征节点的广义函数，
Figure FDA00034776283800000110
为增强节点的广义函数；vi＝g(ui-1)，g(·)为映射函数；
系统的最终输出为：
Figure FDA00034776283800000111
2.根据权利要求1所述的具有深度结构的增量堆叠式宽度学习系统，其特征在于：所述
Figure FDA00034776283800000112
和
Figure FDA00034776283800000113
通过求解优化问题来获得：
Figure FDA00034776283800000114
其中，yi是第i个宽度学习系统模块中对于训练数据vi的期望输出；λ为平衡系数。
3.根据权利要求2所述的具有深度结构的增量堆叠式宽度学习系统，其特征在于：所述优化问题通过岭回归近似来求解：
Figure FDA00034776283800000115
其中，
Figure FDA0003477628380000021
Wi为特征节点和增强节点与输出层的连接权重，I为单位矩阵。
4.根据权利要求1所述的具有深度结构的增量堆叠式宽度学习系统，其特征在于：第i个宽度学习系统模块在第i-1个宽度学习系统模块的基础上，动态添加特征节点和增强节点来增加网络的宽度，并且新增特征节点和增强节点的权重矩阵通过单独计算得到。
5.根据权利要求4所述的具有深度结构的增量堆叠式宽度学习系统，其特征在于：设定对于第i个宽度学习系统模块，新增加一组含有p个节点的增强节点；第i个宽度学习系统模块的输出ui更新为：
Figure FDA0003477628380000022
其中，
Figure FDA0003477628380000023
为新增加的增强节点，
Figure FDA0003477628380000024
为随机生成的连接权重；
Figure FDA0003477628380000025
为新增加的增强节点与输出层的连接权重。
6.根据权利要求5所述的具有深度结构的增量堆叠式宽度学习系统，其特征在于：所述
Figure FDA0003477628380000026
和
Figure FDA0003477628380000027
通过以下公式动态更新：
Figure FDA0003477628380000028
其中，
Figure FDA0003477628380000029
Figure FDA00034776283800000210
Figure FDA00034776283800000211
Figure FDA00034776283800000212
新的权重矩阵可以表示为：
Figure FDA00034776283800000213
其中，
Figure FDA00034776283800000214
7.根据权利要求1所述的具有深度结构的增量堆叠式宽度学习系统，其特征在于：每个宽度学习系统模块均为宽度学习系统的各种变体结构；所述宽度学习系统的各种变体结构包括级联宽度学习系统、循环宽度学习系统和门控宽度学习系统和卷积宽度学习系统中的任一种或两种以上。
CN202011519673.XA 2020-12-21 2020-12-21 一种具有深度结构的增量堆叠式宽度学习系统 Active CN112508192B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011519673.XA CN112508192B (zh) 2020-12-21 2020-12-21 一种具有深度结构的增量堆叠式宽度学习系统
PCT/CN2021/074287 WO2022134268A1 (zh) 2020-12-21 2021-01-29 一种具有深度结构的增量堆叠式宽度学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519673.XA CN112508192B (zh) 2020-12-21 2020-12-21 一种具有深度结构的增量堆叠式宽度学习系统

Publications (2)

Publication Number Publication Date
CN112508192A CN112508192A (zh) 2021-03-16
CN112508192B true CN112508192B (zh) 2022-04-22

Family

ID=74922874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519673.XA Active CN112508192B (zh) 2020-12-21 2020-12-21 一种具有深度结构的增量堆叠式宽度学习系统

Country Status (2)

Country Link
CN (1) CN112508192B (zh)
WO (1) WO2022134268A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379779B (zh) * 2021-06-07 2023-04-07 华南理工大学 堆叠宽度学习系统的边缘计算方法、装置、介质和设备
CN113709782B (zh) * 2021-07-30 2022-05-31 南昌航空大学 一种采用叠层宽度学习的链路质量评估方法
CN113657479B (zh) * 2021-08-12 2022-12-06 广东省人民医院 一种新型多尺度深宽结合的病理图片分类方法、系统及介质
CN114115321A (zh) * 2021-12-13 2022-03-01 盐城工学院 高压输电线路异物自动清除飞行器及其自动清除方法
CN115130830B (zh) * 2022-06-08 2024-05-14 山东科技大学 基于级联宽度学习和麻雀算法的非侵入式负荷分解方法
CN117252088B (zh) * 2023-08-20 2024-03-19 吕洲 一种基于多层宽度学习系统的锂电池温度场预测模型的建模方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921877A (zh) * 2018-07-25 2018-11-30 大连海事大学 一种基于宽度学习的长期目标跟踪算法
CN109635245A (zh) * 2018-09-29 2019-04-16 中国矿业大学 一种鲁棒宽度学习系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9904849B2 (en) * 2015-08-26 2018-02-27 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
US10824907B2 (en) * 2017-12-07 2020-11-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
US10536342B2 (en) * 2017-12-21 2020-01-14 Microsoft Technology Licensing, Llc Network estimation
CN109271885A (zh) * 2018-08-29 2019-01-25 广东工业大学 一种基于宽度学习的鸟巢识别方法
CN109615008B (zh) * 2018-12-11 2022-05-13 华中师范大学 基于堆叠宽度学习的高光谱图像分类方法和系统
CN110209825B (zh) * 2019-06-17 2021-02-12 大连海事大学 一种基于宽度学习系统的快速网络表征学习方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921877A (zh) * 2018-07-25 2018-11-30 大连海事大学 一种基于宽度学习的长期目标跟踪算法
CN109635245A (zh) * 2018-09-29 2019-04-16 中国矿业大学 一种鲁棒宽度学习系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Downsizing and enhancing broad learning systems by feature augmentation and residuals boosting;XIE，Runshan 等;《Complex & Intelligent Systems》;20200409;第411-421页 *
Universal Approximation Capability of Broad Learning System and Its Structural Variations;CHEN，C. L. Philip 等;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20180910;第30卷(第4期);第I-IV节 *
XIE，Runshan 等.Downsizing and enhancing broad learning systems by feature augmentation and residuals boosting.《Complex & Intelligent Systems》.2020, *

Also Published As

Publication number Publication date
WO2022134268A1 (zh) 2022-06-30
CN112508192A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112508192B (zh) 一种具有深度结构的增量堆叠式宽度学习系统
Fang et al. Modeling from features: a mean-field framework for over-parameterized deep neural networks
Xue et al. Partial connection based on channel attention for differentiable neural architecture search
WO2022134391A1 (zh) 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备
Sakar et al. Growing and pruning neural tree networks
Yang et al. A gradient-guided evolutionary approach to training deep neural networks
US4979126A (en) Neural network with non-linear transformations
US7882052B2 (en) Evolutionary neural network and method of generating an evolutionary neural network
CN106959937A (zh) 一种面向gpdsp的反卷积矩阵的向量化实现方法
CN109886389B (zh) 一种基于Highway和DC的新型双向LSTM神经网络构建方法
CN112906747A (zh) 一种基于知识蒸馏的图像分类方法
CN113627471A (zh) 一种数据分类方法、系统、设备及信息数据处理终端
CN112463987A (zh) 一种中国古典园林知识图谱补全与认知推理方法
CN113516133A (zh) 一种多模态图像分类方法及系统
CN114707655B (zh) 一种量子线路转换方法、系统、存储介质和电子设备
CN113971367A (zh) 一种基于混洗蛙跳算法的卷积神经网络框架自动设计方法
Xia et al. Two-timescale recurrent neural networks for distributed minimax optimization
CN115345220A (zh) 一种基于多变量时间序列的预测方法、装置和系统
CN114692830A (zh) 晋级网络自强化的图像语音深度学习模型
CN112183721B (zh) 一种基于自适应差分进化的组合水文预测模型的构建方法
CN111967528A (zh) 基于稀疏编码的深度学习网络结构搜索的图像识别方法
CN114067195B (zh) 一种基于生成对抗的目标检测器学习方法
JPH06111038A (ja) ニューラル・ネットワーク及びその操作方法
Xia et al. Efficient synthesis of compact deep neural networks
Zhang et al. A fast evolutionary knowledge transfer search for multiscale deep neural architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant