CN109711543A - 一种可重构的深度置信网络实现系统 - Google Patents
一种可重构的深度置信网络实现系统 Download PDFInfo
- Publication number
- CN109711543A CN109711543A CN201811646423.5A CN201811646423A CN109711543A CN 109711543 A CN109711543 A CN 109711543A CN 201811646423 A CN201811646423 A CN 201811646423A CN 109711543 A CN109711543 A CN 109711543A
- Authority
- CN
- China
- Prior art keywords
- layer
- depth confidence
- confidence network
- biasing
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 230000004913 activation Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000010410 layer Substances 0.000 claims description 121
- 210000002569 neuron Anatomy 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000011229 interlayer Substances 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 claims 1
- 230000026676 system process Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000007704 transition Effects 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了可重构的深度置信网络实现系统,该系统包括:控制单元用于控制深度置信网络算法的运算流程;数据暂存单元用于存储计算所需的输入层信息、权重、偏置及输出层结果;受限玻尔兹曼机用于计算深度置信网络中各层结点的激活概率,以决定其激活状态;参数更新单元用于更新深度置信网络中各层结点的权重及偏置,其仅在训练算法中被激活。有益效果:该实现系统通过复用受限玻尔兹曼机及控制算法状态跳转可支持训练和推理两种算法,降低了算法的硬件资源开销,并保证了算法性能,适用于各种人工智能场景。
Description
技术领域
本发明涉及人工智能算法领域,尤其涉及一种可重构的深度置信网络实现系统。
背景技术
随着机器学习的进步和深度学习的出现,一些工具和图形表示被逐渐用来关联大量的数据。深度置信网络(Deep Belief Networks,DBN)在2006年被Hinton等人提出,其本质上是一种具有生成能力的图形表示网络,即它生成当前示例的所有可能值。作为概率统计学与机器学习和神经网络的融合,DBN由多个带有数值的层组成,其中层之间存在关系,而数值之间没有。深层置信网络主要目标是帮助系统将数据分类到不同的类别,广泛地应用于模式识别、特征提取等应用场景中。因此,研究适用于各种应用场景,灵活可配的深度置信网络实现系统具有极强的理论意义与应用价值。
DBN可以被看成简单的无监督网络的组成,如受限玻尔兹曼机(RestrictedBoltzmann Machine,RBM)。作为DBN的重要组成部分,RBM只有两层神经元,一层叫做显层(visible layer),由显元(visible units)组成,用于输入训练数据。另一层叫做隐层(hidden layer),相应地,由隐元(hidden units)组成,用作特征检测器(featuredetectors)。
DBN的训练和推理算法都是一层一层进行的,每个子网络的隐层作为下一层的显层。和其他神经网络不同的是,DBN的训练是逐层进行的,先对一个RBM应用对比分歧(Contrastive Divergence,CD)算法充分训练后才进行下一个RBM的训练。通过这种非监督贪婪逐层方法,可以获得生成模型的权值。在这个训练阶段,在显层会产生一个向量v,通过它将值传递到隐层。反过来,显层的输入会被随机的选择,以尝试去重构原始的输入信号。最后,这些新的可视的神经元激活单元将前向传递重构隐层激活单元,获得向量h。在训练过程中,首先将可视向量值映射给隐单元;然后可视单元由隐层单元重建;这些新可视单元再次映射给隐单元,以获得新的隐单元,执行的这种反复步骤叫做Gibbs采样。隐层激活单元和可视层输入之间的相关性差别就作为权值更新的主要依据。
若干次训练后,隐层不仅能较为精准地显示显层的特征,同时还能够较好的还原显层,因此被大量用于模式识别、特征提取。但现有的深度置信网络算法大多聚焦于应用层面,少有高效灵活的深度置信网络实现系统及架构被提出,无法兼顾性能与灵活性,并不能很好地满足实际应用的需求。
发明内容
本发明的目的在于克服以上现有技术之不足,提供一种可重构的深度置信网络实现系统,该系统可以有效地提高深度置信网络的配置灵活性,减少硬件资源开销,更好地满足实际应用的需求,具体由以下技术方案实现:
所述可重构的深度置信网络实现系统,包括:
数据暂存单元,存储计算所需的输入层信息、权重、偏置及输出层结果;
受限玻尔兹曼机,计算深度置信网络中各层结点的激活概率,以决定其激活概率及激活状态;
参数更新单元,更新深度置信网络中各层结点的权重及偏置;
控制单元,读取配置信息,通过内部的有限状态机控制深度置信网络算法的运算流程,通过复用受限玻尔兹曼机、选通参数更新单元以实现训练和推理两种算法。
所述可重构的深度置信网络实现系统的进一步设计在于,该系统的计算流程包括如下步骤:
步骤1)初始化:读取存储在数据暂存单元中的深度置信网络输入层信息及网络配置信息,并将配置信息传输至控制单元,并将当前访问层数置为1;
步骤2)数据传输:控制器根据当前访问层数将对应的输入层信息、权重及偏置传输至数据暂存单元;
步骤3)调用受限玻尔兹曼机:受限玻尔兹曼机读取数据暂存单元中存储的信息,计算出深度置信网络当前层所对应的输出层中各神经元的激活概率及激活状态,并存入数据暂存单元中;
步骤4)判决:根据当前执行的算法判决下一步操作,若执行训练算法,判断当前层的训练是否完成,未完成则返回步骤2),已完成则执行步骤5);若执行推理算法,判断当前层是否为最后一层,如果为最后一层则将输出层的激活状态输出作为最终结果,算法结束,否则返回步骤2);
步骤5)参数更新:调用参数更新单元,根据数据暂存单元中存储的信息对权重、偏置进行更新并传输回数据暂存单元中,然后判断当前层是否为最后一层,为最后一层则训练结束,否则返回步骤2)。
所述可重构的深度置信网络实现系统的进一步设计在于,所述配置信息包括网络层数、各层结点个数、执行的算法类型、当前访问层数及当前层训练状态。
所述可重构的深度置信网络实现系统的进一步设计在于,该系统可根据配置信息进行重构,执行训练或推理算法,所执行深度置信网络的层数及各层结点个数灵活可配。
所述可重构的深度置信网络实现系统的进一步设计在于,所述受限玻尔兹曼机由N输入乘加树、累加器、超越函数运算器、除法器、伪随机数发生器及比较器组成,乘加树用于计算权重与输入乘累加的结果,累加器用于将乘加树输出的结果与偏置进行累加,超越函数运算器用于计算出输出层结点的激活概率,伪随机数发生器产生随机数,并通过比较器将其与输出层结点的激活概率进行比较,以决定结点的激活状态。
所述可重构的深度置信网络实现系统的进一步设计在于,所述N输入乘加树的参数N代表并行路数,其取值取决于运算资源,N路并行实现架构包括:N个乘法器,N输入加法树、N/4个累加器、一个超越函数及一个比较器。
所述可重构的深度置信网络实现系统的进一步设计在于,所述数据暂存单元根据执行算法类型进行拆分,执行训练算法时,将数据暂存单元拆分为5*N个存储块,其中权重乒乓存入2*N个存储块中的前二分之一空间,另有N个存储块的前二分之一空间存放偏置,输入层数据存在N个bank中,输出层数据占据数据暂存单元中的其余空间;对于推理算法,权重和偏置分别乒乓存入2*N个存储块中,输入层数据存在N个存储块中,输出层数据直接覆盖输入层数据。
所述可重构的深度置信网络实现系统的进一步设计在于,所述参数更新单元仅在训练过程中更新权重和偏置时才被激活,通过先前RBM单元的输出及数据暂存单元中存放的信息更新深度置信网络中各层结点的权重及偏置,其具体方法如式(1):
w=w+λ(p(h1|v1)·v1-P(h2|v2)v2)
b=b+λ(v1-v2)
c=+MP(h1|v1)-P(h3|v2))
(1)
其中,λ表示学习率,w表示信息对层间权重,v1、v2表示显层神经元的激活状态,h1、h2表示隐层神经元的激活状态,c表示隐层偏置,b表示显层偏置,P表示神经元被激活的概率。
该单元的运算资源均为基本的乘加单元,在进行完权重及偏置的更新后将更新好的权重及偏置存回数据暂存单元中。
本发明的优点如下:
第一,本发明实现了一种高性能可重构的深度置信网络实现系统,可实现训练和推理两种算法,网络层数及各结点个数均灵活可配,适用于各种应用场景。
第二,本发明提出了一种可以复用的受限玻尔兹曼机,采用全流水的多路并行设计方式,以缩短推理与训练算法的运算周期,提高算法效率及硬件利用率。
第三,本发明提出的数据暂存单元可支持裁剪和拆分以实现无冲突访存,以保证运算的全流水。
第四,本发明架构的主要计算单元为加法器和乘法器,非常适合硬件实现,在保证性能的情况下,拥有低计算复杂度和低硬件开销。
综上所述,本发明可以有效地提高系统的性能、灵活性、数据处理能力和访存带宽,有着良好的实际应用价值。
附图说明
图1是本发明的可重构的深度置信网络实现系统的流程示意图。
图2是本系统的数据暂存单元无冲突访存示意图。
图3为本系统的模块流程示意图。
图4是本系统的受限玻尔兹曼机模型示意图。
具体实施方式
下面结合附图对本发明方案进行详细说明。
本发明所述的可重构的深度置信网络实现系统,由控制单元,受限玻尔兹曼机,参数更新单元,数据暂存单元几部分组成,如图1所示。
控制单元,读取包括网络层数L,各层结点个数Ni,执行的算法类型(训练/推理),当前访问层数t及当前层训练状态在内的配置信息,通过有限状态机控制深度置信网络算法的运算流程,通过复用受限玻尔兹曼机、选通参数更新单元以实现训练和推理两种算法。
受限玻尔兹曼机用于计算深度置信网络中各层结点的激活概率,以决定其激活概率及激活状态。其包括:N输入乘加树,累加器,超越函数运算器,除法器,伪随机数发生器及比较器。其个数由并行路数决定,N路并行需要N个乘法器,N输入加法树,N/4个累加器,一个超越函数运算器及一个比较器。乘加树用于计算权重与输入乘累加的结果∑iwi,jxi,累加器用于将乘加树输出的结果与偏置进行累加,得到(bj+∑iWi,jxi),超越函数运算器用于计算出输出层结点的激活概率σ(bj+∑iWi,jxi),伪随机数发生器产生随机数,并通过比较器将其与输出层结点的激活概率进行比较,以决定结点的激活状态。
数据暂存单元用于存储计算所需的输入层信息、权重、偏置及输出层结果,可根据运行算法的类型及并行度进行裁剪拆分。执行训练算法时,将数据暂存单元拆分为5*N个bank,其中权重乒乓存入2*N个bank中的前二分之一,另有N个bank的前二分之一存放偏置,输入层数据存在N个bank中,输出层数据占据bank中的其余位置,以实现无冲突访存,其示意图如图2所示。对于推理算法,权重和偏置分别乒乓存入2*N个bank中,输入层数据存在N个bank中,输出层数据直接覆盖输入层数据。
参数更新单元仅在训练过程中更新权重和偏置时才被激活,通过先前RBM单元的输出及数据暂存单元中存放的信息更新深度置信网络中各层结点的权重及偏置,其具体方法如下所示:
w=w+λ(P(h1|v1)·v1-P(h2|v2)v2)
b=b+λ(v1-v2)
c=+λ(P(h1|v1)-P(h2|v2))
(1)
其中λ表示学习率,在本发明中的取值为0.1。该单元的运算资源均为基本的乘加单元,在进行完权重及偏置的更新后将更新好的权重及偏置存回数据暂存单元中。
本实例所述的可重构的深度置信网络实现系统,其具体实现流程图如图3所示,具体步骤如下:
步骤1)初始化:读取存储在缓存中的深度置信网络输入层信息input及网络配置信息,并将配置信息传输至控制单元,其中包含网络层数L,每层结点个数Ni(i=1,…,L)及执行的算法类型(训练/推理),将当前访问层数t置为1;
步骤2)数据传输:控制器根据当前访问层数t将对应的输入层信息v,层间权重w,各层偏置传输至数据暂存单元,传输结束后跳转至步骤3);
步骤3)调用受限玻尔兹曼机:RBM单元读取数据暂存单元中存储的输入层信息v,权重w及偏置b,计算出深度置信网络当前层所对应的隐层中各神经元的激活概率P(hj|v)(j=1,…,Nt)及激活状态hj并存入数据暂存单元中,其模型示意图如图4所示,具体计算方式如下所示:
其中σ为Sigmoid函数:μ为一个0~1的随机数,作为激活阈值,即若神经元的激活概率大于该阈值,神经元则被激活,即置为1;
步骤4)判决:根据当前执行的算法判决下一步操作,若执行训练算法,判断当前层的训练是否完成,未完成则返回步骤2),已完成则执行步骤5);若执行推理算法,判断当前层t是否等于DBN的总层数L,若t=L则将输出层的激活状态输出作为最终结果,算法结束,否则返回步骤2)。当执行训练算法时,本发明的实施基于CD算法,需调用RBM单元3次,每调用一次令训练状态s=s+1,直至s=3后重置s为1,其三次调用的详细步骤如下:
步骤4-1)将输入层信息赋给显层v1,计算出隐层中每个神经元被激活的概率P(h1|v1),并通过激活概率得到隐层神经元的激活状态h1,令s=1;
步骤4-2)用h1重构显层,即通过隐层反推显层,计算显层中每个神经元被激活的概率P(v2|h1),并通过激活概率得到显层神经元的激活状态v2,令s=2;
步骤4-3)使用所推出的显层神经元的激活状态v2,计算出隐层中每个神经元被激活的概率P(h2|v2),并通过激活概率得到隐层神经元的激活状态h2,令s=3;
步骤5)参数更新:调用参数更新单元,根据数据暂存单元中存储的信息对层间权重w、显层偏置b、隐层偏置c进行更新并传输至数据暂存单元中,然后判断当前层是否为最后一层,为最后一层则训练结束,否则返回步骤2)。
综上所述,本实施例的可重构的深度置信网络实现系统,采用了全流水的多路并行设计方式,可实现训练和推理两种算法,网络层数及各结点个数均灵活可配,具有低计算复杂度、低硬件开销及高硬件利用率,同时显示了对于实际应用的巨大潜力。
Claims (8)
1.一种可重构的深度置信网络实现系统,其特征在于包括:
数据暂存单元,存储计算所需的输入层信息、权重、偏置及输出层结果;
受限玻尔兹曼机,计算深度置信网络中各层结点的激活概率,以决定其激活概率及激活状态;
参数更新单元,更新深度置信网络中各层结点的权重及偏置;
控制单元,读取配置信息,通过内部的有限状态机控制深度置信网络算法的运算流程,通过复用受限玻尔兹曼机、选通参数更新单元以实现训练和推理两种算法。
2.根据权利要求1所述的可重构的深度置信网络实现系统,其特征在于:该系统的计算流程包括如下步骤:
步骤1)初始化:读取存储在数据暂存单元中的深度置信网络输入层信息及网络配置信息,并将配置信息传输至控制单元,并将当前访问层数置为1;
步骤2)数据传输:控制器根据当前访问层数将对应的输入层信息、权重及偏置传输至数据暂存单元;
步骤3)调用受限玻尔兹曼机:受限玻尔兹曼机读取数据暂存单元中存储的信息,计算出深度置信网络当前层所对应的输出层中各神经元的激活概率及激活状态,并存入数据暂存单元中;
步骤4)判决:根据当前执行的算法判决下一步操作,若执行训练算法,判断当前层的训练是否完成,未完成则返回步骤2),已完成则执行步骤5);若执行推理算法,判断当前层是否为最后一层,如果为最后一层则将输出层的激活状态输出作为最终结果,算法结束,否则返回步骤2);
步骤5)参数更新:调用参数更新单元,根据数据暂存单元中存储的信息对权重、偏置进行更新并传输回数据暂存单元中,然后判断当前层是否为最后一层,为最后一层则训练结束,否则返回步骤2)。
3.根据权利要求1所述的可重构的深度置信网络实现系统,其特征在于:所述配置信息包括网络层数、各层结点个数、执行的算法类型、当前访问层数及当前层训练状态。
4.根据权利要求1所述的可重构的深度置信网络实现系统,其特征在于:该系统可根据配置信息进行重构,执行训练或推理算法,所执行深度置信网络的层数及各层结点个数灵活可配。
5.根据权利要求1所述的可重构的深度置信网络实现系统,其特征在于:所述受限玻尔兹曼机由N输入乘加树、累加器、超越函数运算器、除法器、伪随机数发生器及比较器组成,乘加树用于计算权重与输入乘累加的结果,累加器用于将乘加树输出的结果与偏置进行累加,超越函数运算器用于计算出输出层结点的激活概率,伪随机数发生器产生随机数,并通过比较器将其与输出层结点的激活概率进行比较,以决定结点的激活状态。
6.根据权利要求5所述的可重构的深度置信网络实现系统,其特征在于:所述N输入乘加树的参数N代表并行路数,其取值取决于运算资源,N路并行实现架构包括:N个乘法器,N输入加法树、N/4个累加器、一个超越函数及一个比较器。
7.根据权利要求1所述的可重构的深度置信网络实现系统,其特征在于:所述数据暂存单元根据执行算法类型进行拆分,执行训练算法时,将数据暂存单元拆分为5*N个存储块,其中权重乒乓存入2*N个存储块中的前二分之一空间,另有N个存储块的前二分之一空间存放偏置,输入层数据存在N个bank中,输出层数据占据数据暂存单元中的其余空间;对于推理算法,权重和偏置分别乒乓存入2*N个存储块中,输入层数据存在N个存储块中,输出层数据直接覆盖输入层数据。
8.根据权利要求1所述的可重构的深度置信网络实现系统,其特征在于:所述参数更新单元仅在训练过程中更新权重和偏置时才被激活,通过先前RBM单元的输出及数据暂存单元中存放的信息更新深度置信网络中各层结点的权重及偏置,其具体方法如式(1):
其中,λ表示学习率;w表示信息对层间权重,v1、v2表示显层神经元的激活状态,h1、h2表示隐层神经元的激活状态,c表示隐层偏置,b表示显层偏置,P表示神经元被激活的概率;
该单元的运算资源均为基本的乘加单元,在进行完权重及偏置的更新后将更新好的权重及偏置存回数据暂存单元中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811646423.5A CN109711543B (zh) | 2018-12-30 | 2018-12-30 | 一种可重构的深度置信网络实现系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811646423.5A CN109711543B (zh) | 2018-12-30 | 2018-12-30 | 一种可重构的深度置信网络实现系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109711543A true CN109711543A (zh) | 2019-05-03 |
CN109711543B CN109711543B (zh) | 2023-05-09 |
Family
ID=66260463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811646423.5A Active CN109711543B (zh) | 2018-12-30 | 2018-12-30 | 一种可重构的深度置信网络实现系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109711543B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942145A (zh) * | 2019-10-23 | 2020-03-31 | 南京大学 | 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统 |
CN111832720A (zh) * | 2020-09-21 | 2020-10-27 | 电子科技大学 | 一种可配置神经网络推理与在线学习融合计算电路 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100228694A1 (en) * | 2009-03-09 | 2010-09-09 | Microsoft Corporation | Data Processing Using Restricted Boltzmann Machines |
CN107991878A (zh) * | 2017-12-20 | 2018-05-04 | 湘潭大学 | 一种基于深度信念网络的混沌追踪控制方法 |
CN108763360A (zh) * | 2018-05-16 | 2018-11-06 | 北京旋极信息技术股份有限公司 | 一种分类方法及装置、计算机可读存储介质 |
-
2018
- 2018-12-30 CN CN201811646423.5A patent/CN109711543B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100228694A1 (en) * | 2009-03-09 | 2010-09-09 | Microsoft Corporation | Data Processing Using Restricted Boltzmann Machines |
CN107991878A (zh) * | 2017-12-20 | 2018-05-04 | 湘潭大学 | 一种基于深度信念网络的混沌追踪控制方法 |
CN108763360A (zh) * | 2018-05-16 | 2018-11-06 | 北京旋极信息技术股份有限公司 | 一种分类方法及装置、计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942145A (zh) * | 2019-10-23 | 2020-03-31 | 南京大学 | 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统 |
CN111832720A (zh) * | 2020-09-21 | 2020-10-27 | 电子科技大学 | 一种可配置神经网络推理与在线学习融合计算电路 |
Also Published As
Publication number | Publication date |
---|---|
CN109711543B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650922B (zh) | 硬件神经网络转换方法、计算装置、软硬件协作系统 | |
Rao et al. | Runtime network routing for efficient image classification | |
Dash et al. | Efficient stock price prediction using a self evolving recurrent neuro-fuzzy inference system optimized through a modified differential harmony search technique | |
CN106127301B (zh) | 一种随机神经网络硬件实现装置 | |
CN110298663A (zh) | 基于序列宽深学习的欺诈交易检测方法 | |
CN109496294A (zh) | 人工智能处理装置的编译方法及系统、存储介质及终端 | |
CN105637541A (zh) | 用于神经模拟器的共享存储器架构 | |
CN103324954A (zh) | 一种基于树结构的图像分类方法及其系统 | |
CN113919485A (zh) | 基于动态层级通信网络的多智能体强化学习方法及系统 | |
CN109711543A (zh) | 一种可重构的深度置信网络实现系统 | |
CN112163671A (zh) | 一种新能源场景生成方法及系统 | |
CN113469372A (zh) | 强化学习训练方法、装置、电子设备以及存储介质 | |
CN109657794A (zh) | 一种基于指令队列的分布式深度神经网络性能建模方法 | |
US10558767B1 (en) | Analytical derivative-based ARMA model estimation | |
CN116843083A (zh) | 基于混合神经网络模型的碳排放预测系统及方法 | |
Shokouhifar et al. | A hybrid approach for effective feature selection using neural networks and artificial bee colony optimization | |
CN109816103A (zh) | 一种pso-bfgs神经网络训练算法 | |
Doan et al. | Informative multimodal unsupervised image-to-image translation | |
CN104536831A (zh) | 一种基于多目标优化的多核SoC软件映射方法 | |
CN109657779A (zh) | 基于dnn的模型数据处理方法、数据处理模型及电子装置 | |
Chen et al. | A Spark-based Ant Lion algorithm for parameters optimization of random forest in credit classification | |
CN115528750B (zh) | 一种面向电网安全稳定的数据模型混合驱动机组组合方法 | |
CN107886163A (zh) | 基于agn及cnn的单目标优化问题寻优方法及装置 | |
CN106104586B (zh) | 神经元形态模型开发的上下文实时反馈 | |
CN109117946A (zh) | 神经网络计算处理模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |