CN104809502A - 一种受限玻尔兹曼机隐含层节点动态调整方法 - Google Patents

Abstract

本发明属于控制领域，公开了一种受限玻尔兹曼机隐含层节点动态调整方法，该方法包括：选取初始数据；将初始数据作为输入,输入到第一层受限玻尔兹曼机中；计算第一层受限玻尔兹曼机隐含层神经元的活跃度,若其活跃度大于活跃度阀值,则分裂该神经元,调整网络结构,设定新神经元的初始参数；计算第一层受限玻尔兹曼机隐含层神经元和输出神经元间的连接强度，若小于阀值，则断开神经元间的连接；将该输出作为第二层玻尔兹曼机输入；以此类推至最后一层受限玻尔兹曼机的输出，得到调整后的网络结构。最后，并通过反向传播来微调网络结构。利用本发明提供的隐含层节点动态调节方法相比于固定节点的模型，实现了受限玻尔兹曼机结构和参数的自校正。

Description

一种受限玻尔兹曼机隐含层节点动态调整方法

本发明涉及控制领域，特别是涉及一种受限玻尔兹曼机隐含层节点动态调节方法

背景技术

目前，神经网络结构优化设计方法一直是一个开放性的问题。例如，基于进化算法对网络结构大小进行调整，进化算法是基于生物进化原理的搜索算法，具有很好的鲁棒性和全局搜索能力，但是遗传算法需要昂贵的计算代价；利用粒子群优化算法对网络结构进行优化，通过对隐含层神经元和连接权值进行调整，提高最终神经网络的性能，但是由于粒子群算法在训练过程中需要进行全局搜索，整个结构调整时间仍较长。

鉴于以上存在的问题，本文提出了一种利用隐含层神经元输出信息强度实现神经网络的增长，同时利用神经元间交互信息强度实现隐含层神经元的删除，利用梯度下降算法对其连接权值进行调整。该方法具有较好的非线性逼近能力，较快的训练速度以及紧凑的网络结构。

发明内容

有鉴于此，本申请提供一种受限玻尔兹曼机隐含层节点动态调节方法。该方法通过计算隐含层输出神经元的活跃度以及隐含层和输出层神经元连接强度来动态调节节点数。相比于固定节点的模型，可以实现网络结构和参数自校正。

本发明提出的一种玻尔兹曼机隐含层节点动态调节方法，包括以下步骤：

步骤一：选取初始数据；步骤二：将初始数据作为输入值，输入到第一层受限玻尔兹曼机RBM1中；步骤三：计算RBM1隐含层神经元的活跃度，如果其活跃度大于已知的活跃度阀值，则分裂该神经元，调整网络结构，根据相关公式设定新神经元的初始参数；步骤四：计算RBM1隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断开该神经元和输出神经元间的连接；步骤五：将RBM1的输出作为第二层RBM2输入；步骤六：计算RBM2隐含层神经元的活跃度，如果大于活跃度阀值，则分裂该神经元，调整网络结构，并根据相关公式设定新神经元的初始参数；步骤七：计算RBM2隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断开该神经元和输出神经元间的连接；步骤八：以此类推直至最后一层RBMn的输出，得到调整后的网络结构；步骤九：通过反向传播微调权值获得最佳网络结构。

进一步，在步骤二中包括以下步骤：21：RBM同层之间是无连接的，具有以下性质：给定可见层单元状态时，隐含单元的激活条件独立；给定隐含层单元状态，可见层单元激活条件也是独立的。θ＝{W，a，b}是RBM的参数，分别为权值，可见层偏移量和隐层偏移量向量，利用对比散度CD算法快速学习RBM，得到各参数的更新准则。

进一步，在步骤三中具体包括以下步骤：包括：31：利用隐含层神经元输出计算其活跃度函数其中，i＝1,2，…，K，Af_i是第i个隐含层神经元的活跃度，K是隐含层神经元数，θ_i是第i个隐含层神经元的输出，T是较小实数值，避免||x-μ_i||为零时活跃度函数无解，当x和μ_i较接近时，分母较小，活跃度值较大，此时神经元较活跃；反之，则不活跃；32：当神经元(称为第i个神经元)的活跃度Af_i大于活跃度阀值Af₀时(Af₀＝max{1/K，10e_r}，e_r为期望误差)，活跃神经元i和输出神经元断开连接，对其进行分 裂，并对新神经元初始中心及方差进行设定：

μ_i，l＝α_iμ_i+β_ixδ_i，l＝α_iδ_i其中，l＝(1,2，…，N_new)，μ_i和δ_i分别是神经元i的中心和方差，μ_i，l和δ_i，l分别表示神经元i分裂的新神经元l的中心值和方差，N_new是新增神经元数(N_new＝[Af_i/Af_av]，取Af_i/Af_av的整数部分，Af_av为隐含层神经元平均活跃度)，根据神经元活跃度确定所增神经元数，新神经元与输出神经元间的连接权值设定为 其中，r_l是第l个新神经元的分配参数，θ_i是结构调整前分裂神经元i的输出，θ_i，l(x)是新神经元l的输出，w_i是分裂神经元i与输出层神经元的联结权值，e是结构调整前神经网络的输出误差。

进一步，在步骤四中具体包括：41：首先定义隐含层神经元j和输出层神经元y的交互信息函数：其中，p(j；y)是j和y的联合分布密度，p(j)和p(y)分别为j和y的概率密度；42:假设j和y是相互连接的神经元，神经元间交互信息强度M(j；y)依赖于神经元j和y间的信息强度，根据香农熵理论，神经元j和y间的连接强度可通过以下式计算：M(j；y)＝H(j)-H(j|y)＝H(y)-H(y|j)其中，H(j)为神经元j的熵，H(y|j)为神经元y在神经元j条件下的熵，，当神经元j和y相互独立时，M(j；y)的值为0；否则，M(j；y)为正数；43：规则化神经元间交互信息强度其中，0≤m(j；y)≤1，通过计算m，能够确定神经元j和y间信息交互较强，j和y间连接；当m(j；y)趋近0时，则表明神经元j和y间信息交互强度较弱，在网络结构调整时可忽略神经元j和y间的连接，从而降低神经网络的冗余度。

进一步，在步骤九中具体包括：71：:利用梯度下降算法，并通过反向传播来微调网络结构。

附图说明

图1是本发明一种受限玻尔兹曼机隐含层节点动态调节方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

S1：选取初始数据；

S2：步骤S2，将初始数据作为输入，输入到第一层受限玻尔兹曼机RBM1中；

S3：利用隐含层神经元输出计算其活跃度函数

${\mathrm{Af}}_1\left(x\right)=\frac{{\mathrm{\θ}}_1}{\left(\right||x-{\mathrm{\μ}}_1||+T)}+{\mathrm{\Σ}}_{k=1}^K{\mathrm{\θ}}_k$

计算RBM1的隐含层神经元的活跃度Af₁(x)。当神经元的活跃度Af₁(x)大于活跃度阀值Af₀时，活跃神经元1和输出神经元断开连接，对其进行分裂，并对新神经元初始中心及方差进行设定：

μ_1，l＝α₁μ₁+β₁x

δ_1，l＝α₁δ₁

新神经元与输出神经元间的连接权值设定为

$w_{1,l}=r_l\frac{w_1{\mathrm{\θ}}_1\left(x\right)-e}{{\mathrm{\θ}}_{1,l}\left(x\right)}\underset{l=1}{\overset{N_{\mathrm{new}}}{\mathrm{\Σ}}}{r}_l=1$

S4：定义隐含层神经元j和输出层神经元y的交互信息函数：

$M(j;y)={\mathrm{\Σ}}_{j;y}p(j;y)\mathrm{lo}{g}_2\frac{p(j;y)}{p\left(j\right)p\left(y\right)}$

神经元j和y间的连接强度可通过以下式计算：

M(j；y)＝H(j)-H(j|y)＝H(y)-H(y|j)

规则化神经元间交互信息强度

$m(j;y)=\frac{M(j;y)}{\min (H\left(j\right);H\left(y\right))}$

通过计算m，能够确定神经元j和y间信息交互较强，j和y间有连接；当m(j；y)趋近0时，则表明神经元j和y间信息交互强度较弱，在网络结构调整时可忽略神经元j和y间的连接；

S5：将RBM1的输出作为第二层RBM2输入；

S6：利用隐含层神经元输出计算其活跃度函数

$A{f}_2\left(x\right)=\frac{{\mathrm{\θ}}_2}{\left(\right||x-{\mathrm{\μ}}_2||+T){\mathrm{\Σ}}_{k=1}^K{\mathrm{\θ}}_k}$

计算RBM2的隐含层神经元的活跃度Af₂(x)。当神经元的活跃度Af₂(x)大于活跃度阀值Af₀时，活跃神经元2和输出神经元断开连接，对其进行分裂，并对新神经元初始中心及方差进行设定：

μ_2，l＝α₂μ₂+β₂x

δ_2，l＝α₂δ₂

新神经元与输出神经元间的连接权值设定为

$w_{2,l}=r_l\frac{w_2{\mathrm{\θ}}_2\left(x\right)-e}{{\mathrm{\θ}}_{2,l}\left(x\right)}\underset{l=1}{\overset{N_{\mathrm{new}}}{\mathrm{\Σ}}}{r}_l=1$

S7：定义隐含层神经元j和输出层神经元y的交互信息函数：

$M(j;y)={\mathrm{\Σ}}_{j;y}p(j;y)\mathrm{lo}{g}_2\frac{p(j;y)}{p\left(j\right)p\left(y\right)}$

神经元j和y间的连接强度可通过以下式计算：

M(j；y)＝H(j)-H(j|y)＝H(y)-H(y|j)

规则化神经元间交互信息强度

$m(j;y)=\frac{M(j;y)}{\min (H\left(j\right);H\left(y\right))}$

通过计算m，能够确定神经元j和y间信息交互较强，j和y间有连接；当m(j；y)趋近0时，则表明神经元j和y间信息交互强度较弱，在网络结构调整时可忽略神经元j和y间的连接；

S8：以此类推直至第四层RBM4的输出。得到调整后的网络。

S9：总体微调阶段，利用梯度下降算法，并通过反向传播调整权重来获得最佳网络结构。

Claims (7)

1.一种受限玻尔兹曼机隐含层节点动态调节方法，其特征在于，该方法包括以下步骤：

步骤一：选取初始数据；

步骤二：将初始数据作为输入值，输入到第一层受限玻尔兹曼机RBM1中；

步骤三：计算RBM1隐含层神经元的活跃度，如果其活跃度大于已知的活跃度阀值，则分裂该神经元，调整网络结构，根据相关公式设定新神经元的初始参数；

步骤四：计算RBM1隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断开该神经元和输出神经元间的连接；

步骤五：将RBM1的输出作为第二层RBM2输入；

步骤六：计算RBM2隐含层神经元的活跃度，如果大于活跃度阀值，则分裂该神经元，调整网络结构，并根据相关公式设定新神经元的初始参数；

步骤七：计算RBM2隐含层神经元和输出层神经元间的连接强度，如果小于阀值，则断开该神经元和输出神经元间的连接；

步骤八：以此类推直至最后一层RBMn的输出，得到调整后的网络结构。

步骤九：总体微调阶段，利用梯度下降算法，并通过反向传播来微调网络结构。

2.如权利要求1所述的方法，其特征在于，在步骤二中具体包括：21：RBM同层之间是无连接的，具有以下性质：给定可见层单元状态时，隐含单元的激活条件独立；给定隐含层单元状态，可见层单元激活条件也是独立的。θ＝{W，a，b}是RBM的参数，分别为权值，可见层偏移量和隐层偏移量向量，利用对比散度CD算法快速学习RBM，得到各参数的更新准则。

3.如权利要求1所述的方法，其特征在于，在步骤三中具体包括：31：利用输出信息强度判断神经元的活跃度，对活跃度较强的神经元进行分裂。

4.如权利要求3所述的方法，其特征在于，包括：41：利用隐含层神经元输出计算其活跃度函数其中，i＝1,2，…，K，Af_i是第i个隐含层神经元的活跃度，K是隐含层神经元数，θ_i是第i个隐含层神经元的输出，T是较小实数值，避免||x-μ_i||为零时活跃度函数无解，当x和μ_i较接近时，分母较小，活跃度值较大，此时神经元较活跃；反之，则不活跃；42：当神经元(称为第i个神经元)的活跃度Af_i大于活跃度阀值Af₀时(Af₀＝max{1/K，10e_r}，e_r为期望误差)，活跃神经元i和输出神经元断开连接，对其进行分裂，并对新神经元初始中心及方差进行设定：

μ_i，1＝α_iμ_i+β_ixδ_i，1＝α_iδ_i其中，l＝(1,2，…，N_new)，μ_i和δ_i分别是神经元i的中心和方差，μ_i，1和σ_i，1分别表示神经元i分裂的新神经元l的中心值和方差，N_new是新增神经元数(N_new＝[Af_i/Af_av]，取Af_i/Af_av的整数部分，Af_av为隐含层神经元平均活跃度)，根据神经元活跃度确定所增神经元数，新神经元与输出神经元间的连接权值设定为其中，r_i是第l个新神经元的分配参数，θ_i是结构调整前分裂神经元i的输出，θ_i，1(x)是新神经元l的输出，w_i是分裂神经元i与输出层神经元的联结权值，e是结构调整前神经网络的输出误差。

5.如权利要求1所述的方法，其特征在于，在步骤四中具体包括：51：通过计算神经元间交互信息相关性函数，分析RBM隐含层神经元与输出层神经元间的连接强度，从而根据神经元间交互信息强度对网络结构进行修改。

6.如权利要求5所述的方法，其具体过程：61：首先定义隐含层神经元j和输出层神经元y的交互信息函数：其中，p(j；y)是j和y的联合分布密度，p(j)和p(y)分别为j和y的概率密度；62:假设j和y是相互连接的神经元，神经元间交互信息强度M(j；y)依赖于神经元j和y间的信息强度，根据香农熵理论，神经元j和y间的连接强度可通过以下式计算：M(j；y)＝H(j)-H(j|y)＝H(y)-H(y|j)其中，H(j)为神经元j的熵，H(y|j)为神经元y在神经元j条件下的熵，，当神经元j和y相互独立时，M(j；y)的值为0；否则，M(j；y)为正数；63：规则化神经元间交互信息强度其中，0≤m(j；y)≤1，通过计算m，能够确定神经元j和y间信息交互较强，j和y间连接；当m(j；y)趋近0时，则表明神经元j和y间信息交互强度较弱，在网络结构调整时可忽略神经元j和y间的连接，从而降低神经网络的冗余度。

7.如权利要求1所述的方法，其特征在于，在步骤九中具体包括：71：:利用梯度下降算法，并通过反向传播来微调网络结构。