CN113408602A - 一种树突神经网络初始化方法 - Google Patents

Abstract

本发明属于人工神经网络优化领域，具体涉及一种树突神经网络初始化方法，包括对神经元树突的修剪，包括如下步骤：步骤一：使用k‑fold交叉验证方法从数据集中生成训练集D；步骤二：使用二值化方法从训练集D中生成新的数据集T；步骤三：通过ID3或C4.5学习算法生成相应的决策树结构；步骤四：合并叶子节点标记为1的决策树的路径，并修剪叶子节点标记为0的路径；步骤五：根据决策树中标记为1的路径数量确定树突神经网络中dendrite层的数量；步骤六:根据决策树的各个路径构造具有相同分类功能的dendrite层。进一步，还包括基于一位有效编码的分类方法，本发明的初始化方法修剪精度高、收敛速度快、泛化能力好。

Description

一种树突神经网络初始化方法

技术领域

本发明属于人工神经网络优化领域，具体涉及一种树突神经网络 初始化方法。

背景技术

人工神经网络(ANN)是受自然神经元抑制和触发的电位生成机 制启发而建立的一种操作模型。ANN成功地解决了预测估计领域中 的许多实际问题，例如树突神经网络(DNM)成功用于乳腺癌、肝 病、信用等高精度分类以及金融时间序列，汇率与旅客到达，中国房 价指数的预测，建立树突状神经元模型需要对神经元的树突进行修剪， 以达到信息传输和存储的效果。有人聚焦于过滤级修剪，即根据神经 元的重要性进行剪切，该方法在不改变原有的网络结构上，提高了网 络的性能，具有较强的泛化能力；有人提出了一种修剪人工神经网络 的新方法，利用神经网络的神经复杂度进行度量，在保持学习行为和 适合度的同时，减少过大复杂度的网络，这种修剪方法是对最常用的 基于幅度的修剪方法的重大改进；有人提出了一种径向基函数(RBF) 网络的顺序学习算法，称为RBF网络的广义增长和修剪算法 (GGAP-RBF)，GGAP-RBF神经网络的生长和修剪策略是基于所需的 学习精度与最近增加的新神经元重要性进行的，但是，该方法复杂度 较高，不利于实际应用；也有人提出了一种新的通道剪枝方法来加速 非常深的卷积神经网络，并提出了一种迭代两步算法，通过基于 LASSO回归的通道选择和最小二乘重构来有效地剪枝每一层，进一 步将该算法如果推广到多层、多分支的情况，但该方法会剪切贡献度 高的神经元，使得网络精度下降。

树突神经网络(DNM)是一种仿生学网络，神经元的基本结构包括 树突、轴突、胞体和细胞核。因此，树突神经网络有四层：Synaptic、 Dendritic、Membrane和Soma层。Synaptic层接收输入信号并使用 sigmoid函数将线性信号转换为神经元信号。Dendritic层是对Synaptic 层的输出进行汇聚处理。Membrane层是增强Dendritic层的输出，并 将结果输入到Soma层。Soma层利用另一个Sigmoid函数来给出最 终结果。

参见图1，所示为一个有6层Dendrite和9个输入的DNM网络 结构图。其中，输入x_i的通过Dendritic与Synaptic层连接(四种连接 状态)，Membrane层对Synaptic层的输出进行增强激活并将其转移到 Soma层。

Synaptic层是神经元间信息交互的重要组成部分。该层利用 Sigmoid函数将线性信号转化为神经元信号。根据接收离子引起的电 位变化，Synapses层可分为抑制性Synapses和兴奋性Synapses两种 形式。Synapses层公式如下：

其中，Y_ij代表从第i个输入到第j个Synapses层的输出，范围为 [0，1]。k为连接参数，通常设置为1到10之间的整数。当ω_ij和θ_ij取 不同值时，可对应于四个连接状态，参见图2。四种连接状态描述如 下：

1)常0连接(ω_ij＜0＜θ_ij或0＜ω_ij＜θ_ij)，在该状态下，无论x_i的值 如何，输出Y_ij均为0。

2)正向连接(0＜θ_ij＜ω_ij)，无论输入在0到1之间如何改变，输出 与输入都成正相关。

3)反向连接(ω_ij＜0＜θ_ij)，无论输入在0到1之间如何改变，输 出与输入都成负相关。

4)常1连接(θ_ij＜ω_ij＜0或θ_ij＜0＜ω_ij)，在该状态下，无论x_i的值如何，输出Y_ij均为1。

Dendrite层的作用是将每个分支上的Synaptic信号相乘，使得 Synaptic层之间的信号产生非线性相互作用。该方式与逻辑“与”运 算相似，Dendrite层公式如下所示：

其中，Z_j是第j-th个Dendrite层的输出。

Membrane层收集来自每个Dendrite层的信号。该层汇聚处理每 个分支的输入，将汇聚处理结果后的输出到下一层。其作用与逻辑“或” 运算非常相似。Membrane层公式如下所示：

其中，V是Membrane层汇聚处理后的输出。

Soma层的作用为实现类似于体细胞的功能，当Soma层的输出 超过阈值时，神经元就会被触发。此过程由Sigmoid函数表示，公式 表示如下：

其中，O是Soma层的输出。

由于DNM是前馈模型，并且DNM中的所有功能都是微分的， 因此误差反向传播算法(BP)可以有效地用作为学习算法。BP算法 通过导数和学习率连续调整θ_ij和ω_ij的值，以减小实际输出O和期望输 出T之间的差异。O和T之间的平方误差定义为：

在DNM中，通过在迭代过程中，不断修改负梯度方向的连接参 数使得E最小化。

树突神经网络存在以下几个问题：

1)树突神经网络的Dendrite层数设定无任何根据的，存在不合理 性。层数太多会影响树突神经网络训练的效率，层数太少可能会导致 一些收敛问题。

2)由于树突神经网络的权重ω_ij和阈值θ_ij的初始值是随机生成的， 因此初始收敛速度较慢或可能收敛到某些局部最优值。

3)在对树突神经网络训练时，可以修剪一些树突层以降低树突神 经网络的复杂性，但可能会导致准确性下降。

4)树突神经网络能够有效地解决二分类问题，但由于网络的复杂 度较高，导致无法有效的解决多分类问题。

发明内容

本发明的目的在于提出一种修剪精度高、收敛速度快、泛化能力 好的树突神经网络初始化方法。

实现上述目的的技术方案为，

一种树突神经网络初始化方法，包括对神经元树突的修剪，包括 如下步骤：

步骤一：使用k-fold交叉验证方法从数据集中生成训练集 D＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}。

步骤二：使用二值化方法从训练集D中生成新的数据集T。

步骤三：通过ID3或C4.5学习算法生成相应的决策树结构。

步骤四：合并叶子节点标记为1的决策树的路径，并修剪叶子节 点标记为0的路径。

步骤五：根据决策树中标记为1的路径数量确定树突神经网络中 dendrite层的数量。

步骤六：根据决策树的各个路径构造具有相同分类功能的 dendrite层。

进一步，还包括基于一位有效编码的分类方法，所述分类方法包括如 下步骤：

步骤一，设定一个概率预测模型h，h(x)＝(h₁(x)，h₂(x)，...，h_k(x))∈[0，1]^k， h(x)是样本x属于第i类的概率，则模型h的最大概率分类函数为，

步骤二，最大概率分类输出与最大的模型预测概率对应的进行分类， 并将其用作样本的分类预测。

本发明案基于现有的对神经元树突裁剪方法，提出了一种基于多 决策树的树突神经网络(Dendritic Neural Model Based on Multi-Decision Tree，MDTDNM)，该模型具有神经元裁剪功能，通过 决策树(Decision Tree，DT)筛选无用的突触和不必要的树突，形成针对 特定任务的独特树突拓扑。进一步，本发明案引入一位有效编码 (One-Hot)编码方法，能够有效地解决多分类问题。首先，在不影 响性能的情况下，MDTDNN通过决策树对贡献不大的神经元进行裁 剪，减少了大量的计算资源；然后，模型通过决策树初始化权值，形成了针对特定任务的独特树突拓扑；最后，MDTDNN通过One-Hot 编码的方式，能够有效地处理多分类问题。仿真结果表明，该模型降 低了算法复杂性，提高了效率，在精度和计算效率方面均优于现有模 型。

附图说明

图1所示为DNM结构图；

图2所示为阈值对应连接状态图；

图3所示为基于决策树的树突神经网络模型；

图4所示为MDTDNM多分类示意图；

图5所示为Iris数据集收敛曲线比较图；

图6所示为Wine数据集收敛曲线比较图；

图7所示为Ecoli数据集收敛曲线比较图。

具体实施方式

以下结合实施例对本发明进行详细的说明。

决策树(Decision Tree，DT)是一种基本的分类和回归方法。其目标 是创建一个模型，该模型通过学习从数据属性推断出的简单决策规则 来预测目标变量的，其核心思想是遵循简单直观的“分而治之”策略。 决策树学习的关键是如何选择最佳分区属性a*，定义为：

通常，随着学习过程的进行，希望分支节点中包含的样本属于其 正确类别数量越多，那么节点的“纯度”则越高。信息熵是样本集“纯 度”的最常见度量，如果类型k的样本在样本集合D中的比例为 p_k(k＝1，2，3，...，|Y|)，则D的信息熵定义为：

ρ(D)越小，D的纯度越高。假定离散属性a具有V个可能值 {a¹，a²，...，a^V}。则可求出其中第v个分支节点包含D中所有属性a的样 本值，表示为D^v。根据公式(7)得到D的信息熵，由于不同的分支节 点包含不同的样本数，则分支节点的权重为|D^v|/|D|，即样本数越大， 分支节点的影响越大。因此，信息增益可以计算为：

一般地，信息增益越大，使用属性a的区分“纯”度越高。因此， 使用信息增益来选择决策树的分类属性。如何选择a*是成功学习决 策树的关键，以下代码所示为选择最佳分类属性a*的步骤。

经过研究发现，树突神经网络和DT在解决分类问题上是相同的。 根据决策树初始化，可以形成由决策树生成的规则，该规则包含逻辑 “与”和逻辑“或”，类似于树突神经网络中Synaptic层和Membrane 层的功能。DT和树突神经网络之间的对应关系如表1所示。

表1决策树和DNM之间的对应关系

本发明案依赖于每个决策树生成的基本分类器的分类结果与实 例标签之间的相关性。其主要操作步骤如下：

步骤1：使用k-fold交叉验证方法从数据集中生成训练集 D＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}。

步骤2：使用二值化方法从训练集D中生成新的数据集T。

步骤3：通过ID3或C4.5学习算法生成相应的决策树结构。

步骤4：合并叶子节点标记为1的决策树的路径，并修剪叶子节 点标记为0的路径。

步骤5：根据DT中标记为1的路径数量确定树突神经网络中dendrite层的数量。

步骤6：根据DT的各个路径构造具有相同分类功能的dendrite 层。

为了进一步理解，举例说明决策树剪切策略的具体实施步骤：

步骤1：使用基于决策树的学习算法生成相应的决策树结构。其 中，内部节点(非叶子)代表属性的测试，而外部节点(叶子)代表 测试结果。如图3所示，处理15个c1-c4的内部节点和16个标记为 0或1的叶子节点。

步骤2：通过合并和修剪保留标记为1的M条路径，表示为 ψ＝{σ₁,σ₂,...,σ_M}。如图3所示，含有三个标记为1的叶节点的路径。 因此，可得ψ＝{(c₁＝0,c₃＝0,c₂＝0)；(c₁＝0,c₃＝1)；(c₁＝1,c₂＝0,c₄＝1)}或

根据上述，可形成由决策树生成的规则：

IF(c₁＝0∩c₃＝0∩c₂＝0)∪(c₁＝0∩c₃＝1)∪(c₁＝1 ∩c₂＝0∩c₄＝1)

THEN Class is 1

该规则类似于树突神经网络中的Dendritic层和Membrane层的功 能。

步骤3：将决策树的三个路径转换为树突神经网络的三个dendrite 层。属性c1通过正向接到Dendrite层的树突层，c2通过反向连接到 Dendrite层，c3通过常数1连接到Dendrite层以及c4通过正向连接 到Dendrite层。

步骤4：最终形成基于决策树的树突神经网络模型。

单个树突神经网络无法实现多分类，因此需要多个树突神经网络 协同作用才能进行多个分类。经过研究发现，如果使用多个树突神经 网络来进行多分类，则需要设置过多参数，从而网络导致收敛缓慢且 分类不佳。

上述的基于决策树修剪的树突状神经元模型，能够在保证性能的 前提下，剪切掉不必要的分支，有效地避免网络参数过多，从而减少 网络复杂度。因此，该模型能够有效地解决多分类问题。

One-Hot编码，也称之为一位有效编码，主要是采用N位状态寄 存器对N个状态进行编码，每个状态与其寄存器位无关，并且在任 何时候只有一个位有效[30]。同样的，在k类分类问题中，训练数据 包含向量标签y∈[0，1]^k。设Y为所有可能标签的值，Y为标签空间， 每个对象的标签表示为k维向量，如果对象属于第t类，则标记向量 的第t位的值为1，其他值为0，该思想与One-Hot编码思想一致。 因此，本实施例基于One-Hot编码的方法，对样本标签进行编码。以 下术语描述了多分类的核心思想：

给定一个概率预测模型h，h(x)＝(h₁(x)，h₂(x)，...，h_k(x))∈[0，1]^k。其中， h(x)是样本x属于第i类的概率。则模型h的最大概率分类函数为：

最大概率分类输出与最大的模型预测概率对应的分类，并将其用 作样本的分类预测。如图4所示，为一个由三个基于决策树修剪的树 突状神经元组成的网络模型。每个神经元将三分类问题分解为两分类 问题，最后将每个神经预测的概率最高的类别用作样本的类别预测。

上述实施例的树突神经网络初始化方法的性能效果通过UCI机 器学习存储库来验证，具体过程如下，

表2描述了这些数据集。目前，许多最新的研究都使用该数据库 进行性能验证，因此，本实施例所提模型可与最新的模型进行比较。

表2 UCI数据

实验设计将每个数据集的样本分为三个部分，其中70％用于训练， 15％用于验证和15％用于测试。

为了评估本发明案的性能优势，本文选择BP[25]M树突神经网 络[17]进行比较分析比较。从四个方面评估性能：均方误差(MSE) 曲线，准确性，精确度，召回率和p-Value。此外，为了更公平地进 行比较，三种模型的参数均相等，如表3所示。如下简述四个性能指标：

1)均方误差(MSE)曲线：MSE是实际值和预测值之间误差的 平方差。MSE的值越小，则预测模型的准确性越好，并且可以反映 模型的收敛性。

2)准确性：用于评估分类问题的性能指标通常是分类准确率。 对于给定数据，正确分类的样本在样本总数中所占的比例。

3)ROC曲线：为了比较本发明案，BPNN和M树突神经网络的 性能，一种常用方法是计算ROC曲线下的面积(AUC)。当AUC越接 近1时，表示该模型性能越优。

4)p-Value：如果p-Value小于0.05，则表明模型的性能明显优于 其他模型。

表3参数设置

本实施例从UCI数据库中选择了六组数据进行实验。三种模型 的收敛曲线MSE比较如图5至图7所示。可以发现本发明案的MSE 收敛速度最快，而BPNN和M树突神经网络的MSE在速度较慢。此 外，本发明案的MSE曲线较低，这意味着其接近于全局最优解。分 析其主要原因在于：本发明案通过决策树进行修剪，可以减少树突状 神经元的数量，并优化神经元的初始化权重和阈值，从而提高训练效 率。

使用不同的最大迭代次数(200、500和1000)进行了六个实验， 分别比较了三种模型的准确性。此外，为了更公平地进行比较， BPNN和M树突神经网络的dendrite层(隐藏层)数几乎相等。表4 至表9结果表明，无论迭代多少次，本发明案始终具有更高的精度， 并且在相同数目的dendrite层下，本发明案的性能仍保持更好的稳定 性和鲁棒性。这是因为M树突神经网络和BP的性能高度依赖于 dendrite层(隐藏层)的数量和随机生成的初始值。

表4至表9显示，无论迭代多少次，本发明案的AUC值高于其 他算法。这是因为BPNN和M树突神经网络的参数是随机生成的， dendrite层(隐藏层)设置无任何根据。因此，其AUC值较低。由于 本发明案基于DT的构造，形成了针对特定任务的独特树突拓扑，本 发明案的初始结构已经接近于全局最优。

表4 Glass数据集性能比较

表5 Wisconsin Breast-Cancer数据集性能比较

表6 Iris数据集性能比较

表7 wine数据集性能比较

表8 Image segmentation数据集性能比较

表9 ECOLI数据集性能比较

从上述表中的结果可以看出，六个数据集的本发明案实现的准确 性和收敛速度均高于两种对比模型。因此，本发明的实施例具有出色 的分类结果。

综上，本发明实施例具有以下进步性：1)与BPNN和M树突神经网 络的完全连通性相比，本发明案可以通过决策树初始化直接确定 dendrite层数。它在准确性和收敛速度方面有效地解决了分类问题。2) 与M树突神经网络和BPNN相比，本发明案具有更好的泛化能力， 这已通过不同数据集的测试准确性得到验证。3)本发明案根据 One-Hot编码思想，有效解决了多分类问题。4)通过六组实验数据 的验证，C4.5比ID3更能改善本发明案的性能。将本发明应用于医 学诊断，图像等领域降低了算法复杂性，提高了效率，减少大量的计 算资源得到更加精确的结果。

Claims (2)

1.一种树突神经网络初始化方法，包括对神经元树突的修剪，其特征为，包括如下步骤：

步骤一，使用k-fold交叉验证方法从数据集中生成训练集D＝{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}；

步骤二，使用二值化方法从训练集D中生成新的数据集T；

步骤三，通过ID3或C4.5学习算法生成相应的决策树结构；

步骤四，合并叶子节点标记为1的决策树的路径，并修剪叶子节点标记为0的路径；

步骤五，根据决策树中标记为1的路径数量确定树突神经网络中dendrite层的数量；

步骤六，根据决策树的各个路径构造具有相同分类功能的dendrite层。

2.根据权利要求1所述的树突神经网络初始化方法，其特征为，还包括基于一位有效编码的分类方法，所述分类方法包括如下步骤：

步骤一，设定一个概率预测模型h，h(x)＝(h₁(x),h₂(x),...,h_k(x))∈[0,1]^k，h(x)是样本x属于第i类的概率，则模型h的最大概率分类函数为，

步骤二，最大概率分类输出与最大的模型预测概率对应的进行分类，并将其用作样本的分类预测。

Images