CN1059982A - 模式特征向量与多层前馈神经网络的适配 - Google Patents

Abstract

本发明属于人工神经元网络技术领域。

本发明用于加快多层前馈(又称为B-P)型神经 网络对模式特征的学习速度，它包括对模式特征值进 行编码和对B-P网络输入层的节点进行扩充两个方 法。其中编码方法是将特征值先作纯小数处理，然后 采用二进制代码对小数点后各位数进行代换。B-P 网络输入层节点的扩充方法是：将B-P网络输入层 的节点数增加到与特征值的二进制代码的位数相等， 并使每一个码位对应输入一个输入节点。

Description

本发明属于人工神经元网络技术领域。

人工神经元网络是模式识别的一个有力工具。目前使用较多的是多层前馈型神经网络，由于这种网络的学习算法采用回传（Back-Propagation）方式，因而人们也把这种多层前馈网络称为B-P网络。

在模式识别过程中，为了将模式的有用信息与噪声分离，亦为了降低数据的维数以简化分类器所要进行的计算，常采用特征抽取方法从一个模式的原始采样数据中抽取n维特征向量。若要用B-P网络实现m类模式识别，则必须首先将训练集的m×n维持征向量矩阵输入B-P网络进行学习。根据B-P网络输入节点对输入数据的要求，必须将所有特征数据进行归一化处理后才能输入B-P网络，归一化处理后每一个特征值X_ij满足

0≤X_ij≤1 i＝1，2……，m，j＝1，2……，n.（1）

在当前的现有技术中。若要对第i类的模式样本进行训练学习，则是将该模式样本的n个归一化后的特征值X_i1，X_i2，……，X_in直接输入B-P网络的n个输入节点，使B-P网络对之进行学习。但是，这种直接输入法导致网络的学习速度极慢，常常学习几千次乃至上万次也难以收敛到期望值。

本发明的目的在于采用一种模式特征向量与B-P网络的适配技术，从而大大加快B-P网络的学习速度。

本发明所采用的适配技术包括下述两个方法：

（一）对归一化后的模式特征向量数值进行编码。

（二）对B-P网络的输入节点进行扩充，并将编码后的特征值输入扩充后的输入节点。

设归一化后的模式向量各特征值小数点后有K位十进制有效数字，则其编码方法如下：

（1）纯小数处理：

若特征值为1.00……0，则令其为0.99……9。然后转向第（2）步。

（2）编码：

对于特征值小数点后的每一位十进制数字，均采用四位二进制代码表示，编码方式可采用表1中四种编码方式中的任何一种，即可以采用8421码（又称为BCD码），5421码，2421码或余三代码中的任何一种。

例如，某特征值为0.538，若采用8421编码方式，则其编码值为010100111000。

表1、四种编码方式：

十进制数	8421码	5421码	2421码	余三代码
					0	0000	0000	0000	0011
1	0001	0001	0001	0100
					2	0010	0010	0010	0101
3	0011	0011	0011	0110
					4	0100	0100	0100	0111
5	0101	1000	0101	1000
					6	0110	1001	1100	1001
7	0111	1010	1101	1010
					8	1000	1011	1110	1011
9	1001	1100	1111	1100

B-P网络入节点的扩充方法是：

若原来对应n维特征向量的常规输入节点为n个，设归一化后的特征值小数点后有K位十进制有效数字，则扩充后的输入节点应为4kn个。每个编码数字位对应输入一个输入节点，且每一个输入节点与B-P网络第一隐层的所有节点均具有权重连接。

本发明的理论依据如下：

在B-P网络进行学习时，必须进行前向计算，对于第一隐层来说，第l节点的输出值为：

$y_1-f\left(\mathrm{\α}\right)-f(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_{1L}{X}_1-T_1)\left(2\right)$

式中W_il表示输入节点i至第一隐层第l节点的连接权重，X₁表示输入节点i的特征值，T₁表示第一隐层第l节点的阈值。

如所周知，B-P网络的节点输出函数如下：

f(α)= 1/(1-e^-α) (3)

式（3）所表示的是一个S（Sigmoid）形函数，其中

$\mathrm{\α}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_{11}{X}_1-T_1-----\left(4\right)$

从式（2）、（3）、（4）可以看出，在固定T_l的情况下，X_l的变化范围如果太小，则将导致f（α）的变化范围十分微小，这不利于使B-P网络迅速跳出局部极小点而趋向收敛。而现有技术将归一化后的特征值直接输入，这些特征值介于0和1之间，彼此的差异较小，而使f（α）的动态范围很小。本发明所输入的X_l或者为“1”，或者为“0”，其变化范围大，从而使f（α）具有较大的动态范围，这有利于B-P网络迅速向期望输出值收敛。

另外，本发明使输入层的节点数扩展4K倍（其中K为归一化后特征值小数点后的有效位数），这也大大加强了B-P网络输入层的记忆能力，这有利于B-P网络的快速学习。

由于常规方法所输入B-P网络的特征向量值均介于“0”与“1”之间，这为B-P网络用于模式识别时的硬件化带来困难，而本发明所输入B-P网络的特征向量值是二进制的“0”、“1”码，这无疑为硬件化提供了方便。

综上所述，本发明与现有技术相比，具有加快B-P网络的学习速度和便于B-P网络用于模式识别场合的硬件化设计的优点。

所做的对比实验告诉我们，使用相同的B-P训练算法，同样的B-P网络结构（仅输入节点数不同）并使用同一组训练样本特征向量集合，利用现有技术训练2500次（用时7500秒）仍远远未达到比较理想的收敛结果，而采用本发明的适配技术，仅训练200次（用时1800秒）就达到了令人满意的收敛结果。这说明本发明使B-P网络的学习速度得到了大幅度提高。

本发明适用于利用B-P型神经网络进行模式识别的场合。特别适用于归一化后的模式特征值介于0与1之间且不全为0和1的模式识别场合。

Claims (1)

1、一种实现多层前馈型神经网络对模式特征快速学习的适配技术，其特征是：该技术包括对模式特征值进行编码和对多层前馈型神经网络输入层的节点进行扩充两个方法。其中编码方法是：将归一化后的特征值作纯小数处理，并对小数点后的数字逐位编码，编码方式可以采用8421、5421、2421或余三等代码中的任何一种；多层前馈型神经网络输入层节点的扩充方法是：将多层前馈型神经网络输入层的节点数增加到与特征值的二进制代码位数相等，并使每一个码位对应输入一个输入节点。