CN1178017A - 设计神经网络的设备及神经网络 - Google Patents

Abstract

一种设计神经网络的设备,其中,为了确定中间层神经元(21...24)的数量,将各输入信号(X1、X2)的取值范围划分为预定数量的子范围,在输入信号(X1、X2)的数目n为多数的情况下,n个输入信号的n维数值空间被划分为与各子范围相应的n维子空间,学习数据的支持值(xi,yi)配属于子范围或子空间,选出具有最多支持值的子范围或子空间,并为每个选出的子范围或子空间在输出层前面的中间层中设一个神经元。本发明的设备可有利地用于在学习数据分布不均匀时设计神经网络。本发明普遍用于神经网络中。

Description

设计神经网络的 设备及神经网络

本发明涉及一种权利要求1前序部分所述的用于设计一种神经网络的设备以及用此设备可以得到的神经网络。

传统的用于预调神经网络参数的方法是用随机变量赋予初值并接着优化。但这种方法的缺点在于它所获得的神经网络没有重复性，在数据分配严重不均匀时不能总是提供合理的结果。因此，在学习数据相同时，对网络参数进行多次计算每次得出不同的参数数组。在这种情况下这些结果难以互相比较。当参数发生变化时，由于结果没有重复性，所以无法确定是否仅仅是由于改变了学习数据引起的。

为克服上述缺点，由WO94/06095公开了一种设计神经网络用的设备，它对于学习数据组提供可重复的结果。其中，神经网络参数的计算通过求解一个线性方程组来进行。该设计大体可分为两个步骤：首先在输入信号取值范围引入等分的辅助参数，通过辅助参数确定中间层神经元的参数，然后分别通过求解一个方程组确定输出神经元的参数。若采用附合高斯曲线的函数作为中间层神经元中的非线性元件(这种函数保证神经元的局部有效性)，则已知设备的缺点在于，在中间层中所需要的神经元数目视辅助参数的数目而定，因而对于具有良好内插特性的神经网络而言需要许多神经元。

本发明的目的在于提供一种设计神经网络的设备，它即使利用少量的中间层神经元也能提供具有良好内插特性的神经网络。

为实现上述目的，这种新型设备具有权利要求1特征部分所述的特征。在从属权利要求2至10中描述了该设备有利的扩展结构。采用此新型设备，按权利要求11所述，可获得新型的神经网络，它的中间层神经元数目最佳地适应学习数据的分布。其中，可涉及三层网络，亦即涉及具有输入层、中间层和输出层的神经网络。此设备可应用于任意数量的输入和输出神经元。通过此设备，首先将输入信号的取值范围划分为互相独立的子范围。该划分根据学习数据的频数分布进行，学习数据又称为支持值。对于各输入信号可选择大小相同并互不交叉的子范围。但也可以在高频数段确定更细分的子范围。对n个输入信号，各子范围的组合得出取值范围的n维子空间。学习数据配属于这些子空间。然后，按子空间内所含学习数据的数目排列子空间。使用者可借助于各子空间内的学习数据判断所选择的划分的品质。一种判断依据例如是，当学习数据来自同一个子空间时输出信号的值彼此相隔多远。为了进一步处理，选出具有最多学习数据的子空间。选出的每一个子空间用神经网络中间层的一个神经元来代表。因此通过选择子空间即可确定中间层神经元的数量。每个子空间至少含有一个支持值。对于每个输入计算出输入信号支持值的算术平均值。然后，此平均值可用作中间层神经元非线性元件中的差值，此非线性元件具有高斯曲线的变化形式。以此方式，此神经元在有关子空间的支持值中心有其最大的有效性。高斯曲线的宽度可由使用者规定。该宽度决定神经网络的内插特性。此宽度可以用一种对使用者非常直观的方法这样确定，即，他必须说明在提及的该子空间边缘此非线性元件还应有什么样的输出值。通常此值应为0.5，但至少应在0.1与0.9的范围内。此值越大，高斯曲线的有效范围越大。由支持值和神经网络输出信号的值建立的矩阵具有一种近似的对角结构，并因而能容易地反演算。在输出层中的神经元的权系数，可例如按WO94/06095中所介绍的那样，通过补偿计算算出。

下面借助于附图表示的一个采用本发明的设备获得的神经网络，详细说明本发明及其设计和优点。

附图示出一个三层神经网络，它有两个输入X1和X2及一个输出Y。两个输入X1和X2通往输入层中的两个神经元11和12。位于输入X1和X2的信号通过这两个神经元进一步导入中间层的神经元21…24，它们处理输入信号并由此产生中间层的输出信号YH1…YH4。输出神经元3由这些信号提供一个输出信号，这一输出信号可在输出Y处取得。作为实施例，虽然选择的网络具有三层、两个输入和一个输出，但本发明当然可应用于具有不同数量的层次、输入或输出的神经网络。

中间层采用的神经网元的非线性元件在其输入信号的取值范围提供一种高斯曲线形式的函数，它保证局部的有效性。为此，可例如使用rbf(Radial-Basis-Funktion，径向基础函数)特性的神经元。具有Radial-Basis函数以及多个输入Xi的神经元2j的输出值yHj可以表示为： $\mathrm{yHj}=\exp (-0.5^{*}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{Sij}}^2*{(\mathrm{xi}-\mathrm{xOij})}^2))$

在此公式中变量n采用神经网络的输入的数量。参数Sij表示中间层神经元2j的权系数，x0ij表示中间层神经元2j中相对于各输入Xi处信号值xi的差值。借助于差值x0ij确定神经元2j的位置，亦即其局部有效性的地点。输入值xi与相关差值x0ij离得越远，中间层神经元2j的输出值yHj越小。权系数Sij影响各输入Xi的高斯曲线的宽度。

在一种rbf网络中，在输出层神经元3中的输出信号值y由中间层神经元2j的输出信号值yHj算出： $y=\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left({\mathrm{wj}}^{*}\mathrm{yHj}\right)$ 因此在神经元3中输出信号值yHj分别与输出权系数wj相乘，并将如此得出的乘积累加起来。若神经网络有多个输出，则可以建立相应的多个这样的具有彼此不同的输出权系数的方程式。变量P表示在中间层中的神经元2j的数目。

在rbfl网络中，输出层神经元的输出信号值y计算如下： $y=\frac{\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left({\mathrm{wj}}^{*}{\mathrm{kj}}^{*}\mathrm{yHj}\right)}{\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left({\mathrm{kj}}^{*}\mathrm{yHj}\right)}$ 用参数kj值再次分别为中间层神经元2j的输出信号值yHj加权。与rbf网络相比，rbfl网络的优点是，当采用下面介绍的方法设计时，它能提供波动性较小的输出信号，并因而提供改善了的内插特性，因为对于各非线性元件的高斯曲线作用微弱的输入值，可用中间层神经元2j的输出信号值yHj的总和去除这些输出信号，因而提高了输出信号。上述输出信号值yHj的总和在这些情况下较小。

实施此设计方法的设备例如可以是一台具有输入和输出设备的适合于程序设计的计算机。

这种设计方法越过了所谓神经网络的训练，因为借助于神经网络输入信号和输出信号的支持值，不仅影响其参数，而且还影响其结构。借助于支持值确定各输入信号的取值范围，并划分为互相独立的子范围。在这种情况下这些子范围大小相同且互不交叉。仅仅是为了减少计算时间，对每个取值范围首先选择120个子范围。接着，包含在支持值中的输入信号的值分配到相应的子范围。其中可按下式进行地址分配： $\mathrm{pos}=\mathrm{trunc}\[k^{*}\frac{x-x_{-}\min }{x_{-}\max -x_{-}\min }\]$

           if pos≥k，then＝k＝k-lend式中pos是对输入信号X的一个值x获得的子范围的标志，k是各输入的子范围数目，在这种情况下为120。函数trunc从括弧中表示的表达式计算结果中去掉小数位，所以对于位置编号pos得到的是在0与119之间的整数。用极限值x_min和x_max确定的取值范围并不一定要包括出现的所有输入信号值。小于x_min的值为位置编号pos提供一个负值。通过适当地扩展位置编号公式，可将它们编为pos＝0并因而列为最下部的子范围。相应地，大于x_max的输入信号值，按公式提供一个pos≥k，亦即pos≥120的位置编号的结果，并可按公式分配为pos＝119的最上部子范围。这种子范围的地址分配针对所有的支持值进行。因此可以计算出在每个子范围中涉及多少个支持值。于是人们获得对于所采取的划分的支持值的频数分布。

从下面还可看出，若每个输入量的取值范围都很细地分为120个子范围，则形成很大的神经网络。选择此值120是为减少计算时间，因为它是2、3、4、5、6、8和10的最小公倍数。也就是说，为了设计神经网络，感兴趣的首先是将取值范围分为10个以下的子范围。通过一开始选择k＝120，减少了后面的步骤的计算时间，因为在大量子范围的情况下，为了确定频数分布只须归纳由k＝120划分的子范围的相应的频数。也就是说，当将一个取值范围分为两个子范围时，为子范围1必须累加前60个子范围(pos＝0…59)的频数值，以及为子范围2必须累加后60个子范围(pos＝60…119)的频数值。当分为3、4、5、6、8或10个子范围时可以按相应的方法进行。这种计算方法的优点在于，按k＝120划分时，只须一次将支持值分配给子范围。通过将这一划分的相应的频数值重新归纳，可以方便地获得一些较粗略的划分。

现在选出具有值k1的划分，此值应这样确定，即一方面形成尽可能多的子范围，另一方面支持值在子范围的分布应尽可能不均匀。也就是说，在少量的子范围内有许多支持值，而许多子范围应不包含支持值。此外还应考虑，在一个具有少量输入的网络中，允许一个输入信号的多个子范围含有支持值，以便不超过预先规定的中间层神经元2j的最大数。

在划分时不须使用任何标准化的量；划分可以借助于物理值进行。此外，在划分取值范围时还可以将技术观点考虑在内。当例如过程的具体工作范围已知时，可将此知识汇入划分的选择之中。以此方式对每个输入单独确定一种划分。在n个输入时，便获得k1…kn值。由于各子范围有许多组合可能性，所以得出

kv＝k1^*k2^*…^*kn个n维子空间。存在的输入越多，形成的子空间越多。在支持值不均匀分布时，并不在所有的子空间中都包含学习数据，在有些子空间中没有支持值。通过给出下列提示，可为使用者确定子范围的数量提供帮助：

在有两个输入时：k＝10→kv＝100

在有三个输入时：k＝5→kv＝125

在三个以上输入时：k＝3→kv＝3ⁿ

这种划分对于一种粗略的一览是足够的。可以直接采用所选出的这种划分，但也可以选择其它的划分。

在多个输入时，将支持值配属于n维子空间。取决于输入的数量的子范围或子空间按其中所含的支持值数量排列。为此形成一个n位的整数posv，它的各位posl…posn分别包含了一个支持值的各输入值子范围的有关标志。每一位按上述用于pos的方程式确定。因此得到值posi，它在0与ki-1之间。在支持值通过n个输入量按n维确定时，整数posv有n位。它可表示为：

posv＝posl+10^*pos2+100^*pos3+…+10^{n-1 *}posn数字的位表示它的输入维数，数字的值表示有关的子范围。n位数posv表示子空间的标志，一个支持值配属于此子空间。

标志posv被进一步处理。每一个标志posv的值代表一个子空间，标志posv的数量与支持值的数量一致。接着将标志posy按大小排序。然后确定相同的标志出现的频数，也就是说在同一个子空间中有多少支持值。然后由组合各子范围得到的许多子空间可以确定重要的子空间。其中有支持值的子空间是重要的。为此，将标志posv按其出现的频数排序和列表。在神经网络中每一个重要的子空间用中间层的一个神经元来代表。然后规定中间层的神经元应对应多少重要的子空间。若例如规定此值为15，则选出前15个，亦即具有最多配属的支持值的15个子空间。在一种有利的划分中，这些子空间包含了大约90％的支持值。通过此值15同时确定在神经网络中间层中设有多少个神经元。

若产生了过多的分别具有一个或只有少量支持值的子空间，则所选的这种划分过细，应当用一种较粗的划分重新开始设计。

现在来研究配属于一个重要的子空间的支持值的输出值。在这时感兴趣的是，属于输入值的同一个子空间的支持值的输出值彼此离得有多远。中间层的此神经元在相应的子空间内只构成一个按输出值的平均值形式的值。若这些输出值互相邻近，则此子空间的划分选得较好。反之若这些值彼此远离，则此子空间过大。在这种情况下，应采用一种输入信号取值范围更细的划分重新开始设计。应当在两个设计目标即“所需要的子空间数量少”和“可达到的精度高”之间，寻找折衷的方案。作为改进还可以提供下列设计方法的扩展，即，在输入信号取值范围划分时也考虑输出信号的取值范围，并由子范围的组合构成高维子空间。然后在子空间内归纳具有类似的输入值和类似的输出值的支持值。或对于所有的支持值进行上述过程，或只针对在重要子空间内的支持值。

借助于重要子空间内的支持值，计算中间层神经元2j的差值x0ij。每个子空间含至少一个支持值。对于每个输入Xi，由支持值计算有关输入值xi的算术平均值。然后将此平均值作为神经元2j中的差值x0ij。由此使神经元2j的有效性覆盖该子空间内的全部支持值。这对于神经网络的内插特性带来有利的作用，因为避免了由于支持值远离差值x0ij引起的波动性。

通过适当选择参数sij可以确定高斯曲线的宽度。它决定神经网络的内插特性。作为标准定位，参数S可这样选择，即，使得其差值处于子范围中心的神经元，在子范围的边界处亦即离中心1/2ki距离处提供一个输出值，此输出值等于最大值的一半。这可以用下列公式表达： $\exp (-0.5^{*}\mathrm{Si}{j}^2*{\left(\frac{1}{2^{*}\mathrm{ki}}\right)}^2)=\frac{1}{2}$ 因此，对于此标准定位，可获得参数sij： $\mathrm{Sij}=2^{*}{\mathrm{ki}}^{*}\sqrt{2^{*}\ln \left(2\right)}$

在特殊情况下取代此标准定位也可以这样选择参数sij，即，神经元2j在子范围边界处提供一个输出值yHi＝A，此值大约在0.1和0.9之间。由此可以影响神经网络的内插特性： ${\mathrm{Sij}=2}^{*}{\mathrm{ki}}^{*}\sqrt{2^{*}\mathrm{abs}\left(\ln \left(\frac{1}{A}\right)\right)}$

当输出值A较大时，神经网络输出信号Y的变化比较平坦。当支持值没有通过中间层的一个神经元2j体现时误差较小。在输出值A较小时变化曲线有棱角，此时误差较大。

输出层中的神经元3的输出权系数ai通过补偿计算算出。在具有多个输出的神经网络中，为每一个输出配设一个输出层的神经元，该神经元输出权系数的计算按同一种方法进行，下面只针对一个输出进行说明。对于包含在支持值(xi，yi)中的输出信号Y的值yi建立方程式，其中，从中间层神经元2j输入的信号YHij的值mij分别与相应的权系数ai相乘并累加。若采用i作为行标和j作为列标，则得到一个线性方程组 M ^* a＝ Y，它的矩阵 M近似具有对角结构。在这种情况下对所有的支持值进行输出权系数ai的计算，因此也针对那些在选择重要的子空间时没有考虑的支持值。有关建立和求解此方程组的进一步详情，参见已提及的WO94/06095。

在一个子范围边界处神经元2j的输出值通过确定参数S选择得越大，方程式的线性相关性越明显。因此算出的输出权系数ai较大。神经元的输出值选择得越小，所确定的输出权系数也越小。采用这一方法可以计算rbf网络和rbfl网络的输出权系数。如上面已提及的那样，rbfl网络有比rbf网络更好的内插特性。为了计算rbfl网络，对所有的权系数ki规定其值为1，以便使方程组的未知数不会不必要地增加，以及使方程组是可解的。

必要时所有的参数可以在一个紧接着的数值优化中加以改善。至此所介绍的设计方法为这种优化提供了有利的起始值。位于重要子空间之外的那些支持值可以由此更有效地一起加以考虑。

在网络参数优化时固定神经元的差值是富有意义的。也就是说，中间层神经元2j的位置不应当改变。应当改变的只有输出权系数ai、高斯曲线的宽度和参数Sij，以及必要时权系数ki。

当神经元位置移动时，网络参数将难以说明，因为人们不再知道，哪个神经元主管哪个子空间。此外，神经元中心可能从输入信号的取值范围移出。

按照本发明用于设计神经网络的设备的操作过程如下所述：

为了确定取值范围，由设备显示输入信号Xi的号码i；

对于k＝120列出具有子范围频数分布的表格并图像显示；

操作者选择一个他觉得恰当的ki值。然后处理下一个输入；

在确定了所有输入的子范围后给出全部选定的值ki。此外，显示由此产生的可能的子空间数量；

使用者可采用这些标定或重新开始确定子范围；

该设备在一个表格中给出具有子空间标志和其中所含支持值数量的重要的子空间。这些子空间按照支持值的数量排序；

使用者必须输入应使用多少这种子空间；

设备输出支持值在选出的子空间中所占的百分比。若形成过多的子空间，则可以重新开始，并确定子范围的一种新的划分；

为了评估子范围的品质，列出一个表格，它包括子范围的编号、包含的支持值数量、包含的输入值和输出值的平均值，以及包括有关的最小值和最大值。

借助于这些资料，使用者可以评估此划分的品质。他必须确认这些输出量，或重新确定一种划分。

在图像显示中，在两个输入X1和X2的情况下，子范围可以表示在一个平面内。子空间相应于一个双轴表示的场，在这两根轴线上各有一个输入信号的子范围。

在多于两个输入时应采用另一种表示。下面研究具有三个输入(X1、X2、X3)和一个输出的数据组。每一个输入分为同样大小的子范围，这些子范围互不交叉。对于每个输入，这种划分可以是不同的。这些输入按下列方式彼此重叠地排列：

X3：	111	112	113	121	122	123	131	132	133	211	212	213	221	222	223	231	232	233
																			X2：	11			12			13			21			22			23
X1：	1									2

输入X1、X2、和X3处于彼此重叠位置。输入X1位于最下部平面内，它划分成2个子范围。输入X2位于输入X1上面。这一输入划分成3个子范围。输入X3在上部，它同样具有3个子范围。在格子中的数字是子范围的标志。最上部的平面包含了全部可能的子空间，它们是根据选择的划分得出的。然后将支持值分配给最上部平面的子空间，并例如通过注明配属于各子空间的支持值数量来显示。因此可以得知在各个子空间中有多少支持值。在此频数分布中可以用简单的方法读出，哪些子空间具有太多的支持值，而哪些认为是不足的。此外，对于每个子空间可以给出有关的输出值。从一个子空间的输出值的分散状况可以看出选择的子空间是否会过大。若在最上面的平面内各子空间的支持值数量用影线表示，则得到一种如同一个条码的学习数据分布图。影线的位置确定了有关的子空间，影线的宽度相应于支持值的数量。操作者可以输入是否应采用标准值S＝0.5，或在子空间边缘处中间层的一个神经元2j的输出值是否应有另一个值；

神经网络的其它参数通过此设备自动计算；

计算结束后，使用者可以检查所得到的神经网络的品质；

之后，必要时可以开始优化计算，它的结果同样可由使用者加以检验。

用于设计神经网络的此新型设备具有下列有利的特征：

通过学习数据规定的取值范围被分为确定的和具有重复性的子范围或子空间；

借助于学习数据及其划分的各个子范围或子空间可以评估所选择的划分的品质。在这种情况下的判断依据为：1.形成了多少子范围，2.在各子范围内有多少学习数据，3.在所选出的子范围内输入数据的分散状况，以及4.在所选出的子范围内输出数据的分散状况。

采用特殊的显示机构可获得一种快速的有关学习数据划分的一览表。

重要的子范围通过中间层的神经元来表示。因此可以预料，神经网络在哪些子范围内工作得更好或较差。

此外，此设备还具有明了和可理解的操作指导。没有必要将数据分为学习数据和测试数据。学习数据的品质也可以借助于这种划分由操作者加以评估，也就是说，他可以借助于此划分确定数据组是否适合于设计一个神经网络。因为没有必要借助随机值对神经网络的任何一个参数进行初始化，所以网络设计的结果始终具有重复性。神经网络的内插特性仅仅通过一个因素来影响，亦即参数S，它确定在子范围或子空间边界处中间层神经元的输出值。在划分输入信号的取值范围时，可以一起考虑使用者对有关学习数据的起源或神经网络的用途方面的知识。

Claims (11)

1.一种设计神经网络的设备，所述神经网络具有至少一个输入(X1、X2)和至少一个输出(Y)以及位于多个连续排列的层中的神经元，其中，在一中间层的神经元(21…24)中，输入信号被加权并互相联接，并通过一种具有主要在输入信号取值范围内局部有效的高斯曲线形式的非线性元件形成输出信号(YH1…YH4)，以及为神经网络的每个输出(Y)在输出层中配设一个输出神经元(3)，位于其前面的中间层的神经元(21…24)的输出信号(YH1…YH4)被引入此输出神经元，并在此神经元中通过这些信号的加权和结合产生输出信号(Y)，在此设备中为了训练神经网络可预先给定输入信号和输出信号的支持值(xi、yi)，并确定各输入信号的取值范围，其特征在于，为了确定中间层神经元的数量，各输入信号的取值范围划分为预定数量的子范围；在输入信号的数目n为多数的情况下，n个输入信号的n维数值空间被划分为与当时的子范围相应的n维子空间；支持值配属于子范围或子空间，以及选出具有最多支持值的子范围或子空间；以及，为每个选出的子范围或子空间在输出层前面的中间层中设一个神经元(21…24)。

2.按照权利要求1所述的设备，其特征在于，用于由前置层神经元的输出信号在一个神经元中形成输出信号Y所必要的权系数ai，通过求解一个线性方程组 M ^* a＝ Y确定，它由所述支持值(xi、yi)的输出信号值yi的方程式组成，其中，从前置层的神经元(2j)输入的具有行标i列标j的信号(YHij)的值mij分别与相应的权系数ai相乘并累加。

3.按照权利要求1所述的设备，其特征在于，在输出层的神经元中，为了分别产生一个输出信号Y，前置中间层神经元的输出信号(YHij)作为联结组件进行相加，并用前置中间层神经元(2j)的输出信号YHij的总和相除；以及，用于从前置层神经元2j的输出信号YHij在一个神经元(3)中形成输出信号Y所必要的权系数ai，通过求解一个线性方程组确定，它由与从前置层神经元(2j)输入的信号(YHij)的值mij的总和相乘的支持值(xi，yi)的输出信号值yi的方程式组成，其中，从前置层的神经元(2j)输入的具有行标i列标j的信号(YHij)的值mij，分别与相应的权系数ai相乘并累加。

4.按照上述权利要求之一所述的设备，其特征在于，选择确定其非线性元件的最大有效性地点的中间层神经元(2j)的差值(x0ij)，作为在各子范围或子空间中的支持值(xi、yi)的输入信号值的算术平均值。

5.按照上述权利要求之一所述的设备，其特征在于，对于来自同一个子范围或子空间的输入信号值，当输出信号值彼此远离时，则为一个取值范围选择更多的子范围数量。

6.按照上述权利要求之一所述的设备，其特征在于，各输出信号的取值范围划分为预定数量的子范围；以及，所述支持值只配属于其输出信号值位于相同的或至少邻近的子范围内的输入信号的相同子范围或子空间。

7.按照上述权利要求之一所述的设备，其特征在于，可视性地显示所述支持值在子范围或子空间的分布。

8.按照权利要求7所述的设备，其特征在于，支持值在子范围或子空间的分布作为条码被显示，其中为每个子范围或子空间设一影线，它的粗细或长度代表配属的支持值的数量。

9.按照上述权利要求之一所述的设备，其特征在于，所述子范围或子空间的大小相同。

10.按照上述权利要求之一所述的设备，其特征在于，所述高斯曲线的宽度可由使用者选择。

11.一种可借助于上述权利要求之一所述的设备获得的神经网络。