CN1094831A

CN1094831A - 具有空间分布功能性的神经网络

Info

Publication number: CN1094831A
Application number: CN94102031A
Authority: CN
Inventors: S·B·科拉克
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1993-03-03
Filing date: 1994-02-28
Publication date: 1994-11-09
Anticipated expiration: 2014-02-28
Also published as: US5666467A; TW230246B; DE69421106T2; EP0614157A1; CN1098503C; JPH06290162A; SG44026A1; DE69421106D1; EP0614157B1; KR940022301A; US5706404A; KR100293607B1

Abstract

信息处理系统包含在空间非均匀媒质中具有全分布的神经原和突触功能度的神经网络，从而输入至输出传播响应场。响应场是媒质对若干输入信号的反应，非线性地依赖于输入信号。响应场也由不均匀性所决定。在一个或以上特定位置的场值表示神经网络的一个或以上输出信号。

Description

本发明涉及具有功能上由通过突触互连的神经原组成的神经网络的信息处理系统。该网络具有接收若干输入信号的输入装置，提供至少一个输出信号的输出装置和在输入装置和输出装置之间的结构，以实现若干输入信号的神经变换从而产生输出信号。

十余年来，作为信号处理器的神经网络获得不断增长的关注，它的主要特性在于使用空间分布元件将输入信号非线性变换为输出信号和在密集互连结构中大量地并行信息处理。这种处理器是健壮的和容错的处理器件。而且，神经网络可以通过依据于实例的训练加以编程，而不是通过例如常规微处理器领域中的规定算法指令加以编程，训练可以在或不在管理程序下而达到，后面的形式称为“自学习”。预计神经网络将发挥重要作用，尤其在相联存储器、分类器、模式识别和优化问题的领域中。关于一般介绍，请阅IEEE ASSP杂志1987年4月期第4-22页的R.P.Lippmann所写的“具有神经网络的计算的介绍”一文。

尽管为神经网络控制或神经网络模拟所建立的一些数学算法似乎在寻求对特殊问题的软件解答中是有用的，据认为神经网络方法的真正益处只有通过专用硬件才可获得。近十余年来各种各样的神经网络的电子和光学硬件实施已问世。例如，菲利浦的电子实验室已开发第一块商用的电子全数字化操作的可训练的神经芯片，用于模块化的神经网络体系结构，请阅美国专利4994982。模拟神经网络的电子实施已从例如美国专利486645中所知。光学神经网络也在《科学美国人》256期1987年3月的第66-73页的Y.S.Abu-Mostafa和D.PSaltis的“光学神经计算机”一文中论及。

往往为了在有限的空间容纳充分大数量的神经原和突触需要空间紧凑的设计。可训练神经网络需要附加电路，以在网络学习阶段中分别地和精确地调整权重，这必然导致系统尺寸和复杂性的增加。因为神经网络的处理能力随着神经原和互连的数量越大而增加，今天神经网络技术中致力寻找的主要目标为增加神经原和互连的密度。例如，在电子实施例设计中遇到的主要问题是可以在一块芯片上实施的神经原或神经原功能度的数量的限制。一般地说，运用现有技术状态可以在芯片上集成的神经原或神经原功能度的最大数量远小于一千。而且，为了实现包含这样大数量神经原的网络的学习能力所需要的附加元件的复杂性和数量预计至少还要按比例地增大。

上述例子的共同之处在于相连的体系结构基本上具有集总的特性。即，例如神经原和突触的执行基本计算的神经网络的各种各自的功能元件是通过实际上特殊的器件或电路实现的。这些器件和电路专用于例如加权相乘，求和和施以S形函数。

了为简化互连模式和提高效率，减少神经原或神经原层的数量的方法之一是使用加在神经网络的输入信号的高阶项（平方、乘积、立方等）。那末这些高阶项被用作神经原所处理的信号。例如，请参阅应用光学1987年26卷第4972-4978页的C.Lee Giles等人的”高阶神经网络的学习，不变性和通用性”一文。高阶相关性被预先确定，可以被看为预处理的输入数据，预处理依据于对所要解决的神经网络的这类问题的一些现有知识。例如，运用神经网络处理的各种分类问题需要输入信号之间不同形式的非线性相关性。

从上述的限制看来，本发明的目的是提供包含全新的神经网络体系结构的信息处理系统，它容许更大数量的神经原功能度的集成和具有更高的技术独立性。

为此，本发明提供具有功能上由突触互连的神经原组成的神经网络的信息处理系统。该网络具有接收若干输入信号的输入装置，提供至少一个输出信号的输出装置和在输入装置和输出装置之间的结构，以实现若干输入信号的神经变换而产生输出信号。依照本发明，此结构包含物理媒质，对若干输入信号作出响应通过媒质传播响应场，响应场非线性地依赖于至少其中一个输入信号。媒质具有一个或以上的空间分布不均匀性，影响场的空间依赖性。媒质至少将表示在媒质的第一位置发生的场的第一响应耦合至输出装置以产生输出信号。

本发明根据这样的认识：媒质基态的能级取决于所施加的边界条件。在各自不同的边界条件下激发媒质将导致媒质稳定于各自不同最低态。这样边界条件用作输入信号和关联的最低能量结构用作输出信号，输出信号对输入信号的非线性关系由所施加的特定边界条件所决定。

以这种方式，使用空间不均匀媒质的完全和基本上连续分布和集合的物理特性可以获得为神经网络运行所需要的变换。媒质可以是无一定方向的或定形的材料，可以包括固态、液体、气态、等离子态等。有关的特性是与例如电场、磁场、电动场或声场相联系的，或者与包含例如从电场变换为声场等的现象相联系的。

非线性变换和相互信号相关性是以空间全分布和并行方式实现的，而对神经原功能度和突触功能度无需明确规定位置。这更进一步增强对神经网络所特有的健状性，尤其重要的避免了在常规集总系统中空间限制固有性。因此，本发明中可获得高密度的神经原功能度和突触功能度，此外，实现本发明取决于使为神经系统运行所必需的非线性适合以各种材料和器件可获得的特性的可能性。因为所有材料以一些或另一些方式显示非线性特性，本发明将适用技术领域大大地扩展到功能实现神经网络。

神经网络内部运行的主要方面包括信号禁止和信号交叉。禁止是为了减小或反转信号对集合行为的影响的信号运算。当二个或以上输入信号，每个信号个别地影响二个或以上输出信号时发生信号交叉。当非线性特性在所使用的参数范围内基本上为单调时，为了获得禁止和信号交叉可能需要额外的措施。

在媒质激励响应特性基本上单调时，该结构包含将物理媒质耦合至输出装置的编码装置，用以当第一响应和第二响应相互相关时产生输出信号。编码运算可以包含例如一对响应之差，各个响应的比，响应的累积求和，或由于其中一个特定输入信号的变化引起的各响应的变化。

输入信号可以具有相互不同的量纲。例如，一个输入信号可以有DC电压或光子能量的量纲，另一个输入信号可以是电流或AC电压。

该结构可以在媒质中至少第二位置和第三位置之间具有连接装置，使在第二位置响应场和在第三位置响应场之间能相互作用。这种互连装置容许绕过由于屏蔽引起的短程效应。屏蔽效应在系统中发生，与一些相互作用的范围关系甚大。这些效应不利地影响对不同组输入信号的响应之间的区分。因此，在本发明中系统的给定尺寸以外，分辨率和噪声是重要的。补偿这些不利因素的一个方法是使用更多触点，以取出更多的响应，这些响应经组合产生输出信号（组）。另一方法是提供一些长程互连。

最好，该结构包含控制装置，以有选择地按照至少位置、尺寸或强度调整空间分布不均匀性。正如所提到的不均匀性与媒质中连续场相互作用。有选择地调整不均匀性为本发明神经网络提供学习的性能。

本发明中神经网络的实施是由在输入触点和输出触点之间的分布的非线性导电路径组成的二维电子传输层。传输层可以通过使用半导体场效应器件的亚阈值导电或通过使用有机材料或超导材料的导电晶粒层实现。在半导体实施例中不均匀性可以由带电浮动栅引起的反向层和耗尽层形成。借助于调节在这样浮动栅上浮获的电荷的机制，不均匀性可以自适应。

另一实施利用非线性光学系统来代替上段中讨论的非线性电子传输层。那么这种系统可以依据于例如由散射引起的斑纹图案即干涉图案，或当受激光照射时在折射率与光强有关的材料中二次谐波图案。

应注意现有技术文献将Hopfield神经网络与玻璃纤维系统相联系。玻璃纤维系统（Spin glass systems）假定宏观状态以微观纤维的集合行为作为基础。一旦受激发，玻璃纤维经过极长序列的集合纤维状态，直至获得依赖于初始激发的平衡。这可以花费几小时或甚至几天。例如请参阅美国国家科学院会刊1982年4月79卷2554-2558页的J.J.Hopfield的”具有紧急集合计算能力的神经网络和实际系统”一文和“Dev ganz andere Computer：Denken nach Menschen Art”（W.Kinzel et al.Bild eler Wissenschaft 1-1988 pp.37-47）一文。玻璃纤维系统发生在例如Au（Fe）和Cu（Mn）合金和Cdl-xMnxTe半磁性半导体的材料中，发生在电子偶极子玻璃，电子玻璃（补偿Si或GaAs），和在超导体结矩阵中旋流（Vortex）玻璃中。且不谈不实用地长松弛时间，在这样毫微尺寸级下的接触和学习也是实际上无法解决的，至少在目前技术看来是如此。此外，由于实际相互作用的有限范围，在玻璃纤维系统模型中假定的全连接性在这些实际系统中并不真正发生。

以下通过实例并结合附图详细说明本发明，附图如下：

图1说明常规层式神经网络的体系结构;

图2给出具有不均匀的非线性导电层的本发明的神经网络的实例;

图3和4表示图2实施例的激励响应图;

图5表示图2该层中不均匀性的功能分布;

图6和7给出与非线性不均匀层的运行有关的本文中公式的背景信息;

图8、9、10和11说明本发明神经网络的运行的简单定量实例;

图12、13、14、15和16给出本发明的神经网络中层式结构的详细实例。

尽管它们的体系结构差别很大，但由神经网络执行的基本运算是以并行和最好为自适应的方式将输入非线性变换为输出。以下说明具有非线性激励响应特性的非均匀物理物质在原理上如何可以被使用于代表神经网络。本发明的这样网络的电子实例将在下文研究。应注意本发明基本上与技术无关，而发明的原理不局限于电子实施例。

神经网络由高互连的简单处理器的集合组成的，最值得注意的是它们自适应地自我编程从而解决给定的问题。真正使神经网络系统富有成果的是处理器之间的高可变互连形式。这些形式决定可以在任何地方从层至层互连的前馈网络变化为全互连的Hopfield网络的神经网络的体系结构。尽管它们的体系结构差别很大，由神经网络执行的基本运算仍然是以并行方式将输入自适应地非线性变换为输出。这种非线性变换以图1所示的简化的三层网络为例说明。

图1表示神经网络10的常规体系结构的实例。神经网络10在输入18和输出20之间含有若干依次互连的神经层12，14和16。每个互连（突触）例如22将由例如24的源神经原提供的信号加权一特定系数（突触系数）和将经加权信号送至下层中例如26的目的地神经原。目的地神经原26将所有它的源神经原的这样加权的成分累加，并对所求的和加以非线性函数（例如，S形函数），从而产生其输出信号，输出信号又依次通过突触30加在下一依次层的例如28的神经原上。应注意神经网络10的基本运算是功能上分布的和将输入并行非线性变换为输出。

本发明提供象图1所示神经网络那样地实现非线性变换的器件，但是运用完全和基本上连续空间分布功能度来代替神经网络中集总元件。

图2表示本发明的神经网络100的实例。神经网络100包括非线性多端口非均匀电子层102和若干输入触点104和若干输出触点106。至层102的输入信息通过与触点104相连的一组N个开关108加入。开关组108中第“i”个特定开关的二进位状态（开或关）用Xi（i＝1，2...，N）表示。状态Xi决定触点104中哪一个与提供偏压V的电源110相连。从层102的原输出假定为一组响应电流Ij（j＝1，2，...，N），响应电流从器件流出，通过小电阻112至地。尽管输入和输出也可以是纯电容性的，该实例考虑网络100的响应是通过电阻触点104和106的直流激励。所示触点104和106被安排在层102的周边，尽管在实际实施中并不一定这样做。神经网络100的实施例在这例中假定为平面器件，以能使实现容易。下面讨论的矢量变换类型重点在于二进制的输入矢量分量，而不是连续的输入信号。这样做是为了简化例子的分析。

假定输入矢量X^m表示开关108的一组二进制状态（开＝0，关＝1）。上标“m”区分与不同组二进制输入信号对应的矢量。关联的响应即电流矢量I^m的分量表示输入矢量分量X^m和网络100内容之间的非线性相关。网络100内容用不均匀性和非线性114的分布模式表示，作为神经“权重”。响应电流I^m的一般形式可以写为：

（ⅰ）I^m＝VG^m

^m;

式中G^m是网络的非线性电导张量（tensor），取决于模式m和偏压V。注意公式（ⅰ）的结构反映欧姆定律。以它的下标分量写出，公式（ⅱ）为：

（ⅱ）I^m _j＝V∑^M _i＝1G^m _ji（V）X^m _i;

假定所研究的系统在这时刻不显示负差动电阻（NDR）特性。正如以下讨论的，假如层102有NDR，这里所提的许多编码技术会变得简化。

因为假定不包含NDR，预期的响应电流I^m _j作为输入偏压V和输入矢量X^m _i的函数，可以用图形表示为如图3和4所示。图3给出对输入模式X^m的响应在输出触点“K“处产生的电流I^m _k对偏压V的依赖关系。显然电流I^m _k是V的单调函数。图4表示电流I^m _k对闭合的开关108的总数“n”的依赖关系。电流I^m _k又是K＝∑^M _i＝1X^m _i，即开关108中闭合开关的总数的单调函数。注意图4所示的作为X^m函数的任何输出触点106的图示响应类似于从功能的MOS晶体管获得的响应，MOS晶体管将几个电容性（门）输入耦合至单个输出电流（源极-漏极）以达到神经原-MOSFET。请阅IEEE。电子器件1992年39卷1444-1455页T.Shibata等的“门电平加权求和和阀值运算为特征的功能MOS晶体管”一文。

假如由于非线性层102的单调输出响应，输出信号可简化定义为：

（ⅲ）O^m＝I^m-I_threshold;

然而闭合开关108中附加的一个开关和/或增加偏压至V+dV始终使输出信号0中固定极性变化上升，即在上例中的增加。换言之，依照（ⅲ）的输出信息的编码并不提供禁止行为。假如在神经网络中要达到非线性变换，例如负影响或禁止的反向效应应该由某些输入信号X产生。此外，应该证明在两个相对交叉耦合的输入和输出触点对之间的电子信号可实现信号相关。为此，系统的非线性可用于在输出端对信息进行编码按其与此系统神经（总）响应单极性的相反，非线性可以具有正号或负号。对非线性导电层102的响应的编码的另一有用类型可以通过增强高阶效应而获得。这种增强可以通过使用差动输出信号或比例输出信号来实现。例如，可以使用下列编码方案：

（ⅳ）O^m _j＝I^m _k-I^m _p;

（ⅴ）O^m _j＝I^m _j/I^m _tot;

（ⅵ）O^m _j＝δ_v（I^m _j）;

（ⅳ）式中第一方案定义输出信号0的第j分量为在下标K的输出处响应电流与在下标P的输出处响应电流之差值。（ⅴ）式中第二方案定义0的第j输出分量为电流I^m _j相对于与开/关开关模式m相联系的总电流的归一化。（ⅵ）式中第三个方案是作为偏压V变化的函数的微分输出，它本身可看为影响响应电流的输入信号如同输入信号X^m _j一样。偏压变化可以是例如斜坡、正弦或脉冲激励。与后者情况有关的，人们也可以以偏压变化的不同信号谐波的幅度来编码信息。注意输出函数（ⅳ）至（ⅵ），尤其是（ⅳ）和（ⅴ）比较简单，可以容易地在输出处实现。可以从任何电流I^m _i中减去阀值电流I_threshold,j'，用以检测在每个情况中结果的极性。从这些定义看，上述编码类似于常规神经网络中输出神经原的功能。

以下要以简单例子证明编码（ⅳ）至（ⅵ）类型容许象禁止和信号交叉的效应发生。为此方程（ⅲ）重写为级数展开式：

（ⅶ）I^m _j＝∑^M _i＝1[G_1，jiX^m _iV+[∑^M _k＝1G_2，jikX^m _iX^m _kV²+

+[∑^M _p＝1G^m _3，jikpX^m _iX^m _kX^m _pV³+...]]].

为了能进一步分析处理，认为非线性导电平面102只有二个输入触点104和二个输出触点106。那末下标m取值0、1、2和3，输入矢量X^m分别为（0，0），（1，0），（0，1）和（1，1）。此外，系统中非线性只局限于二次项。在这情况下，电流（ⅶ）可写为：

（ⅷ）I^m _j＝∑² _i＝1[a_jiX^m _iV+[∑² _k＝1c_jikX^m _iX^m _kV²]];

此处所使用的系数“a”和“c”分别代替线性和非线性电导G₁和G₂。方程（ⅷ）代表V为2阶对二个电流的八个方程的组合。以下要证明使用方程（ⅷ）和编码方案（ⅳ）至（ⅵ）如何在具有二个输入和二个输出触点的本发明的简化非线性导电层网络中获得禁止效应和信号交叉。

对于第一编码方案（ⅳ）只有一个真正输出要考虑，因为此时0^m ₁使用在二个输出触点处的电流的差值。运用上面公式，容易得出网络对于X³（1，1）的输出信号是：

（ⅸ）O³ ₁＝O¹ ₁+O² ₁+2（c₁₁₂-c₂₁₂）V²;

方程（ⅸ）表示由于其最后项可能为负，O³ ₁可以变得小于（O¹ ₁+O² ₁）和在适当选择电导率C₁₁₂和C₂₁₂时甚至成为负值。在这样输出下网络100中可以实现XOR运算，而无需在各个电流I^m _j中的任何负极性。因为常规神经网络需要负连接或禁止来实现XOR运算，上面给出的结果表示假如适当选择非线性，非线性导电层102的有关响应也执行禁止信息。注意这样结果在纯线性层中将不可能，因为在（ⅸ）中最后项那末会丢失。

为了证明信号交叉，即第一和第二输出信号，每个信号由一个以上输入信号产生的成分所组成，至少需要二个输入和二个输出触点104和106。对于简化的2输入/2输出导电层102，选择（V）编码方案。使用以上标号，此处m＝0，1，2，和3，输入矢量X^m分别为（0，0），（1.0），（0.1）和（1.1），和运用一些代数，可看到为了具有信号交叉，需要证明下列状态可获得的;

（ⅹ）（O¹ ₁-O² ₁）＜0and（O¹ ₂-O² ₂）＞0;

或直截了当地说，在“i＝2”触点处输入影响在“K＝1”触点的输出中占优势，在“i＝1”触点处输入影响在“K＝2”输出中占优势。证明条件（X）成立等同于要证明差值：

（ⅹⅰ）△＝I² ₂I¹ ₁-I¹ ₂I² ₁

可以为负的。对于线性导电层102，该条件就转换为a₁₁a₂₂＜a₁₂a₂₁，当较大电流来之于最远离的受激发的输入触点时这实际上不可能成立。为了证明△对于非线性导电层可是负的，假定线性电导矩阵中所有线性元件是相等的，非线性可以被作为小扰乱法处理。在这些条件下，△＜0变换为

（ⅹⅲ）I_dot，i＝exp（α/T）for α＜0;

I_dot，i＝1+（α/T）for α≥0;

这后一条件通过亚线性（饱和）直接电导和超线性交叉电导容易满足。非常容易地证明在“Y”接法电阻网络中这个效应，在这网络中除了一支包括非线性电阻外每支包含线性电阻。假如：a）一个输出与非线性电阻相连，另一输出与线性电阻推连;和b）一个输入与余下的线性电阻相连和另一输入与中央节点相连，那末应用（1，0）和（0，1）输入在适当选择电阻值和非线性情况下可以产生有差别的（0，1）和（1，0）输出。对于在（ⅵ）中叙述的编码技术可以给出类似例子。正如上面叙述的，在后面情况中除了电导变化的斜率外周期输入信号的输出谐波也可以被利用。

为了更详细地说明，考虑具有代表场效应器件中不均匀表面反向层的二维非线性导电层的器件。假定这层由于表面电位分布不同而具有不同电子密度的电子坑的阵列所组成。下面要证明可获得这最简单形式的非线性表面导电层的内在的非线性矢量变换能力。那末在以后阶段引入的任何附加的性能将增强此效应。这里研究的器件概念的物理过程可以被认为本质上类似于以上提及的shibata实验MOS器件。然而，Shibata的现有技术器件只是用作实现单个神经原的突触连接。与现有技术明显不同的，本发明的非线性电子层作为分布神经变换系统被利用，作为多输入和多输出端之间完整的神经网络。如上节所描述，这关键的差别可能需要适当的编码，以能取出所需的要信息。

图5说明本发明的这种器件300。器件300功能上由表示例如302和304的在场效应器件中在非均匀表面反向层上自由电子坑的位置的非均匀点阵所组成。坑302和304由在表面上在绝缘物（未图示）内俘获的正电荷所形成。这些电子坑相互电耦合，这里图形上只画出通过例如306的非线性电容和例如308的非线性电导相连的一对坑302和304。每一个电子坑还与地电容耦合，这里对一个坑310画出电容312予以表示。输入/输出信号通过线性电阻加在周边的触点上，图中只画出电阻314和316。正如上面指出的，输出/输出触点不总是一定在周边上，而是也可以分布在表面区域内。这后面方案可能在例如图象处理应用中尤为有益，在图象处理时输入信号作为二维信号一般加在前表面

通过简化和归一化方程近似大面积亚阈值半导体器件的非均匀表面反向层中电导的基本性能，建立图5所示该层中传输的模型。关于物理方面的背景信息，请阅shibata一文。流过坑的大量线性电流由下式给出：

（ⅹⅲ）I_dot，i＝exp（α/T）forα＜0;

I_dot，i＝1+（α/T）forα≥0;

式中I_dot，i表示流过坑的净电子电流，坑用下标“i”标注，式中α由下式定义：

（ⅹⅳ）α＝（E_F，i-E_bar，i）;

E_F，i是与坑“i”相联系的费米能级，E_bar，i表示在坑“i”和它的邻坑之一“j”之间位垒高度、和式中T表示归一化的绝对温度。在真实器件中位垒高度E_bar，i取决于电子坑之间出现的电位和由下列实验关系式给出：

（ⅹⅴ）E_bar，i＝E_c，i+[b₀-b₁（E_c，i+1-E_c，i）];

式中Ec，i是导带边缘，b₀和b₁是常数。有关这些量的表示请阅图6。

二个坑之间的电容假定取决于这些坑内包含的载流子数，它们由下式给出：

（ⅹⅵ）C_ij＝d₀/（d₁-q_i-q_j）;

式中d₀和d₁是常数，qi和qj表示坑“i”和邻坑“j”中电荷数。这方程简单近似了包含电荷越少的两坑之间的例如306的电容越小的这一事实。在每坑和地之间的电容312取为常数。对符合在这些真实器件方程中出现的参数或形式不去给予特别的注意。为此，人们必须从适当处理（这例中）MOS物理过程的器件能级方程着手。当仅仅提及一般非线性层中矢量变换的基本概念时，这在目前尚不必需。非线性的准确形式对于导电层运行作为矢量变换网络来说并不关键。上述模型系统的响应通过使用离散的泊松方程和电流连续方程进行数字计算。

对于上述模型，首先考虑输入偏压对例如308的电导的依赖关系。这是通过将输入偏压V加在器件的仅仅其中一个输入上，和考察流过器件的总电流随输入偏压V值的变化关系来完成的。对于输入/输出电阻314和316的二个不同值的结果如图7所示。这些特性的基本形状类似于单个MOSFET的亚阈值响应。然而，在现在例子中功能上确实具有互连的浮动亚阈值MOSFET的集合。这图中结果也可以被解释为通过器件中各坑的穿透与偏压的依赖关系。与真实穿透模型相比较，由于在计算中考虑非零温度参数，这里在低偏压下没有零电流时明显的截止电压。

其次，结合图8、9和10对于器件300的3输入/5输出例子400讨论输入/输出关系。器件400包括具有三个输入触点404、406和408的非线性导电层402，三个输入触点可以通过开关410，412和414与电源V相连。层402还包括五个输出触点416，418，420，422和424，以根据开关410-414中哪几个被合上提供响应电流I1-I5。响应电流被送入电路426，按上面方程（ⅳ）所讨论的决定差值量。注意电路426可以简化为连接在二个输出触点之间的电阻。那末这个电阻上电压表示通过电阻的净电流。

图9的表Ⅰ表示以例如mA的预定单位的响应电流I1-I5的值与开关410-414中打开或闭合开关的输入模式x的函数关系。以矢量表示，X＝（X1，X2，X3）^T式中X1对应于开关410的状态，X2对应于开关412的状态和X3对应于开关414的状态。假如开关410-414中有关的那个开关闭合，则Xi等于1，从而将电源V与触点404-406中相应的触点相连，否则Xi为零。在这例中假定输出触点422是断开的。图10的表Ⅱ给出电流I2和I1的差值，电流I3和I5的差值。表Ⅱ中信息在图11的图表中被可视化。图11清楚地显示输出信号I5-I3如何从正变为负，或换句话说，当系统接收到更多输入信号时输出信号如何提供反向效应。在另一边的输出信号I2-I1证明XOR运算，因此也就是信号交叉，因为相对于例如I2-I1的值等于35，输入矢量（100），（010），（110）和（000）分虽产生极性为（+），（+），（-）和（-）的输出。通过相应的阈值效应和随后的限位就简单地产生逻辑输出信号。除了在例如方程（ⅴ）和（ⅵ）中给出差值输出的方案以外，其他编码方案也给出反向和信号交叉。此处给出的输出例子是在非线性导电层402已经达到稳定平衡状态以后获得的。假如在这样稳定状态达到以前探测输出电流值，那末在这样导电平面中输出电流的相对值可以完全不同于表Ⅱ所列值。在这瞬态中信号混合与在稳态情况中信号混合相比可能证明是更容易达到的。

通过比电流随着电子坑上偏压差的增加而稍微减小，在非均匀反向层阵列中就获得负动态电阻（NDR）。由于这NDR，对于不同输入矢量结构，输出电流值的相对位置被高度地混合。此外，输入节点电流值也表明这种非线性混合。显然，这种响应通过简单的阈值效应就造成重要的非线性矢量变换，而无需施加在（ⅳ），（ⅴ）和（ⅵ）中给出的编码方法。

图12表示作为在本发明神经网络中的层102使用的一段非线性不均匀导电传输结构500。结构500包括例如P掺杂硅的半导体衬底502和例如二氧化硅的绝缘层504。层504具有例如多晶硅或氮化硅的电荷俘获区506，508，510，512，514和516。预定极性的电荷（在这例中为正电荷）在一个或多个区域506-516中被俘获）在邻近绝缘层504的衬底502中产生例如518，520，522和524的反向区和例如526和528的耗尽区。另一极性俘获电荷（在这例为负电荷）在邻近绝缘层504的衬底502中产生例如530的累积区。这样，俘获电荷指定衬底502中与位置有关的电导特性，建立以场效应运行为基础的电传输结构500。

图13表示本发明神经网络中结构500中一部分600。部分600包括在图12中所讨论的部分衬底520和部分绝缘层504。为了如上所述产生反向区、耗尽区和累积区，绝缘层504容纳有电荷俘获区606，608，610和612。例如为铝的电阻接触片614与P掺杂衬底502中N掺杂区域616接触，用于提供输入信号或传输由输入信号在该位置影响的响应电流。或者，触片614可以用作附加的长程相互作用，使二个或多个衬底502中远区通电连接或电容耦合，例如以克服由于屏蔽引起短程效应。触片618和620用作至衬底502的电容性输入，或者如620的直接输入或者通过电荷存储区608和610间接输入。触片618和620分别地用于加入外部产生的输入信号或经由反馈机理内部产生的输入信号。

注意图13中结构使用相当均匀和基本上一致掺杂的衬底502。由于在区606-610中俘获的电荷产生的不均匀性只是叠加在均匀结构上的扰动。这种简单的结构是以达到常规神经网络中的非线性和全分布的变换。然而，衬底502可以在邻近绝缘层504处额外地含有N掺杂区（未图示）或异化结构区（未图示），从而增加通过提供负动态电阻或光电子效应使电子传输特性。

上述屏蔽效应会在系统中发生，这与一些相互作用的范围关系很大。这些效应将不利地影响在对各组输入信号的响应之间的区分。因此，除了本发明中系统的给定尺寸之外，分辨率和噪声就很重要。补偿这些不足的方法之一是使用更多触点以取出更多的经组合产生输出信号（组）的响应。上面也已简短提及，另一方法是在器件上所分布的各位置之间提供一些长程相互作用（电导的或电容的）。这可以通过在互连的位置之间基本上为等电导的距离的模式而获得。图14表示这种结构700的实例，它是以类似于图13段600的技术被实现的。结构700由具有若干输入触点和输出触点704和706的半导体衬底702，例如708和710的若干不均匀域和例如712，714和716的若干长程互连所组成的。长程互连712-716用于使在输入-输出触点对的不同对之间的平均电路径长度均衡。注意因为结构700从大规模看来以及在导电状态是不均匀的，预计长程互连712-716的数量是相对小的。注意为了实现这样系统的巨大模型，芯片尺度集成是适用的技术。

为了提供学习装置，需要某些措施，例如通过调节在俘获区506-516中俘获的电荷量来有选择地调节衬底502的传输特性。如众所周知，常规神经网络借助根据训练实例修改突触的强度（或权重或突触系数）来学习的。闻名的学习策略是加在例如图1所示的层式网络上的反增生机理。在那里在所获得的层16的输出信号和所要求的输出信号之间偏差值规定为误差量，根据最急剧下降算法通过改变突触系数使误差量减为最小。这方法依据于每个神经原功能度和每个突触功能度的个别性。注意在本发明中无法区分个别的神经原和个别的突触。

图15给出含有包括学习装置的电传输结构800的本发明的神经网络的例子。因为结构800部分类似于部分600，要参阅图13和上述有关电传输方面。结构800包括例如P掺杂硅的半导体衬底802，例如二氧化硅的绝缘层804，例如埋在绝缘层804中的多晶硅，多晶硅小岛或氮化硅的电荷浮获层806，用于机械应力波传播和与层806绝缘的例如为氧化锌的压电层808，例如为二氧化硅的绝缘层810和功能上与场效应晶体管栅极（球状）相同的例如铝或钨的导电层812。

学习按下法进行。假定接受特定组的预定输入信号时层806中初始的俘获电荷分布相对于错误的响应引起上升。在有限尺寸的压电层808中建立机械应力波。该波可以是随机的。由于通过层808反射建立起驻波模式。这又产生驻波电场模式，除层806中俘获电荷的电场外，该驻波电场也影响衬底802中电传输特性。该应力模式或者改善响应或使响应更糟。假如该应力模式改善响应，由所联系的电场产生的扰动被冻结。通过调节俘获电荷分布来代替应力场的效应。这样做的一个方法是在球状栅极812上加以偏压。这样的偏压应该正好低于电荷俘获层806和衬底802之间隧道效应的阈值。这与EEPROM的写/抹阈值类似的。由空间变化的应力场产生的电场被迭加在球状栅极812的恒定偏压上。因此，电荷俘获层806和衬底802之间总电场被有选择地控制，使局部地超过或低于阈值，因而有选择地使电荷隧道效应能发生。这种类型的学习可以称为“随机学习”。

在施加偏压，应力场和电荷俘获时可以包括很多变化。例如在适当设计下充电可以通过电荷传输到球状栅极812和电荷从球状栅极812传输出而实现。可能以预定几何模式提供若干互相绝缘的球状栅极812。注意例如镓砷是压电的。通过绝缘层与镓砷衬底隔开的外延镓砷层可以提供压电材料和电信号传输两者。而且层806-810也可以被一层铁电材料代替。众所周知，铁电材料具有其电偶极子场可以被选择地调节的区域。铁电材料被用于一些类型的非易失性存储器中。

图16表示在本发明学习神经网络中用作为细胞的依据于光电子学的层式结构900的另一例子。结构900包括例如为P掺杂硅的半导体衬底902。例如为二氧化硅的绝缘层904和埋在绝缘层904中例如为多晶硅的电荷俘获区906。结构900的上表面908载有与电源（未图示）的相反极性相连的电极910和912。电极912与光电二极管914相连，电极910与电阻916相连。光电二极管914和电阻916通过靠近电荷俘获区906的节点918相连。入射光线920照在光电二极管914上，使节点918的电位变化，因而局部地影响电荷分布，和因此影响衬底的传输特性。在由于这些变化神经网络的输出改善（学习）的情况，例如通过电极910和912施加大的偏压，使区域906中俘获电荷改变，使在电极910或912和电荷俘获区906之间发生隧道效应。

若干个这种光电二极管和电阻的细胞可以按预定结构排列，例如排成矩形栅格或径向方式以模仿视网膜，从而能模式识别。那末图象的每个象素被映射到相应的光电二极管上，因而影响称之为耗尽层920和反向层922中有关传输特性。

Claims

1、具有功能上由突触互连的神经原组成的神经网络的信息处理系统，该网络具有接收若干输入信号的输入装置；提供至少一个输出信号的输出装置；和在输入装置和输出装置之间的结构，以实现若干输入信号的神经变换从而产生输出信号；其特征在于：该结构包含媒质，运行于对若干输入信号作出响应通过媒质传播响应场，响应场非线性地依赖于至少其中一个输入信号，和媒质具有至少一个不均匀性，运行于影响响应场的空间分布，媒质运行于至少将表示在媒质的第一位置处发生的响应场的第一响应耦合至输出装置，以产生输出信号。

2、依照权利要求1的该系统，其特征在于：该结构包含将物理媒质耦合至输出装置的编码装置，用以在第一响应和第二响应相互相关时产生输出信号。

3、依照权利要求2的系统，其特征在于：编码装置运行于执行至少下列相关中的一个：

-产生包含各对响应之间差值的各个输出信号;

-产生包含各响应与响应之和的比值的各个输出信号;

-产生包含由于其中一个特定输入信号的变化引起的各响应变化的各个输出信号;

4、依照权利要求1、2和3的系统，其特征在于：第一个输入信号有第一物理量纲，而第二个输入信号有不同于第一物理量纲的第二物理量纲。

5、依照权利要求1的系统，其特征在于该结构在媒质中的至少第二位置和第三位置之间具有连接装置，运行于使在第二位置的响应场和在第三位置的响应场之间能相互作用。

6、依照权利要求1的系统，其特征在于：该结构具有控制装置，运行于有选择地根据至少位置、尺寸和强度调整至少一个不均匀性。

7、依照权利要求1的系统，其特征在于：该结构具有半导体衬底，其中不均匀性包括至少一个耗尽区或反向区。

8、依照权利要求7的系统，其特征在于：该结构具有电荷俘获区，运行于感应耗尽区或反向区。

9、依照权利要求1的系统，其特征在于：该结构具有控制装置，运行于根据至少位置、尺寸或强度有选择地调整至少一个不均匀性;该结构包含电荷俘获区，运行于感应耗尽区或反向区;和该控制装置包括压电层，用于当应力波通过压电层传播时产生与位置有关的电场和因此有选择地决定电荷流入电荷俘获区或从电荷俘获区流出的隧道效应阈值。

10、依照权利要求1的系统，其特征在于：该结构包括控制装置，运行于根据至少位置，尺寸或强度有选择地调整至少一个不均匀性;该结构包含电荷俘获区，运行于感应耗尽区或反向区;和该控制装置包括光电元件，用以提供与光有关的电压和因此有选择地决定电荷流入电荷俘获区或从电荷俘获区流出的隧道效应阈值。

11、依照权利要求1系统，其特征在于：该结构包括控制装置，运行于根据至少位置，尺寸或强度有选择地调整至少一个不均匀性;该结构包括半导体衬底，其不均匀性包括至少一个耗尽区或反向区，和该控制装置包括铁电层，运行于产生与位置有关的电场，以便有选择地决定铁电层中铁电区的极化旋转。