DE4315576A1

DE4315576A1 - Neuronales Netzwerk

Info

Publication number: DE4315576A1
Application number: DE4315576A
Authority: DE
Inventors: Hernan A Castro
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1992-05-19
Filing date: 1993-05-11
Publication date: 1993-11-25
Also published as: GB2267171A; GB2267171B; JPH0628504A; GB9305775D0; US5329610A

Description

Die Erfindung betrifft künstliche neuronale Netzwerke; ins besondere betrifft die Erfindung Schaltungen und Verfahren zur elektrischen Implementierung solcher Netzwerke, die Floating- Gates (auf schwebendem Potential befindliche Gate-Elektroden) verwenden.

Künstliche neuronale Netzwerke bestehen im allgemeinen aus mehrschichtigen neuronalen Bauelementen, die eine massive par allele Rechenleistung zur Verfügung stellen. Ein interessantes Merkmal solcher Netzwerke ist deren Anpassungsfähigkeit. Diese ermöglicht dem Netzwerk, neue Informationen zu lernen. Diese Eigenschaften führen zu einer parallelen Datenverarbeitung mit hohen Rechengeschwindigkeiten, deren Leistungsfähigkeit derje nigen eines konventionellen von Neumann Computers, der die Be fehle eines Programms nacheinander ausführt, weit überlegen ist.

Neuronale Netzwerke haben im allgemeinen die Form einer Ma trix aus Verbindungen, die die Funktion eines biologischen Ner vensystems simulieren. Üblicherweise werden elektrische Schal tungen verwendet, um variable Stärken der synaptischen Verbin dungen zwischen einer Vielzahl von Eingaben und einer Anzahl summierender Elemente (z. B. Neuronen) vorzusehen. Die Stärke der Querverbindungen wird im allgemeinen als das "Gewicht" des Netzwerkes bezeichnet. Das synaptische Gewicht, das sich wäh rend des Trainings oder Lernprozesses oft verändert, moduliert im Grunde die Stärke des Ladungs- oder Spannungseingangssignals in jedes Neuron im Netzwerk.

Bisher wurden elektrische Synapsezellen mit Floating-Gate- Bauelementen benutzt, um die Verbindungsgewichte in Form elek trischer Ladung zu speichern. In einem Floating-Gate-Bauelement wird der Stromfluß in Abhängigkeit der Stärke der gespeicherten elektrischen Ladung moduliert. In diesen Zellen wird normaler weise eine Punktproduktrechnung durchgeführt, wobei eine ange legte Eingangsspannung mit dem gespeicherten Gewicht multipli ziert wird, um ein Ausgangssignal zu erzeugen. Dieses Ausgangs signal wird dann mit anderen synaptischen Ausgangssignalen im Netzwerk summiert. Als Beispiele für Halbleitersynapsezellen, in denen Floating-Gate-Bauelemente zur Speicherung von Gewich ten benutzt werden, wird auf die US-PS 4 956 564 und 4 961 002 verwiesen.

Eine andere Art neuronaler Netzwerke berechnet den eukli dischen Abstand zwischen einem Eingabewert und dem gespeicher ten Gewichtswert. Die Rechenweise dieser Netzwerkart wird oft als "City-Block"-Differenzrechnung bezeichnet. Eine City-Block- Differenzrechnung wird dadurch ausgeführt, daß die absolute Differenz zwischen einem angelegten Eingangssignal und dem ge speicherten Gewicht einer Zelle genommen wird. Wie im Falle der Punktprodukt berechnenden Synapsezellen, wird das Ausgangssi gnal einer distanzberechnenden Synapse normalerweise mit ande ren ähnlichen Ausgaben innerhalb des Netzwerkes summiert. Sowohl die multiplizierende als auch die subtrahierende Rechen art von neuronalen Netzwerken sind im gleichen Maße imstande, Computeraufgaben zu lösen, wie z. B. Assoziativspeicher und die Musterklassifikation.

Wie gezeigt wird, offenbart die Erfindung eine neue neuro nale Netzwerkarchitektur für die parallele Berechnung der abso luten "City-Block"-Differenz zwischen einem Eingangssignal und einem gespeicherten Gewichtsvektor. Das erfindungsgemäße Netz werk benutzt zur Emulation der Funktion einer biologischen Syn apse eine Schaltung mit einem schaltbaren Kondensator und Floa ting-Gate-Bauelemente.

Es wird ein neuronales Netzwerk beschrieben, das absolute differenzberechnende Synapsezellen verwendet. In einem Ausfüh rungsbeispiel weisen die Synapsezellen zwei Floating-Gate-Bau elemente auf, die zwischen einem internen Zellknoten und einer Spaltenleitung im Netzwerk parallelgeschaltet sind. Die Spal tenleitung ist an ein Referenzpotential und der interne-Knoten an einen Kondensator gekoppelt. Der andere Anschluß des Konden sators ist mit einem Mittel verbunden, das Spannungsimpulse mit positiven und negativen Übergängen liefert. Das Gate des einen Feldeffektbauelements ist mit der Zeilenleitung im Netzwerk gekoppelt, die das Eingangssignal liefert. Das andere Feldeffektbauelement hat zur Speicherung des synaptischen Ge wichts in Form einer elektrischen Ladung ein Floating-Gate-Bau element.

Das Netzwerk umfaßt auch ein Mittel zur Summierung aller von den Synapsezellen in einer Spalte des Netzwerkes erzeugten Ladungen. Das Summierungsmittel arbeitet in Abhängigkeit von einer Folge angelegter Spannungsimpulse, derart daß jede Zelle eine Ladung erzeugt, die entweder das Eingangssignal, das Ge wicht, oder das Minimum/Maximum des Gewichtes oder des Ein gangssignals darstellt. Als Antwort auf die Spannungsimpuls folge gibt das Summierungsmittel einen Wert aus, der der Summe aus den Absolutwerten der Differenzen zwischen den Eingangssi gnalen und den gespeicherten Gewichten für eine einzelne Spalte der Matrix entspricht. Das Netzwerk führt in einer Zeile unter schiedlicher Phasen eine parallele Berechnung dieser Differenz summe aus.

Im folgenden wird die Erfindung anhand eines in der Zeich nung dargestellten Ausführungsbeispiels näher erläutert. In der Zeichnung zeigen:

Fig. 1 ein schematisches Schaltbild eines Bauelements, welches das Maximum einer von zwei eingehenden Eingangsspannungen ausgibt;

Fig. 2 eine schematische Schaltung der grundlegenden Synapsezellen, die im neuronalen Netzwerk der Erfindung benutzt werden;

Fig. 3 die grundlegende Architektur des erfindungsge mäßen neuronalen Netzwerkes; und

Fig. 4 ein Zeitgabediagramm der grundlegenden Operatio nen des neuronalen Netzwerkes gemäß Fig. 3.

Es wird ein neuronales Netzwerk mit die Absolutwert-Diffe renz berechnenden Synapsezellen beschrieben. In der folgenden Beschreibung werden zahlreiche spezielle Details, wie bei spielsweise die speziellen Spannungen, Leitfähigkeitsarten, Zeitgabebedingungen usw. beschrieben, um ein besseres Ver ständnis der Erfindung zu erreichen. Es ist jedoch für den Fachmann offensichtlich, daß die vorliegende Erfindung auch ohne diese speziellen Details ausführbar ist. An anderen Stel len werden bekannte Strukturen und Schaltungen nicht gezeigt oder im Detail beschrieben, um die Beschreibung der Erfindung nicht mit unnötigen Einzelheiten zu belasten.

Fig. 1 zeigt ein einfaches Sourcefolgerbauelement, das die Feldeffektbauelemente 11 und 12 umfaßt, die parallel zwischen einer Betriebsspannungsversorgung V_S und einem dazwischenlie genden Knoten 13 parallelgeschaltet sind. Ein Widerstand R_X ist zwischen den Knoten 13 und Erde eingebunden. Die Feldeffektbau elemente 11 und 12 werden in diesem Falle von den Gate-Spannun gen V_A und V_B getrieben.

Anhand einer Analyse der Fig. 1 läßt sich die Funktion der Erfindung besser verstehen. Zunächst sei angenommen, daß der intrinsische Schwellwert der Bauelemente 11 und 12 Null ist und daß der Widerstand und die Versorgungswerte so hoch sind, daß die Sourcefolgeroperation erreicht wird. Vernachlässigt man zunächst die Wirkung des Bauelements 12, wird bei jedem Auftre ten der Spannung V_A am Gate des Bauelements 11, diese auf den gemeinsamen Sourceknoten 13 gegeben, d. h. der Knoten 13 der Schaltung gemäß Fig. 1 folgt unter Normalbedingungen der Ein gangsspannung von V_A. In diesem Fall würde die Sourcespannung des Bauelements 11 V_A-V_TH betragen, wobei V_TH die Schwellen spannung des Bauelements 11 ist.

Im obigen Beispiel wurde zur Vereinfachung jedoch angenom men, daß die Schwellenspannung des Bauelements 11 Null beträgt.

Bauelement 12 arbeitet in analoger Weise wie Bauelement 11. Wenn V_B an das Gate des Bauelements 12 angelegt wird, wird un ter Vernachlässigung der Wirkung des Bauelements 11 diese Span nung an den internen Knoten 13 angelegt.

Nun wird der Fall betrachtet, daß beide Spannungen V_A und V_B an die zugehörigen Bauelemente der Fig. 1 angelegt werden. In diesem Fall wird sich dasjenige Bauelement gegenüber dem an deren durchsetzen, an dem eine höhere Gatespannung anliegt. D.h., der Knoten 13 wird die höhere der beiden Eingangsspannun gen annehmen.

Wenn beispielsweise V_B < V_A, dann treibt das Bauelement 12 den gemeinsamen Sourceknoten 13 mit einer Spannung V_B. Die hö here Spannung dient dazu, daß das andere Bauelement - in diesem Fall Bauelement 11 - abgeschaltet wird. Der umgekehrte Zustand tritt auf, wenn V_A < V_B: Bauelement 11 treibt den Knoten 13 mit einer Spannung V_A, und das Bauelement 12 schaltet ab. So kop pelt das Folgerbauelement der Fig. 1 im wesentlichen die höhere der zwei Spannungen, V_A oder V_B, in den internen Knoten 13 ein.

Eine andere Betrachtungsweise dieses Phänomens ist, daß die Schaltung aus Fig. 1 die minimale Differenz zwischen der Span nung V_A oder V_B und dem Versorgungspotential V_S berechnet. D.h., wenn V_B < V_A, wird die Differenz V_S-V_B ebenfalls kleiner als die Differenz V_S-V_A sein. So berechnet die Schaltung der Fig. 1 abhängig von der Betrachtungsweise entweder ein Maximum oder ein Minimum zweier Meßgrößen.

Wie bald ersichtlich wird, wird die Rechenart des Folger bauelements gemäß Fig. 1 in der vorliegenden Erfindung einge setzt (in einer abgewandelten Form), um die Absolutwert-Diffe renz zwischen zwei Meßgrößen zu berechnen. In dem die Differenz berechnenden erfindungsgemäßen neuronalen Netzwerk berechnet jede Synapsezelle in der Matrix die Absolutwert-Differenz zwi schen einer Eingangsspannung und einem gespeicherten Gewicht. Diese Absolutwert-Differenz kann mathematisch entweder als Funktion der maximalen Differenz zwischen dem Eingangssignal und dem Gewicht oder als minimale Differenz zwischen den bei den, bezogen auf ein Referenzpotential, ausgedrückt werden. Dies wird mit den Gleichungen unten gezeigt, in denen die Abso lutwert-Differenz zwischen zwei Größen A und B, durch zwei un terschiedliche Gleichungen ausgedrückt wird.
|A-B| = (A+B) - 2 min (A,B),
|A-B| = 2 max (A, B) - (A+B).

So besteht eines der maßgebenden Merkmale der Erfindung darin, daß eine der obigen Beziehungen verwendet wird, um die Differenz zweier Größen als Funktion entweder des minimalen oder maximalen Wertes eines Eingangssignals und eines Gewichtes zu berechnen.

In Fig. 2 ist eine Ladungsdomänensynapsezelle dargestellt, die zur Durchführung der oben beschriebenen Minimum/Maximum-Be rechnungen zweckmäßig ist. Die Synapsezelle gemäß Fig. 2 ent hält einen Kondensator 19, der zwischen einer Eingangszeilen leitung 18 und einem internen Knoten 20 eingebunden ist. Norma lerweise ist die Zeilenleitung 10 mit allen Synapsezellen in einer Matrix gekoppelt. Der Knoten 20 ist mit den Feldeffekt bauelementen 14 und 15 gekoppelt, welche wiederum mit den Sum mierleitungen 16 bzw. 18 verbunden sind. Die Summierleitungen 16 und 18 (auch mit den Buchstaben S1 und S2 bezeichnet) sind normalerweise vertikal über die Matrix verteilt und sind mit den Synapsezellen gekoppelt, die in einer Spalte des Netzwerkes angeordnet sind.

Die Schaltung gemäß Fig. 2 zeigt die Bauelemente 14 und 15, die gewöhnliche n-Kanal MOS-Bauelemente aufweisen. Die Spannun gen V_A oder V_B könnten jedoch genauso einfach von einer Floa ting-Gate-Potentials erzeugt werden. Üblicherweise wird die Spannung V_A als analoge Eingangsspannung angelegt, während die Spannung V_B mittels eines Floating-Potentials eingestellt wird. (Für eine allgemeine Erörterung der Funktion einer Ladungsdo mänensynapsezelle der in Fig. 2 beschriebenen Art, wird auf die anhängige US-Patentanmeldung mit dem Titel "Charge Domain Synapse Cell", Nr. 07/747,640 vom 21. August 1991 verwiesen.) Unter der Voraussetzung, daß die Spannungen V_S1 und V_S2 an den zugehörigen Leitungen 16 und 18 gleich hoch sind, wird die Spannung V_X am Knoten 20 immer heruntergezogen, wenn ein nega tiv gehender Spannungsübergang (z. B., V_IMPULS) an der Ein gangsleitung 10 auftritt. Mit anderen Worten, der Kondensator 19 überträgt die momentane Spannungsänderung an Leitung 10 zum internen Knoten 20.

Nachdem die Spannung am Knoten 20 in Abhängigkeit von einem negativ gehenden Spannungsübergang auf der Leitung 10 abgefal len ist, wird der Knoten von einem oder beiden der Transistoren 14 und 15 wiederaufgeladen. Jedoch wird die Spannung V_X nur bis zu dem Pegel wiederaufgebaut, der dem Maximum von entweder V_A oder V_B entspricht (vorausgesetzt natürlich, daß beide V_A und V_B niedriger sind als V_S1 = V_S2). Eine andere Betrachtungsweise der Antwort der Synapsezellen der Fig. 2 ist, daß sich die Spannung V_X auf die minimale berechnete Spannungsdifferenz zwischen den angelegten Eingangsgatespannungen und der von den Leitungen 16 und 18 gelieferten Referenzspannung wiederauflädt. Folglich berechnet die Schaltung der Fig. 2 das Minimum (oder Maximum) der angelegten Eingangsspannungen V_A und V_B.

Nachdem sich die Spannung V_X wieder aufladen konnte, kann nun die am Knoten 20 gespeicherte Ladungsmenge von der Synapse zelle an eine der Summierleitungen 16 oder 18 übertragen wer den. In dem Ausführungsbeispiel geschieht dies - wie im folgen den beschrieben - in einem getrennten Arbeitszyklus.

Fig. 3 zeigt einen Teil eines eine Matrix aus Synapsezellen aufweisenden neuronalen Netzwerkes, wobei jede Synapsezelle ein Floating-Gate-Bauelement 21 enthält, das zu einem gewöhnlichen n-Kanal-Feldeffekt Bauelement 22 parallelgeschaltet ist. Beide Bauelemente liegen zwischen einer Spaltensummierleitung 27 und einem internen Knoten 24. Die Leitung 27 entspricht den beiden Summierleitungen S₁ und S₂ gemäß vorangegangener Fig. 2. In der Schaltung der Fig. 3 werden diese beiden Summierleitungen in einem gezeigt, da im allgemeinen beide an das Referenzpotential V_REF angeschaltet sind.

Der Knoten 24 ist über den Kondensator 25 mit der Leitung 28 gekoppelt. Die Leitung 28 liefert eine Folge von Spannungs impulsen und ist mit jeder der Synapsezellen in einer einzigen Matrixspalte gekoppelt. Das gleiche gilt für die Spaltensum mierleitung 27, die den Bauelementen 21 und 22 jeder Zelle in der Spalte das Potential V_REF liefert. Es ist einzusehen, daß bei bestimmten Anwendungen die Leitung 27 in zwei getrennte Leitungen aufgeteilt werden kann - von denen die eine mit dem Bauelement 21 und die andere mit dem Bauelement 22 gekoppelt ist - um die Aktualisierung mittels heißer Elektronen zu ermög lichen.

Die Eingangssignale der Synapsezelle in dem Netzwerk gemäß Fig. 3 werden entlang den Leitungen 30 und 31 zur Verfügung ge stellt und sind an die Gates der Bauelemente 22 bzw. 21 ange koppelt. Jede der Leitungen 30 und 31 ist mit allen Synapse zellen entlang einer einzigen Matrixzeile gekoppelt.

Gemäß den oben erläuterten Prinzipien berechnen die Synap sezellen in dem neuronalen Netzwerk der Fig. 3 als Antwort auf einen an Leitung 28 auftretenden Übergang das Maximum zwischen der Eingangsspannung V_A und dem am Floating-Gate des Bau elementes 21 gespeicherten Potential. Bei geeigneter Einstel lung der Spannungen V_A und V_B kann die in den obigen Gleichun gen beschriebene Absolutwert-Differenzrechnung mit Hilfe einer Folge von Impulszyklen von der Schaltung gemäß Fig. 3 ausge führt werden. Dieser Aspekt der Erfindung wird im folgenden genauer beschrieben.

Fig. 3 zeigt auch ein Netzwerk mit geschaltetem Kondensa tor, das mit der Spaltensummierleitung 27 gekoppelt ist. Das Netzwerk mit geschaltetem Kondensator weist einen Operations verstärker auf, dessen positiver Eingang an eine Referenzspan nung (z. B. V_REF) angeschlossen ist und dessen negativer Eingang an die Leitung 27 angeschlossen ist. Für den Fachmann ist klar, daß der Verstärker 37 als Integrator ausgebildet ist und der Kondensator 38 zwischen dem negativen Eingang des Verstärkers 37 und dessen Ausgang angeordnet ist. Parallelgeschaltet mit dem Kondensator 38 ist der Schalttransistor 39. Das Gate des Transistors 39 ist so gekoppelt, daß es diejenigen verschiedene Taktphasen aufnimmt, die der zur Berechnung der Absolutwert- Differenzmenge an das Netzwerk angelegten Spannungsimpulsfolge zugeordnet sind.

Der Ausgang des Verstärkers 37 ist auch mit den Schalt transistoren 40 und 41 gekoppelt. Z.B. liegt Transistor 40 zwi schen dem Ausgang des Verstärkers 37 und dem positiven Eingang des Akkumulators 45; dagegen liegt der Transistor 41 zwischen dem Ausgang des Verstärkers 37 und dem negativen Eingang des Akkumulators 45. Das Ausgangssignal des Akkumulators 45 V_AUS entspricht, bezogen auf eine vorgegebene Matrixspalte, der ab soluten Differenz zwischen einem angelegten Eingangssignal und einem gespeicherten Gewicht.

Wie zu sehen ist, empfängt das Gate des Transistors 40 Taktsignale in der ersten oder zweiten Taktphase, während das Gate des Transistors 41 so geschaltet ist, daß es Taktsignale in einer dritten Taktphase empfängt. Die Beziehung der ver schiedenen Taktphasen zum Funktionsablauf des beschriebenen Netzwerkes wird im folgenden ausgeführt.

Die neuronale Netzwerkarchitektur gemäß Fig. 3 kann in Ver bindung mit dem Zeitablaufdiagramm der Fig. 4 besser verstanden werden. Fig. 4 zeigt die Antwort des erfindungsgemäßen neuro nalen Netzwerkes auf eine Folge angelegter Eingangsspannungen. Die an das Netzwerk angelegte Folge der Eingangssignale enthält drei verschiedene Takt(phasen)signale: Phase 1 (PH₁), Phase 2 (PH₂) und Phase 3 (PH₃). Jedes dieser Taktsignale ist für die Absolutwert-Differenzberechnung wichtig.

Die Antwort des Netzwerkes der Fig. 3 auf jedes dieser Taktphasensignale wird im folgenden erläutert. Vor dem ersten positiv gehenden Übergang des Taktsignals PH₁ ist die in die Leitung 28 eingekoppelte gepulste Steuerspannung VC hoch. Genau vor den Steuersignal VC-Übergängen ist sie niedrig; eine Ein gangspannung liegt entlang der Leitung 30 an. Im Ausführungs beispiel wird die Spannung V_A auf einen Spannungspegel von V_REF-V_EIN gebracht, wobei V_EIN die an das Netzwerk angelegte Eingangsspannung darstellt. Diese Eingangsspannung kann sich vor dem ersten negativ gehenden Übergang des Signals V_C stabi lisieren.

Während der ersten Arbeitsphase ist die entlang der Leitung 31 auf das Steuergate des Bauelementes 21 gegebene Spannung geerdet. Dieses geschieht, indem die Spannung V_B auf 0 Volt ge legt wird. Damit wird der Einfluß des Eingangssignals auf die erste durchgeführte Summation der Berechnungsfolge aufgehoben.

Beim Auftreten des ersten negativ gehenden Übergangs der Spannung V_C, fällt aufgrund der Spannungskopplung des Kondensa tors 25 die interne Spannung V_X am Knoten 24 ab. Wie im Zusam menhang mit der Funktion der Zelle gemäß Fig. 2 beschrieben wurde, wird V_X sofort bis auf ein Potential entsprechend der Differenz zwischen der Spannung an Leitung 27 und der an Lei tung 30 angelegten Eingangsspannung wiederangehoben. Da die an Leitung 30 angelegte Spannung V_REF-V_EIN beträgt, steigt die in terne Knotenspannung V_X einfach bis auf eine Spannung V_EIN, be zogen auf das Arbeitspotential V_REF an.

So erzeugt das neuronale Netzwerk der Fig. 3 in der ersten Arbeitsphase oder dem ersten Zyklus eine Ladungsmenge am inter nen Knoten 24, die proportional zur Eingangsspannung V_EIN ist. Diese Ladung entspricht dem ersten Term, der als Teil der Abso lutwert-Differenzberechnung (siehe obige Gleichung) benötigt wird.

Während das erste Phasensignal PH₁ aktiv ist, wird die am Knoten 24 erzeugte Ladungsmenge zusammen mit allen anderen, an diesem internen Knoten für alle Synapsezellen in der gleichen Matrixspalte erzeugten Ladungsmengen integriert. Wichtig ist in diesem Zusammenhang, daß der Transistor 39 immer durchgesteuert ist, wenn das Taktsignal PH₁ niedrig ist. So wird die Inte grierfunktion des Verstärkers 37 wirksam entaktiviert, indem der Kondensator 38 entladen wird.

Wenn dagegen PH₁ ansteigt (unter momentaner Vernachlässi gung der Effekte von PH₂ und PH₃), wird der Transistor 39 abge schaltet. Dadurch werden der Verstärker 37 und der Kondensator 38 aktiv und integrieren die an jedem der internen Synapsekno ten 24 erzeugten Ladungen, bevor der positiv gehende Übergang des Taktsignals PH₁ auftritt. Zu diesem Zeitpunkt kann die La dung vom Knoten 24 an die Leitung 27 übertragen werden, indem die Wortleitung 30 (die mit dem Gate des Bauelementes 22 ver bunden ist) auf ein höheres positives Potential angehoben wird. Die Antwort der Spannung V_X auf diesem Übergang der Eingangs spannung V_A ist in Fig. 4 durch den Pfeil 51 angezeigt. Die Spannung V_X steigt bis auf das Referenzpotential V_REF an, so bald der Ladungsübertragungsprozeß stattfindet.

Während das Taktsignal PH₁ hoch ist, steuert auch der Tran sistor 40 durch, so daß die ganze Spaltenladung (die Summe der V_EIN-Terme der obigen Gleichung) als positives Eingangssignal am Akkumulator 45 gesammelt wird. Wenn das Taktsignal PH₁ auf einen niedrigen Pegel übergeht, ist die erste Phase der Berech nungsfolge abgeschlossen.

Während der zweiten Arbeitsphase wird ein zweiter Term der Absolutwert-Differenzgleichung berechnet. Im Fall des bevor zugten Ausführungsbeispiels enthält der zweite Term die Summe aus den für eine Synapsenzellenspalte der Matrix gespeicherten Gewichten. Zur Berechnung dieser Summe wird die Eingangsspan nung V_A geerdet, während die Steuerspannung V_C auf einem hohen Pegel liegt. In der Zwischenzeit wird die Eingangsspannung V_B (die an das Steuergate des Transistors 21 gekoppelt ist) als Referenzpotential genommen, so daß der Schwellwert des Bauele mentes 21 dem gespeicherten Gewicht entspricht. Das gespei cherte Gewicht entspricht jedoch der vorhandenen elektrischen Ladung am Floating-Gate des Bauelements 21.

Mit dem Auftreten des zweiten negativ gehenden Überganges des Spannungssteuerimpulses V_C fällt die synaptische Knoten spannung V_X ab. Danach steigt sie sofort bis auf einen Span nungspegel proportional zum gespeicherten Gewichtswert an. Die ser Pegel ist in Fig. 4 durch die Spannung V_WT gekennzeichnet. Die am internen Knoten 24 gespeicherte zugehörige Ladung wird dann in oben beschriebener Weise aus allen Synapsezellen abge führt. Während das Taktsignal PH₂ auf einem hohen Pegel liegt, wird die Wortleitungsspannung V_A an der Zeilenleitung 30 auf ein positives Potential angehoben, das hoch genug ist, die Übertragung der am Knoten 24 gespeicherten Ladung an die Sum mierleitung 27 zu steuern. Dieses Ladungspaket wird ebenfalls mit allen anderen Ladungspaketen integriert, die in den anderen Zellen der gleichen Matrixspalte erzeugt werden. Die Antwort der Knotenspannung V_X auf die Änderung der Eingangsspannung V_A wird in der Fig. 4 durch einen Pfeil 52 angezeigt. Während das Taktsignal PH₂ auf einem hohen Pegel liegt, arbeiten der Ver stärker 37 und der Kondensator 38 als Integrator (z. B. Transi stor 39 ist ausgeschaltet). Das ermöglicht dem Kondensator 38, die Ladungspakete aller zugehörigen Zellen zu speichern. Gleichzeitig steuert der Transistor 40 durch und ermöglicht somit, daß die Summe aller Gewichte in den Spalten als ein po sitiver Term in dem Akkumulator 45 gespeichert wird. Mit ande ren Worten wird die am Kondensator 38 aufgebaute Ladung an den Akkumulator 45 übertragen, bevor der Kondensator 38 zu Beginn der dritten Arbeitsphase entladen wird.

Die dritte Arbeitsphase dient zur Berechnung des letzten Terms in der Absolutwert-Differenzberechnung. Das Minimum ent weder der Eingangsspannung V_EIN oder des gespeicherten Ge wichtes V_WT wird bestimmt. Zur Durchführung dieser Berechnung wird die Spannung V_A auf eine Spannung von V_REF-V_EIN gelegt, während die Steuerspannung V_C auf einem hohen Pegel liegt. An ders als in der ersten Arbeitsphase bleibt während der dritten Phase die Spannung V_B jedoch auf einem hohen Referenzpotential.

Das bedeutet, daß die Schwellenspannung des Bauelementes 21 nun direkt proportional zum gespeicherten Gewicht ist, das am Floating-Gate-Bauelement vorliegt.

Beim Auftreten des dritten negativ gehenden Überganges der Spannung V_C geht die interne Knotenspannung V_X zunächst wieder auf einen niedrigen Pegel über und steigt dann wieder bis auf das Minimum von entweder V_EIN oder V_WT an. Es wird gezeigt, daß dieses genau vor dem dritten Taktsignal PH₃ geschieht. Wenn PH₃ auf einen hohen Pegel übergeht, wird die Spannung V_A wieder auf ein hohes positives Potential geführt, so daß die am internen Knoten 24 erzeugte Ladung entlang der Leitung 27 an den Konden sator 38 übertragen werden kann. Während das Taktsignal PH₃ auf einem hohen Pegel liegt, ist der Transistor 39 abgeschaltet und der Transistor 41 durchgesteuert. Das verbindet den Ausgang des Verstärkers 37 mit dem negativen Eingang des Akkumulators 45. Der Ladungsübertragungsprozeß tritt als Antwort auf die Span nungsänderung V_A auf, wie in Fig. 4 durch einen Pfeil 53 ge kennzeichnet ist.

Zur die Absolutwert-Differenzberechnung wird ein Term benö tigt, der dem Zweifachen des Minimums entweder von V_N oder V_WT entspricht, kann auf Wunsch die während der dritten Arbeits phase durchgeführte Berechnung in der vierten Phase wiederholt werden. Alternativ kann der Akkumulator 45 an seinem negativen Eingangsanschluß mit einem 2X-Multiplikationsfaktor versehen sein. In dem letzteren Falle findet die Multiplikation automa tisch während der dritten Arbeitsphase statt. Bei beiden Re chenarten entspricht das letzte, vom Akkumulator 45 erzeugte Ergebnis der Summe der Absolutwertdifferenzen zwischen den Ein gangsspannungen und den gespeicherten Gewichten in einer ein zigen Spalte der neuronalen Netzwerkmatrix.

Die Absolutwertberechnung wird also in wenigstens drei ge trennten Arbeitsphasen ausgeführt. In dem bevorzugten Ausfüh rungsbeispiel berechnet die erste Arbeitsphase die Summe der angelegten Eingangsspannungen. Die während der ersten Arbeits phase aufgebaute Ladungsmenge wird im Akkumulator 45 gespei chert; der Kondensator 38 wird entladen, und dann beginnt die zweite Arbeitsphase. Während der zweiten Phase wird die Summe der gespeicherten Gewichte in ähnlicher Weise gesammelt und zur Summe der Eingangsspannungen addiert. Schließlich wird in der letzten Arbeitsphase die dritte Berechnung ausgeführt, in der das Minimum entweder der angelegten Eingangsspannung oder des gespeicherten Gewichts bestimmt wird. Dieser Minimumterm wird von der vorher addierten Summe subtrahiert, um das Endergebnis zu erhalten.

Claims

1. Neuronales Netzwerk zur Berechnung der absoluten Diffe renz zwischen einem Eingangssignal und einem gespeicherten Ge wicht, gekennzeichnet durch,
Impulsmittel zur Versorgung des Netzwerkes mit Spannungsim pulsen;
Synapsenzellmittel, das in Abhängigkeit von einem Übergang bzw. einer Flanke der Spannungsimpulse eine Ladung erzeugt, wo bei die Ladung entweder der Eingangsspannung, dem Gewicht, dem Minimum oder dem Maximum des Gewichts oder der Eingangsspannung entspricht;
Mittel (27, 28) zum Summieren der von den Synapsenzellmit teln erzeugten Ladungen während einer wenigstens erste, zweite und dritte Impulse enthaltenden Impulsfolge, wobei die Synap senzellmittel in Abhängigkeit von dem ersten Impuls eine das Eingangssignal darstellende erste Ladung, in Abhängigkeit von dem zweiten Impuls eine das Gewicht darstellende zweite Ladung und in Abhängigkeit von dem dritten Impuls eine entweder das Maximum oder das Minimum darstellende dritte Ladung erzeugen;
wobei die Summiermittel in Abhängigkeit von der Impulsfolge eine Spannung ausgeben, welche die Absolutwertdifferenz zwi schen dem Eingangssignal und dem Gewicht darstellt.

2. Neuronales Netzwerk nach Anspruch 1, dadurch gekenn zeichnet, daß die Synapsenzellmittel zwei Bauelemente (21, 22) aufweisen, die zwischen einem internen Knoten (24) und einer Spaltenleitung (27) parallel geschaltet sind, daß die Spalten leitung (27) mit einem Referenzpotential (V_ref) und der interne Knoten (24) über einen Kondensator (25) mit dem Pulsmittel ge koppelt ist, daß das Gate eines (22) der beiden Feldeffektbau elemente mit einer das Eingangssignal liefernden Zeilenleitung gekoppelt ist und ein Floating-Gate des anderen Feldeffektbau elements (21) zur Speicherung des Gewichtes vorgesehen ist.

3. Neuronales Netzwerk nach Anspruch 1 oder 2, dadurch ge kennzeichnet, daß die ersten, zweiten und dritten Ladungen in Abhängigkeit von einem negativen Übergang der Spannungspulse an einem internen Knoten (24) erzeugt werden.

4. Neuronales Netzwerk nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Summiermittel einen als Inte grator ausgebildeten Operationsverstärker (37) aufweisen, des sen einer Eingang mit der Spaltenleitung (27) gekoppelt ist.

5. Neuronales Netzwerk nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Impulsfolge einen vierten Im puls enthält, der eine vierte Ladung entsprechend der Größe der dritten Ladung erzeugt.

6. Neuronales Netzwerk nach Anspruch 4 oder 5, dadurch ge kennzeichnet, daß die Summiermittel außerdem einen mit dem In tegrator (37) gekoppelten Akkumulator (45) zum Akkumilieren der ersten, zweiten, dritten und vierten Ladungen aufweisen.

7. Neuronales Netzwerk nach Anspruch 5 oder 6, dadurch ge kennzeichnet, daß die dritten und vierten Ladungen jeweils das Minimum des Gewichts und des Eingangssignals darstellen.

8. Neuronales Netzwerk gekennzeichnet durch
eine Matrix von in Zeilen und Spalten angeordneten Synapse zellen, wobei jede Zelle ein erstes und zweites Feldeffektbau element (21, 22) aufweist, deren Sources-Elektroden gemeinsam mit einem internen Knoten (24) gekoppelt sind und deren Drain- Elektroden mit einem Referenzpotential beaufschlagt sind, wobei jede Zelle ferner einen mit dem internen Knoten gekoppelten Kondensator (25) und daß zweite Feldeffektbauelement (21) ein Floating-Gate aufweist, dessen Schwellenwert einem synaptischen Gewicht entspricht;
eine Vielzahl von Impulsleitungen (10, 28), die jeweils eine Impulsfolge mit positiven und einem negativen Übergang an alle Zellen in derselben Matrixspalte anlegen;
eine Vielzahl von Spaltensummierleitungen (16, 18, 27), die jeweils die Drain-Elektroden der Feldeffektbauelemente mit al len Zellen in derselben Spalte gekoppelt sind;
eine Vielzahl von Zeilenleitungen (30, 31), die paarweise mit allen Zellen in derselben Zeile gekoppelt sind, wobei eine der Zeilenleitungen eine mit dem Gate des ersten Feldeffektbau elements (21) gekoppelte Eingangsspannung und die andere der beiden Zeilenleitungen ein hohes positives Potential an das Steuergate des zweiten Feldeffektbauelements (22) anlegt;
mit den Spaltensummierleitungen (27) gekoppelte Mittel zum Integrieren von Ladungen, die auf den Summierleitungen von der Synapsezelle entwickelt worden sind, wobei die Ladungen auf den Spaltensummierleitungen (27) in Abhängigkeit von negativen Übergängen entwickelt werden und jeder Übergang eine Ladung er zeugt, die zur Minimaldifferenz zwischen dem Referenzpotential und entweder dem Gewicht oder der Eingangsspannung proportional ist.

9. Neuronales Netzwerk nach Anspruch 1 bis 8, dadurch ge kennzeichnet, daß ein Mittel (45) zum Akkumulieren der von den Integriermitteln (37 bis 39) integrierten Ladungen über aufein anderfolgende Zyklen von Impulsfolgen vorgesehen ist.

10. Neuronales Netzwerk nach Anspruch 9, dadurch gekenn zeichnet, daß nach wenigstens drei Impulsfolgenzyklen das Akku mulatormittel (45) eine Ausgangsspannung (V_AUS) erzeugt, welche die Absolutwert-Differenz zwischen der Eingangsspannung (V_A, V_B) und dem synaptischen Gewicht darstellt.

11. Neuronales Netzwerk nach Anspruch 10, dadurch gekenn zeichnet, daß das Integratormittel (37 bis 39) eine Schaltung mit schaltbarem Kondensator (38) aufweist.

12. Neuronales Netzwerk nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß das Netzwerk so ausgebildet ist, daß es die Summe der Eingangssignale während eines ersten Be triebszyklus, die Summe der Gewichte während eines zweiten Be triebszyklus und die Summe des Minimalwerts entweder der Ge wichte oder der Eingangssignale während dritter und vierter Be triebszyklen berechnet.

13. Neuronales Netzwerk nach einem der Ansprüche 8 bis 12, dadurch gekennzeichnet, daß Taktgabemittel (PH₁, PH₂, PH₃) vor gesehen sind, die Taktsignale an den Integrator (37) und die Akkumulatormittel (45) anlegen, wobei bestimmte dieser Taktsi gnale während des Zeitabschnitts zwischen einem negativen Über gang und dem nächsten positiven Übergang der Impulsfolge aktiv sind.

14. Neuronales Netzwerk nach Anspruch 13, dadurch gekenn zeichnet, daß die Taktgabemittel erste, zweite, dritte und vierte Taktsignale entsprechend den ersten, zweiten, dritten bzw. vierten Betriebszyklen enthalten.

15. Verfahren zum Betrieb des neuronalen Netzwerkes nach Anspruch 14, dadurch gekennzeichnet, daß während des ersten Zy klus die Eingangsspannung an die eine und Erdpotential an die andere der beiden Zeilenleitungen für jede der Zellen innerhalb einer Spalte der Matrix angelegt werden;
daß der negative Übergang an die Impulsleitung der Spalte angelegt wird, um eine die Eingangsspannung darstellende erste Ladungsmenge am internen Knoten erscheinen zu lassen; und
daß das erste Taktsignal zur Übertragung der ersten La dungsmenge an den Integrator und an die Akkumulatormittel ver wendet wird, wobei die erste Ladungsmenge vor dem nächsten po sitiven Übergang der Impulsfolge übertragen wird.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß während des zweiten Zyklus das hohe positive Potential an die andere der beiden Zeilenleitungen und ein Erdpotential an die eine der beiden Zeilenleitungen für jede der Zellen innerhalb der Spalte der Matrix angelegt wird;
daß der negative Übergang an die Impulsleitung der Spalte angelegt wird, um eine das Gewicht darstellende zweite Ladungs menge am internen Knoten erscheinen zu lassen;
daß das zweite Taktsignal zur Übertragung der zweiten La dungsmenge an den Integrator und die Akkumulatormittel angelegt wird, und die zweite Ladungsmenge vor dem nächsten positiven Übergang der Impulsfolge übertragen wird.

17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß die Eingangsspannung an die eine der beiden Zeilenleitungen (30, 31) und das hohe Referenzspotential an die andere der bei den Zeilenleitungen jeder Zelle innerhalb der Matrixspalte an gelegt werden;
daß der negative Übergang an die Impulsleitung der Spalte angelegt wird, um die den Minimalwert darstellende dritte La dungsmenge am internen Knoten erscheinen zu lassen, und
daß das dritte Taktsignal zur Übertragung der dritten La dungsmenge an den Integrator und die Akkumulatormittel angelegt und die dritte Ladungsmenge vor dem nächsten positiven Übergang der Impulsfolge übertragen wird.

18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, daß der dritte Betriebszyklus wiederholt wird.