DE68925156T2

DE68925156T2 - Integrierte Halbleiterschaltung für neurales Netzwerk

Info

Publication number: DE68925156T2
Application number: DE68925156T
Authority: DE
Inventors: Yoshito Nejime
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-07-01
Filing date: 1989-06-30
Publication date: 1996-09-05
Anticipated expiration: 2009-07-01
Also published as: DE68925156D1; US5004932A; EP0349007A3; EP0349007B1; JPH0214389A; EP0349007A2; JP2595051B2

Description

Hintergrund der Erfindung

Die Erfindung betrifft integrierte Haibleiterschaltungen, und spezieller betrifft sie eine integrierte Halbleiterschaltung, die gut dazu geeignet ist, ein neurales Netzwerkmodell in Form eines monolithischen IC zu bilden.
Ein Neuron besteht aus einem Soma, einem Dendrit und einem Axon. Unter diesen erzeugt das Soma ein Ausgangssignal in Form einer pulsierenden Spannung, wenn sein internes Potential so weit angestiegen ist, daß es einen bestimmten Schwellenwert überschreitet. Die Impulsspannung wird über das Axon übertragen, bis sie das distale Ende eines Nervs erreicht. Das Nervenende liegt in Kontakt mit dem Dendrit oder Soma eines anderen Neurons. Der Kontaktpunkt wird als "Synapse" bezeichnet. Die Übertragung von Information zwi schen den Neuronen wird über die Synapsen bewerkstelligt. Derartige Synapsen werden in zwei Sorten eingeteilt; Synapsen mit der Eigenschaft, das Innenpotential des Somas des zugewandten Neurons anzuheben (nachfolgend als "erregende Synapse" bezeichnet), und Synapsen mit der Eigenschaft des Absenkens des Innenpotentials des Somas des zugewandten Neurons (nachfolgend als "hemmende Synapse" bezeichnet). Mit einem Neuron sind mehrere Synapsen verbunden, und wenn ein Impuls eine erregende Synapse erreicht, bewirkt dies, daß das Innenpotential ansteigt und dann allmählich in Übereinstimmung mit einer bestimmten Zeitkonstante der Synapse fällt. Wenn Impulse eine Synapse kontinuierlich erreichen, werden ihre Potentiale mit ablaufender Zeit aufeinanderfolgend addiert. Dabei wird den ankommenden Impulsen ein addierendes oder subtrahierendes Gewicht zugeordnet, abhängig davon, ob es sich um erregende oder hemmende Synapsen handelt. Daher wird der Wert des Innenpotentials die gewichtete Summe aller Eingangssignale. Wenn dieser Wert den Schwellenwert überschreitet, erzeugt das Neuron das impulsförmige Ausgangssignal.
Innerhalb des Gehirns von Menschen usw. wird Informationsverarbeitung durch ein Netzwerk ausgeführt, das mit einem derartigen Neuron als Einheit aufgebaut ist. Bisher erfolgten Forschungen zum Erläutern des Algorithmus der Informationsverarbeitung im Gehirn dadurch, daß das neurale Netzwerk durch Hardware- oder Softwarerealisierung modelliert wurde und verschiedene Erscheinungsformen von Informationsverarbeitung ausgeführt wurden.
Indessen erfolgten, mit den Fortschritten bei integrierten Halbleiterschaltungen, in letzter Zeit intensive Forschungen hinsichtlich einer Realisierung neuraler Netzwerkmodelle mit Halbleiterchips. Dies ist detailliert z.B. in "Researches on and Developments of Neurocomputers", NIKKEI ELECTRONICS, (26. Januar 1987, S. 159 - 170), erläutert. Der vorstehend verwendete Begriff "Neurocomputer" kennzeichnet einen Computer, der eine Parallelverarbeitung ausführen kann, die die Vorgänge im Gehirn eines Menschen imitiert. D.h., daß er bei Mustererkennung, kombinatorischen Problemen usw. eine Hochgeschwindigkeitsverarbeitung erzielt, wobei er die Parallelverarbeitungsfunktion nutzt, die eines der Merkmale eines neuralen Netzwerks ist.
Die Fig. 7(a) und 7(b) sind ein Symboldiagramm eines Neurons bzw. ein Kurvenbild, das die Eingangs/Ausgangs-Beziehung eines Neurons zeigt.
Im allgemeinen besteht ein neurales Netzwerkmodell aus einem Element mit vielen Eingängen und einem Ausgang (nachfolgend als "Neuron" bezeichnet), wie es in Fig. 7(a) dargestellt ist. Die jeweiligen Eingangsanschlüsse des Neurons erhalten die Werte der Ausgangssignale anderer Neuronen. Dabei werden die Eingangssignale aufgrund der Funktionen der Verbindungsteile (nachfolgend als "Synapsen" bezeichnet) zwischen den Neuronen mit vorgegebenen Gewichtungen multipliziert, woraufhin die sich ergebenden Produkte an ein Soma (nachfolgend als "Zelle" bezeichnet) 1 gegeben werden. Fig. 7(a) zeigt die Symbole dieses Neurons und die zwei Sorten von Synapsen; es sind erregende Synapsen 21 mit addierenden Gewichtungen und hemmende Synapsen 22 mit subtrahierenden Gewichtungen veranschaulicht.
Wie vorstehend festgestellt, wird die Eingangs/Ausgangs-Beziehung eines Neurons durch die gewichtete Summe von Spannungen ausgedrückt, die gemäß einer bestimmten Zeitkonstante ansteigen. Genauer gesagt, wird, wie es in Fig. 7(b) dargestellt ist, das Ausgangssignal OUT eine Funktion der Summierung (Σi Wi Pi) der Produkte zwischen allen Eingangssignalen (P&sub1;, P&sub2;, .., Pi ... und Pn) und den Gewichtungen (W&sub1;, W&sub2;, ..., Wi, ... und Wn) der Synapsen, die an den jeweils entsprechenden Eingangsenden liegen.
Wenn mehrere Neuronen miteinander verkoppelt werden und die Gewichtung der einzelnen Synapsen geeignet ausgewählt wird, kann das sich ergebende Netzwerk eine beachtliche Informationsverarbeitung ausführen.
Ein Beispiel für ein neurales Netzwerkmodell, wie es unter Verwendung einer elektrischen Schaltung wiedergegeben wird, ist das Hopfield-Modell. Bei diesem Model werden Widerstände zum Wiedergeben der Gewichtungen verwendet und Torschaltungen werden dazu verwendet, eine Eingangs/Ausgangs-Beziehung ähnlich der von Fig. 7(b) wiederzugeben.
Fig. 8 ist ein Diagramm, das das bekannte Hopfield-Nodell zeigt.
Dieses Diagramm ist ein Modelldiagramm, wie es im US-Patent Nr. 4,660,166 veranschaulicht ist. In der Figur kennzeichnet die Markierung in Form eines schwarzen Quadrats einen Widerstand, der die Synapsengewichtung zwischen zwei sich am entsprechenden Punkt schneidenden Leitungen wiedergibt, und die Markierungen in Form eines Gatters und eines invertierenden Gatters kennzeichnen erregende bzw. hemmende Eingänge und Ausgänge. Die Eingangsgewichtungen und die Verbindungsziele der addierenden und subtrahierenden Ausgänge sind in Fig. 8 für drei Neuronen veranschaulicht.
Im allgemeinen existiert bei einem neuralen Netzwerkmodell manchmal der Fall, daß dann, wenn Synapsengewichtungen gemäß einem vorgegebenen Algorithmus immer weiter verändert werden, diese jeweils auf bestimmte Werte konvergieren. Ein derartiger Vorgang wird im allgemeinen als "Lernen" bezeichnet.
Für den Lernalgorithmus wurden verschiedene Verfahren vorgeschlagen. In jedem Fall müssen jedoch die Synapsengewichtungen verändert werden.
Das Dokument US-A-3,476,954 offenbart eine Schaltung zum Aufbauen eines neuralen Netzwerkmodelss mit den Merkmalen im Oberbegriff von Anspruch 1.
Bei der oben genannten bekannten Technik sind die Synapsengewichtungen durch Widerstände wiedergegeben und Korrekturen der Synapsengewichtungen erfordern eine Änderung der Widerstände. Daher müssen dann, wenn die Schaltung eine integrierte Schaltung ist, alle Prozesse ab dem Layout des IC wiederholt werden, so daß eine Änderung gelernter Inhalte schwierig wird.
Es ist eine Aufgabe der Erfindung, eine Schaltung zum Aufbauen eines neuralen Netzwerkmodells zu schaffen, in der Synapsengewichtungen leicht bei Bedarf geändert werden können, und die einen Neuronenschaltkreis mittels eines monolithischen IC realisieren kann.
Die Erfindung löst diese Aufgabe mittels der in Anspruch 1 IC definierten Schaltung.
Gemäß diesem Aufbau wird eine Synapse durch einen Stromschalter und eine Stromquellenschaltung ausgedrückt, wobei die Stärke des Stroms, wie er mittels jeder Stromquellenschaltung im Stromschalter fließt, einer Synapsengewichtung entspricht, wobei diese Stromstärke extern eingestellt werden kann. Daher können die Synapsengewichtungen leicht durch von außen angelegte Spannungen oder dergleichen verändert werden.
Außerdem wird die Stärke des Gesamtstroms aller geregelten Stromquellen, die die Synapsengewichtungen gewähren, durch eine andere, gesondert vorhandene, geregelte Stromquelle konstant gehalten, so daß dann, wenn die Stromstärken einiger geregelter Stromquellen durch die externen Spannungen zu erhöhen sind, die Ströme der restlichen geregelten Stromquellen in unvermeidlicher Weise abnehmen. Da die Ströme der jeweiligen geregelten Stromquellen die Synapsengewichtungen ausdrücken, ist gemäß der Erfindung die Beschränkung auferlegt, daß die Summe der Synapsengewichtungen konstant ist.
Das letztere Merkmal ist von Interesse, da dann, wenn ein Lernvorgang eines neuralen Netzwerkmodells der Beschränkung so unterworfen wird, daß die Summe, oder die Summe der Quadrate, der Gewichtungen der mit einem Neuron verbundenen Synapsen konstant ist, das Lernergebnis manchmal verbessert ist. Während dies aus Computersimulationen verwendenden Forschungen bekannt war, wurde der Effekt durch die oben genannte bekannte Schaltung nicht berücksichtigt.

Kurze Beschreibung der Zeichnungen

Fig. 1(a) ist ein Diagramm, das einen Überblick über eine integrierte Halbleiterschaltung gemäß einem Ausführungsbeispiel der Erfindung gibt; Fig. 1(b) ist ein Fig. 1(a) entsprechendes Symboldiagramm; Fig. 1(c) ist ein Diagramm, das Einzelheiten einer Synapsenschaltung in Fig. 1(a) zeigt; Fig. 1(d) ist ein Kurvenbild, das ein Beispiel für die Sättigungsfunktion f(Pi) der Synapsenschaltung bezüglich eines Eingangssignals Pi derselben zeigt; und Fig. 1(e) ist ein Diagramm, das eine Schaltung zum Realisieren der Charakteristik von Fig. 1(d) zeigt;
Fig. 2 ist ein Diagramm, das die Anordnung eines geregelten Stromquellenteils in der erfindungsgemäßen Synapsenschaltung zeigt;
Fig. 3 ist ein Diagramm, das eine andere Anordnung der erfindungsgemäßen Synapsenschaltung zeigt;
Fig. 4 ist ein Diagramm, das den geregelten Stromquellenteil der Synapsenschaltung von Fig. 3 zeigt;
Fig. 5 ist ein Diagramm, das eine andere erfindungsgemäße integrierte Halbleiterschaltung zeigt;
Fig. 6(a) ist ein Modelldiagramm einer in Fig. 5 dargestellten Synapsenschaltung; Fig. 6(b) ist ein Symboldiagramm eines neuralen Netzwerks, das die integrierte Halbleiterschaltung von Fig. 5 verwendet; und Fig. 6(c) ist ein Symbolschaltbild für das neurale Netzwerk von Fig. 6(b);
Fig. 7(a) ist ein Symboldiagramm eines Neurons, während Fig. 7(b) ein Kurvenbild ist, das die Eingangs/Ausgangs-Beziehung des Neurons zeigt; und
Fig. 8 ist ein Diagramm, das ein Hopfield-Modell aus dem Stand der Technik zeigt.

Beschreibung der bevorzugten Ausführungsbeispiele

Nun werden Ausführungsbeispiele der Erfindung im einzelnen unter Bezugnahme auf die Zeichnungen beschrieben.
Fig. 1(a) ist ein Blockdiagramm einer integrierten Halbleiterschaltung (Neuron), das ein Ausführungsbeispiel der Erfindung zeigt.
In Fig. 1(a) bezeichnen Symbole 2-1 und 2-2 Synapsenschaltungen, von denen jede n Synapsen enthält. Die mit der +-Seite (nichtinvertierender Eingangsanschluß) eines Differenzverstärkers 11 verbundene Schaltung 2-1 ist eine erregende Synapsenschaltung, während die mit der --Seite (invertierender Eingangsanschluß) verbundene Schaltung 2-2 eine hemmende Syxiapsenschaltung ist. Außerdem ist Fig. 1(b) ein Diagramm, durch das Fig. 1(a) symbolisch wiedergegeben ist. Teile P&sub1;-Pn und P&sub1;'-Pn', wie sie in den einzelnen Synapsenschaltungen 2 vorhanden sind, sind Eingangsanschlüsse, mit denen externe Eingänge bzw. Ausgänge eines anderen Neurons verbunden sind. Hierbei kennzeichnen die Eingangsanschlüsse Wn solche, die erregenden Synapsen mit Gewichtungen W&sub1;- Wn zugeordnet sind, während die Eingangsanschlüsse P&sub1;'-Pn' solche bezeichnen, die hemmenden Synapsen mit Gewichtungen W&sub1;'-Wn' zugeordnet sind.
Fig. 1(c) ist ein Diagramm, das Einzelheiten der Synapsenschaltung 2-1 oder 2-2 zeigt. Gemäß dieser Figur ist jeder Eingang mit der Basis des Transistores Qi2 eines Stromschalters verbunden, der aus einem Paar Transistoren Qi1 und Qi2 (i = 1 - n) besteht. Die anderen Eingänge (die Basisanschlüsse der Transistoren Qi1) derartiger Stromschalter werden alle mit einer festen Spannung VBB versorgt. Außerdem sind die Emitter jedes Paars Transistoren Qi1 und Qi2 gemeinsam mit dem Kollektor eines Transistors Qsi verbunden, der den gepaarten Transistoren vorgeschaltet ist. Der Transistor Qsi und ein diesem Transistor vorgeschalteter Widerstand r arbeiten als geregelte Stromquelle. D.h., daß ein Strom Ii mit einem bestimmten festgelegten Wert, der dem Basispotential Wi des Transistors Qsi entspricht, durch diesen Transistor Qsi fließt.
Wenn der i-te Eingang Pi ausreichend größer als die Spannung VBB geworden ist, fließt der dem Potential W&sub1; entsprechende Strom Ii von einem Widerstand R über den Transistor Qi2 an einen Spannungsanschluß VEE. Demgegenüber fließt, wenn der Eingang Pi ausreichend kleiner als die Spannung VBB geworden ist, der Strom Ii von einem Punkt GND (Masse) über den Transistor Qi1 zum Anschluß VEE. Außerdem fließt, wenn der Eingang i nahe an der Spannung VBB liegt, ein Strom, dessen Wert proportional zur Größe des Eingangssignals Pi ist, durch den Widerstand R.
Der Widerstand R ist mit allen Stromschaltern verbunden, so daß dann, wenn Ströme auf Grundlage der mehreren Eingangssignale Pi gleichzeitig fließen, der Summenstrom derselben durch den Widerstand R fließt. D.h., daß das Folgende gilt, wenn mit Vo das Ausgangssignal der Synapsenschaltung 2 bezeichnet wird:
In der vorstehenden Formel bezeichnet Pi* eine Variable, die dann "1" wird, wenn die Eingangsspannung am Anschluß Pi aus reichend größer als die Spannung VBB ist, die "0" wird, wenn die erstere ausreichend kleiner als die letztere ist, und die einen Wert zwischen "1" und "0" proportional zur Eingangsspannung einnimmt, wenn die erstere nahe bei der letzteren liegt. Eine Funktion f(Pi), die die Variable Pi* ergibt, ist in Fig. 1(d) dargestellt, und sie verfügt über eine Form ähnlich derjenigen der Funktion in Fig. 7(b), und die zugehörigen Einzelheiten sind durch die Eigenschaften jedes Paars von Transistoren bestimmt. Beispielsweise sind, wie es in Fig. 1(e) veranschaulicht ist, Widerstände rd in die Emitterkopplungsteile jedes Paars von Transistoren Qi1 und Qi2 (i = 1 - n), die den Stromschalter aufbauen, eingefügt, und ihre Widerstandswerte werden verändert. Dann kann ein geradliniger Bereich, der Eingangsspannungswerten nahe der Spannung VBB entspricht, in der in Fig. 1(d) dargestellten Charakteristik verbreitert oder verschmälert werden. Wenn die verwendeten Widerstände rd solche sind, wie z.B. Pinch-Widerstände, deren Widerstandswerte durch eine Spannung Vd verändert werden können, kann die Sättigungsfunktion f(Pi) (in Fig. 1(d)), die auf den Eingang ausgeübt wird, während des Betriebs der Schaltung dynamisch variiert werden.
Außerdem bezeichnet Ii in der Gleichung (1) die Stärke des Stroms, der durch den i-ten Stromschalter gesteuert wird. Diese Stärke entspricht dem Basispotential Wi des Transistors Qsi in der i-ten geregelten Stromquelle. Wenn hier angenommen wird, daß die Potentiale Wi den Synapsengewichtungen entsprechen, kann das Ausgangssignal Vo in der Gleichung (1) so betrachtet werden, als würde es die Summe der Produkte zwischen den Synapsengewichtungen und den Eingangssignalen angeben.
Schließlich werden die Summenwerte der Produkte zwischen den Synapsengewichtungen und den Eingangssignalen jeweils durch die erregenden und hemmenden Synapsenschaltungen erzeugt und sie werden jeweils als nichtinvertierende und invertierende Eingangssignale des Differenzverstärkers 11 verwendet, so daß das Ausgangssignal dieses Differenzverstärkers 11 proportional zur Differenz zwischen den zwei Eingangssignalen ist. Demgemäß wird die Summe der Produkte zwischen den Gewichtungen und den Eingangssignalen an allen Synapsenknoten erhalten. Anschließend wird dieses Ausgangssignal an die Synapsenschaltung eines anderen Neurons gegeben und der in Fig. 1(d) dargestellten Funktion unterworfen. Daher arbeitet die Schaltung in Fig. 1(a) als ein Neuron.
Wenn ein Neuron durch einen derartigen Aufbau wiedergegeben wird, sind die Synapsengewichtungen Wi durch die Potentiale ausgedrückt, die von außen an die Basisanschlüsse der Transistoren Qsi innerhalb der Synapsenschaltungen 2 gelegt werden, und die Gewichtungswerte können leicht geändert werden.
Das zweite Ausführungsbeispiel der Erfindung ist dergestalt, daß die geregelte Stromquellengruppe 3 in der Synapsenschaltung 2 des vorstehend beschriebenen ersten Ausführungsbeispiels durch eine MNOS-Transistoren(Metall-Nitrid-Oxid-Halbleiter-Transistoren, d.h. MOS-Transistoren mit jeweils einem potentialungebundenen Gate) verwendende Anordnung ersetzt ist, wie es in Fig. 2 dargestellt ist.
Dem Gate des MNOS-Transistors wird für eine der Synapsengewichtung Wi (i = 1 - n) entsprechende Zeitperiode eine Impulsspannung aufgeprägt. Ein Drainstrom ID, der durch den MNOS-Transistor fließt, steigt im wesentlichen proportional zur Dauer der dem Gate aufgeprägten Impulsspannung an. Darüber hinaus bleibt, wenn der Strom ID einmal durch das Aufprägen des Impulses eingestellt wurde, dieser auf konstantem Wert, bis anschließend erneut ein Impuls aufgeprägt wird.
Demgemäß sind zwar beim ersten Ausführungsbeispiel einige Kunstgriffe außerhalb der Anordnung 3 der Anzahl von Synapsen erforderlich, um die Gewichtungswerte Wi konstant zu halten, jedoch sind solche beim zweiten Ausführungsbeispiel nicht erforderlich, was den Effekt mit sich bringt, daß die Anordnung der gesamten Schaltung vereinfacht werden kann.
Fig. 3 zeigt das dritte Ausführungsbeispiel der Erfindung. Der Unterschiedspunkt gegenüber dem ersten Ausführungsbeispiel ist der, daß der Gesamtstrom, für dessen Fließen die geregelte Stromquellenanordnung der Synapsenschaltung sorgt, durch eine gesondert vorhandene, geregelte Stromquellenschaltung I konstant gehalten wird. Demgemäß fließen bei der Synapsenschaltung des dritten Ausführungsbeispiels Ströme Ii mit den Gewichtungen Wi (i = 1 - n) entsprechenden Werten durch die jeweiligen Stromschalter, jedoch wird deren Summe immer konstant gehalten. Anders gesagt, wird die Summe der Gewichtung Wi ohne Fehlschlag konstantgehalten.
Das vierte Ausführungsbeispiel der Erfindung besteht darin, daß der Teil der geregelten Stromquellen-Transistoranordnung 3 in der in Fig. 3 dargestellten Synapsenschaltung 2 durch eine Anordnung von Transistoren ersetzt ist, wie sie in Fig. 4 dargestellt ist, deren Basispotentiale gemeinsam sind und deren Emitterflächen jeweils entsprechend den Stärken der Ströme, die fließen sollen, verändert sind. Bei diesem Ausführungsbeispiel sind die Stärken der den Synapsengewichtungen entsprechenden geregelten Ströme jeweils durch die Emitterflächen der einzelnen geregelten Stromquellentransistoren betimmt. Demgemäß ist es unmöglich, die geregelten Stromstärken entsprechend den Synapsengewichtungen von außen und frei zu ändern, wie beim ersten bis dritten Ausführungsbeispiel, sondern die Gewichtungen werden durch ein Muster beim Herstellungsprozeß bestimmt. Jedoch hat dieses Ausführungsbeispiel Verdienste hinsichtlich der Punkte der Größe und der Kosten der Vorrichtung, und beide Typen werden zweckmäßigerweise abhängig vom Anwendungsfall verwendet.
Übrigens sind beim dritten und vierten Ausführungsbeispiel, wie sie in den Fig. 3 bzw. 4 dargestellt sind, die Widerstände r, wie sie in Fig. 1(c) dargestellt sind, nicht mit den Emittern der die geregelten Stromquellenanordnungen bildenden Transistoren verbunden. Es ist jedoch zu beachten, daß ziemlich ähnliche Vorgänge selbst dann ablaufen, wenn die Widerstände r angeschlossen sind.
Fig. 5 ist ein Anordnungsdiagramm einer integrierten Halbleiterschaltung (Neuron), das das fünfte Ausführungsbeispiel der Erfindung zeigt.
In Fig. 5 kennzeichnet die Zahl 2 (Symbol 2-1 oder 2-2) eine Synapse, an die eine oder mehrere andere Synapsen über eine gemeinsame Additionsleitung für die +-Seite oder die --Seite angeschlossen sind. Die Additionsleitung für die +-Seite führt die Addition einer erregenden Synapse aus, während die Additionsleitung der --Seite die Addition einer hemmenden Synapse ausführt. Teile A&sub1; - A&sub8; oder B&sub1; - B&sub8;, die in der Einzelsynapse 2-1 oder 2-2 vorhanden sind, sind Eingangsanschlüsse, mit denen jeweils andere Neuronenausgänge verbunden werden. Hierbei sind die Eingangsanschlüsse A&sub1; - A&sub8; solche einer erregenden Synapse, während die Anschlüsse B&sub1; - B&sub8; solche einer hemmenden Synapse sind. Die aus Stromschaltern, von denen jeder Wierstände R, 2R und p-n-p-Transistoren enthält, aufgebaute Synapse 2 ist ein D/A-Umsetzer von 4 Bits, der eine Stromvergleichsschaltung 11 mit 16 Stromwerten abhängig von den Stärken der Spannungen an den Anschlüssen A&sub1; - A&sub8; oder B&sub1; - B&sub8; bezogen auf eine Versorgungsspannung VBB versorgt. D.h., daß das Folgende gilt, wenn mit 10 der Wert des Ausgangsstroms einer einzelnen Synapse bezeichnet wird:
In der vorstehenden Formel bezeichnen A&sub1;* - A&sub8;* Variable, die "1" werden, wenn die Eingangsspannungen an den Anschlüssen A&sub1; - A&sub8; von einem anderen Neuron jeweils größer als die Spannung VBB sind, und die "0" werden, wenn sie jeweils kleiner sind.
Die Stromvergleichsschaltung 11 besteht aus einem Spannungskomparator 111 und Widerständen r, und sie verfügt über Kno-20 ten gemäß einem invertierenden Eingang (-) und einem nichtinvertierenden Eingang (+). Sie gibt ein Ausgangssignal mit hoher Spannung ("H") aus, wenn der Strom am nichtinvertierenden Eingang größer als der am invertierenden Eingang ist, und sie gibt ein Ausgangssignal mit niedriger Spannung ("L") aus, wenn der Strom am nichtinvertierenden Eingang kleiner als der am invertierenden Eingang ist. Übrigens ist die Spannung H ausreichend größer als die Versorgungspannung VBB eingestellt, während die Spannung L ausreichend kleiner als die Spannung VBB eingestellt ist.
Wenn andere Neuronenausgänge mit der Synapse verbunden werden, werden sie mit geeigneter Kombination der Eingangsanschlüsse A&sub1; - A&sub8; oder B&sub1; - B&sub8; angeschlossen, wodurch gewünschte unter den 16 Gewichtungen ausgewählt werden können.
Darüber hinaus können derartige Synapseschaltungen, da das Ausgangssignal einer solchen Synapseschaltung ein Strom ist, für eine erhöhte Anzahl von Synapsen einfach in Reihe geschaltet werden.
Die Fig. 6(a) - 6(c) veranschaulichen ein Modell für die Synapsen und das Neuron, wie sie in Fig. 5 dargestellt sind.
Die Fig. 6(a) ist ein Modelldiagramm, das die Synapsenschaltung 2 in Fig. 5 in vereinfachter Form zeigt. Die Zahlen 8, 4, 2 und 1 bezeichnen die Eingangsanschlüsse A&sub8;, A&sub4;, A&sub2; bzw. A&sub1;, und das Symbol IOUT bezeichnet den Ausgangsstrom der Synapse.
Außerdem ist Fig. 6(b) ein Symboldiagramm, das ein Beispiel für ein die Neuronschaltung von Fig. 5 verwendendes neurales Netzwerk zeigt, und hier sind zwei Neuronen verwendet. Die den Synapsen in der Figur angefügten Zahlenwerte kennzeichnen die Absolutwerte der Gewichtungen der entsprechenden Synapse.
Das erste Neuron empfängt ein erregendes Eingangssignal mit der Gewichtung 5 von einem anderen Neuron (In1) und eines mit der Gewichtung 10 von noch einem anderen Neuron (In2), und es empfängt ferner ein hemmendes Eingangssignal mit der Gewichtung -12 vom zweiten Neuron. Andererseits empfängt das zweite Neuron von einem anderen Neuron (In3) ein erregendes Eingangssignal mit der Gewichtung 9, und es empfängt von einem anderen Neuron (In4) ein hemmendes Eingangssignal mit der Gewichtung -3 sowie eines mit der Gewichtung -8 vom ersten Neuron. Jeweilige Ausgangssignale OUT1 und OUT2 vom ersten bzw. zweiten Neuron werden an andere Neuronen geliefert.
Fig. 6(c) ist ein Verbindungsschaltbild, bei dem das neurale Netzwerk im Symboldiagramm der Fig. 6(b) mittels des symbols in Fig. 6(a) wiedergegeben ist.
Zunächst ist ein gemeinsamer Stromknoten, an dem die erste und zweite Synapse in Reihe geschaltet sind, mit dem (+) Anschluß des ersten Neurons verbunden, und ein Stromknoten, an den die dritte Synapse angeschlossen ist, ist mit dessen (-) Anschluß verbunden. Die Ausgänge des anderen Neurons In1 sind mit den Anschlüssen A&sub1; und A&sub4; der ersten Synapse verbunden, wodurch eine (+) Spannung entsprechend der Gewichtung 1 + 4 = 5 eingegeben wird; die Ausgänge des anderen Neurons In2 sind mit den Anschlüssen A&sub2; und A&sub8; verbunden, wodurch eine (+) Spannung gemäß der Gewichtung 2 + 8 = 10 eingegeben wird. Außerdem sind die Ausgänge des zweiten Neurons mit den Anschlüssen A&sub4; und A&sub8; der dritten Synapse verbunden, wodurch eine (-) Spannung entsprechend der Gewichtung 4 + 8 = 12 eingegeben wird.
Andererseits ist ein gemeinsamer Stromknoten, an dem die erste und zweite Synapse in Reihe geschaltet sind, mit dem (-) Anschluß des zweiten Neurons verbunden, und ein Stromknoten, mit dem die dritte Synapse verbunden ist, ist mit dessen (+) Anschluß verbunden. Der Ausgang des ersten Neurons ist mit dem Anschluß A&sub8; der ersten Synapse verbunden, wodurch eine (-) Spannung entsprechend der Gewichtung 8 eingegeben wird, und die Ausgänge des anderen Neurons In4 sind mit den Anschlüssen A&sub1; und A&sub2; der zweiten Synapse verbunden, wodurch eine (-) Spannung entsprechend der Gewichtung 1 + 2 = 3 eingegeben wird. Außerdem sind die Ausgänge des anderen Neurons In3 mit den Anschlüssen A&sub1; und A&sub8; der dritten Synapse verbunden, wodurch eine (+) Spannung entsprechend der Gewichtung 1 + 8 = 9 eingegeben wird.
Übrigens ist jede der Synapseschaltungen in Fig. 5 mittels einer Stromschalterstufe aufgebaut, die die Widerstände R, 2R und die p-n-p-Transistoren verwendet. Selbstverständlich können jedoch andere Schaltungen auf ganz ähnliche Weise verwendet werden, solange ein D/A-Umsetzer vom Stromausgangstyp vorliegt.
Ferner ist zwar die Anzahl der Eingangsanschlüse der Synapse vier, d.h., daß die Gewichtung in Fig. 5 und in den Fig. 6(a) - 6(c) durch 4 Bits ausgedrückt ist, jedoch kann die Anzahl von Bits nach Belieben festgelegt werden.
Auf diese Weise können bei diesem Ausführungsbeispiel, wenn ein neurales Netzwerkmodell mit einer integrierten Halbleiterschaltung aufzubauen ist, die Gewichtungen der im Modell verwendeten Synapsen mit einem Vorgang ähnlich dem bei einem Gatearray korrigiert werden.
Wie vorstehend beschrieben, können, gemäß der Erfindung, den Synapsengewichtungen entsprechende Stromstärken leicht durch extern angelegte Spannungen verändert werden, wodurch es möglich ist, eine Neuronenschaltung aufzubauen, deren Lerninhalt leicht geändert werden kann und die für einen monolithischen IC geeignet ist.
Darüber hinaus wird die Summe der den Synapsengewichtungen entsprechenden Stromstärken durch eine andere regulierte Stromquelle konstant gehalten, wodurch es möglich ist, eine Neuronenschaltung aufzubauen, bei der die Summe der Synapsengewichtungen ohne Fehlschlag konstantgehalten wird.

Claims

1. Schaltung zum Aufbau eines neuralen Netzwerksmodells, umfassend einen Differenzverstärker (11) mit einer Ausgangsklemme und zwei Differenz-Eingangsklemmen, einen an die nicht-invertierende Eingangsklemme des Differenzverstärkers (11) angeschlossenen Erregungs-Synapsenschaltkreis (2-1) und einen an die invertierende Eingangsklemme des Differenzverstärkers (11) angeschlossenen Hemmungs-Synapsenschaltkreis (2-2),

dadurch gekennzeichnet,

daß die Schaltung zum Aufbau eines neuralen Netzwerksmodells von einer integrierten Halbleiterschaltung gebildet ist,

daß sowohl der Erregungs- als auch der Hemmungs-Synapsenschaltkreis mehrere Stromschalter (Qi1, Qi2), eine geregelte Stromquellengruppe (3), die aus geregelten Stromquellen-Schaltkreisen (Qsi, r) konfiguriert ist, deren Anzahl gleich der der Stromschalter (Qi1, Qi2) ist und die Werte von die Stromschalter durchsetzenden Strömen bestimmen, sowie einen mit sämtlichen Stromschaltern verbundenen Lastwiderstand (R) aufweist,

wobei Anschlüsse (Pi) jedes Synapsenschaltkreises (2) von Anschlüssen gebildet sind, die die betreffenden Stromschalter (Qi1, Qi2) "ein"- und "aus"-schalten und mit denen externe Eingänge oder Ausgänge einer weiteren Schaltung verbunden sind, und

wobei die geregelten Stromquellen-Schaltkreise (Qsi, r) Stromwerte haben, die sich jeweils unabhängig voneinander durch extern angelegte Spannungen ändern lassen.

2. Schaltung nach Anspruch 1, wobei der geregelte Stromquellen-Schaltkreis MOS-Transistoren (Qsi) mit einem potentialfreien Gate und einen Widerstand (r) aufweist, und wobei dem potentialfreien Gate des MOS-Transistors eine Impulsspannung zur Steuerung des Stromwertes aufgeprägt ist, den der geregelte Stromquellen-Schaltkreis fließen läßt.

3. Schaltung nach Anspruch 1 oder 2, wobei in der geregelten Stromquellengruppe (3) ein Summenstrom, den sämtliche darin enthaltenen geregelten Stromquellen-Schaltkreise (Qsi) fließen lassen, durch eine einzelne, separat vorgesehene geregelte Stromquelle (Vee) konstant gehalten ist.

4. Schaltung nach einem der Ansprüche 1 bis 3, wobei die geregelte Stromquellengruppe (3) mehrere Transistoren (Qsi) aufweist, deren Emitterbereiche sich entsprechend den Stromwerten unterscheiden, die die jeweiligen Stromquellen fließen lassen.

5. Schaltung nach einem der Ansprüche 1 bis 4, wobei jede Stromquelle ein Paar von Transistoren (Qi1, Qi2) sowie mit den Emittern der jeweiligen Transistoren in Serie geschaltete Widerstände (rd) aufweisen, und wobei die Widerstände aus solchen Widerständen, etwa Pinch-Widerständen, aufgebaut sind, deren Widerstandswerte sich durch eine externe Spannung (Vd) oder dergleichen ändern lassen.

6. Schaltung nach einem der Ansprüche 1 bis 5, wobei das Signal von der Ausgangsklemme des Differenzverstärkers (11) nicht mit einer Sättigungscharakteristik, die Eingangsklemmen (Pi) der Synapsenschaltkreise (2-1, 2-2) dagegen mit Sättigungscharakteristik versehen sind.