DE4215179A1

DE4215179A1 - Prozessor und verarbeitendes element zum gebrauch in einem neural- oder nervennetzwerk

Info

Publication number: DE4215179A1
Application number: DE4215179A
Authority: DE
Inventors: George E Mobus
Original assignee: MOBUS GEORG E; Caterpillar Inc
Current assignee: MOBUS GEORG E; Caterpillar Inc
Priority date: 1991-05-08
Filing date: 1992-05-08
Publication date: 1992-11-12
Also published as: JPH05265999A; JP3369213B2; US5504839A

Description

Die Erfindung bezieht sich allgemein auf Nerven- oder Neural netzwerke und inbesondere auf einen Prozessor zum Aufbau künstlicher Neuronen. Das Interesse an den informations verarbeitenden Fähigkeiten des Gehirns besteht seit dem späten 19. Jahrhundert. Jedoch haben erst in letzer Zeit künstliche auf Neuronen basierende Netzwerke die Fähigkeiten erlangt, um wirklich nützlich zu sein. Beispielsweise finden künstliche Neuralnetzwerke Verwendungen in Sicht- und Spracherkennungs systemen, in der Signalverarbeitung und der Roboteranwendung.

Die Forschung und Entwicklung von Neuralnetzwerken hat sich aus Versuchen entwickelt, die Vorgänge und Funktionen des Gehirns nachzubilden. Daher hat vieles der Terminologie biologische Ursprünge.

Die Basiskomponente eines Neuralnetzwerkes ist ein Neuron. Ein Neuron kann als ein gewichteter Addierer angesehen werden. Ein Neuron hat eine Anzahl von Eingängen. Jede Eingangsgröße wird mit einem Gewichtungswert multipliziert und die Produkte werden addiert. Die Wichtungen können positiv (anregend) sein oder negativ (hemmend) sein. Die Ausgabe des Neurons ist eine Funk tion der Summe der Produkte.

Ein (einziges) neurales Netzwerk ist bekannt als das Einzelschicht- oder Einzelebenennetzwerk. Einzelschichtnetzwerke sind zweckmäßig zum Lösen linear trennbarer Probleme. Eine Anwendung eines Einzelschichtnetz werks ist die Mustererkennung.

Im einfachsten Fall ist jedes Neuron ausgestaltet zum Identi fizieren eines spezifischen Musters in den Eingangssignalen.

Jedes Neuron des Netzwerks hat die gleichen Eingaben. Die Ausgabe jedes Neurons ist entweder ein "Treffer" ("Hit") oder ein "verfehlt" ("miss"). Die Summe der Produkte für jedes Neuron wird mit einem Schwellenwert verglichen. Wenn die Summe eines Neurons größer ist als der Schwellenwert, dann hat es dieses Muster erkannt und signalisiert einen "Treffer". Die Anzahl der Ausgaben des Netzwerks ist gleich der Anzahl von Mustern, die erkannt werden sollen, und daher der Anzahl von Neuronen. Nur ein Neuron wird gleichzeitig einen "Treffer" signalisieren (wenn sein Muster in den Eingaben erscheint).

In einem komplexeren Fall ist die Ausgabe des Neurons nicht ein "Treffer" oder "verfehlt". Es ist vielmehr ein abgestufter Skalenwert, der anzeigt, wie nahe das Eingabemuster an dem Neuronenmuster ist.

Für schwierigere Probleme wird ein mehrschichtiges Netzwerk benötigt.

Die Wichtungen eines Neurons können entweder fest oder anpaßbar sein. Anpaßbare Wichtungen machen ein Neuralnetzwerk flexibler. Anpaßbare Wichtungen werden durch Lerngesetze oder -regeln modifiziert. Die meisten Lerngesetze basieren auf Assozia tivität. Ausgehend von einer Lernregel, die von Donald O. Hebb 1949 vorgeschlagen wurde (Hebb′s Regel), hat die Lerntheorie allgemein angenommen, daß die Essenz der Lernphänomene eine Assoziation zwischen zwei oder mehr Signalen einbezieht. In Hebb′s Regel beispielsweise wird die mit einer Eingabe asso zierte Wichtung vergrößert, wenn sowohl die Eingabeleitung wie die Ausgabeleitung gleichzeitig aktiv sind. Es gab viele Va riationen zu diesem Thema, aber so oder so leiten sich die meisten der neuralen Lernregeln von dieser Basis her.

In neuerer Zeit haben sich andere Lerngesetze mit assoziativen Regeln beschäftigt, die auf gleichzeitigen Eingangssignalen basieren. Bei dieser Betrachtungsweise wird die Wichtung eines Eingangs erhöht, wenn dieser Eingang und ein bestimmter Nach bareingang beide innerhalb eines beschränkten Zeitfensters aktiv sind.

Es ist nun allgemein anerkannt, daß es beispielsweise in der aktiven Mustererkennung und -klassifizierung die Korrelation zwischen mehrfachen Eingangssignalen bzw. Eingangssignalen und Ausgangssignalen ist, die den adaptiven Mapping-Mechanismus bildet. Jedes System, das "lernen" würde, ein Muster zu er kennen und/oder ein eine Kategorie einzuteilen, muß diese Korrelationen verschlüsseln oder kodieren. Daher wurde die meiste, wenn nicht gar alle Arbeit auf einen auf Assoziation basierenden Mechanismus gerichtet.

Jedoch hat sich jede dieser Lernregeln als begrenzend heraus gestellt. Jede Regel funktioniert gut für eine gegebene spezi fische Art oder Gruppe von Problemen, aber keine davon hat sich bisher als ausreichend allgemein oder anpassungsfähig (adaptiv) herausgestellt, um für das breite Spektrum von Problemen auf diesem Gebiet angewendet zu werden.

Das Wort adaptiv ist der Schlüssel. Adaptation oder adaptives Ansprechen (adaptive response AR) ist der Vorgang des Verän derns des Ansprechens des Netzwerks, um die Anforderungen der neuen Bedingungen zu erfüllen.

In einem biologischen System werden solche Veränderungen nicht auf die erste Erfahrung einer Veränderung hin durchgeführt. Vielmehr muß die Veränderung oft und/oder über einen langen Zeitrahmen hinweg auftreten, bevor der Organismus sich einer wesentlichen Veränderung unterzieht. Biologische Systeme neigen dazu, in dieser Beziehung sehr konservativ zu sein.

Die Entwicklung von Muskelgewebe in einen Athleten oder Sport ler liefert ein gutes Beispiel dieses Aspekts von adaptivem Ansprechen. Betrachten wir einen Möchtegern-Gewichtsheber, der gerade mit diesem Sport anfängt.

Nach einer Woche üben, kann er fähig sein, beträchtlich mehr Gewicht zu heben, als er am Anfang konnte. Man bemerke, daß die Art von Übung periodisch ist mit langen Intervallen (im Ver gleich zu der Zeit der Übung selbst) zwischen Episoden. Kurz fristig behält der Körper zwischen Episoden die Erinnerung der physischen Anforderung, die an die Muskeln gestellt wurde.

Diese Erinnerung verstärkt sich mit der Fortsetzung der Übung. Wenn der Gewichtheber eine Woche weitermacht, wird er bemerken, daß das Heben desselben Gewichts am Ende dieser Woche etwas leichter sein wird als am Beginn.

Wenn er mit dem Training einen Monat fortfährt, wird er finden, daß er noch mehr Gewicht heben kann mit der gleichen scheinba ren Anstrengung, die benötigt war für weniger Gewicht in den Anfangstagen.

Fortgesetztes regelmäßiges Training wird zu physischen Verän derungen in der Muskulatur führen. Muskelpakete werden anschwellen, wenn neues Gewebe aufgebaut wird, um die fortgesetzten Anforderungen erfüllen zu helfen. Eine Art Langzeitgedächtnis wird sich ergeben, wodurch dieses neue Gewebe für einige Zeit vorhanden bleiben wird, auch wenn das Training für eine Weile aufgegeben wurde.

Warum produziert der Körper dieses neue Gewebe nicht bei der ersten oder sogar der zweiten Anforderungepisode? Der Grund dafür ist, daß biologische Gewebe sich entwickelt haben, um der stochastischen Natur der Umwelt zu begegnen. Sie sind inhärent (von Natur aus) konservativ und halten nur die Menge von An sprechvermögen aufrecht, wie es "normalerweise" notwendig ist, um das tägliche Leben zu meistern. Nur nachdem der Körper wie derholt den neuem Anforderungsniveau ausgesetzt wurde, spricht er durch Erzeugen von neuer Muskelfaser an.

Was geschieht mit dem Atheleten, der mit dem Training nachläßt? Bis zu einem gewissen Punkt hängt dies davon ab, wielange er trainiert hat. Wenn er nach einer Woche aufhört, dann wird er ungefähr innerhalb einer weiteren Woche zu seiner Fähigkeit vor dem Training zurückgekehrt sein. Wenn er jedoch nach 6 Monaten Training aufhört, kann es viele Monate dauern, bis die neue Kapazität zurück auf das Niveau vor dem Training schwindet. Sollte der Athlet ein Trainingsprogramm innerhalb mehrerer Monate nach dem Aufhören wiederaufnehmen, ist es in der Tat wahr scheinlich, daß er seine Spitzenleistung in einer relativ kurzen Zeit verglichen mit dem Anfangsprozeß wiedergewinnt. Dies hat seinen Grund in der Langzeitgedächtniswirkung des adaptiven Ansprechens.

Tatsächlich zeigt das adaptive Ansprechen von biologischen Systemen, daß Lernen nicht streng genommen eine Korrelation zwischen zwei Signalen ist. Vielmehr ist eine allgemeinere Betrachtungsweise, daß Lernen auf dem Verschlüsseln von Information basiert, die in dem sich zeitlich verändernden Signal entlang eines einzelnen Eingangskanals innewohnt.

Die vorliegende Erfindung ist darauf gerichtet, einen Prozessor vorzusehen als einen Baustein eines Neuralnetzwerks, das auf diesem eher grundlegenden Lerngesetz basiert.

Gemäß einem Aspekt der vorliegenden Erfindung wird ein synap tischer Prozessor vorgesehen zum Erzeugen eines Ergebnissignals infolge eines Eingangssignals. Der synaptische Prozessor umfaßt erste und zweite Erwartungen (expectations). Der synaptische Prozessor modifiziert die erste Erwartung als eine Funktion des Eingangssignals und der zweiten Erwartung und modifiziert die zweite Erwartung als eine Funktion der ersten Erwartung. Das Ergebnissignal wird bestimmt infolge der ersten Erwartung.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Verarbeitungselement vorgesehen. Das Verarbeitungselement umfaßt einen synaptischen Eingabeprozessor zum Erzeugen eines Ergebnissignals infolge eines Eingangssignals. Der synaptische Eingangsprozessor umfaßt erste und zweite Erwartungen. Der synaptische Prozessor modifiziert die erste Erwartung als eine Funktion des Eingangssignals und der zweiten Erwartung und modifiziert die zweite Erwartung als eine Funktion der ersten Erwartung. Das Ergebnissignal wird bestimmt infolge der ersten Erwartung. Das Verarbeitungselement erzeugt ein Ausgabesignal infolge des Ergebnissignals und eines Schwellensignals.

Fig. 1 ist ein Blockdiagramm eines synaptischen Prozessors oder einer Adaptrode;

Fig. 2 ist eine schematische Darstellung der Eingabeerwar tungsmodifikationsmittel des synaptischen Prozessors in Fig. 1;

Fig. 3 ist eine schematische Darstellung der ergebnissignal erzeugenden Mittel des synaptischen Prozessors von Fig. 1;

Fig. 4 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit linearer Verstärkung auf ein Eingabesignal mit einer hohen Eingangserwartung zeigt;

Fig. 5 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit linearer Verstärkung auf ein Eingabesignal mit einer Adaptrode mit einer niedrigen Eingabeerwartung zeigt;

Fig. 6 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit nicht-linearer Verstärkung auf ein Eingabesignal mit hoher Intensität und von kurzer Dauer zeigt;

Fig. 7 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit nicht-linearer Verstärkung auf ein Eingabesignal mit hoher Intensität und von mittlerer Dauer zeigt;

Fig. 8 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit nicht-linearer Verstärkung auf ein Eingabesignal mit hoher Intensität und von langer Dauer zeigt;

Fig. 9 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit nicht-linearer Verstärkung auf ein sättigendes Eingabesignal zeigt;

Fig. 10 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit nicht linearer Verstärkung auf ein stochastisches Eingabesignal zeigt;

Fig. 11 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene und mit nicht-linearer Verstärkung auf ein sequentielles Eingabesignal zeigt;

Fig. 12 ist eine graphische Darstellung, die das Ansprechen der Eingaberwartung einer Adaptrode mit einer einzigen Ebene mit linearer Verstärkung auf ein Eingabesignal mit hoher Intensität und von kurzer Dauer zeigt;

Fig. 13 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene mit mit linearer Verstärkung auf ein Eingabesignal mit hoher Intenität und von mittlerer Dauer zeigt;

Fig. 14 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene mit linearer Verstärkung auf ein Eingabesignal mit hoher Intensität und von langer Dauer zeigt,

Fig. 15 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene mit linearer Verstärkung auf ein sättigendes Eingabesignal zeigt;

Fig. 16 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene mit linearer Verstärkung auf ein stochastisches Eingabesignal zeigt;

Fig. 17 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartung einer Adaptrode mit einer einzigen Ebene mit linearer Verstärkung auf ein sequentielles Eingabesignal zeigt;

Fig. 18 ist ein Blockdiagramm eines synaptischen Prozessors oder Adaptrode mit mehreren Ebenen;

Fig. 19 ist eine graphische Darstellung des synaptischen Pro zessors mit mehreren Ebenen von Fig. 18;

Fig. 20 ist eine graphische Darstellung eines synaptischen Pro zessors mit mehreren Ebenen, der eine Durchlaß- oder Torfunktion verwendet;

Fig. 21 ist eine schematische Darstellung der erwartungs modifizierenden Mittel eines synaptischen Prozessors mit drei Ebenen;

Fig. 22 ist eine schematische Darstellung der wirksammachungs signalerzeugenden Mittel von Fig. 18;

Fig. 23 ist eine schematische Darstellung der Hürdenzeichen quelle von Fig. 22;

Fig. 24 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-liearen Verstärkungen auf ein Eingabesignal von hoher Intensität und kurzer Dauer zeigt;

Fig. 25 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein Eingabesignal von hoher Intensität und mittlerer Dauer zeigt;

Fig. 26 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein Eingabesignal von hoher Intensität und langer Dauer zeigt;

Fig. 27 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein sättigendes Eingabesignal von hoher Intensität zeigt;

Fig. 28 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein stochastisches Eingabesignal zeigt;

Fig. 29 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein sequentielles Eingabesignal zeigt;

Fig. 30 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein Eingabesignal von hoher Intensität und kurzer Dauer zeigt, wobei die zweite Erwartung mit einem Tor oder Gate versehen ist;

Fig. 31 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und nicht linearen Verstärkungen auf ein Eingabesignal von hoher Intensität und mittlerer Dauer zeigt, wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 32 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein Eingabesignal von hoher Intensität und langer Dauer zeigt, wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 33 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein sättigendes Eingabesignal von hoher Intensität zeigt, wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 34 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linearen Verstärkungen auf ein stochastisches Eingabesignal zeigt, wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 35 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen und mit nicht-linaren Verstärkungen auf ein sequentielles Eingabesignal zeigt, wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 36 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein Eingabesignal von hoher Intensität und von kurzer Dauer zeigt, wobei die erste Erwartung eine lineare Verstärkung hat;

Fig. 37 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein Eingabesignal von hoher Intensität und mittlerer Dauer zeigt, wobei die erste Erwartung eine lineare Verstärkung hat;

Fig. 38 ist eine graphische Darstellung, die das Ansprechen der Eingabeerwartungen einer Adaptrode mit drei Ebenen auf ein Eingabesignal von hoher Intensität und langer Dauer zeigt, wobei die erste Erwartung eine lineare Verstärkung hat;

Fig. 39 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein sättigendes Eingabesignal von hoher Intensität zeigt, wobei die erste Erwartung eine lineare Verstärkung hat;

Fig. 40 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein stochastisches Eingabesignal zeigt, wobei die erste Erwartung eine lineare Verstärkung hat;

Fig. 41 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein sequentielles Eingabesignal zeigt, wobei die erste Erwartung eine lineare Verstärkung hat;

Fig. 42 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein Eingabesignal von hoher Intensität und kurzer Dauer zeigt, wobei die erste Erwartung eine lineare Verstärkung hat und wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 43 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein Eingabesignal von hoher Intensität und mittlere Dauer zeigt, wobei die erste Erwartung eine lineare Verstärkung hat und wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 44 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein Eingabesignal von hoher Intensität und langer Dauer zeigt, wobei die erste Erwartung eine lineare Verstärkung hat und wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 45 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein sättigendes Eingabesignal von hoher Intensität zeigt, wobei die erste Erwartung eine lineare Verstärkung hat und wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 46 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein stochastisches Eingabesignal zeigt, wobei die erste Erwartung eine lineare Verstärkung hat und wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 47 ist eine graphische Darstellung, die das Ansprechen der Erwartungen einer Adaptrode mit drei Ebenen auf ein sequentieles Eingabesignal zeigt, wobei die erste Erwartung eine lineare Verstärkung, und wobei die zweite Erwartung mit einem Gate versehen ist;

Fig. 48 ist ein Blockdiagramm eines Verarbeitungselements mit einer Eingabeadaptrodenanordnung, einen Addier- und Ausgabeprozessor und einem Schwellenprozessor;

Fig. 49 ist eine graphische Darstellung des Addier-und Ausgabeprozessors von Fig. 48;

Fig. 50 ist eine schematische Darstellung des Multiplika tionsgitters von Fig. 49;

Fig. 51 ist eine schematische Darstellung des Schwellen prozessors von Fig. 48;

Fig. 52 ist eine graphische Darstellung von zwei synaptischen Prozessoren, wobei die Ausgabe des einen verwendet wird als Gate für den anderen;

Fig. 53 ist eine Legende für Fig. 58-64;

Fig. 54 ist ein Blockdiagramm eines assoziativen Netzwerks mit zwei Neuristoren, das die Assoziation bei konditioniertem Ansprechen zeigt;

Fig. 55 ist ein Blockdiagramm des Netzwerks von Fig. 54, in dem ein bedingter Reiz oder Stimulus assoziert worden ist mit einem nicht-bedingten Stimulus/Ansprechen;

Fig. 56 ist ein Blockdiagramm des Netzwerks von Fig. 55 nach einer Periode ohne Stimulus;

Fig. 57 ist ein Blockdiagramm des Netzwerks, das die bedingte Stimulus/Ansprech-Assoziation von Fig. 56 zeigt;

Fig. 58 ist ein Blockdiagramm des Netzwerks von Fig. 57, das die Wirkung eines gegenteiligen, nicht bedingten Stimulus zeigt;

Fig. 59 ist ein Blockdiagramm des Netzwerks von Fig. 58, das die Wirkung einer nachfolgenden zeitweise bedingten Stimulus/Ansprech-Assoziation zeigt; und

Fig. 60 ist ein Blockdiagramm des Netzwerks von Fig. 63, das die Langzeitassoziation zwischen dem bedingten Ansprechen und dem ersten nicht-bedingten Stimulus zeigt.

Beste Art zum Ausführen der Erfindung

Bezüglich Fig. 1 ist ein Ausführungsbeispiel eines synaptischen Prozessors 102 oder eine Adaptrode mit einer einzigen Ebene zur Verwendung in einem Neuralnetzwerk gezeigt.

Es sei darauf hingewiesen, daß ein Teil dieser Anmeldung durch Urheberrecht (Copyright) geschütztes Material enthält.

Herkömmlicherweise wurden Neuralnetzwerke ausgeführt unter Verwendung eines weiten Bereichs von Technologien. Diese Tech nologien können analog oder digital sein. Die tatsächliche Um setzung verändert sich mit der Anwendung, basierend beispiels weise auf der Netzwerkkomplexität. Während Analogschaltungen eine kostengünstige, aber schnelle Anwendung vorsehen, werden größere Netzwerke beschwerlich und einige Genauigkeit geht verloren. Komplexere Netzwerke werden allgemein auf All zweckcomputern oder speziell entworfener Hardware ausgeführt. Aus diesem Grund ist es praktisch, die vorliegende Erfindung mathematisch zu beschreiben. Es sei jedoch bemerkt, daß die vorliegende Erfindung nicht auf eine solche mathematische Ausführung oder sogar auf eine anloge oder digitale Ausführung beschränkt ist.

Der synaptische Prozessor 102 empfängt ein Eingabesignal X und erzeugt ein Ergebnissignal r. Das Ergebnissignal ist eine Funktion einer Eingangserwartung W⁰, wie unten beschrieben.

In Teilen der folgenden Diskussion wird eine Unterscheidung gemacht zwischen einem kontinuierlichen System und einem dis kreten System. In einem kontinuierlichen System werden die Systemparameter kontinuierlich auf den neuesten Stand gebracht und werden als kontinuierlich variabel bezeichnet. In einem diskreten System werden die Systemparameter in diskreten Zeitintervallen, typischerweise als Δt bezeichnet, auf den neuesten Stand gebracht.

Ferner wird der Ausdruck Intensität wie in hoher Intensität oder mittlerer Intensität bei der Beschreibung des Eingabe signals verwendet. Beispielsweise besteht in einem diskreten System, in dem das Eingabesignal als eine Serie von Pulsen mit einer eingestellten Breite gebildet wird, ein Eingabesignal von hoher Intensität hauptsächlich aus Pulsen. Die Adaptrode 102 mit einer Ebene umfaßt Mittel 104 zur Anfangseinstellung (Initialisierung) der Eingabeerwartung. Die Eingabeerwartung W⁰ ist begrenzt durch eine Maximalerwartung W^M und eine Gleichgewichtserwartung W^E. In einem Ausführungsbeispiel ist der Eingabeerwartung W⁰ der Anfangswert gleich W^E, typischerweise Null (0) gegeben.

Ein Mittel 106 empfängt das Eingabesignal und ermittelt eine Größe des Eingabesignals. Die Größe des Eingabesignals ist abhängig von der genauen Beschaffenheit des Signals. Beispielsweise kann das Eingabesignal in einem kontinuierlichen System eine sich ändernde Frequenz haben. Das Eingabesignal kann auch eine sich ändernde kontinuierliche Spannung oder Strom haben. Wenn das Neuralnetzwerk digital ausgeführt wird, ist das Eingabesignal ein logischer Pegel niedrig (0) oder ein logischer Pegel hoch (nicht-Null).

Mittel oder eine Prozeßeinheit 108 modifiziert die Einga beerwartung W⁰. Die Mittel 108 errechnen eine Nettomodifikation für die Eingabeerwartung. Die Nettomodifikation wird zu der vorherigen Eigabeerwartung addiert, um eine neue Eingabeer wartung zu bilden. Die Nettomodifikation hat einen Vergröße rungsterm und einen Verkleinerungsterm. Der Vergrößerungsterm neigt zum Vergrößern der Eingabeerwartung und der Verkleine rungsterm neigt zum Verkleinern der Eingabeerwartung. Der Nettoeffekt der beiden Terme hängt von ihrer relativen Größe ab.

Die Eingabeerwartung W⁰ stellt die gegenwärtige Erwartung der Adaptrode bezüglich der Intensität des Eingabesignals dar. Die Adaptrode adaptiert oder lernt von dem Eingabesignal. Das heißt, die Adaptrode behält eine Erinnerung über die Einga beerwartung seiner Vergangenheit. Seine Erwartung des zukünf tigen Eingabesignals basiert auf dieser Vergangenheit.

Der Vergrößerungsterm ist eine Funktion des Eingabesignals und neigt dazu, die Eingabeerwartung "hochzuziehen". Der Verklei nerungsterm ist keine Funktion des Eingabesignals und versieht die Adaptrode mit einer eingebauten Voreinstellung, und zwar zu erwarten, daß sie auf lange Sicht ein schwaches Signal empfangen wird.

In einem Ausführungsbeispiel ist der Vergrößerungsterm eine Funktion des Eingabesignals, und der Verkleinerungsterm ist unabhängig von dem Eingabesignal. In einem anderen Ausfüh rungsbeispiel ist der Vergrößerungsterm eine Funktion einer Steigkonstanten α⁰ und der Verkleinerungsterm ist eine Funktion einer Abfallkonstanten δ⁰. Ferner sind die Steig- und Ab fallkonstanten unabhängig. In einem weiteren Ausführungs beispiel ist der Vergrößerungsterm eine Funktion von nur einem Eingabesignal.

In einem ersten Ausführungsbeispiel wird die Eingabeerwartung folgendermaßen modifiziert:

W⁰ = W⁰_p + X · α⁰ · [W^M - W⁰_p] - δ⁰ · [W⁰_p - W^E] (Gl. 1)

wobei

W⁰ = die neue Eingabeerwartung,
W⁰_p = die vorherige Eingabeerwartung,
X = das Eingabesignal,
α⁰ = die Steigkonstante,
W^M = die Maximalerwartung,
δ⁰ = eine Abfallkonstante, und
W^E = die Gleichgewichtserwartung

ist.

Im ersten Ausführungsbeispiel ist der Vergrößerungsterm eine nicht-lineare Funktion. Daher sagt man, daß eine Adaptrode mit einer Ebene entsprechend dem ersten Ausführungsbeispiel eine nicht-lineare Verstärkung hat.

In einem zweiten Ausführungsbeispiel wird die Eingabeerwartung folgendermaßen modifiziert:

W⁰ = W⁰_p + X · α⁰ - δ⁰ · [W⁰_p - W^E] (Gl. 2)

In dem zweiten Ausführungsbeispiel ist der Vergrößerungsterm eine lineare Funktion. Daher sagt man, daß die Adaptrode gemäß dem zweiten Ausführungsbeispiel eine lineare Verstärkung hat. Ferner ist die Eingabeerwartung W⁰ nicht ausdrücklich auf einen Maximalwert begrenzt. Jedoch hat eine Simulation gezeigt, daß Gleichung 2 einen maximalen Stetigzustandsgleichgewichtswert erreicht, wenn ein kontinuierliches Eingabesignal über eine geeignete Zeitperiode vorhanden ist. Der exakte Maximalwert ist eine Funktion der Gleichungsparameter, der Intensität des Ein gabesignals und der Größe des Eingabesignals.

Sowohl in linearen wie nicht-linearen Verstärkungsmodellen sind die Ratenkonstanten so eingestellt, daß die Abfallrate über einen längeren Zeitrahmen besteht als die Steigrate. Das heißt, α⁰ ist größer als δ⁰. Bezüglich Fig. 2 umfassen die eingabe- erwartungsmodifizierenden Mittel 108 Mittel 202 zum Bestim men des Vergrößerungsterms und Mittel 204 zum Bestimmen des Verkleinerungsterms.

Aus Gleichung 1 ist der Vergrößerungsterm:

X · α⁰ · [W^M - W⁰_p].

In dem bevorzugten Ausführungsbeispiel ist der Vergröße rungsterm positiv und wird zur Eingabeerwartung addiert. Die den Vergrößerungsterm bestimmenden Mittel 202 umfassen einen Verzögerungsblock 206 zum Erzeugen einer verzögerten oder vorherigen Eingabeerwartung W⁰ _p. Die verzögerte Eingabeer wartung (W⁰ _p) wird von der maximalen Erwartung WM durch einen ersten Addierer (Summierer) 208 abgezogen. Ein erster Multiplizierer 210 multipliziert die Ausgabe des ersten Addierers 208 mit der Steigkonstante α⁰.

In ähnlicher Weise ist der Verkleinerungsterm in Gleichung 1 definiert als:

δ⁰ · [W⁰_p - W^E].

In dem bevorzugten Ausführungsbeispiel ist der Verkleine rungsterm positiv und wird von der Eingabeerwartung abgezogen. Die den Verkleinerungsterm bestimmenden Mittel 204 umfassen einen zweiten Addierer 212 zum Abziehen der Gleichgewichts erwartung von der verzögerten Eingabeerwartung. Ein zweiter Multiplizierer 214 multipliziert die Ausgabe des zweiten Addierers 212 mit der Abfall- oder Verfallkonstanten δ⁰. Ein dritter Multiplizierer 216 multipliziert die Ausgabe des ersten Multiplizierers 210 mit dem Eingabesignal X. Ein dritter Addierer 218 addiert die Ausgabe des dritten Multiplizierers 216 und zieht die Ausgabe des zweiten Multiplizierers 214 von der verzögerten Eingabeerwartung ab, um die neue Eingabeerwartung W⁰ zu bilden.

Mit Bezug wieder auf Fig. 1 erzeugt ein Mittel 110 ein Er gebnissignal r als eine Funktion der Eingabeerwartung W⁰. In einem Ausführungsbeispiel ist das Ergebnissignal eine lineare Funktion der Eingabeerwartung.

In einem weiteren Ausführungsbeispiel ist das Ergebnissignal eine nicht-lineare Funktion der Eingabeerwartung. Zum Beispiel ist in einem kontinuierlichen System:

r = K · W⁰ e^- ^λτ (Gl. 3A)

wobei

r = das Ergebnissignal,
k = eine erste Konstante,
W⁰ = die Eingabeerwartung,
λ = eine zweite Konstante, und
τ = ein vorbestimmtes Zeitdifferential

ist.

Das Zeitdifferential τ wird bestimmt als die laufende Zeit minus der Zeit, bei der die Größe des Eingabesignals nicht-Null geworden ist. In einem weiteren Beispiel ist für ein diskretes System:

r(t) = k · W⁰,

wenn X < 0, oder anderenfalls

r(t) = r(t-Δt) - λ · r(t-Δ t) (Gl. 3B)

wobei

r = das Ergebnissignal,
k = eine erste Konstante,
W⁰ = die Eingangserwartung, und
λ = eine zweite Konstante

ist.

Mit Bezug auf Fig. 3 sind die Ergebnissignal-erzeugenden Mittel 110 zum Umsetzen der Gleichung 3B gezeigt. Die Mittel 110 um fassen einen vierten Multiplizierer 302 zum Multiplizieren der Eingangserwartung W⁰ mit einer Konstanten k. Ein zweiter Ver zögerungsblock 303 gibt das Ergebnissignal an einen fünften Multiplizierer 304 und einen vierten Addierer 306 weiter. Der fünfte Multiplizierer 304 multipliziert das verzögerte Ergeb nissignal mit einer Konstanten. Der vierte Addierer 306 zieht die Ausgabe des fünften Multiplizierers 304 von dem verzögerten Ergebnissignal ab. Der Entscheidungsblock 308 vergleicht das Eingabesignal X mit einer Schwelle (zum Beispiel Null). Wenn das Eingabesignal größer ist die Schwelle, wird die Ausgabe des vierten Multiplizierers 302 durch den Steuerblock 310 weitergegeben. Anderenfalls wird die Ausgabe des vierten Addierers 306 weitergegeben.

Um gewisse Betriebszustände der Adaptrode 102 zu verdeutlichen, wird eine graphische Darstellung der Adaptrode 102 verwendet. Bezüglich der Fig. 4 und 5 wird ein Eingabesignal X an die Eingabeerwartung-modifizierenden Mittel 108 angelegt. Die Ver größerungs- und Verkleinerungsterme werden bestimmt und zum Bestimmen der neuen Eingabeerwartung verwendet. Die Ergebnis signal-erzeugenden Mittel 110 (Ansprecheinheit) bestimmen das Ergebnissignal als eine Funktion der Eingabeerwartung.

Die Adaptrode 102 von Fig. 4 hat eine hohe Eingabeerwartung, wie durch den Balken 402 verdeutlicht wird. Im Gegensatz dazu hat der Balken 502 der Adaptrode 102 von Fig. 5 eine relativ geringe Eingabeerwartung. Ähnliche Darstellungen werden in der gesamten folgenden Diskussion verwendet, um wichtige Merkmale der vorliegenden Erfindung zu verdeutlichen.

Mit Bezug auf die Fig. 6 bis 11 ist die Eingabeerwartung W⁰ einer Adaptrode 102 mit einer einzigen Ebene und nicht-linearer Verstärkung gezeigt für eine Anzahl von unterschiedlichen Ein gabesignalen. In jedem Beispiel sind die Steigkonstante α⁰ und die Verfallkonstante δ⁰ 0,25 bzw. 0,125. Es sei bemerkt, daß diese Konstanten nur zu Zwecken der Darstellung gewählt wurden. Die maximale Erwartung W^M ist auf eins gestellt, und die Gleichgewichtserwartung W^E ist auf Null gestellt. Mit der Eingabeerwartung wird bei Null begonnen. Ferner hat das Ein gabesignal eine Größe von 1,0.

Die graphischen Darstellungen, die in der folgenden Diskussion verwendet werden, stellen das Ansprechen der Eingabeerwartungs- modifizierenden Mittel 108 für ein diskretes System dar. Das heißt, die Eingabeerwartung wird in diskreten Zeitintervallen von δt modifiziert. Für eine Adaptrode 102 mit einer einzigen Ebene und nicht-linearer Verstärkung wird die Eingabeerwartung bestimmt durch:

W⁰(t) = W⁰ (t-Δt) + X(t) · α⁰ · [W^M-W⁰ (t-Δt)] - δ⁰ · [W⁰ (t-Δt) - W^E]. (Gl. 4A)

Mit Bezug auf die Fig. 6-17 und 24-47 ist das Eingabesignal eine Reihe von Pulsen von konstanter Breite und Größe. Das Eingabesignal wird bei jeder Darstellung unten als ein Balken gezeigt. Der Balken zeigt an, daß das Eingabesignal nicht Null ist. Es sei bemerkt, daß, wähend die Darstellungen in Fig. 6-17 und 24-47 auf diskreten Daten basieren, die Daten durch ein Liniendiagramm dargestellt werden. Das Liniendiagramm ist be sonders zweckmäßig bei der Untersuchung der Ansprecheigen schaften der Adaptrode.

In Fig. 6 ist zur Zeit t=0 das Eingabesignal gleich Null und die Eingabeerwartung ist auch Null. Zur Zeit t=5 ist das Eingabesignal nicht-Null und hat eine Größe von 1,0. Die Ein gabe bleibt nicht-Null bis t=9.

Wie gezeigt ist, während die Eingabe nicht-Null ist, der Vergrößerungsterm größer als der Verkleinerungsterm, und die Eingabeerwartung steigt exponentiell an. Nachdem das Eingabesignal wieder Null wird, fällt die Eingabeerwartung ab zu der Gleichgewichtserwartung W^E hin.

In Fig. 7 wird ein Eingabesignal von mittlerer Dauer an die Adaptrode angelegt. Wie gezeigt, wird ein Eingabesignal mit einer Größe von 1,0 zur Zeit t=5 angelegt und wird wieder Null bei t=14. Es sei bemerkt, daß die Nettomodifikation tatsächlich abnimmt, obwohl die Eingabeerwartung über die Zeitsperiode zunimmt, während der das Eingabesignal nicht Null ist. Dies wird der Tatsache zugeschrieben, daß der Vergröße rungsterm eine Funktion der Differenz zwischen der Maximaler wartung und der gegenwärtigen Erwartung ist und wegen den größer werdenden Wirkungen des Verkleinerungsterms.

Diese Wirkung wird weiter in Fig. 8 gezeigt, in der ein Eingabesignal von hoher Intensität und langer Dauer an die Adaptrode angelegt wird. Die Eingabeerwartung scheint sich einem bestimmten Wert anzunähern.

Wie in Fig. 9 gezeigt, erreicht die Eingabeerwartung in der Tat bei einem Eingabesignal von maximaler Intensität und konstanter Größe einen Sättigungspunkt oder Stetigzustands- oder Gleichgewichtswert. In dieser Situation gleichen der Vergrößerungsterm und der Verkleinerungsterm einander aus und die Nettomodifikation ist Null.

In Fig. 10 wurde, wie gezeigt, ein stochastisches oder Zu fallseingabesignal an die Adaptrode 102 angelegt. Wenn das Eingabesignal nicht-Null ist, läßt der Vergrößerungsterm die Nettomodifikation positiv werden, und wenn das Eingabesignal Null ist, läßt der Verkleinerungsterm die Nettomodifikation negativ werden.

In Fig. 11 wurde ein sequentielles Eingabesignal an die Adaptrode angelegt. Das heißt, daß das Eingabesignal nicht-Null ist für eine erste kurze Zeitperiode oder Zeitspanne (5 t 10), Null ist für eine zweite Zeitspanne (11 t 24) und dann nicht Null ist für eine dritte Zeitspanne (25 t 29). Die sich ergebende Eingabeerwartung zeigt die Lernfähigkeit der Einzelebenenadaptrode. Während der ersten und zweiten Zeitspanne steigt und fällt die Eingabeerwartung wie erwartet und oben beschrieben. Bei t=25 wird das Eingabesignal nicht- Null und die Eingabeerwartung beginnt wieder zu steigen. Jedoch steigt sie ausgehend von ihrem laufenden oder gegenwärtigen Wert.

Die Steig- und Verfallkonstanten werden die Art der Ver größerungs- und Verkleinerungsraten der Eingabeerwartung beeinflussen. Wenn beispielsweise die Steig- und Verfall konstanten eine ähnliche Größe haben, werden die Vergrößerungs- und Verkleinerungsraten der Eingabeerwartung ähnlich sein. Wenn andererseits die Verfallkonstante relativ gesehen viel kleiner ist als die Steigkonstante (δ⁰ « α⁰) wird die Adaptrode "schnell" lernen und langsam "vergessen".

Mit Bezug auf die Fig. 12-17 ist die Eingabeerwartung W⁰ einer Adaptrode 102 mit einer einzigen Ebene und mit linearer Ver stärkung gezeigt für eine Anzahl verschiedener Eingabesignale. In jedem Beispiel sind die Steigkonstante α⁰ und die Verfall konstante δ⁰ 4,0 bzw. 0,125. Die Gleichgewichtserwartung W^E ist auf Null gesetzt und die Eingabeerwartung beginnt bei Null.

Die Fig. 12-17 stellen das Ansprechen der die Eingabeerwartung modifizierenden Mittel für ein diskretes System dar. Daher wird die Eingabeerwartung für eine Adaptrode mit einer einzigen Ebene und mit linearer Verstärkung bestimmt durch:

W⁰(t) = W⁰ (t-Δt) + X(t) · α⁰ - δ⁰ · [W⁰ (t-Δt) - W^E]. (Gl. 4B)

In Fig. 12 wird ein Eingabesignal von hoher Intensität und kurzer Dauer an die Einzelebenenadaptrode 102 angelegt. In Fig. 13 und 14 wird ein Eingabesignal von hoher Intensität und mittlerer bzw. langer Dauer an die Adaptrode 102 angelegt. Es sei jedoch bemerkt, daß obwohl der Vergrößerungsterm als eine lineare Funktion definiert ist, die Eingabeerwartung wegen des Verkleinerungsterms keine lineare Funktion ist.

In Fig. 15 wird ein Eingabesignal von maximaler Intensität und mit einer konstanten Größe (1,0) an die Einzelebenenadaptrode 102 angelegt. Wie bei der Adaptrode 102 mit einer einzigen Ebene und mit nicht-linearer Verstärkung erreicht auch die Eingabeerwartung der Adaptrode mit einer einzigen Ebene und linearer Verstärkung einen Gleichgewichtswert. Man bemerke jedoch, daß die Eingabeerwartung W⁰ durch Gleichung 4 nicht auf einen Maximalwert beschränkt ist. Vielmehr ist der Gleich gewichtswert eine Funktion der Adaptrodenparameter, der In tensität des Eingabesignals und der Größe des Eingabesignals. Für eine gegebene Adaptrode würde der Gleichgewichtswert eine Maximalerwartung erreichen, wenn ein Eingabesignal von maxi maler Intensität und maximaler Größe für eine geeignete Dauer angelegt wird.

In Fig. 16 wird ein stochastisches Eingabesignal an die Ein zelebenenadaptrode 102 angelegt. In Fig. 17 wird ein sequen tielles Eingabesignal an die Einzelebenenadaptrode angelegt. Beide Diagramme verdeutlichen, daß die Einzelebenenadaptrode mit einer linearen Verstärkung eine ähnliche Lernfähigkeit hat wie die Adaptrode mit nicht-linearer Verstärkung.

Diese Beispiele zeigen die "Lern" (Steig-)- und "Vergessens" (Verfall-)-Aspekte der Einzelebenenadaptrode. Ferner können, da die Steig- und Verfallkonstanten unabhängig sind, die "Lern"- und "Vergessens"-Aspekte jeder Adaptrode unabhängig eingestellt werden. Das heißt, beide können schnell sein, beide können langsam sein, oder jegliche Kombination gemäß der gewünschten Eigenschaften.

Die Adaptrode mit einer einzigen Ebene zeigt Erinnerungsfä higkeiten in einer Zeitdomäne oder -bereich. Durch Gestatten von Veränderungen der Gleichgewichtserwartung (für die Eingabeerwartung) besteht die von der Adaptrode gezeigte Erinnerungsfähigkeit in mehrfachen Zeitdomänen. Solch eine Adaptrode wird Adaptrode mit mehreren Ebenen oder Mehrebenenadaptrode genannt.

Mit Bezug auf Fig. 18 hat ein synaptischer Prozessor 1002 oder Mehrebenenadaptrode eine Vielzahl von Erwartungen. Die Erwar tungen werden allgemein durch W^l bezeichnet, wobei 0 l L ist.

Ein Mittel 1004 gibt den Erwartungen W^l Anfangswerte. Die Er wartungen werden durch eine Maximalerwartung W^M und eine Gleichgewichtserwartung W^E beschränkt. Allgemein haben die Er wartungen die Beziehungen:

W^M W⁰ W¹ W^L W^E.

Ein Mittel oder Prozeßeinheit 1006(l) modifiziert die Erwartung W^l. Die modifizierenden Mittel 1006(l) bestimmen eine Nettomo difikation und addieren die Nettomodifikation zu der Erwartung W^l. Die Nettomodifikation hat einen Vergrößerungsterm und einen Verkleinerungsterm. Allgemein ist der Vergrößerungsterm eine Funktion der vorhergehenden Erwartung W^l-1, wenn l 0. Wenn l = 0 ist, dann ist der Vergrößerungsterm eine Funktion der Ma ximalerwartung W^M. Der Verkleinerungsterm ist eine Funktion der folgenden Erwartung W^l+1, wenn l < L oder W^E, wenn l = L.

In einem ersten Ausführungsbeispiel ist die erste Erwartung W⁰ eine Funktion der Größe des Eingabesignals.

In einem zweiten Ausführungsbeispiel hat die erste Erwartung W⁰ eine lineare Verstärkung (wie oben beschrieben).

In einem dritten Ausführungsbeispiel hat die erste Erwartung W⁰ eine nicht-lineare Verstärkung (wie oben beschrieben).

In einem vierten Ausführungsbeispiel ist der Vergrößerungsterm jeder Erwartung W^l eine Funktion einer Steigkonstanten α^l und der Verkleinerungsterm ist eine Funktion einer Verfallkon stanten δ^l.

In einem fünften Ausführungsbeispiel ist der Vergrößerungsterm jeder weiteren Erwartung W^l (l < 0) eine Funktion der Differenz zwischen der vorhergehenden Erwartung W^l-1 und der gegen wärtigen Erwartung W^l.

In einem sechsten Ausführungsbeispiel ist der Verkleinerungs term jeder Erwartung W^l eine Funktion der Differenz zwischen der gegenwärtigen Erwartung W^l und der folgenden Erwartung W^l+1 oder eine Funktion der Differenz zwischen der gegenwärtigen Erwartung W^l und der Gleichgewichtserwartung W^E, wenn l = L.

In einem siebten Ausführungsbeispiel wird die erste Erwartung modifiziert gemäß:

W⁰ = W⁰ + X · α⁰ · [W^M-W⁰_p] - δ⁰ · [W⁰_p - W¹] (Gl. 5A)

wobei W⁰ _p die vorhergehende erste Erwartung ist.

In einem achten Ausführungsbeispiel wird die erste Erwartung modifiziert gemäß:

W⁰ = W⁰_p + X · α⁰ - δ⁰ · [W⁰_p - W¹] (Gl. 5B).

Jede weitere Erwartung (W^l für l < 0) wird modifiziert gemäß:

W^l = W^l _p + α^l · [W^l-1 - W^l _p] - δ^l · [W⁰_p-W^l+1] (Gl. 6)

wobei W^l _p die vorhergehende Erwartung ist, W^l+1 die Erwartung der nächsten Ebene ist, wenn l < L ist, oder die Gleichge wichtserwartung W^E ist, wenn l = L ist, und wobei W^l-1 die vorhergehende Erwartung ist.

Wie in der Einzelebenenadaptrode werden die Ratenkonstanten für jede Ebene typischerweise so eingestellt, daß die Verfallrate über einen längeren Zeitrahmen geht als die Anstiegsrate. Das heißt α^l < δ^l. Ferner wird in einer Mehrebenenadaptrode jede der Ratenkonstanten für jede Ebene (l) so eingestellt, daß die Anstiegs- und Verfallraten einer Ebene (l) über einen längeren Zeitrahmen gehen als die Anstiegs- und Verfallraten der vor hergehenden Ebene (l-1). Das heißt:

α⁰ α¹ α^l α^L und d⁰ δ¹ δ^l δ^L.

Mittel 1008 erzeugen das Ergebnissignal als eine Funktion der ersten Erwartung W⁰. Wie oben beschrieben, kann das Ergebnis signal eine lineare oder nicht-lineare Funktion der ersten Erwartung W⁰ sein.

Mit Bezug auf Fig. 19 ist die Mehrebenenadaptrode 1002 wie gezeigt graphisch dargestellt. Die graphische Darstellung zeigt mehrere wichtige Merkmale der Mehrebenenadaptrode 1002. Zum ersten ist die erste Erwartung W⁰ die einzige Erwartung, die direkt von dem Eingabesignal X beeinflußt wird. Zum zweiten ist das Ergebnissignal r nur eine Funktion der ersten Erwartung W⁰.

Auch ist die Größe der Balken 1102(l) ein Zeichen für die re lative Größe der entsprechenden Erwartung. Ferner zeigen die Pfeile an, daß jede Erwartung sowohl positiv (durch den Ver größerungsterm) als auch negativ (durch den Verkleinerungsterm) beeinflußt wird.

Mit Bezug wieder auf Fig. 18 umfaßt in einem weiteren Ausfüh rungsbeispiel die Mehrebenenadaptrode 1002 Mittel 1010 zum Empfang eines zweiten Eingabesignals H^l und zum entsprechenden Erzeugen eines Ermöglichungs- oder Potentationssignals P^l. Das Ermöglichungssignal wird mit einer der Erwartungen assoziiert für l < 0.

In einem ersten Ausführungsbeispiel geben die Initiiermittel 1004 einem Durchlaß- oder Torsignal g^l einen Anfangswert. Die das Ermöglichungssignal erzeugenden Mittel 1010 vergleichen das zweite Eingabesignal H^l mit dem Durchlaßsignal und erzeugen ansprechend darauf das Ermöglichungssignl P^l. Zum Beispiel kann in einem diskreten System P^l bestimmt werden durch:

p^l = 1, wenn H^l < g^l, oder andernfalls p^l = 0. (Gl. 7)

In einem durchgehenden System ist P^l eine Funktion der Differenz zwischen dem zweiten Eingabesignal H^l und dem Durchlaßsignal g^l.

In einem zweiten Ausführungsbeispiel wird das zweite Eingabe signal H^l bestimmt als eine Funktion der Summe aus einer Viel zahl von Wechselwirkungssignalen hⁿ, wobei N die Anzahl der Wechselwirkungssignale bezeichnet und wobei 0 n N ist. Die Wechselwirkungssignale werden weiter unten beschrieben.

In einem dritten Ausführungsbeispiel wird das Durchlaßsignal g^l verändert als eine Funktion eines Parameters der Adaptrode 1002. Beispielsweise kann das Durchlaßssignal eine Funktion von W⁰ oder von dem Ergebnissignal r sein.

Mit Bezug auf Fig. 20 hat in dem bevorzugten Ausführungsbei spiel jede Erwartung (außer l = 0) ein zugehöriges Durch laßssignal g^l. Wie gezeigt, beeinflußt die durch das Ermög lichungssignal P^l erreichte Ermöglichung nur den Vergröße rungsterm oder das "Lernen" der Erwartung. Der Verkleinerungs term oder das "Vergessen" wird nicht beeinflußt.

Daher wird Gleichung 6 für l < 0:

W^l = W^l _p + p^l · α^l · [W^l-1 - W^l _p] - δ^l · [W⁰_p - W^l+1] (Gl. 8)

wobei W^l+1 die nächste Erwartung ist, wenn l < L, und die Gleichgewichtserwartung W^E ist, wenn l = L.

Wenn in einem diskreten System P = 1 ist, sagt man, daß das Er möglichungssignal in einem "Erlaubnis"-Zustand ist, da Lernen gestattet ist. Wenn P = 0 ist, sagt man, daß das Ermöglichungs signal in einem "Verhinderungs"-Zustand ist, da Lernen nicht gestattet ist.

Mit Bezug auf Fig. 21 werden die erwartungsmodifizierenden Mittel 1006(0), 1006(1), 1006(2) für eine Mehrebenenadaptrode mit drei Erwartungen (L = 2) in weiterer Einzelheit gezeigt gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

Die ersten erwartungsmodifizierenden Mittel 1006(0) umfassen Mittel 1302(0) zum Bestimmen des Vergrößerungsterms und Mittel 1304(0) zum Bestimmen des Verkleinerungsterms der ersten Er wartung. Die Vergrößerungsterm-bestimmenden Mittel 1302(0) umfassen einen dritten Verzögerungsblock 1306, welcher eine verzögerte oder vorhergehende erste Erwartung W⁰ _p erzeugt. Die verzögerte erste Erwartung (W⁰ _p) wird von der maximalen Er wartung W^M durch einen fünften Addierer 1308 abgezogen. Ein sechster Multiplizierer 1310 multipliziert die Ausgabe des fünften Summierers 1308 mit einer ersten Steigkonstante α⁰.

Die Vergrößerungsterm-bestimmenden Mittel 1304(0) umfassen einen sechsten Addierer 1312 zum Abziehen der zweiten Erwartung W¹ von der verzögerten ersten Erwartung W⁰ _p. Ein siebter Mul tiplizierer 1314 multipliziert die Ausgabe des sechsten Addie rers 1312 mit einer ersten Verfallkonstante δ⁰.

Ein achter Multiplizierer 1316 multipliziert die Ausgabe des sechsten Multipliziers 1310 mit dem Eingabesignal X. Ein sieb ter Addierer 1318 addiert die Ausgabe des achten Multiplizie rers 1316 und zieht die Ausgabe des siebten Multiplizieres 1314 von der verzögerten ersten Erwartung ab, um die neue erste Erwartung W⁰ zu bilden.

Die zweiten Erwartungs-modifizierenden Mittel 1006(1) umfassen Mittel 1302(1) zum Bestimmen des Vergrößerungsterms, sowie Mittel 1304(1) zum Bestimmen des Verkleinerungsterms der zwei ten Erwartung. Die Vergrößerungsterm-bestimmenden Mittel 1302(1) umfassen einen vierten Verzögerungsblock 1320, der eine zweite verzögerte Erwartung W¹ _p erzeugt. Die Ermöglichungs-er zeugenden Mittel 1010(1) für die zweite Erwartung empfangen die erste Erwartung W⁰, die verzögerte zweite Erwartung W¹ _p und die Wechselwirkungssignale (interaction signals h^N1 (N bezieht sich auf die Anzahl von Signalen und 1 bezieht sich auf die Erwartungsebene) und erzeugt das Ermöglichungssignal P¹. Die Ermöglichungs-erzeugenden Mittel 1010 werden weiter unten erklärt. Das Ermöglichungssignal p¹ wird mit einer zweiten Steigkonstante α¹ durch einen neunten Multiplizierer 1322 multipliziert.

Die Verkleinerungsterm-bestimmenden Mittel 1304(1) für die zweite Erwartung umfassen einen achten Addierer 1324 zum ab ziehen der dritten Erwartung W² _p von der zweiten Erwartung W¹. Ein zehnter Multiplizierer 1326 multipliziert die Ausgabe des achten Addierers 1324 mit einer zweiten Verfallkonstante δ¹.

Ein neunter Addierer 1328 addiert die Ausgabe des neunten Multiplizierers 1322 und zieht die Ausgabe des zehnten Multi plizierers 1326 von der verzögerten zweiten Erwartung W¹ _p ab, um die neue zweite Erwartung W¹ zu bilden.

Die dritten Erwartungs-modifizierenden Mittel 1006(2) umfassen Mittel 1302(2) zum Bestimmen des Vergrößerungsterms, sowie Mittel 1304(2) zum Bestimmen des Verkleinerungsterms der drit ten Erwartung. Die Vergrößerungsterm-bestimmenden Mittel 1302(2) umfassen einen fünften Verzögerungsblock 1330, der eine verzögerte dritte Erwartung W² _p erzeugt. Die Ermöglichungs erzeugenden Mittel 1010(2) für die dritte Erwartung empfangen die zweite Erwartung W¹, die verzögerte dritte Erwartung W² _p und die Wechselwirkungssignale h^M2 (M bezieht sich auf die Anzahl von Signalen und 2 bezieht sich auf die Erwartungsebene) und erzeugen das Ermöglichungssignal P². Das Ermöglichungssignal P² wird mit einer dritten Steigkonstanten α² durch einen elften Multiplizierer 1332 multipliziert.

Die Verkleinerungsterm-bestimmenden Mittel 1304(2) für die dritte Erwartung umfassen einen zehnten Addierer 1334 zum Abziehen der Gleichgewichtserwartung WE von der dritten Erwartung W² _p. Ein zwölfter Multiplizierer 1336 multipliziert die Ausgabe des zehnten Addierers 1334 mit einer dritten Ver fallkonstante δ².

Ein elfter Addierer 1338 addiert die Ausgabe des elften Mul tiplizierers 1332 und zieht die Ausgabe des zehnten Multi plizierers 1336 von der verzögerten dritten Erwartung W² _p ab, um die neue dritte Erwartung W² zu bilden.

Mit Bezug auf Fig. 22 werden die Ermöglichungssignal erzeugenden Mittel 1010 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung weiter beschrieben. Die Ermöglichungs signal-erzeugenden Mittel 1010 umfassen einen multiplizierenden Balken 1402 und eine Hürdensignalquelle 1404. Wie in Fig. 23 gezeigt, umfaßt die Hürdensignalquelle 1404 eine Vielzahl von Multiplizierern 1502(n). Der multiplizierende Balken empfängt die Wechselwirkungssignale h^1..N und ein Signal (+1 oder -1) aus einem Register oder Tabelle 1504. In digitalen Darstel lungen kann die Multiplikation mit -1 durchgeführt werden unter Verwendung der Zweierkomplementdarstellung.

Zurückkehrend zu Fig. 22 werden die Ausgaben des Multiplizier balkens 1402 miteinander addiert durch einen zwölften Addierer 1406. Ein Addierer 1408 zieht das Torsignal g^l von der Ausgabe des zwölften Addierers 1406 ab. Die Ausgabe des Addierers 1408 ist mit einem ersten Bedingungsblock 1410 verbunden. Ein erster Entscheidungsblock 1412 empfängt die vorhergehende Erwartung W^l-1. Ein zweiter Entscheidungsblock 1414 empfängt den vor hergehenden Wert der gegenwärtigen Erwartung W^l _p. Ein Ent scheidungsblock wird die mit YES (JA) bezeichnete Eingabe weitergeben, wenn die Bedingung in den Bedingungsblock wahr ist. Wenn daher die Ausgabe des dreizehnten Multiplizierers 1408 größer als Null ist, werden die ersten unhd zweiten Bedingungsblöcke 1412, 1414 die vorhergehende Erwartung W^l-1 bzw. den vorigen Wert der gegenwärtigen Erwartung W^l _p. Die ersten und zweiten Entscheidungsblocks 1412, 1414 werden eine Null bzw. eine Eins weitergeben, wenn die Ausgabe des Addierers 1408 nicht größer als Null ist. Ein dreizehnter Addierer 1416 zieht die Ausgabe des zweiten Entscheidungsblocks 1414 von der Ausgabe des ersten Entscheidungsblocks 1412 ab.

Mit Bezug auf die Fig. 24-47 sind die Erwartungen W⁰, W¹, W² einer Adaptrode mit drei Ebenen und nicht-linearen Verstärkungen gezeigt für eine Anzahl von verschiedenen Eingangssignalen. In jedem Beispiel sind die erste Steigkonstante α⁰ und δ⁰ auf 0,25 bzw. 0,125 gesetzt. Die zweite Steigkonstante und die zweite Verfallkonstante α¹ und δ¹ sind 0,0625 bzw. 0,0312. Die dritte Steigkonstante und die dritte Verfallkonstante α² und δ² sind 0,156 bzw. 0,0078. Die Maximalerwartung W^M ist auf eins gesetzt und die Gleichgewichtserwartung W^E ist auf Null gesetzt. Die ersten, zweiten und dritten Erwartungen W⁰, W¹, W² beginnen bei Null.

Für eine Adaptrode mit drei Ebenen und nicht-linearer Ver stärkung in einem diskreten System wird die erste Erwartung bestimmt durch:

W⁰(t) = W⁰ (t-Δt) + X(t) · α⁰ · [W^M-W⁰ (t-Δt)] - δ⁰ · [W⁰ (t-Δt) - W¹ (t-Δt)] (Gl. 9A)

Die zweite Erwartung wird bestimmt durch:

W¹(t) = W¹ (t-Δt) + α¹ · [W⁰-W¹ (t-Δt)] - δ¹ · [W¹ (t-Δt) - W² (t-Δt)] (Gl. 9B)

Die dritte Erwartung wird bestimmt durch:

W²(t) = W² (t-Δt) + α² · [W¹-W² (t-Δt)] - δ² · [W² (t-Δt) - W^E] (Gl. 9C)

In Fig. 24 wird ein Eingangssignal von hoher Intensität und kurzer Dauer an die Adaptrode mit drei Ebenen angelegt. Die erste Erwartung W⁰ steigt an, während das Eingabesignal nicht Null ist, und es fällt ab, wenn das Eingabesignal Null ist. Beginnend mit der Zeit t=5, wenn das Eingabesignal nicht Null wird, beginnt auch die zweite Erwartung W¹ zu steigen. Jedoch ist der Vergrößerungsterm der zweiten Erwartung W¹ eine Funk tion der ersten Erwartung W⁰. Daher steigt die zweite Erwartung W¹ weiterhin an, nachdem das Eingabesignal Null wird wegen der ersten Erwartung W⁰. Tatsächlich wird, während die erste Er wartung größer ist als zweite Erwartung, der vergrößerte Term der zweiten Erwartung positiv sein. Es sei an dieser Stelle bemerkt, daß die Gleichgewichtserwartung der ersten Erwartung W⁰ für eine Mehrebenenadaptrode die folgende Erwartung, d. h. die zweite Erwartung W¹ ist. Die erste Erwartung ist daher mit ihrem unteren Ende durch die zweite Erwartung beschränkt.

In ähnlicher Weise ist der Vergrößerungsterm der dritten Er wartung eine Funktion der zweiten Erwartung. Wie in Fig. 24 gezeigt, steigt daher die dritte Erwartung weiter, während die zweite Erwartung groß genug ist, um die dritte Erwartung hoch zuziehen.

In den Fig. 25 und 26 wird ein Eingabesignal von hoher Inten sität und mittlerer bzw. langer Dauer an die Adaptrode mit drei Ebenen angelegt. Beide Diagramme zeigen, daß die zweite Erwar tung W¹ ansteigen wird, solange die erste Erwartung W⁰ groß genug ist, um den Vergrößerungsterm der zweiten Erwartung W¹ größer zu machen als den Verkleinerungsterm.

Die Diagramme zeigen auch die längerfristigen Erinnerungsfä higkeiten einer Mehrebenenadaptrode. Daher sind die zweiten und dritten Erwartungen aus unterschiedlichen Zeitdomänen. Das heißt, daß jede zusätzliche Ebene oder Erwartung einer Mehr ebenenadaptrode eine langsamere Ansprechzeit hat. Obwohl die erste Erwartung sich relativ schnell ändert infolge eines Eingabesignals, ist es durch die nachfolgenden Erwartungen gebunden.

Obwohl die erste Erwartung W⁰ gesättigt wird infolge eines kontinuierlichen Eingabesignals, wird die darauffolgende Erwar tung tatsächlich mit einer viel langsameren Rate steigen. Wie in Fig. 27 gezeigt, werden die zweiten und dritten Er wartungen W¹, W² weiterhin ansteigen, jedoch mit einer viel geringeren Rate, während die erste Eingabeerwartung gesättigt ist. Wenn das Eingabesignal schließlich wieder Null wird, wird die erste Erwartung anfangen abzufallen mit einer Rate, die durch den Verkleinerungsterm bestimmt wird. Jedoch wird sie durch die zweite Erwartung begrenzt sein. Die zweite Erwartung fällt mit einer viel langsameren Rate ab, so daß sie die erste Erwartung oben halten wird abhängig davon, wie lang die Dauer des Eingabesignals nicht-Null war und daher, wie hoch die zweite Erwartung getrieben wurde. In ähnlicher Weise wird die dritte Erwartung die zweite Erwartung hochhalten oder deren Verfall verhindern.

Für eine gegebene Erwartung (W¹) hat die darauffolgende Erwar tung (W^l-1) auch Auswirkungen auf die Verfallrate; dies wird durch Fig. 28 verdeutlicht, in der ein stochastisches Eingabe signal an eine Adaptrode mit drei Ebenen angelegt wird. Das Eingabesignal hat die Wirkung, das Niveau der ersten Erwartung W⁰ nach oben zu treiben. Die zweite Erwartung W¹ wird durch die erste Erwartung getrieben, und die dritte Erwartung wird durch die zweite Erwartung getrieben. Wenn das Eingabesignal Null ist, ist der Verkleinerungsterm der ersten Erwartung größer als der Vergrößerungsterm und daher ist die Nettomodifikation der ersten Erwartung negativ. Jedoch ist der Verkleinerungsterm der ersten Erwartung eine Funktion der Differenz zwischen der er sten Erwartung und der zweiten Erwartung. Wie gezeigt, ist daher die zweite Erwartung um so höher je niedriger die Ver fallrate für die erste Erwartung ist.

Dies wird deutlicher in Fig. 29 gezeigt, in der ein sequen tielles Eingabesignal an eine Adaptrode mit drei Ebenen an gelegt wird. In einer ersten Zeitperiode wird das Eingabesignal nicht-Null (1,0). Während einer zweiten Zeitspanne nimmt die erste Erwartung ab, und zwar mit einer Rate, die durch die erste Verfallkonstante und den gegenwärigen Wert der zweiten Erwartung definiert wird. Während einer dritten Zeitspanne wird das Eingabesignal wieder nicht-Null und die erste Erwartung steigt. In einer vierten Zeitspanne wird das Eingabessignal wieder Null und die erste Erwartung nimmt ab. Jedoch ist die Verfallrate in der vierten Zeitspanne geringer als die Ver fallrate in der zweiten Zeitspanne, weil die zweite Erwartung durch die erste Erwartung auf ein höheres Niveau getrieben wurde.

In den Fig. 30-35 sind die Erwartungen W⁰, W¹, W² einer Adap trode mit drei Ebenen und nicht-linearen Verstärkungen gezeigt für eine Anzahl verschiedener Eingabesignale. Ferner ist die zweite Erwartung durch ein Ermöglichungssignal P gegated oder beschränkt.

Die erste Erwartung wird durch die Gleichung 9A bestimmt. Die zweite Erwartung wird bestimmt durch:

W¹(t) = W¹ (t-Δt) + P · α¹ · [W⁰-W¹ (t-Δt)] - δ¹ · [W¹ (t-Δt) - W² (t-Δt)] (Gl. 10A)

Die dritte Erwartung wird bestimmt durch:

W²(t) = W² (t-Δt) + α² · [W¹-W² (t-Δt)] - δ² · [W² (t-Δt) - W^E] (Gl. 10B)

In diesen Beispielen ist das Ermöglichungssignal P einfach eine Null oder eine Eins. Jedoch kann das Ermöglichungssignal jeglichen Wert annehmen.

Die Eingabesignale, die in den Beispielen in den Fig. 30-35 verwendet werden, sind die gleichen wie die Eingabesignale für die entsprechenden Fig. 24-29. In jedem Beispiel ist das Er möglichungssignal anfangs Null und zu einer vorbestimmten Zeit wird das Ermöglichungssignal Eins. Es sei bemerkt, daß in jeder Figur die zweiten und dritten Erwartungen nicht "lernen" oder steigen, bis das Ermöglichungssignal eins ist. Es sei auch bemerkt, daß das Ermöglichungssignal nicht die Verfallrate der zweiten und dritten Erwartungen beeinflußt.

Mit Bezug auf die Fig. 36-47 sind die Erwartungen W⁰, W¹, W² einer Adaptrode mit drei Ebenen, deren erste Erwartung eine lineare Verstärkung hat, gezeigt, und zwar für eine Vielzahl verschiedener Eingabesignale. In jedem Beispiel ist die erste Steigkonstante α⁰ auf 4 gesetzt und die Verfallkonstante δ⁰ ist auf 0,125 gesetzt. Die zweiten Steig- und Verfallkonstanten α¹, δ¹ sind auf 0,0625 bzw. 0,0312 gesetzt. Die dritten Steig- und Verfallkonstanten α², δ² sind auf 0,0156 bzw. 0,0078 einge stellt.

In den Fig. 36-47 sind die Eingabesignale ähnlich den Eingabesignalen der Fig. 29-35. In den Fig. 2-47 sind die zweiten und dritten Erwartungen durch das Ermöglichungssignal P gegated oder beschränkt, wie in Fig. 30-35. Das Ermögli chungssignal jedoch ist entweder Null oder Eins (zu Zwecken der Darstellung ist das Ermöglichungssignal mit einer Skala bis 30 angegeben). Die Ergebnisse sind ähnlich der von den nicht- linearen Modellen gezeigten.

Mit Bezug auf Fig. 48 ist ein auf Adaptroden basierendes Neuron oder ein Neuristor 2002 gezeigt. Der Neuristor 2002 umfaßt eine Anordnung von Eingabeadaptroden. Die Eingabeadaptroden- Anordnung 2004 umfaßt eine Vielzahl von Adaptroden. Die Anzahl von Adaptroden ist allgemein durch J bezeichnet. Jede Eingabe adaptrode 2004(j) hat ein zugehöriges Eingabesignal X^j.

Das Ergebnissignal r^j jeder Eingabeadaptrode 2004(j) kann angesehen werden als Ersatz für das Eingabesignal, multi pliziert mit dem Gewichtungssignal eines Standardneurons.

Der Neuristor 2002 umfaßt Mittel 2006 zum Initialisieren und Erzeugen eines Schwellensignals T.

In einem Ausführungsbeispiel umfassen die das Schwellensignal erzeugenden Mittel 2006 Mittel zum Initialisieren des Schwellensignals auf einem vorbestimmten Wert.

In einem zweiten Ausführungsbeispiel ist das Schwellensignal eine Konstante.

In einem dritten Ausführungsbeispiel umfassen die Schwel lensignal-erzeugenden Mittel 2006 eine Ausgabeadaptrode 2008 und einen Schwellenprozessor 2010. Das Schwellensignal ist eine Funktion eines Schwellen modifizierenden Signals. Das Schwellen- modifizierende Signal kann die erste Erwartung sein oder das Ergebnissignal der Ausgabeadaptrode. Die Schwellensignal- erzeugenden Mittel 2006 bewirken das Integrieren der Ausgabe des Neuristors über die Zeit. Die Ausgabeadaptrode kann durch das Ergebnissignal (oder Ergebnissignale) einer oder mehrerer anderer Adaptroden gegated oder getastet sein.

Der Neuristor 2002 umfaßt Mittel 2012 zum Empfang des Eingabe adaptroden-Ergebnissignals r^j und des Schwellensignals T und zum Erzeugen ansprechend darauf eines Ausgabesignals 0.

Mit Bezug auf Fig. 49 umfassen die Ausgabesignal erzeugenden Mittel 2012 Mittel zum Addieren des Ergebnissignals und zum Erzeugen eines Sigma-Signals. Das Sigma-Signal wird mit dem Schwellensignal T verglichen. Die Ausgabesignal erzeugenden Mittel 2012 umfassen einen zweiten multiplizierenden Balken 2102 und ein Zeichenregister oder -tabelle 2104. Die Ausgabe des Zeichenregisters 2104 ist ein +1 oder ein -1.

Bezüglich der Fig. 50 umfaßt die Zeichenquelle 2014 ein Zei chenregister oder -tabelle 2202 und eine Vielzahl von Mul tiplizierern 2204(j). Die Eingabe einer Adaptrode mit einem assoziierten +1 im Zeichenregister 2204 wird als EXCITATORY (ERREGEND) und die Eingabe einer Adaptrode mit einem zugehörigen -1 im Zeichenregister 2204 wird als INHIBITORY (HEMMEND) bezeichnet.

Zurückkehrend zu Fig. 49 umfassen die Ausgabesignale erzeu genden Mittel 2012 einen Additions- und Ausgabeprozessor. Ein vierzehnter Addierer 2106 addiert die Ergebnissignale r^j und zieht das Schwellensignal von den Ergebnissignalen ab. Ein dritter Bedingungsblock 2108 vergleicht die Ausgabe des vier zehnten Addierers 2106 mit einem vorbestimmten Wert (0). Ein dritter Entscheidungsblock 2110 erzeugt das Ausgabesignal X₀. In einem bevorzugten Ausführungsbeispiel erzeugt der dritte Entscheidungsblock 2110 eine Eins, wenn die Bedingung in dem Bedingungsblock 2108 wahr ist, und eine Null, wenn die Bedin gung in dem Bedingungsblock 2108 falsch ist.

Zurückkehrend zu Fig. 48 wird die erste Erwartung (oder das Ergebnissignal) jeder Eingabeadaptrode (A^j) verwendet als ein Wechselwirkungssignal (h) in der nachfolgenden Adaptrode (A^j+1), wie durch die Pfeile gezeigt wird. Es sollte erkannt werden, daß das Tasten jeder Adaptrode durch die vorgehende Adaptrode nur aus Erklärungszwecken geschieht.

Allgemein werden Signale zwischen Eingabeadaptroden, die zum Tasten verwendet werden, als lokale oder örtliche Wechselwir kungssignale bezeichnet. Ferner steht das Ergebnissignal der Ausgabeadaptrode 2008 zum Tasten zu Verfügung, wie durch die Pfeile gezeigt wird.

Bezüglich der Fig. 51 ist ein Blockdigramm des Schwellenpro zessors 2010 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gezeigt. Der Schwellenprozessor 2010 sieht drei Arten von Schwellensignalen vor. Das Schwellensignal ist durch T Type definiert. Wenn T Type eins ist, dann ist das Schwellensignal eine Konstante mit einer Größe von T^C. Wenn T Type zwei ist, dann ist das Schwellensignal T die Differenz zwischen der Ein gabe des Schwellenprozessors 2010, multipliziert mit einer Konstanten und der Konstanten T^M. In einem Ausführungsbeispiel ist die Eingabe in den Schwellenprozessor 2010 die erste Er wartung der Ausgabeadaptrode 2008 (W⁰⁰). In einem zweiten Aus führungsbeispiel ist die Eingabe an den Schwellenprozessor 2010 das Ergebnissignal der Ausgabeadaptrode 2008. Wenn T Type drei ist, dann ist das Schwellensignal eine lineare Funktion von W⁰⁰.

Der Schwellenprozessor 2010 umfaßt vierte, fünfte und sechste Entscheidungsblöcke 2302, 2306, 2310 und vierte, fünfte und sechste Steuerblöcke 2304, 2308, 2312. Ein vierzehnter Multi plizierer 2314 multipliziert die erste Erwartung der Ausgabe adaptrode 2308 mit einer Konstanten β. Ein fünfzehnter Addierer 2316 zieht die Ausgabe des vierzehnten Multiplizierers 2314 von der Konstanten T^C ab.

Bezüglich Fig. 52 ist eine graphische Darstellung der ersten Eingabeadaptrode und der zweiten Eingabeadaptrode gezeigt, in die erste Adaptrode verwendet wird zum Takten der zweiten Er wartung der zweiten Adaptrode. Jede Erwartung ist allgemein mit W^ab bezeichnet, wobei a sich auf die Erwartungsebene bezieht und b auf die Eingabeadaptrode.

Typischerweise können Neuralnetzwerke unter Verwendung einer Vielzahl von Technologien umgesetzt werden. Diese umfassen "Standard"-Technologien wie Integration in sehr großem Maßstab (very large scale integration VLSI), Software-Simulatoren und Entwicklungssysteme, sowie Sonderzweckhardwaresysteme und "neuere" Technologien wie optische Prozessoren.

Industrielle Anwendbarkeit. Mit Bezug auf die Zeichnungen und beim Betrieb sieht die vorliegende Erfindung eine mehr funda mentale Lernfähigkeit in Neuralnetzwerken vor. Die Lernfähig keiten der Adaptrode basieren nicht auf Assoziativität per se, sondern vielmehr auf dem Verschlüsseln von Information, die in dem sich zeitlich verändernden Signal entlang eines einzigen Eingabekanals inhärent ist. Der Verschlüsselungsprozeß ist zeitexplizit und arbeitet in der Tat in vielfachen Zeitmaß stäben, so daß Information für jede dieser Zeitdomänen aufgezeichnet wird. Solch eine Behandlung von Informationsver schlüsselung sieht eine Alternative vor zu Rücklaufschleifen beim Umsetzen von Kurz- und Langzeitgedächtnissen. Die Adap trode hängt nicht inhärent von der Zuordnung mit einem anderen Kanal ab, um eine Erinnerung (Speicher) zu bilden.

Assoziativität kann jedoch aus der Einführung der Tor- oder Gatterfunktion aufkommen, die ein Verschlüsseln verhindert, wenn nicht ein zweites Signal vorhanden ist. Assoziationen zwischen zwei oder mehr Eingabesignalen oder eine Kombination von Eingabe- und Ausgabesignalen können erreicht werden.

Mit Bezug auf Fig. 54-60 sind Adaptroden verwendet worden, um ein assoziatives Netzwerk 2802 zu konstruieren. Das Netzwerk 2802 umfaßt erste und zweite Neuristoren 2804, 2806 mit jeweils drei Eingabeadaptroden und einer Ausgabeadaptrode (A¹⁰, A¹¹, A¹², A¹³, A²⁰, A²¹, A²², A²³). Zur Bezugnahme ist eine Legende für die Fig. 54-60 in Fig. 53 gezeigt. Die Legende zeigt die Symbole für drei Arten von Eingaben: hemmend--5302, lernend erregend--5304 und nicht-lernend erregend--5306.

Das Ermöglichungstasten wird gesteuert über eine örtliche Wechselwirkung zwischen den Eingabeadaptroden A¹¹ und A¹² und zwischen A²³ und A²². Die letzere Adaptrode, A¹² und A²² ist in jedem Fall die lernende Adaptrode innerhalb des betref fenden Neuristors (wie durch die Doppelplattenanschlüsse ange deutet). Das heißt, die Steigkonstanten für die zweiten und dritten Erwartungen der Adaptroden A¹² und A²² sind nicht Null und die zweiten und dritten Erwartungen der Adaptroden A¹¹, A¹³, A²¹ und A²³ sind Null.

Schwellen sind festgelegt worden und auf einen Wert eingestellt worden, der ausreichend ist, um die Ausgabe zu verzögern. Die Neuristoren 2804, 2806 hemmen einander gegenseitig, daß, sobald ein Neuristor einen Vorteil erhält, der dazu neigen wird, die einzig ansprechende Einheit zu werden. Dies wird durch A¹¹ und A²¹ erreicht, welche hemmende Ansprechverhalten haben, wie durch die kreisförmige Eingabe angedeutet wird.

Die Eingaben UCS¹ und UCS² werden als zwei entgegengesetzte (jedoch nicht notwendigerweise einander ausschließende) Stimuli oder Reize von der externen Umgebung angenommen. UCR¹ und UCR² sind gegenseitig ausschließende Antworten. Die mit CS bezeich nete Eingabe steht beiden Neuristoren zur Verfügung, wie ge zeigt. Vor jeglichem Aussetzen hat weder A¹² noch A²² irgend eine Erinnerungsspur verschlüsselt.

Zu Erklärungszwecken ist es hilfreich, das Netzwerk 2802 als eine einfache Robotersteuerung anzusehen. Hier ist das Ausgabeverhalten entweder, einen Stimulus zu suchen (UCR²) oder zu vermeiden (UCR¹), wenn entweder eine Belohnung UCS² zum Beispiel für die Verfügbarkeit von Leistung zum Wiederaufladen von Batterien oder eine Bestrafung UCR¹, beispielsweise das Vorhandensein von hohen Temperaturen, mit dem entsprechenden Reiz assoziiert wird.

In diesem Fall wird der Stimulus (CS) als das Vorhandensein einer Lichtquelle angenommen. Das Ziel ist, den Roboter zu trainieren, Licht mit der Verfügbarkeit von Leistung zu asso ziieren, so daß er die Lichtquelle aus eigenem Antrieb suchen wird. Es sollte bemerkt werden, daß es genau so möglich gewesen wäre zu entscheiden, daß das Netzwerk trainiert wird, Licht und Wärme zu assoziieren.

Nach mehreren Versuchen (die benötigte Anzahl hängt von der Größe der Signale, ihrer Dauer und ihrer Phasenrelationen ab) von gemeinsamen Aussetzen, und zwar CS und UCS², wird dies tatsächlich in 08355 00070 552 001000280000000200012000285910824400040 0002004215179 00004 08236Fig. 55 erreicht. Es sollte bemerkt werden, daß die Aussetzungen nicht exakt im gleichen Augenblick (d. h. genau in Phase) sein müssen. Wenn das CS Ausgesetztsein kurz vor den von UCS² geschieht - wobei das Zeitfenster durch die αs und δs in den Adaptroden festgelegt ist - wird das Auftreten von UCS² immer noch die Ermöglichung in A²² erzeugen.

Die dem Netzwerk 2802 angebotenen Signale sind stochastisch und rauschen (ungefähr 10% nicht-Gaus′sches Rauschen). Nach nur drei Versuchen gemeinsamer Präsentation bei UCS² und CS im Mittelbereich, beginnt das Netzwerk zu erscheinen wie Fig. 55. Wie gesehen werden kann, ist einige Ermöglichung bei A²² aufgetreten als das Ergebnis örtlicher Wechselwirkung zwischen A²¹ und A²².

Das Netzwerk 2802 umfaßt eine hemmende Verbindung von einer Einheit zur anderen, um gegenseitiges Hemmen einzuführen. Dies ist notwendig, um die Regel des gegenseitigen Ausschließens der Antwort durchzusetzen. Es sollte jedoch bemerkt werden, daß die Regel eine verschwommene Regel ist, in der einiges Signal- "Lecken" von CS und UCS¹ möglich ist, wenn UCS¹ geringfügig aktiv ist, was auftreten kann. Allgemein wird die Ausgabe von UCS² die Ausgabe von UCS¹ dämpfen und umgekehrt, aber das gilt nicht ohne Einschränkung.

Die schattierten Gebiete in jeder Adaptrode stellen die Ebenen für jede Erwartung dar, wie in der Legende gezeigt wird. Es sei bemerkt, daß jede nachfolgende Erwartung die vorhergehende Erwartung überlappt. Auch sind die Beziehungen W⁰ W¹ W² immer wahr.

Dunkle Pfeile zeigen, daß diese Leitung "aktiv" ist. Daher zeigt der dunke Pfeil im zweiten Neuristor 2806 einen starken örtlichen Wechselwirkungseffekt von A²³ auf das Lernverhalten von vom A²². Der Pfeil im ersten Neuristor 2804 von A¹¹ nach A¹² stellt eine schwache Wechselwirkung dar und somit kann A¹¹ nicht als genügend eingestuftes Ansprechen beitragen, um zu gestatten, daß eine Ermöglichung in A¹² stattfindet.

Fig. 56 verdeutlicht den Zustand des Netzwerks 2802, nachdem das Netzwerk 2802 über einige Zeit ohne Eingaben gealtert ist. Wie gesehen werden kann, zeigt die Adaptrode A²² etwas Rest erinnerung an die Assoziation, der sie ausgesetzt worden war. Als Folge dieses Restes hat das Netzwerk eine Beziehung zwi schen den assoziierten Signalen festgestellt, die wieder auf gerufen werden kann, wie in Fig. 57 gezeigt. In Fig. 57 wird ein Signal nur bei CS zugeführt. Dies entspricht der Situation, daß der Roboter nur Licht sieht. Als ein Ergebnis der Ermög lichung von A²² wird das Eingabesignal bei A²² die erste Er wartung W⁰ schneller auf einen höheren Wert treiben, als in der ersten Erwartung von A¹² erreicht wurde. Im Gegenzug ist dies genug, ein Ausgabesignal bei UCR² zu treiben, worauf sich ein hemmendes Signal ergibt, das den ersten Neuristor 2804 dämpft.

Auf diese Weise hat das Netzwerk 2802 gelernt, CS, für sich selbst ein bedeutungsloses Signal, als eine Ankündigung eines bedeutungsvollen Signals (in diesem Fall Leistungsverfügbar keit) auszunutzen. Das Ausmaß, mit dem diese zwei Signale in der Vergangenheit zusammen aufgetreten sind, wird einem gewissen Grad der Zuverlässigkeit der Voraussagefähigkeit der Assoziation ergeben. Der Roboter kann lernen, Lichter zu suchen, wenn er wenig Leistung hat, und wird zu einem gewissen Grad Vertrauen hineinsetzen, daß diese Assoziation stimmen wird.

Soweit arbeitet das Netzwerk 2802, wie man es von jeder asso zitiativen Lernregel erwarten könnte. Außer der etwas ein zigartigen Weise, in der Zeit explizit und der Lernprozeß durch Verstärkung dynamisch ist, erreicht das Netzwerk 2802 im wesentlichen, was jedes andere auf Assoziation basierende Neu ralnetzwerk erreichen würde.

Aber nun wird eine schwierigere Betrachtung angestellt. Ange nommen, für ein kurzes Zeitinvervall besteht eine gegenteilige Beziehung zwischen UCS¹ und CS, wie es beispielsweise geschehen kann, wenn ein Feuer in der Umgebung des Roboters ausbricht. Erstens müßte man sich mit dem geeigneten Ansprechverhalten befassen; das heißt, der Roboter sollte das Feuer meiden.

Als zweites werden Mittel benötigt zum Bestimmen der Bedeutung dieser gegenteiligen Bedingung. Ist es nur Rauschen oder stellt es eine dauerhaftere Veränderung in der Natur der Umgebung dar?

Als drittes soll im Falle, daß diese neue Beziehung vorüber gehend ist, der Roboter sicherlich nicht die vorherige Asso ziation vergessen, da es ziemlich wahrscheinlich ist, daß die alte Beziehung in der Zukunft wieder die Norm sein wird.

In den Fig. 58-60 ist der Fortschritt des Verschlüsselns ge genteiliger Asssoziation gezeigt, die, da sie unterschiedliche Zeitdomänen darstellen, leicht in den Netzwerk ohne Interferenz gespeichert werden können. Man wird sehen, daß das Netzwerk 2802 richtig anspricht und den Bedeutungsgrad richtig bestimmt, der den neuen Bedingungen beigemessen werden muß.

In Fig. 58 wird das Netzwerk 2802 einem starken und etwas anhaltenden Reiz UCS¹ ausgesetzt, was im Gegensatz steht zur bisherigen Erfahrung. Das System wird anfangs beginnen, den zweiten Neuristor 2806 auszulösen, als ob es auf die Verfüg barkeit von Leistung reagiert. Eine geringe Zeit wird benötigt, damit der erste Erwartungswert W⁰ von A¹¹ sich aufbaut auf ein Niveau, das ausreichend ist, die Ausgabe des zweiten Neuristors 2806 über die hemmende Verbindung bei A²¹ zu übersteuern. Je doch wegen der stärkeren Betätigung des ersten Neuristors 2804 gewinnt er den Wettkampf, was zur richtigen Antwort (Vermeiden) bei UCR¹ führt. Man bemerke, daß A²² die Ermöglichung W² ist, wogegen A¹² die Ermöglichung nur für W¹ darstellt.

Wenn dem Netzwerk nun nur die CS-Eingabe präsentiert wird, wird es für eine kurze Zeit reagieren, wenn auch schwach, mit einer Ausgabe bei UCR¹ wie in Fig. 59. Der Grund ist, daß die zweite Erwartung W¹ von A¹² auf ein Niveau gestiegen ist, das gerade geringfügig größer ist als das der zweiten Erwartung W¹ von A²². Dies wird andauern, bis W¹ von A¹² abgefallen ist auf das gleichen Niveau wie W¹ von A²². Zu dieser Zeit wird das An sprechen mehrdeutig sein. Die Mehrdeutigkeit wird nicht lange dauern. Da die Aussetzung der gegenteiligen Bedingung kurz war und W² von A¹² nicht gestiegen ist, wird W¹ von A¹² weiterhin abfallen, und zwar unterhalb des Niveaus von W¹ von A²². Zu dieser Zeit wird das Netzwerk 2802 mit der ursprünglichen UCR²-Antwort reagieren, da die ältere Assoziation als dominant wieder zum Vorschein kommt, wie in Fig. 60 gezeigt.

Andere Aspekte, Ziele und Vorteile der vorliegenden Erfindung können aus dem Studium der Zeichnungen, der Offenbarung und der beigefügten Ansprüche ersehen werden.

Zusammenfassend sieht die Erfindung folgendes vor: Ein synaptischer Prozessor zur Verwendung in einem Neural netzwerk erzeugt ein Ergebnissignal infolge eines Eingabe signals. Der synaptische Prozessor initialisiert eine Ein gabeerwartung und empfängt ein Eingabesignal. Der synaptische Prozessor bestimmt eine Nettomodifikation der Eingabeerwartung. Die Nettomodifikation der Eingabeerwartung hat einen Vergröße rungsterm und einen Verkleinerungsterm. Der Vergrößerungsterm wird bestimmt als eine Funktion des Eingabesignals. Der Ver kleinerungsterm ist unabhängig von der Größe des Eingabesignals und ist eine Funktion einer Verfallkonstanten. Der synaptische Prozessor erzeugt ein Ergebnissignal infolge der Eingabeer wartung.

Claims

1. Ein synaptischer Prozessor zum Erzeugen eines Ergebnis signals infolge eines Eingabesignals, der folgendes aufweist:
Mittel zum Initialisieren einer Eingaberwartung, wobei die Erwartung beschränkt ist durch eine Maximalerwartung und eine Gleichgewichtserwartung;
Mittel zum Empfangen des Eingabesignals und zum Modifizieren der Eingabeerwartung, wobei die Nettomodifikation der Eingabeerwartung einen Vergrößerungsterm und einen Verkleinerungsterm aufweist, wobei der Vergrößerungsterm eine Funktion des Eingabe signals und einer erste Anstiegskonstanten ist und wobei der Verkleinerungsterm eine Funktion einer ersten Abfallkonstanten ist, und wobei die ersten Anstiegs- und Abfallkonstanten unabhängig sind; und
Mittel zum Erzeugen des Ergebnissignals infolge der Eingangserwartung.

2. Synaptischer Prozessor nach Anspruch 1, wobei das Ergebnis signal eine lineare Funktion der Eingabeerwartung ist.

3. Synaptischer Prozessor nach Anspruch 1, wobei das Ergebnis signal eine nicht-lineare Funktion der Eingabeerwartung ist.

4. Synaptischer Prozessor nach Anspruch 1, wobei der Verklei nerungsterm proportional ist zu der Differenz zwischen der Eingabeerwartung und der Gleichgewichtserwartung.

5. Synaptischer Prozessor nach Anspruch 1, wobei der Ver größerungsterm proportional ist zu der Differenz zwischen der Eingabeerwartung und der Maximalerwartung.

6. Synaptischer Prozessor nach Anspruch 1, mit Mitteln zum Modifizieren der Gleichgewichtserwartung, wobei die Nettomodifikation der Gleichgewichtserwartung einen zweiten Vergrößerungsterm und einen zweiten Verkleinerungssterm aufweist, wobei der zweite Vergrößerungsterm eine Funktion der Eingabeerwartung und einer zweiten Anstiegskonstanten ist und wobei der Verkleinerungsterm eine Funktion einer zweiten Abfall- oder Verfallkonstanten ist.

7. Synaptischer Prozessor nach Anspruch 1, wobei die die Eingabeerwartung modifizierenden Mittel Mittel umfassen, um die Eingabeerwartung zu diskreten Zeitintervallen von t auf den neuesten Stand zu bringen.

8. Synaptischer Prozessor zum Erzeugen eines Ergebnissignals infolge eines Eingabessignals, der folgendes aufweist:
Mittel zum Initialisieren erster und zweiter Erwartungen, wobei die ersten und zweiten Erwartungen beschränkt sind durch eine maximale Erwartung und eine Gleichgewichtserwartung;
Mittel zum Empfang des Eingabesignals und zum Modifizieren der ersten Erwartung infolge des Eingabesignals und der zweiten Erwartung;
Mittel zum Modifizieren der zweiten Erwartung infolge der ersten Erwartung; und
Mittel zum Erzeugen des Ergebnissignals infolge der ersten Erwartung.

9. Synaptischer Prozessor nach Anspruch 8, wobei die Erwartungen die folgenden Beziehungen haben: W^M W⁰ W¹ W^E,wobei
W^M = die maximale Erwartung,
W⁰ = die erste Erwartung,
W¹ = die zweite Erwartung und
W^E = die Gleichgewichtserwartung
ist.

10. Synaptischer Prozessor nach Anspruch 8, wobei die erste Erwartung eine Funktion der Größe des Eingabesignals ist.

11. Synaptischer Prozessor nach Anspruch 8, wobei die die erste Erwartung modifizierenden Mittel Mittel umfassen zum Verkleinern der ersten Erwartung infolge der zweiten Erwartung.

12. Synaptischer Prozessor nach Anspruch 11, wobei die die erste Erwartung verkleinernden Mittel Mittel umfassen zum Bestimmen der Differenz zwischen den ersten und zweiten Erwartungen und zum Verkleinern der ersten Erwartung infolge der Differenz und einer ersten Verfallkonstanten.

13. Synaptischer Prozessor nach Anspruch 8, wobei die die erste Erwartung modifizierenden Mittel Mittel umfassen zum Vergrößern der ersten Erwartung infolge der Größe des Eingabesignals und der maximalen Erwartung.

14. Synaptischer Prozessor nach Anspruch 13, wobei die die erste Erwartung vergrößernden Mittel Mittel umfassen zum Bestimmen der Differenz zwischen der ersten und der maximalen Erwartung und zum Vergrößern der ersten Erwartung infolge des Eingabesignals, der Differenz und einer ersten Anstiegskonstanten.

15. Synaptischer Prozessor nach Anspruch 8, wobei die die zweite Erwartung modifizierenden Mittel Mittel umfassen zum Vergrößern der zweiten Erwartung infolge der ersten Erwartung.

16. Synaptischer Prozessor nach Anspruch 13, wobei die die zweite Erwartung vergrößernden Mittel Mittel umfassen zum Bestimmen der Differenz zwischen den zweiten und ersten Er wartungen und zum Vergrößern der zweiten Erwartung infolge der Differenz und einer zweiten Anstiegskonstanten.

17. Synaptischer Prozessor nach Anspruch 8, wobei die die zweite Erwartung modifizierenden Mittel Mittel umfassen zum Verkleinern der zweiten Erwartung infolge der Gleichgewichtserwartung.

18. Synaptischer Prozessor nach Anspruch 8 mit Mitteln zum Modifizieren der Gleichgewichtserwartung, wobei die Nettomodifikation der Gleichgewichtserwartung einen Vergrößerungsterm und einen Verkleinerungsterm aufweist, wobei der Vergrößerungsterm eine Funktion der zweiten Erwartung und einer Anstiegs- oder Steigkonstanten ist und wobei der Verkleinerungsterm eine Funktion einer zweiten Verfallkonstanten ist.

19. Synaptischer Prozessor zum Erzeugen eines Ergebnissignals infolge eines Eingabesignals, der folgendes aufweist:
Mittel zum Initialisieren einer ersten Erwartung und zumindest einer zweiten Erwartung, wobei die ersten und zweiten Erwartungen beschränkt sind durch eine Maximalerwartung und eine Gleichgewichtserwartung, wobei die Anzahl der zweiten Erwartungen durch L bezeichnet ist;
Mittel zum Empfang eines Eingabesignals und zum Modifizieren der ersten Erwartung infolge des Eingabesignals;
Mittel zum Modifizieren einer der zweiten Erwartungen, wobei die eine zweite Erwartung durch W¹ bezeichnet ist und eine Funktion ist von: der ersten Erwartung, falls l=1, oder anderenfalls einer vorhergehenden zweiten Erwartung W^l-1; und
Mittel zum Erzeugen des Ergebnissignals infolge der ersten Erwartung.

20. Synaptischer Prozessor nach Anspruch 19, mit Mitteln zum Empfang eines zweiten Eingabesignals und zum darauf ansprechenden Erzeugen eines Ermöglichungssignals, und wobei die eine zweite Erwartung eine Funktion des Ermöglichungssignals ist.

21. Synaptischer Prozessor zum Erzeugen eines Ergebnissignals infolge eines ersten Eingabesignals und eines zweiten Eingabesignals, welcher folgendes aufweist:
Mittel zum Initialisieren erster und zweiter Erwartungen, wobei die ersten und zweiten Erwartungen beschränkt sind durch eine maximale Erwartung und eine Gleichgewichtserwartung;
Mittel zum Erzeugen des ersten Eingangssignals und zum Modifizieren der ersten Erwartung infolge des ersten Eingabesignals und der zweiten Erwartung;
Mittel zum Empfang des zweiten Eingabesignals und zum darauf ansprechenden Erzeugen eines Ermöglichungssignals;
Mittel zum Modifizieren der zweiten Erwartung infolge der ersten Erwartung und des Ermöglichungssignals, und
Mittel zum Erzeugen des Ergebnissignals infolge des ersten Eingabesignals und des ersten Erwartungssignals.

22. Synaptischer Prozessor nach Anspruch 21, wobei die erste Erwartung eine Funktion der Größe des Eingabesignals ist.

23. Synaptischer Prozessor nach Anspruch 21, wobei die Ini tialisiermittel Mittel umfassen zum Initialisieren eines Tor- oder Tastsignals, und wobei das Ermöglichungssignal erzeugt wird infolge des zweiten Eingabesignals und des Tastsignals.

24. Synaptischer Prozessor nach Anspruch 23, wobei die das Er möglichungssignal erzeugenden Mittel Mittel umfassen zum Bestimmen des Tastsignals und des zweiten Eingabessignals.

25. Synaptischer Prozessor nach Anspruch 24, wobei die das zweite Eingabesignal bestimmenden Mittel Mittel umfassen zum Empfang einer Vielzahl von Wechselwirkungssignalen und zum Addieren der Wechselwirkungsignale.

26. Synaptischer Prozessor nach Anspruch 23, wobei das Ermög lichungssignal in einem Erlaubniszustand ist, wenn das zweite Eingabesignal das Tastsignal überschreitet, und wobei es andernfalls in einem Verhinderungszustand ist.

27. Synaptischer Prozessor nach Anspruch 26, wobei die die zweite Erwartung modifizierenden Mittel Mittel umfassen zum Vergrößern der zweiten Erwartung infolge der ersten Erwartung, wenn das Ermöglichungssignal in dem Erlaubniszustand ist.

28. Verarbeitungselement, das folgendes aufweist:
einen ersten synaptischen Prozessor zum Erzeugen eines ersten Ergebnissignals infolge eines ersten Eingabesignals, welcher folgendes aufweist:
Mittel zum Initialisieren einer Eingabeerwartung, wobei die erste Eingabeerwartung beschränkt ist durch eine erste maximale Erwartung und eine erste Gleichgewichtserwartung;
Mittel zum Empfang des ersten Eingabesignals und zum darauf ansprechenden Modifizieren der Eingabeerwartung, wobei die Nettomodifikation der Eingabeerwartung einen ersten Vergrößerungsterm und einen ersten Verkleinerungsterm aufweist, wobei der erste Vergrößerungsterm auf das erste Eingabesignal anspricht, und wobei der erste Verkleinerungsterm ein Funktion der ersten Gleichgewichtserwartung ist; und
Mittel zum Erzeugen des ersten Ergebnissignals infolge der Eingabeerwartung;
einen zweiten synaptischen Prozessor zum Erzeugen eines zweiten Ergebnissignals infolge des zweiten Eingabessignals, der folgendes umfaßt:
Mittel zum Initialisieren erster und zweiter Erwartungen, wobei die ersten und zweiten Erwartungen beschränkt sind durch eine zweite maximale Erwartung und eine zweite Gleichgewichtserwartung;
Mittel zum Empfang des zweiten Eingabesignals und zum Modifizieren der ersten Erwartung infolge des zweiten Eingabesignals und der zweiten Erwartung;
Mittel zum Empfang des ersten Ergebnissignals und zum darauf ansprechenden Erzeugen eines Ermöglichungssignals;
Mittel zum Modifizieren der zweiten Erwartung infolge der ersten Erwartung und des Ermöglichungssignals; und
Mittel zum Erzeugen des zweiten Ergebnissignals infolge des zweiten Eingabessignals und der ersten Erwartung.

29. Verarbeitungselement nach Anspruch 28, wobei der erste synaptische Prozessor Mittel umfaßt zum Modifizieren der ersten Gleichgewichtserwartung, wobei die Nettomodifikation der ersten Gleichgewichtserwartung einen zweiten Vergrößerungsterm und einen zweiten Verkleinerungsterm aufweist, wobei der zweite Vergrößerungsterm eine Funktion der Eingabeerwartung und einer zweiten Steigkonstanten ist und wobei der zweite Verkleinerungsterm eine Funktion einer zweiten Verfallkonstanten ist.

30. Verarbeitungselement nach Anspruch 28, wobei die die erste Erwartung modifizierenden Mittel Mittel umfassen zum Bestimmen einer ersten Nettomodifikation und zum Addieren der ersten Nettomodifikation zu der ersten Erwartung, wobei die erste Nettomodifikation einen dritten Vergrößerungsterm und einen dritten Verkleinerungsterm aufweist, wobei der dritte Vergrößerungsterm eine Funktion der ersten Erwartung und einer dritten Steigkonstanten ist, und wobei der dritte Verkleinerungsterm eine Funktion der ersten Erwartung und einer dritten Verfallkonstanten ist, und wobei die die zweite Erwartung modifizierenden Mittel Mittel umfassen zum Bestimmen einer zweiten Nettomodifikation der zweiten Erwartung und zum Addieren der zweiten Nettomodifikation zu der zweiten Erwartung, wobei die zweite Nettomodifikation einen vierten Vergrößerungsterm und einen vierten Verkleinerungsterm aufweist, wobei der vierte Vergrößerungsterm eine Funktion der ersten Erwartung und einer vierten Steigkonstanten ist und wobei der vierte Verkleinerungsterm eine Funktion der ersten Erwartung und einer zweiten Verfallkonstanten ist.

31. Verarbeitungselement nach Anspruch 28, mit Mitteln zum Modifizieren der zweiten Gleichgewichtserwartung, wobei die Nettomodifikation der zweiten Gleichgewichtserwartung einen fünften Vergrößerungsterm und einen fünften Verkleinerungsterm aufweist, wobei der fünfte Vergrößerungsterm eine Funktion der zweiten Erwartung und einer fünften Steigkonstanten ist und wobei der fünfte Verkleinerungsterm eine Funktion einer fünften Verfallkonstanten ist.

32. Verarbeitungselement, das folgendes aufweist:
Mittel zum Erzeugen eines Schwellensignals;
einen synaptischen Eingabeprozessor zum Erzeugen eines Ergebnissignals infolge eines Eingabesignals, wobei der synaptische Eingabeprozessor folgendes umfaßt:
Mittel zum Initialisieren einer Eingabeerwartung, wobei die Eingabeerwartung beschränkt ist durch eine Maximalerwartung und eine Gleichgewichtserwartung;
Mittel zum Empfang des Eingabesignals und zum Ermitteln der Größe des Eingabessignals;
Mittel zum Modifizieren der Eingabeerwartung, wobei die Nettomodifikation der Eingabeerwartung einen ersten Vergrößerungsterm und einen ersten Verkleinerungsterm aufweist, wobei der erste Vergrößerungsterm auf die Größe des Eingabesignals anspricht, und wobei der erste Verkleinerungsterm unabhängig ist von der Größe und eine Funktion ist einer Verfallkonstanten; und
Mittel zum Erzeugen des Ergebnisignals infolge der Eingabeerwartung; und
Mittel zum Empfang des Ergebnissignals und des Schwellensignals und zum darauf ansprechenden Erzeugen eines Ausgabesignals.

33. Verarbeitungselement nach Anspruch 32, mit Mitteln zum Modifizieren der Gleichgewichtserwartung, wobei die Nettomodifikation der Gleichgewichtserwartung einen zweiten Vergrößerungsterm und einen zweiten Verkleinerungsterm aufweist, wobei der zweite Vergrößerungsterm eine Funktion der Eingabeerwartung und einer zweiten Steigkonstanten ist, und wobei der zweite Verkleinerungsterm eine Funktion einer zweiten Verfallkonstanten ist.

34. Verarbeitungselement nach Anspruch 32, wobei die schwellen erzeugenden Mittel Mittel umfassen zum Initialisieren einer Schwellenkonstanten, zum Empfang eines Schwellen- modifizierenden Signals, zum Multiplizieren des Schwellen- modifizierenden Signals mit einer Konstanten und zum Abziehen des Produkts von der Schwellenkonstanten.

35. Verarbeitungselement nach Anspruch 32, wobei die Schwellen signal erzeugenden Mittel einen Ausgabeprozessor umfassen zum Empfang des Ausgabesignals und zum darauf ansprechenden Erzeugen eines Schwellen-modifizierenden Signals.

36. Verarbeitungselement, das folgendes aufweist:
Mittel zum Erzeugen eines Schwellensignals;
zumindest zwei synaptische Eingabeprozessoren zum Erzeugen jeweiliger Ergebnissignale infolge entsprechender Eingabe signale, wobei jeder synaptische Eingabeprozessor folgendes aufweist:
Mittel zum Initialisieren einer Eingabeerwartung, wobei die Eingabeerwartung beschränkt ist durch eine Maximalerwartung und eine Gleichgewichtserwartung;
Mittel zum Empfang des Eingabesignals und zum Ermitteln der Größe des Eingabesignals;
Mittel zum Modifizieren der Eingabeerwartung, wobei die Nettomodifikation der Eingabeerwartung einen Vergrößerungsterm und einen Verkleinerungsterm aufweist, wobei der Vergrößerungsterm auf die Größe des Eingabesignals anspricht, und wobei der Verkleinerungsterm unabhängig ist von der Größe und eine Funktion einer Verfallkonstanten ist;
Mittel zum Erzeugen des Ergebnissignals infolge der Eingabeerwartung;
Mittel zum Empfangen der Ergebnissignale, zum Addieren der Ergebnissignale und zum darauf ansprechenden Erzeugen eines Sigma-Signals; und
Mittel zum Empfangen des Sigma-Signals und des Schwellensignals und zum darauf ansprechenden Erzeugen eines Ausgabesignals.

37. Verarbeitungselement nach Anspruch 36, wobei die Schwellen erzeugenden Mittel Mittel umfassen zum Initialisieren einer Schwellenkonstanten, zum Empfang eines Schwellen- modifizierenden Signals, zum Multiplizieren des Schwellen- modifizierenden Signals mit einer Konstanten und zum Abziehen des Produkts von der Schwellenkonstanten.

38. Verarbeitungselement nach Anspruch 36, wobei die Ausgabesignal erzeugenden Mittel Mittel umfassen zum Vergleichen der Schwellen- und Sigma-Signale und wobei das Ausgabesignal einen ersten Zustand hat, in dem das Sigma- Signal größer ist als Schwellensignal, und wobei das Ausgabesignal anderenfalls einen zweiten Zustand hat.

39. Verarbeitungselement nach Anspruch 36, wobei die Schwellen signal-erzeugenden Mittel einen Ausgabeprozessor umfassen zum Empfang des Ausgabesignals und zum darauf ansprechenden Erzeugen eines Schwellen modifizierenden Signals.

40. Verarbeitungselement, das folgendes aufweist:
Mittel zum Erzeugen eines Schwellensignals;
einen synaptischen Eingabeprozessor zum Erzeugen eines Ergebnissignals infolge eines Eingabesignals, wobei der synaptische Eingabeprozessor folgendes aufweist:
Mittel zum Initialisieren erster und zweiter Erwartungen, wobei die ersten und zweiten Erwartungen beschränkt sind durch eine Maximalerwartung und eine Gleichgewichtserwartung;
Mittel zum Empfang des Eingabesignals und zum Modifizieren der ersten Erwartung infolge des Eingabesignals und der zweiten Erwartung;
Mittel zum Modifizieren der zweiten Erwartung infolge der ersten Erwartung; und
Mittel zum Erzeugen des Ergebnissignals infolge der zweiten Erwartung; und
Mittel zum Empfang des Schwellensignals und des Ergebnissignals und zum darauf ansprechenden Erzeugen eines Ausgabesignals.

41. Verarbeitungselement nach Anspruch 40, wobei die die erste Erwartung modifizierenden Mittel Mittel umfassen zum Bestimmen einer ersten Nettomodifikation und zum Addieren der ersten Nettomodifikation zu der ersten Erwartung, wobei die erste Nettomodifikation einen ersten Vergrößerungsterm und einen ersten Verkleinerungsterm aufweist, wobei der erste Vergrößerungsterm eine Funktion der ersten Erwartung und einer ersten Steigkonstanten ist und wobei der erste Verkleinerungsterm eine Funktion der ersten Erwartung und einer ersten Verfallkonstanten ist, und wobei die die zweite Erwartung modizierenden Mittel Mittel umfassen zum Bestimmen einer zweiten Nettomodifikation der zweiten Erwartung und zum Addieren der zweiten Nettomodi fikation zu der zweiten Erwartung, wobei die zweite Nettomodifikation einen zweiten Vergrößerungsterm und einen zweiten Verkleinerungsterm aufweist, wobei der zweite Vergrößerungsterm eine Funktion der zweiten Erwartung und einer zweiten Steigkonstanten ist und wobei der zweite Verkleinerungssterm eine Funktion der zweiten Erwartung und einer zweiten Verfallkonstanten ist.

42. Verarbeitungselement nach Anspruch 40, mit Mitteln zum Modifizieren der Gleichgewichtserwartung, wobei die Netto modifikation der Gleichgewichtserwartung einen Vergrößerungsterm und einen Verkleinerungsterm aufweist, wobei der Vergrößerungsterm eine Funktion der zweiten Erwartung und einer Steigkonstanten ist, und wobei der Verkleinerungsterm eine Funktion einer zweiten Verfallkonstanten ist.

43. Verarbeitungselement nach Anspruch 40 mit Mitteln zum Empfangen eines zweiten Eingabesignals und zum darauf an sprechenden Erzeugen eines Ermöglichungssignals, wobei die zweite Erwartung eine Funktion des Ermöglichungssignals ist.

44. Verarbeitungselement nach Anspruch 40, wobei die Schwel lensignal-erzeugenden Mittel einen Ausgabprozessor umfassen zum Empfang des Ausgabesignals und zum darauf ansprechenden Erzeugen eines Schwellen-modifizierenden Signals.

45. Verarbeitungslement, das folgendes aufweist:
Mittel zum Erzeugen eines Schwellensignals;
mindestens zwei synaptische Eingabeprozessoren zum Erzeugen jeweiliger Ergebnissignale infolge jeweiliger Eingabessignale, wobei jeder der synaptischen Eingabeprozessoren folgendes aufweist:
Mittel zum Initialisieren erster und zweiter Erwartungen, wobei die ersten und zweiten Erwartungen beschränkt sind durch eine Maximalerwartung und eine Gleichgewichtserwartung;
Mittel zum Empfang des Eingabesignals und zum Modifizieren der ersten Erwartung infolge des Eingabesignals und der zweiten Erwartung;
Mittel zum Modifizieren der zweiten Erwartung infolge der ersten Erwartung; und
Mittel zum Erzeugen des Ergebnissignals infolge der ersten Erwartung; und
Mittel zum Empfangen der Ergebnissignale zum Addieren der Ergebnissignale und zum darauf ansprechenden Erzeugen eines Sigma-Signals; und
Mittel zum Empfangen des Sigma-Signals und des Schwellensignals und zum darauf ansprechenden Erzeugen eines Ausgabessignals.

46. Verarbeitungselement nach Anspruch 45, wobei die die erste Erwartung modifizierenden Mittel Mittel umfassen zum Bestimmen einer ersten Nettomodifikation und zum Addieren der ersten Nettomodifikation zu der ersten Erwartung, wobei die erste Nettomodifikation einen ersten Vergrößerungsterm und einen ersten Verkleinerungstem aufweist, wobei der erste Vergrößerungsterm eine Funktion der ersten Erwartung und einer ersten Steigkonstanten ist und wobei der erste Verkleinerungsterm eine Funktion der ersten Erwartung und einer ersten Verfallkonstanten ist, und wobei die die zweite Erwartung modifizierenden Mittel Mittel umfassen zum Bestimmen einer zweiten Nettomodifikation der zweiten Erwartung und zum Addieren der zweiten Nettomodifikation zu der zweiten Erwartung, wobei die zweite Nettomodifikation einen zweiten Vergrößerungterm und einen zweiten Verkleinerungsterm aufweist, wobei der zweite Vergrößerungsterm eine Funktion der zweiten Erwartung und einer zweiten Steigkonstanten ist und wobei der zweite Verkleinerungsterm eine Funktion der zweiten Erwartung und einer zweiten Verfallkonstanten ist.

47. Verarbeitungselement nach Anspruch 45, wobei die Schwellensignal-erzeugenden Mittel einen Ausgabeprozessor umfassen zum Empfang des Ausgabesignals und zum darauf ansprechenden Erzeugen eines Schwellen-modifizierenden Signals.