DE69819718T2

DE69819718T2 - Assoziatives neuronales netzwerk

Info

Publication number: DE69819718T2
Application number: DE69819718T
Authority: DE
Inventors: Pentti Haikonen
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 1997-05-29
Filing date: 1998-05-28
Publication date: 2004-09-23
Anticipated expiration: 2018-05-29
Also published as: FI103305B1; EP0985181A2; DE69819718D1; JP2002500790A; FI972289A0; WO1998054653A2; ES2210759T3; FI103305B; WO1998054653A3; ATE254308T1; EP0985181B1; AU7533398A; JP3729868B2

Description

Hintergrund der Erfindung
Die Erfindung betrifft ein assoziatives künstliches neuronales Netzwerk.
In künstlichen neuronalen Netzwerken werden vom McCullogh-Pitts-Neuron (1943) abgeleitete Neuronen wie z. B. verschiedene Versionen des Perzeptrons (Frank Rosenblatt 1957) verwendet. Neuronale Netzwerke werden z. B. im Artikel "Artificial Neural Netzworks: A Tutorial" von Anil K. Jain, Jianchang Mao und K. M. Mohiuddin in IEEE Computer, März 1996, S. 31 bis 44, besprochen.
In 1 sind Signale X₁ bis X_n Eingänge eines künstlichen Neurons, und Y ist ein Ausgangssignal. Die Werte der Eingangssignale X₁ bis X_n können sich fortlaufend ändernde (analoge) oder binäre Größen sein, und dem Ausgangssignal Y können gewöhnlich positive und negative Werte gegeben werden. W₁ bis W_n sind Gewichtungskoeffizienten, d. h. synaptische Gewichte, die ebenfalls positiv oder negativ sein können. In einigen Fällen werden nur positive Signalwerte und/oder Gewichtungskoeffizienten verwendet. Synapsen 11₁ bis 11_n des Neurons gewichten das entsprechende Eingangssignal durch die Gewichtungskoeffizienten W₁ bis W_n. Eine Summierungsschaltung 12 berechnet eine gewichtete Summe U. Die Summe U wird an eine Schwellenwertoperations-Funktionsschaltung 13 geliefert, deren Ausgangssignal V ist. Die Schwellenweitfunktion kann variieren, aber gewöhnlich wird eine S-förmige oder eine stückweise lineare Funktion verwendet, wodurch dem Ausgangssignal fortlaufende Werte gegeben werden. Bei einem herkömmlichen Neuron ist das Ausgangssignal V der Schwellenwertoperations-Funktionsschaltung 13 gleichzeitig das Ausgangssignal Y des gesamten Neurons.
Wenn Neuronen dieser Art in künstlichen neuronalen Netzwerken verwendet werden, muss das Netzwerk trainiert werden, d. h. für die Gewichtungskoeffizienten W₁ bis W_n müssen geeignete Werte gefunden werden. Zu diesem Zweck sind unter schiedliche Algorithmen entwickelt worden. Ein neuronales Netzwerk, das wiederholt gelieferte Informationen durch Kombinieren unterschiedlicher Signale, z. B. einen bestimmten Eingang und eine bestimmte Situation, speichern kann, wird als assoziatives neuronales Netrwerk bezeichnet. Bei assoziativen Neuronen werden häufig verschiedene Versionen dessen, was als Hebb-Regel bekannt ist, verwendet. Gemäß der Hebb-Regel wird der Gewichtungskoeffzient immer vergrößert, wenn der dem Gewichtungskoeffizienten entsprechende Eingang aktiv ist und der Ausgang des Neurons aktiv sein soll. Die Änderung der Gewichtungskoeffizienten gemäß den Algorithmen wird als das Training des neuronalen Netrwerks bezeichnet.
Aus früher bekannten künstlichen Neuronen können neuronale Netzwerke durch paralleles Verbinden von Neuronen zur Bildung von Schichten und durch Anordnen der Schichten nacheinander zusammengesetzt werden. Rückkopplung kann in den Netzwerken implementiert werden, indem Ausgangssignale als Eingangssignale zurückgespeist werden. Das Netzwerk der Erfindung umfasst keine Rückkopplung, daher sind die am engsten verwandten entsprechenden Netzwerke das Einschicht-Perzeptron, Mehrschicht-Perzeptron und Radial-Basis-Netzwerke. Das charakteristische Merkmal dieser Netzwerke besteht darin, dass der Betrieb auf der Anpassung der Gewichtungskoeffizienten der Eingänge durch unterschiedliche Algorithmen beruht.
Die früher bekannten neuronalen Nerzwerke sind jedoch nicht im Stande, ein zeitlich serielles Signal mit einem anderen Signal zu assoziieren.
Kurzbeschreibung der Erfindung
Aufgabe der Erfindung ist die Bereitstellung eines Verfahrens und einer Ausrüstung, die das Verfahren implementiert, bei dem die obigen Probleme des Trainierens eines neuronalen Netzwerks gelöst werden können. Genauer ausgedrückt besteht die Aufgabe der Erfindung in der Bereitstellung eines Mechanismus, durch den das neuronale Netzwerk ein zeitlich serielles Signal mit einem anderen Signal, d. h. Konzeptsignal, auf der Basis einer minimalen Trainingsperiode assoziieren kann.
Die Aufgaben der Erfindung werden durch das Verfahren und die Ausrüstung ollbracht, die durch das in den unabhängigen Ansprüchen Erwähnte gekennzeichnet sind. Die bevorzugten Ausführungsformen der Erfindung sind in den unabhängigen Ansprüchen beansprucht.
Die Erfindung beruht auf assoziativer Erweiterung des neuronalen Netzwerks durch auf geeignete Weise verbundene Speichereinrichtungen und auf der Auswahl des Ausgangssignals von nur einigen Neuronen, deren Ausgangssignal das am wahrscheinlichsten korrekte ist. Das Ziel ist gewöhnlich, eine unzweideutige Auswahl zu erreichen, und daher wird das Ausgangssignal von höchstens einem Neuron auf einmal gewählt.
Die Erfindung kann durch Erweitern eines herkömmlichen neuronalen Netzwerks mit mehreren assoziativen Neuronen, von denen jedes mehrere assoziative Eingänge zum Empfangen assoziativer Signale und einen Konzepteingang zum Empfangen eines Konzept-Eingangssignals aufweist, implementiert werden. Das neuronale Netzwerk der Erfindung umfasst ferner:
Speichereinrichtungen, die angeordnet sind, um die zeitlich sequentiellen Eingangssignale des neuronalen Netzwerks in zeitlich parallele Signale umzuwandeln, die mit den assoziativen Eingängen der Neuronen wirksam verbunden werden; und
Auswahleinrichtungen, die angeordnet sind, um auf der Basis mindestens eines vorbestimmten Kriteriums das Ausgangssignal von nur einigen der Neuronen, vorzugsweise von höchstens einem Neuron auf einmal auszuwählen.
Die zeitlich sequentiellen Eingangssignale des neuronalen Netzwerks (assoziative Eingänge und Konzepteingänge) werden vorzugsweise in Signalgruppen zusammengesetzt. Bei der vorliegenden Anmeldung umfasst die Bezeichnung "Gruppe" auch die Option, dass höchstens ein Signal auf einmal in jeder Gruppe aktiv ist. Dies kann entweder durch Verbinden des neuronalen Netzwerks mit einem System, wobei die Bedingung automatisch erfüllt wird, oder durch Ergänzen des neuronalen Netzwerks um Auswahleinrichtungen, die sicherstellen, dass höchstens ein Signal gleichzeitig in jeder Gruppe aktiv ist, implementiert werden.
Der Vorteil des Verfahrens oder neuronalen Netzwerks der Erfindung besteht darin, dass es nach der Trainingsperiode möglich ist festzustellen, welches Neuron ein Signal ausgegeben hat, das den assoziativen Signalen am besten entspricht. Das einfachste Verfahren, dies zu tun, ist das Zählen der Anzahl anregender oder aktiver assoziativer Signale, die einem (synaptischen Gewichtungskoeffizienten) im Neuron entsprechen. Das Neuron mit der größten Anzahl solcher Signale ist dann das anzuregende. Wenn die Technologie der vorliegenden Anmeldung verwendet wird, werden eigentlich nicht die Werte der Ausgangssignale der Neuronen berechnet, sondern die Anregungswerte. Das am stärksten angeregte Neuron liefert am schnellsten ein Ausgangssignal, wobei der Wert des Signals z. B. genau eins ist, ungeachtet der Anregungsstärke. Die Stärke des Ausgangssignals kann auch von der Stärke des Anregungssignals abhängen.
Das neuronale Netzwerk der Erfindung lernt schnell: Sogar mindestens ein Beispiel kann genügen. Unmittelbar nach dem Training ist das Netzwerk in der Lage, Verallgemeinerungen zu machen: Wenn ein bestimmter minimaler Teil eines seriellen Signals einem dem Netzwerk gelehrten Signal entspricht, bildet das Netzwerk als Reaktion das Konzept, das es gelernt hat. Der erfindungsgemäße Mechanismus ist flexibel und vielseitig, so dass das neuronale Netzwerk so weithin wie möglich angewandt werden kann. Der Mechanismus ist auch relativ einfach, daher bleiben die Kosten des Aufbaus des neuronalen Netzwerks niedrig.
Kurzbeschreibung der Zeichnungen
Im Folgenden wird die Erfindung mittels bevorzugter Ausführungsformen unter Bezugnahme auf die beiliegenden Zeichnungen detaillierter beschrieben; es zeigen:
1 eine allgemeine Ansicht eines künstlichen Neurons,
2 eine allgemeine Ansicht eines neuronalen Netzwerks der Erfindung,
3 bis 6 eine beispielhafte Veranschaulichung von Verfahren zum Implementieren der Details eines einzigen Neurons im neuronalen Netzwerk,
7 ein Verfahren zum Implementieren der Auswahlschaltung des neuronalen Netzwerks der Erfindung, und
8 ein Verfahren zum Implementieren der Speicherschaltung des neuronalen Netzwerks der Erfindung.
Detaillierte Beschreibung der Erfindung
In 2 sind die Eingangssignale des neuronalen Netrwerks der Erfindung assoziierende Signale (Signalgruppen) G1 bis Gj und Konzeptsignale CS1 bis CSm. 2 zeigt ein Beispiel, bei dem die assoziierenden Signale in j Gruppen zusammengesetzt worden sind aber die Konzeptsignale CS1 bis CSm nur eine Gruppe bilden. Andere Anordnungen sind ebenfalls möglich. Eingangssignale können z. B. in Verbindung mit Spracherkennung verwendet werden, so dass während der Trainingsperiode die serielle Präsentation von Sprache an mindestens eine assoziierende Signalgruppe G1 bis Gj geliefert wird und die erkennbaren Konzepte (vom System erkannte getrennte Phoneme, Kommandos usw.) an die Konzepteingänge CS1 bis CSm geliefert werden. Signale O1 bis Om sind Ausgangssignale des neuronalen Netrwerks (z. B. vom neuronalen Netzwerk erkanntes Phonem, Wort oder Kommando).
Die seriellen (zeitlich sequentiellen) Signalgruppen G1 bis Gj des neuronalen Netrwerks werden durch Speichereinrichtungen MEM an die Eingänge der Neuronen N1 bis Nm des neuronalen Netrwerks angepasst. Bei der Ausführungsform von 2 sind die Speichereinrichtungen MEM in j*q Matrizen M11 bis Mjq angeordnet, wobei j der Anzahl Signalgruppen G1 bis Gj entspricht und q auf der Basis dessen, wie lang zeitlich zurück der Speicher MEM sich erinnern soll, bestimmt wird. Die zeitlich parallelen Ausgangssignale A111 bis Ajql der Speicherschaltungen M11 bis Mjq sind mit den assoziativen Eingängen jedes assoziativen Neurons N1 bis Nm verbunden. Die assoziativen Eingänge aller Neuronen N1 bis Nm können einfach parallel verbunden sein. Zwischen den assoziativen Eingängen eines einzelnen Neurons ist keine Hierarchie nötig, aber die Eingänge entsprechen direkt den Eingängen A₁ bis A_n des Neurons von 3. Wenn das neuronale Netzwerk in Betrieb ist, regen die zeitlich parallelen Signale A111 bis Ajql assoziierte neuronale Signale in Neuronen N1 bis Nm an. Das am schnellsten angeregte oder aktivierte Ausgangssignal ist das Ausgangssignal des Neurons, das mit der größten Anzahl assoziierender Signale angeregt worden ist. Die mit den Ausgangssignalen der Neuronen N1 bis Nm verbundene Auswahlschaltung SELa wählt dann auf der Basis eines Kriteriums (z. B. Aktivierungsrate oder -reihenfolge) das am wahrscheinlichsten korrekte Ausgangssignal.
Es kann eine oder mehrere assoziierende Eingangssignalgruppen G1 bis Gj geben. In jeder Signalgruppe G1 bis Gj kann höchstens ein Signal auf einmal aktiv sein. Dies kann sichergestellt werden entweder durch a) Verwenden eines neuronalen Netzwerks in einer Umgebung, in der in jeder Signalgruppe höchstens ein Signal auf einmal aktiv ist, oder durch b) zwischen den Speichereinrichtungen MEM und den jeder Signalgruppe G1 bis Gj entsprechenden Eingängen Anordnen von Auswahleinrichtungen oder -schaltungen SELi bis SELj, die höchstens ein Signal in jeder Signalgruppe auswählen, z. B. das am schnellsten zu aktivierende.
Im Folgenden werden die Details des neuronalen Netzwerks der Erfindung eingehender untersucht. Die 3 bis 6 beziehen sich auf die Details eines einzelnen Neurons.
Das Neuron von 3 weist einen Hauptsignaleingang S und eine willkürliche Anzahl Hilfssignaleingänge A₁, A₂, ... , A_n auf. Die 3 bis 6 zeigen ein erweitertes Neuron, das auch mindestens einen Steuer- oder steuernden Eingang C und mindestens einen Unterdrückungseingang I (I für "Inhibit" = Unterdrücken) und mehrere Ausgänge aufweist. Im Beispiel von 2 sind die Ausgänge des Neurons S_o, Y_o, N_o und N_a. Die Eingangs- und Ausgangssignale können z. B. Spannungspegel oder Binärsignale sein. In seiner am wenigsten komplizierten Form weist das neuronale Netzwerk in jedem Neuron genau einen Hauptsignaleingang S auf.
Blöcke 21₁, 21₂, ... , 21_n sind Synapsen des Neurons, in denen der dem betroffenen Hilfssignal A₁, A₂, ... , A_T, entsprechende Gewichtungskoeffizient gespeichert wird. In der Praxis sind die Synapsen z. B. Schaltungseinheiten. Block 12 ist eine Summierungsschaltung, in der die Ausgangssignale At₁, ... , At₃ der Synapsen 21₁, 21₂, ... , 21_n summiert werden. Block 13 ist eine Schwellenwertoperationsschaltung, die einfach als Vergleichen implementiert werden kann, der nur ein aktives Ausgangssignal liefert, wenn sein Eingangssignalpegel, d. h. der Ausgangssignalpegel der Summierungsschaltung 12, den voreingestellten Schwellenwert überschreitet.
Block 22 wird als der Kern des Neurons bezeichnet. Seine Aufgabe sind z. B. die Abstimmung und Anpassung des Hauptsignals S auf der Basis des Ausgangssignals der Schwellenwertoperationsschaltung 13 und Bildung logischer Operationen und/oder Funktionen zwischen den Signalen. Besonders nützliche logische Operationen sind das logische OR (Signal S_o) und das logische AND (Signal Y_o). Andere logische Operationen können auch auf dieselbe Weise wie AND verwendet werden, so dass das Hauptsignal S zuerst invertiert wird (Signal N_o), oder so dass das Ausgangssignal V der Schwellenwertoperationsschaltung 13 zuerst invertiert wird (Signal N_a).
Bei einer bevorzugten Ausführungsform der Erfindung weist der Kern 22 auch eine Schaltungsanordnung auf, die das Ausgangssignal S_o deaktiviert, wenn eine bestimmte Zeitperiode ab der Initüerung des Signals verstrichen ist, ungeachtet dessen, was in den Eingängen des Neurons geschieht. Die Schaltungsanordnung kann auch darauf achten, dass ein neuer Ausgangsimpuls nicht initiiert werden kann, bis eine bestimmte Erholungsperiode verstrichen ist. Mit dem Kern 22 kann auch ein unterdrückendes Eingangssignal I (I für "Inhibit" = Unterdrücken) verbunden werden, das bei Aktivierung alle Ausgänge unterdrückt (zwingt sie in einen inaktiven Zustand). Das Steuereingangssignal C (C für "Control" = Steuern) steuert das Lernen der Synapsen.
Die 4 bis 8 zeigen eine Ausführungsform, bei der die Eingangs- und Ausgangssignale Spannungssignale sind. Das Signal wird als "aktiv" bezeichnet, wen seine Spannung positiv ist, und als "inaktiv", wenn seine Spannung im Wesentlichen null ist.
4 zeigt ein Verfahren zum Implementieren der Synapsen 21₁ bis 21 _n des Neurons von 3. Bei dieser Lösung wird die dem Gewichtungskoeffizienten der Synapse entsprechende Spannung immer durch einen Widerstand 41 und eine Diode 42 in einem Kondensator 43 gespeichert, wenn das Hilfssignal A₁ und das Hauptsignal S gleichzeitig aktiv sind. (Eine mögliche Assoziierung zwischen dem Hauptsignal S und dem Abstimmsignal K ist in Zusammenhang mit Gatter 632 von 6 beschrieben.) Der Widerstand 41 und der Kondensator 43 definieren eine Zeitkonstante, um die die Spannung des Kondensators 43 anwächst. Die Diode 42 hindert die Spannung daran, sich durch ein AND-Gatter 40 zu entladen. Die Spannung von Kondensator 48 wird an einen als Spannungsfolgen funktionierenden Operationsverstärker 44 geliefert, wobei die Eingangsimipedanz des Verstärkers sehr hoch ist (d. h. die durch ihn verursachte Entladung des Kondensators 43 ist unbedeutend). Der Ausgang der Synapse ist Signal At₁, das vom Eingangssignal A₁ erhalten wird, indem es durch eine Diode 45 und einen Widerstand 46 auf dem Spannungspegel verriegelt wird, der dem Gewichtungskoeffizienten entspricht. Ein zweiter Spannungsfolgen 47 puffert das Ausgangssignal. Wenn das Eingangssignal A₁ aktiv ist, ist das Ausgangssignal At₁ immer proportional zum aktuellen Wert des Gewichtungskoeffizienten.
5 zeigt ein Verfahren zum Implementieren des Summierungsblocks 12 des Neurons von 3. Die von den Synapsen 21₁ bis 21₃ erhaltenen Spannungen At₁ bis At₃ werden von einem Widerstandsnetzwerk 50 bis 53 summiert. (Es ist leicht erkennbar, dass die Anzahl der Eingänge At₁ bis At₃ und die der Widerstände 51 bis 53 willkürlich ist.) Die Schwellenwertoperation wird in einem Vergleichen 54 ausge führt, und die Schwellenwertoperation ist hier abrupt, so dass der Ausgang des Vergleichens 54 nur aktiv ist, wenn die summierte Spannung U im positiven Eingang des Vergleichens 54 den Schwellenwert im negativen Eingang überschreitet (wobei der Schwellenwert beim Beispiel von 5 die Ausgangsspannung einer Konstantspannungs-Stromquelle 55 ist).
6 zeigt ein Verfahren zum Implementieren des Kerns 22 des Neurons von 3. Eine OR-Schaltung 602 generiert ein Ausgangssignal S_o, wenn das eingegebene Hauptsignal S aktiv ist oder die der Schwellenwertoperation unterzogene summierte Spannung V aktiv ist. Der Kern 22 enthält einen von einer gestrichelten Linie umgebenen Block 606, wobei der Block als eine Verzögerungsschaltung funktioniert. Bei dem Beispiel von 6 weist die Verzögerungsschaltung 606 einen Puffer 608 und einen Inverter 610, Widerstände 612 bis 614 und Kondensatoren 616 bis 618 auf. Normalerweise ist der Ausgang der Verzögerungsschaltung 606 aktiv, daher erlaubt ein AND-Gatter 604 den Durchgang eines Ausgangssignals. Wenn die durch den Aufbau der Komponenten der Verzögerungsschaltung 606 verursachte Verzögerung verstrichen ist, erreicht der invertierte Ausgang das AND-Gatter 606 und deaktiviert den Ausgang S_o. Der Ausgang S_o kann nicht wieder aktiviert werden, bis der verzögerte Ausgangsimpuls am Ausgang der Verzögerungsschaltung 606 zu Ende ist. Eine logische AND-Operation Y_o wird durch die AND-Schaltung 620 gebildet, wobei das erste Element in der Operation das Hauptsignal S ist und das zweite Element ein summiertes Signal V ist, das durch die Gewichtungskoeffizienten der Hilfssignale A1 bis An gewichtet und anschließend einer Schwellenwertoperation unterzogen wird. Von einer AND-Schaltung 622 wird eine entsprechende AND-Operation N_o gebildet, mit der Ausnahme, dass der inverse Wert des Hauptsignals 5 von einer NO-Schaltung 626 zuerst gebildet wird (d. h. das Signal wird invertiert). Die entsprechende AND-Operation N_a wird von einer AND-Schaltung 624 gebildet, mit der Ausnahme, dass das der Schwellenwertoperation unterzogene summierte Signal V zuerst von einer NO-Schaltung 628 invertiert wird. Alle Ausgänge können durch ein I-Signal, welches (hier) durch eine NO-Schaltung 630 invertiert und dann in der invertierten Form an die AND-Schaltungen 620 bis 624 geliefert wird, unterdrückt werden. Die Synapsen werden durch ein K-Signal gemäß der Hebb-Regel gesteuert (vgl. 2). Ein Steuersignal C dient zum Definieren, wann Lernen überhaupt erlaubt ist. Die Generierung des Abstimmsignals K wird von der AND-Schaltung 632 unterdrückt, wenn das Steuersignal C inaktiv ist. 6 zeigt einen erweiterten Kern 22. Der wesentlichste Teil ist die OR-Schaltung 602, die Ausgangssignale S_o generiert, und die AND-Schaltung 632, die steuert, wann Lernen erlaubt ist. Die anderen Schaltungen stellen optionale zusätzliche Funktionen bereit.
7 zeigt ein Verfahren zum Implementieren von Auswahlschaltungen SELa, SELb und SEL1 bis SELj. Der Betrieb der Schaltung ist wie folgt. Wenn alle Eingangssignale IP1 bis IP4 null sind, sind die Ausgänge von AND-Schaltungen 71 bis 74 null, und die Ausgänge der NOR- (ORNOT-) Schaltungen sind eins. Wenn sich z. B. das Eingangssignal IP2 in eins ändert, ändert sich der Ausgang der entsprechenden AND-Schaltung 72 in eins, und die Ausgänge der NOR-Schaltungen 75, 77 und 78, die den anderen Eingängen entsprechen, ändern sich in null, was die anderen Ausgänge OP1, OP3 und OP4 zwingt, sich in null zu ändern, obwohl sich die ihnen entsprechenden Eingänge in eins ändern würden.
Bei der Schaltung von 7 wird angenommen, dass a) die Schaltung höchstens ein Signal auf einmal hindurchlassen soll, b) das Auswahlkriterium die Reihenfolge ist, in der die Eingangssignale der Schaltung aktiv werden c) die Signale zwei Zustände haben (aktiv und passiv), wobei der aktive Zustand einer logischen Eins entspricht, und d) die Anzahl der Signale 4 ist. Die zuletzt erwähnte Einschränkung lässt sich im Umfang desselben Gedankens leicht erweitern. Die Schaltung von 7 kann so umgewandelt werden, dass sie mehrere Signale, die nahezu gleichzeitig aktiv werden, hindurchlässt. Dies kann durch Implementieren eines bestimmten Zeitfensters in der Schaltung ausgeführt werden, z. B. durch Verwenden einer synchronen Logik in der Schaltung, wodurch alle während desselben Taktimpulses stattfindenden Änderungen als gleichzeitig angesehen werden. In der Praxis könnte die Anordnung z. B. so implementiert werden, dass bei nahezu gleichzeitigem Aktivwerden der Ausgangssignale mehrerer Neuronen N1 bis Nm eine Situation eintritt, bei der das neuronale Netzwerk ein assoziierendes Signal (Sprache, Muster usw.) nicht unzweideutig zu erkennen vermag. Die endgültige Auswahl kann hier dem Benutzer oder einer anderen Denklogik (nicht gezeigt) überlassen werden. Die normale Situation und die angestrebte Situation sind jedoch die, dass das neuronale Netzwerk selbst das am schnellsten anzuregende Neuron auswählt.
8 zeigt ein Verfahren zum Implementieren eines Elements der Speicherschaltungen M11 bis Mjq. In jedem Speicherblock M11 bis Mjq gibt es so viele Schaltungen von 8 wie es einzelne Signale in der betreffenden Eingangssignalgruppe G1 bis Gj gibt (in Speicherblock M11 gibt es z. B. k Schaltungen von 8). IP steht für Eingang ("input"), und OP steht für Ausgang ("output"). Wenn ein aktives Signal (hier: ein logisches) an den Eingang IP geliefert wird, wird die entsprechende Spannung in einem Kondensator 808 gespeichert (durch einen Puffer 802, eine Diode 804 und einen Widerstand 806). Der Ausgang OP bleibt jedoch passiv (eine logische Null), da eine NO-Schaltung 810 einen Eingang einer AND-Schaltung 812 als Null behält. Wenn das Eingangssignal IP zu null zurückkehrt, ändert sich der Ausgang der NO-Schaltung 810 in eins. Dies und die im Kondensator 808 gespeicherte Spannung bewirken, dass sich das Ausgangssignal OP in eins ändert. Positive Rückkopplung durch eine Diode 814 und einen Widerstand 816 hält den Kondensator 808 geladen, daher bleibt der Ausgang OP aktiv. Die Eingänge I1, I2, ... sind Unterdrückungseinhänge und mit den entsprechenden Ausgängen OP der parallelen Speicherelemente derselben Gruppe verbunden. Wenn sich der Ausgang eines anderen Speicherelements in derselben Gruppe in eins ändert, setzt eine NOR-Schaltung 818 einen Eingang der AND-Schaltung 812 durch einen Widerstand 820 und einen Kondensator 822 auf null. Die positive Rückkopplung der UND-Schaltung 812 wird unterbrochen, wodurch sich der Kondensator 808 durch einen Widerstand 828 entlädt, und der Ausgang OP des Speicherelements bleibt permanent auf null, bis Obiges im Eingang IP wiederholt wird.
Manchmal ist es vorzuziehen, die Dauer des Ausgangssignal des Speicherelements auf einen bestimmten Höchstpegel zu beschränken. Dies kann z. B. durch eine der in Zusammenhang mit 6 beschriebenen Verzögerungsschaltung 606 entsprechenden Schaltung ausgeführt werden. Noch eine andere brauchbare Alternative besteht darin, dass aus den Konzeptsignalen CS1 bis CSm in derselben Weise, wie sie in Verbindung mit den assoziierenden Signalen G1 bis Gj beschrieben wurde, Gruppen gebildet werden. Wenn die Ausgangssignale eines neuronalen Netzwerks als Eingangssignale an das nächste neuronale Netzwerk geliefert werden, ist es natürlich nützlich, wenn in den Ausgängen des ersteren neuronalen Netzwerks der gleichen Hierarchie gefolgt wird wie in den Eingängen des letzteren neuronalen Netzwerks.
In der Praxis ist eine riesige Anzahl Neuronen (gewöhnlich 10⁴ bis 10⁶) in neuronalen Netzwerken erforderlich. Das Neuron der Erfindung kann durch einen für Großintegration geeigneten Prozess implementiert werden, z. B. durch die EEPROM-Technik, die zur Herstellung der durch Halbleiter implementierten Sprachspeicherschaltungen angewandt wird. Alternativ können die Neuronen und das neuronale Netzwerk durch ein in einem digitalen Prozessor ausgeführtes Computerprogramm simuliert werden. Die den Gewichtungskoeffizienten der Synapsen der Neuronen entsprechenden Werte werden hier an Speicherplätzen (z. B. in einer Matrixvariable) gespeichert, und die anderen Teile des Neurons und des neuronalen Netzwerks werden durch Software-Logik implementiert.
Die Erfindung kann in Bereichen angewandt werden, in denen Informationen unter Verwendung ausgedehnter künstlicher neuronaler Netzwerke verarbeitet werden. Zu den Bereichen gehören z. B. Verarbeitung audiovisueller Informationen, Interpretation sensorischer Informationen im Allgemeinen und von Sprache und Bild im Besonderen und Bildung von Widerstand. Die Erfindung ist auf vielen modernen Gebieten der Industrie anwendbar, wie z. B. Mensch-Maschine-Schnittstellen, persönliche elektronische Assistenten und/oder Kommunikationseinrichtungen, Multimedia, virtuelle Realität, Robotertechnik, künstliche Intelligenz und künstliche Kreativität. Eine mögliche Ausführungsform ist eine, bei der die Wörter und Konzepte kombiniert werden. An die Eingänge G1 bis Gj werden hier Signale geliefert, die den zeitlich sequentiellen Phonemen eines Worts entsprechen. Die assoziierenden Konzepte werden an die Eingänge CS1 bis CSm geliefert. Nach der Assoziierung regen einem bestimmten Wort entsprechende und an die Eingänge G1 bis Gj gelieferte Signale ein entsprechendes Konzept an, selbst wenn das an die Eingänge G1 bis Gj gelieferte Signal verzerrt und unvollständig ist. Die Auswahlschaltung SELa stellt hier sicher, dass das Konzept, das am stärksten (durch die meisten Assoziierungen) angeregt worden ist und das am wahrscheinlichsten korrekte ist, ausgewählt wird.
Einem Fachmann ist klar, dass angesichts des technologischen Fortschritts der Grundgedanke der Erfindung auf vielerlei Weise implementiert werden kann. Die Erfindung und ihre Ausführungsformen sind daher nicht auf die obigen Beispiele beschränkt, sondern sie können innerhalb des Umfangs der Ansprüche variieren.

Claims

Verfahren zum Bilden von Ausgangssignalen eines assoziativen künstlichen neuronalen Netzwerks mit mehreren assoziativen Neuronen (1 bis Nm), von denen jedes eine Anzahl paralleler assoziativer Eingänge (A1 bis An) zum Empfangen assoziativer Signale und einen Konzepteingang (S) zum Empfangen eines Konzept-Eingangssignals aufweist, wobei das Verfahren die Schritte umfasst, bei denen: zumindest eine Gruppe (G1 bis Gj) zeitlich sequentieller assoziativer Eingangssignale (G11 bis Gjl) empfangen wird, die Signale (G11 bis Gjl) jeder Gruppe an Speichereinrichtungen (MEM) geliefert werden, um sie in zeitlich parallele assoziierende Signale (A111 bis Ajql) umzuwandeln, die an die assoziierenden Eingänge (A1 bis An) der Neuronen (N1 bis Nm) wirksam geliefert werden, gekennzeichnet durch Sicherstellen, dass in jeder Gruppe (G1 bis Gj) höchstens ein Signal auf einmal aktiv ist, und Auswählen eines Ausgangssignals (O1 bis Om) von einem Neuron (N1 bis Nm) auf einmal auf der Basis mindestens eines vorbestimmten Kriteriums.
Assoziatives künstliches neuronales Netzwerk, mit mehreren assoziativen Neuronen (N1 bis Nm), von denen jedes mehrere parallele assoziative Eingänge (A1 bis An) zum Empfangen assoziativer Signale und einen Konzepteingang (S) zum Empfangen eines Konzept-Eingangssignals aufweist, Speichereinrichtungen (MEM), die angeordnet sind, um die zeitlich sequentiellen Eingangssignale (G11 bis Gjl) des neuronalen Netzwerks in zeitlich parallele Signale (A111 bis Ajql) umzuwandeln, die mit den assoziativen Eingängen (A1 bis An) der Neuronen (N1 bis Nm) wirksam verbunden werden, dadurch gekennzeichnet, dass das neuronale Netzwerk ferner aufweist erste Auswahleinrichtungen (SELa), die angeordnet sind, um auf der Basis mindestens eines vorbestimmten Kriteriums ein Ausgangssignal (S_o) von höchstens einem Neuron (N1 bis Nm) auf einmal auszuwählen.
Neuronales Netzwerk nach Anspruch 2, dadurch gekennzeichnet, dass die ersten Auswahleinrichtungen (SELa) angeordnet sind, um auf der Basis der Reihenfolge, in der die Ausgangsignale (S_o) der verschiedenen Neuronen (N1 bis Nm) aktiv werden, ein Ausgangssignal (S_o) auszuwählen.
Neuronales Netzwerk nach Anspruch 3, dadurch gekennzeichnet, dass die ersten Auswahleinrichtungen (SELa) angeordnet sind, um das Ausgangssignal (S_o) von dem Neuron (N1 bis Nm) auszuwählen, das am schnellsten aktiv wird.
Neuronales Netrwerk nach Anspruch 2, dadurch gekennzeichnet, dass es ferner zweite Auswahleinrichtungen (SELb) aufweist, um sicherzustellen, dass das Konzept-Eingangssignal (S_o) von höchstens einem Neuron (N1 bis Nm) auf einmal aktiv ist.
Neuronales Netzwerk nach Anspruch 2 oder 5, dadurch gekennzeichnet, dass die zeitlich sequentiellen Eingangssignale (G11 bis Gjl) in Gruppen (G1 bis Gj) angeordnet sind.
Neuronales Netrwerk nach Anspruch 6, dadurch gekennzeichnet, dass es mit einem System verbunden ist, in welchem höchstens ein Signal auf einmal (G1 bis Gj) in jeder Gruppe aktiv ist.
Neuronales Netrwerk nach Anspruch 6, dadurch gekennzeichnet, dass es ferner dritte Auswahleinrichtungen (SEL1 bis SELj) aufweist, um sicherzustellen, dass höchstens ein Signal auf einmal in jeder Gruppe (G1 bis Gj) aktiv ist.
Neuronales Netrwerk nach Anspruch 6, dadurch gekennzeichnet, dass die Konzept-Eingangssignale (CS1 bis CSm) ebenfalls in Gruppen angeordnet sind.
Neuronales Netzwerk nach einem der Ansprüche 2 bis 9, dadurch gekennzeichnet, dass die Speichereinrichtungen (MEM) in einer Matrix von Blöcken (M11 bis Mjq) angeordnet sind, worin eine Dimension (j) der Matrix auf der Basis der Zahl der assoziierenden Eingangssignalgruppen (G1 bis Gj) bestimmt ist und die andere Dimension (q) auf der Basis davon bestimmt ist, wie weit zurück in der Zeit sich die Speichereinrichtungen (MEM) erinnern sollen, und die Zahl separater Speicherelemente in jedem Block auf der Basis der Zahl von in der betreffenden Gruppe (G1 bis Gj) enthaltenen Signale bestimmt ist.
Neuronales Netzwerk nach einem der Ansprüche 2 bis 10, dadurch gekennzeichnet, dass es ferner eine Einrichtung (606) zum Einstellen einer oberen Grenze für die Periode aufweist, wann das Ausgangssignal (O1 bis Om) aktiv ist.
Neuronales Netzwerk nach einem der Ansprüche 2 bis 11, dadurch gekennzeichnet, dass es als eine Mikroschaltung implementiert ist.
Neuronales Netzwerk nach einem der Ansprüche 2 bis 11, dadurch gekennzeichnet, dass es durch einen geeignet programmierten Computer implementiert ist.