DE68927014T2

DE68927014T2 - Assoziatives Musterkonversionssystem und Anpassungsverfahren dafür

Info

Publication number: DE68927014T2
Application number: DE68927014T
Authority: DE
Inventors: Ryohei C O Ezel Kumagai; Sunao C O Ezel Takatori; Makoto C O Ezel Yamamoto
Original assignee: Yozan Inc; Sharp Corp
Current assignee: Yozan Inc; Sharp Corp
Priority date: 1988-01-11
Filing date: 1989-01-11
Publication date: 1997-01-23
Anticipated expiration: 2009-01-12
Also published as: GR890300174T1; US5416850A; US5506915A; DE327817T1; EP0327817B1; EP0327817A2; EP0327817A3; US5040230A; DE68927014D1

Description

Die vorliegende Erfindung betrifft ein Assoziativmusterumwandlungssystem sowie ein Adaptionsverfahren für ein Assoziativmusterumwandlungssystem.
Herkömmlicherweise wurde eine Mustergleichheitsprüfung auf eine Zeichenerkennung oder eine akustische Erkennung angewendet. Auf eine solche Erkennung hin ist es unmöglich gewesen, ein Eingangssignal exakt zu bewerten, es sei denn, es besteht eine hohe Koinzidenz zwischen dem Eingangssignal und dem aufgezeichneten Muster.
Andererseits sind verschiedene Modelle neuronaler Netzwerke basierend auf einem Neuronenmodell vorgeschlagen worden. Das in Fig. 1 gezeigte Neuronenmodell wurde von W. S. McCulloch und W. H. Pitts im Masachusetts Institute of Technology in den Vereinigten Staaten von Amerika 1943 bekanntgegeben. Es wurde dann gezeigt, daß Assoziativmustergleichheitsprüfung unter Verwendung des neuronalen Netzwerks von F. Rosenblatt möglich ist.
Allerdings ist es unmöglich, ein neuronales Netzwerk in einer integrierten Schaltung zu realisieren: das heißt, es ist unmöglich, die Schaltung mit praktikabler Aussicht unter Verwendung der gesamten vorliegenden Halbleitertechnologie zu realisieren, weil eine enorme Anzahl an Ausgangsstiften erforderlich sind, um das assoziative Muster auszugeben.
Wenn beispielsweise ein Zeichen als ein Binärmuster von 32 32 Punkten eingegegeben wird, sind 10&sup6; (= (32²)²) Neuronen erforderlich, um die Eingabe als orthogonale Daten zu verarbeiten und 10&sup6; Ausgangsstifte sind notwendig, um das Zündmuster all dieser Neuronen auszugeben.
Es hat Versuche gegeben, Neuronenmodelle durch Software oder Hardware zu realisieren.
Bei der Realisierung durch Software wird ein enormer Speicher verbraucht und die Prozeßgeschwindigkeit ist weit entfernt vom praktischen Einsatz.
Bei der Realisierung durch Hardware ist das System aufgrund seines Mangels an Flexibilität nicht für leichte Modifikationen des Neuronenmodells einsetzbar. Das Neuronenmodell mußte üblicherweise vereinfacht werden, da es schwierig ist, daß das Neuronenmodell in strikten Sinn elektronisch wieder erscheint.
Aus D.E. Rummelhart et al.: "Parallel Distributed Processing", Vol. 1: "Foundations", 1986, Seiten 319-362, MIT Press, Cambridge, USA, ist ein Lernverfahren für neuronale Netzwerke bekannt. Gemäß diesem Verfahren verwendet das Netzwerk zuerst einen Eingabevektor, um seinen eigenen Ausgabevektor zu erzeugen und vergleicht dann diesen mit dem erwünschten Ausgabe- oder Zielvektor. Falls keine Differenz vorhanden ist, findet kein Lernen statt. Anderenfalls werden die Gewichte geändert, um die Differenz zu verringern. Die Regel zur Änderung der Gewichte ist gegeben durch Δpwji = η(tpj - opj)ipi = ηδpjipj wobei tpj die Zieleingabe für die j-te Komponente des Ausgabemusters für das Muster p ist, opj das j-te Element des tatsächlichen Ausgabemusters ist, welches durch die Darstellung des Eingangsmusters p erzeugt wird, ipi der Wert des i-ten Elements des Eingabemusters ist, dpj = tpj - opj, und Δpwij ist die Änderung, die an dem Gewicht von der i-ten zur j-ten Einheit gemacht wird, wobei der Darstellung des Musters p gefolgt wird.
Aus den AIP Conference Proceedings 151, "Neural Networks For Computing", 1986, Snowbird, UT, Seiten 265-270, A.H. Klopf "A drive-reinforcement model of single neuron function: an alternative to the Hebbian neuronal model", ist ein neuronaler Lernmechanismus bekannt, der das grundlegende Lernphänomen bei Tieren, das beobachtet worden ist, berücksichtigt. Das Dokument erwähnt weiterhin eine neuronale Eingabe-Ausgabe- Beziehung gemäß der folgenden Formel y(t) = wi(t)xi(t)-θ, wobei y(t) ein Maß der postsynaptischen Frequenz des Feuerns zur einer diskreten Zeit t ist; n die Anzahl von Synapsen ist, die auf das Neuron treffen; wi die Wirksamkeit der Synapse i ist; xi ein Maß der Frequenz des Aktionspotentials an der Synapse i ist; und θ der neuronale Schwellwert ist. Das Dokument behauptet weiterhin, daß der Hebb'sche Lernmechanismus wie folgt spezifiziert werden kann: Δwi(t) = cxi(t)y(t), wobei c eine Lernratenkonstante ist und die anderen Symbole wie oben definiert sind.
Jacobs offenbart in "Increased Rates of Convergence Through Learning Rate Adaptation", Neural Networks 1 (1988), New York, das Ändern der momentanen (t+1) Wichtungsdaten durch Multiplizieren des Wichtungslernwerts, der gleich der Differenz zwischen den Referenzdaten d(t) ("erwünschte Antwort") und den Ausgabedaten y(t) multipliziert mit den Eingabedaten x(t) ist, mit einem wichtungssabhängigen Koeffizienten E(t+1) : E(t+1) wird durch δE in bezug auf E(t) in Abhängigkeit von Ableitungen des Fehlers J geändert. Der Fehler seinerseits hängt von dem derzeitigen Gewicht ab: J(t) = 1/2 kw² (t).
Es ist Aufgabe der vorliegenden Erfindung, ein Assoziativmusterumwandlungssystem sowie ein Adaptionsverfahren für ein Assoziativmusterumwandlungssystem mit einem verbesserten Lernverhalten zu schaffen.
Diese Aufgabe wird durch den Gegenstand des Anspruchs 1 und 5 gelöst. Im folgenden werden bevorzugte Ausführungsformen der vorliegenden Erfindung im Detail im Zusammenhang mit den beigefügten Zeichnungen beschrieben, welche zeigen:
Fig. 1 eine bevorzugte Ausführungsform der vorliegenden Erfindung;
Fig. 2 eine Musterumwandlungsschaltung für die Ausführungsform von Fig. 1;
Fig. 3A-D Diagramme der Ausgabesignale;
Fig. 4A-D Diagramme der Wichtungsvariablen;
Fig. 5 einen Weitenmodifikationsabschnitt umfassend eine Tabelle;
Fig. 6 ein Beispiel zusammengesetzter Daten;
Fig. 7 ein Modell eines N-schichtigen neuronalen Netzwerks;
Fig. 8A-D ein Diagramm, das die Charakteristika von Wichtungsfunktionen zeigt;
Fig. 9 ein Diagramm eines neuronalen Netzwerks, das das erste Lernverfahren zeigt;
Fig. 10 ein Diagramm eines Neurons, daß das erste Lernverfahren zeigt;
Fig. 11 ein Diagramm eines Neurons, daß das zweite Lernverfahren zeigt;
Fig. 12 ein Diagramm eines neuronalen Netzwerks, daß das dritte Lernverfahren zeigt; und
Fig. 13 ein Diagramm eines Neurons, daß das dritte Lernverfahren zeigt.
Eine bevorzugte Ausführungsform der Erfindung ist in den Figuren 1 bis 13 gezeigt.
Das Assoziativmusterumwandlungssystem umfaßt eine Musterumwandlungsschaltung 41, die mit einer MPU 43 durch einen Systembus 42 verbunden ist. Die Musterumwandlungsschaltung 41 ist mit einem Speicher 45 durch einen lokalen Bus 44 verbunden (Fig. 1).
Die Musterumwandlungsschaltung 41 ist im Detail in Fig. 2 gezeigt, in welcher die Verbindung zwischen der Schaltung 41 und dem Speicher 45 zum einfacheren Verständnis vereinfacht ist.
Die Musterumwandlungsschaltung 41 ist mit einem Assoziativabschnitt 46 und einem Lernabschnitt 47 versehen, wobei gemeinsame Schaltungen dieser von beiden Abschnitten gemeinsam genutzt werden, so daß der gesamte Aufbau effizient und klein ist.
Der Assoziativabschnitt 46 umfaßt einen Multiplikationsabschnitt 48, in den Daten von dem Speicher 45 eingegeben werden. Die Ausgabe des Multiplikationsabschnitts 48 wird in einen Addiererabschnitt 49 eingegeben, dessen Ausgabe einmal in einem Register 50 gehalten wird und dann in einen Eingang des Addiererabschnitts 49 zurückgeführt wird. Eingabemusterdaten DI und Daten als Parameter für die Assoziation werden in den Multiplikationsabschnitt 48, der die Daten mit anderen multipliziert, eingegeben. Die Parameter zur Assoziation sind z.B. ein Gewicht W einer Synapse.
Der Addiererabschnitt 49 gibt den Wert DIxW an das Register 50 aus. Die Daten im Register 50 werden durch den Addiererabschnitt 49 zu dem nächsten Multiplikationsergebnis addiert, das Ergebnis der Addition wird in dem Register 50 gespeichert. Zum Schluß wird das folgende Rechnungsergebnis in dem Register 50 gespeichert
Zur Beendigung der Berechnung für die Assoziation hin werden die in dem Register 50 gespeicherten Daten dem Schwellwertabschnitt 51 zugeführt. Der Schwellwertabschnitt 51 vergleicht das Berechnungsergebnis von
mit einem Schwellwert θ, um so eine Ausgabe DO zu bestimmen.
Die Ausgabe DO wird z.B. wie folgt berechnet: wobei Φ( ) eine Regularisierungsfunktion bezeichnet, die eine Darstellung haben kann, wie sie in den Figuren 3(a) oder (b) gezeigt ist. wobei S( ) eine Sigmoid-Funktion bezeichnet, die eine Darstellung haben kann, wie sie in den Figuren 3(c) oder (d) gezeigt ist.
Um dem Schwellwertabschnitt 51 die obige Performance zu geben, ist der Schwellwertabschnitt 51 mit einer elektronischen Logik zur Berechnung oder mit einer Tabelle etc. versehen. Die Tabelle ist angesichts der Flexibilität des Schwellwertabschnitts vorteilhafter als die Logik. Die Performance des Schwellwertabschnitts 51 entspricht der Ausgabeperformance eines Neurons. Was den Multiplikationsabschnitt 48, den Addiererabschnitt 49, das Register 50 und den Schwellwertabschnitt 51 umfaßt, kann Ausgabedaten erzeugender Abschnitt genannt werden.
Der Lernabschnitt 47 hat einen Wichtungsvariablen- Bestimmungsabschnitt 52, in den die Daten DI, DO und Referenzdaten DT eingegeben werden. Die Daten DT sind eine objektive Ausgabe, die von dem Assoziativabschnitt ausgegeben wird.
Der Wichtungsvariablen-Bestimmungsabschnitt 52 führt eine Berechnung wie folgt durch:
(b- i) Berechnung gemäß DI, DO und DT
δ = DT - DO
ΔWR = δ x DI
δ: Abweichung von DO von DT;
ΔWR: Referenzwert der Wichtungsvariable.
Diese Berechnung ist für die Bewertung der Ausgabe DO effektiv, so daß eine positives Lernen (positive education) durchgeführt wird, wenn DO hinreichend richtig ist, oder eine negatives Lernen (negative education) durchgeführt wird, wenn DO nicht richtig ist.
(b- ii) Berechnung gemäß DI und DT
ΔWR = DT x DI
Diese Berechnung ist effektiv für das Lernen der objektiven Ausgabe als Antwort auf die Eingabe.
(b-iii) Berechnung gemäß DI und DO
ΔWR = DO x DI
Diese Berechnung ist effektiv zur Bewertung der Ausgabe im Makroblickpunkt, so daß eine positives Lernen durchgeführt wird, wenn DO im Makroblickpunkt korrekt ist oder eine negatives Lernen durchgeführt wird, wenn DO im Makroblickpunkt nicht korrekt ist.
Die Ausgabe ΔWR von dem Wichtungsvariablen- Bestimmungsabschnitt 52 wird in einen Wichtungsänderungsabschnitt 53 eingegeben, in den ebenfalls das Gewicht W eingegeben wird.
Der Wichtungsänderungsabschnitt 53 multipliziert ΔWR mit einer Effizienz C(W), addiert dann das Multiplikationsergebnis zu dem Gewicht W durch den Addiererabschnitt 49.
W(T+1) = W(T) + C(W) x ΔWR
In dieser Formel bedeutet W(T) das derzeitige Gewicht und W(T+1) bedeutet das geänderte Gewicht. Die Effizienz C(W) ist als eine Funktion des Gewichts W definiert. Die Funktion kann Charakteristika einer monoton abfallenden Funktion, wie in den Figuren 4(a) bis (d) gezeigt, haben. Durch Definieren der Funktion C(W) als monoton abfallende Funktion wird das anfängliche Lernen (initial education) stark progressiv und die Konvergenzgeschwindigkeit wird auch noch hoch.
Der Addiererabschnitt 49 wird sowohl von dem Assoziativabschnitt 46 als auch dem Lernabschnitt 47 gemeinsam verwendet. Eine Auswahleinrichtung 54 ist mit dem Eingang des Addiererabschnitts 49 zum Auswählen der Ausgabe des Registers 50 oder des Wichtungssänderungsabschnitts 53 verbunden. Eine Auswahleinrichtung 55 ist mit dem anderen Eingang des Addiererabschnitts 49 verbunden, um die Ausgabe des Multiplikationsabschnitts 48 oder das Gewicht W auszuwählen. Die Ausgabe des Addiererabschnitts 49 ist mit einer Eingangsleitung zum Schwellwertabschnitt 51 sowie mit einer Leitung zu dem Speicher 45 zur Eingabe/Ausgabe von W verbunden. Die Leitung zu dem Speicher wird durch einen Bus-Puffer 58 gesteuert. Ausgabedaten DO werden durch den Schwellwertabschnitt 51 dem Speicher 45 zugeführt oder durch den Speicher 45 dem Wichtungsänderungsabschnitt 52 zugeführt. Für das Schalten dieser Leitung ist der Ausgang des Schwellwertabschnitts 51 durch einen Bus-Puffer 57 mit dem Eingang/Ausgangsanschluß von DO verbunden.
Der Assoziativabschnitt 46 und der Lernabschnitt 47 können bemerkenswerterweise in ihrer Prozeßgeschwindigkeit dadurch verbessert werden, daß die Schaltung durch eine Hochgeschwindigkeits-LSI aufgebaut ist. In diesem Fall ist, da die Lese- und Schreibgeschwindigkeit des Speichers wesentlich niedriger als die Prozeßgeschwindigkeit des Assoziativabschnitts 46 und des Lernabschnitts 47 ist, ein Puffer 58 mit der Eingabe/Ausgabeleitung für W, DO, DT und DI verbunden. Beim Schreiben werden die Ausgabe von dem Assoziativabschnitt 46 oder dem Lernabschnitt 47 in dem Puffer mit hoher Geschwindigkeit gespeichert, dann werden die gespeicherten Daten in den Speicher 45 mit einer Geschwindigkeit, die für den Speicher 45 geeignet ist, geschrieben. Beim Lesen werden Daten zuerst von dem Speicher in den Puffer 58 übertragen; dann werden die Daten in den Abschnitt 46 oder 47 mit hoher Geschwindigkeit eingegeben. Eine Pipeline-Architektur kann für die Abschnitte 46 und 49 zur weiteren Verbesserung ihrer Prozeßgeschwindigkeit verwendet werden.
Der Speicher 45 kann eine Mehrzahl von Speichern für jeden Datensatz oder einen Einzelspeicher haben, in dem jeder Datensatz einander verschiedenen Bereichen zugeteilt wird. Die MPU 43 kann direkt mit dem Datenbus des Speichers 45 verbunden sein. Es ist auch möglich, eine Grafikcontroller- Schaltung zum Steuern eines großen Speicherbereiches anzuwenden, wenn die Daten eine Menge an Speicherbereich besetzen.
Der Wichtungsänderungsabschnitt 53 kann eine Berechnungsschaltung zum Berechnen von W' aus W und ΔWR sein. Es ist auch möglich, den Abschnitt 53 durch eine Tabelle 61, wie sie in Fig. 5 gezeigt ist, aufzubauen. Zusammengesetzte Daten (Fig. 6), die aus W und ΔWR bestehen, werden in die Tabelle 61 als Adreßbestimmungssignal eingegeben, um so das Berechnungsergebnis, das in der Tabelle 61 gespeichert ist, auszugeben. Die zusammengesetzten Daten können ein Bit-String sein, der W und ΔWR umfaßt. Wenn ein negatives Lernen durchgeführt wird, wird ΔWR von W substrahiert, in anderen Worten wird das Vorzeichen von ΔWR gemäß der Art und Weise des Lernens geändert. In diesem Fall wird ein Bit eines Lernsignals S zu dem Bit-String, wie in den Figuren 2 und 3 gezeigt, addiert. Das Bit S ändert die Adresse, die zu bezeichnen ist, wenn S geändert wird, so daß das Berechnungsergebnis des Wichtungsänderungsabschnitts geändert wird. Wenn der Wichtungsänderungsabschnitt eine Berechnungsschaltung ist, wird das Lernsignal S als ein Steuersignal für die Schaltung verwendet. Es ist auch möglich, das Lernsignal in den Bestimmungsabschnitt für die Wichtungsvariable 12 einzugeben, um so das Vorzeichen von ΔWR zu steuern.
Im folgenden wird das Lernverfahren für das obige System im Detail erklärt.
Das obige Musterumwandlungssystem kann so, wie in Fig. 7 gezeigt, modelliert werden. Das System hat N Schichten, von denen jede n Eingaben und n Ausgaben hat. Jede Schicht kann n Neuronen haben, jede Eingabe der Schicht wird in jedes Neuron in der Schicht eingegeben. Das Lernverfahren wird in Zusammehang mit den Berechnungen von (b-i) bis (b-iii) erklärt.

(b-1)'

Im folgenden werden zum einfachen Verständnis die Eingabedaten DI als Binärdaten von DI1 bis DIn angesehen, und DO werden als Binärdaten angesehen. Deshalb sind DT ebenfalls Binärdaten.
Wenn DO=0, nichtsdestoweniger DT=1, zündet das Neuron, das zu zünden ist, nicht. Dann sollte eine Synapse, in die ein DIi von "1" eingegeben wird, in ihrem Gewicht erhöht werden, so daß das Neuron durch die Eingabe, die zu dieser Zeit eingegeben wird, leichter zünden kann. Während, wenn DO=1, nichtsdestotrotz DT=0, das Neuron, das nicht zu zünden ist, zündet. Dann sollte eine Synapse, in die ein DIi von "1" eingegeben wird, in ihrem Gewicht erniedrigt werden, so daß das Neuron durch die Eingabe, die zu der Zeit eingegeben wird, nicht zünden kann.
Die obige Regel wird mathematisch unter Bezugnahme auf die k- te Synapse des j-ten Neurons in der i-ten Schicht wie folgt dargestellt:
Wijk(T+1) = Wijk(T) + Cijk x V(DIijk) x M(DTij-DOij),
Wijk(T): derzeitiges Gewicht zu dieser Zeit;
Wijk(T+1): Wichtungsänderung durch Bewertung der derzeitigen Ausgabe;
WIijk: derzeitige Eingabe in die Synapse;
DOij: derzeitige Ausgabe von dem Neuron;
DTij: objektive Ausgabe des Neurons;
Cijk: Effizienz der Wichtungsvariable;
V( ) : Bewertungsfunktion für die Eingabe;
M( ): Bewertungsfunktion für die Ausgabe.
Die Bewertungsfunktion kann eine Regularisierungsfunktion, eine Binarisierungsfunktion, eine lineare Funktion etc. sein.
Die Regularisierungsfunktion kann untenstehende Charakteristika haben:
Φ(x) = 1 : x > 0
= 0 : x = 0
= -1 : x < 0
Die Binarisierungsfunktion kann untenstehende Charakteristika haben:
B(x) = 1 : x > -θ
= 0 : x < θ
θ : Schwellwert
Die lineare Funktion kann mathematisch wie folgt dargestellt werden:
V(x) = x
Die Bewertungsfunktion bewertet die Eingabe, ob sie signifikant ist oder nicht.
Die Bewertungsfunktion für die Ausgabe umfaßt eine Bewertungsfunktion für die Differenz zwischen DTij und DOij. Die Bewertung der Entfernung ist eine Bewertung der Humming- Entfernung, der Entfernung nach Pythagoras, der Wurzel aus der Differenz oder eine andere. Die Art und Weise der Bewertung wird beispielsweise durch eine Regularisierungsfunktion oder eine Binarisierungsfunktion durchgeführt. Das Berechnungsergebnis von V( ) und M( ) sind ordinal duch Multiplikation verbunden. Diese Multiplikation wird mit der Effizienz Cij multipliziert.
In dem herkömmlichen Lernverfahren ist Cij gewöhnlicherweise als konstant angenommen. Gemäß der vorliegenden Erfindung ist Cij eine Funktion des Gewichts W. Dann wird Cij wie folgt dargestellt:
Cij (W)
Die Konvergenz des Musterumwandlungssystem betrachtend ist es vorzuziehen, daß die Wichtungsvariable beim anfänglichen Lernen groß ist und beim letzten Lernen kleiner wird. Diese Charakteristika können durch verschiedene Parameter definiert werden. Die Anzahl der Zeitpunkte des Lernens oder der Zeitdauer des Lernens oder das Berechnungsergebnis von M( ) können solche Parameter sein. Allerdings ist vom Standpunkt des Lernfortschritts aus das Gewicht W am vorteilhaftesten für diesen Parameter. Das Gewicht W hat praktischerweise ein Maximum und ein Minimum und der Bereich des Gewichts sollte innerhalb des Minimumbereichs beschränkt werden, um die Schaltung so einfach wie möglich zu machen. Während des Lernens ändert sich das signifikante Gewicht in Richtung des Maximums, wenn der anfängliche Wert ein Minimum ist, oder ändert sich in Richtung des Minimums, wenn der anfängliche Wert ein Maximum ist. So reflektiert das Gewicht den Lernprozeß. In bezug auf den Lernprozeß einer Synapse reflektiert das Gewicht direkter und genauer den Fortschritt als andere Parameter, da sich das Gewicht monoton mit dem Lernfortschritt ändert und das Gewicht gesättigt ist, wenn es das Maximum oder das Minimum erreicht. Da andere Parameter eine indirekte Verbindung mit der Änderung des Gewichts haben, ist es schwierig, den Fortschritt der Sättigung des Lernens durch andere Parameter zu definieren.
Cijk(Wijk) hat eine Charakteristik einer steilen Änderung beim anfänglichen Lernen und kaum Änderungen beim letzten Lernen. Es wird im wesentlichen wie folgt dargestellt:
dCijk (Wijk) /dWijk< =0
Deshalb ist Cijk(Wijk) eine monoton abfallende Funktion. Die Figuren 8(a) bis (d) sind Beispiele der Charakteristika von Cijk(Wijk).
Das Lernverfahren wird, wie in Fig. 9 und 10 gezeigt, modelliert.

(b-ii)'

Das Lernverfahren, das die Berechnung (b-iii) betrifft, wird mathematisch unter Verwendung derselben Parameter wie der in (b-i)' wie folgt dargestellt:
Wijk(T+1) = Wijk(T) + Cijk(Wijk) x V(DIijk)
Dieses Lernverfahren wird, wie in Fig. 9 und 11 gezeigt, modelliert.

(b-iii)'

Das Lernverfahren, das die Berechnung (b-ii) betrifft, wird mathematisch unter Verwendung derselben Parameter wie in der von (b-i)' wie folgt dargestellt:
Wijk(T+1) = Wijk(T) + S x Cijk(Wijk) x V(DIijk)

S: Lernsignal

Das Lernsignal wird gemäß der Ausgabe der letzten Schicht bezeichnet. Im einfachsten Modell ist S=1, wenn die Ausgabe als positiv bewertet wird, und S=0, wenn sie negativ ist. Oder S=0, wenn das Bewertungsergebnis neutral ist, S=-1, wenn die Bewertung negativ ist.

Claims

1. Assoziativmusterumwandlungssystem mit:

einem Speicher (45) zum Speichern von zumindest Eingangsdaten, Referenzdaten, Gewichtungsdaten und Ausgangsdaten;

einer Ausgangsdatenerzeugungseinrichtung (48-51) zum Multiplizieren der Eingangsdaten mit den entsprechenden Gewichtungsdaten, zum Summieren der entsprechenden Ergebnisse, um einen entsprechenden Summationswert zu erhalten und zum Erzeugen von Ausgangsdaten, basierend auf der Differenz zwischen dem Summationswert und einem vorgegebenen Schwellwert;

einer Einrichtung (52) zum Berechnen eines Gewichtungslernwertes (δW) durch Bestimmen der Differenz zwischen entsprechenden Referenzdaten und Ausgangsdaten und durch Multiplizieren des Ergebnisses mit den entsprechenden Eingangsdaten;

einer Gewichtungsveränderungseinrichtung (53) zum Verändern der momentanen Gewichtungsdaten durch Multiplizieren des Gewichtungslernwertes, wie er von der Berechnungseinheit (52) zur Verfügung gestellt wird, mit einem gewichtungsabhängigen Effizienzkoeffizienten und durch Addieren des Ergebnisses zu den momentanen Gewichtungsdaten, dadurch gekennnzeichnet, daß der gewichtungsabhängige Effizienzkoeffizient von einer gewichtungsabhängigen Funktion erhalten wird, die für zunehmende Gewichte monoton fällt.

2. System nach Anspruch 1, wobei die Effizienzfunktion von einer Tabelle erhalten wird.

3. System nach Anspruch 2, wobei die Tabelle erneut beschrieben werden kann.

4. System nach einem der Ansprüche 1 bis 3, wobei die Differenz zwischen dem Summationswert und dem Schwellwert anhand der Tabelle berechnet wird.

5. Adaptionsverfahren für ein Assoziativmusterumwandlungssystem mit folgenden Schritten:

Multiplizieren jeder Eingangsdaten mit Gewichtungsdaten;

Summieren der Multiplikationsergebnisse;

Vergleichen des Summationsergebnisses mit einem Schwellwert;

Erzeugen von Ausgangsdaten gemäß dem Vergleichsergebnis;

Berechnen eines Gewichtungslernwertes durch Bestimmen der Differenz zwischen entsprechenden Referenzdaten und Ausgangsdaten und durch Multiplizieren des Ergebnisses mit entsprechenden Eingangsdaten;

Verändern der momentanen Gewichtungssdaten durch Multiplizieren des Gewichtungslernwertes mit einem gewichtungsabhängigen Effizienzkoeffizienten und durch Addieren des Ergebnisses mit den momentanen Gewichtungsdaten, dadurch gekennzeichnet daß der gewichtungsabhängige Effizienzkoeffizient von einer gewichtungsabhängigen Funktion erhalten wird, die für zunehmende Gewichte monoton fällt.