DE4217832A1

DE4217832A1 - Mustererkennungs- und musterlerngeraet

Info

Publication number: DE4217832A1
Application number: DE4217832A
Authority: DE
Inventors: Yukio Hayashi
Original assignee: ATR AUDITORY VISUAL PERCEPTION
Current assignee: ATR AUDITORY VISUAL PERCEPTION
Priority date: 1991-09-12
Filing date: 1992-05-29
Publication date: 1993-03-25
Anticipated expiration: 2012-05-30
Also published as: DE4217832C2; JPH0573523A; US5323471A; JPH07117950B2

Description

Die Erfindung bezieht sich auf ein Mustererkennungsgerät nach dem Oberbegriff des Patentanspruches 1 und auf ein Musterlern gerät nach dem Oberbegriff des Patentanspruches 12. Insbesonde re bezieht sich die Erfindung auf Geräte zum Mustererkennen oder Musterlernen, die ein neurales Netz- bzw. ein neuronales Netzwerk mit einer Mehrzahl von Paaren mit je einem erregenden Element und einem hemmenden Element aufweisen. Die Erfindung ist besonders anwendbar für ein Zeichenerkennungsgerät.

Es ist eine Mustererkennungstechnologie zum Erkennen von Bild mustern, Zeichen- oder Symbolmustern und Sprachmustern bekannt, und Erkennungsgeräte zum Erkennen dieser Muster sind entwickelt worden. Üblicherweise vergleicht ein Mustererkennungsgerät ein angelegtes Eingangsmuster mit einem "Wörterbuch"-Muster bzw. Standardmuster (Dictionary), das zuvor bereits gespeichert wor den ist und bestimmt die Distanz (z. B. die "euklidische Di stanz") oder die Ähnlichkeit zwischen dem Eingangsmuster und dem Wörterbuchmuster, wodurch die Klassifizierung des angeleg ten Eingangsmuster bestimmt wird. Im allgemeinen sind jedoch die Zeichen, die Sprache und ähnliches, die in der Praxis von Menschen benutzt werden, in verschiedenen Formen selbst inner halb einer Klassifizierung variiert. Eine Mustererkennungstech nologie, bei der die Erkennung gemäß eines Wörterbuchmusters durchgeführt werden kann, ohne daß sie durch die Variationen der Zeichen und der Sprache beeinflußt werden, ist noch nicht entwickelt.

Es ist berichtet, daß es bedeutend dynamische chaotische Oszil lationsphänomene gibt, die durch ein Elektroenzephalogramm (oder EEG) im Gehirn von Kreaturen, Wesen und insbesondere höhere Wesen wie Menschen dargestellt werden. Es scheint, daß in dem Hirn höherer Wesen ein anderes Verarbeitungsverfahren als das Erkennungsverfahren ausgeführt wird, wie es unter Anwendung eines normalen Wörterbuchmusters verwendet wird.

Es ist berichtet, daß beim Erkennen der gleichen Arten von Objekten oder Konzepten, die sich dennoch individuell unter scheiden und variieren, solche höheren Wesen wie Menschen einen nichtvariablen Betrag oder eine Invarianz der Objekte oder der Konzepte erfassen, die nicht durch die Variation beeinflußt werden, und daß sie auch eine Kontinuität der Variation erfas sen, wodurch sie Objekte oder Konzepte erkennen. In der kogni tiven Psychologie wird z. B. berichtet, daß eine kontinuier liche interne Tätigkeit, die "mentale Rotation" genannt wird im Gehirn stattfindet.

Weiterhin wird berichtet, daß Oszillation in einem neuronalen Netzwerk, das eine Mehrzahl von miteinander verbundenen Paaren aus einem erregenden Element und einem hindernden Element auf weist, als Erkennungsmodell auftritt. Dieses ist beschrieben in dem Artikel von B. Baird mit dem Titel "Nonlinear Dynamics of Pattern Formation and Pattern Recognition in the Rabbit Olfactory Bulb", Physica. Band 22D, Seiten 150-175, 1986.

Weiterhin ist eine Entdeckung, daß ein Lernen eines kontinuier lich transformierten Musters wie eine Reihe von Mustern im Zeitablauf im Prinzip möglich ist, welches kontinuierlich im Zeitablauf variiert, in dem Artikel H. Sato mit dem Titel "A Learning Algorithm to Teach Spatiotempral Patterns to Recurrent Neural Networks", Biological Cybernetics, Seiten 259-263, 1990, beschrieben. Darüber hinaus ist eine Entdeckung, daß ein niedrig dimensionaler chaotischer Orbit bzw. Umlauf, der "Lorenz Attractor" genannt wird ebenfalls erhalten wird, indem die Lernregeln der rekurrierenden Netzwerke von H. Sato ver wendet werden, in dem Artikel berichtet mit dem Titel "A Lear ning of Approximation and Chaos of Nonlinear Dynamics by Recur rent Networks", IEICE Technical Report NC90-81, Seiten 77-82, 1991. In diesen Artikeln ist jedoch nicht berichtet, daß ein dynamischer Orbit erhalten wird, indem eine große Zahl von praktischen Mustern wie Bildern und Sprache verwendet wird.

Beim Erkennen eines Eingangsmusters, das eine breite Variation aufzeigt, wie z. B. von Menschen geschriebene Zeichen oder Buchstaben, ist oft keine genaue Klassifizierung bei einem Er kennungsverfahren gemacht, das auf einer erfaßten Korrelations distanz oder einer Ähnlichkeit beruht. Es wird jedoch angenom men, daß Menschen im allgemeinen verschiedene Transformations muster durch eine kontinuierliche innere Tätigkeit erkennen. Probleme der bisherigen Verfahren, die auf dem Erkennen einer Korrelationsdistanz beruhen, könnten eventuell unter Anwendung solcher kontinuierlicher interner Tätigkeit gelöst werden.

Es wird jedoch darauf hingewiesen, daß zum Realisieren der kon tinuierlichen Transformation durch eine Oszillation des neuronalen Netzwerkes schwierig ist, analytisch Oszillationsbe dingungen bei dem neuronalen Netzwerk zu erhalten, das eine Mehrzahl von miteinander gekoppelten Paaren aus einem regelnden und einem hindernden Element besteht. Da weiterhin alle Elemente in dem neuronalen Netz übereinander über eine Zahl von Multiplizierern (Synapsen) gekoppelt sind, kann ein Riesenbe trag von Rechnungen nicht verhindert werden. Wenn ein kontinu ierliches Transformationsmuster, das sich kontinuierlich ver ändert, von einem neuronalen Netzwerk gelernt wird, wird der Berechnungsbetrag in Norm für ein zeitlich umgekehrtes Vorgehen, das einer Rückwärtsausbreitung in einem Vorwärtsnetz werk entspricht, d. h. einem Vorgehen, das in der Zeit rückwärts fortschreitet, woraus sich eine Notwendigkeit für lange Lernzeiten ableitet.

Es ist daher Aufgabe der Erfindung, die Zeit zu reduzieren, die zur Mustererkennung in einem Mustererkennungsgerät nötig ist, das ein neuronales Netzwerk einsetzt, daß eine Mehrzahl von miteinander verbundenen Paaren aus einem erregenden Element und einem hindernden Element aufweist. Weiterhin soll die notwen dige Lernzeit in einem Musterlerngerät verringert werden, daß ein neuronales Netz mit einer Mehrzahl von miteinander verbun denen Paaren aufweist, die jeweils ein erregendes Element und ein hinderndes Element enthalten.

Diese Aufgabe wird gelöst durch ein Mustererkennungsgerät der eingangs beschriebenen Art, das durch die Merkmale des kenn zeichnenden Teiles des Patentanspruches 1 gekennzeichnet ist.

Dieses Gerät weist insbesondere ein neuronales Netzwerk auf, daß eine Mehrzahl von Erregungselement-Verhinderungselement- Paaren bzw. von Paaren mit jeweils einem erregenden Element und einem verhindernden Element aufweist, wobei die Paare gemäß einer vorbestimmten Beziehung miteinander gegenseitig verbun den sind. Jedes Elementpaar enthält sein entsprechendes erre gendes Element und sein entsprechendes hinderndes Element, die miteinander in entgegengesetzte Richtungen verbunden sind durch einen ersten Paarkoppelkoeffizienten für die Erregungskoppelung und einen zweiten Paarkoppelungskoeffizienten für die Hinde rungskoppelung. Eine Mehrzahl von erregenden Elementen empfängt eine Mehrzahl von Eingangssignalen zum Definieren von entspre chenden Eingangsmustern. Jeweils zwei der erregenden Elemente sind miteinander in entgegengesetzte Richtungen durch einen Erregungselementkoppelungskoeffizienten verbunden. Das Muster erkennungsgerät weist weiter eine Erzeugereinheit für ein Lehrersignal ("Teatcher"-Signal) zum Erzeugen eines Lehrersi gnales gemäß eines zu lernenden Lernmusters und eine auf das Lehrersignal reagierende Koppelkoeffizientenaktualisierungs einheit zum Aktualisieren des ersten und zweiten Paarkoppel koeffizienten und der Erregungselementkoppelkoeffizienten in dem neuronalen Netzwerk auf. Nach dem Aktualisieren durch die Koppelkoeffizientenaktualisierungseinheit empfängt das neuro nale Netzwerk eine Mehrzahl von Eingangssignalen und gibt Ak tivierungssignale durch die Mehrzahl von erregenden Elementen aus. Das Mustererkennungsgerät enthält weiter eine Klassifie zierungsbestimmungseinheit, die auf die Aktivierungssignale zum Bestimmen der Klassifizierung der Eingangsmuster reagiert.

Im Betrieb wird die Mehrzahl von Erregungselement-Verhinde rungselement-Paaren, die in den neuronalen Netzwerk gegenseitig miteinander verbunden sind, vereinfacht, indem sie durch den ersten und zweiten Paarkoppelkoeffizienten und die zwei Erregungselementkoppelkoeffizienten verbunden sind. Daher wird der Betrag der Tätigkeit, der zum Aktualisieren der Koppelkoef fizienten durch die Koppelkoeffizientenaktualisierungseinheit nötig ist, verringert, wodurch die Tätigkeitszeit verringert wird, die für die Mustererkennung nötig ist.

Die Aufgabe wird weiterhin durch ein Musterlerngerät der eingangs beschriebenen Art gelöst, das durch die Merkmale des kennzeichnenden Teiles des Patentanspruches 12 gekennzeichnet ist.

Insbesondere weist das Musterlerngerät ein neuronales Netzwerk mit einer Mehrzahl von Paaren mit einem erregenden Element und einem hindernden Element auf, die jeweils miteinander gemäß einer vorbestimmten Beziehung verbunden sind. Jedes Elementpaar weist sein entsprechendes erregendes Element und sein entspre chendes hinderndes Element auf, die miteinander in entgegenge setzten Richtungen durch einen ersten und zweiten Paarkoppel koeffizienten verbunden sind. Zwei Elemente eines erregenden Elementes und des entsprechenden hindernden Elementes sind in entgegengesetzte Richtungen durch einen Erregungselementkoppel koeffizienten bzw. einen Hinderungselementkoppelkoeffizienten verbunden. Das Musterlerngerät weist weiter eine Lehrersignal erzeugungseinheit ("Teatcher"-Signalerzeugungseinheit) zum Er zeugen eines Lehrersignales gemäß eines zu lernenden Lernmu sters auf. Schließlich weist das Musterlerngerät eine Verarbei tungseinheit zum Lernen im Vorwärtszeitablauf auf zum Aktuali sieren des zweiten Paarkoppelkoeffizienten und der Erregungs elementkoppelkoeffizienten in dem neuronalen Netzwerk, indem nur eine Vorwärtsverarbeitung bezüglich des Zeitablaufes in Hinblick auf ein Lehrersignal ausgeführt wird. Beim Betrieb wird der Betrag der zum Aktualisieren der Koppelkoeffizienten in dem neuronalen Netzwerk notwendigen Tätigkeit verringert. Da weiterhin die Vorwärtszeitlernverarbeitungseinheit die Koppel koeffizienten in dem neuronalen Netzwerk aktualisieren kann, indem sie nur eine Vorwärtsverarbeitung in der Zeit im Hinblick auf ein Lehrersignal ausführt, ist eine Rückwärtsverarbeitung im Hinblick auf die Zeit nicht notwendig. Mit anderen Worten, effektives Lernen kann durchgeführt werden und die Lernzeit ist verringert.

Weitere Merkmale und Zweckmäßigkeiten der Erfindung ergeben sich aus der Beschreibung von Ausführungsbeispielen anhand der Figuren.

Von den Figuren zeigen:

Fig. 1 ein Blockschaltbild einer Verarbeitungseinheit, wie sie in Fig. 2 gezeigt ist;

Fig. 2 ein Blockschaltbild eines Mustererkennungsgerä tes gemäß einer Ausführungsform der vorliegenden Erfindung;

Fig. 3 ein Blockschaltbild eines in Fig. 1 gezeigten Lehrersignalgenerators;

Fig. 4 ein Schaltbild eines in Fig. 1 gezeigten neu ronalen Netzwerkes;

Fig. 5 ein Flußdiagramm eines Mustererkennungsvorganges in der in Fig. 2 gezeigten Verarbeitungseinheit;

Fig. 6 ein Wellendiagramm eines Beispieles von Aktivie rungswertsignalen, die Aktivierungsrektoren dar stellen;

Fig. 7 ein Wellendiagramm eines Beispieles erfaßter Korrelationsdistanzen;

Fig. 8 ein Vektororbitdiagramm zur Benutzung bei der Erläuterung der Periodizität von Aktivierungsrek toren;

Fig. 9 ein Flußdiagramm eines Lernvorganges in der in Fig. 1 gezeigten Verarbeitungseinheit;

Fig. 10 ein Diagramm, das variierende virtuelle Bilder zeigt, die verschoben und verzerrt sind;

Fig. 11 ein Transformationsmusterdiagramm eines Transfor mationsmusters, das sich periodisch ändert und als Lehrersignal benutzt wird;

Fig. 12 ein schematisches Diagramm, das das Vorgehen bei einem Lernvorgang zeigt;

Fig. 13 ein Diagramm das die Variationen von Aktivie rungsvektoren zeigt, die von einem neuronalen Netzwerk vor dem Lernen ausgegeben werden;

Fig. 14 ein Diagramm, das die Variationen von Aktivie rungsvektoren zeigt, die von dem neuronalen Netz werk nach dem Lernen ausgegeben werden;

Fig. 15 ein Schaltdiagramm, das ein anderes Beispiel eines neuronalen Netzwerkes zeigt, auf das die vorliegende Erfindung anwendbar ist; und

Fig. 16 ein Schaltdiagramm, das ein weiteres Beispiel eines neuronalen Netzwerkes zeigt, auf das die gegenwertige Erfindung anwendbar ist.

Die Erfindung ist im allgemeinen auf die Erkennung von Mustern wie Bildmuster, Zeichen- oder Symbolmuster oder Sprachmuster anwendbar. Im folgenden wird eine Beschreibung eines solchen Beispieles gegeben, bei dem die Erfindung auf ein Mustererken nungsgerät zur Zeichenerkennung angewendet wird.

Wie in Fig. 2 gezeigt ist, enthält das Mustererkennungsgerät einen Bildabtaster 100 zum Lesen von Zeichen auf einem Original, eine Verarbeitungseinheit 200, eine Speichereinrich tung 300 und eine Anzeigeeinrichtung 400. Ein zu erkennendes Eingangsmuster IP und ein Lernmuster LP zum Benutzen in einem Lernvorgang werden von dem Bildabtaster 100 an die Verarbei tungseinheit 200 angelegt. Zuvor sind Daten, die ein Wörter buchmuster bzw. Standardmuster darstellen, in der Speicherein richtung 300 gespeichert. Die gespeicherten Daten des Wörter buchmusters oder Nachschlagemusters DP werden an die Verarbei tungseinheit 200 angelegt. Die das Resultat der Erkennung an zeigenden Daten werden an die Anzeigeeinrichtung 400 zum Dar stellen auf einer Kathodenstrahlröhre (nicht gezeigt) angelegt und auch an andere nicht gezeigte Einrichtungen.

Wie in Fig. 1 gezeigt ist, enthält die Verarbeitungseinheit eine Erregungselementschaltung 1 und eine Hemmungselement schaltung 2, die beide ein neuronales Netzwerk darstellen, einen Lehrersignalgenerator 3 zum Erzeugen eines Lehrersignales zum Bewirken, das das neuronale Netzwerk lernt, eine Koppel koeffizientensteuerung 4, die auf das Lehrersignal zum Steuern der Koppelkoeffizienten in dem neuronalen Netzwerk (oder Aus führen eines Lernvorganges) reagiert, Multiplizierer 51, 52 und 53 zum Multiplizieren von durch Lernen aktualisierten Koppelge wichtskoeffizienten und Koppelkoeffizientenaktualisierungsein heiten 61, 62 und 63 zum allmählichen Verändern der Koppelge wichtskoeffizienten während des Vorganges des Lernens. Wie in Fig. 4 gezeigt ist, ist ein neuronales Netzwerk aus einer Er regungselementschaltung und einer Hemmungselementschaltung zu sammengesetzt. Die Erregungselementschaltung 1 enthält N Erre gungselemente bzw. erregende Elemente x1 bis xN. Die erregenden Elemente x1 bis xN empfangen N Elementsignale I1 bis IN, die entsprechend in dem Eingangsmuster IP enthalten sind. Als Ele mentsignale I1 bis IN des Eingangsmusters bei der Zeichenerken nung werden Gitterdichtemerkmalsignale, Richtungsverteilungs dichtemerkmalsignale oder ähnliches zum Definieren entsprechen der Zeichen benutzt. Die Gitterdichtemerkmalssignale zeigen je weils die Dichte oder die Luminanz für jeden Bildpunkt bzw. je des Pixel oder für jeden Gitterpunkt in dem Fall an, in dem ein zu erkennendes Muster auf einem virtuellen Bild dargestellt ist. Wenn daher die Gitterdichtemerkmalssignale als Element signale I1 bis IN vorgesehen sind, sind N Gitterdichtemerkmals signale in bezug auf N Pixel zum Bilden eines einzelnen Zeichens als Eingangsmuster IP vorgesehen.

Dagegen zeigen die Richtungsverteilungsdichtemerkmalssignale die Richtung der Segmente an, zu denen jedes der Pixel, die ein einzelnes Zeichen bilden, beiträgt. Wenn die Richtungsvertei lungsdichtemerkmalssignale der vier Richtungen als Elementsi gnale I1 und IN vorgesehen sind, werden N Richtungsverteilungs dichtemerkmalssignale in Bezug auf N/4 Pixel als Eingangsmu ster IP vorgesehen.

Jeweils zwei der N in Fig. 4 gezeigten erregenden Elemente x1 bis xN sind miteinander durch einen Erregungselementkoppelkoef fizienten Wÿ verbunden. Zum Beispiel sind ein i-tes erregendes Element xi und ein j-tes erregendes Element xj miteinander durch den Koppelkoeffizienten Wÿ verbunden. Jedes erregende Element x1 bis xN ist mit sich selbst durch einen Selbstkoppe lungskoeffizienten Wii verbunden bzw. gekoppelt.

Die Hemmungselementschaltung 2 enthält N Hemmungselemente bzw. hemmende Elemente y1 bis yN. Die hemmenden Elemente y1 bis yN sind mit ihren entsprechenden erregenden Elementen x1 bis xN durch ein Paar von zwei Koppelgewichtskoeffizienten verbunden, einen Erregungskoppelkoeffizienten KIEi und einen Hemmungskop pelkoeffizienten (-KEIi). Wie in Fig. 4 gesehen werden kann, ist das in dem in Fig. 2 gezeigten Mustererkennungsgerät ein gesetzten neuronalen Netzwerk dadurch spezifiziert, das es mit einander gekoppelte N Paare aus einem erregenden Element und einem hemmenden Element enthält.

Wie in Fig. 1 gezeigt ist, enthält die Erregungselementschal tung 1 einen Addierer 11, einen Prozessor 12 zum Ausführen eines Prozesses gemäß einer vorbestimmten nichtlinearen Funktion G(z), eine Differenzenzustandsaktualisierungseinheit 13 und ein Register (REG) 14. Der Addierer 11 empfängt die Elementsignale I1 bis IN des Eingangsmusters IP, die durch den Multiplizierer 51 mit einem Eingangskoppelgewichtskoeffizienten V multipliziert sind. Der Prozessor 12 für die nichtlineare Funktion empfängt als eine Eingangsvariable z die von dem Addierer 11 addierten Daten. Die Differenzzustandsaktualisie rungseinheit 13 empfängt den Datenausgang vom Prozessor 12.

Die Hemmungselementschaltung 2 enthält einen Prozessor 21 für eine nichtlineare Funktion, eine Differenzenzustandsaktuali sierungseinheit 22 und ein Register 23. Ein von der Erregungs elementschaltung ausgegebenes Aktivierungssignal X wird mit einem an einen Multiplizierer 54 angelegten Erregungskoppel koeffizienten KIEi multipliziert. Der multiplizierte Wert wird als Eingangsvariable z an den Prozessor 21 für die nichtlineare Funktion angelegt. Der Ausgangswert von dem Prozessor 21 der nichtlinearen Funktion wird an die Differenzenzustandsaktuali sierungseinheit 22 angelegt. Die Differenzenzustandsaktuali sierungseinheit 21 empfängt ein altes Aktivierungssignal Y von dem Register 23, um ein Signal ΔY zum Aktualisieren des Akti vierungssignales Y an das Register 23 anzulegen. Das in dem Re gister 23 gehaltene Aktivierungssignal Y wird mit einem an den Multiplizierer 53 angelegten Hemmungskoppelkoeffizienten KEI multipliziert. Das multiplizierte Signal wird dann an den Addierer 11 angelegt.

Folglich stellen die Erregungselementschaltung 1 und die Hem mungselementschaltung 2 das neuronale Netzwerk dar, das durch die folgenden Gleichungen (1) bis (3) dargestellt wird:

In den obigen Gleichungen bezeichnen xi und yi entsprechende Aktivierungswertsignale eines erregenden Elementes bzw. eines hemmenden Elementes; dxi/dt und dyi/dt bezeichnen die Zeitab leitungen der entsprechenden Aktivierungswertsignale xi und yi; Wÿ bezeichnet einen Koppelungsgewichtskoeffizienten zwischen zwei erregenden Elementen; - KEIi und KIEi bezeichnen einen Hemmungskoppelkoeffizienten bzw. einen Erregungskoppelkoeffi zienten zwischen dem erregenden Element und dem hemmenden Ele ment; Ii bezeichnet ein Elementsignal des Eingangsmusters IP; und Vi bezeichnet einen Eingangskoppelgewichtskoeffizienten. Die durch die Gleichung (3) dargestellte Funktion G(z) ist als ein Beispiel einer kontinuierlichen S-förmigen Sättigungsfunk tion gezeigt. Der Parameter a bestimmt die Schärfe der Funktion G(z).

Schließlich bestimmt die Koppelkoeffizientensteuerung 4 die entsprechenden Koppelgewichtskoeffizienten W, KEI und V des neuronalen Netzwerkes durch Ausführen eines Lernvorganges, der im einzelnen später beschrieben wird. In der folgenden Diskus sion wird eine Beschreibung des Mustererkennungsvorganges gege ben, wobei angenommen wird, daß ein Lernvorgang bereits ausge führt ist, damit die Beschreibung vereinfacht wird.

Wie in Fig. 5 gezeigt ist wird zuerst in einem Schritt 501 ein Lernvorgang unter Benutzung des Lehrersignalgenerators 3, der Koppelkoeffizientensteuerung 4 und ähnliches ausgeführt. Nachdem der Lernvorgang beendet ist, wird in einem Schritt 502 ein zu erkennendes Eingangsmuster IP an den in Fig. 1 gezeigten Multiplizierer 51 angelegt. Jedes der Elementsignale I1 bis IN des Eingangsmusters IP wird mit dem an den Multipli zierer angelegten Eingangskoppelgewichtskoeffizienten V multi pliziert, so daß das multiplizierte Signal an den Addierer 11 in der Erregungselementschaltung 1 angelegt wird.

In einem Schritt 503 werden die Aktivierungsvektoren X und Y auf der Basis der Gleichungen (1) bis (3) erzeugt. Der Aktivie rungsvektor X enthält Aktivierungswertsignale x1 bis xN, die von den in Fig. 4 gezeigten N erregenden Elementen x1 bis xN ausgegeben werden. Entsprechend enthält der Aktivierungsvektor Y Nichtaktivierungswertsignale y1 bis yN, die von den in Fig. 4 gezeigten N-hemmenden Elementen y1 bis yN ausgegeben werden.

Daher erzeugt die Differenzenzustandsaktualisierungseinheit 13 die Zeitableitungen dxi/dt des Aktivierungswertsignales xi ge mäß der Gleichung (1), um den Wert Δ X zum Aktualisieren eines alten Aktivierungsvektors X, der in dem Register 14 gehalten wird, an das Register 14. Entsprechend erzeugt die Differenzen zustandsaktualisierungseinheit 21 die Zeitableitung dyi/dt des Aktivierungswertsignales yi gemäß der Gleichung (2) und legt den Wert ΔY zum Aktualisieren eines alten Aktivierungsvektors Y, der in dem Register 23 gehalten wird, an das Register 23 an.

Als Resultat werden aktualisierte Aktivierungsvektoren X und Y in den Registern 14 bzw. 23 erhalten.

Die Klassifizierung des angelegten Eingangsmusters IP wird in Schritte 504 bis 507 bestimmt. Der Prozeß zum Bestimmen der Klassifizierung wird in einem Prozessor 8 ausgeführt. Zuerst wird in einem Schritt 504 eine Bestimmung durchgeführt, ob sich der Aktivierungsvektor X periodisch ändert.

In Fig. 6 zeigt die Abszisse die abgelaufene Zeit t an, während die Ordinate den Pegel der jeweiligen Aktivierungswert signale angibt. Obwohl nur drei Aktivierungswertsignale x1, x2 und x3 in dem in Fig. 6 gezeigten Beispiel gezeigt sind, gibt es in der Praxis N Aktivierungswertsignale xi bis xN. Da alle in Fig. 6 gezeigten Aktivierungswertsignale x1, x2 und x3 sich periodisch ändernde Wellenformen haben, wird der Aktivierungs vektor X, der diese Signale enthält, als periodisch bestimmt.

In Fig. 8 sind zwei Orbits bzw. Umlaufbahnen O1 und O2, die beide periodisch sind, und ein Orbit bzw. eine Umlaufbahn O3, die keine Periodizität zeigt, als Beispiel gezeigt. Bei dem in Fig. 8 gezeigten Beispiel enthalten die Orbits O1, O2 und O3 drei Aktivierungswertsignale als Element. Das heißt, diese Vek toren sind in einem dreidimensionalen Raum dargestellt. Der Orbit O1 zeichnet einen periodischen Umlauf nahe eines Gedächt nispunktes MP1. Der Orbit O2 zeichnet einen periodischen Umlauf nahe eines Gedächtnispunktes MP2. Dagegen ist der Orbit O3 cha otisch und existiert nicht nahe irgendwelcher Gedächtnispunkte. In anderen Worten, der Orbit O3 zeichnet einen chaotischen Um lauf. Es wird darauf hingewiesen, daß die Gedächtnispunkte MP1, MP2 und MP3, die in Fig. 8 gezeigt sind, drei Lernmuster zur Benutzung in einem Musterlernen entsprechen, das später be schrieben wird.

Wenn in Schritt 504 bestimmt wird, daß der Aktivierungssektor X periodisch ist (z. B. Orbit O1 und O2 in Fig. 8) wird in Schritt 505 eine Korrelationsdistanz zwischen dem Aktivierungs sektor X und einem Wörterbuchmuster DP bestimmt, das im voraus vorbereitet wurde. Das Wörterbuchmuster DP enthält ein gemitteltes Elementsignal (z. B. ein binäres gemitteltes Muster eines Gitterdichtemerkmalsignales oder eines Richtungsvertei lungsdichtemerkmalsignales) für jede Klassifikation, das heißt für jede Zeichenkategorie in dieser Ausführungsform. Das folgende Verfahren wird als ein Beispiel zum Erfassen der Korrelationsdistanz angewendet.

Wenn eine Korrelationsdistanz zwischen ein gewisses Wörterbuch muster, d. h. ein gewisses Zeichenmuster DPµ und einem Akti vierungssektor X mit der Überlappungsfunktion mµ(t) bezeichnet wird und ein Elementsignal des Wörterbuchmusters DPµ mit dem Symbol ξ_j ^µ bezeichnet wird, wird die Korrelationsdistanz mµ(t) durch folgende Gleichung ausgedrückt:

Die in Fig. 7 gezeigten Korrelationsdistanzen m1, m2 und m3 stellen entsprechende Korrelationsdistanzen zwischen einem be stimmten Aktivierungsvektor X und entsprechenden Wörterbuchmu stern DP1, DP2 und DP3 dar. In Fig. 7 kann gesehen werden, daß die Korrelationsdistanz zwischen dem Aktivierungswechsel X und dem Wörterbuchmuster DP1 ein Minimum ist, d. h. er ist von dem Wörterbuchmuster DP1 am entferntesten, da die Amplitude der Korrelationsdistanz m1 am kleinsten ist.

In Schritt 506 wird die Klassifizierung des Eingangsmusters IP bestimmt. Da in dem vorhergehenden Schritt 505 die Korrelations distanz mµ(t) bestimmt worden ist, wird bestimmt, daß die Klas sifikation des angelegten Eingangsmusters IP das Wörterbuchmu ster DPµ mit einer großen Korrelationsdistanz ist.

Als Diskriminierungsverfahren, das das aus der obigen Glei chung (4) erhaltene mµ(t) verwendet, kann z. B. solch ein Ver fahren angenommen werden, daß eine Periode entdeckt wird, in der die Korrelationsdistanz mµ(t), die in einer vorbestimmten Zeitlänge Tf vorhanden ist, größer als ein bestimmter Schwell wert ist (z. B. 0,75) und daß ein Wörterbuchmuster, in dem eine maximale Periode entdeckt wird, als das Resultat der Diskrimi nation bestimmt wird. Als ein anderes Verfahren kann die Klassifizierung bestimmt werden durch Vergleichen der Pegel mittlerer Werte der Korrelationsdistanz mµ(t).

Wenn in Schritt 504 bestimmt wird, daß der Aktivierungsvektor X nicht periodisch ist, wird in Schritt 507 bestimmt, daß das Eingangsmuster IP unbekannt ist.

Ein Mustererkennungsverfahren für ein angelegtes einzelnes Ein gangsmuster IP ist durch das vorangehende Verfahren beendet; Wenn jedoch ein anderes Eingangsmuster nachbleibt, wird das obige Verfahren wiederholt. Das heißt, wenn ein Behandeln eines anderen Eingangsmusters in Schritt 508 für nötig erachtet wird, geht das Verfahren zurück zu Schritt 502.

Die obige Beschreibung ist in Hinblick auf das Mustererken nungsverfahren durchgeführt, daher wird jetzt eine detaillierte Beschreibung eines Lernverfahrens in der in Fig. 1 gezeigten Verarbeitungseinheit gegeben.

Wie in Fig. 3 gezeigt ist, enthält der Lehrersignalgenerator 3 einen Verzerrungssignalgenerator 31 zum Vorsehen einer Verzer rung an einem Lernmuster LP, das auf einem virtuellen Bild vor gesehen ist, einen Verschiebungssignalgenerator 32 zum Vorsehen einer Verschiebung an dem Lernmuster LP auf dem virtuellen Bild, einen Verschiebungs/Verzerrungssynthetisierer 33, der auf ein Verzerrungssignal und ein Verschiebungssignal zum Transfor mieren des angelegten Lernmusters LP reagiert, und eine Inter polationsverarbeitungseinheit 34 zum Ausführen eines Interpola tionsvorganges auf Zeitbasis. Zuerst wird die Beschreibung gegeben über das Verfahren des Bewirkens einer Verzerrung und einer Verschiebung in dem angelegten Lernmuster LP.

Die in Fig. 10 gezeigten Variationen des virtuellen Bildes werden durch zwei Parameter o und k definiert. o stellt einen Winkel dar, der durch die Verschiebung des virtuellen Bildes gemacht wird, und k stellt den Grad der Verzerrung dar, die durch die folgenden Gleichungen in Polarkoordinaten (r, R) an geben wird:

r′ = r (1-k sin R) (5)

R′ = R (6)

Folglich mit einem virtuellen Bild VSo, das ein Bezugsbild in der originalen Form ist, allmählich variierende virtuelle Bilder, wie sie in Fig. 10 gezeigt sind, erhalten, indem all mählich die zwei Parameter ⌀ und k variiert werden.

Das in Fig. 11 gezeigte Beispiel zeigt den Fall, indem ein japanischer Buchstabe (sogenanntes "Hiragana") als Lern muster LP vorgesehen ist, das die Referenz sein soll. Das heißt, ein in Fig. 11 gezeigtes Referenzmuster QLP wird als Lernmuster vorgesehen. Beim Transformieren des virtuellen Bil des, auf dem das Referenzmuster QLP angeordnet ist, wie in Fig. 10 gezeigt ist, wird ein Lehrersignal Q(t), das das in Fig. 11 gezeigte Transformationsmuster anzeigt, erhalten. Wie in Fig. 11 gezeigt ist, wird ein Lehrersignal Q(t10) zu einem Zeitpunkt t10 erhalten, wenn ⌀ = -10° und k = 0,4 ist. Wenn ⌀ = 10° ist und k = -0,4 ist, wird zu einem Zeitpunkt t20 das Leh rersignal Q(t20) erhalten. Wenn ⌀ = 10° ist und k = -0,4 ist, wird zu einem Zeitpunkt t30 ein Lehrersignal Q(t30) erhalten. Wenn ⌀ = 10° ist und k = 0,4 ist, wird zu einem Zeitpunkt t40 ein Lehrersignal Q(t40) erhalten. Wie in Fig. 11 gezeigt ist, ist das Lehrersignal Q(t) anfänglich ein diskretes Signal; ein folgendes Lehrersignal Q(t) wird jedoch durch einen Interpola tionsvorgang auf Zeitbasis in der in Fig. 3 gezeigten Interpo lationsverarbeitungseinheit 34 erhalten. Die Interpolationsver arbeitungseinheit 34 führt den Interpolationsvorgang unter Be nutzung einer linearen Interpolation, einer Spline-Interpola tion oder ähnliches zwischen benachbarten diskreten Mustern durch. Die erzeugten aufeinanderfolgenden Lehrersignale Q(t) und deren infinitesinalen Änderungen ΔQ(t) werden an die Koppelkoeffizientensteuerung 4 angelegt, die in Fig. 1 gezeigt ist.

Im folgenden wird der Lernvorgang unter Bezugnahme auf die Fig. 1 bis 9 näher erläutert.

Zuerst werden in einem Schritt 601 anfängliche Koppelkoeffi zienten Wo, Vo, KEIO und KIE gesetzt. Diese anfänglichen Kop pelkoeffizienten werden von einem in Fig. 1 gezeigten Anfangs wertsetzprozessor 7 angelegt. Für diese Ausführungsform wird darauf hingewiesen, daß ein Erregungskoppelkoeffizient KIE in der folgenden Verarbeitung konstant gehalten wird. Ebenfalls wird der Anfangswert Wÿ des Erregungselementkoppelkoeffizien ten durch die folgende Gleichung bestimmt:

wobei ξ_i ^α jeweils ein Wörterbuchmuster bzw. Standardmuster aus M Kategorien ist, d. h. ein Speichermuster, das ein Prototyp für jedes Zeichen sein soll, und ein durchschnitt liches Muster in jeder Kategorie wird durch die Benutzung zweier binärer Werte von +1 und -1 dargestellt.

Die notwendigen Bedingungen für Oszillation in dem in Fig. 1 gezeigten neuronalen Netzwerk können analytisch abgeleitet werden. Das heißt, damit der Gedächtnispunkt MP unstabil wird und eine Oszillation verursacht, sind Oszillationsbedingungen Wii π · a und KEI Wii · π · x* notwendig. Bei dieser Ausführungsform sind als ein Beispiel die Beziehungen a = 0,1, KIE = KEI = 2,0, Vi = 1,0 anfänglich eingestellt. Bei den obigen Oszillationsbedingungen ist x* der Gleichgewichtspunkt wert (0,6212, wenn Wii = 1 erfüllt ist), der eine Oszillation bewirkt (Hopf-Verzweigung). Wenn Wii kleiner 0,3 erfüllt ist in dem Fall des a = 0,1, sind solche notwendigen Bedingungen nicht erfüllt. Das heißt in einem solchen Fall wird ein Wert 1,0 zu einem Diagonalelement Wii in der Gleichung (7) addiert, wodurch die notwendigen Bedingungen erfüllt werden.

In einem Schritt 602 wird ein einzelnes Lernmuster LP an den Lehrersignalgenerator 3 angelegt, so daß der Lehrersignalgene rator 3 aufeinanderfolgend ein Lehrersignal Q(T) und seine infinitesimale Änderung ΔQ(t) ausgibt, wie oben beschrieben wurde. Ein Verfahren, das in den folgenden Gleichungen gezeigt ist, wird in der in Fig. 1 gezeigten Koppelkoeffizientensteu erung 4 ausgeführt:

vi_i (t) = K_EIi x_i (t) (8)

R_i (T + T_B) = O (9)

P_i (t) = -Q_i′ (t) - Q_i (t) + G (ve_i) (13)

Die in Fig. 1 gezeigte Koppelkoeffizientensteuerung 4 enthält eine arithmetische Einheit 41 zum Ausführen einer durch die Gleichung (12) dargestellten arithmetischen Operation, eine arithmetische Einheit 42 zum Ausführen einer durch die Glei chung (17) dargestellten arithmetischen Operation, einen Pro zessor 43 für eine nichtlineare Funktion und eine arithmetische Einheit 44 zum Ausführen einer durch die Gleichung (13) darge stellten arithmetischen Operation.

In den obigen Gleichungen ist T eine gegenwärtige Zeit, TB eine Zeitdauer in einem einzelnen Lernintervall, η ein Lernkoeffi zient zum Bestimmen der Schrittweite beim Lernen, Q′(t) eine Zeitableitung des Lehrersignales und G′(z) eine Ableitung einer Funktion G(z), die durch die Gleichung (17) dargestellt ist.

In Schritt 604 wird ein einzelnes Lernintervall ausgewählt. Bei einem derartigen Lernvorgehen wird ein Intervall, das durch zwei Parameter bestimmt ist, die zum Ausgeben aufeinanderfol gender Lehrersignale Q(t) verwendet werden, das heißt bei dem Interpolationsverfahren verwendet werden, als ein einzelnes Lernintervall angesehen. Folglich wird das Lernen eines Zyklus der kontinuierlichen Transformation, die durch das Lehrersignal Q(t) dargestellt wird, durch eine Reihe derartiger Lerninter valle dargestellt.

Fig. 12 zeigt einen N-dimensionalen Raum, und ein Lehrersignal Q(t) und ein Aktivierungsvektor X(t) sind in dem N-dimensio nalen Raum vorhanden. In Fig. 12 ist entsprechendes Lerninter vall zwischen einem Lehrersignalmuster Q(z) und einem Aktivie rungsvektor X(t) gezeigt. Daher wird ein Lernverfahren für jedes Eingangsmuster ausgeführt, wobei ein Zyklus des Lehrersi gnalmusters in mehrere Lernintervalle unterteilt wird. Das durch das Lehrersignal Q(t) angezeigte Muster ist in dem N-di mensionalen Raum befestigt. Während das Lernen des neuronalen Netzwerkes voranschreitet, nähert sich der von dem neuronalen Netzwerk ausgegebene Aktivierungsvektor X(t) in der Richtung des Lehrersignalmusters. Das heißt, da alle Koppelgewichts koeffizienten sich allmählich in Bezug auf jedes entsprechende Lernintervall ändern, wächst das neuronale Netzwerk durch Lernen.

Wenn das neuronale Netzwerk mit einer wie in der Ausführungs form gezeigten Rückkoppelung auf der Grundlage herkömmlicher Lernregeln behandelt wird, ist ein Vorgehen notwendig, bei dem in der Zeit rückwärts gegangen wird, damit das Lernen der Kop pelungsgewichtkoeffizienten durchgeführt werden kann, bei dem ein Signal zu einem Element übertragen wird, das nicht mit einem Lehrersignal versehen ist. Bei der Ausführungsform der vorliegenden Erfindung entspricht ein solches Vorgehen einem Lernen in Bezug auf den Erregungskoppelungskoeffizienten KIE zum Vorsehen eines Signales an ein hinderndes Element, das nicht mit einem Lehrersignal in dem in Fig. 4 gezeigten neu ronalen Netzwerk versehen ist. Somit wird das oben beschriebene Vorgehen durchgeführt.

Bei der Ausführungsform der vorliegenden Erfindung ist jedoch das Rückwärtsgehen in der Zeit unnötig, da der Erregungskoppe lungsgewichtskoeffizient KIE bei dem Lernprozeß fest ist. Das heißt, ein effektives Lernvorgehen kann nur durch Vorwärts gehen in der Zeit durchgeführt werden. Nachdem im Schritt 605 die Aktivierungsvektoren X und Y, ve und P (während der Zeit TB) erzeugt sind, werden in Schritt 606 die Koppelkoeffizien ten W, KEI und V aktualisiert.

Es wird eine Bestimmung im Schritt 607 durchgeführt, ob das Verfahren in Bezug auf alle Lernintervalle beendet ist. Wenn ein oder mehrere Lernintervalle nachgeblieben sind, geht das Verfahren zurück zu Schritt 604.

Nachdem die Verarbeitung aller Lernintervalle beendet ist, wird in Schritt 608 eine Bestimmung durchgeführt, ob das Verfahren im Bezug auf alle Lernmuster beendet ist. Wenn ein oder mehrere Lernmuster nachgeblieben sind, geht das Verfahren zurück zu Schritt 602.

Nachdem das Verfahren in Bezug auf alle Lernmuster beendet ist, wird jeder Fehler Er für die Lernmuster durch die folgende Gleichung erhalten:

Die Verfahren der Schritte 602 bis 608 werden wiederholt, bis eine Summe der erfaßten Fehler in einem Zyklus kleiner als der gewünschte Fehler Ero wird. Folglich ist dann das Lernverfahren beendet.

In den Fig. 13 und 14 läuft die Zeit von der ersten Reihe zu der fünften Reihe und nach rechts. Wie aus dem Vergleich der Fig. 13 und 14 gesehen werden kann, wird darauf hingewiesen, daß nach dem Lernen der Aktivierungsvektor eine definitivere Periodizität hat, die zeigt, daß die gleiche kontinuierliche Transformation wie die des Lehrersignales vorgesehen ist.

Während die obige Beschreibung für den Fall gemacht wurde, daß die Ausführungsform der Erfindung auf das in Fig. 4 gezeigte neuronale Netzwerk angewendet wird, wird darauf hingewiesen, daß die Erfindung auch auf die in Fig. 15 oder 16 gezeigten neuronalen Netzwerke angewendet werden kann.

Da, wie oben beschrieben wurde, eine kontinuierliche Transfor mationstätigkeit, von der angenommen wird, daß sie beim Erken nungsprozeß durch den Menschen benutzt wird, durch das Lernen erzielt werden kann, wird eine Fähigkeit erwartet, die näher zu der Mustererkennung durch die Menschen als bei herkömmlichen Mustererkennungsmethoden ist. Da ein Rückwärtsgehen in der Zeit gemäß der Lernregeln eines rekurrienden Netzes unnötig ist, kann ein solcher Vorteil auch erzielt werden, das ein effekti ves Lernen eines kontinuierlich veränderten Musters möglich ist.

Claims

1. Mustererkennungsgerät zum Erkennen eines angelegten Ein gangsmusters, wobei das Eingangsmuster (IP) eine Mehrzahl von Eingangssignalen (E1 bis EN) zum Definieren des Eingangsmu sters (IP) enthält, gekennzeichnet durch
ein neuronales Netzwerk (1, 2) mit einer Mehrzahl von Erregungselement-Hinderungselement-Paaren (x1 bis xN, y1 bis yN), die gegenseitig miteinander gemäß einer vorbestimmten Be ziehung verbunden sind,
wobei jedes Element-Paar ein entsprechendes erregendes Element (x1 bis xN) und ein entsprechendes hinderndes Element (y1 bis yN) aufweist, die in entgegengesetzten Richtungen durch ein erstes Paar von Koppelkoeffizienten (KIEi) für die Erregungs koppelung bzw. durch ein zweites Paar von Koppelkoeffizienten (KEIi) für die Hinderungskoppelung verbunden sind,
die Mehrzahl von erregenden Elementen (x1 bis xN) jeweils die Mehrzahl von Eingangssignalen (I1 bis IN) empfängt,
jeweils zwei der Mehrzahl der erregenden Elemente (x1 bis xN) in entgegengesetzte Richtungen durch Erregungselementkoppe lungskoeffizienten (Wÿ, Wji) verbunden sind,
eine Lehrersignalerzeugungseinrichtung (3) zum Erzeugen eines Lehrersignales (Q(t), (t)) gemäß eines zu lernenden Lernmu sters (LP);
eine Koppelkoeffizientenaktualisierungseinrichtung (62, 63), die auf das Lehrersignal (Q(t), (t)) zum Aktualisieren des ersten und zweiten Paares von Koppelkoeffizienten (KIEi, KEIi) und der Erregungselementkoppelungskoeffizienten (Wÿ, Wji) in dem neuronalen Netzwerk (1, 2),
wobei nachdem Aktualisieren durch die Koppelkoeffizientenaktu alisierungseinrichtung (62, 63) das neuronale Netzwerk (1, 2) die Mehrzahl von Eingangssignalen (I1 bis IN) empfängt und ein Aktivierungssignal (X) durch die Mehrzahl von erregenden Elementen (x1 bis xN) ausgibt; und
eine Klassifizierungsbestimmungseinrichtung (8), die auf das Aktivierungssignal (X) zum Bestimmen der Klassifizierung des Eingangsmusters (IP) reagiert.

2. Gerät nach Anspruch 1, dadurch gekennzeichnet, daß die Lehrersignalerzeugungseinrich tung (3) eine Lernmusteränderungseinrichtung (31, 32, 33) zum Erzeugen des Lehrersignales (Q(t), Q(t)) durch kontinuierli ches Ändern des Lernmusters (LP) auf der Grundlage einer vor bestimmten Regel aufweist.

3. Gerät nach Anspruch 2, dadurch gekennzeichnet, daß das Lernmuster (LP) ein Lernbild muster enthält, das auf einem zweidimensionalen virtuellen Bild angeordnet ist, und
daß die Lernmusteränderungseinrichtung eine Bildabschrägein richtung (32) zum Abschrägen des virtuellen Bildes um ein vor bestimmtes Verhältnis und eine Bildverzerrungseinrichtung (31) zum Verzerren des virtuellen Bildes auf der Grundlage einer vorbestimmten Gleichung aufweist,
wobei das Lernbildmuster gemäß dem virtuellen Bild variiert wird, daß durch die Bildabschrägeinrichtung und die Bildverzer rungseinrichtung verändert wird.

4. Gerät nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß das Lernmuster (LP) diskret variiert wird und
daß die Lernmusteränderungseinrichtung weiter eine kontinuier liche Wandeleinrichtung (34) zum Wandeln des Lernbildmusters in ein im Zeitablauf kontinuierliches Signal.

5. Gerät nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Klassifizierungsbestimmungsein richtung (8) eine Periodizitätsbestimmungseinrichtung aufweist zum Bestimmen, ob das von dem neuronalen Netzwerk (1, 2) ausge gebene Aktivierungssignal eine Periodizität aufweist, und
daß die Klassifizierung des Eingangsmusters (IP) als Reaktion auf die Periodizitätsbestimmungseinrichtung bestimmt wird.

6. Gerät nach Anspruch 5, dadurch gekennzeichnet, daß die Klassifizierungsbestimmungsein richtung (8) weiter eine Korrelationsdistanzerfassungseinrich tung zum Erfassen einer Korrelationsdistanz zwischen dem Akti vierungssignal (X) und einem vorbestimmten Wörterbuchmuster (DP), wenn die Periodizitätsbestimmungseinrichtung die Periodi zität des Aktivierungssignales (X) feststellt, aufweist und daß die Klassifizierung des Eingangsmusters (IP) als Reaktion auf die Korrelationsdistanzerfassungseinrichtung bestimmt.

7. Gerät nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß das neuronale Netzwerk (1, 2) weiter enthält:
eine Mehrzahl von ersten Multiplizierern (54) zum Multiplizie ren eines Ausgangssignales (X) von einem entsprechenden erregenden Element (x1 bis xN) mit einem entsprechenden Koppel koeffizienten (KIEi) des ersten Paares und Anlegen des multi plizierten Signales an ein entsprechendes der hindernden Elemente (y1 bis yN);
eine Mehrzahl von zweiten Multiplizierern (53) zum Multiplizie ren eines Ausgangssignales (Y) eines entsprechenden hindernden Elementes (y1 bis yN) mit einem entsprechenden Koppelkoeffi zienten (KEIi) des zweiten Paares und Anlegen des multiplizier ten Signales an ein entsprechendes erregendes Element (x1 bis xN); und
eine Mehrzahl von dritten Multiplizierern (52) zum Multiplizie ren von entsprechenden Ausgangssignalen (X) von jeweils zwei der Mehrzahl von erregenden Elementen (x1 bis xN) mit entspre chenden Erregungselementkoppelkoeffizienten (Wÿ, Wji) und An legen des einen multiplizierten Signales und des anderen multi plizierten Signales an das andere bzw. eine der zwei erregen den Elemente.

8. Gerät nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, daß das Lernbildmuster eine Mehrzahl von Lernzeichenmustern aufweist, die jeweils verschiedene Zei chen darstellen, und
daß die Klassifizierungsbestimmungseinrichtung (8) eine Zeichenauswahleinrichtung aufweist, die auf das Aktivierungs signal (X) zum Auswählen der Klassifizierung des Eingangsmu sters (IP) aus der Mehrzahl von Lernzeichenmustern reagiert.

9. Gerät nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die Mehrzahl von Eingangssignalen (I1 bis IN) zum Definieren des Eingangsmusters (IP) eine Mehr zahl von Maschendichtesignalen zum Definieren eines vorge sehenen zweidimensionalen Bildes oder eine Mehrzahl von Rich tungsverteilungsdichtesignalen zum Definieren eines vorgesehe nen zweidimensionalen Bildes aufweist.

10. Gerät nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß das neuronale Netzwerk weiter eine Mehrzahl von vierten Multiplizierern (51) aufweist zum Multi plizieren entsprechender der Eingangssignale (I1 bis IN) mit einem entsprechenden Eingangskoppelkoeffizienten (V) und Anle gen des multiplizierten Signales an entsprechende der erregen den Elemente (x1 bis xN) und
daß die Koppelkoeffizientenaktualisierungseinrichtung (61) weiter den Eingangskoppelkoeffizienten (V) in dem neuronalen Netzwerk (1, 2) aktualisiert.

11. Gerät nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß die Koppelkoeffizientenaktualisie rungseinrichtung (62, 63) die Koppelkoeffizienten (KEIi) des zweiten Paares und die Erregungselementkoppelkoeffizienten (Wÿ, Wji) in dem neuronalen Netz (1, 2) aktualisiert, indem nur eine zeitliche Vorwärtsausbreitung durchgeführt wird.

12. Musterlerngerät mit
einem neuronalen Netz (1, 2) mit einer Mehrzahl von Erregungs element-Hinderungselement-Paaren (x1 bis xN, y1 bis yN) die gegenseitig miteinander gemäß einer vorbestimmten Beziehung verbunden sind,
wobei jedes Element-Paar ein entsprechendes erregendes Element (x1 bis xN) und ein entsprechendes hinderndes Element (y1 bis yN) aufweist, die in entgegengesetzten Richtungen durch ein erstes und zweites Paar von Koppelkoeffizienten (KIEi, KEIi) miteinander verbunden sind,
und jeweils zwei der Mehrzahl der erregenden Elemente (x1 bis xN) in entgegengesetzten Richtungen durch einen Erregungsele mentkoppelungskoeffizienten (Wÿ) verbunden sind; gekennzeichnet durch eine Lehrersignalerzeugungseinrichtung (3) zum Erzeugen eines Lehrersignales (Q(t), Q(t)) gemäß eines zu lernenden Lernmusters (LP) und
eine sequentielle Zeitlernverarbeitungseinrichtung (62, 63) zum Aktualisieren des zweiten Paares von Koppelungskoeffizienten (KEIi) und der Erregungselementkoppelungskoeffizienten (Wÿ) in dem neuronalen Netz (1, 2) durch Ausführen nur einer Vorwärts verbreitung auf der Zeitbasis bezüglich des Lehrersignales (Q(t).