DE4217832C2 - Mustererkennungsgerät - Google Patents

Mustererkennungsgerät

Info

Publication number
DE4217832C2
DE4217832C2 DE19924217832 DE4217832A DE4217832C2 DE 4217832 C2 DE4217832 C2 DE 4217832C2 DE 19924217832 DE19924217832 DE 19924217832 DE 4217832 A DE4217832 A DE 4217832A DE 4217832 C2 DE4217832 C2 DE 4217832C2
Authority
DE
Germany
Prior art keywords
pattern
learning
signal
excitation
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19924217832
Other languages
English (en)
Other versions
DE4217832A1 (de
Inventor
Yukio Hayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR AUDITORY VISUAL PERCEPTION
Original Assignee
ATR AUDITORY VISUAL PERCEPTION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP3232881A priority Critical patent/JPH07117950B2/ja
Application filed by ATR AUDITORY VISUAL PERCEPTION filed Critical ATR AUDITORY VISUAL PERCEPTION
Publication of DE4217832A1 publication Critical patent/DE4217832A1/de
Application granted granted Critical
Publication of DE4217832C2 publication Critical patent/DE4217832C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/64Methods or arrangements for recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references, e.g. resistor matrix
    • G06K9/66Methods or arrangements for recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references, e.g. resistor matrix references adjustable by an adaptive method, e.g. learning

Description

Die Erfindung bezieht sich auf ein Mustererkennungsgerät. Insbesonde­ re bezieht sich die Erfindung auf Geräte zum Mustererkennen, die ein neuronales Netzwerk mit einer Mehrzahl von Paaren mit je einem erregenden Element und einem hindernden Element aufweisen. Die Erfindung ist besonders anwendbar für ein Zeichenerkennungsgerät.

Es ist eine Mustererkennungstechnologie zum Erkennen von Bild­ mustern, Zeichen- oder Symbolmustern und Sprachmustern bekannt, und Erkennungsgeräte zum Erkennen dieser Muster sind entwickelt worden. Üblicherweise vergleicht ein Mustererkennungsgerät ein angelegtes Eingangsmuster mit einem "Wörterbuch"-Muster bzw. Standardmuster (Dictionary), das zuvor bereits gespeichert wor­ den ist, und bestimmt die Distanz (z. B. die "euklidische Di­ stanz") oder die Ähnlichkeit zwischen dem Eingangsmuster und dem Wörterbuchmuster, wodurch die Klassifizierung des angeleg­ ten Eingangsmuster bestimmt wird. Im allgemeinen sind jedoch die Zeichen, die Sprache und ähnliches, die in der Praxis von Menschen benutzt werden, in verschiedenen Formen selbst inner­ halb einer Klassifizierung variiert. Eine Mustererkennungstech­ nologie, bei der die Erkennung gemäß eines Wörterbuchmusters durchgeführt werden kann, ohne daß sie durch die Variationen der Zeichen und der Sprache beeinflußt werden, ist noch nicht entwickelt.

Es ist berichtet, daß es bedeutende dynamische chaotische Oszil­ lationsphänomene gibt, die durch ein Elektroenzephalogramm (oder EEG) im Gehirn von Kreaturen, Wesen und insbesondere höhere Wesen wie Menschen dargestellt werden. Es scheint, daß in dem Hirn höherer Wesen ein anderes Verarbeitungsverfahren als das Erkennungsverfahren ausgeführt wird, wie es unter Anwendung eines normalen Wörterbuchmusters verwendet wird.

Es ist berichtet, daß beim Erkennen der gleichen Arten von Objekten oder Konzepten, die sich dennoch individuell unter­ scheiden und variieren, solche höheren Wesen wie Menschen einen nichtvariablen Betrag oder eine Invarianz der Objekte oder der Konzepte erfassen, die nicht durch die Variation beeinflußt werden, und daß sie auch eine Kontinuität der Variation erfas­ sen, wodurch sie Objekte oder Konzepte erkennen. In der kogni­ tiven Psychologie wird z. B. berichtet, daß eine kontinuier­ liche interne Tätigkeit, die "mentale Rotation" genannt wird, im Gehirn stattfindet.

Weiterhin wird berichtet, daß Oszillation in einem neuronalen Netzwerk, das eine Mehrzahl von miteinander verbundenen Paaren aus einem erregenden Element und einem hindernden Element auf­ weist, als Erkennungsmodell auftritt. Dieses ist beschrieben in dem Artikel von B. Baird mit dem Titel "Nonlinear Dynamics of Pattern Formation and Pattern Recognition in the Rabbit Olfactory Bulb", Physica. Band 22D, Seiten 150-175, 1986.

Weiterhin ist eine Entdeckung, daß ein Lernen eines kontinuier­ lich transformierten Musters wie eine Reihe von Mustern im Zeitablauf im Prinzip möglich ist, welches kontinuierlich im Zeitablauf variiert, in dem Artikel H. Sato mit dem Titel "A Learning Algorithm to Teach Spatiotempral Patterns to Recurrent Neural Networks", Biological Cybernetics, Seiten 259-263, 1990, beschrieben. Darüber hinaus ist eine Entdeckung, daß ein niedrig dimensionaler chaotischer Orbit bzw. Umlauf, der "Lorenz Attractor" genannt wird, ebenfalls erhalten wird, indem die Lernregeln der rekurrierenden Netzwerke von M. Sato ver­ wendet werden, in dem Artikel berichtet mit dem Titel "A Lear­ ning of Approximation and Chaos of Nonlinear Dynamics by Recur­ rent Networks", IEICE Technical Report NC90-81, Seiten 77-82, 1991. In diesen Artikeln ist jedoch nicht berichtet, daß ein dynamischer Orbit erhalten wird, indem eine große Zahl von praktischen Mustern wie Bildern und Sprache verwendet wird.

Aus Fukushima, Kunihiko u. a.: "Handwritten Alphanumeric Character Recognition by the Neocognitron", IEEE Transactions on Neural Networks, Band 2, Nummer 3, Mai 1991, Seiten 355 bis 365 ist ein Mustererkennungsgerät bekannt, bei dem ein neurales Netzwerk mit Erregungselement-Hinderungselement-Paaren vorgesehen ist. Es ist eine Reihe von Ebenen in dem Netzwerk vorgesehen, wobei in jeder Ebene spezielle Musterteile erkannt werden können. In tiefen Ebenen werden kleine Einzelheiten erkannt, während in höheren Ebenen globale Zusammenhänge erkannt werden. Dabei wird das Lernen durch das Erkennungsgerät von niedrigen zu höheren Stufen durchgeführt. Es wird erst eine höhere Stufe trainiert, nachdem eine niedrigere Stufe fertig trainiert ist.

Aus der EP 02 45 508 A1 ist ein hierarchisches Datenverarbeitungssystem bekannt, bei dem ein neuronales Netzwerk mit Erregungselement-Hinderungselement-Paaren benutzt wird mit mehreren Schichten. Dabei wird das Lernen durch "Backpropagation" durchgeführt.

Beim Erkennen eines Eingangsmusters, das eine breite Variation aufzeigt, wie z. B. von Menschen geschriebene Zeichen oder Buchstaben, ist oft keine genaue Klassifizierung bei einem Er­ kennungsverfahren gemacht, das auf einer erfaßten Korrelations­ distanz oder einer Ähnlichkeit beruht. Es wird jedoch angenom­ men, daß Menschen im allgemeinen verschiedene Transformations­ muster durch eine kontinuierliche innere Tätigkeit erkennen. Probleme der bisherigen Verfahren, die auf dem Erkennen einer Korrelationsdistanz beruhen, könnten eventuell unter Anwendung solcher kontinuierlicher interner Tätigkeit gelöst werden.

Es wird jedoch darauf hingewiesen, daß es zum Realisieren der kon­ tinuierlichen Transformation durch eine Oszillation des neuronalen Netzwerkes schwierig ist, analytisch Oszillationsbe­ dingungen bei dem neuronalen Netzwerk zu erhalten, das eine Mehrzahl von miteinander gekoppelten Paaren aus einem erregenden und einem hindernden Element besteht. Da weiterhin alle Elemente in dem neuronalen Netz übereinander über eine Zahl von Multiplizierern (Synapsen) gekoppelt sind, kann ein Riesenbe­ trag von Rechnungen nicht verhindert werden. Wenn ein kontinu­ ierliches Transformationsmuster, das sich kontinuierlich ver­ ändert, von einem neuronalen Netzwerk gelernt wird, wird der Berechnungsbetrag enorm für ein zeitlich umgekehrtes Vorgehen, das einer Rückwärtsausbreitung in einem Vorwärtsnetz­ werk entspricht, d. h. einem Vorgehen, das in der Zeit rückwärts fortschreitet, woraus sich eine Notwendigkeit für lange Lernzeiten ableitet.

Es ist daher Aufgabe der Erfindung, für ein Mustererkennungsgerät, das ein neuronales Netzwerk einsetzt, das eine Mehrzahl von miteinander verbundenen Paaren aus einem erregenden Element und einem hindernden Element aufweist, einen Aufbau anzugeben, bei dem die Zeit zur Mustererkennung reduziert ist, und bei dem auch die Dauer des Lernvorgangs reduziert werden kann.

Diese Aufgabe wird gelöst durch ein Mustererkennungsgerät, das durch die Merkmale des Patentanspruches 1 gekennzeichnet ist.

Dieses Gerät weist insbesondere ein neuronales Netzwerk auf, daß eine Mehrzahl von Erregungselement-Hinderungselement- Paaren bzw. von Paaren mit jeweils einem erregenden Element und einem hindernden Element aufweist, wobei die Paare gemäß einer vorbestimmten Beziehung miteinander gegenseitig verbun­ den sind. Jedes Elementpaar enthält sein entsprechendes erre­ gendes Element und sein entsprechendes hinderndes Element, die miteinander in entgegengesetzten Richtungen verbunden sind durch einen ersten Paarkoppelkoeffizienten für die Erregungskoppelung und einen zweiten Paarkoppelkoeffizienten für die Hinde­ rungskoppelung. Eine Mehrzahl von erregenden Elementen empfängt eine Mehrzahl von Eingangssignalen zum Definieren von entspre­ chenden Eingangsmustern. Jeweils zwei der erregenden Elemente sind miteinander in entgegengesetzten Richtungen durch einen Erregungselementkoppelkoeffizienten verbunden. Das Muster­ erkennungsgerät weist weiter eine Erzeugungseinrichtung für ein Lehrersignal ("Teacher"-Signal) zum Erzeugen eines Lehrersi­ gnales gemäß eines zu lernenden Lernmusters und eine auf das Lehrersignal reagierende Koppelkoeffizientenaktualisierungs­ einrichtung zum Aktualisieren des ersten und zweiten Paarkoppel­ koeffizienten und der Erregungselementkoppelkoeffizienten in dem neuronalen Netzwerk auf. Nach dem Aktualisieren durch die Koppelkoeffizientenaktualisierungseinrichtung empfängt das neuro­ nale Netzwerk eine Mehrzahl von Eingangssignalen und gibt Ak­ tivierungssignale durch die Mehrzahl von erregenden Elementen aus. Das Mustererkennungsgerät enthält weiter eine Klassifie­ zierungsbestimmungseinrichtung, die auf die Aktivierungssignale zum Bestimmen der Klassifizierung der Eingangsmuster reagiert.

Im Betrieb wird die Mehrzahl von Erregungselement-Hinde­ rungselement-Paaren, die in dem neuronalen Netzwerk gegenseitig miteinander verbunden sind, vereinfacht, indem sie durch den ersten und zweiten Paarkoppelkoeffizienten und die zwei Erregungselementkoppelkoeffizienten verbunden sind. Daher wird der Betrag der Tätigkeit, der zum Aktualisieren der Koppelkoef­ fizienten durch die Koppelkoeffizientenaktualisierungseinheit nötig ist, verringert, wodurch die Tätigkeitszeit verringert wird, die für die Mustererkennung nötig ist.

Insbesondere weist das Mustererkennungsgerät ein neuronales Netzwerk mit einer Mehrzahl von Paaren mit einem erregenden Element und einem hindernden Element auf, die jeweils miteinander gemäß einer vorbestimmten Beziehung verbunden sind. Jedes Elementpaar weist sein entsprechendes erregendes Element und sein entspre­ chendes hinderndes Element auf, die miteinander in entgegenge­ setzten Richtungen durch einen ersten und zweiten Paarkoppel­ koeffizienten verbunden sind. Zwei Elemente eines erregenden Elementes und des entsprechenden hindernden Elementes sind in entgegengesetzte Richtungen durch einen Erregungselementkoppel­ koeffizienten bzw. einen Hinderungselementkoppelkoeffizienten verbunden. Das Mustererkennungsgerät weist weiter eine Lehrersignal­ erzeugungseinrichtung ("Teacher"-Signalerzeugungseinheit) zum Er­ zeugen eines Lehrersignales gemäß eines zu lernenden Lernmu­ sters auf. Schließlich weist das Mustererkennungsgerät eine Verarbei­ tungseinheit auf zum Lernen in zeitlicher Vorwärtsausbreitung zum Aktuali­ sieren des ersten und zweiten Paarkoppelkoeffizienten und der Erregungs­ elementkoppelkoeffizienten in dem neuronalen Netzwerk, indem nur eine Vorwärtsverarbeitung bezüglich des Zeitablaufes in Hinblick auf ein Lehrersignal ausgeführt wird.

Beim Betrieb wird der Betrag der zum Aktualisieren der Koppelkoeffizienten in dem neuronalen Netzwerk notwendigen Tätigkeit verringert. Mit anderen Worten, effektives Lernen kann durchgeführt werden und die Lernzeit ist verringert.

Es folgt die Beschreibung von Ausführungsbeispielen anhand der Figuren.

Von den Figuren zeigt

Fig. 1 ein Blockschaltbild einer Verarbeitungseinheit, wie sie in Fig. 2 gezeigt ist;

Fig. 2 ein Blockschaltbild eines Mustererkennungsgerä­ tes gemäß einer Ausführungsform der vorliegenden Erfindung;

Fig. 3 ein Blockschaltbild einer in Fig. 1 gezeigten Lehrersignalerzeugungseinrichtung;

Fig. 4 ein Schaltbild eines in Fig. 1 gezeigten neu­ ronalen Netzwerkes;

Fig. 5 ein Flußdiagramm eines Mustererkennungsvorganges in der in Fig. 2 gezeigten Verarbeitungseinheit;

Fig. 6 ein Wellendiagramm eines Beispieles von Aktivie­ rungswertsignalen, die Aktivierungsvektoren dar­ stellen;

Fig. 7 ein Wellendiagramm eines Beispieles erfaßter Korrelationsdistanzen;

Fig. 8 ein Vektororbitdiagramm zur Benutzung bei der Erläuterung der Periodizität von Aktivierungsrek­ toren;

Fig. 9 ein Flußdiagramm eines Lernvorganges in der in Fig. 1 gezeigten Verarbeitungseinheit;

Fig. 10 ein Diagramm, das variierende virtuelle Bilder zeigt, die verschoben und verzerrt sind;

Fig. 11 ein Transformationsmusterdiagramm eines Transfor­ mationsmusters, das sich periodisch ändert und als Lehrersignal benutzt wird;

Fig. 12 ein schematisches Diagramm, das das Vorgehen bei einem Lernvorgang zeigt;

Fig. 13 ein Diagramm, das die Variationen von Aktivie­ rungsvektoren zeigt, die von einem neuronalen Netzwerk vor dem Lernen ausgegeben werden;

Fig. 14 ein Diagramm, das die Variationen von Aktivie­ rungsvektoren zeigt, die von dem neuronalen Netz­ werk nach dem Lernen ausgegeben werden;

Fig. 15 ein Schaltdiagramm, das ein anderes Beispiel eines neuronalen Netzwerkes zeigt, auf das die vorliegende Erfindung anwendbar ist; und

Fig. 16 ein Schaltdiagramm, das ein weiteres Beispiel eines neuronalen Netzwerkes zeigt, auf das die vorliegende Erfindung anwendbar ist.

Die Erfindung ist im allgemeinen auf die Erkennung von Mustern wie Bildmuster, Zeichen- oder Symbolmuster oder Sprachmuster anwendbar. Im folgenden wird eine Beschreibung eines solchen Beispieles gegeben, bei dem die Erfindung auf ein Mustererken­ nungsgerät zur Zeichenerkennung angewendet wird.

Wie in Fig. 2 gezeigt ist, enthält das Mustererkennungsgerät einen Bildabtaster 100 zum Lesen von Zeichen auf einem Original, eine Verarbeitungseinheit 200, eine Speichereinrich­ tung 300 und eine Anzeigeeinrichtung 400. Ein zu erkennendes Eingangsmuster IP und ein Lernmuster LP zum Benutzen in einem Lernvorgang werden von dem Bildabtaster 100 an die Verarbei­ tungseinheit 200 angelegt. Zuvor sind Daten, die ein Wörter­ buchmuster bzw. Standardmuster darstellen, in der Speicherein­ richtung 300 gespeichert. Die gespeicherten Daten des Wörter­ buchmusters oder Nachschlagemusters DP werden an die Verarbei­ tungseinheit 200 angelegt. Die das Resultat der Erkennung an­ zeigenden Daten werden an die Anzeigeeinrichtung 400 zum Dar­ stellen auf einer Kathodenstrahlröhre (nicht gezeigt) angelegt und auch an andere nicht gezeigte Einrichtungen.

Wie in Fig. 1 gezeigt ist, enthält die Verarbeitungseinheit eine Erregungselementschaltung 1 und eine Hinderungselement­ schaltung 2, die beide ein neuronales Netzwerk darstellen, eine Lehrersignalerzeugungseinrichtung 3 zum Erzeugen eines Lehrersignales zum Bewirken, das das neuronale Netzwerk lernt, eine Koppel­ koeffizientensteuerung 4, die auf das Lehrersignal zum Steuern der Koppelkoeffizienten in dem neuronalen Netzwerk (oder Aus­ führen eines Lernvorganges) reagiert, Multiplizierer 51, 52 und 53 zum Multiplizieren von durch Lernen aktualisierten Koppelge­ wichtskoeffizienten und Koppelkoeffizientenaktualisierungsein­ heiten 61, 62 und 63 zum allmählichen Verändern der Koppelge­ wichtskoeffizienten während des Vorganges des Lernens. Wie in Fig. 4 gezeigt ist, ist ein neuronales Netzwerk aus einer Er­ regungselementschaltung und einer Hinderungselementschaltung zu­ sammengesetzt. Die Erregungselementschaltung 1 enthält N Erre­ gungselemente bzw. erregende Elemente x1 bis xN. Die erregenden Elemente x1 bis xN empfangen N Elementsignale I1 bis IN, die entsprechend in dem Eingangsmuster IP enthalten sind. Als Ele­ mentsignale I1 bis IN des Eingangsmusters bei der Zeichenerken­ nung werden Gitterdichtemerkmalsignale, Richtungsverteilungs­ dichtemerkmalsignale oder ähnliches zum Definieren entsprechen­ der Zeichen benutzt. Die Gitterdichtemerkmalssignale zeigen je­ weils die Dichte oder die Luminanz für jeden Bildpunkt bzw. je­ des Pixel oder für jeden Gitterpunkt in dem Fall an, in dem ein zu erkennendes Muster auf einem virtuellen Bild dargestellt ist. Wenn daher die Gitterdichtemerkmalssignale als Element­ signale I1 bis IN vorgesehen sind, sind N Gitterdichtemerkmals­ signale in bezug auf N Pixel zum Bilden eines einzelnen Zeichens als Eingangsmuster IP vorgesehen.

Dagegen zeigen die Richtungsverteilungsdichtemerkmalssignale die Richtung der Segmente an, zu denen jedes der Pixel, die ein einzelnes Zeichen bilden, beiträgt. Wenn die Richtungsvertei­ lungsdichtemerkmalssignale der vier Richtungen als Elementsi­ gnale I1 und IN vorgesehen sind, werden N Richtungsverteilungs­ dichtemerkmalssignale in Bezug auf N/4 Pixel als Eingangsmu­ ster IP vorgesehen.

Jeweils zwei der N in Fig. 4 gezeigten erregenden Elemente x1 bis xN sind miteinander durch einen Erregungselementkoppelkoef­ fizienten Wÿ verbunden. Zum Beispiel sind ein i-tes erregendes Element xi und ein j-tes erregendes Element xj miteinander durch den Koppelkoeffizienten Wÿ verbunden. Jedes erregende Element x1 bis xN ist mit sich selbst durch einen Selbstkoppe­ lungskoeffizienten Wii verbunden bzw. gekoppelt.

Die Hinderungselementschaltung 2 enthält N Hinderungselemente bzw. hindernde Elemente y1 bis yN. Die hindernden Elemente y1 bis yN sind mit ihren entsprechenden erregenden Elementen x1 bis xN durch Paarkoppelgewichtskoeffizienten verbunden, einen Erregungskoppelkoeffizienten KIEi und einen Hinderungskop­ pelkoeffizienten (-KEIi). Wie in Fig. 4 gesehen werden kann, ist das in dem in Fig. 2 gezeigten Mustererkennungsgerät ein­ gesetzte neuronale Netzwerk dadurch spezifiziert, das es mit­ einander gekoppelte N Paare aus einem erregenden Element und einem hindernden Element enthält.

Wie in Fig. 1 gezeigt ist, enthält die Erregungselementschal­ tung 1 einen Addierer 11, einen Prozessor 12 zum Ausführen eines Prozesses gemäß einer vorbestimmten nichtlinearen Funktion G(z), eine Differenzenzustandsaktualisierungseinheit 13 und ein Register (REG) 14. Der Addierer 11 empfängt die Elementsignale I1 bis IN des Eingangsmusters IP, die durch den Multiplizierer 51 mit einem Eingangskoppelkoeffizienten V multipliziert sind. Der Prozessor 12 für die nichtlineare Funktion empfängt als eine Eingangsvariable z die von dem Addierer 11 addierten Daten. Die Differenzzustandsaktualisie­ rungseinheit 13 empfängt den Datenausgang vom Prozessor 12.

Die Hinderungselementschaltung 2 enthält einen Prozessor 21 für eine nichtlineare Funktion, eine Differenzenzustandsaktuali­ sierungseinheit 22 und ein Register 23. Ein von der Erregungs­ elementschaltung ausgegebenes Aktivierungssignal X wird mit einem an einen Multiplizierer 54 angelegten Erregungskoppel­ koeffizienten KIEi multipliziert. Der multiplizierte Wert wird als Eingangsvariable z an den Prozessor 21 für die nichtlineare Funktion angelegt. Der Ausgangswert von dem Prozessor 21 der nichtlinearen Funktion wird an die Differenzenzustandsaktuali­ sierungseinheit 22 angelegt. Die Differenzenzustandsaktuali­ sierungseinheit 22 empfängt ein altes Aktivierungssignal Y von dem Register 23, um ein Signal ΔY zum Aktualisieren des Akti­ vierungssignales Y an das Register 23 anzulegen. Das in dem Re­ gister 23 gehaltene Aktivierungssignal Y wird mit einem an den Multiplizierer 53 angelegten Hemmungskoppelkoeffizienten KEI multipliziert. Das multiplizierte Signal wird dann an den Addierer 11 angelegt.

Folglich stellen die Erregungselementschaltung 1 und die Hinderungselementschaltung 2 das neuronale Netzwerk dar, das durch die folgenden Gleichungen (1) bis (3) dargestellt wird:

In den obigen Gleichungen bezeichnen xi und yi entsprechende Aktivierungswertsignale eines erregenden Elementes bzw. eines hemmenden Elementes; dxi/dt und dyi/dt bezeichnen die Zeitab­ leitungen der entsprechenden Aktivierungswertsignale xi und yi; Wÿ bezeichnet einen Koppelungsgewichtskoeffizienten zwischen zwei erregenden Elementen; - KEIi und KIEi bezeichnen einen Hinderungskoppelkoeffizienten bzw. einen Erregungskoppelkoeffi­ zienten zwischen dem erregenden Element und dem hindernden Ele­ ment; Ii bezeichnet ein Elementsignal des Eingangsmusters IP; und Vi bezeichnet einen Eingangskoppelgewichtskoeffizienten. Die durch die Gleichung (3) dargestellte Funktion G(z) ist als ein Beispiel einer kontinuierlichen S-förmigen Sättigungsfunk­ tion gezeigt. Der Parameter a bestimmt die Schärfe der Funktion G(z).

Schließlich bestimmt die Koppelkoeffizientensteuerung 4 die entsprechenden Koppelkoeffizienten W, KEI und V des neuronalen Netzwerkes durch Ausführen eines Lernvorganges, der im einzelnen später beschrieben wird. In der folgenden Diskus­ sion wird eine Beschreibung des Mustererkennungsvorganges gege­ ben, wobei angenommen wird, daß ein Lernvorgang bereits ausge­ führt ist, damit die Beschreibung vereinfacht wird.

Wie in Fig. 5 gezeigt ist, wird zuerst in einem Schritt 501 ein Lernvorgang unter Benutzung der Lehrersignalerzeugungseinrichtung 3, der Koppelkoeffizientensteuerung 4 und ähnliches ausgeführt. Nachdem der Lernvorgang beendet ist, wird in einem Schritt 502 ein zu erkennendes Eingangsmuster IP an den in Fig. 1 gezeigten Multiplizierer 51 angelegt. Jedes der Elementsignale I1 bis IN des Eingangsmusters IP wird mit dem an den Multipli­ zierer angelegten Eingangskoppelkoeffizienten V multi­ pliziert, so daß das multiplizierte Signal an den Addierer 11 in der Erregungselementschaltung 1 angelegt wird.

In einem Schritt 503 werden die Aktivierungsvektoren X und Y auf der Basis der Gleichungen (1) bis (3) erzeugt. Der Aktivie­ rungsvektor X enthält Aktivierungswertsignale x1 bis xN, die von den in Fig. 4 gezeigten N erregenden Elementen x1 bis xN ausgegeben werden. Entsprechend enthält der Aktivierungsvektor Y Nichtaktivierungswertsignale y1 bis yN, die von den in Fig. 4 gezeigten N hindernden Elementen y1 bis yN ausgegeben werden.

Daher erzeugt die Differenzenzustandsaktualisierungseinheit 13 die Zeitableitungen dxi/dt des Aktivierungswertsignales xi ge­ mäß der Gleichung (1), um den Wert ΔX zum Aktualisieren eines alten Aktivierungsvektors X, der in dem Register 14 gehalten wird, an das Register 14 anzulegen. Entsprechend erzeugt die Differenzen­ zustandsaktualisierungseinheit 21 die Zeitableitung dyi/dt des Aktivierungswertsignales yi gemäß der Gleichung (2) und legt den Wert ΔY zum Aktualisieren eines alten Aktivierungsvektors Y, der in dem Register 23 gehalten wird, an das Register 23 an.

Als Resultat werden aktualisierte Aktivierungsvektoren X und Y in den Registern 14 bzw. 23 erhalten.

Die Klassifizierung des angelegten Eingangsmusters IP wird in den Schritten 504 bis 507 bestimmt. Der Prozeß zum Bestimmen der Klassifizierung wird in einem Prozessor 8 ausgeführt. Zuerst wird in einem Schritt 504 eine Bestimmung durchgeführt, ob sich der Aktivierungsvektor X periodisch ändert.

In Fig. 6 zeigt die Abszisse die abgelaufene Zeit t an, während die Ordinate den Pegel der jeweiligen Aktivierungswert­ signale angibt. Obwohl nur drei Aktivierungswertsignale x1, x2 und x3 in dem in Fig. 6 gezeigten Beispiel gezeigt sind, gibt es in der Praxis N Aktivierungswertsignale xi bis xN. Da alle in Fig. 6 gezeigten Aktivierungswertsignale x1, x2 und x3 sich periodisch ändernde Wellenformen haben, wird der Aktivierungs­ vektor X, der diese Signale enthält, als periodisch bestimmt.

In Fig. 8 sind zwei Orbits bzw. Umlaufbahnen O1 und O2, die beide periodisch sind, und ein Orbit bzw. eine Umlaufbahn O3, die keine Periodizität zeigt, als Beispiel gezeigt. Bei dem in Fig. 8 gezeigten Beispiel enthalten die Orbits O1, O2 und O3 drei Aktivierungswertsignale als Element. Das heißt, diese Vek­ toren sind in einem dreidimensionalen Raum dargestellt. Der Orbit O1 zeichnet einen periodischen Umlauf nahe eines Gedächt­ nispunktes MP1. Der Orbit O2 zeichnet einen periodischen Umlauf nahe eines Gedächtnispunktes MP2. Dagegen ist der Orbit O3 cha­ otisch und existiert nicht nahe irgendwelcher Gedächtnispunkte. In anderen Worten, der Orbit O3 zeichnet einen chaotischen Um­ lauf. Es wird darauf hingewiesen, daß die Gedächtnispunkte MP1, MP2 und MP3, die in Fig. 8 gezeigt sind, drei Lernmustern zur Benutzung in einem Musterlernen entsprechen, das später be­ schrieben wird.

Wenn in Schritt 504 bestimmt wird, daß der Aktivierungsvektor X periodisch ist (z. B. Orbit O1 und O2 in Fig. 8), wird in Schritt 505 eine Korrelationsdistanz zwischen dem Aktivierungs­ vektor X und einem Wörterbuchmuster DP bestimmt, das im Voraus vorbereitet wurde. Das Wörterbuchmuster DP enthält ein gemitteltes Elementsignal (z. B. ein binäres gemitteltes Muster eines Gitterdichtemerkmalsignales oder eines Richtungsvertei­ lungsdichtemerkmalsignales) für jede Klassifikation, das heißt für jede Zeichenkategorie in dieser Ausführungsform. Das folgende Verfahren wird als ein Beispiel zum Erfassen der Korrelationsdistanz angewendet.

Wenn eine Korrelationsdistanz zwischen ein gewisses Wörterbuch­ muster, d. h. ein gewisses Zeichenmuster DPµ und einem Akti­ vierungsvektor X mit der Überlappungsfunktion mµ(t) bezeichnet wird und ein Elementsignal des Wörterbuchmusters DPµ mit dem Symbol ξj µ bezeichnet wird, wird die Korrelationsdistanz mµ(t) durch folgende Gleichung ausgedrückt:

Die in Fig. 7 gezeigten Korrelationsdistanzen m1, m2 und m3 stellen entsprechende Korrelationsdistanzen zwischen einem be­ stimmten Aktivierungsvektor X und entsprechenden Wörterbuchmu­ stern DP1, DP2 und DP3 dar. In Fig. 7 kann gesehen werden, daß die Korrelationsdistanz zwischen dem Aktivierungsvektor X und dem Wörterbuchmuster DP1 ein Minimum ist, d. h. er ist von dem Wörterbuchmuster DP1 am entferntesten, da die Amplitude der Korrelationsdistanz m1 am kleinsten ist.

In Schritt 506 wird die Klassifizierung des Eingangsmusters IP bestimmt. Da in dem vorhergehenden Schritt 505 die Korrelations­ distanz mµ(t) bestimmt worden ist, wird bestimmt, daß die Klas­ sifikation des angelegten Eingangsmusters IP das Wörterbuchmu­ ster DPµ mit einer großen Korrelationsdistanz ist.

Als Diskriminierungsverfahren, das das aus der obigen Glei­ chung (4) erhaltene mµ(t) verwendet, kann z. B. solch ein Ver­ fahren angenommen werden, daß eine Periode entdeckt wird, in der die Korrelationsdistanz mµ(t), die in einer vorbestimmten Zeitlänge Tf vorhanden ist, größer als ein bestimmter Schwell­ wert ist (z. B. 0,75) und daß ein Wörterbuchmuster, in dem eine maximale Periode entdeckt wird, als das Resultat der Diskrimi­ nation bestimmt wird. Als ein anderes Verfahren kann die Klassifizierung bestimmt werden durch Vergleichen der Pegel mittlerer Werte der Korrelationsdistanz mµ(t).

Wenn in Schritt 504 bestimmt wird, daß der Aktivierungsvektor X nicht periodisch ist, wird in Schritt 507 bestimmt, daß das Eingangsmuster IP unbekannt ist.

Ein Mustererkennungsverfahren für ein angelegtes einzelnes Ein­ gangsmuster IP ist durch das vorangehende Verfahren beendet; Wenn jedoch ein anderes Eingangsmuster nachbleibt, wird das obige Verfahren wiederholt. Das heißt, wenn ein Behandeln eines anderen Eingangsmusters in Schritt 508 für nötig erachtet wird, geht das Verfahren zurück zu Schritt 502.

Die obige Beschreibung ist in Hinblick auf das Mustererken­ nungsverfahren durchgeführt, daher wird jetzt eine detaillierte Beschreibung eines Lernverfahrens in der in Fig. 1 gezeigten Verarbeitungseinheit gegeben.

Wie in Fig. 3 gezeigt ist, enthält die Lehrersignalerzeugungseinrichtung 3 einen Verzerrungssignalgenerator 31 zum Vorsehen einer Verzer­ rung an einem Lernmuster LP, das auf einem virtuellen Bild vor­ gesehen ist, einen Verschiebungssignalgenerator 32 zum Vorsehen einer Verschiebung an dem Lernmuster LP auf dem virtuellen Bild, einen Verschiebungs/Verzerrungssynthetisierer 33, der auf ein Verzerrungssignal und ein Verschiebungssignal zum Transfor­ mieren des angelegten Lernmusters LP reagiert, und eine Inter­ polationsverarbeitungseinheit 34 zum Ausführen eines Interpola­ tionsvorganges auf Zeitbasis. Zuerst wird die Beschreibung gegeben über das Verfahren des Bewirkens einer Verzerrung und einer Verschiebung in dem angelegten Lernmuster LP.

Die in Fig. 10 gezeigten Variationen des virtuellen Bildes werden durch zwei Parameter Φ und k definiert. Φ stellt einen Winkel dar, der durch die Verschiebung des virtuellen Bildes gemacht wird, und k stellt den Grad der Verzerrung dar, die durch die folgenden Gleichungen in Polarkoordinaten (r, R) ange­ geben wird:

r′ = r (1-k sin R) (5)

R′ = R (6)

Folglich werden mit einem virtuellen Bild VSo, das ein Bezugsbild in der originalen Form ist, allmählich variierende virtuelle Bilder, wie sie in Fig. 10 gezeigt sind, erhalten, indem all­ mählich die zwei Parameter Φ und k variiert werden.

Das in Fig. 11 gezeigte Beispiel zeigt den Fall, indem ein japanischer Buchstabe (sogenanntes "Hiragana") als Lern­ muster LP vorgesehen ist, das die Referenz sein soll. Das heißt, ein in Fig. 11 gezeigtes Referenzmuster QLP wird als Lernmuster vorgesehen. Beim Transformieren des virtuellen Bil­ des, auf dem das Referenzmuster QLP angeordnet ist, wie in Fig. 10 gezeigt ist, wird ein Lehrersignal Q(t), das das in Fig. 11 gezeigte Transformationsmuster anzeigt, erhalten. Wie in Fig. 11 gezeigt ist, wird ein Lehrersignal Q(t10) zu einem Zeitpunkt t10 erhalten, wenn Φ = -10° und k = 0,4 ist. Wenn Φ = 10° ist und k = -0,4 ist, wird zu einem Zeitpunkt t20 das Leh­ rersignal Q(t20) erhalten. Wenn Φ = 10° ist und k = -0,4 ist, wird zu einem Zeitpunkt t30 ein Lehrersignal Q(t30) erhalten. Wenn Φ = 10° ist und k = 0,4 ist, wird zu einem Zeitpunkt t40 ein Lehrersignal Q(t40) erhalten. Wie in Fig. 11 gezeigt ist, ist das Lehrersignal Q(t) anfänglich ein diskretes Signal; ein folgendes Lehrersignal Q(t) wird jedoch durch einen Interpola­ tionsvorgang auf Zeitbasis in der in Fig. 3 gezeigten Interpo­ lationsverarbeitungseinheit 34 erhalten. Die Interpolationsver­ arbeitungseinheit 34 führt den Interpolationsvorgang unter Be­ nutzung einer linearen Interpolation, einer Spline-Interpola­ tion oder ähnliches zwischen benachbarten diskreten Mustern durch. Die erzeugten aufeinanderfolgenden Lehrersignale Q(t) und deren infinitesimalen Änderungen ΔQ(t) werden an die Koppelkoeffizientensteuerung 4 angelegt, die in Fig. 1 gezeigt ist.

Im folgenden wird der Lernvorgang unter Bezugnahme auf die Fig. 1 bis 9 näher erläutert.

Zuerst werden in einem Schritt 601 anfängliche Koppelkoeffi­ zienten Wo, Vo, KEIO und KIE gesetzt. Diese anfänglichen Kop­ pelkoeffizienten werden von einem in Fig. 1 gezeigten Anfangs­ wertsetzprozessor 7 angelegt. Für diese Ausführungsform wird darauf hingewiesen, daß ein Erregungskoppelkoeffizient KIE in der folgenden Verarbeitung konstant gehalten wird. Ebenfalls wird der Anfangswert Wÿ des Erregungselementkoppelkoeffizien­ ten durch die folgende Gleichung bestimmt:

wobei ξi α jeweils ein Wörterbuchmuster bzw. Standardmuster aus M Kategorien ist, d. h. ein Speichermuster, das ein Prototyp für jedes Zeichen sein soll, und ein durchschnitt­ liches Muster in jeder Kategorie wird durch die Benutzung zweier binärer Werte von +1 und -1 dargestellt.

Die notwendigen Bedingungen für Oszillation in dem in Fig. 1 gezeigten neuronalen Netzwerk können analytisch abgeleitet werden. Das heißt, damit der Gedächtnispunkt MP unstabil wird und eine Oszillation verursacht, sind Oszillationsbedingungen Wii π · a und KEI Wii · π · x* notwendig. Bei dieser Ausführungsform sind als ein Beispiel die Beziehungen a = 0,1, KIE = KEI = 2,0, Vi = 1,0 anfänglich eingestellt. Bei den obigen Oszillationsbedingungen ist x* der Gleichgewichtspunkt­ wert (0,6212, wenn Wii = 1 erfüllt ist), der eine Oszillation bewirkt (Hopf-Verzweigung). Wenn Wii kleiner 0,3 erfüllt ist in dem Fall des a = 0,1, sind solche notwendigen Bedingungen nicht erfüllt. Das heißt in einem solchen Fall wird ein Wert 1,0 zu einem Diagonalelement Wii in der Gleichung (7) addiert, wodurch die notwendigen Bedingungen erfüllt werden.

In einem Schritt 602 wird ein einzelnes Lernmuster LP an die Lehrersignalerzeugungseinrichtung 3 angelegt, so daß diese aufeinanderfolgend ein Lehrersignal Q(t) und seine infinitesimale Änderung ΔQ(t) ausgibt, wie oben beschrieben wurde. Ein Verfahren, das in den folgenden Gleichungen gezeigt ist, wird in der in Fig. 1 gezeigten Koppelkoeffizientensteu­ erung 4 ausgeführt:

vii (t) = KEIi xi (t) (8)

Ri (T + TB) = O (9)

Pi (t) = -Qi′ (t) - Qi (t) + G (vei) (13)

Die in Fig. 1 gezeigte Koppelkoeffizientensteuerung 4 enthält eine arithmetische Einheit 41 zum Ausführen einer durch die Gleichung (12) dargestellten arithmetischen Operation, eine arithmetische Einheit 42 zum Ausführen einer durch die Glei­ chung (17) dargestellten arithmetischen Operation, einen Pro­ zessor 43 für eine nichtlineare Funktion und eine arithmetische Einheit 44 zum Ausführen einer durch die Gleichung (13) darge­ stellten arithmetischen Operation.

In den obigen Gleichungen ist T eine gegenwärtige Zeit, TB eine Zeitdauer in einem einzelnen Lernintervall, η ein Lernkoeffi­ zient zum Bestimmen der Schrittweite beim Lernen, Q′(t) eine Zeitableitung des Lehrersignales und G′(z) eine Ableitung einer Funktion G(z), die durch die Gleichung (17) dargestellt ist.

In Schritt 604 wird ein einzelnes Lernintervall ausgewählt. Bei einem derartigen Lernvorgehen wird ein Intervall, das durch zwei Parameter bestimmt ist, die zum Ausgeben aufeinanderfol­ gender Lehrersignale Q(t) verwendet werden, das heißt bei dem Interpolationsverfahren verwendet werden, als ein einzelnes Lernintervall angesehen. Folglich wird das Lernen eines Zyklus der kontinuierlichen Transformation, die durch das Lehrersignal Q(t) dargestellt wird, durch eine Reihe derartiger Lerninter­ valle dargestellt.

Fig. 12 zeigt einen N-dimensionalen Raum, und ein Lehrersignal Q(t) und ein Aktivierungsvektor X(t) sind in dem N-dimensio­ nalen Raum vorhanden. In Fig. 12 ist entsprechendes Lerninter­ vall zwischen einem Lehrersignalmuster Q(z) und einem Aktivie­ rungsvektor X(t) gezeigt. Daher wird ein Lernverfahren für jedes Eingangsmuster ausgeführt, wobei ein Zyklus des Lehrersi­ gnalmusters in mehrere Lernintervalle unterteilt wird. Das durch das Lehrersignal Q(t) angezeigte Muster ist in dem N-di­ mensionalen Raum befestigt. Während das Lernen des neuronalen Netzwerkes voranschreitet, nähert sich der von dem neuronalen Netzwerk ausgegebene Aktivierungsvektor X(t) in der Richtung des Lehrersignalmusters. Das heißt, da alle Koppel­ koeffizienten sich allmählich in Bezug auf jedes entsprechende Lernintervall ändern, wächst das neuronale Netzwerk durch Lernen.

Wenn das neuronale Netzwerk mit einer wie in der Ausführungs­ form gezeigten Rückkoppelung auf der Grundlage herkömmlicher Lernregeln behandelt wird, ist ein Vorgehen notwendig, bei dem in der Zeit rückwärts gegangen wird, damit das Lernen der Kop­ pelungsgewichtkoeffizienten durchgeführt werden kann, bei dem ein Signal zu einem Element übertragen wird, das nicht mit einem Lehrersignal versehen ist. Bei der Ausführungsform der vorliegenden Erfindung entspricht ein solches Vorgehen einem Lernen in Bezug auf den Erregungskoppelungskoeffizienten KIE zum Vorsehen eines Signales an ein hinderndes Element, das nicht mit einem Lehrersignal in dem in Fig. 4 gezeigten neu­ ronalen Netzwerk versehen ist. Somit wird das oben beschriebene Vorgehen durchgeführt.

Bei einer Ausführungsform der vorliegenden Erfindung ist jedoch das Rückwärtsgehen in der Zeit unnötig, da der Erregungskoppe­ lungsgewichtskoeffizient KIE bei dem Lernprozeß fest ist. Das heißt, ein effektives Lernvorgehen kann nur durch Vorwärts­ gehen in der Zeit durchgeführt werden. Nachdem im Schritt 605 die Aktivierungsvektoren X und Y, ve und P (während der Zeit TB) erzeugt sind, werden in Schritt 606 die Koppelkoeffizien­ ten W, KEI und V aktualisiert.

Es wird eine Bestimmung im Schritt 607 durchgeführt, ob das Verfahren in Bezug auf alle Lernintervalle beendet ist. Wenn ein oder mehrere Lernintervalle nachgeblieben sind, geht das Verfahren zurück zu Schritt 604.

Nachdem die Verarbeitung aller Lernintervalle beendet ist, wird in Schritt 608 eine Bestimmung durchgeführt, ob das Verfahren im Bezug auf alle Lernmuster beendet ist. Wenn ein oder mehrere Lernmuster nachgeblieben sind, geht das Verfahren zurück zu Schritt 602.

Nachdem das Verfahren in Bezug auf alle Lernmuster beendet ist, wird jeder Fehler Er für die Lernmuster durch die folgende Gleichung erhalten:

Die Verfahren der Schritte 602 bis 608 werden wiederholt, bis eine Summe der erfaßten Fehler in einem Zyklus kleiner als der gewünschte Fehler Ero wird. Folglich ist dann das Lernverfahren beendet.

In den Fig. 13 und 14 läuft die Zeit von der ersten Reihe zu der fünften Reihe und nach rechts. Wie aus dem Vergleich der Fig. 13 und 14 gesehen werden kann, wird darauf hingewiesen, daß nach dem Lernen der Aktivierungsvektor eine definitivere Periodizität hat, die zeigt, daß die gleiche kontinuierliche Transformation wie die des Lehrersignales vorgesehen ist.

Während die obige Beschreibung für den Fall gemacht wurde, daß die Ausführungsform der Erfindung auf das in Fig. 4 gezeigte neuronale Netzwerk angewendet wird, wird darauf hingewiesen, daß die Erfindung auch auf die in Fig. 15 oder 16 gezeigten neuronalen Netzwerke angewendet werden kann.

Da, wie oben beschrieben wurde, eine kontinuierliche Transfor­ mationstätigkeit, von der angenommen wird, daß sie beim Erken­ nungsprozeß durch den Menschen benutzt wird, durch das Lernen erzielt werden kann, wird eine Fähigkeit erwartet, die näher zu der Mustererkennung durch die Menschen als bei herkömmlichen Mustererkennungsmethoden ist.

Claims (11)

1. Mustererkennungsgerät zum Erkennen eines angelegten Ein­ gangsmusters, wobei das Eingangsmuster (IP) eine Mehrzahl von Eingangssignalen (I1 bis IN) zum Definieren des Eingangsmu­ sters (IP) enthält, mit
einem neuronalen Netzwerk (1, 2) mit einer Mehrzahl von Erregungselement-Hinderungselement-Paaren (x1 bis xN, y1 bis yN), die gegenseitig miteinander gemäß einer vorbestimmten Be­ ziehung verbunden sind,
wobei jedes Element-Paar ein entsprechendes erregendes Element (x1 bis xN) und ein entsprechendes hinderndes Element (y1 bis yN) aufweist, die miteinander in entgegengesetzten Richtungen durch einen ersten Paarkoppelkoeffizienten (KIEi) für die Erregungs­ koppelung und durch einen zweiten Paarkoppelkoeffizienten (KEIi) für die Hinderungskoppelung verbunden sind,
die Mehrzahl von erregenden Elementen (x1 bis xN) jeweils die Mehrzahl von Eingangssignalen (I1 bis IN) empfängt,
jeweils zwei der Mehrzahl der erregenden Elemente (x1 bis xN) in entgegengesetzten Richtungen durch Erregungselementkoppelkoeffizienten (Wÿ, Wji) verbunden sind und jedes erregende Element (x1 bis xN) eine Selbstkoppelung (Wii) aufweist;
einer Lehrersignalerzeugungseinrichtung (3) zum Erzeugen eines Lehrersignales (Q(t), ΔQ(t)) gemäß eines zu lernenden Lernmu­ sters (LP);
einer Koppelkoeffizientenaktualisierungseinrichtung (61, 62, 63), die auf das Lehrersignal (Q(t), ΔQ(t)) zum Aktualisieren der ersten und zweiten Paarkoppelkoeffizienten (KIEi, KEIi) und der Erregungselementkoppelkoeffizienten (Wÿ, Wji) in dem neuronalen Netzwerk (1, 2) reagiert,
wobei nach dem Aktualisieren durch die Koppelkoeffizientenaktu­ alisierungseinrichtung (61, 62, 63) das neuronale Netzwerk (1, 2) die Mehrzahl von Eingangssignalen (I1 bis IN) empfängt und ein Aktivierungssignal (X) durch die Mehrzahl von erregenden Elementen (x1 bis xN) ausgibt; und
einer Klassifizierungsbestimmungseinrichtung (8), die auf das Aktivierungssignal (X) zum Bestimmen der Klassifizierung des Eingangsmusters (IP) reagiert.
2. Gerät nach Anspruch 1, dadurch gekennzeichnet, daß die Lehrersignalerzeugungseinrich­ tung (3) eine Lernmusteränderungseinrichtung (31, 32, 33) zum Erzeugen des Lehrersignales (Q(t), ΔQ(t)) durch kontinuierli­ ches Ändern des Lernmusters (LP) auf der Grundlage einer vor­ bestimmten Regel aufweist.
3. Gerät nach Anspruch 2, dadurch gekennzeichnet, daß das Lernmuster (LP) ein Lernbild­ muster enthält, das auf einem zweidimensionalen virtuellen Bild angeordnet ist, und
daß die Lernmusteränderungseinrichtung einen Verschiebungssignalgenerator (32) zum Verschieben des virtuellen Bildes um ein vor­ bestimmtes Verhältnis und einen Verzerrungssignalgenerator (31) zum Verzerren des virtuellen Bildes auf der Grundlage einer vorbestimmten Gleichung aufweist,
wobei das Lernbildmuster gemäß dem virtuellen Bild variiert wird, daß durch den Verschiebungssignalgenerator (32) und den Verzerrungssignalgenerator (31) verändert wird.
4. Gerät nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß das Lernmuster (LP) diskret variiert wird und
daß die Lernmusteränderungseinrichtung weiter eine Interpolationsverarbeitungseinheit (34) zum Umwandeln der variierten Lernmuster in ein im Zeitablauf kontinuierliches Signal aufweist.
5. Gerät nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Klassifizierungsbestimmungsein­ richtung (8) eine Periodizitätsbestimmungseinrichtung aufweist zum Bestimmen, ob das von dem neuronalen Netzwerk (1, 2) ausge­ gebene Aktivierungssignal eine Periodizität aufweist, und
daß die Klassifizierung des Eingangsmusters (IP) als Reaktion auf die Periodizitätsbestimmungseinrichtung bestimmt wird.
6. Gerät nach Anspruch 5, dadurch gekennzeichnet, daß die Klassifizierungsbestimmungsein­ richtung (8) weiter eine Korrelationsdistanzerfassungseinrich­ tung zum Erfassen einer Korrelationsdistanz zwischen dem Akti­ vierungssignal (X) und einem vorbestimmten Wörterbuchmuster (DP), wenn die Periodizitätsbestimmungseinrichtung die Periodi­ zität des Aktivierungssignales (X) feststellt, aufweist und daß die Klassifizierung des Eingangsmusters (IP) als Reaktion auf die Korrelationsdistanzerfassungseinrichtung bestimmt wird.
7. Gerät nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß das neuronale Netzwerk (1, 2) weiter enthält:
eine Mehrzahl von ersten Multiplizierern (54) zum Multiplizie­ ren eines Ausgangssignales (X) von einem entsprechenden erregenden Element (x1 bis xN) mit einem entsprechenden ersten Paarkoppel­ koeffizienten (KIEi) und Anlegen des multi­ plizierten Signales an ein entsprechendes hinderndes Element (y1 bis yN);
eine Mehrzahl von zweiten Multiplizierern (53) zum Multiplizie­ ren eines Ausgangssignales (Y) von einem entsprechenden hindernden Element (y1 bis yN) mit einem entsprechenden zweiten Paarkoppelkoeffi­ zienten (KEIi) und Anlegen des multiplizier­ ten Signales an ein entsprechendes erregendes Element (x1 bis xN); und
eine Mehrzahl von dritten Multiplizierern (52) zum Multiplizie­ ren von entsprechenden Ausgangssignalen (X) von jeweils zwei der Mehrzahl von erregenden Elementen (x1 bis xN) mit entspre­ chenden Erregungselementkoppelkoeffizienten (Wÿ, Wji) und An­ legen des einen multiplizierten Signales und des anderen multi­ plizierten Signales an das andere bzw. eine der zwei erregen­ den Elemente.
8. Gerät nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, daß das Lernbildmuster eine Mehrzahl von Lernzeichenmustern aufweist, die jeweils verschiedene Zei­ chen darstellen, und
daß die Klassifizierungsbestimmungseinrichtung (8) eine Zeichenauswahleinrichtung aufweist, die auf das Aktivierungs­ signal (X) zum Auswählen der Klassifizierung des Eingangsmu­ sters (IP) aus der Mehrzahl von Lernzeichenmustern reagiert.
9. Gerät nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die Mehrzahl von Eingangssignalen (I1 bis IN) zum Definieren des Eingangsmusters (IP) eine Mehr­ zahl von Gitter-/Maschendichtesignalen zum Definieren eines vorge­ sehenen zweidimensionalen Bildes oder eine Mehrzahl von Rich­ tungsverteilungsdichtesignalen zum Definieren eines vorgesehe­ nen zweidimensionalen Bildes aufweist.
10. Gerät nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, daß das neuronale Netzwerk weiter eine Mehrzahl von vierten Multiplizierern (51) aufweist zum Multi­ plizieren der Eingangssignale (I1 bis IN) mit einem entsprechenden Eingangskoppelkoeffizienten (V) und Anle­ gen des multiplizierten Signales an entsprechende der erregen­ den Elemente (x1 bis xN) und
daß die Koppelkoeffizientenaktualisierungseinrichtung (61, 62, 63) weiter den Eingangskoppelkoeffizienten (V) in dem neuronalen Netzwerk (1, 2) aktualisiert.
11. Gerät nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, daß die Koppelkoeffizientenaktualisie­ rungseinrichtung (61, 62, 63) die zweiten Paarkoppelkoeffizienten (KEIi) und die Erregungselementkoppelkoeffizienten (Wÿ, Wji) in dem neuronalen Netz (1, 2) aktualisiert, indem nur eine zeitliche Vorwärtsausbreitung durchgeführt wird.
DE19924217832 1991-09-12 1992-05-29 Mustererkennungsgerät Expired - Fee Related DE4217832C2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3232881A JPH07117950B2 (ja) 1991-09-12 1991-09-12 パターン認識装置およびパターン学習装置

Publications (2)

Publication Number Publication Date
DE4217832A1 DE4217832A1 (de) 1993-03-25
DE4217832C2 true DE4217832C2 (de) 1994-08-18

Family

ID=16946304

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19924217832 Expired - Fee Related DE4217832C2 (de) 1991-09-12 1992-05-29 Mustererkennungsgerät

Country Status (3)

Country Link
US (1) US5323471A (de)
JP (1) JPH07117950B2 (de)
DE (1) DE4217832C2 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2069811C (en) * 1991-10-03 1998-08-11 John Stewart Denker Projective training system for neural networks
JP3226641B2 (ja) * 1992-02-04 2001-11-05 富士写真フイルム株式会社 パターン学習方法
US5510976A (en) * 1993-02-08 1996-04-23 Hitachi, Ltd. Control system
US5475768A (en) * 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
KR0185757B1 (ko) * 1994-02-14 1999-05-15 정호선 혼돈 순환 신경회로망의 학습방법
JPH08241294A (ja) * 1994-08-18 1996-09-17 Nikon Corp カオスニューラルネットワークを用いた運動制御方法及びカオス計算機と群運動制御方法。
US5463564A (en) * 1994-09-16 1995-10-31 3-Dimensional Pharmaceuticals, Inc. System and method of automatically generating chemical compounds with desired properties
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
IL113204A (en) * 1995-03-30 1999-03-12 Advanced Recognition Tech Pattern recognition system
US5966701A (en) * 1995-06-21 1999-10-12 Matsushita Electric Industrial Co., Ltd. Recognition and judgement apparatus having various learning functions
US6453246B1 (en) * 1996-11-04 2002-09-17 3-Dimensional Pharmaceuticals, Inc. System, method, and computer program product for representing proximity data in a multi-dimensional space
IL129498D0 (en) * 1996-11-04 2000-02-29 Dimensional Pharm Inc System method and computer program product for identifying chemical compounds having desired properties
US6571227B1 (en) * 1996-11-04 2003-05-27 3-Dimensional Pharmaceuticals, Inc. Method, system and computer program product for non-linear mapping of multi-dimensional data
US6397201B1 (en) 1997-12-02 2002-05-28 David W. Arathorn E-cell (equivalent cell) and the basic circuit modules of e-circuits: e-cell pair totem, the basic memory circuit and association extension
US6269354B1 (en) 1998-11-30 2001-07-31 David W. Arathorn General purpose recognition e-circuits capable of translation-tolerant recognition, scene segmentation and attention shift, and their application to machine vision
US6671627B2 (en) 2000-02-29 2003-12-30 3-D Pharmaceuticals, Inc. Method and computer program product for designing combinatorial arrays
US7039621B2 (en) 2000-03-22 2006-05-02 Johnson & Johnson Pharmaceutical Research & Development, L.L.C. System, method, and computer program product for representing object relationships in a multidimensional space
AU4980501A (en) 2000-04-03 2001-10-15 Dimensional Pharm Inc Method, system, and computer program product for representing object relationships in a multidimensional space
CA2419600A1 (en) * 2000-08-22 2002-02-28 3-Dimensional Pharmaceuticals, Inc. Method, system, and computer program product for determining properties of combinatorial library products from features of library building blocks
US7054757B2 (en) * 2001-01-29 2006-05-30 Johnson & Johnson Pharmaceutical Research & Development, L.L.C. Method, system, and computer program product for analyzing combinatorial libraries
WO2002025504A2 (en) * 2000-09-20 2002-03-28 Lobanov Victor S Method, system, and computer program product for encoding and building products of a virtual combinatorial library
WO2004104917A1 (ja) * 2003-05-20 2004-12-02 Fujitsu Limited センサおよびセンサプログラム
US20070124264A1 (en) * 2005-11-18 2007-05-31 International Business Machines Corporation Deconvolution and segmentation based on a network of dynamical units
CN101355417B (zh) * 2008-09-10 2011-08-10 重庆大学 三阶自治混沌系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634236B2 (ja) * 1985-11-02 1994-05-02 日本放送協会 階層型情報処理方法
JP2940933B2 (ja) * 1989-05-20 1999-08-25 株式会社リコー パターン認識方式
US5259065A (en) * 1989-11-16 1993-11-02 Yozan, Inc. Data processing system

Also Published As

Publication number Publication date
JPH0573523A (ja) 1993-03-26
US5323471A (en) 1994-06-21
JPH07117950B2 (ja) 1995-12-18
DE4217832A1 (de) 1993-03-25

Similar Documents

Publication Publication Date Title
Goerick et al. Artificial neural networks in real-time car detection and tracking applications
Fukushima Cognitron: A self-organizing multilayered neural network
Yamada et al. A nonlinear normalization method for handprinted Kanji character recognition—line density equalization
DE3440377C2 (de)
DE60217299T2 (de) Holistisch-analytische erkennung von handgeschriebenem text
DE2944822C2 (de)
DE4131778C2 (de) Verfahren und Vorrichtung zur Kantenerkennung für ein Bildverarbeitungssystem
DE202017105729U1 (de) Kerndurchschreiten in Hardware
DE69533054T2 (de) Mehrfenstertechnik zur Schwellenwertverarbeitung eines Bildes unter Verwendung lokaler Bildeigenschaften
DE3819178C2 (de)
DE60037919T2 (de) Verfahren zum Wiederauffinden von Bildtexturen und Vorrichtung dafür
EP0368139B1 (de) Verfahren zur Codierung von Restfehlerbildern
DE69434487T2 (de) Methode und vorrichtung zur fuzzy logicsteuerung mit automatischem abstimmverfahren
DE3633743C2 (de)
DE69634247T2 (de) Klassifiziervorrichtung mit einem neuronalen Netz zum adaptiven Filtern
DE69832314T2 (de) Bildzuordnungssystem
DE10043460C2 (de) Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
US5058184A (en) Hierachical information processing system
DE19511417C2 (de) Verfahren und Vorrichtung zur Binärumwandlung eines Bildsignals
DE60224324T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern
DE19581638C2 (de) Rechenvorrichtung mit einem Mikroprozessor, einem neuralen Netz-Koprozessor und einer DMA-Steuervorrichtung
DE2757456C2 (de)
EP2112569A2 (de) Verfahren zum rechnergestützten Lernen einer Steuerung und/oder Regelung eines technischen Systems
DE69333431T2 (de) Verfahren zum Erkennen von handgeschriebenen Symbolen
DE102014108287A1 (de) Schnelles Erlernen durch Nachahmung von Kraftdrehmoment-Aufgaben durch Roboter

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee