DE69031842T2

DE69031842T2 - Lernsystem und Lernverfahren für eine Datenverarbeitungsvorrichtung

Info

Publication number: DE69031842T2
Application number: DE69031842T
Authority: DE
Inventors: Kazuo Asakawa; Akira Kawamura; Takashi Kimoto; Ryusuke Masuoka; Jun Ichi Tanahashi; Nobuo Watanabe
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-02-20
Filing date: 1990-02-20
Publication date: 1998-04-16
Anticipated expiration: 2010-02-21
Also published as: EP0384689A2; DE69031842D1; EP0384689B1; US5297237A; US5410636A; EP0384689A3; US6023693A

Description

Die vorliegende Erfindung bezieht sich auf ein lernendes System für ein Datenverarbeitungsgerät zum Bestimmen eines Interner-Zustand-Werts (engl. internal state value), der eine Musterumwandlung definiert, um eine Datenverarbeitungsfunktion durch einen Lernprozeß zu realisieren, und insbesondere auf ein lernendes System für ein Datenverarbeitungsgerät, das einen Interner-Zustand-Wert schnell lernen kann.
In einem herkömmlichen sequentiellen Verarbeitungscomputer (von-Neumann-Typ) kann die Datenverarbeitungsfunktion nicht gemäß einer Änderung in dem Verwendungsverfahren und der Umgebung gesteuert werden. Daher ist ein durch ein Parallel-Verteilung- Prozeß-System mit einer Netzwerkstruktur vorwiegend in dem Gebiet der Mustererkennung und Adaptivfiltertechnologie repräsentiertes adaptives Datenverarbeitungsgerät erforderlich. Solch ein adaptives Datenverarbeitungsgerät muß durch einen Lernprozeß einen die Datenverarbeitungsfunktion definierenden Inter ner-Zustand-Wert erhalten.
Von den Systemen zum Lernen der Interner-Zustand-Werte in Datenverarbeitungsgeräten erfährt das Rückwärtsausbreitungsverfahren genannte Prozeßverfahren (D.E. Rumelhart, G.E. Hinton und R.J. Wiliams, "Learning Internal Representations by Error Propagation", PARALLEL DISTRIBUTED PROCESSING, Bd. 11 S. 318-364, The MIT Press, 1986) wegen seiner guten Anwendbarkeit Aufmerksamkeit.
In einem Datenverarbeitungsgerät mit einer geschichteten Netzwerkstruktur weist das geschichtete Netzwerk einen eine Basiseinheit genannten Knoten und eine interne Verbindung mit einem Gewichtwert auf, der einem Innerer-(Interner)-Zustand-Wert entspricht.
Figur 1 zeigt die Struktur einer Basiseinheit 1, die ein System mit mehreren Eingaben und einer einzigen Ausgabe umfaßt. Sie umfaßt eine Multiplikationseinheit 2 zum Multiplizieren des Gewichts einer internen Verbindung mit einer Vielzahl von Eingaben, eine akkumulierende Einheit 3 zum Addieren all der multiplizierten Ergebnisse und eine Schwellenwert-Verarbeitungseinheit 4 zum Durchführen eines nichtlinearen Schwellenwertprozesses auf einem akkumulierten Wert und Ausgeben eines Endwerts und wird verwendet, um ein geschichtetes Netzwerk wie in Figur 2 gezeigt zu bilden. Die Datenverarbeitungsfunktion wird ausgeführt, um das Eingangssignal (Eingabemuster) in ein entsprechendes Ausgangssignal (Ausgabemuster) umzuwandeln. Gemäß dem für das geschichtete Netzwerk verwendeten Rückwärtsausbreitungsverfahren erwartet man, daß das dem zum Lernen vorgesehenen Eingangssignal entsprechende Ausgangssignal ein Lehrersignal (Lehrermuster) zum Bezeichnen des Signalwerts wird. Somit ist der Gewichtwert einer internen Verbindung eines geschichteten Netzwerks gemäß einem vorbestimmten Lernalgorithmus bestimmt. Wenn der Wert durch diesen Prozeß bestimmt ist, gibt das geschichtete Netzwerk das neue Ausgangssignal aus, selbst wenn ein unerwartetes Eingangssignal daran angelegt wird. Somit ist eine flexible Datenverarbeitungsfunktion geschaffen. Der Lernprozeß muß jedoch innerhalb einer kürzeren Zeitperiode realisiert werden. Das heißt, es ist notwendig, die Zeitperiode zu verkürzen, die zum Lernen verschiedener Muster erforderlich ist, einschließlich einer Interferenz zwischen Mustern, so daß eine Interferenz zwischen Mustern vermieden wird und verschiedene Muster voneinander getrennt sind. Um den erforderlichen komplexen Datenprozeß zu realisieren, muß die geschichtete Netzwerkstruktur ebenfalls kompliziert sein. Dies macht es schwierig, den Prozeß zu verkürzen.
Ein herkömmliches Rückwärtsausbreitungssystem zur Verwendung in einem adaptierbaren Datenverarbeitungsgerät mit einer geschichteten Netzwerkstruktur wird nun ausführlich erläutert. Man nehme an, daß eine h-Schicht eine Vorstufe-Schicht ist und eine i-Schicht eine Nachstufe-Schicht ist. Eine in der arithmetischen Verarbeitungseinheit 3 innerhalb einer Basiseinheit 1 ausgeführte arithmetische Operation wird wie in Gleichung (1) dargestellt ausgedrückt. Eine durch eine Schwellenwerteinheit 4 ausgeführte Operation wird durch die folgende Gleichung (2) beschrieben.
wo gelten: h : die Einheitsnummer einer h-Schicht
i : die Einheitsnummer einer i-Schicht
p : die Musternummer des Eingangssignals
θi : der Schwellenwert der i-ten Einheit der i- Schicht
Wih : der Gewichtwert einer internen Verbindung zwischen h-i-Schichten
xpi : die Summe der Produkte der Eingabe von jeweiligen Einheiten in einer h-Schicht in die i-te Einheit in der i-Schicht
yph : die Ausgabe von der h-ten Einheit der h- Schicht für das Eingangssignal des p-ten Mustereingangssignals
ypi : die i-te Einheit der i-Schicht, entsprechend dem Eingangssignal des p-ten Musters.
Das Rückwärtsausbreitungssystem führt adaptiv eine automatische Einstellung durch Verwenden einer Rückkopplung des Gewichtwerts Wih und des Schwellenwerts θi durch. Wie aus den Gleichungen (1) und (2) klar ist, ist es notwendig, den Gewichtwert Wih und den Schwellenwert θi gleichzeitig zu ändern. Dies ist jedoch wegen einer wechselseitigen Interferenz schwierig. Daher schlägt der vorliegende Anmelder vor, daß eine Basiseinheit 1 mit "1" als ein Eingangssignal bei einer Schicht der Eingabeseite vorgesehen und der Schwellenwert θi mit dem .25 Gewichtwert Wih kombiniert wird, dadurch verhindernd, daß ein Schwellenwert θi in Gleichung (2) erscheint. Die Gleichungen (1) und (2) werden somit wie folgt ausgedrückt:
Ein herkömmlicher Prozeß zum Lernen des Gewichtwerts wird gemäß den Gleichungen (3) und (4) erläutert. Diese Erläuterung kann durch ein geschichtetes Netzwerk mit einer Struktur durchgeführt werden, die eine h-Schicht, eine i-Schicht und eine j- Schicht wie in Figur 3 gezeigt aufweist.
Die folgende Gleichung kann aus den Gleichungen (3) und (4) erhalten werden.
wo gelten: j : die Einheitsnummer einer j-Schicht,
Wji : ein Gewichtwert der internen Verbindung zwischen i-j-Schichten,
xpj : die Summe der Produkte der Eingabe von jeweiligen Einheiten einer i-Schicht in die j- Schicht-Einheit der j-Schicht,
ypj : die Ausgabe von der j-ten Einheit der j- Schicht für ein Eingangssignal des p-ten Musters.
Gemäß dem Prozeß zum Lernen des Gewichtwerts gründet sich der Fehlervektor Ep zuerst auf die folgenden Gleichungen. Er ist die Summe der Fehler zwischen dem Lehrersignal und dem Ausgangssignal von der Ausgabeschicht zur zweiten Potenz und wird als ein durch das geschichtete Netzwerk erzeugter Fehler berechnet. Das Lehrersignal ist das Signal, welches das Ausgangssignal werden sollte.
wo gelten: Ep : ein Fehlervektor für das Eingangssignal des p- ten Musters,
E : die Summe der Fehlervektoren für die Eingangsspannung bezüglich all der Muster,
dpj : ein Lehrersignal der j-ten Einheit der j-ten Schicht für das Eingangssignal des p-ten Musters.
Es kann notwendig sein, eine partielle Differentiation von ypj in Gleichung (7) auszuführen, um die Beziehung zwischen dem Fehlervektor und dem Ausgangssignal zu erhalten.
Um die Beziehung zwischen dem Fehlervektor Ep und der Eingabe in die j-Schicht zu erhalten, sollte ferner der Fehlervek-
tor Ep bezüglich xpj gemäß der folgenden Gleichung partiell differenziert werden.
Eine Beziehung zwischen einem Fehlervektor Ep und einem Gewichtwert zwischen den i-j-Schichten wird überdies erhalten. Somit wird ein Fehlervektor Ep einer partiellen Differentiation nach Wji unterzogen.
Die durch die obige Summe der Produkte repräsentierte Lösung wird somit erhalten.
Als nächstes wird eine Variation eines Fehlervektors Ep für eine Ausgabe Ypi einer i-Schicht wie folgt erhalten.
Ferner wird eine Variation eines Fehlervektors für eine Variation einer Gesamtsumme xpi zu einer i-Schicht-Eingabeeinheit berechnet. Somit gilt
Die durch die obige Summe der Produkte repräsentierte Lösung kann erhalten werden. Die Beziehung zwischen der Variation des Fehlervektors und der Variation des Gewichtwerts zwischen den h-i-Schichten wird ferner wie folgt erhalten.
Die durch die obige Summe der Produkte repräsentierte Lösung kann folglich erhalten werden. Die Beziehung zwischen dem Fehlervektor und einem Gewichtwert zwischen i-j-Schichten für die gesamten Eingabemuster wird erhalten und wird durch die folgende Gleichung ausgedrückt.
Die Beziehung zwischen den Fehlervektoren für alle Eingabemuster und dem Gewichtwert zwischen den h-i-Schichten kann wie folgt erhalten werden.
Die Gleichungen (15) und (16) reprasentleren eine Rate eines Änderungsverhältnisses eines Fehlervektors zu einer Variation in einem Gewichtwert zwischen den Schichten. Falls das Gewicht so geändert wird, daß die Schadensrate immer negativ gemacht ist, gemäß dem sogenannten Gradientenverfahren, kann die Summe von Fehlervektoren nach und nach gegen 0 konvergiert werden. In dem herkömmlichen Rückwärtsausbreitungssystem werden eine aktualisierte Größe ΔWji und ΔWih pro Zeiteinheit wie folgt bestimmt, und das Aktualisieren dieser Gewichtwerte wird wiederholt, wodurch eine Summe E der Fehlervektoren zu einem minimalen Wert konvergiert.
wo &epsi;(> 0) eine Lernkonstante eines Lernparameters repräsentiert.
Um eine Konvergenz zu einem minimalen Wert zu beschleunigen, dem Datenfaktor in bezug auf die aktualisierte Größe des Gewichtwerts, bestimmt durch den vorherigen Aktualisierzyklus, werden ferner in dem herkömmlichen Rückwärtsausbreitungssystem ΔWih und ΔWji wie folgt bestimmt
wo (> 0) das Moment des Lernparameters reprasentlert und t die Zahl von Aktualisieroperationen repräsentiert.
In dem Prozeß eines Lernens des Gewichtwerts gemäß dem Rückwärtsausbreitungsverfahren wird das Rückwärtsausbreitungsverfahren auf eine für ein Lernen vorgesehene Lernsignalgruppe (ein ein Eingangssignal und ein Lehrersignal umfassendes Paar) angewandt. Die Summe E der Fehlervektoren läßt man dann zu einem minimalen Wert konvergieren. Das dem Lehrersignal entsprechende Ausgangssignal kann somit ausgegeben werden. Das Lernsignal wird daher zuerst bestimmt, und dann beginnt der Prozeß eines Lernens des Gewichtwerts. In dem Prozeß eines Lernens des Interner-Zustand-Werts in einem Datenverarbeitungssystem mit anderen Netzwerkstrukturen und anderen Adaptierbarkeiten und auch dem Datenverarbeitungsgerät mit der geschichteten Netzwerkstruktur ist eine Struktur verwendet worden, in der der Prozeß eines Lernens des Interner-Zustand-Werts beginnt, nachdem zuerst das Lernsignal zum Lernen des Interner-Zustand-Werts bestimmt ist.
In einer solchen Technologie nach dem Stand der Technik nimmt jedoch, wie aus der Erläuterung des obigen Rückwärtsausbreitungssystems klar ist, die Zahl von Berechnungsschritten in dem Lernprozeß exponentiell mit der Zahl von zum Lernen des Interner-Zustand-Werts vorgesehenen Lernsignalen zu. Um einen hohen Grad einer Datenprozeßfunktion zu realisieren, wird daher das geschichtete Netzwerk kompliziert gemacht, und viele Lernsignale sind erforderlich, um den Interner-Zustand-Wert zu bestimmen. Somit ist eine extrem lange Zeit für den Lernprozeß erforderlich, wodurch ein Problem verursacht wird. Falls z.B. zuerst Muster A, B und C bestimmt werden sollen, wird ein Lernzyklus mit Mustern A, B und C wiederholt, so daß Interferenzen zwischen A und B, B und C, C und A und A, B und C gelernt werden müssen, um die Muster A, B und C zu trennen. Falls die Zahl solcher Muster zunimmt, nimmt auch die Interferenz zwischen ih nen zu, was somit eine noch längere Zeit erfordert.
Falls ein unerwartetes Lernmuster, z.B. D, erscheint, wird es im Stand der Technik zu Lernmustern A, B und C addiert, die bis zu diesem Punkt erhalten wurden, dadurch ein weiteres zu lernendes Muster D liefernd. Somit beginnt das Lernen des Interner-Zustand-Werts erneut von Anfang an in der Sequenz A, B, C und D. Falls jedoch ein adaptives Datenverarbeitungsgerät, wie z.B. ein neuronales Netzwerk, verwendet wird, ist es schwierig, von Anfang an alle Lernsignale vorzusehen, die auftreten können, um das neue Lernmuster zu vermeiden. Daher weist der Stand der Technik das Problem auf, daß, wann immer ein neues Lernmuster empfangen wird, eine lange Lernprozeßzeit erforderlich ist.
In dem obigen Stand der Technik ist ferner die Zahl von Lernmustern klein, und ein Lernen muß für Lernsignale wiederholt werden, deren Lernen abgeschlossen worden ist. Es nimmt daher eine extrem lange Zeit in Anspruch, einen Prozeß zum Lernen eines Externer-Zustand-Werts durchzuführen. Dieses Problem wird extrem ernst, wenn das Schichtnetzwerk zum Realisieren eines hohen Grads einer Datenverarbeitungsfunktion kompliziert wird und wenn mehr Lernmuster erforderlich sind, um den Interner-Zustand-Wert zu bestimmen.
Ein Artikel in IEEE First International Conference on Neural Networks, Bd. 2, 21.6.87, San Diego, CA, USA, Seiten 89- 96 von Kuczewski et al., "Exploration of Backward Error Propagation as a Self-Organizational Structure", offenbart ein lernendes System vom Rückwärts-Fehlerausbreitungs(BEP)-Typ (engl. Backward Error Propagation type), bei dem ein beobachteter Fehler in einer Rekonstruktion von Bildmustern in dem BEP-Netzwerkalgorithmus iterativ verwendet wird, um die Verbindungen des Netzwerks zu modifizieren, um so den durchschnittlichen Musterfehler zu reduzieren.
Das Buch "Parallel Distributed Processing", Bd. 1, The MIT Press, 1986, von D.E. Rumelhart et al. offenbart (Seiten 318- 364) ein lernendes System und ein Lernverfahren gemäß dem Oberbegriff jedes der beigefügten unabhängigen Ansprüche.
Gemäß einem Gesichtspunkt der vorliegenden Erfindung wird ein lernendes System zur Verwendung in einem Datenverarbeitungsgerät geschaffen, zum Lernen eines Eingabemusters durch Erhalten eines Interner-Zustand-Werts, der zum Realisieren einer gewünschten Datenumwandlung notwendig ist, zum Durchführen einer durch den Interner-Zustand-Wert definierten Musterumwandlung und zum Berechnen eines Ausgabemusters entsprechend dem Eingabemuster, aufweisend: Musterpräsentiermittel zum Präsentieren einer Eingabemustergruppe des zu lernenden Gegenstands für die Musterumwandlung; Fehlerwert-Berechnungsmittel zum Berechnen eines Fehlerwerts, der eine Größe einer Inkonsistenz zwischen einem gemäß der Präsentation ausgegebenen Ausgabemuster und einem Lehrermuster repräsentiert, das ein durch das Ausgabemuster zu erhaltendes Muster repräsentiert; und ein Interner-Zustand-Wert-Aktualisiermittel zum Aktualisieren eines Interner-Zustand-Werts gemäß einer aktualisierten Qualität des Interner-Zustand-Werts, der beruhend auf dem Fehlerwert berech net wurde, und Erhalten eines Interner-Zustand-Werts, dessen Fehlerwert innerhalb eines bestimmten zugelassenen Bereichs bleibt; gekennzeichnet durch: das Musterpräsentiermittel, das die Eingabemustergruppe des zu lernenden Gegenstands in zumindest zwei Sätze teilt, einen der geteilten Sätze auswählt, die Eingabemuster des ausgewählten Satzes zur Musterumwandlung präsentiert und dann die Eingabemuster prasentiert, die zu allen Sätzen gehören, die bis zum aktuellen Punkt präsentiert wurden, wenn der zu konvergierende Interner-Zustand-Wert gemäß der Präsentation des gewählten Satzes erhalten ist; und das Interner- Zustand-Wert-Aktualisiermittel, das einen von dem vorher präsentierten Eingabemustersatz erhaltenen Interner-Zustand-Wert als einen Anfangswert verwendet, wenn der Interner-Zustand-Wert gemäß der Musterpräsentation gelernt ist.
Gemäß einem anderen Gesichtspunkt der vorliegenden Erfindung wird ein Lernverfahren zur Verwendung in einem Datenverarbeitungsgerät geschaffen, zum Lernen eines Eingabemusters, indem ein zum Realisieren einer gewünschten Datenumwandlung notwendiger Interner-Zustand-Wert erhalten wird, zum Durchführen einer durch den Interner-Zustand-Wert definierten Musterumwandlung und zum Berechnen eines dem Eingabemuster entsprechenden Ausgabemusters, umfassend: Präsentieren einer Eingabemustergruppe des zu lernenden Gegenstands für die Musterumwandlung; Berechnen eines Fehlerwerts, der eine Größe einer Inkonsistenz zwischen einem gemäß der Präsentation ausgegebenen Ausgabemuster und einem Lehrermuster repräsentiert, das ein durch das Ausgabemuster zu erhaltendes Muster repräsentiert; und Aktualisieren eines Interner-Zustand-Werts gemäß einer aktualisierten Qualität des Interner-Zustand-Werts, der beruhend auf dem Fehlerwert berechnet wurde, und Erhalten eines Interner-Zustand- Werts, dessen Fehlerwert innerhalb eines bestimmten zugelassenen Bereichs bleibt; gekennzeichnet durch: Teilen der Eingabemustergruppe des zu lernenden Gegenstands in zumindest zwei Sätze, Auswählen eines der geteilten Sätze, Präsentieren der Eingabemuster des ausgewählten Satzes zur Musterumwandlung und dann Präsentieren der Eingabemuster, die zu allen Sätzen gehören, die bis zum aktuellen Punkt präsentiert wurden, wenn der zu konvergierende Interner-Zustand-Wert gemäß der Präsentation des ausgewählten Satzes erhalten ist; und Verwenden eines aus dem vorher präsentierten Eingabemustersatz erhaltenen Interner- Zustand-Werts als einen Anfangswert, wenn der Interner-Zustand- Wert gemäß der Musterpräsentation gelernt ist.
Die vorliegende Erfindung zielt darauf ab, einen Lernprozeß in einem Datenverarbeitungsgerät zum Lernen eines Interner- Zustand-Werts innerhalb einer kürzeren Verarbeitungsperiode zu schaffen, selbst wenn ein neues Lernmuster gefunden wird.
Beispielhaft wird auf die beigefügten Zeichnungen verwiesen, in denen:
Figur 1 eine Zeichnung zum Erläutern des Prinzips einer in einem lernenden System verwendeten bekannten Basiseinheit ist,
Figur 2 eine Zeichnung zum Erläutern des Prinzips eines bekannten geschichteten Netzwerksystems ist,
Figur 3 ein Blockdiagramm zum Erläutern eines bekannten Rückwärtsausbreitungsverfahrens ist,
Figur 4 ein Blockdiagramm zeigt, das ein die vorliegende Erfindung verkörperndes lernendes System darstellt,
Figur 5 ein Blockdiagramm eines Lernprozeßgeräts zeigt, für das die vorliegende Erfindung verwendet werden kann,
Figur 6 ein anderes Blockdiagramm des Lernmuster-Präsentiergeräts zeigt,
Figur 7A ein Flußdiagramm zeigt, das ein Grundkonzept der vorliegenden Erfindung mit einem Verfahren nach dem Stand der Technik vergleicht,
Figur 7B ein Flußdiagramm davon zeigt, wie Lernmustersätze gemäß der vorliegenden Erfindung empfangen werden,
Figur 8 ein Flußdiagramm zeigt, um die Operation der Musterpräsentation-Steuereinheit zu erläutern,
Figur 9 ein anderes Flußdiagramm zeigt, um die Operation der Musterpräsentation-Steuereinheit zu erklären,
die Figuren 10A bis 10D zum Experimentieren verwendete Lernmuster zeigen,
die Figuren 11A und 11B das Ergebnis des Experimentierens zeigen,
Figur 12 eine Zeichnung ist, um das Prinzip einer zweiten Ausführungsform der vorliegenden Erfindung zu erklären,
Figur 13 ein Flußdiagramm zeigt, um die Operation einer anderen Ausführungsform der vorliegenden Erfindung zu erklären,
Figur 14 experimentelle Daten gemäß den ersten und zweiten Ausführungsformen der vorliegenden Erfindung zeigt,
die Figuren 15A und 15B experimentelle Daten gemäß den ersten und zweiten Ausführungsformen der vorliegenden Erfindung zeigen,
Figur 16 ein Blockdiagramm einer Basiseinheit zeigt, das in Ausführungsformen der vorliegenden Erfindung verwendet werden kann,
Figur 17 ein Blockdiagramm eines Netzwerkstruktur-Datenverarbeitungsgeräts zeigt, für das die vorliegende Erfindung verwendet werden kann,
Figur 18 die Struktur einer Hauptsteuerschaltung zeigt, die in dem in Figur 17 gezeigten Gerät verwendet wird,
die Figuren 19A und 19B Zeitdiagramme zum Verarbeiten eines Signals in dem in Figur 17 gezeigten Gerät sind, und
Figur 20 ein Zeitdiagramm einer Signalverarbeitung in der in der vorliegenden Erfindung verwendeten Basiseinheit ist.
Figur 4 zeigt eine Grundstruktur einer Ausführungsform der vorliegenden Erfindung. Sie umfaßt ein adaptierbares Datenverarbeitungsgerät 20, das eine Datenumwandlungs- (musterumwandelnde) Einheit 21 und eine Interner-Zustand-Wert-Speichereinheit 25 enthält. Die Datenumwandlungseinheit 21 berechnet ein einem Eingabemuster entsprechendes Ausgabemuster und gibt es gemäß einer durch einen Interner-Zustand-Wert definierten Datenumwandlungsfunktion aus. Die Interner-Zustand-Wert- Speichereinheit 25 verwaltet den Interner-Zustand-Wert, der zum Ausführen des Datenumwandlungsprozesses durch die Musterumwandlungseinheit 21 notwendig ist. Wenn die Musterumwandlungseinheit 21 eine geschichtete Netzwerkstruktur aufweist, empfängt sie eine Vielzahl von Eingaben und einen mit diesen Eingaben zu multiplizierenden Interner-Zustand-Wert (Gewichtwert), um eine Summe ihrer Produkte zu liefern. Die Summe der Produkte wird gemäß der Schwellenwertfunktion umgewandelt, um eine Endausgabe zu liefern, dadurch eine Basiseinheit 1 als die Basiseinheit bildend. Eine Eingabeschicht wird durch Verwenden einer Vielzahl von Basiseinheiten 1-h gebildet, und eine durch eine Vielzahl von Basiseinheiten 1-i gebildete verborgene Schicht ist in einer einzigen Stufe oder einer Vielzahl von Stufen vorgesehen. Eine Ausgabeschicht ist aus einer Vielzahl von Basiseinheiten 1-j gebildet, und eine Internverbindung wird zwischen Basiseinheiten 1-h und 1-i, zwischen jeweiligen Basiseinheiten 1-i und zwischen Basiseinheiten 1-i und 1-j ausgeführt. Ferner wird eine geschichtete Netzwerkstruktur gemäß durch jeweilige Verbindungen bestimmten Interner-Zustand-Werten realisiert.
Eine Lernmuster-Speichereinheit 32 speichert ein für den Prozeß eines Lernens eines Interner-Zustand-Werts notwendiges Lernmuster. Sie umfaßt eine Eingabemuster-Speichereinheit 321 zum Speichern einer Vielzahl von Eingabemustern, die für den Lernprozeß vorgesehen sind, und eine Lehrermuster-Speichereinheit 322 zum Speichern eines Lehrermusters, das als ein dem Eingabemuster entsprechendes Ausgabemuster vorgesehen werden soll. Eine Musterpräsentationseinheit 33 liest eine Gruppe von Lernmustern als einen Gegenstand eines Lernens von der Lernmuster-Speichereinheit 32, präsentiert die Eingabemustergruppe der Musterumwandlungseinheit 21 und verteilt die Lehrermustergruppe unter der Eingabemustergruppe in der später beschriebenen Fehlerwert-Berechnungseinheit 261. Die Musterpräsentiereinheit 33 umfaßt eine Präsentationsmuster-Bestimmungseinheit 331, eine Präsentationsmuster-Übertragungseinheit 332 und eine Präsentation-Abgeschlossen-Musterverwaltungseinheit 333 zum Ausführen des Präsentationsprozesses. Die Präsentationsmuster- Bestimmungseinheit 331 teilt die in der Lernmuster-Speichereinheit 32 gespeicherte Lernmustergruppe in zumindest zwei Sätze für deren jeweilige Verwaltung und bestimmt die zu präsentierende Lernmustergruppe durch Verwenden der geteilten Sätze als eine Einheit. Die Präsentationsmuster-Übertragungseinheit 332 führt den Präsentationsprozeß der durch die Präsentationsmuster-Bestimmungseinheit 331 bestimmten Lernmustergruppe aus, und die Präsentation-Abgeschlossen-Musterverwaltungseinheit 333 verwaltet die Lernmustergruppe, deren Präsentation durch die Präsentationsmuster-Übertragungseinheit 332 schon abgeschlossen ist.
Eine Fehlerwert-Berechnungseinheit 261 berechnet den Fehler, der durch die Amplitude der Nicht-Koinzidenz zwischen der von der Musterumwandlungseinheit 221 gemäß der Eingabemustergruppe ausgegebenen Ausgabemustergruppe und der durch die Musterpräsentiereinheit 33 präsentierten Lehrermustergruppe repräsentiert wird. Eine Interner-Zustand-Wert-Erneuerungseinheit 262 aktualisiert einen in der Interner-Zustand-Wert-Speichereinheit 25 gespeicherten Innerer-Zustand-Wert synchron mit dem Aktualisierzyklus. Eine Aktualisiergröße-Berechnungseinheit 263 ist in der Interner-Zustand-Wert-Aktualisiereinheit 262 vorgesehen, und diese Einheit berechnet die Aktualisiergröße des Interner-Zustand-Werts, die notwendig ist, um den Interner- Zustand-Wert in dem folgenden beginnenden Zyklus zu bestimmen, beruhend auf den durch die Fehlerberechnungseinheit 261 berechneten Fehlerwerten. Eine Aktualisierwert-Berechnungseinheit 264 ist in der Interner-Zustand-Wert-Aktualisiereinheit 262 vorgesehen, und diese Einheit berechnet die Interner-Zustand-Werte, die durch den folgenden Aktualisierzyklus verwendet werden, gemäß der durch die Aktualisiergröße-Berechnungseinheit 263 berechneten Aktualisiergröße.
Wenn die Präsentationsmuster-Bestimmungseinheit 331 von der Fehlerwert-Berechnungseinheit 261 eine Anweisung, eine neue Lernmustergruppe auszuwählen, empfängt, wählt sie gemäß der vorliegenden Erfindung einen vorher nicht ausgewählten Satz (z.B. Satz B) von den geteilten Sätzen (z.B. Sätzen A und B) aus und bestimmt die Lernmuster des ausgewählten Satzes (z.B. des Satzes B) als den Lernmustersatz für die folgende Lernoperation. Wenn sie diese Bestimmung empfängt, präsentiert die Präsentationsmuster-Übertragungseinheit 332 jeweilige Eingabemuster des bestimmten Eingabemustersatzes der Musterumwandlungseinheit 21 und präsentiert sequentiell die mit den präsentierten Eingabemustern gepaarten Lehrersignale der Fehlerwert- Berechnungseinheit 261.
Wenn die Eingabemustergruppe der Musterumwandlungseinheit 21 präsentiert wird, verweist die Musterumwandlungseinheit 21 auf einen Interner-Zustand-Wert der Interner-Zustand-Wert- Speichereinheit 25, berechnet die Ausgabemuster für jeweilige Eingabemuster und gibt sie aus. Die Fehlerwert-Berechnungseinheit 261 empfängt somit die Ausgabemuster in bezug auf die präsentierten Eingabemuster und entsprechenden Lehrermuster. Sie berechnet dann die Fehlerwerte und bestimmt, ob er oder ein anderer Wert in bezug auf ihn in einem vorbestimmten Bereich sind oder nicht. Falls entschieden wird, daß sie innerhalb eines vorbestimmten Bereichs sind, entscheidet die Fehlerwert- Berechnungseinheit 261, daß der Interner-Zustand-Wert dann einer Konvergenz unterworfen worden ist, und bestimmt die Musterpräsentationseinheit 33, die nächste neue Lernmustergruppe auszuwählen.
Falls entschieden wird, daß sie nicht innerhalb des vorbestimmten Bereichs sind, berechnet die Aktualisiergröße-Berechnungseinheit 263 die Größe, durch die der Interner-Zustand-Wert aktualisiert werden sollte, und erhält somit den Interner- Zustand-Wert, der für den folgenden Aktualisierzyklus verwendet werden soll, um die Interner-Zustand-Werte in der Interner- Zustand-Wert-Speichereinheit 25 zu bestimmen. Die Fehlerwert- Berechnungseinheit 261 präsentiert dann wieder der Musterpräsentiereinheit 33 die gleiche Lernmustergruppe, um die Konvergenz der Interner-Zustand-Werte zu realisieren.
Wenn die Präsentationsmuster-Bestimmungseinheit 331 von der Fehlerwert-Berechnungseinheit 261 eine Anweisung, die folgende Lernmustergruppe auszuwählen, empfängt, nimmt sie auf die Präsentation-Abgeschlossen-Musterverwaltungseinheit 333 Bezug. Sie wählt somit die Lernmustergruppe für den folgenden Lernprozeß aus allen bis zu diesem Punkt präsentierten Sätzen (z.B. Sätzen A und B) aus. Die vorliegende Erfindung verwendet ein Basisverfahren zum Präsentieren der Lernmuster, die zu all den Sätzen (z.B. Sätzen A und B) gehören, die bis zu diesem Punkt präsentiert wurden, nach einer Präsentation der Lernmuster, die zu einem Satz (z.B. Satz B) vorher präsentierter Lernmuster gehören. Für geteilte Mustersätze A, B und C wird die Interferenz zwischen Sätzen A und B (ausgedrückt als A+B) gelernt, und dann wird Satz C gelernt. So wird eine Interferenz zwischen A, B und C (ausgedrückt als A+B+C) gelernt. Eine Lernmustergruppe, die zum ersten Mal prasentiert wird, (z.B. Satz A) wird für sich allein als die Basiseinheit präsentiert. Falls das gleiche Muster wiederholt als die Basiseinheit präsentiert wird, bedeutet dies, daß das Lernsystem schon konvergiert ist, und somit nimmt es sofort das nächste Lernmuster in Angriff, wodurch kein wesentlicher Unterschied gezeigt wird. Wenn die in der obigen Sequenz geteilte Lernmustergruppe präsentiert wird, liefert die Interner-Zustand-Wert-Aktualisiereinheit 262 der vorliegenden Erfindung zuerst den Interner-Zustand-Wert, der gemäß dem vorher präsentierten Lernmustersatz (z.B. Satz A) konvergiert ist, als einen Anfangswert und erhält dann die für den präsentierten Lernmustersatz (z.B. Satz B) konvergierten Interner-Zustand- Werte.
Das heißt, Lernmustersätze mit kleinen Zahlen von Lernmustern werden sequentiell präsentiert, und die Interner-Zustand- Werte werden den konvergierten angenähert. Um gemäß den bis zu diesem Punkt durchgeführten Präsentationen verursachte Fehler zu korrigieren, werden ferner, wenn sich der Wert dem konvergierten Interner-Zustand-Wert annähert, die zu allen bis zu diesem Punkt präsentierten Sätzen gehörenden Lernmuster als Teil des Lernprozesses präsentiert.
Selbst wenn nach einem Abschluß eines Lernens eines Interner-Zustand-Werts oder während eines Lernprozesses ein neues Lernmuster zur Musterpräsentiereinheit 33 addiert wird, präsentiert mit solch einer Struktur die Präsentationsmuster-Bestimmungseinheit 331 der Musterumwandlungseinheit 21 einen Satz addierter Eingabemuster oder eine Vielzahl von Sätzen addierter und geteilter Eingabemuster oder die addierten Eingabemuster, kombiniert mit den ursprünglichen Eingabemustern, so daß die ursprünglichen Eingabemuster und addierten Eingabemuster in eine Vielzahl von Eingabemustersätzen geteilt sind. Daher kann ein neuer benötigter Interner-Zustand-Wert sehr viel schneller, nämlich innerhalb einer viel kürzeren Zeit als in dem herkömmlichen Verfahren, erhalten werden.
Gemäß der vorliegenden Erfindung wird ein Lernen gemäß einer Präsentation eines Lernmustersatzes mit einer kleinen Zahl von Lernmustern durchgeführt. Konvergierte Interner-Zustand- Werte für jeweilige Präsentationen können somit in einer extrem kleinen Zahl von Berechnungsschritten erhalten werden, und eine Konvergenz des Interner-Zustand-Werts, der aus der Präsentation des Lernmustersatzes (z.B. des Satzes A+B) erhalten und verwendet wurde, um den Fehler bis zu diesem Punkt zu korrigieren, kann ebenfalls in einer extrem kleinen Zahl von Berechnungsschritten erhalten werden, da er dem konvergierten Interner- Zustand-Wert sehr nahe gekommen ist. Daher kann das Lernen des Interner-Zustand-Werts viel schneller als in der herkömmlichen Technologie ausgeführt werden. Selbst wenn man ein unerwartetes Lernmuster findet, kann dessen Interner-Zustand-Wert schneller als in dem herkömmlichen Verfahren gelernt werden.
Gemäß der obigen Erläuterung ist eine Funktion zum Detektieren eines Abschlusses eines Lernens jeweiliger Lernmustersätze in der Fehlerwert-Berechnungseinheit 261 vorgesehen. Eine Einheit zum Ausführen der Funktion eines Detektierens eines Lernabschlusses kann auf der Seite der Musterpräsentationseinheit 33 vorgesehen sein. Dies macht es unnötig, daß die Fehlerwert-Berechnungseinheit 261 die Musterpräsentationseinheit 33 ersucht, irgendwelche weiteren Lernmuster zu präsentieren.
Die vorliegende Erfindung wird ausführlich durch Verweisen auf die Ausführungsform erläutert, die ein Rückwärtsausbreitungsverfahren in einem Datenverarbeitungsgerät mit einer geschichteten Netzwerkstruktur nutzt.
Figur 5 zeigt die Struktur eines Datenverarbeitungsgeräts 20a mit geschichtetem Netzwerk, das mit einem Lernprozeßgerät ausgestattet ist, für das die vorliegende Erfindung verwendet werden kann. Teile, welche die gleichen wie diejenigen in Figur 4 sind, sind durch die gleichen Bezugszahlen bezeichnet. Eine geschichtete Netzwerkeinheit 21a, die eine geschichtete Netzwerkstruktur wie in Figur 3 gezeigt aufweist, berechnet das dem Eingabemuster entsprechende Ausgabemuster gemäß einer durch einen Gewichtwert definierten Datenumwandlungsfunktion und gibt es aus. Eine Mustereingabeeinheit 22 gibt das Eingabemuster innerhalb des durch das Lernmuster-Präsentationsgerät 30 präsentierten Lernmusters in die geschichtete Netzwerkeinheit 21a ein. Sie gibt auch das Lehrermuster in eine später beschriebene Interner-Zustand-Wert-Änderungseinheit 26 ein. Eine Musterausgabeeinheit 23 empfängt das Ausgabemuster von der geschichteten Netzwerkeinheit 21a und gibt es an das Lernmuster-Präsentationsgerät 30 und an die Interner-Zustand-Wert-Änderungseinheit 26 aus. Eine Lernparameter-Speichereinheit 24 speichert eine Lernkonstante (&epsi;) und ein Moment " " des Lernparameters, die in dem obigen Rückwärtsausbreitungsverfahren erläutert wurde. Die Interner-Zustand-Wert-Änderungseinheit 26 liefert eine Funktion zur Fehlerwert-Berechnungseinheit 261 und Interner-Zustand- Wert-Aktualisiereinheit 262, wie in Figur 4 gezeigt ist. Die Funktion eines Beurteilens der Konvergenz des Gewichtwerts in dieser Ausführungsform ist als ein Teil einer Funktion der Fehlerwert-Berechnungseinheit 261 erklärt. Dies wird durch eine später beschriebene Lernkonvergenz-Beurteilungseinheit 36 realisiert. Der Gewichtwert einer internen Verbindung in der geschichteten Netzwerkeinheit 21a wird so verarbeitet, daß er durch einen Aktualisierprozeß zu einem gewünschten Wert konvergiert Die Interner-Zustand-Wert-Speichereinheit 25 speichert einen Gewichtwert des geschichteten Netzwerks als einen Interner-Zustand-Wert für die geschichtete Netzwerkeinheit 21a, und die Interner-Zustand-Wert-Änderungseinheit 26 aktualisiert den Gewichtwert.
Figur 6 zeigt die Struktur eines Lernmuster-Präsentationsgeräts 30, das durch die vorliegende Erfindung realisiert wird. Dieses Gerät präsentiert einem Datenverarbeitungsgerät 20a mit Geschichteter-Netzwerk-Struktur ein ein Eingabemuster und ein Lehrermuster umfassendes Lernmusterpaar, dadurch den Lernprozeß der vorliegenden Erfindung realisierend. In Figur 6 sind die gleichen Teile wie in Figur 4 durch die gleichen Bezugszahlen repräsentiert. Eine empfangende Prozeßeinheit 31 führt einen Empfangsprozeß für ein Muster aus, das als ein zu einem Empfangsprozeß zu addierendes Lernmuster für eine Anweisung einer Teilung für eine in der Lernmuster-Speichereinheit 32 gespeicherte Lernmustergruppe eingegeben wird. Gemäß einer durch die Empfangsprozeßeinheit 31 empfangenen Anweisung einer Teilung überträgt die Musterpräsentation-Steuereinheit 34 zu einer Musterpräsentationseinheit 33 einen Musterpräsentationsbefehl, der die Art eines zu prasentierenden Lernmusters bezeichnet. Eine Lernparameter-Einstelleinheit 35 stellt einen Lernparameter in der Lernparameter-Speichereinheit 24 des Datenverarbeitungsgeräts 20a mit Geschichteter-Netzwerk-Struktur ein. Dann empfängt die Lernkonvergenz-Beurteilungseinheit 36 ein Ausgabemuster von der musterausgebenden Einheit 23 des Datenverarbeitungsgeräts 20a mit Geschichteter-Netzwerk-Struktur, beurteilt, ob der Gewichtwert, der dann gelernt wird, in einen Zulässigkeitsbereich gelangt ist oder nicht, und teilt das Beurteilungsergebnis der Musterpräsentation-Steuereinheit 34 mit.
Die vorliegende Erfindung ist durch Teilen einer zum Lernen eines Gewichtwerts verwendeten Lernmustergruppe in mehrere Sätze oder Klassen für eine Verwaltung gekennzeichnet. Diese Verwaltung verwendet einen Teilungsprozeß und wird für das erstbestimmte Lernmuster ausgeführt. Wenn bei einer späteren Stufe ferner ein neues Muster zu dem ursprünglichen addiert wird, wird auch eine Verwaltung durch Teilung des Lernmusters auf das neue Lernmuster angewandt. Zum Bezeichnen der Teilung in diesem Addierprozeß können verschiedene Verfahren verwendet werden, z.B. Behandeln einer addierten Lernmustergruppe als einen Satz, Teilen der addierten Lernmustergruppe in eine Vielzahl von Sätzen zum Verarbeiten, wo das zu addierende Lernmuster addiert wird, während eines Lernens der Lernmustergruppe, die von Anfang an definiert ist, oder Kombinieren der ursprünglichen Lernmustergruppe und des zu addierenden Lernmusters durch Verwenden eines Verfahrens zum Teilen der Eingabemustergruppe und des Lernmusters in eine Vielzahl der Lernmustersätze. Die Empfangsverarbeitungseinheit 31 führt einen Empfangsprozeß zum Bezeichnen dieser durch den Bediener eingegebenen Teilung aus.
Figur 7A vergleicht das System der vorliegenden Erfindung mit dem System nach dem Stand der Technik. Die Gruppe von Lernmustern wird gemäß der vorliegenden Erfindung in mehrere Sätze von Mustern A1, A2, ... An geteilt. Das Musterpräsentationsverfahren, das später in folgenden Ausführungsformen beschrieben wird, wird dann auf diese Sätze so angewandt, daß das musterlernende System sie lernen kann. Das heißt, der Lernprozeß wird z.B. für einen Lernmustersatz A1 wiederholt, bis er konvergiert, und dann geht er weiter zu einem Mustersatz A2. Im Stand der Technik lernt jedoch das Musterlerngerät die Lernmustergruppe A als Ganzes, ohne sie zu teilen. Das heißt, der Lernprozeß wird für die Lernmustergruppe A wiederholt.
Figur 7B zeigt ein Flußdiagramm eines Beispiels eines durch die Empfangsverarbeitungseinheit 31 ausgeführten Empfangsprozesses. In diesem Beispiel werden neue Lernmuster addiert, nachdem eine ursprüngliche Gruppe von Lernmustern gelernt worden ist. Die Empfangsprozeßeinheit 31 detektiert, wie in dem Flußdiagramm dargestellt ist, eine Eingabe eines neuen Lernmusters bei Schritt ST1 und addiert und speichert das empfangene Lernmuster in die Lernmuster-Speichereinheit 32 bei Schritt ST2. Bei Schritt ST3 beurteilt sie, ob das Lernmuster angewiesen ist, geteilt zu werden oder nicht.
Wenn eine Teilung angewiesen ist, wird das neu eingegebene Lernmuster gemäß der Anweisung bei ST4 geteilt, und die Klassifizierungsweise wird bei Schritt ST6 zur Musterpräsentation- Steuereinheit 34 übertragen. Wenn keine Teilungsanweisung eingegeben ist, wird umgekehrt das neu eingegebene Lernmuster gemäß der ursprünglichen Anweisung bei ST5 geteilt, und die Art und Weise der Teilung wird bei Schritt ST6 zur Musterpräsentation-Steuereinheit 34 übertragen. Schließlich wird bei Schritt ST7 die Zahl gespeicherter Muster, die durch die Lernmuster- Speichereinheit 32 verwaltet werden, auf die neue Zahl eingestellt, und der Prozeß kehrt zu Schritt ST1 zurück.
Wie oben beschrieben, teilt die Musterpräsentation-Steuereinheit 34 der vorliegenden Erfindung gemäß einem bezeichneten Verfahren eine Vielzahl in der Lernmuster-Speichereinheit 32 gespeicherter Lernmuster in eine Vielzahl von Sätzen und verwaltet die Sätze. Dies wird durch Verwenden des Beispiels eines Lernmusters für das römische Alphabet erläutert, das 26 Zeichen von a bis z umfaßt. Im Stand der Technik werden diese Zeichen als eine einzige Lernmustergruppe verwaltet. In der vorliegenden Erfindung werden sie jedoch in eine Vielzahl von Sätzen geteilt, wie unten beschrieben ist.
α = {A, B, C, D, E, F, G}
β = {H, I, J, K, L, M}
γ = {N, O, P, Q, R, S, T}
δ = {U, V, W, X, Y, Z}
Die Musterpräsentation-Steuereinheit 34 der vorliegenden Erfindung steuert die Musterpräsentationseinheit 33 gemäß einem Musterpräsentationsbefehl. Die Musterpräsentationseinheit 33 wählt einen von geteilten Sätzen von der Lernmuster-Speichereinheit 32 aus, liest den ausgewählten Satz und verarbeitet ihn, indem sie ihn der Mustereingabeeinheit 22 als das Lernmuster präsentiert. Nach einer Präsentation des vorher präsentierten Lernmustersatzes werden die Lernmuster, die zu all den Sätzen von bis zu diesem Punkt präsentierten Lernmustern gehören, erneut präsentiert, dadurch eine Präsentation der Lernmustergruppe ausführend. Für Sätze A, B und C wird eine Interferenz zwischen Sätzen A und B gelernt, bevor C gelernt wird, und dann wird Satz C gelernt. Danach wird eine Interferenz zwischen Sätzen A, B und C gelernt. Somit ist eine Interferenz zwischen all den Sätzen gelernt. Nach den ersten präsentierten Lernmustersätzen wird der verbleibende Satz der Basiseinheit präsentiert, und daher wird der verbleibende Satz für sich allein präsentiert. Das gleiche Lernmuster kann gemäß dem Verfahren zum Präsentieren der Basiseinheit wiederholt präsentiert werden.
Figur 8 zeigt ein Flußdiagramm einer Steuerung des Präsentationsprozesses, wo die Lernmustergruppe in zwei Sätze geteilt ist. In diesem Fall steuert die Musterpräsentation-Steuereinheit 34 zuerst die Musterpräsentationseinheit 33, so daß jeweilige Lernmuster, die zum Satz A gehören, welcher einer der Sätze ist, der Mustereingabeeinheit 22 präsentiert werden. Bei Empfang der Präsentation des Mustersatzes A lernt dann die Interner-Zustand-Wert-Änderungseinheit 26 die Gewichtwerte eines geschichteten Netzwerks, die zu den zum Satz A gehörenden Lernmustern konvergiert werden. Die Musterpräsentation-Steuereinheit 34 prasentiert der Mustereingabeeinheit 22 sequentiell jeweilige Lernmuster, die zum Satz B gehören, welcher der andere der Sätze ist. Bei Empfang der Präsentation des Mustersatzes B lernt dann die Interner-Zustand-Wert-Änderungseinheit 26 die Gewichtwerte eines geschichteten Netzwerks, die zu den zum Satz B gehörenden Lernmustern konvergiert werden. Schließlich präsentiert die Musterpräsentation-Steuereinheit 34 jeweilige Lernmuster der zu den Sätzen A und B gehörenden Lernmuster der Mustereingabeeinheit 24. Bei Empfang dieser Präsentation der Sätze A und B lernt dann die Interner-Zustand-Wert-Änderungseinheit 26 den konvergierten Gewichtwert des geschichteten Netzwerks.
Wenn, nachdem die Sätze A und B gelernt worden sind, die Datengruppe die Sätze A und B umfaßt, kann man nicht sagen, daß der interne Gewichtdatenwert gegen A und B konvergiert ist. Dies verhält sich so, weil die Ausgabe vom Datensatz A zerstört ist und die Interferenz zwischen Datensätzen A und B nicht gelernt worden ist. In der Erfindung wird daher, nachdem die Sätze A und B jeweils gelernt sind, die Interferenz zwischen ihnen gelernt. Der Ausdruck Satz A+B bedeutet, daß Datensätze A und B und die Interferenz zwischen ihnen gelernt sind.
Figur 9 zeigt ein Flußdiagramm eines Prozesses zum Steuern einer Präsentation eines Lernmusters, wo die Lernmustergruppe in mehr als zwei Sätze geteilt ist. Wenn die Lernmustergruppe in mehr als zwei Sätze geteilt ist, präsentiert die Musterpräsentation-Steuereinheit 34 jeweilige Lernmuster, die zu dem Satz Ai gehören, der Mustereingabeeinheit 22 und präsentiert sequentiell die Lernmuster, die zu Satz A (1) + ... + Satz A (i) gehören, welche die bis zu diesem Punkt präsentierten Lernmuster sind, dadurch ein Basiseinheitsprozeß zum Ausführen einer Präsentation der Lernmuster liefernd. Ein Beispiel einer Teilung des die 26 römischen Zeichen umfassenden Lernmusters lautet wie folgt.
α = {A, B, C, D, E, F, G}
β = {H, I, J, K, L, M}
γ = {N, O, P, Q, R, S, T}
δ = {U, V, W, X, Y, Z}
Das obige erklart sich konkreter wie folgt:
(1) Lernmustersatz α wird wiederholt präsentiert,
(2) Lernmustersatz β wird wiederholt präsentiert,
(3) ein Lernmustersätze α und β umfassender Zyklus wird wiederholt präsentiert (um den Satz α+β zu lernen)
(4) Lernmustersatz γ wird wiederholt präsentiert,
(5) ein Lernmustersätze α, β und γ umfassender Zyklus wird wiederholt präsentiert (um den Satz α+β+γ zu lernen),
(6) Lernmustersatz δ wird wiederholt präsentiert,
(7) ein die Lernmustersätze α, β, γ und δ umfassender Zyklus wird wiederholt präsentiert (um den Satz α+β+γ+ zu lernen).
Das Lernmuster wird gemäß der obigen Sequenz präsentiert.
Der Prozeß eines Aktualisierens des Gewichtwerts, der in der Zustand-Wert-Anderungseinheit 26 gemäß der Präsentation des Lernmusters ausgeführt wird, kann wie in dem herkömmlichen Rückwärtsausbreitungsverfahren ausgeführt werden, außer daß der gemäß einer bis zu diesem Punkt gemachten Präsentation erhaltene Gewichtwert als ein Anfangswert des zu aktualisierenden Gewichtwerts verwendet wird.
Das heißt, die Musterpräsentationseinheit 33 prasentiert sequentiell jeweilige Lernmuster (jedes ein Paar eines Eingabemusters und eines Lehrermusters umfassend) der ausgewählten Lernmustersätze, und das geschichtete Netzwerk 21a erhält die Ausgaben "yph ", "ypi " und "ypj ", die von der geschichteten Netzwerkstruktur für jedes Eingabemuster ausgegeben werden. Die Interner-Zustand-Wert -Änderungseinheit 26 erhält "δpj " des Fehlers zwischen "ypj " und dem Lehrermuster "dpj ". Als nächstes liefert die Interner-Zustand-Wert-Änderungseinheit 26 die die erhaltenen "δpj ", "yph ", "ypi " und "ypj " verwendende folgende Gleichung, die aus Gleichung (11) abgeleitet ist.
Die Interner-Zustand-Wert-Änderungseinheit 26 liefert dann die aus Gleichung (14) abgeleitete folgende Gleichung.
Der Berechnungsprozeß wird für all die Lernmuster der ausgewählten Lernmustersätze ausgeführt.
Als nächstes verwendet die Interner-Zustand-Wert-Änderungseinheit 26 den durch den obigen Berechnungsprozeß erhaltenen Wert, abgeleitet von Gleichung (15).
Die Interner-Zustand-Wert-Änderungseinheit 26 liefert die folgende Gleichung.
Die aktualisierenden Größen ΔWji (t) und ΔWih(t) des Gewichtwerts, die die Summe "E" des Fehlervektors verringern, werden aus
erhalten.
Die neuen Gewichtwerte, ΔWji und ΔWih, werden durch Verwenden der obigen aktualisierenden Größen wie folgt erhalten.
Der erhaltene Gewichtwert wird in der Interner-Zustand- Änderungseinheit 26 gespeichert.
Eine Lernkonvergenz-Beurteilungseinheit 36 erhält den Fehler "δpj" zwischen der Ausgabe von der geschichteten Netzwerkeinheit 21a und dem Lehrermuster für jedes Lernmuster des ausgewählten Lernmustersatzes durch den gleichen Prozeß wie in der Interner-Zustand-Wert-Änderungseinheit 26. Die Lernkonvergenz- Beurteilungseinheit 36 erhält die Summe "E" der Fehlervektoren, wobei sie den erhaltenen "δpj" gemäß den Gleichungen (7) und (8) verwendet, und beurteilt, ob der Wert von "E" akzeptabel oder zulässig ist oder nicht. Sie bestimmt dadurch, ob der Gewichtwert konvergiert ist oder nicht, und teilt das Beurteilungsergebnis der Musterpräsentation-Steuereinheit 34 mit. Statt das obige Konvergenzbeurteilungsverfahren zu verwenden, kann eine Konvergenz beruhend auf der Tatsache beurteilt werden, daß alle "δpj" kleiner als ein vorbestimmter Wert werden.
Wie oben beschrieben wurde, bestimmt die Musterpräsentation-Steuereinheit 34, daß der Lernprozeß für den ausgewählten Lernmustersatz bei Empfang einer Nicht-Konvergenz-Mitteilung von der Lernkonvergenz-Beurteilungseinheit 36 nicht endet. Wie im Stand der Technik übermittelt die Musterpräsentation-Steuereinheit 34 einen Befehl, den gleichen Lernmustersatz erneut zu präsentieren, zur Musterpräsentationseinheit 33, um die Konvergenz zu realisieren. Wenn andererseits die Musterpräsentation- Steuereinheit 34 eine Konvergenz-Mitteilung von der Lernkonvergenz-Beurteilungseinheit 36 empfängt, entscheidet die Musterpräsentation-Steuereinheit 34, daß der Lernprozeß für den ausgewählten Lernmustersatz abgeschlossen ist, bestimmt einen als nächsten zu präsentierenden Lernmustersatz gemäß dem obigen Algorithmus und übermittelt den Befehl, den bestimmten Lernmustersatz zu präsentieren, an die Musterpräsentationseinheit 33. Daher geht das Lernen des Gewichtwerts gemäß dem gleichen Lernprozeß wie für den vorher präsentierten Lernmustersatz weiter. Zu dieser Zeit wird der Konvergenz-Gewichtwert für den vorher präsentierten Lernmustersatz als der anfängliche Gewichtwert verwendet.
Wie oben beschrieben wurde, präsentiert die vorliegende Erfindung sequentiell den Lernmustersatz mit einer kleinen Zahl von Lernmustern, so daß sich der Gewichtwert sequentiell dem konvergierten annähert. Um Fehler zu korrigieren, die bis zu diesem Punkt in dem Gewichtwert auftreten, der sich dem konvergierten gemäß der bis zu diesem Punkt gemachten Präsentation annähert, werden all die Sätze der Lernmustergruppe, die bis zu diesem Punkt präsentiert wurden, nach der Präsentation der jeweiligen Lernmustersätze präsentiert.
Das Verfahren der vorliegenden Erfindung zum Lernen von Eingabemustersätzen in der Sequenz A, B, A+B, C, A+B+C ist aus dem folgenden Grund vorteilhafter als das Verfahren nach dem Stand der Technik zum Lernen von Sätzen in der Sequenz A, B, C, A+B+C. In der vorliegenden Erfindung ist, falls der Satz A+B gelernt ist, die Interferenz zwischen den Sätzen A und B schon gelernt. Wenn der Mustersatz A+B+C gerade gelernt wird, muß daher in dieser Erfindung nur die Interferenz zwischen den Sätzen A+B und C gelernt werden. Im Gegensatz dazu muß im Stand der Technik in dem Prozeß zum Lernen von Mustersätzen A+B+C die Interferenz zwischen allen Daten, einschließlich Satz C, gelernt werden. Ein Lernen der Interferenz zwischen Mustern ist mit einer Zunahme im Umfang des Lernens verbunden, wenn die Zahl an Daten zunimmt. Die vorliegende Erfindung ist daher vorteilhafter als der Stand der Technik.
Ein anderer Grund, warum die vorliegende Erfindung vorteilhafter als der Stand der Technik ist, lautet wie folgt.
Wenn das Netzwerk Datensätze A und B lernt, arbeiten die vorliegende Erfindung und der Stand der Technik in der gleichen Weise. Man nehme nun an, daß das Netzwerk Datensätze A und B schon gelernt hat. Wenn ein neuer Lerndatensatz C zum Netzwerk addiert wird, muß dann das Verfahren nach dem Stand der Technik das Lernen von Anfang an beginnen. Die vorliegende Erfindung muß jedoch nur den Satz C lernen. Sie kann dann den Satz A+B+C lernen, weil der Satz A+B schon gelernt worden ist. Daher ist die vorliegende Erfindung schneller als der Stand der Technik, bei dem ein Lernen der Muster in der Sequenz A, B, C und A+B+C präsentiert wird oder ein Lernen des Mustersatzes A+B+C von Anfang an präsentiert wird.
Als nächstes wird der Vorteil eines Verfahrens zum Präsentieren des Lernmusters der vorliegenden Erfindung unter Bezugnahme auf experimentelle Daten erläutert.
Das Experiment verglich die Zahl von Lernvorgängen eines Gewichtwerts, der 26 römische Zeichen unterscheidet oder iden tifiziert, die jeweils 8 x 8 Punkte umfassen. Die Figuren 10A bis 10C zeigen ein Beispiel eines Eingabemusters mit den 26 römischen Zeichen und das Lehrermuster, die für ein Experimentieren verwendet wurden. Das Lehrermuster ist durch eine Position eines Bit "1" in der Ausgabe bestimmt. Die für das Experimentieren verwendete geschichtete Netzwerkeinheit 21a ist mit 64 Basiseinheiten in der Eingabeschicht aufgebaut, entsprechend den 8 x 8 Punkten, 26 Basiseinheiten in der Ausgabeschicht, entsprechend den 26 römischen Zeichen, und 15 Basiseinheiten in der verborgenen Schicht. Die 26 römischen Zeichen können zusätzlich zu dem Verfahren, in dem sie ungeteilt sind, in zwei Sätze, wie unten dargestellt ist,
α = {A, B, C, D, E, F, G, H, I, J, K, L, M}
β = {N, O, P, Q, R, S, T, U, V, W, X, Y, Z}
in drei Sätze, wie unten dargestellt ist,
α = {A, B, C, D, E, F, G, H, I}
β = {J, K, L, M, N, O, P, Q, R}
γ = {S, T, U, V, W, X, Y, Z}
oder folgendermaßen in vier Sätze geteilt werden.
α = {A, B, C, D, E, F, G}
β = {H, I, J, K, L, M}
γ = {N, O, P, Q, R, S, T}
δ = {U, V, W, X, Y, Z}
Ein Experimentieren kann für alle obigen Fälle durchgeführt werden.
Die Figuren 11A und 11B zeigen das Ergebnis des Experimentierens. Figur 11A zeigt die Zahl von Lernmusterpräsentationen, die präsentiert wurden, bevor das Lernen des Gewichtwerts abgeschlossen ist, und die Gesamtzahl von Berechnungen, die vor einem Abschließen des Lernens des Gewichtwerts erforderlich sind, dadurch das Experimentierergebnis liefernd. Der Wert der Lernkonstante &epsi; des Lernparameters ist auf "0,2" eingestellt, und das Moment des Lernparameters ist auf "0,4" eingestellt.
Die Lernkonvergenz wird als abgeschlossen beurteilt, wenn die Differenz zwischen dem Ausgangssignal und dem Lehrersignal in jeweiligen Einheiten geringer als 0,5 ist. In Figur 11A zeigt "1 Teilung" die Daten, die in der herkömmlichen Präsentation erhalten wurden, in der keine Teilung ausgeführt wird. "Keim" dient zum Erzeugen einer Zufallszahl. Der anfängliche Gewichtwert für den zuerst präsentierten Lernmustersatz wird auf eine Zufallszahl eingestellt (die Zahl, die zufällig aus [- 0,1, 0,1] erzeugt wird). Das Experimentieren wird durchgeführt, um den Einfluß der Differenz zu beobachten, die durch die Art und Weise hervorgerufen wird, in der der Zufallswert erzeugt wird. Demgemäß ist mit dem gleichen Keim die Struktur des geschichteten Netzwerks beim Beginnen des Lernprozesses gleich gemacht. Um den Effekt einer Teilung des Lernmusters genau zu beobachten, ist es notwendig, die Zahl von Präsentationen und den gesamten Berechnungsumfang zu vergleichen.
Der Berechnungsumfang, der notwendig ist, um das Lernen abzuschließen, ist die Zahl von Anweisungen, die durch einen Computer ausgeführt werden, wenn ein neuronales Netzwerk durch eine Software auf einem Computer vom von-Neumann-Typ realisiert ist, und ist zu der tatsächlichen Berechnungsperiode proportional. Die Zahl von Präsentationen vor Abschluß des Lernens ist zu der Berechnungszeit proportional, wenn das neuronale Netzwerk durch die Hardware realisiert ist. In beiden Fällen kann der Umfang der Berechnung vor Abschluß des Lernens beruhend auf dem Berechnungsumfang berechnet werden, der für einen Lernvorgang erforderlich ist, multipliziert mit der Zahl von Lernvorgängen.
Figur 11B zeigt eine Darstellung des Durchschnittswerts von in Figur 11A gezeigten Daten. Die horizontale Achse stellt die Zahl von Teilungen dar, und die vertikale Achse stellt die Zahl von Präsentationen dar. Wie aus Figur 11B klar ist, ist die Zahl von Präsentationen des Lernmusters, die vor einem Abschluß des Lernens des Gewichtwerts in der vorliegenden Erfindung erforderlich ist, viel geringer als in der herkömmlichen Technologie. Daher kann das Lernen des Gewichtwerts viel schneller als in der herkömmlichen Technologie abgeschlossen werden.
Wie oben beschrieben wurde, geht in der vorliegenden Erfindung das Lernen gemäß einer Präsentation eines Lernmustersatzes mit einer kleinen Zahl von Lernmustern weiter. Ferner kann der Gewichtwert, der einer Konvergenz für die Präsentation des Lernmusters unterworfen ist, in einer extrem kleinen Zahl von Berechnungsschritten erhalten werden. Weil der Wert des Gewichts, der für die Präsentation des Lernmusters konvergiert, um einen Fehler zu korrigieren, dem konvergierten Wert nahe gekommen ist, kann der konvergierte Wert des Gewichts in einer extrem kleinen Zahl von Berechnungsschritten erhalten werden. Daher verringert die vorliegende Erfindung die zum Lernen des Gewichtwerts notwendige Zeit außerordentlich.
Selbst wenn ein unerwartetes neues Lernmuster gefunden wird, wird der bis zu diesem Punkt erhaltene aktuelle Gewichtwert als ein Anfangswert verwendet, um einen ähnlichen Präsentationsprozeß durchzuführen, dadurch das Lernen ausführend. Die vorliegende Erfindung kann daher den Gewichtwert, der für ein Lernmuster gewünscht wird, einschließlich eines solchen neuen Lernmusters, viel schneller als in dem herkömmlichen Verfahren lernen. Die japanische Anmeldung Nr. sho 63-227825, eingereicht am 12. September 1988, mit dem Titel "A Learning Process Method of the Network Structure Data Process Apparatus" offenbart eine Verbesserung in dem Rückwärtsausbreitungsverfahren, um den Prozeß eines Lernens des Gewichtwerts zu beschleunigen. Die in dieser Anmeldung offenbarte Erfindung berechnet jedoch nicht das aktualisierende Quantum des Gewichtwerts gemäß den Gleichungen (19) und (20), sondern gemäß den folgenden Gleichungen. "η" ist ein Lernparameter, wie es &epsi; und sind.
Die vorliegende Erfindung kann automatisch auf das in der obigen Anmeldung vorgeschlagene Rückwärtsausbreitungsverfahren angewandt werden. Falls die vorliegende Erfindung auf die in der Anmeldung offenbarte Erfindung angewandt wird, kann der Lernprozeß des Gewichts weiter verkürzt werden.
Figur 12 zeigt eine Grundstruktur einer anderen Ausführungsform der vorliegenden Erfindung. Die gleichen Teile wie in der in Figur 4 gezeigten Ausführungsform sind durch die gleichen Bezugszahlen bezeichnet, und ihre Erläuterung ist weggelassen. Die Fehlerwert-Berechnungseinheit 271 berechnet den Fehlerwert, der die Amplitude einer Nichtkoinzidenz zwischen einer von der Musterumwandlungseinheit 21 gemäß der Präsentation der Eingabemustergruppe ausgegebenen Ausgabemustergruppe und der durch die Musterpräsentationseinheit 33 präsentierten Lehrermustergruppe repräsentiert. Die Konvergenzbeurteilungseinheit 272 ist mit der Fehlerwert-Berechnungseinheit 271 vorgesehen und beurteilt, ob das Ausgabemuster für jeweilige präsentierte Eingabemuster in das entsprechende Lehrermuster konvergiert oder nicht. Eine Konvergenzmuster-Ausschlußeinheit 273, die mit der Fehlerwert-Berechnungseinheit 271 vorgesehen ist, schließt den Wert in bezug auf ein oder eine Vielzahl konvergierter Ausgabemuster beim Berechnen eines Prozesses zum Aktualisieren des Interner-Zustand-Werts aus, wenn die Schaffung der Umwandlung durch eine Umwandlungsbeurteilungseinheit 272 beurteilt wird.
Eine Interner-Zustand-Wert-Erneuerungseinheit 274 aktualisiert synchron mit dem Aktualisierzyklus den in der Interner- Zustand-Wert-Speichereinheit 25 gespeicherten Interner-Zustand- Wert. Eine Aktualisiergröße-Berechnungseinheit 275 ist in der Interner-Zustand-Wert-Aktualisiereinheit 274 vorgesehen, und diese Einheit berechnet die Aktualisiergröße des Interner- Zustand-Werts, die zum Bestimmen des Interner-Zustand-Werts in dem folgenden Aktualisierzyklus notwendig ist, beruhend aut den durch die fehlerberechnende Einheit 271 berechneten Fehlerwerten. Eine Aktualisierwert-Berechnungseinheit 276 wird durch die Interner-Zustand-Wert-Aktualisiereinheit 274 bereitgestellt, und diese Einheit berechnet die Interner-Zustand-Werte, die durch den folgenden Aktualisierzyklus verwendet werden, gemäß der durch die Aktualisiergröße-Berechnungseinheit 275 berechneten Aktualisiergröße.
Die Musterpräsentationseinheit 33 empfängt eine Anforderung nach einer Präsentation einer Lernmustergruppe von der Fehlerwert-Berechnungseinheit 271. Die Musterpräsentationseinheit 33 präsentiert dann der Musterumwandlungseinheit 21 sequentiell jeweilige Eingabemuster der Eingabemustergruppe und präsentiert der Fehlerwert-Berechnungseinheit 271 sequentiell jeweilige Lehrermuster der Lehrermustergruppe. Wenn das Eingabemuster präsentiert ist, verweist die Musterumwandlungseinheit 21 auf den Interner-Zustand-Wert der Interner-Zustand-Wert-Speichereinheit 25 und berechnet das Ausgabemuster mit jedem Eingabemuster und gibt dieses aus.
Die Fehlerwert-Berechnungseinheit 271, wie oben beschrieben, empfängt ein Ausgabemuster für das präsentierte Eingabemuster und das entsprechende Lehrermuster. Sie berechnet dann die einzelnen Fehlerwerte, die durch die Amplitude der Inkonsistenz zwischen dem Ausgabemuster und dem Lehrermuster präsentiert werden, für die präsentierte Eingabemustergruppe. Die Fehlerwert-Berechnungseinheit 271 beurteilt, ob der Fehlerwert oder ein anderer Wert in bezug auf ihn innerhalb eines vorbestimmten Bereichs ist oder nicht. Falls dies der Fall ist, ist der Interner-Zustand-Wert, der aktuell gelernt wird, konvergiert, und der Lernprozeß ist dadurch abgeschlossen. Falls nicht, wird die Interner-Zustand-Wert-Aktualisiereinheit 274 aktiviert.
Während einer Operation der Interner-Zustand-Wert-Aktualisiereinheit 274 beurteilt die Konvergenzbeurteilungseinheit 272 gemäß der Amplitude der berechneten individuellen Fehlerwerte oder eines anderen darauf bezogenen Werts, ob jeweilige Eingabemuster zu dem Lehrermuster konvergieren oder nicht. Eine Konvergenzmuster-Ausschlußeinheit 273 verhindert, daß der Wert in bezug auf das konvergierte Ausgabemuster zum Aktualisieren des Interner-Zustand-Werts während des Prozesses eines Aktualisierens des Interner-Zustand-Werts verwendet wird.
Die Aktualisiergröße-Berechnungseinheit 275 der Interner- Zustand-Wert-Aktualisiereinheit 274, die wie oben zitiert aktiviert wird, berechnet die Aktualisiergröße des Interner- Zustand-Werts, einen Fehlerwert verwendend, der individuelle Fehlerwerte des nicht konvergierten Ausgabemusters umfaßt. Eine Aktualisierungswert-Berechnungseinheit 276 erhält den für den Beginn des nächsten Zyklus zu verwendenden Interner-Zustand- Wert gemäß dem Berechnungsquantum und speichert ihn in der Interner-Zustand-Wert-Speichereinheit 25. Die Fehlerwert-Berechnungseinheit 271 ermöglicht, daß die gleiche Lernmustergruppe wieder für die Musterpräsentation präsentiert wird, um eine Konvergenz des Interner-Zustand-Werts zu realisieren. Durch Wiederholen des Prozesses eines Aktualisierens des Interner- Zustand-Werts wird der Präsentationsprozeß an einem unerwünschten Interner-Zustand-Wert wiederholt.
Die vorliegende Ausführungsform detektiert dynamisch, ob jeweilige Lernmuster in das gewünschte Lehrermuster während eines Lernens umgewandelt werden können oder nicht, und schließt diejenigen, die das gewünschte Lehrermuster ausgeben können, von dem Gegenstand des nächsten Aktualisierprozesses aus. Die Zahl von Berechnungsschritten, die erforderlich sind, um den Interner-Zustand-Wert zu lernen, kann außerordentlich reduziert werden, und das Lernen des Interner-Zustand-Werts kann viel schneller als im Stand der Technik realisiert werden.
Ferner erhält die Aktualisierquantum-Berechnungseinheit 275 der Interner-Zustand-Wert-Aktualisiereinheit 274 den Betrag, durch den der Interner-Zustand-Wert aktualisiert wird. Dieser Betrag nimmt zu, während die Zahl nichtkonvergierter Ausgabemuster abnimmt. Falls der Aktualisierbetrag des Interner-Zustand- Werts groß gemacht ist, wird die Konvergenz schneller abgeschlossen. Falls er jedoch zu groß ist, überschreitet der Gewichtwert den gewünschten Wert in einigen Lernmustern, wodurch eine Konvergenz verlangsamt wird. In der vorliegenden Ausführungsform wird die Zahl von Lernmustern dynamisch geändert, und das aktualisierte Quantum des Interner-Zustand-Werts kann größer gemacht werden, weil keine zu große Werte verwendende Operationen stattfinden. Somit kann das Lernen schneller konvergieren. In dem obigen Prozeß kann ein Lernen des Interner- Zustand-Werts innerhalb einer weiter reduzierten Verarbeitungszeit realisiert werden.
Ferner beurteilt die vorliegende Ausführungsform keine Konvergenzen für all die Präsentationen der Lernmustergruppe, son dem diejenigen für mehrere intermittierende Präsentationen. Die Konvergenzmuster-Ausschlußeinheit 273 fährt fort, einen Prozeß eines Ausschließens des konvergierten Ausgabemusters bis zum nächsten Beurteilungszyklus auszuführen. Somit geht eine Konvergenz der Eingabemuster zu dem Lehrermuster nicht sanft weiter, sondern geht durch einen Schwingungsprozeß weiter. Ist Konvergenz einmal geschaffen, wird das Lernmuster im konvergierten Zustand gehalten. Falls das Lernmuster einmal konvergiert ist, wird es daher als in einem nahezu konvergierten Zustand gehalten betrachtet. Man befindet somit, daß es für eine bestimmte minimale Zeitperiode konvergiert bleibt, wodurch die Zahl von Berechnungsschritten abnimmt, die für das Lernen des Interner-Zustand-Werts erforderlich sind. Dieser Prozeß kann die Verarbeitungszeit zum Lernen des Interner-Zustand-Werts weiter verkürzen.
In der obigen Erläuterung kann die Beurteilung eines Konvergenzabschlusses durch die Konvergenzbeurteilungseinheit 272 auf eine Beurteilung eines Konvergenzabschlusses hin vorgenommen werden. Um die Wahrscheinlichkeit einer Konvergenz zu erhöhen, kann die Beurteilung eines Konvergenzabschlusses vorgenommen werden, nur wenn eine Vielzahl von Beurteilungen eines Konvergenzabschlusses vorgenommen wird. Die Einheit zum Durchführen der Funktion eines Detektierens eines Lernabschlusses, wie oben durch Verweisen auf die Fehlerwert-Berechnungseinheit 271 erläutert, kann auf der Seite der Musterpräsentationseinheit 33 vorgesehen sein. Dies macht es unnötig, daß die Fehlerwert- Berechnungseinheit 271 die Musterpräsentationseinheit 33 ersucht, das Lernmuster zu präsentieren.
Eine andere Ausführungsform der vorliegenden Erfindung wird nun ausführlich beschrieben. Diese Ausführungsform wird für ein Rückwärtsausbreitungsverfahren für ein Datenverarbeitungsgerät mit einer geschichteten Netzwerkstruktur verwendet. Die Struktur des Lernprozeßgeräts und die Struktur des Geräts zum Präsentieren des Lernmusters sind vorher durch Verweisen auf die Figuren 5 und 6 erläutert worden. Daher wird die Erläuterung hier nicht wiederholt.
Der Lernprozeß der vorliegenden Erfindung wird ausführlicher durch Verweisen auf das Flußdiagramm in Figur 13 erläutert. Wenn ein Gewichtwertlernen angefordert wird, wird der durch das nicht dargestellte Erzeugungsmittel erzeugte anfängliche Gewichtwert in der Interner-Zustand-Wert-Speichereinheit 25 gespeichert, wie in Schritt ST11 gezeigt ist. Dieser Prozeß zum Initialisieren des Gewichtwerts wird wie in der herkömmlichen Art und Weise eine Zufallszahl als ein Anfangsgewicht verwendend ausgeführt, die z.B. aus [-0,1, 0,1] zufällig ausgewählt werden kann.
Der anfängliche Gewichtwert wird zufällig gewählt, wenn ein spezieller Gewichtwert vorgesehen ist, z.B. wenn alle Gewichtwerte die gleichen sind, weil durch das Rückwärtsausbreitungsverfahren die Variation des Gewichtwerts nicht bewirkt wird. Dies hemmt den Fortschritt des Lernens und sollte somit vermieden werden.
Bei Schritt ST12 wählt die musterdarstellende Einheit 33 gemäß der Musterpräsentationsanweisung von der Musterpräsentation-Steuereinheit 34 ein Lernmuster (ein ein Eingabemuster und ein Lehrermuster umfassendes Paar) aus einer Vielzahl in der Lernmuster-Speichereinheit 32 gespeicherter Lernmuster aus, liest es aus und präsentiert das ausgelesene Lernmuster der geschichteten Netzwerkeinheit 21a als das Eingabemuster, dadurch das Lehrermuster der Interner-Zustand-Wert-Änderungseinheit 26 präsentierend. Bei Empfang der Präsentation dieses Eingabemusters gibt die geschichtete Netzwerkeinheit 21a bei Schritt ST13 das entsprechende Ausgabemuster gemäß der Datenumwandlungsfunktion des geschichteten Netzwerks aus. Während des Schritts ST13 kann "ypj" der Ausgabe von der jeweiligen Basiseinheit j erhalten werden, die die Ausgabeschicht bildet, erklärt durch Verweisen auf das Rückwärtsausbreitungssystem. Bei Schritt ST13 werden gleichzeitig die Ausgabe "yph" einer h- Schicht (Eingabeschicht), die dem gemäß der Eingabe des ausgewählten Eingabemusters ausgegebenen entspricht, und die Ausgabe "ypi" von der i-Schicht (verborgenen Schicht) erhalten.
Wenn das Ausgabemuster "ypj" der Umwandlungsausgabe des Eingabemusters erhalten wird, erhält, wie oben beschrieben wurde, die Interner-Zustand-Wert-Anderungseinheit 26 den Fehler δpj zwischen "ypj" und dem Lehrermuster, von dem man erwartet, daß es ausgegeben wird. Falls bei Schritt ST14 das Lehrersignal der j-ten Einheit der j-Schicht entsprechend dem Eingabemuster des p-ten Musters durch "dpj" repräsentiert wird, wird die folgende Gleichung berechnet.
ypj - dpj = δpj
Wenn der individuelle Fehler "δpj" des präsentierten Lernmusters berechnet ist, beurteilt die Interner-Zustand-Wert- Änderungseinheit 26 aus dem Wert "δpj" bei Schritt ST15, ob das Ausgabemuster zu dem Lehrermuster konvergiert ist oder nicht. Diese Beurteilung wird durch Vergleichen des Werts "δpj" mit dem vorbestimmten Beurteilungswert "k" durchgeführt, und die Konvergenz ist bestimmt, wenn der Wert "δpj" für alle Einheiten geringer als der Beurteilungswert "k" ist oder wenn ein gemäß Gleichung (7) erhaltenes Ep
geringer als ein vorbestimmter Beurteilungswert ist.
Wenn entschieden wird, daß das Ausgabemuster nicht konvergiert ist, geht der Prozeß weiter zu Schritt ST16. Die Interner-Zustand-Wert-Änderungseinheit 26 liefert dann die folgende Gleichung, die aus Gleichung (11) durch Verwenden des bei Schritt ST14 erhaltenen "δpj" und der bei Schritt ST13 erhaltenen "yph", "ypi" und "ypj" abgeleitet wird.
Die aus Gleichung (14) abgeleitete folgende Gleichung wird ebenfalls geliefert.
Wenn andererseits bei Schritt ST15 entschieden wird, daß das Ausgabemuster konvergiert ist, geht der Prozeß zu Schritt ST17 weiter, und die Interner-Zustand-Wert-Anderungseinheit 26 bestimmt sofort die folgenden Gleichungen.
Das heißt, wenn eine Konvergenzbeurteilung vorgenommen wird, wird der Berechnungsprozeß gemäß dieser Gleichung nicht ausgeführt, und statt dessen wird "0" gesetzt. Setzen von "0" in der Interner-Zustand-Wert-Änderungseinheit 26 bedeutet, daß der Wert in bezug auf das Ausgabemuster in dem Prozeß eines Aktualisierens des Gewichtwerts nicht verwendet wird, wenn der Prozeß danach ausgeführt wird. Demgemäß wird das Lernmuster in bezug auf das Ausgabemuster als im wesentlichen nicht präsentiert behandelt.
Die Musterpräsentiereinheit 33 führt die obigen Schritte ST13, ST14, ST15 und ST16 oder die Schritte ST13, ST14, ST15 und ST17 für das einer Konvergenz unterzogene Muster gemäß dem Musterpräsentationsbefehl von der Musterpräsentation-Steuereinheit 34 für alle Lernmuster aus. Der Präsentationsprozeß des Schritts ST12 wird somit wiederholt durchgeführt. Wenn der Prozeß bei Schritt ST12 abgeschlossen ist, geht die Interner- Zustand-Wert-Änderungseinheit 26 zu Schritt ST18 weiter und führt die unten beschriebenen Schritte ST19, ST20 und ST21 aus, um den Gewichtwert beginnend mit dem Anfangswert zu aktualisieren.
Bei Schritt ST19 wird die folgende Gleichung aus Gleichung (15) abgeleitet, wobei der in Schritt ST16 erhaltene Wert verwendet wird.
Die folgende Gleichung wird ebenfalls aus Gleichung (16) abgeleitet.
In Schritt ST20 werden die aktualisierten Größen ΔWji(t) und ΔWih(t) des Gewichtwerts zum Verringern der Summe "E" des Fehlervektors gemäß den folgenden Gleichungen erhalten.
Die aktualisierten Größen ΔWji(t) und ΔWih(t) des Gewichtwerts werden ebenfalls in Schritt ST20 erhalten. Der neue Gewichtwert wird dann in Schritt ST21 gemäß den folgenden Gleichungen erhalten.
Der so erhaltene Gewichtwert wird in dem nächsten Aktualisierzyklus der Interner-Zustand-Wert-Speichereinheit 25 verwendet.
Die Lernkonvergenz-Beurteilungseinheit 36 (Figur 6) empfängt das Lehrermuster von der Musterpräsentationseinheit 33 während des Präsentationsprozesses für das Lernmuster bei Schritt ST12 und das Ausgabemuster von der Schichtnetzwerkeinheit 21a und berechnet "δpj" in gleicher Weise wie in der Interner-Zustand-Wert-Änderungseinheit 26. Bei Abschluß des Präsentationsprozesses für alle Lernmuster wird in Schritt ST22 beurteilt, ob der Gewichtwert-Lernprozeß abgeschlossen ist oder nicht. Diese Beurteilung wird ausgeführt, indem der Abschluß des Lernens bestimmt wird, wenn der Wert "δpj" in bezug auf alle Lernmuster mit dem vorbestimmten Beurteilungswert "h" verglichen wird und gefunden wird, daß er geringer als dieser Wert "h" ist, oder indem eine Vollendung einer Konvergenz bestimmt wird, wenn E, das aus der folgenden Gleichung
berechnet und gemäß der Gleichung (8) erhalten wird, geringer als der vorbestimmte Beurteilungswert "h" ist. Der in diesem Prozeß erhaltene Beurteilungswert "h" ist nicht immer der gleiche wie der in Schritt ST15 erhaltene Beurteilungswert "k". Falls h > k gilt, kann die Beurteilung, ob das Muster als ein effektives Lernmuster verwendet werden kann oder nicht, strenger als in der Beurteilung eines Lernabschlusses vorgenommen werden.
Wird ein Abschluß des Lernens bei Schritt ST22 entschieden, werden nämlich die Gewichtwerte erhalten, in denen die Ausgabemuster in bezug auf alle gelieferten Eingabemuster wie die entsprechenden Lehrermuster ausgegeben werden können, ist der Lernprozeß abgeschlossen. Wenn umgekehrt entschieden wird, daß das Lernen nicht abgeschlossen ist, teilt die Lernkonvergenz- Beurteilungseinheit 36 der Musterpräsentation-Steuereinheit 34 den Nicht-Abschluß des Lernens mit. Wenn die Musterpräsentation-Steuereinheit 34 diese Mitteilung empfängt, übermittelt sie den Musterpräsentationsbefehl an die Musterpräsentationseinheit 33, um den Prozeß bei Schritt ST12 durch Fortsetzen des Aktualisierprozesses gemäß dem Musterpräsentationsbefehl zu wiederholen. Ein Gewichtwert, der das gewünschte Lehrermuster ausgeben kann, wird gelernt.
Die vorliegende Ausführungsform liefert neu den Prozeß von Schritt ST15 und detektiert dynamisch das Lernmuster, das während eines Lernens konvergiert wird. Es verwendet im wesentlichen nicht das detektierte konvergierte Lernmuster als das Lernmuster, wie in einem Prozeß im neu vorgesehenen Schritt ST17 gezeigt ist, der die Berechnungsgröße des Lernprozesses verringert und die Lernperiode verkürzt.
In dem in Figur 13 gezeigten Flußdiagramm wird der Prozeß bei Schritt ST15 für jede Präsentation des Lernmusters durchgeführt. Er beurteilt, ob das Ausgabemuster zu dem Lehrermuster konvergiert und bestimmt, ob das Ausgabemuster für das Lernmuster für den nächsten Aktualisierzyklus verwendet werden sollte. Um die Lernzeit zu verkürzen, kann die Konvergenzbeurteilung jeweils nach mehreren Präsentationen oder intermittierend vorgenommen werden. Man meint, daß so das Lernmuster, das als an einem Punkt sehr nahe zum Beurteilungswert "k" konvergiert beurteilt wird, bis zum nächsten Beurteilungszyklus konvergiert gehalten wird, dadurch die Zahl von Berechnungsschritten verringernd. Selbst wenn eine solche Verarbeitung durchgeführt wird, ist das Lernmuster nahezu konvergiert, und in dem Lernprozeß wird kein Fehler erzeugt.
In dem in Figur 13 gezeigten Flußdiagramm wird ferner die Aktualisiergröße des Gewichtwerts wie das Rückwärtsausbreitungsverfahren verwendet. Die Verbesserung des in der oben beschriebenen Anwendung der japanischen Patentanmeldung Nr. 63-2278225 zitierten Rückwärtsausbreitungsverfahrens kann auch verwendet werden, um einen aktualisierten Betrag wie oben beschrieben zu liefern.
In dem in Figur 13 gezeigten Flußdiagramm tritt der Prozeß in Schritt ST17 als Ergebnis nur einer Konvergenzbeurteilung ein. Es kann folglich vorzuziehen sein, die Wahrscheinlichkeit einer Konvergenzbeurteilung zu erhöhen, um in Schritt ST17 zu gelangen, wenn eine Vielzahl ständiger Beurteilungen für eine Konvergenz gemacht wird.
Die oben angeführte Ausführungsform weist auch die Merkmale der in Figur 4 gezeigten ersten Ausführungsform auf. Wie oben beschrieben wurde, wird in der ersten Ausführungsform die Lernmustergruppe in eine Vielzahl von Sätzen geteilt, die sequentiell repräsentiert werden. Vor einem Präsentieren jeweiliger addierter Lernmuster werden die Lernmuster präsentiert, die zu allen bis zu diesem Punkt präsentierten Lernmustersätzen gehören. Schließlich sind die zu allen Sätzen gehörenden Lernmuster präsentiert. In dem Prozeß eines Aktualisierens von Interner- Zustand-Werten gemäß diesen Präsentationen wird der gemäß der vorher präsentierten Lernmustergruppe erhaltene Wert als ein Anfangswert des Interner-Zustand-Werts verwendet.
Als nächstes werden experimentelle Daten erläutert, die den Vorteil der vorliegenden Ausführungsform darstellen.
Die Figuren 14A und 14B zeigen experimentelle Daten der vorliegenden Ausführungsform. Das Experimentieren wird durch Vergleichen der Zahl von Gewichtwert-Lernvorgängen durchgeführt, in denen eine Erkennung oder Identifikation von 26 römischen Zeichen, jeweils 8 x 8 Punkte wie in der vorherigen Ausführungsform umfassend, durchgeführt wird. Figur 14A zeigt die Daten der experimentellen Ergebnisse, einschließlich der Zahl von Lernmusterpräsentationen, die vor Abschluß des Lernens des Gewichtwerts durchgeführt wurden, und des gesamten Berechnungsumf angs, der erforderlich ist, um das Lernen der Gewichtwerte abzuschließen. In Figur 148 ist der Durchschnittswert der in Figur 14A gezeigten Daten aufgetragen. (1) bis (4), entlang der horizontalen Achse, repräsentieren die Experimentiereinträge, und die vertikale Achse repräsentiert die Zahl von Präsentationen. Die Experimentierbedingung ist die gleiche wie für die in den Figuren 11A bis 11B gezeigten experimentellen Daten.
Die experimentellen Daten eines Experimentiereintrags (1) in Figur 14A werden erhalten, wenn 26 römische Zeichen präsentiert werden, ohne irgendeiner Teilung unterzogen zu werden. Diejenigen des Eintrags (2) werden durch Anwenden des Verfahrens der vorliegenden Ausführungsform erhalten, aber ohne eine Teilung wie durch die vorliegende Erfindung gefordert zu verwenden. Diejenigen des Eintrags (3) von Figur 14A werden erhalten, wenn 26 römische Zeichen in 4 Sätze geteilt sind, wie in den Figuren 11a und 11B gezeigt ist. Diejenigen des Eintrags (4) werden erhalten, indem die vorliegende Ausführungsform auf jeweilige Lernmustersätze angewandt wird, die gemäß dem Präsentationsverfahren der 4 Teilungen präsentiert wurden. Um den Effekt allein der zweiten Ausführungsform zu verstehen, werden daher die Daten des Eintrags (1) mit denjenigen des Eintrags (2) verglichen, und Daten des Eintrags (3) sollten mit denjenigen des Eintrags (4) verglichen werden. Nur die Einträge (3) und (4) stimmen mit der vorliegenden Erfindung überein.
Wie aus der graphischen Darstellung in Figur 14B klar ist, ermöglicht die vorliegende Ausführungsform, daß die Zahl von Präsentationen des Lernmusters und die Gesamtzahl von Berechnungen, die vor Abschluß des Lernens des Gewichtwerts erforderlich, viel kleiner sind als in dem Verfahren nach dem Stand der Technik, wodurch das Lernen der Gewichtdaten viel schneller als in dem Verfahren nach dem Stand der Technik abgeschlossen wird. Weil die vorliegende Ausführungsform mit der vorherigen Ausführungsform kombiniert ist, kann das Lernen des Gewichtwerts sogar noch schneller abgeschlossen werden.
Um die Lerngeschwindigkeit des Rückwärtsausbreitungsverfahrens zu erhöhen, kann es notwendig sein, eine große Lernkonstante &epsi; des Lernparameters zu bestimmen und eine große aktualisierte Größe des Gewichtwerts vorzusehen. Falls jedoch die Lernkonstante &epsi; zu groß gemacht wird, passiert dann der Prozeß den geeigneten konvergierten Zustand, der von dem Lernmuster abhängt, was somit eine langsame Lerngeschwindigkeit zur Folge hat. Daher wird im Stand der Technik ein experimentell erhaltener konstanter Wert, in dem obigen Experiment als "2" bestimmt, als Lernkonstante &epsi; verwendet. Die vorliegende Ausführungsform ändert jedoch die Zahl effektiver Lernmuster dynamisch, wobei so der Effekt solcher Passierprozesse gemäß dem Fortschritt des Lernens verringert wird. Wenn die vorliegende Ausführungsform verwendet wird, wird daher eine größere Lernkonstante 8 gemäß der kleineren Zahl der einer Rückwärtsausbreitung unterworfenen Lernmuster verwendet (nämlich der kleineren Zahl der Lernmuster, die durch einen Prozeß bei Schritt ST15 in dem in Figur 13 gezeigten Flußdiagramm als nicht-konvergent beurteilt werden). Daher erwartet man, daß die Lerngeschwindigkeit weiter erhöht wird.
Die Figuren 15A und 15B zeigen experimentelle Daten, die durch ein Experiment erhalten wurden, das durchgeführt wurde, um zu bestimmen, ob die in der obigen Ausführungsform gezeigte Struktur vorteilhaft ist oder nicht. Dieses Experiment wird für das Präsentationsverfahren des Lernmusters für den Experimentiereintrag (4) des in den Figuren 14A und B gezeigten Experiments durchgeführt. Figur 15A zeigt Daten, die die Zahl von Präsentationen des Lernmusters einschließen, die erforderlich sind, um das Lernen des Gewichtwerts abzuschließen, und experimentelle Ergebnisdaten, die den gesamten Berechnungsumfang umfassen, der erforderlich ist, um das Lernen des Gewichtwerts abzuschließen. Figur 15B stellt Durchschnittswerte der in Figur 15A gezeigten Daten dar. In Figur 15B repräsentiert die horizontale Achse von Einträgen (5) und (6) den experimentellen Eintrag, und die vertikale Achse repräsentiert den gesamten Berechnungsumfang und die Zahl von Präsentationen.
Die in Figur 15A gezeigten experimentellen Daten des experimentellen Eintrags (5) werden erhalten, wo die Lernkonstante &epsi; in umgekehrtem Verhältnis zu der Zahl der rückwärts fortgepflanzten Lernmuster bestimmt ist (&epsi; = 5,2/die Musterzahl). Die experimentellen Daten des experimentellen Eintrags (6) werden erhalten, wenn die Lernkonstante &epsi; bei einem konstanten Wert von "0,2" festgelegt ist. Wie aus der in Figur 15B gezeigten graphischen Darstellung klar ist, ist die Lernkonstante &epsi; gemäß der kleineren Zahl rückwärts fortgepflanzter Lernmuster größer gemacht. Diese Beziehung zwischen der Lernkonstante &epsi; und der Zahl der Lernmuster steht nicht immer im umgekehrten Verhältnis. Es ist daher sicher, daß das Lernen des Gewichtwerts viel schneller ausgeführt werden kann.
Der Inhalt des Netzwerkstruktur-Datenverarbeitungsgeräts, ausgeführt unter Verwendung der Gewichtdaten, die wie oben beschrieben bestimmt wurden, wird ausführlich durch Verweisen auf die Figuren 16 bis 20 erläutert. Figur 16 zeigt die Struktur einer Basiseinheit, die in der vorliegenden Erfindung verwendet werden kann. Eine Multiplikationsverarbeitungseinheit 2 umfaßt einen D/A-Wandler 2a vom Multiplikationstyp, der ein (durch eine Eingabeschaltereinheit 7 eingegebenes) Analogsignal von der Basiseinheit 1 der vorherigen Schicht oder der später beschriebenen Anfangssignal-Ausgabeschaltung 13 mit einer (durch eine Gewichthalteeinheit 8 eingegebenen) Gewichtinformation von dem digitalen Signal multipliziert, das mit der Eingabe multipliziert werden soll, wodurch das multiplizierte Ergebnis als ein Analogsignal ausgegeben wird. Eine Akkumulationsverarbeitungseinheit 3 umfaßt einen Analogaddierer 3a, der aus einem Integrator besteht, und eine Abtasthalteschaltung (haltende Schaltung) 3b zum Beibehalten des Additionsergebnisses des Analogaddierers 3a. Der Analogaddierer 3a addiert die vorher erhaltene Ausgabe des D/A-Wandlers 2a vom multiplizierenden Typ zu dem in der Abtasthalteschaltung 3b beibehaltenen addierten Wert, wodurch ein neuer addierter Wert geliefert wird. Die Abtasthalteschaltung 3b hält den durch den Analogaddierer 3a erhaltenen addierten Wert und liefert den gehaltenen Wert zum Analogaddierer 3a als den vorherigen addierten Wert zurück. Diese Addierprozesse werden synchron mit einem von der Steuerschaltung 9 ausgegebenen Addiersteuersignal ausgeführt. Eine Schwellenprozeßeinheit 4 umfaßt eine Erzeugungsschaltung 4a für eine Funktion vom nichtlinearen Typ einer Analogfunktion-Erzeugungs schaltung. Sie gibt als Antwort auf die Eingabe ein nichtlinearartiges Signal aus, wie z.B. eine Sigmoidfunktion, und wendet einen arithmetischen Berechnungsprozeß auf den in der Abtasthalteschaltung 3b gehaltenen addierten Wert X an, wodurch ein analoger Ausgabewert Y geliefert wird, wenn die Multiplikation des durch die Eingabeschaltereinheit 7 eingegebenen Analogsignals durch den D/A-Wandler 2a vom Multipliziertyp und eine Akkumulation des Multiplikationsergebnisses abgeschlossen sind. Eine Ausgabebeibehalteeinheit 5 umfaßt die Abtasthalteschaltung 3b und hält den Ausgabewert Y des Analogsignals von der Erzeugungsschaltung 4a für eine Funktion vom nichtlinearen Typ, was die Ausgabe an die Basiseinheit 1 der Schicht der folgenden Stufe wird.
Die Ausgabeschaltereinheit 6 wird durch die Steuerschaltung 9 bei Empfang des Ausgabesteuersignais für eine vorbestimmte Periode EINgeschaltet und gibt die Endausgabe aus, um die Ausgabehalteeinheit 5 auf dem Analogbus zu halten. Die Eingabeschaltereinheit 7 wird EINgeschaltet, um die Endausgabe von der Basiseinheit 1 bei der vorherigen Stufe zu empfangen und um die Analogausgabe von der Anfangssignal-Ausgabeschaltung 13 zu empfangen, wenn das Eingabesteuersignal von der Steuerschaltung 9 empfangen wird, und liefert den Analogwert an den D/A-Wandler 2a vom Multipliziertyp. Eine Gewichthalteeinheit 8 umfaßt z.B. ein Parallelausgabe-Schieberegister und behält das von einer später beschriebenen Hauptsteuerschaltung 60 übertragene Gewichtssignal als ein Gewicht bei, das für eine Multiplizierprozeßeinheit 2 notwendig ist, wenn das Tor eines Drei-Zustand- Puffers 8a geöffnet wird, d.h. wenn das Gewichteingabesteuersignal durch die Steuerschaltung 9 EINgeschaltet wird. Die Steuerschaltung 9 steuert die Prozeßfunktion der Basiseinheit 1.
Die durch die Multiplizierverarbeitungseinheit 2, Akkumulierverarbeitungseinheit 3 und Schwellenwert-Verarbeitungseinheit 4 ausgeführte arithmetische Operation lautet wie folgt. Wie oben beschrieben wurde, ist, wenn eine Vielzahl von mit einer Basiseinheit G verbundenen Eingaben Yi ist, das diesen Verbindungen entsprechende Gewicht Wi. Somit berechnet die Multiplizierverarbeitungseinheit 2 das folgende.
Yi . Wi
Die Akkumulierverarbeitungseinheit 3 berechnet die folgende Gleichung.
X = Σ Yi . Wi
Wenn die Endausgabe Y ist, berechnet die Schwellenverarbeitungseinheit 4 die folgende Gleichung.
Y = 1 / (1 + exp(-X + θ))
Wie oben konstruiert, wird die Eingabe und Ausgabe einer Basiseinheit 1, die die in Figur 16 gezeigte Signalprozeßstruktur verwendet, durch das Analogsignal realisiert.
Der D/A-Wandler 2a vom Multipliziertyp kann derart konstruiert sein, daß er die Gewichtinformation des digitalen Signals parallel empfängt oder die Gewichtinformation sequentiell empfangen und in ein Parallelsignal umgewandelt werden kann. Falls die Gewichtinformation durch das Analogsignal konstruiert ist, kann der Analogmultiplizierer statt des D/A-Wandlers vom Multipliziertyp verwendet werden.
Figur 17 zeigt ausführlicher ein Schichtnetzwerk, für das die vorliegende Erfindung verwendet werden kann. In diesem Beispiel ist die elektrische Verbindung zwischen der Schichtstruktur des Schichtnetzwerks durch einen einzigen gemeinsamen Analogbus 15 (an den Analogbus 15 können als ein Identifizierer a bis c angefügt sein) realisiert. Demgemäß wird der von der Ausgabeschaltereinheit 6 der Basiseinheit 1 ausgegebene Endwert derart konstruiert, daß er in dem Ausgabemodus des Analogsignals ausgegeben wird, während der Endausgabewert in die Basiseinheit 1 eingegeben wird, die sich in der Schicht der folgenden Stufe befindet. Figur 17 zeigt ein Schichtnetzwerk einer Struktur mit drei Schichten. Die Eingabeschicht ist durch h bezeichnet, die verborgene Schicht durch i und die Ausgabeschicht durch j, wie in Figur 2 gezeigt ist.
Die Gewichtausgabeschaltung 11 ist für jeweilige Basiseinheiten 1 vorgesehen und gibt das Gewicht für eine Gewichthalteeinheit a einer Basiseinheit 1 aus. Eine Gewichtsignalleitung 12 verbindet die Ausgabe der Gewichtausgabeschaltung 11 durch eine Gewichthalteeinheit 8, versorgt die Anfangssignal-Ausgabeschaltung 13 (an die Anfangssignal-Ausgabeschaltung können als ein Identifizierer a bis n angefügt werden) gemäß der Zahl von w Dimension-Eingabe-Mustern und gibt ein Anfangssignal an eine Eingabeschicht eines Schichtnetzwerks als ein Eingabemuster aus. Eine Synchronisiersteuersignalleitung 14 (an die Synchronisiersteuersignalleitung können als ein Identifizierer a bis d angefügt werden) überträgt das synchronisierende Steuersignal von einer die Steuerung der Datenübertragung ausführenden Hauptsteuerschaltung 60 an die Gewichtausgabeschaltung 11, die Anfangssignal-Ausgabeschaltung 13 und die Steuerschaltung 9 der Basiseinheit 1. Die Synchronisationssteuersignalleitung 14 ist durch eine gemeinsame Linie in der Zeichnung gekennzeichnet, ist aber mit jeweiligen Schaltungen von der Hauptsteuerschaltung 60 als individuelle Signalleitungen verbunden.
Figur 18 zeigt ausführlich das System der Hauptsteuerschaltung 60.
Die Hauptsteuerschaltung 60 umfaßt eine Externbus-Schnittstellenschaltung 60a, einen Mikrocodespeicher 60b, einen Programmsequenzer 60c, einen Steuermusterspeicher 60d und einen Gewichtdatenspeicher 60e. Die externe Schnittstellenschaltung 60a ist durch einen Hauptbus 70 mit einem Wirtscomputer 80 und einem externen Speichergerät 90 verbunden und empfängt eine Operationsanweisung vom Wirtscomputer 80. Der Mikrocodespeicher 60b speichert einen Mikrocode zum Definieren einer Operation eines Programmsequenzers 60c. Der Programmsequenzer 60c steuert den Steuermusterspeicher 60d und Gewichtdatenspeicher 60e gemäß einem Mikrocode innerhalb des Mikrocodespeichers 60b. Der Steuermusterspeicher 60d hat Ausgangssignalleitungen, die mit der Anfangssignal-Ausgabeschaltung 13 und der Basiseinheit 1 in einer Anfangsschicht, einer verborgenen Schicht und einer Ausgabeschicht einzeln verbunden sind. Er schaltet die Ausgangssignalleitungen ein oder aus, um jeden jeweiliger Sätze auszuwählen, d.h. jeweilige Sätze der Anfangssignal-Ausgabeschaltung 13, Eingabeschichten, verborgenen Schichten und Ausgabeschichten oder Basiseinheiten 1 in einer zeitgeteilten Weise, gemäß einer Anweisung vom Programmsequenzer 60c. Der Gewichtdatenspeicher 60e versorgt gemäß der Anweisung vom Programmsequenzer 60c die jeweilige Basiseinheit 1 synchron mit dem Zeitteilung-Eingangssignal mit einem Gewicht, wodurch das Gewicht für digitale Daten an eine jeweilige Gewichtausgabeschaltung 11 geliefert wird. Der Wirtscomputer 80 versorgt die Anfangsausgabeschaltung 13 mit der Eingabe YI.
Die Operation des in Figur 17 gezeigten Schichtnetzwerks wird als nächstes mit Verweis auf das in Figur 19 gezeigte Zeitdiagramm erläutert.
Wenn durch den Wirtscomputer 80 eine Anforderung nach einer Umwandlung in ein Ausgabemuster durch den Hauptbus 70 geliefert wird, überträgt die Hauptsteuerschaltung 60 ein Ausgabesteuer signal sequentiell und zyklisch zu einer Anfangssignal-Ausgabeschaltung 13 und wählt eine Vielzahl von Anfangssignal-Ausgabeschaltungen 13 sequentiell und zyklisch aus. Die Hauptsteuerschaltung 60 liefert nämlich gleichzeitig ein Synchronisationssteuersignal an die Basiseinheit in der Eingabeschicht vom Steuermusterspeicher 60d gemäß einer Anweisung vom Programmsequenzer 60c und schaltet sequentiell Synchronisationssteuersignalleitungen 14a für jeweilige Anfangssignal-Ausgabeschaltungen 13 ein. Die Hauptsteuerschaltung 60 schaltet nämlich nur eine (in der Zeichnung durch 14a-1 dargestellte) Synchronisationssteuersignalleitung 14a ein, um ein Tor einer Anfangssignal- Ausgabeschaltung 13a zu öffnen, um ein an die Anfangssignal- Ausgabeschaltung 13a geliefertes Eingabemuster Y1 an den Analogbus auszugeben, und schaltet eine andere Synchronisationssteuersignalleitung 14a aus. Die Hauptsteuerschaltung 60 schaltet als nächstes eine (mit 14a-2 dargestellte) Synchronisationssteuersignalleitung 14a ein, um ein Tor einer Anfangssignal- Ausgabeschaltung 13b zu öffnen, um ein Eingabemuster Y2 an die Anfangssignal-Ausgabeschaltung 13b an einen Analogbus 15 auszugeben, und schaltet andere Synchronisationssteuersignalleitungen 14a aus. Die folgende Operation wird wie oben zitiert durchgeführt. Die Hauptsteuerschaltung 60 führt eine EIN- und AUS-Operation auf einer Synchronisationssteuerung YN einer Anfangssignal-Ausgabeschaltung 13n aus, ausgegeben an Analogbusse 15. Die Hauptsteuerschaltung 60 stellt gleichzeitig die Ausgaben des Gewichtdatenspeichers 60e fur jeweilige Gewichtausgabeschaltungen 11 durch eine Synchronisationssteuersignalleitung 14b synchron mit EIN-Operationen jeweiliger Synchronisationssteuersignalleitungen 14a ein, um ein Gewicht an jeweilige Gewichtausgabeschaltungen 11 jeweiliger Basiseinheiten 1 in der Eingabeschicht zu liefern.
In Figur 19A wird ein Synchronisationssteuersignal einer Synchronisationssteuersignalleitung 14a durch ein Yi-Ausgabe steuersignal (i = 1 bis n) repräsentiert, und eine Anfangssignal-Ausgabeschaltung 13a wird sequentiell und zyklisch ausgewählt. n bezeichnet die Nummer einer Anfangssignal-Ausgabeschaltung 13. Die Anfangssignal-Ausgabeschaltung 13, wie oben ausgewählt, überträgt ein als ein Eingabemuster geliefertes Analogsignal YI an einen Analogbus 15 (präsentiert durch einen Eingabeschicht-Analogbus 15a in der Zeichnung), der zwischen der Eingabeschicht und der Anfangssignal-Ausgabeschaltung 13a vorgesehen ist. Dieses Eingabemuster ist durch den Wirtscomputer 80 gegeben. Demgemäß wird ein Analogsignal Yi sequentiell auf dem Eingabeschicht-Analogbus 15a übertragen. Die Nummer des Analogsignals YI entspricht der der Anfangssignal- Ausgabeschaltung 13. Ein anfängliches Eingabemuster Yi und folgende Eingabemuster Yi werden nacheinander wiederholt übertragen.
Die Multiplikationsprozeßeinheit 2 jeweiliger Basiseinheiten 1 in einer Eingabeschicht empfängt das übertragene Analogsignal YI und verwendet ein Gewicht WI einer Gewichthalteeinheit 8, das durch die Hauptsteuerschaltung 60 eingestellt wird, um eine arithmetische Operation (YI.WI) auszuführen. Das Gewicht WI wird gemäß dem Lernverfahren der vorliegenden Erfindung durch jeweilige Verbindungen zwischen einer Anfangssignal- Ausgabeschaltung 13 und einer Basiseinheit 1 in der Eingabeschicht bestimmt.
Demgemäß stellt die Hauptsteuerschaltung 60, die in Figur 19B dargestellt ist, ein Gewicht Wi entsprechend einer ausgewählten Anfangssignal-Ausgabeschaltung 13 in eine Gewichthalteeinheit 8 in jeweiligen Basiseinheiten 1 einer Eingabeschicht durch eine Gewichtausgabeschaltung 11 synchron mit einem Auswahlprozeß der Anfangssignal-Ausgabeschaltung 13 ein. Es ist möglich, ein Gewicht in einer Basiseinheit 1 gemäß irgendeinem Modus eines Analogsignals oder eines digitalen Signals einzustellen. Das Gewicht ist durch jeweilige Verbindungen bestimmt und sollte, wie oben festgestellt wurde, genau durch Wij (j bezeichnet die Nummer der Basiseinheit in der Eingabeschicht) ausgedrückt werden, wird aber durch WI repräsentiert, um die Erläuterung zu vereinfachen.
Die Verarbeitungsoperation wird durch Verweisen auf das in Figur 20 gezeigte Zeitdiagramm für eine Signalverarbeitung einer Basiseinheit 1 erläutert. Eine (durch 1a in der Zeichnung repräsentierte) Basiseinheit 1 in der Eingabeschicht wird erklärt.
Wenn eine Steuerschaltung 9 ein Synchronisationssteuersignal von einem Steuermusterspeicher 60j einer Hauptsteuerschaltung 60 durch eine (in der Zeichnung durch 14b-1 repräsentierte) Synchronisationssteuersignalleitung 14b empfängt und dann ein Eingabesteuersignal (c) zu der gleichen Zeit EINschaltet, zu der eine Eingabeschaltereinheit 11 leitend gemacht ist, schaltet die Steuerschaltung 9 in ein Tor eines Drei-Zustand- Puffers 8a öffnendes Gewichteingabesteuersignal (d) und ein Ausgabesteuersignal (h&sub1;) EIN, um eine Ausgabeschaltereinheit 6 leitend zu machen. Synchron mit einem Takt (a) schaltet dann die Hauptsteuerschaltung 60 sequentiell die Synchronisationssteuersignalleitung 14a EIN, und ein in den Anfangssignal- Ausgabeschaltungen 13a, 13b, ... 13n beibehaltenes Eingabemustersignal Yi wird durch einen Analogbus 15 und eine Eingabeschaltereinheit 7 an einen D/A-Wandler 2a vom Verstärkungstyp geliefert.
Die Hauptsteuerschaltung 60 liefert ein Gewicht eines Gewichtdatenspeichers 60e durch eine (in der Zeichnung durch 14b- 2 repräsentierte) Synchronisationssteuersignalleitung 60b an eine Gewichtausgabeschaltung 11, und dieses Gewicht (digitale Daten) 1 wird in einer Gewichthalteeinheit 8 durch einen Drei- Zustand-Puffer a gespeichert. Das Ausgabesteuersignal (H) wird dann für nur eine Periode eines Taktes (a) EINgeschaltet, das analoge Tor der Abtasthalteschaltung in einer eine Ausgabe beibehaltenden Einheit 5 in der Basiseinheit 1 wird für diese Periode in einen offenen Zustand versetzt, und der gehaltene Analogwert wird durch eine Ausgabeschaltereinheit 6 an einen Analogbus 15b einer verborgenen Schicht ausgegeben. Das Gewicht W1 des digitalen Werts wird in der Halteeinheit 8 gespeichert. Ein Multiplikationssteuersignal (e) wird dann EINgeschaltet, und ein D/A-Wandler 2a vom Multiplikationstyp multipliziert dann ein durch eine Eingangssignaleinheit 7 empfangenes Analogsignal YI mit dem Gewicht W1, wodurch das Multiplikationsergebnis als ein Analogsignal ausgegeben wird. Weil das Addiersteuersignal (5) Ausgeschaltet ist, arbeitet als nächstes ein durch einen Integrator gebildeter analog addierender Addierer 3a, und ein zuvor in einer Abtasthalteschaltung 13b beibehaltener Analogwert (der anfangs zu 0 gelöscht ist) wird zu einem Verstärkungsergebnis des D/A-Wandlers 2a eines definierten Typs addiert, wodurch das Additionsergebnis wieder in der Abtasthalteschaltung 3b gespeichert wird.
Gemäß der obigen Operation ist ein Buszyklus abgeschlossen, und ein Eingabemuster Y2 für eine Anfangssignal-Ausgabeschaltung 13b wird von einer Eingabeschaltereinheit 7 synchron mit dem nächsten Takt (a) geliefert, und eine Gewichtausgabeschaltung 11 liefert ein dem Eingabemuster Y2 entsprechendes Gewicht W2. Somit wird das Eingabemuster Y2 mit dem Gewicht W2 multipliziert, und das Multiplikationsergebnis wird zu dem in der Abtasthalteschaltung 33b gehaltenen Wert addiert. Das Ausgabesteuersignal (h2) einer (in der Zeichnung durch 1b repräsentierten) Basiseinheit 1 wird dann EINgeschaltet, und danach wird diese Operation wiederholt, bis der Prozeß für ein Eingabemuster Yn zur Anfangssignal-Ausgabeschaltung 13n abgeschlossen ist. Wenn die Multiplikation des Eingabemusters Yn mit Wn abgeschlossen ist, wird ein Umwandlungssteuersignal (G) EINgeschaltet. Der durch Akkumulieren des Multiplikationsergebnisses erhaltene Wert wird dann in eine Erzeugungsschaltung 4a fur eine Funktion vom nichtlinearen Typ der Schwellenverarbeitungseinheit 4 eingegeben, und der entsprechende Y-Wert wird in der Ausgabehalteeinheit 5 gehalten. Deshalb führt die Schwellenverarbeitungseinheit 4 die folgende arithmetische Operation aus.
Y = 1 / (1 + exp(-X + θ))
Daher kann der Endausgabewert Y, der die endgültige Operationsausgabe der Basiseinheit 1 ist, erhalten werden und wird in einer Halteeinheit 5 beibehalten. Wenn dieser Wert Y erhalten ist, ist der akkumulierte Wert (der in einer Abtasthalteschaltung 3b gehaltene Inhalt) in einer Akkumulationsverarbeitungseinheit 3 synchron mit einem Auswahlzyklus der nächsten Anfangssignal-Ausgabeschaltung 13 und wird durch das eingegebene Synchronisationssteuersignal gelöscht.
Gemäß der oben beschriebenen Operation liefern jeweilige Basiseinheiten 1 den Endausgabewert Y von einem Eingabemuster Yi und einem Gewicht Wi.
Hiernach kehrt die Erläuterung zur Struktur des in Figur 17 gezeigten Schichtnetzwerks zurück. Wie durch Verweisen auf Figur 20 ausführlich erläutert wurde, ist der Prozeß zum Eingeben des Mustersatzes in allen Anfangsignal-Ausgabeschaltungen 13 abgeschlossen, und die Hauptsteuerschaltung 60 versorgt dann wieder die jeweiligen Basiseinheiten 1 (a bis n sind als Identifizierer hinzugefügt) mit Synchronisationssteuersignalen. Somit wird eine ähnliche Operation gemäß einem neu an eine Anfangssignal-Ausgabeschaltung 13 gelieferten Eingabemuster Yi und einem durch einen Hauptbus 70 und eine Äußerer-Bus-Schnittstellenschaltung 60a vom Wirtscomputer 80 gelieferten neuen Gewicht Wi ausgeführt.
Der so erhaltene Endausgabewert 5 der Basiseinheit 1 der Eingabeschicht wird andererseits in einer Ausgabehalteeinheit 5 eingestellt und in zeitgeteilter Weise zur Basiseinheit 1 der in der nächsten Stufe positionierten verborgenen Schicht durch einen Analogbus 15 in gleicher Weise wie für eine Anfangssignal-Ausgabeschaltung 13 geliefert. Die Hauptsteuerschaltung 60 steuert nämlich Ausgangssignale H1 bis Hn (Figur 20) zur Steuerschaltung 9 für jeweilige Einheiten 1a bis 1n in der Eingabeschicht durch eine Synchronisationssteuersigalleitung 14b (die in der Zeichnung durch 14b-1 repräsentiert ist) sequentieh und zyklisch, dadurch die Ausgabeschaltereinheit 6 der Basiseinheit 1a bis 1n schaltend. Das Analogsignal des in der Ausgabehalteeinheit 5 jeweiliger Basiseinheiten 1a bis 1n beibehaltenen Endausgabewerts wird daher in zeitgeteilter Weise zu einer Multiplizierverarbeitungseinheit 2 jeweiliger Basiseinheiten 1a bis 1n in der Verborgene-Schicht-Periode übertragen. Jeweilige Basiseinheiten 1a bis 1n in der verborgenen Schicht führen die gleiche Operation wie oben beschrieben aus. Sie verwenden den Endausgabewert Y einer Basiseinheit 1 in der verborgenen Schicht, der durch den obigen Prozeß erhalten wurde, und führen eine Übertragungsverarbeitung für eine Basiseinheit 1 in der verborgenen Schicht in einer ähnlichen zeitgeteilten Weise aus, dadurch einen endgültigen Ausgabewert Y einer Basiseinheit 1 in der Ausgabeschicht teilend. Die Hauptsteuerschaltung 60 steuert ähnlich jeweilige Basiseinheiten 1a bis in durch Synchronisationssteuersignalieitungen 14c und 14d, die einzeln mit jeweiligen Basiseinheiten 1 in der Ausgabeschicht verbunden sind. Figur 19(a) zeigt ein Zeitdiagramm eines Ausgabesteuersignals zur Basiseinheit 1 in der Eingabeschicht gemäß einem Yi- Ausgabesteuersignal, das an eine Anfangssignal-Ausgabeschaltung 13 angelegt ist. Sie zeigt auch ein Zeitdiagramm des Endausgabewerts Y der Basiseinheit 1 in der Eingabeschicht, der auf einem (in der Zeichnung als der Analogbus der verborgenen Schicht ausgedrückten) Analogbus 15 übertragen wird, der zwischen der Eingabeschicht und einer verborgenen Schicht vorgesehen ist.
Das oben beschriebene Beispiel kann den Datenprozeß des Netzwerkstruktur-Datenverarbeitungsgeräts realisieren, dessen Prinzip in Figur 2 gezeigt ist, durch Verweisen auf eine durch das Lernsystem der vorliegenden Erfindung bestimmte Gewichtinformation. Verschiedene Implementiersysteme können für das lernende System der vorliegenden Erfindung in Betracht gezogen werden. Zum einen ist das Modell eines Datenverarbeitungsgeräts, das ausschließlich zum Einstellen eines Interner-Zustand- Werts verwendet wird, auf einem Computer gebildet. Der Lernprozeßalgorithmus wird auf dieses Modell angewandt, erhalten in einem Interner-Zustand-Wert, und der Interner-Zustand-Wert wird zum tatsächlichen Datenverarbeitungsgerät übertragen. In einem anderen Implementiersystem ist ein Programm des Lernprozeßalgorithmus in einem Computer implementiert, z.B. einem in Figur 18 gezeigten Wirtscomputer, der innerhalb des tatsächlichen Datenverarbeitungsgeräts vorgesehen ist. Dieser Computer berechnet das aktualisierte Quantum des Interner-Zustand-Werts durch Verwenden des tatsächlichen Datenprozeßgeräts, um den neuen Eingabe-Zustand-Wert zu erhalten. Der schließlich erhaltene Eingabe-Zustand-Wert wird als ein Interner-Zustand-Wert bei Ausführen des Datenprozesses eingestellt. Die obige Erläuterung ist nicht auf die oben gezeigten Ausführungsformen begrenzt. Die vorliegende Erfindung ist nicht auf das Datengerät des schichtartigen Netzwerks begrenzt und kann auf ein Datenprozeßgerät mit irgendeinem Adaptierbarkeitstyp angewandt werden. Wie oben beschrieben wurde, kann die vorliegende Erfindung den Interner-Zustand-Wert viel schneller als das herkömmliche System lernen, wenn der Interner-Zustand-Wert die Datenprozeßfunktion des adaptierbaren Datenprozeßgeräts definiert.

Claims

1. Ein lernendes System zur Verwendung in einem Datenverärbeitungsgerät (20) zum Lernen eines Eingabemusters durch Erhalten eines Interner-Zustand-Werts, der zum Realisieren einer gewünschten Datenumwandlung notwendig ist, zum Durchführen einer durch den Interner-Zustand-Wert definierten Musterumwandlung und zum Berechnen eines dem Eingabemuster entsprechenden Ausgabemusters, aufweisend:

Musterpräsentiermittel (33) zum Präsentieren einer Eingabemustergruppe des zu lernenden Gegenstands für die Musterumwandlung;

Fehlerwert-Berechnungsmittel (261, 271) zum Berechnen eines Fehlerwerts, der eine Größe einer Inkonsistenz zwischen einem gemäß der Präsentation ausgegebenen Ausgabemuster und einem Lehrermuster repräsentiert, das ein durch das Ausgabemuster zu erhaltendes Muster repräsentiert; und

ein Interner-Zustand-Wert-Aktualisiermittel (262, 274) zum Aktualisieren eines Interner-Zustand-Werts gemäß einer aktualisierten Qualität des beruhend auf dem Fehlerwert berechneten Interner-Zustand-Werts und Erhalten eines Interner-Zustand- Werts, dessen Fehlerwert innerhalb eines bestimmten zugelassenen Bereichs bleibt;

gekennzeichnet durch:

das Musterpräsentiermittel (33), das die Eingabemustergruppe des zu lernenden Gegenstands in zumindest zwei Sätze teilt, wählt einen der geteilten Sätze aus, die Eingabemuster des ausgewählten Satzes zu der Musterumwandlung präsentiert und dann die Eingabemuster präsentiert, die zu allen bis zum aktuellen Punkt präsentierten Sätzen gehören, wenn der Interner-Zustand- Wert, der konvergiert werden soll, gemäß der Präsentation des ausgewählten Satzes erhalten ist; und

das Interner-Zustand-Wert-Aktualisiermittel (262, 274) verwendet einen von dem vorher präsentierten Eingabemustersatz erhaltenen Interner-Zustand-Wert als einen Anfangswert, wenn der Interner-Zustand-Wert gemäß der Musterpräsentation gelernt ist.

2. Das lernende System nach Anspruch 1, worin, wenn ein Muster oder eine Vielzahl von Eingabemustern, die der Gegenstand eines Lernens sind, während einer Durchführung des Lernprozesses nach Abschluß des Lernens des Interner-Zustand-Werts addiert werden, das Musterpräsentiermittel (33) das addierte Eingabemuster als einen Satz für die Musterumwandlung präsentiert, dadurch den Interner-Zustand-Wert weiter lernend.

3. Das lernende System nach Anspruch 1, worin, wenn ein Muster oder eine Vielzahl von Eingabemustern, die der Gegenstand eines Lernens sind, während einer Durchführung des Lernprozesses nach Abschluß des Lernens des Interner-Zustand-Werts addiert werden, das Musterpräsentiermittel (33) das addierte Eingabemuster durch Teilen der addierten Eingabemuster in eine Vielzahl von Sätzen für die Musterumwandlung präsentiert, dadurch den Interner-Zustand-Wert weiter lernend.

4. Das lernende System nach Anspruch 1, worin, wenn ein Muster oder eine Vielzahl von Eingabemustern, die der Gegenstand eines Lernens sind, während einer Durchführung des Lernprozesses nach Abschluß des Lernens des Interner-Zustand-Werts ad diert werden, das Musterpräsentiermittel (33) das addierte Eingabemuster durch Kombinieren des addierten Eingabemusters mit dem ursprünglichen Eingabemuster für die Musterumwandlung präsentiert, so daß das addierte Eingabemuster und das ursprüngliche Eingabemuster in eine Vielzahl von Eingabemustersätzen geteilt sind, dadurch den Interner-Zustand-Wert weiter lernend.

5. Das lernende System nach Anspruch 1, worin das Datenverarbeitungsgerät eine Vielzahl von Basiseinheiten (1) zum Durchführen der Musterumwandlung aufweist, jede eine oder eine Vielzahl von Eingaben von einer Schicht einer vorherigen Stufe und einen mit dieser Eingabe zu multiplizierenden Interner-Zustand- Wert empfangend, dadurch die Summe der Produkte liefernd, und zum Umwandeln der so erhaltenen Summe der Produkte in eine Endausgabe durch eine Schwellenwertfunktion, welche Basiseinheiten in einer Eingabeschicht (1-h), einer oder einer Vielzahl von Stufen einer verborgenen Schicht (1-i) und einer Ausgabeschicht (1-j) angeordnet sind, wobei interne Verbindungen zwischen der Eingabeschicht (1-h) und einer ersten Stufe der verborgenen Schicht (1-i), zwischen den Stufen der verborgenen Schicht (1-i) und zwischen der letzten Stufe der verborgenen Schicht (1-i) und der Ausgabeschicht (1-j) gebildet sind, und der Verborgener-Zustand-Wert gemäß den internen Verbindungen eingestellt ist, dadurch eine geschichtete Netzwerkstruktur bildend.

6. Das lernende System nach Anspruch 1, ferner aufweisend Konvergenzbeurteilungsmittel (272) zum Beurteilen, ob jeweilige Ausgabemuster, die der durch das Musterpräsentiermittel (33) gemäß einem Fortschritt in dem Aktualisierprozeß des Interner- Zustand-Werts präsentierten Eingabemustergruppe entsprechen, zu den entsprechenden Lehrermustern konvergieren, und

Konvergenzmuster-Ausschlußmittel (273) zum Ausschließen eines Werts in bezug auf das Eingabemuster, das der Konvergenz unterworfen ist, von einer Berechnung zum Aktualisieren des Interner-Zustand-Werts, wenn der Interner-Zustand-Wert durch das Konvergenzbeurteilungsmittel (272) als ein konvergiertes Ausgabemuster beurteilt wird.

7. Das lernende System nach Anspruch 6, worin das Interner- Zustand-Wert-Aktualisiermittel (274) eine aktualisierte Größe eines berechneten Interner-Zustand-Werts derart berechnet, daß die aktualisierte Größe zunimmt, während die Zahl von Ausgabemustern abnimmt, die als nicht-konvergent beurteilt werden.

8. Das lernende System nach Anspruch 6, worin das Konvergenzbeurteilungsmittel (272) eine Beurteilung einer Konvergenz gemäß einem intermittierenden Zyklus unter Zyklen zum Aktualisieren des Interner-Zustand-Werts ausführt und das Konvergenzmuster-Ausschlußmittel (273) ein konvergiertes Ausgabemuster während der Periode des intermittierenden Zyklus ausschließt.

9. Das lernende System nach Anspruch 6, worin das Datenverarbeitungsgerät (20) eine Vielzahl von Basiseinheiten (1) zum Durchführen der Musterumwandlung aufweist, jede eine oder eine Vielzahl von Eingaben von einer Vorstufe-Schicht und einen mit der Eingabe zu multiplizierenden Interner-Zustand-Wert empfangend, dadurch eine Summe der Produkte liefernd, und Umwandeln der Summe der Produkte in eine Schwellenfunktion, dadurch eine Endausgabe liefernd, welche Basiseinheiten (1) angeordnet sind, um eine Eingabeschicht (1-h), eine oder eine Vielzahl Stufen einer verborgenen Schicht (1-i) und eine Ausgabeschicht (1-j) zu bilden, wobei eine interne Verbindung zwischen der Eingabeschicht (1-h) und einer ersten Stufe der verborgenen Schicht (1-i), zwischen den Stufen der verborgenen Schicht (1-i) und zwischen der letzten Stufe der verborgenen Schicht (1-i) und der Ausgabeschicht (1-j) hergestellt ist, dadurch den Interner- Zustand-Wert gemäß den internen Verbindungen bestimmend und dadurch eine geschichtete Netzwerkstruktur liefernd.

10. Das lernende System nach Anspruch 1, worin das Musterpräsentiermittel (33) ferner betreibbar ist, um eingegebene Lernmuster zu vereinigen, die zu den geteilten Sätzen gehören, um sie für die Musterumwandlung zu prasentleren.

11. Ein Lernverfahren zur Verwendung in einem Datenverarbeitungsgerät (20) zum Lernen eines Eingabemusters durch Erhalten eines Interner-Zustand-Werts, der zum Realisieren einer gewünschten Datenumwandlung notwendig ist, zum Durchführen einer durch den Interner-Zustand-Wert definierten Musterumwandlung und zum Berechnen eines dem Eingabemuster entsprechenden Ausgabemusters, umfassend:

Präsentieren einer Eingabemustergruppe des zu lernenden Gegenstands für die Musterumwandlung;

Berechnen eines Fehlerwerts, der einen Größe einer Inkonsistenz zwischen einem gemäß der Präsentation ausgegebenen Ausgabemuster und einem Lehrermuster repräsentiert, das ein durch das Ausgabemuster zu erhaltendes Muster repräsentiert; und Aktualisieren eines Interner-Zustand-Werts gemäß einer aktualisierten Qualität des basierend auf dem Fehlerwert berechneten Interner-Zustand-Werts und Erhalten eines Interner- Zustand-Werts, dessen Fehlerwert innerhalb eines bestimmten zulässigen Bereichs bleibt;

gekennzeichnet durch:

Teilen der Eingabemustergrupe des zu lernenden Gegenstands in zumindest zwei Sätze, Auswählen eines der geteilten Sätze, Präsentieren der Eingabemuster des ausgewählten Satzes zu der Musterumwandlung und dann Präsentieren der Eingabemuster, die zu allen bis zu dem aktuellen Punkt präsentierten Sätzen gehören, wenn ein zu konvergierender Interner-Zustand-Wert gemäß der Präsentation des ausgewählten Satzes erhalten ist; und

Verwenden eines aus dem vorher präsentierten Eingabemustersatz erhaltenen Interner-Zustand-Werts als einen Anfangswert, wenn der Interner-Zustand-Wert gemäß der Musterpräsentation gelernt ist.