DE69013325T2

DE69013325T2 - Datenverarbeitungsvorrichtung mit neuronalem Netzwerk und Verfahren zum adaptiven Lernen.

Info

Publication number: DE69013325T2
Application number: DE69013325T
Authority: DE
Inventors: Shinta Kimura; Yukiko Yamaguchi
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-12-20
Filing date: 1990-12-20
Publication date: 1995-05-24
Anticipated expiration: 2010-12-21
Also published as: EP0442120A3; DE69013325D1; US5239618A; EP0442120B1; JP3168204B2; EP0442120A2; JPH03189858A

Description

Die vorliegende Erfindung betrifft eine Datenverarbeitungsvorrichtung mit neuronalem Netzwerkaufbau zum Ausführen einer adaptiven Datenverarbeitung in Übereinstimmung mit einer Datenumwandlungsverarbeitungsfunktion eines Netzwerkaufbaus und ein Lernverarbeitungsverfahren zum Lernen eines Gewichtungswerts des Netzwerkaufbaus und insbesondere eine Datenverarbeitungsvorrichtung mit Netzwerkaufbau, die in der Lage ist, analoge Daten zu verarbeiten, und ein Lernverarbeitungsverfahren zum Ausführen eines Lernens eines Gewichtungswerts des Netzwerkaufbaus mit einer hohen Geschwindigkeit.
Die herkömmlichen sequentiell arbeitenden Computer (Neumann Computer) können ihre Datenverarbeitungsfunktion nicht entsprechend Veränderungen der Benutzungsverfahren bzw. der Umgebung einstellen. Daher wurde neuerdings im Gebiet der Mustererkennung und beispielsweise der adaptiven Filterung eine Datenverarbeitungsvorrichtung mit adaptiven Fähigkeiten zusammen mit einem Parallelverarbeitungssystem, das ein Schichtnetzwerk benutzt, vorgeschlagen. Ein Datenverarbeitungsgerät mit einem neuronalen Netzwerkaufbau benötigt einen Gewichtungswert des Netzwerkaufbaus, der die Datenverarbeitungsfunktion definiert, der mittels einer Lernverarbeitung gewonnen wird. Ein Lernverarbeitungsverfahren, das Rück-Fortpflanzungsverfahren (engl.: back propagation) (D.E. Rumelhart, G.E. Hinton, und R.J. Williams, "Learning Internal Representations by Error Propagation", PARALLEL DISTRIBUTED PROCESSING; Vol. 1, Seiten 318-364, The MIT Press, 1986) nennt, ist aufgrund seiner hohen praktischen Bedeutung erwähnenswert.
Eine Datenverarbeitungsvorrichtung mit einem Schichtnetzwerkbau bildet ein Schichtnetzwerk, das einen Knoten, der Basiseinheit genannt wird, und eine innere Verbindung mit einem Gewichtungswert, der einem inneren Zustandswert entspricht, umfaßt. Fig. 1 zeigt einen Basisaufbau einer Basiseinheit 1. Die Basiseinheit 1 weist ein System mit mehreren Eingängen und einem Ausgang auf und ist mit einer Multiplikations-Verarbeitungseinheit 2 zum Multiplizieren mehrerer Eingangssignale mit den jeweiligen Gewichtungswerten einer inneren Verbindung versehen; eine Akkumulator-Verarbeitungseinheit 3 zum Addieren aller Ergebnisse der Multiplikationen, beispielsweise aller Produkte; und eine Schwellenwert-Verarbeitungseinheit 4 zur Anwendung einer nicht-linearen Schwellenwert-Verarbeitung auf den akkumulierten Wert und zur Ausgabe eines Endausgangssignals. Viele derart aufgebauten Basiseinheiten 1 sind schichtweise verbunden, um ein Schichtnetzwerk, wie in Fig. 2 gezeigt, zu bilden, indem eine Eingangsschicht durch Eingangseinheiten 1' zur Verteilung eines Eingangssignalswertes ausgebildet sind und indem eine Datenverarbeitungsfunktion, die ein Eingangsmuster (Eingangssignal) in ein Ausgangssignal (Ausgangsmuster) umwandelt, ausführt.
Für ein solches Schichtnetzwerk bestimmt das Rück-Fortpflanzungsverfahren den Gewichtungswert der inneren Verbindung im Schichtnetzwerk in Übereinstimmung mit einem bestimmten Lernalgorithmus, so daß das Ausgangsmuster, das von dem Schichtnetzwerk abhängig von dem zum Lernen vorbereiteten Eingangsmuster ausgegeben wird, ein gewünschtes Muster (gewünschtes Signal) bildet. Wenn der Gewichtungswert durch dieses Verfahren bestimmt wird, kann das Schichtnetzwerk ein geeignetes Ausgangssignal erzeugen, selbst wenn ein Eingangssignal, das nicht in Form des Lernens erwartet wird, eingegeben wird. Somit wird eine flexible Datenverarbeitungsfunktion realisiert.
Um eine derart aufgebaute Datenverarbeitungsvorrichtung mit Netzwerkstruktur praktikabel zu machen, ist es notwendig, daß es die Ausgangsmuster des analogen Pegels verarbeitet, um in kurzer Zeit das Lernen des Gewichtungswerts zu realisieren, und um zu ermöglichen, daß ein Ausgangsmuster des analogen Ausgangspegels gewonnen wird.
Eine Datenverarbeitungsvorrichtung mit einem Schichtnetzwerkaufbau ermöglicht der Akkumulatorverarbeitungseinheit 3 der Basiseinheit 1, die Arithmetikoperation, die durch die Gleichung (1) gezeigt wird, auszuführen, und der Schwellenwertverarbeitungseinheit 4 die durch die Gleichung (2) gezeigte Arithmetikoperation auszuführen, wobei die h-Schicht eine Vorstufenschicht und die i-Schicht eine Nachstufenschicht kennzeichnen.
y pi = 1/(1 + exp ( - x pi + θ i )) (2)
Mit h: Einheiten-Nummer einer h-Schicht,
i: Einheiten-Nummer einer i-Schicht,
p: Muster-Nummer eines Eingangssignals,
θi: Schwellenwert einer i-ten Einheit einer i-Schicht,
Wih: Gewichtung einer inneren Verbindung zwischen h- und i-Schichten,
Xpi: Produktsummenwert für das Eingangssignal von den jeweiligen Einheiten der h-Schicht in die i-te Einheit in der i-Schicht und entsprechend einem Eingangssignal der p-ten Muster,
yph Ausgangssignal von der h-ten Einheit der h-Schicht in Antwort auf ein Eingangssignal des p-ten Musters,
ypi: Ausgangssignal von der i-ten Einheit in der i-Schicht in Antwort auf ein Eingangssignal des p-ten Musters.
Das Rück-Fortpflanzungsverfähren lernt den Gewichtungswert Wih und den Schwellenwert θi über eine automatische adaptive Einstellung, indem der Fehler rückgekoppelt wird. Es ist notwendig, eine Einstellung der Gewichtung Wih und des Schwellenwerts θi durchzuführen. Die Einstellung ist ein schwieriger Vorgang, da die Gewichtung und der Schwellenwert sich gegenseitig beeinflussen, wie es aus den Gleichungen (1) und (2) deutlich hervorgeht. Wie in einer früheren japanischen Patentanmeldung Nr. sho62-333484, die am 28. Dezember 19987 eingereicht wurde und den Titel "Network Structure Data Processing Apparatus" trägt, offenbart ist, ist dort eine Basiseinheit zur standigen Ausgabe einer "1" und der Zuordnung eines Schwellenwerts θi an das Ausgangssignal "1" als Gewichtung in der h-Schicht auf der Eingangsseite vorgesehen. Somit wird der Schwellenwert θi in die Gewichtung Wih eingebracht und der Schwellenwert θi als Gewichtung behandelt.
Somit können die zuvor genannten Gleichungen (1) und (2) in folgender Weise ausgedrückt werden.
y pi = 1 / (1 + exp (- x pi)) (4)
Nachfolgend wird die Lernverarbeitung eines Gewichtungswerts durch ein Rück-Fortpflanzungsverfahren nach dem Stand der Technik in Übereinstimmung mit den Gleichungen (3) und (4) erläutert. Die Erläuterung erfolgt durch Benutzung eines Schichtnetzwerks eines dreischichtigen Aufbaus, der eine h-Schicht, i-Schicht, j-Schicht, wie in Fig. 2 gezeigt, umfaßt.
Der folgende Ausdruck wird durch die zuvor genannten Gleichungen (3) und (4) erhalten.
ypj = 1/(1 + exp (- x pj)) (6)
Mit j: Einheiten-Nummer der j-Schicht,
Wji: Gewichtungswert einer inneren Verbindung zwischen i-j-Schichten,
Xpj: Produktsumme von Eingangssignalen von jeweiligen Einheiten in der i-Schicht in die j-te Einheit der j-Schicht in Antwort auf ein Eingangssignal des p-ten Musters, und
ypj: Ausgangssignal von der j-ten Einheit der j-Schicht in Antwort auf das p-te Muster eines Eingangssignals.
Das Rück-Fortpflanzungsverfahren berechnet eine Fehlervektorkomponente Ep einer Summe des Quadrats eines Fehlers zwischen einem Ausgangsmuster von der Eingangsschicht und dem gewünschten Muster, an das sich das Ausgangsmuster angleicht, entsprechend der folgenden Gleichung (7), und berechnet eine Gesamtsumme der Fehlervektorkomponente Ep als einen Fehler der Datenverarbeitungsfunktion in Übereinstimmung mit der folgenden Gleichung (8).
Mit Ep: Fehlervektorkomponente in der Datenverarbeitungsfunktion auf ein Eingangssignal eines p-ten Musters,
E: Gesamtsumme einer Fehlervektorkomponente in der Datenverarbeitungsfunktion auf ein Eingangssignal mit allen Mustern,
dpj: gewünschtes Signal der j-ten Einheit einer j-Schicht in der Datenverarbeitungsfunktion auf ein Eingangssignal eines p-ten Musters.
Um eine Beziehung zwischen einer Fehlervektorkomponente Ep und einem Ausgangssignal ypj von der j-ten Schicht zu gewinnen, wird die Gleichung (7) bezüglich Ypj partiell differenziert
Des weiteren wird, um eine Beziehung zwischen einer Fehlervektorkomponente Ep und einem Eingangssignal xpj der j-Schicht zu gewinnen, die Fehlervektorkomponente Ep partiell differenziert bezüglich Xpj
Um eine Beziehung zwischen der Fehlervektorkomponente Ep und der Gewichtung Wji zwischen den i-j-Schichten zu gewinnen, wird die Fehlervektorkomponente Ep partiell differenziert bezüglich Wji, wobei die folgende Gleichung erhalten wird, wodurch die durch eine Produktsumme ausgedrückte Lösung geliefert wird,
wobei αpj wie folgt definiert ist.
αpj = - δ pj y pj ( 1 - y pj )
= (dpj - ypj) [y pj (1 - y pj ) ]
(10)
"αpj" wird als Aktualisierungs-Koeffizient und "[ypj(1-ypj)]" des ersten Aktualisierungs-Koeffizienten als Fehler-Fortpflanzungskoeffizienten bezeichnet.
Die Änderung der Fehlervektorkomponente Ep bezüglich des Ausgangssignals ypi der i-Schicht wird wie folgt gewonnen.
Des weiteren wird die Veränderung oder Reaktion einer Fehlervektorkomponente Ep hinsichtlich der Änderung der Gesamtsumme von Xpi, die der i-Schicht eingegeben wird, wie folgt berechnet. Anschließend wird die folgende Veränderung, die in Form einer Produktsumme ausgedrückt ist, erhalten.
Das Verhältnis einer Veränderung einer Fehlervektorkomponente Ep zu einer Veränderung eines Gewichtungswerts Wih zwischen den h-i-Schichten wird wie folgt gewonnen. Das Ergebnis wird durch die folgenden Produktsummen ausgedrückt.
Wobei βpi wie folgt definiert ist.
"βpi" wird als zweiter Aktualisierungs-Koeffizient bezeichnet.
Das Verhältnis zwischen dem Fehlerkode E des Schichtnetzwerks und dem Gewichtungswert Wji zwischen i-j-Schichten wird bezüglich aller Eingangsmuster wie folgt erhalten, basierend auf der Gleichung (9),
Das Verhältnis zwischen dem Fehlerkode E des Schichtnetzwerks und dem Gewichtungswert Wih zwischen den h-i-Schichten wird mit Bezug auf alle Eingangsmuster wie folgt basierend auf der Gleichung (11) geliefert.
Die Gleichungen (13) und (14) bezeichnen ein Änderungsverhältnis des Fehlers E der Datenverarbeitungsfunktion des Schichtnetzwerks mit Bezug auf die Veränderung der Gewichtung in jeweiligen Schichten. Falls die Gewichtungso verändert wird, daß der zuvor genannte Wert ständig negativ ist, kann der Fehler E des Schichtnetzwerks allmählich auf 0 gebracht werden entsprechend einem bekannten Gradienten-Verfahren.
Gemäß des Rück-Fortpflanzungsverfahrens werden zunächst der erste Aktualisierungs-Koeffizient αpj und der zweite Aktualisierungs-Koeffizient βpi gemäß den Gleichungen (10) und (12) berechnet.
Zweitens werden die Aktualisierungsgrößen ΔWji und ΔWih des Gewichtungswerts für einen Aktualisierungszyklus berechnet entsprechend den folgenden Gleichungen (15) und (16), wobei die berechneten Werte αpj und βpi verwendet werden.
In den zuvor genannten Gleichungen ist &epsi; (> 0) eine Lernkonstante.
Danach wird der folgende Gewichtungswert für den nächsten Aktualisierungszyklus bestimmt gemaß der Aktualisierungsgröße, die wie gezeigt berechnet wird,
W ji (t) = W ji (t - 1) + Δ W ji (t)
W jh (t) = W jh (t - 1) + Δ W jh (t)
wobei t die Anzahl der Lernschritte ist. Somit werden durch Wiederholung des vorgenannten Verfahrens die Gewichtungswerte Wji und Wih, die den Fehler E des Schichtnetzwerks auf einen minimalen Wert bringen, gelernt.
Um den Fehler E schneller auf seinen minimalen Wert konvergieren zu lassen, umfaßt das Rück-Fortpflanzungsverfahren des weiteren eine Aktualisierungsregel, bei der ein Datenfaktor, der sich auf die Aktualisierungsgröße des Gewichtungswerts, der im vorausgehenden Aktualisierungszyklus bestimmt wurde, bezieht, auf die Aktualisierungsgröße addiert wird, die entsprechend den Gleichungen (15) und (16), wie in den folgenden Ausdrücken gezeigt berechnet wird.
Wobei (> 0) ein Momentum ist.
Der Ausgangssignalwert Ypj, der von der Basiseinheit 1 in der Ausgangsschicht ausgegeben wird, wird als folgende Schwellenwertfünktion geliefert, wie sie in der zuvor genannten Gleichung (6) erläutert wurde, und stellt die Eingangs- und die Ausgangscharakteristiken, die in Fig. 3 gezeigt sind, dar.
y pj = 1/(1 + exp (- xpj))
Wie aus der Fig. 3 ersichtlich, erhält der Ausgangssignalwert ypj einen Wert zwischen "1" und "0" und liefert die Werte, die sich von dem Wert "1" und "0" im Bereich, der jenem Bereich benachbart ist, bei dem der Eingangssignalwert Xpj "0" ist, unterscheiden. Der Ausgangssignalwert Ypj wird linear hinsichtlich des Eingangssignalswerts Xpj in dem benachbarten Gebiet.
Deshalb kann die herkömmliche Datenverarbeitungsvorrichtung mit Netzwerkaufbau das Lernen des Gewichtungswerts des Netzwerkaufbaus mit Hilfe des Rück-Fortpflanzungsverfahrens mit ausreichender Genauigkeit bezüglich der Datenverarbeitung ausführen, die Ausgangsmuster verarbeiten, deren Ausgangswerte einen binären Pegel von "1" oder "0" als Verarbeitungsobjekt aufweisen. Das Rück-Fortpflanzungsverfahren nach dem Stand der Technik kann jedoch nicht das Lernen des Gewichtungswerts des Netzwerkaufbaus mit ausreichender Genauigkeit bezüglich der Datenverarbeitung ausführen, die Ausgangsmuster verarbeitet, deren Ausgangswerte einen diskreten analogen Pegel zwischen "1" und "0" liefern. Deshalb kann die herkömmliche Datenverarbeitungsvorrichtung mit Netzwerkaufbau keine hohe Genauigkeit hinsichtlich der Datenverarbeitung erzielen, deren Ausgangswert einen analogen Pegel annimmt.
Des weiteren tritt bei dem Verarbeitungsverfahren, bei dem die Gewichtung durch das herkömmliche Rück-Fortpflanzungsverfahren gelernt wird, das Problem auf, daß die Lerngeschwindigkeit des Gewichtungswerts stark verringert wird in der Datenverarbeitung, bei der der Hauptteil der gewünschten Werte des gewünschten Musters zum Lernen "0" ist, nämlich die unteren Grenzwerte des Ausgangssignals von der Schwellenwertfunktion. Eine geringe Anzahl von gewünschten Werten liefen einen analogen Pegel zwischen "1" und "0", wie dies in einem Klassifikationsverfähren ersichtlich ist, bei dem ein Wahrscheinlichkeitswert als spezifischer Wert behandelt wird. Das Rück-Fortpflanzungsverfahren bestimmt nämlich die Aktualisierungsgröße des Gewichtungswerts durch die zuvor genannten Gleichungen (15) und (16) (oder die Gleichungen (15') und (16')) und es sorgt dafür, daß die Aktualisierungsgröße des Gewichtungswerts von den Daten beherrscht wird, die sich auf den gewünschten Wert "0" beziehen, sofern angenommen wird, daß das Ausgangsmuster des gewünschten Musters eine Dimension besitzt (was bedeutet, daß die Anzahl der Basiseinheiten in der Ausgangsschicht 1 ist) und die Anzahl der Ausgangsmuster 400 ist und eine Mehrheit der 400 gewünschten Werte "0" ist. Das führt dazu, daß die Daten, die sich auf den von "0" unterschiedlichen Werte beziehen, "verdünnt" werden. Deshalb ergibt sich das Problem, daß das Ausgangsmuster für das Eingangsmuster, das den von "0" unterschiedlichen gewünschten Wert erzeugt, Schwierigkeiten hinsichtlich der Konvergenz des gewünschten Werts aufwirft. Dieses Problem tritt ebenfalls auf, wenn eine Mehrheit von gewünschten Signalen "1" ist, nämlich der obere Grenzwert, der von der Schwellenwertfunktion ausgegeben wird.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Datenverarbeitungsvorrichtung mit einem neuronalen Netzwerkaufbau vorzusehen, die den Analogpegel verarbeiten kann, und ein Lernverarbeitungsverfahren vorzusehen, mit dessen Hilfe die Gewichtung des Netzwerkaufbaus mit einer hohen Geschwindigkeit erlernbar ist.
Die Lösung wird durch die Merkmale, wie sie in den unabhängigen Ansprüchen definiert sind, erreicht,
Fig. 1 zeigt einen Basisaufbau einer Basiseinheit,
Fig. 2 zeigt einen Basisaufbau einer Schichtnetzwerkeinheit,
Fig. 3 dient zur Erläuterung einer Eingangs- und einer Ausgangscharakteristik einer Schwellenwertfunktion,
Fig. 4A zeigt einen prinzipiellen Aufbau eines ersten Ausführungsbeispiels,
Fig. 4B zeigt einen im ersten Ausführungsbeispiel benutzten Begrenzer,
Fig. 5 zeigt exemplarisch einen Fehler-Fortpflanzungskoeffizienten,
Fig. 6A zeigt einen prinzipiellen Aufbau eines zweiten Ausführungsbeispiels,
Fig. 6B zeigt einen in dem zweiten Ausführungsbeispiel benutzten Begrenzer
Fig. 7 dient zur Erläuterung eines linearen Gebiets einer sigmoiden Funktion, die vom zweiten Ausführungsbeispiel benutzt wird,
Fig. 8 dient zur Erläuterung eines Fehler-Fortpflanzungskoeffizienten, der als konstanter Wert bestimmt wird,
Fig. 9A und 9B zeigen ein Flußdiagramm zur Ausführung des ersten und des zweiten Ausführungsbeispiels der vorliegenden Erfindung,
Fig. 10A und 10B dienen zur Erläuterung eines zur Simulation benutzten gewünschten Musters,
Fig. 11 zeigt ein Diagramm zur Erläuterung der Simulationsdaten,
Fig. 12 zeigt ein anderes Diagramm zur Erläuterung der Simulationsdaten, und
Fig. 13 zeigt ein weiteres Diagramm zur Erläuterung der Simulationsdaten.
Fig. 4A zeigt einen prinzipiellen Aufbau des ersten Ausführungsbeispiels, bei dem eine lineare Funktion in der Basiseinheit 1 in der Ausgangsschicht des linearen Netzwerkes angewendet wird. Die Bezugsziffer 10 bezeichnet eine Datenverarbeitungsvorrichtung mit Netzwerkaufbau, die das vorliegende Ausführungsbeispiel bildet, und die eine Unterscheidungsverarbeitung eines analogen Signals beherrscht. Die Bezugsziffer 11a bezeichnet eine Schichtnetzwerkeinheit des ersten Ausführungsbeispiels, die ein Ausgangsmuster entsprechend einem Eingangsmuster berechnet in Übereinstimmung mit einer Datenumwandlungsfunktion, die durch den inneren Zustandswert des Netzwerkaufbaus definiert ist. Bezugsziffer 12 bezeichnet eine Speichereinheit zur Speicherung eines inneren Zustandswerts, die einen inneren Zustandswert verwaltet, der notwendig ist, wenn die Schichtnetzwerkeinheit 11a den Datenumwandlungsprozeß ausführt, 13 bezeichnet den Begrenzer zur Begrenzung des Ausgangswerts, der von der Schichtnetzwerkeinheit 11a ausgegeben wird, durch den oberen und den unteren Grenzwert des gewünschten Werts des gewünschten Musters.
Die Schichtnetzwerkeinheit 11a des ersten Ausführungsbeispiels umfaßt eine Eingangsschicht, die aus mehreren Eingangseinheiten 1'-h gebildet ist, um das Eingangsmuster zu empfangen und anschließend das Ausgangssignal zu erzeugen. Die Schichtnetzwerkeinheit umfaßt eine oder mehrere Stufen der Zwischenschichten, die mehrere Basiseinheiten 1-i zum Empfang mehrerer Eingangssignale und innerer Zustandswerte (Gewichtungswerte) aufweisen, die mit diesen Eingangssignalen multipliziert werden sollen, um eine Produktsumme zu liefern und um den erhaltenen Produktsummenwert umzuwandeln, indem eine Schwellenwertfunktion benutzt wird. Damit wird das Endausgangssignal erzeugt. Sie umfaßt ebenfalls eine Ausgangsschicht, die aus einer oder mehreren Basiseinheiten 1-j gebildet ist, um mehrere Eingangssignale und innere Zustandswerte, die mit diesen Eingangssignalen multipliziert werden sollen, zu empfangen, um die Produktsumme zu erhalten und um diesen Produktsummenwert, der durch eine lineare Funktion gewonnen wurde, umzuwandeln. Damit wird das Endausgangssignal geliefert. Eine Verbindung wird zwischen der Eingangseinheit 1'-h und der Basiseinheit 1-i hergestellt, zwischen den Zwischenschichten und zwischen der Basiseinheit 1-i und der Basiseinheit 1-j. Damit wird ein Schichtnetzwerkaufbau realisiert in Übereinstimmung mit dem inneren Zustandswert, der abhängig von jeder Verbindung bestimmt ist.
Bezugsziffer 20 bezeichnet eine Lernverarbeitungsvorrichtung, die das vorliegende Ausführungsbeispiel bildet, um das Lernen eines inneren Zustandswerts einer Schichtnetzwerkeinheit mit hoher Geschwindigkeit auszuführen in Übereinstimmung mit einem Rück-Fortpflanzungsverfahren, 21 bezeichnet eine Lernmusterspeichereinheit zum Speichern eines Lernmusters, das zum Lernen eines inneren Zustandswerts notwendig ist, 22 bezeichnet eine Lernmusterübergabeeinheit zum Auslesen einer Gruppe von Lernmustern eines Lernsubjekts aus der Lernmusterspeichereinheit 21, zum Übergeben der Gruppe von Eingangsmustern an die Schichtnetzwerkeinheit 11a und zum Übergeben einer Gruppe von gewünschten Mustern an die Aktualisierungs-Koeffizienten-Berechnungseinheit 23. Die Aktualisierungs-Koeffizienten-Berechnungseinheit 23 benutzt einen Fehler-Fortpflanzungskoeffizienten, der als ein konstanter Wert bestimmt ist, berechnet den ersten Aktualisierungs-Koeffizienten αpj entsprechend der Gleichung (10) und berechnet den zweiten Aktualisierungs-Koeffizienten βpi entsprechend der zuvor genannten Gleichung (12), indem der berechnete erste Aktualisierungs-Koeffizient αpj benutzt wird, beispielsweise in dem dreischichtigen Netzwerkaufbau. 24 bezeichnet eine Lernvervollständigungs-Beurteilungseinheit, die in der Aktualisierungs-Koeffizienten-Berechnungseinheit 23 vorgesehen ist. Diese Einheit zur Beurteilung des Lernabschlusses 24 erfaßt das Ende des Lernens des inneren Zustandswerts, in dem erkannt wird, daß das Ausgangsmuster ypj von der Schichtnetzwerkeinheit 11a in ein gewünschtes Muster dpj umgewandelt wurde. 25 bezeichnet eine Aktualisierungsgröße-Berechnungseinheit zum Berechnen einer Aktualisierungsgröße eines inneren Zustandseingangswerts entsprechend den Ausdrücken (15) und (16), 26 ist eine innere Zustandswert-Aktualisierungseinheit zum Aktualisieren des inneren Zustandswerts der inneren Zustandswertspeichereinheit 12 in Übereinstimmung mit einer Aktualisierungsgröße, die von der Aktualisierungsgröße-Berechnungseinheit 25 berechnet wurde.
Im ersten Ausführungsbeispiel erfolgt die Konfiguration so, daß die Basiseinheit 1-j der Ausgangsschicht das Ausgangsmuster Ypj entsprechend der Gleichung (6) nicht berechnet
y pj = 1 / (1 + exp ( - x pj))
mit
sondern berechnet es entsprechend einer Gleichung zur Definition der folgenden linearen Umwandlungsverarbeitung, wodurch das Ausgangsmuster ypj erzeugt wird.
wobei k ein konstanter Wert ist.
Diese Konfiguration erzeugt lineare Ausgangssignale zwischen dem oberen Grenzwert "1" und dem unterem Grenzwert "0", (oder es könnte jede Zahl sein abhängig vom Koeffizienten). Somit kann der innere Zustandswert mit ausreichender Genauigkeit mit dem Rück-Fortpflanzungsverfahren gelernt werden. Demgemäß können Daten der analogen Werte, die sich von den Ausgangssignalen "1" oder "0" unterscheiden, verarbeitet werden, so daß der analoge Ausgangswert auf eine Linie gebracht wird, die durch die zuvor genannte lineare Funktion bestimmt ist. Wenn das Eingangsmuster für die Datenverarbeitung eingegeben wird, kann mit dieser Konfiguration dann ein Problem auftreten, wenn der Ausgangswert des Ausgangsmusters Ypj aus dem durch die oberen und unteren Grenzen des gewünschten Werts des gewünschten Musters gesteckten Rahmen herausfällt und mehr als 1 oder weniger als 0 wird. Um dem entgegenzutreten, führt der Begrenzer 13 eine Verarbeitung aus, derart, daß jeder Ausgangswert des Ausgangsmusters ypj in den durch den oberen und unteren Grenzwert des gewünschten Musters gesetzten Rahmen fällt.
Falls durch Anwendung eines Rück-Fortpflanzungsverfahrens gelernt wird, befinden sich die Werte der Fehler-Fortpflanzungskoeffizienten [ypj(1-ypj)], die die Größe der ersten und zweiten Aktualisierungskoeffizienten αpj und βpi definieren, auf der in Fig. 5 gezeigten Hyperbel. Die Tatsache, daß der Wert des Fehler-Fortpflanzungskoeffizienten auf einer Hyperbel liegt, bedeutet, daß der innere Zustandswert mit unterschiedlicher Geschwindigkeit gelernt wird abhängig von dem Analogwert des gewünschten Werts, falls Analogpegelwerte verarbeitet werden. D.h., daß in dem Bereich, in dem der Wert des Ausgangsmuster ypj in Fig. 5 nahe "1" oder "0" ist, der Differenzwert der Schwellenwertfunktion (beispielsweise eine Sigmoidfunktion) klein ist, womit eine Fehler-Fortpflanzungsgröße, beispielsweise die Gewichtungs-Aktualisierungsgröße, klein wird. Dies führt zu einer langen Berechnungszeit einer Lernoperation. Wenn des weiteren die lineare Funktion anstelle der Schwellenwertfunktion im vorliegenden Ausführungsbeispiel benutzt wird, wird ypj größer als 1 oder kleiner als 0. Somit wird der Fehler-Fortpflanzungskoeffizient ypj (1-ypj) negativ, wie in Fig. 5 gezeigt.
Um dieses Problem zu überwinden, setzt die Aktualisierungs-Koeffizienten- Berechnungseinheit 23 den Wert des Fehler-Fortpflanzungskoeffizienten auf einen positiven konstanten Wert, der in etwa dem Mittelwert entspricht, falls die Basiseinheit 1-j der Ausgangsschicht eine Schwellenwertfunktion benutzt, und berechnet den ersten Aktualisierungs-Koeffizienten αpj, der dann dazu benutzt wird, den zweiten Aktualisierungs- Koeffizienten βpj zu berechnen. Mit einer solchen Konfiguration führt die Lernverarbeitungsvorrichtung 20 ein Lernen des inneren Zustandswerts für einen Analogpegelwert zwischen "1" und "0" mit einer gleichmäßigen Geschwindigkeit aus. Somit kann das Lernen eines inneren Zustandswerts mit einer hohen Geschwindigkeit durchgeführt werden, ohne durch die gewünschten Werte "1" und "0" beeinflußt zu werden. Der Fehler-Fortpflanzungskoeffizient kann positiv oder negativ eingestellt werden, falls die lineare Funktion benutzt wird. Er wird auf eine positive Konstante (beispielsweise 1/6) gesetzt, wie es später mit Bezug auf die Fig. 8 weiter erläutert wird. Damit kann das Problem, daß der Wert des Fehler-Fortpflanzungskoeffizienten negativ wird (Bereich über "1" und unter "0" in Fig. 5), vermieden werden, obwohl eine lineare Funktion benutzt wird. Dieses Problem tritt nicht auf, wenn die Schwellenwertfunktion benutzt wird. D.h. in anderen Worten, daß der Fehler-Fortpflanzungskoeffizient (ein Gradient einer Linie) positiv eingestellt wird, wenn die lineare Funktion benutzt wird, in gleicher Weise, wie er immer positiv eingestellt wird, wenn die Schwellenwertfunktion benutzt wird.
Wie beschrieben, besitzt das in Fig. 4A gezeigte Ausführungsbeispiel einen Aufbau, derart, daß die Umwandlungsfunktion des Eingangs und des Ausgangs der Basiseinheit 1-j der Ausgangsschicht des Schichtnetzwerks eine lineare Funktion benutzt anstelle der herkömmlichen Schwellenwertfunktion. D.h., daß die Basiseinheit 1-j in der Ausgangsschicht konfiguriert ist, um das Ausgangsmuster ypj zu berechnen und auszugeben entsprechend der Gleichung
dessen Konfiguration den Wert des Ausgangsmusters Ypj linear macht und ein genaues Lernen eines Gewichtungswert erlaubt, selbst wenn der gewünschte Wert ein Analogwert ist. Somit kann eine hochgenaue Datenverarbeitung ausgeführt werden, selbst wenn der Ausgangswert ein Analogwert ist.
Fig. 4B zeigt den Betrieb eines Begrenzers 13 in dem ersten Ausführungsbeispiel. Ein Ausgangssignal der Schichtnetzwerkeinheit 11a und "0" werden dem Maximalwert-Detektor 13-1 eingegeben. Falls das Ausgangssignal des Schichtnetzwerks 11a kleiner ist als "0", wird von dem Maximalwert-Detektor 13-1 "0" ausgegeben. Ein Ausgangssignal der Schichtnetzwerkeinheit 11a und "1" werden dem Minimalwert-Detektor 13-2 eingegeben. Falls das Ausgangssignal des Schichtnetzwerks 11a größer ist als "1", gibt der Minimalwert-Detektor 13-2 "1" aus. Somit erzeugt der Begrenzer 13 das Ausgangssignal zwischen der oberen Grenze 1 und der unteren Grenze 0.
Fig. 6A zeigt einen prinzipiellen Aufbau des zweiten Ausführungsbeispiels, in dem ein linearer Bereich der Schwellenwertfunktion (beispielsweise eine Sigmoidfunktion) der Basiseinheit 1 der Ausgangsschicht in dem Schichtnetzwerk benutzt wird. Die gleichen Teile, wie sie in Fig. 4 gezeigt sind, werden durch die gleichen Bezugszeichen bezeichnet. 11b bezeichnet eine Schichtnetzwerkeinheit des zweiten Ausführungsbeispiels und umfaßt einen Schichtnetzwerkaufbau und berechnet das Ausgangsmuster entsprechend dem Eingangsmuster in Übereinstimmung mit der Datenumwandlungsfunktion, die durch den Schichtnetzwerkaufbau bestimmt ist, und dem inneren Zustandswert des Aufbaus, wodurch das Ausgangssignal gewonnen wird. 14 bezeichnet einen Begrenzer zum Begrenzen des Ausgangswerts, der von der Schichtnetzwerkeinheit 11b ausgegeben wird, durch die oberen und unteren Grenzwerte des gewünschten Werts, der in einen gewünschten Bereichswert (d.h. einen Wert zwischen 0,8 und 0,2) umgewandelt wird. 15 bezeichnet eine Wertebereich-Wiederherstellungseinheit zum Umwandeln des Ausgangswerts des Begrenzers 14 auf einen ursprünglichen Wertebereich (nämlich 1 bis 0) des gewünschten Werts, der vor der Umwandlung gewonnen wurde. In der Schichtnetzwerkeinheit 11a des zweiten Ausführungsbeispiels wandelt die Basiseinheit 1-j in der Ausgangsschicht die berechnete Produktsumme um, indem die Schwellenwertfunktion benutzt wird, und liefert dadurch das Endausgangssignal, im Gegensatz zu dem Schichtnetzwerk 11a des ersten Ausführungsbeispiels.
Die Ausgangsmuster-Wiederherstellungseinheit 15 wandelt den Ausgangswert y, der abhängig von dem umgewandelten gewünschten Wert x' (wird später beschrieben) ausgegeben wird, in den ursprünglichen Ausgangswert y' entsprechend der folgenden Gleichung um.
y' = (y - 0,2) / 0,6
Falls der Ausgangswert y "0,8" beträgt, ist deshalb beispielsweise der Ausgangswert y' der Ausgangsmuster-Wiederherstellungseinheit 15 "1". Falls beispielsweise der Ausgangswert y "0,2" beträgt, ist der Ausgangswert y' "0".
27 ist eine Wertebereich-Umwandlungseinheit zum Umwandeln des gewünschten Ausgangsmusterwerts, der von der Lernmusterübergabeeinheit 20 dargestellt wird, in den gewünschten Bereichswert (beispielsweise 0,8 - 0,2) in dem linearen Bereich der Schwellenwertfunktion, und zum Übergeben des bestimmten Bereichswerts an die Aktualisierungs-Koeffizienten Berechnungseinheit 23. Das zweite Ausführungsbeispiel führt ein Lernen des inneren Zustandswerts aus in Übereinstimmung mit dem gewünschten Muster mit dem gewünschten Wert (beispielsweise zwischen 0,8 und 0,2), der durch Umwandlung durch die Wertebereich-Umwandlungseinheit 27 gewonnen wird.
Die Wertebereich-Umwandlungseinheit 27 wandelt einen gewünschten Wert x zwischen 1,0 und 0 in einen gewünschten Wert x' zwischen 0,8 und 0,2 entsprechend der folgenden Gleichung um.
x' = (x 0,6) + 0,2
Falls der gewünschte Wert x "1" ist, beträgt deshalb das Ausgangssignal der Wertebereich-Umwandlungseinheit 27 "0,8". Falls der gewünschte Wert x "0" ist, beträgt das Ausgangssignal der Wertebereich-Umwandlungseinheit 27 "0,2".
Falls in dem in Fig. 6A gezeigten zweiten Ausführungsbeispiel eine Konfiguration erstellt wurde, derart, daß die Basiseinheit 1-j in der Ausgangsschicht das Ausgangsmuster ypj berechnet und ausgibt entsprechend der Schwellenwertfunktion, die Wertebereich-Umwandlungseinheit 27 einen gewünschten Wert im Bereich "1" bis "0" in einen Wert im Bereich "0,8" bis "0,2" umwandelt und das Lernen des inneren Zustandswerts basierend auf diesem umgewandelten Bereich ausgeführt wird. Das Berechnen des Ausgangsmusters ypj wird im linearen Bereich der Schwellenwertfünktion, die in Fig. 7 gezeigt ist, ausgeführt. Da das gewünschte Muster in dem Bereich 0,8 bis 0,2 liegt, steigt dann Möglichkeit, daß der lineare Bereich der Schwellenwertfunktion benutzt wird. Somit kann das Lernen des inneren Zustandswerts bezogen auf von "1" und "0" unterschiedliche Analogwerte mit ausreichender Genauigkeit ausgeführt werden. Die Datenverarbeitung eines solchen Analogpegelwerts kann durchgeführt werden. Wenn das Eingangsmuster für die Datenverarbeitung eingegeben wird, kann bei dieser Konfiguration das Problem auftreten, daß der Ausgangswert des Ausgangsmusters ypj größer als 0,8 oder kleiner als 0,2 wird. Um dem entgegenzutreten, wandelt die Wertebereich- Wiederherstellungseinheit 15 das Ausgangssignal des Begrenzers 14 in den ursprünglichen Wertebereich (zwischen 1,0 und 0) um, nachdem der Begrenzer 14 eine Verarbeitung ausgeführt hat, bei der jeder Ausgangswert in den durch den oberen und unteren Grenzwert (beispielsweise 0,8 und 0,2) beschränkten Bereich des gewünschten Werts fällt.
Wie in Fig. 6A erläutert, wird das gewünschte Muster auf Werte zwischen 0,8 und 0,2 begrenzt, wenn in diesem Ausführungsbeispiel die Schwellenwertfunktion als Umwandlungsfunktion für die Basiseinheit 1-j der Ausgangsschicht benutzt wird. Dies führt zum Ergebnis, daß nur der lineare Bereich der Schwellenwertfunktion konfigurationsmäßig benutzt wird. D.h., daß der Wert des Ausgangsmusters ypj auf einen Bereich zwischen "0,8" und "0,2" begrenzt wird, indem das Lernen des Gewichtungswerts ausgeführt wird, indem der Bereich des gewünschten Werts von "1,0" bis "0" in den Bereich "0,8" bis "0,2" umgewandelt wird. Bei der aktuellen Datenverarbeitung wird nur der lineare Bereich der Schwellenwertfunktion benutzt, indem der Wert des Ausgangsmusters ypj, das auf einen Bereich zwischen "0,8" und "0,2" begrenzt ist, in den ursprünglichen Wert "1" und "0" zurückgebracht wird. Da diese Konfiguration den Wert des Ausgangsmusters Ypj annähernd linear macht, selbst wenn der gewünschte Wert ein Analogwert ist, wird ein genaues Lernen des Gewichtungswerts möglich, womit die Datenverarbeitung des analogen Ausgangswerts exakt ausgeführt werden kann.
Fig. 6B zeigt die Betriebsweise des Begrerzers 14. Ein Ausgangssignal der Schichtnetzwerkeinheit 11a und "0" werden dem Maximalwert-Detektor 14-1 eingegeben. Wenn das Ausgangssignal des Schichtnetzwerks 11a kleiner ist als "0,2", wird vom Maximalwert-Detektor 14-1 "0,2" ausgegeben. Ein Ausgangssignal der Schichtnetzwerkeinheit 11b und "0,8" werden dem Minimalwert-Detektor 14-2 eingegeben. Wenn das Ausgangssignal des Schichtnetzwerks 11b größer ist als "0,8", wird "0,8" vom Minimalwert-Detektor 14-2 ausgegeben.
Um das Problem zu lösen, daß der Wert des Fehler-Fortpflanzungskoeffizienten entsprechend der Größe des Analogpegelwerts des gewünschten Werts schwankt, wird eine Konfiguration benötigt, derart, daß der Wert des Fehler-Fortpflanzungskoeffizienten [ypj(1-ypj)] in dem ersten und zweiten Ausführungsbeispiel der vorliegenden Erfindung konstant gemacht wird. Um die Konsistenz mit dem Lernen entsprechend dem herkömmlichen Rück-Fortpflanzungsverfahren aufrecht zu erhalten, wird die Konstante in etwa auf den gleichen Wert gesetzt, wie wenn die Basiseinheit 1-j in der Ausgangsschicht die Schwellenwertfunktion benutzt. Wie beispielsweise in Fig. 8 gezeigt, wird dieser konstante Wert auf den Mittelwert des Fehler-Fortpflanzungskoeffizienten [ypj(1-ypj)] gesetzt,
Wenn die Konstante auf diesen Wert gesetzt wird, wird der erste Aktualisierungsfaktor αpj, der durch die Gleichung (10) definiert ist, wie folgt ausgedrückt:
αpj = 1/6 (dpj - ypj) = 1/6 Epj
mit Epj = (dpj - ypj)
Wenn eine Datenverarbeitung eines Ausgangswerts eines Analogwerts in dieser Weise verarbeitet werden kann, treten weitere neue Probleme auf. Ein Problem beispielsweise besteht darin, daß das Lernen des Gewichtungswerts zu lange dauert hinsichtlich der Datenverarbeitung, bei der wenige gewünschte Werte des gewünschten Musters einen Analogpegel zwischen "1" und "0" einnehmen und eine Mehrheit der gewünschten Werte des gewünschten Musters die untere Grenze "0" annehmen, wie in der Verarbeitung der Bestimmung eines möglichen Werts als ein spezifischer Wert und der Klassifizierung des möglichen Werts. Wie bei der Beschreibung des Standes der Technik erläutert, bedeutet das in einem solchen Fall, daß die Daten bezüglich der gewünschten Werte, die sich von "0" unterscheiden, gelöscht werden oder verschwinden, da die Aktualisierungsgröße für den Gewichtungswert von den Daten bezüglich des gewünschten Werts "0" gesteuert wird, und das Lernen des von "0" unterschiedlichen gewünschten Werts nicht so leicht konvergiert.
Wenn eine Mehrheit der gewünschten Werte des gewünschten Musters entweder den oberen Grenzwert oder den unteren Grenzwert annehmen, verstärkt die Aktualisierungs-Koeffizienten-Berechnungseinheit 23 in dem ersten und zweiten Ausführungsbeispiel, um den zuvor genannten entgegenzutreten, den ersten Aktualisierungsfaktor αpj, indem der Fehlerwert, der von einer Minderheit der gewünschten Werte des gewünschten Musters und dem Ausgangswert des entsprechenden Ausgangsmusters berechnet wird, beispielsweise mit dem Faktor fünf verstarkt wird, um die Fehler-Fortpflanzung zu beschleunigen und somit auch die Aktualisierung des Gewichtungswerts. Da die Aktualisierungsgröße des inneren Zustandswerts für eine Minderheit der gewünschten Werte der oberen Grenze oder unteren Grenze durch diese Verstärkung groß gemacht wird, kann das Lernen des inneren Zustandswerts mit hoher Geschwindigkeit ausgeführt werden, ohne durch eine Mehrheit der gewünschten Werte des unteren Grenzwerts oder des oberen Grenzwerts beeinflußt zu werden.
Falls in dem ersten und zweiten Ausführungsbeispiel eine Mehrheit der gewünschten Werte des gewünschten Musters den unteren Grenzwert annehmen, beachtet die Aktualisierungs-Koeffizienten-Berechnungsheit 23 den ersten Aktualisierungs-Koeffizienten nicht, indem der Fehlerwert unbeachtet bleibt, wie für den Ausgangswert des Ausgangsmusters außerhalb der unteren Grenze. Falls des weiteren viele gewünschte Werte des gewünschten Musters den oberen Grenzwert annehmen, wie für den Ausgangswert außerhalb des oberen Grenzwerts, bleibt der erste Aktualisierungs-Koeffizient αpj unberücksichtigt, indem der Fehlerwert unberücksichtigt bleibt. Selbst wenn einige Werte außerhalb der oberen oder unteren Grenzwerte liegen, ergibt sich kein praktisches Problem, da in einer aktuellen Verarbeitung der Begrenzer 13 diese begrenzt. Da diese Verarbeitung diese Tatsache berücksichtigt, bleibt ein unnötiges Lernen erspart und das Lernen des inneren Zustandswerts kann mit einer höheren Geschwindigkeit ausgeführt werden.
Wie in dem Flußdiagramm der Fig. 9A gezeigt, führt diese Erfindung eine Verarbeitung aus, um den ersten Aktualisierungs-Koeffizienten αpj größer zu machen als den Momentanwert, indem Epj, das die Größe des ersten Aktualisierungs-Koeffizienten αpj definiert, mit N multipliziert wird, wenn der Wert des gewünschten Werts dpj "0" ist. Gemäß dieser Verarbeitung wird die Aktualisierungsgröße für die wenigen gewünschten Werte, die sich von "0" unterscheiden, groß. Somit wird eine Verzögerung des Lernens des Gewichtungswerts für den gewünschten Wert verhindert. Falls dann der gewünschte Wert dpj "0" ist und der Wert des Ausgangswerts Ypj negativ ist, wird der Wert Epj auf "0" gesetzt, um ein unnötiges Lernen zur Umkehrung nach "0" zu verhindern. Wenn mittlerweile der Wert des gewünschten Werts dpa "0" ist und der Wert des Ausgangswerts ypj positiv ist, wird die Verarbeitung ohne die Multiplikation von Epj mit diesem Koeffizienten ausgeführt. Gemäß dieser Verarbeitung kann das Problem der Verzögerung beim Lernen des Gewichtungsfaktors gelöst werden, das dann auftritt, wenn eine große Anzahl von gewünschten Werten den unteren Grenzwert "0" annimmt.
Falls im Gegensatz dazu eine Mehrheit der gewünschten Werte den oberen Grenzwert "1" annimmt, wird die Verarbeitung gemäß dem Flußdiagramm, das in Fig. 9B gezeigt ist, ausgeführt. Wenn eine Konfiguration so ausgestaltet ist, daß Analogpegel verarbeitet werden können, indem der Linearbereich der Schwellenwertfunktion benutzt wird, wird die Beurteilung, ob der gewünschte Wert dpj im Flußdiagramm der Fig.9A "0" ist, am unteren Grenzwert des linearen Bereichs ausgeführt. Die Beurteilung, ob der Lernwert dpj im Fig. 9B gezeigten Flußdiagramm "1" ist, wird am oberen Grenzwert des linearen Bereichs ausgeführt.
Anschließend wird, indem die in den Fig. 11 bis 13 gezeigten Simulationsergebnisse benutzt werden, erläutert, wie diese Erfindung die Verarbeitung der Analogwerte mit hoher Genauigkeit ausführt, und wie das Lernen des Gewichtungsfaktors mit hoher Geschwindigkeit ausgeführt werden kann. Diese Simulation benutzt eine Konfiguration eines Schichtnetzwerks, das eine Eingangsschicht von 20 Einheiten, eine Zwischenschicht von 10 Einheiten und eine Ausgangsschicht von 1 Einheit umfaßt. Die Einheit in der Ausgangsschicht führt die Eingangs-/Ausgangssignalumwandlung entsprechend der linearen Funktion aus und benutzt die Gleichungen (15') und (16') (wobei &epsi; = I und = 0,4). Der Wert des Fehler-Fortpflanzungskoeffizienten wird auf 1/6 gesetzt, wobei dem in Fig. 9A gezeigten Flußdiagramm (wobei N=5) gefolgt werden soll. Die 100 Muster, die in Fig. 10A und 10B gezeigt sind, werden für die gewünschten Muster benutzt. Nun wird die Interpretation der Fig. 10A und 10B erläutert. Für das zwanzigste gewünschte Muster mit den Werten s = 2, t = 20 und dpj = 1,00 wird beispielsweise der zweiten (der Wert von s ist beispielsweise 2) Einheit der zwanzig Einheiten der Eingangsschicht "1" eingegeben und der zwanzigsten Einheit (der Wert von t ist beispielsweise 20) der zwanzig Einheiten der Eingangsschicht "1" eingegeben. Allen anderen Einheiten der Eingangsschicht wird "0" eingegeben. Gleichzeitig beträgt der Ausgangswert der Einheit in der Ausgangsschicht "1", beispielsweise der gewünschte Wert. Wie aus dem in Fig. 10A und 10B gezeigten gewünschten Muster ersichtlich ist, sind die gewünschten Werte der gewünschten Muster, die in dieser Simulation verwendet werden, zumeist "0,00".
Die in Fig. 11 gezeigten Simulationsdaten sind Verläufe, die angeben, wie sich der Fehlerwert zwischen dem gewünschten Muster und dem Ausgangsmuster ändert, wenn das Lernen für diese Erfindung und für das herkömmliche Rück-Fortpflanzungsverfähren ausgeführt wird. Wie aus der Fig. 11 ersichtlich, wird bestätigt, daß diese Erfindung eine Konvergenz mit einem kleineren Fehlerwert als beim herkömmlichen Verfahren realisiert, und daß deshalb die Lernzeiten in großem Maße vermindert werden können.
Die in Fig. 12 gezeigten Simulationsdaten zeigen den Verlauf, der angibt, wie sich die Korrekturantwort- (definiert als Wert des Ausgangsmusters, nachdem das Eingangsmuster, das innerhalb [des gewünschten Werts ± 0.01] eingegeben wurde) Rate des Lernmusters ändert, wenn das Lernen für diese Erfindung und für das herkömmliche Rück-Fortpflanzungsverfahren ausgeführt wird. Wie aus der Fig. 12 ersichtlich, wird bestätigt, daß diese Erfindung eine höhere korrekte Antwortrate mit einer kleineren Lernzeit als beim herkömmlichen Verfahren realisiert.
Die in Fig. 13 gezeigten Simulationsdaten zeigen Kurven, die verdeutlichen, wie sich der Ausgangsmusterwert nach der Eingabe des zwanzigsten Eingangsmusters zum Lernen ändert entsprechend dem Fortschreiten des Lernens in Bezug auf die vorliegende Erfindung und das herkömmliche Rück-Fortpflanzungsverfahren. Wie aus der Fig. 13 ersichtlich, wird bestätigt, daß diese Erfindung eine schnellere Konvergenz auf den gewünschten Wert "1" realisiert, als beim herkömmlichen Verfahren.
Die in den Zeichnungen gezeigten bevorzugten Ausführungsbeispiele wurden erläutert, ohne jedoch diese Erfindung auf diese Ausführungsbeispiele zu beschränken. Diese Erfindung ist beispielsweise direkt bei der Erfindung zur Realisation einer Verarbeitung zum Lernen des Gewichtungswerts in kurzer Zeit anwendbar, indem das Rück-Fortpflanzungsverfahren in der Japanischen Patentanmeldung Nr. sho63-227825, eingereicht am 12. September 1988, mit dem Titel "the learning process method for a network-configuring data-processing device" verbessert wird.
Wie bereits erläutert, ermöglicht diese Erfindung eine anpaßbare Datenverarbeitungsvorrichtung mit Netzwerkaufbau, um eine Datenverarbeitung von Analogpegelausgangswerten mit einem hohen Grad an Genauigkeit auszuführen und das Lernen des Gewichtungsfaktors des Netzwerkaufbaus schnell durchzuführen.

Claims

1. Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau umfassend:

Basiseinheiten (1), wobei jede Einheit ein Eingangssignal oder mehrere Eingangssignale von einer Vorstufenschicht und einen inneren Zustandswert oder einen Gewichtungswert empfängt, die mit dem Eingangssignal oder den Eingangssignalen multipliziert werden, wodurch ein Produktsummen-Wert geliefert wird, wobei jede Einheit den Produktsummen-Wert umwandelt, indem eine bestimmte Definitionsfunktion benutzt wird , und wobei jede Einheit ein Endausgangssignal gewinnt, wobei die Einrichtung umfaßt:

eine Eingangsschicht zum Empfang eines Eingangsmusters;

eine oder mehrere Stufen von Zwischenschichten, die mehrere Basiseinheiten (l-i) aufweisen;

eine Ausgangsschicht mit einer oder mehreren Basiseinheiten (l-j);

eine Vorrichtung zum Ausbilden von inneren Verbindungen zwischen der Eingangsschicht und der Zwischenschicht in der frühsten Vorstufe, zwischen den Zwischenschichten und zwischen der Zwischenschicht der letzten Stufe und der Ausgangsschicht, wodurch eine Schicht-Netzwerkeinheit (11a; 11b) gebildet wird;

eine Lernprozeß-Vorrichtung (20) zum Berechnen einer Aktualisierungsgröße eines inneren Zustandswertes basierend auf einem Ausgangsmuster in Antwort auf einen Fehlerwert zwischen einem Ausgangsmuster, das ausgegeben wird in Antwort auf ein Eingangsmuster, das der Schicht-Netzwerkeinheit (11a; 11b) angeboten wird, und einem entsprechenden gewünschten Ausgangsmuster, und zum Ausführen eines Lernprozesses des inneren Zustandswertes, indem sequentiell der innere Zustandswert aktualisiert (26) wird in Übereinstimmung mit der Aktualisierungsgröße, wobei

jede Basiseinheit (l-i) in den Zwischenschichten eine Schwellwertfunktion als Definitionsfunktion benutzt,

dadurch gekennzeichnet, daß

jede Basiseinheit (l-j) in der Ausgangsschicht eine lineare Funktion ypj als Definitionsfunktion benutzt, um ein lineares Ausgangssignal zwischen einem oberen Grenzewert und einem unteren linearen Grenzwert zu erzeugen, und

jede Basiseinheit in der Ausgangsschicht umfaßt:

einen Begrenzer (13; 14) zum Begrenzen des Wert-Ausgangssignals durch die oberen und unteren Grenzwerte eines gewünschten Werts eines gewünschten Ausgangsmusters, und desweiteren gekennzeichnet durch eine Vorrichtung zum Einstellen eines Werts eines Fehler-Fortpflanzungskoeffizienten (ypj(i-ypj)) um die Aktualisierungsgröße des inneren Zustandswerts zu berechnen (25) als einen positiven konstanten Wert, der beinahe dem Mittelwert eines Fehler- Fortpflanzungskoeffizienten entspricht, der gewonnen wird, wenn die Basiseinheit (l-j) der Ausgangsschicht die Schwellwertfunktion als Definitionsfünktion benutzt und die Lernprozeß- Vorrichtung (20) ein Lernen des inneren Zustandswerts ausführt.

2. Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau nach Anspruch 1, wohei die lineare Funktion definiert ist als ypj=k Σ ypiWji, wobei ypj ein Ausgangssignal der j- ten Einheit (l-j) der Ausgangsschicht ist in Antwort auf ein Eingangssignal des p-ten Musters;

k eine Konstante ist;

Ypi ein Ausgangssignal der i-ten Einheit (l-i) einer i Schicht ist in Antwort auf ein Ausgangssignal des p-ten Musters, und

Wji eine Gewichtung einer inneren Verbindung zwischen i-j Schichten ist.

3. Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau nach Anspruch 1 oder 2, wobei

der Begrenzer (13, 14) das Ausgangssignal auf einen Bereich von 1,0 bis 0 begrenzt.

4. Lernverarbeitungsverfahren zur Benutzung in einer Datenverarbeitungseinrichtung, die eine Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau (10) aufweist mit Basiseinheiten (1), wobei jede Einheit ein Eingangssignal oder mehrere Eingangssignale von einer Vorstufenschicht und einen inneren Zustandswert oder einen Gewichtungswert empfängt, die mit dem Eingangssignal oder den Eingangssignalen multipliziert werden, wodurch ein Produktsummen-Wert geliefert wird, wobei jede Einheit den Produktsummen-Wert umwandelt, indem eine bestimmte Definitionsfunktion benutzt wird , und wobei jede Einheit ein Endausgangssignal gewinnt, wobei die Einrichtung umfaßt:

eine Eingangsschicht zum Empfang eines Eingangsmusters;

eine Ausgangsschicht mit einer oder mehreren Basiseinheiten (l-j);

jede Basiseinheit (l-i) in den Zwischenschichten eine Schwellwertfünktion als Definitionsfunktion benutzt,

dadurch gekennzeichnet, daß

jede Basiseinheit (l-j) in der Ausgangsschicht eine lineare Funktion ypj als Definitionsfunktion benutzt, um ein lineares Ausgangssignal zwischen einem oberen Grenzewert und einem unteren linearen Grenzwert zu erzeugen; und

jede Basiseinheit in der Ausgangsschicht umfaßt:

einen Begrenzer (13; 14) zum Begrenzen des Wert-Ausgangssignals durch die oberen und unteren Grenzwerte eines gewunschten Werts eines gewünschten Ausgangsmusters, und daß das Verfahren den Schritt umfaßt:

Einstellen eines Werts eines Fehler-Fortpflanzungskoeffizienten (ypj(i-ypj)), um die Aktualisierungsgröße des inneren Zustandswerts zu berechnen (25) als einen positiven konstanten Wert, der beinahe dem Mittelwert eines Fehler-Fortpflanzungskoeffizienten entspricht, der erhalten wird, wenn die Basiseinheit (l-j) der Ausgangsschicht die Schwellwertfunktion als Definitionsfunktion benutzt und die Lernprozeß-Vorrichtung (20) ein Lernen des inneren Zustandswerts ausführt.

5. Lernverarbeitungsverfahren nach Anspruch 4, wobei die konstante Wert 1/6 ist.

6. Lernverarbeitungsverfahren nach Anspruch 4 oder 5, wobei, falls der gewünschte Wert des gewünschten Musters eine größere Anzahl von unteren Grenzwerten oder eine größere Anzahi von oberen Grenzwerten liefert als die Anzahl der oberen Grenzwerte oder die Anzahl der unteren Grenzwerte, der Fehlerwert, der aus dem gewünschten Wert mit der geringeren Anzahl von oberen Grenzwerten oder der geringeren Anzahl von unteren Grenzwerten und dem entsprechenden Ausgangsmuster berechnet ist, verstärkt wird, um eine Aktuaiisierungsgröße des inneren Zustandswerts zu berechnen.

7. Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau umfassend:

Basiseinheiten (1), wobei jede Einheit ein Eingangssignal oder mehrere Eingangssignale von einer Vorstufenschicht und einen inneren Zustandswert oder einen Gewichtungswert empfängt, die mit dem Eingangssignal oder den Eingangssignalen multipliziert werden sollen, wodurch ein Produktsummen-Wert gewonnen wird, wobei jede Einheit den Produktsummen- Wert umwandelt, indem eine bestimmte Definitionsfunktion benutzt wird , und wobei jede Einheit ein Endausgangssignal liefert, wobei die Einrichtung umfaßt:

eine Eingangsschicht zum Empfang eines Eingangsmusters;

eine oder mehrere Ausgangsschichten mit einer oder mehreren Basiseinheiten (l-j);

eine Vorrichtung zum Ausbilden inneren Verbindungen zwischen der Eingangsschicht und der Zwischenschicht in der frühsten Vorstufe, zwischen den Zwischenschichten und zwischen der Zwischenschicht der letzten Stufe und der Ausgangsschicht, wobei jede Basiseinheit eine Schwellwertfunktion Ypj als Defintionsfunktion benutzt,

gekennzeichnet durch

eine Vorrichtung (27) in der Lernverarbeitungseinrichtung (20) zum Umwandeln eines gewünschten Werts auf einen gewünschten Gebietswert in einem linearen Bereich der Schwellwertfunktion,

einen Begrenzer (13; 14) in jeder Basiseinheit der Ausgangsschicht zum Begrenzen des Ausgangssignals durch einen oberen und einen unteren Grenzwert des gewünschten Werts nach der Unwandlung; und

eine Wertbereich-Wiederherstellungsvorrichtung (15) in jeder Basiseinheit der Ausgangsschicht zum Umwandeln des Ausgangssignals des Begrenzers auf einen Wertbereich des gewünschten Werts vor der Umwandlung, und

eine Vorrichtung zum Einstellen eines Werts eines Fehler-Fortpflanzungskoeffizienten (ypj(i-ypj) um die Aktualisierungsgröße des inneren Zustandswerts zu berechnen (25) als einen positiven konstanten Wert, der beinahe dem Mittelwert eines Fehler- Fortpflanzungskoeffizienten entspricht, der erhalten wird, wenn die Basiseinheit (l-j) der Ausgangsschicht die Schwellwertfunktion als Definitionsfunktion benutzt und die Lernprozeß- Vorrichtung (20) ein Lernen des inneren Zustandswerts ausführt.

8. Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau nach Anspruch 7, wobei der Begrenzer (13; 14) das Ausgangssignal auf einen Bereich von 0,8 bis 0,2 begrenzt.

9. Lernverarbeitungsverfahren zur Benutzung in einer Datenverarbeitungseinrichtung, die eine Datenverarbeitungseinrichtung mit neuronalem Netzwerkaufbau (10) aufweist mit Basiseinheiten (1), wobei jede Einheit ein Eingangssignal oder mehrere Eingangssignale von einer Vorstufenschicht und einen inneren Zustandswert oder einen Gewichtungswert empfängt, die mit dem Eingangssignal oder den Eingangssignalen multipliziert werden, wodurch ein Produktsummen-Wert geliefert wird, wobei jede Einheit den Produktsummen-Wert umwandelt, indem eine bestimmte Definitionsfunktion benutzt wird , und wobei jede Einheit ein Endausgangssignal liefert, wobei die Einrichtung umfaßt:

eine Eingangsschicht zum Empfang eines Eingangsmusters;

eine Ausgangsschicht mit mehreren Basiseinheiten (l-j), wobei innere Verbindungen zwischen der Eingangsschicht und der Zwischenschicht in der frühsten Vorstufe, zwischen den Zwischenschichten und zwischen der Zwischenschicht der letzten Stufe und der Ausgangsschicht ausgebildet sind, wobei jede Basiseinheit eine Schwellwertfunktion ypj als Definitionsfunktion benutzt, umfassend:

eine Lernprozeß-Vorrichtung (20) zum Berechnen einer Aktualisierungsgröße eines inneren Zustandswertes basierend auf einem Fehlerwert zwischen einem Ausgangsmuster in Antwort auf ein Eingangsmuster, das der Schicht-Netzwerkeinheit (11a; 11b) angeboten wird, und einem entsprechenden gewünschten Ausgangsmuster, und zum Ausführen des Lernprozesses des inneren Zustandswertes, indem sequentiell der innere Zustandswert aktualisiert (26) wird in Übereinstimmung mit der Aktualisierungsgröße, wobei die Einrichtung gekennzeichnet ist, durch

eine Wertbereichs- Umwandlungsvorrichtung (27) in der Lernprozeß-Vorrichtung zum Umwandeln eines gewünschten Werts eines gewünschten Musters in einen gewünschten Bereichswert in einem linearen Bereich der Schwellwertfunktion;

einen Begrenzer (13; 14) zum Begrenzen des Ausgangssignals der Ausgangsschicht durch einen oberen und einen unteren Grenzwert des gewünschten Werts nach der Unwandlung; und

eine Wertbereich-Wiederherstellungsvorrichtung (15) in jeder Basiseinheit der Ausgangsschicht zum Umwandeln des Ausgangssignals des Begrenzers auf einen Wertbereich des gewünschten Werts vor der Umwandlung,

wobei das Verfahren durch die Schritte gekennzeichnet ist:

Einstellen eines Werts eines Fehler-Fortpflanzungskoeffizienten (ypj(i-ypj)), um die Aktualisierungsgröße des inneren Zustandswerts zu berechnen (25) als einen positiven konstanten Wert, der beinahe dem Mittelwert eines Fehler-Fortpflanzungskoeffizienten entspricht, der erhalten wird, wenn die Schwellwertfunktion benutzt wird, und

Lernen des inneren Zustandswerts, indem das gewünschte Muster mit dem gewünschten Wert, der von der Wertbereichs-Umwandlungsvorrichtung gewonnen wird, benutzt wird.

10. Lernverarbeitungsverfahren nach Anspruch 9, wobei die konstante Wert 1/6 ist.

11. Lernverarbeitungsverfahren nach Anspruch 9, wobei, falls der gewünschte Wert des gewünschten Musters eine größere Anzahl von unteren Grenzwerten oder eine größere Anzahl von oberen Grenzwerten liefert als die Anzahl der oberen Grenzwerte oder die Anzahl der unteren Grenzwerte, der Fehlerwert, der aus dem gewünschten Wert mit der geringeren Anzahl von oberen Grenzwerten oder der geringeren Anzahl von unteren Grenzwerten und dem entsprechenden Ausgangsmuster berechnet ist, verstärkt wird, um eine Aktualisierungsgröße des inneren Zustandswerts zu berechnen (25).

12. Lernverarbeitungsverfahren nach Anspruch 11, wobei, falls die Mehrheit der gewünschten Werte des gewünschten Musters einen unteren Grenzwert liefert, der Ausgangswert des Ausgangsmusters, der von dem unteren Grenzwert abweicht, so betrachtet wird, als beseße er keinen Fehlerwert, und wobei, falls die Mehrheit der gewünschten Werte des gewünschten Musters einen oberen Grenzwert liefert, der Ausgangswert des Ausgangsmusters, der von dem oberen Grenzwert abweicht, so betrachtet wird, als besäße er keinen Fehlerwert.