DE69319424T2

DE69319424T2 - Neuronales netzwerk-/ unscharfe logikkonvertierungsgerät.

Info

Publication number: DE69319424T2
Application number: DE69319424T
Authority: DE
Inventors: Satoru Santa Clara Ca 95051 Isaka
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1992-04-09
Filing date: 1993-04-06
Publication date: 1999-04-15
Anticipated expiration: 2013-04-07
Also published as: JPH07505733A; WO1993021598A1; DE69319424D1; EP0635152B1; EP0635152A1

Description

GEBIET DER ERFINDUNG

Die vorliegende Erfindung bezieht sich auf eine Umwandlungsvorrichtung, welche Daten, die als Neuronalnetzwerkdarstellung ausgedrückt sind, in eine Beziehung aus Fuzzy-Variablen mit dem gleichen dynamischen Inhalt umwandeln, oder welche Daten, die als Beziehung von Fuzzy-Variablen ausgedrückt sind, in eine Neuronalnetzwerkdarstellung mit dem gleichen dynamischen Inhalt umwandeln. Diese Erfindung bezieht sich auch auf eine Vorrichtung, die Auswertefunktionen optimiert, indem mit hoher Geschwindigkeit nach einer Kombination von Daten gesucht wird, die eine vorher definierte Auswertefunktion minimieren.

BESCHREIBUNG DES STANDES DER TECHNIK

Es ist bekannt, in einem neuronalen Netzwerk einen Lernalgorithmus anzuwenden, der als Rückwärtsausbreitung bekannt ist, um automatisch eine Beziehung zu gewinnen, die zwischen Eingabe und Ausgabe vorliegt. Rückwärtsausbreitung ist im Stand der Technik wohlbekannt. Bei einem System, welches Fuzzy-Logik verwendet, läßt sich eine nicht-lineare Beziehung ohne Schwierigkeiten als WENN-DANN-Regeln und Zugehörigkeitsfunktionen, die für den Menschen verständlich sind, ausdrücken. Beispiele für Fuzzy-Algorithmen sind ebenfalls im Stand der Technik bekannt.
Es sind jedoch mehrere Nachteile neuronalen Netzwerken und Fuzzy-Logikschemata einzeln inhärent. Wenn beispielsweise ein neuronales Netzwerk ausschließlich verwendet wird, ist eine lange Zeit für das Lernen erforderlich, und manchmal wird das Lernen nicht abgeschlossen. Wenn ein neuronales Netzwerk ausschließlich verwendet wird, ist es ferner für den Menschen schwierig, intuitiv zu verstehen, welche Methode (oder Regeln) gerade angewendet wird, um die Ausgabe herzuleiten, die das Ergebnis des Lernens ist. Wenn andererseits ein Fuzzy-Logikschema ausschließlich verwendet wird, ist kein inhärenter Lernalgorithmus, wie Rückwärtsausbreitung, verfügbar. Es ist also viel Trial-and-error-Zeit erforderlich, um die Parameter der Fuzzy-Regeln und Zugehörigkeitsfunktionen feinabzustimmen, um zu einer gewünschten Ausgabe mit der erforderlichen Präzision zu gelangen. Ferner beschränkt die ausschließliche Verwendung eines Fuzzy-Logikschemas die Fähigkeit, nicht-lineare Funktionen auszudrükken.
Um diese inhärenten Nachteile zu überwinden, hat sich die Aufmerksamkeit auf die Kombination von neuronalen Netzwerken und Fuzzy-Logikschemata konzentriert, da sich herausgestellt hat, daß die Stärken des einen Schemas die Nachteile des anderen kompensieren. Ein Beispiel einer existierenden Umwandlungsfunktion neuronales Netzwerk - Fuzzy, welches sowohl ein neuronales Netzwerk als auch Fuzzy-Logik verwendet, ist in S. Horikawa, T. Furuhashi, S. Okuma und Y. Uchikawa, "A Learning Fuzzy Controller Using a Neural Network", Japanese Proceedings of S.I.C.E. (Society of Instrumentation and Control Engineering), 1991, Band 27, Nr. 2, deren Inhalt hier durch Bezugnahme eingeschlossen ist, beschrieben. Diese Vorrichtung zeigt sowohl eine Fuzzy-Berechnungsvorrichtung als auch ein neuronales Netzwerk, welches die gleichen Berechnungen durchführt. Das Lernen erfolgt durch Rückwärtsausbreitung.
Obige Neuronalnetzwerk-Fuzzy-Umwandlungsvorrichtung verwendet jedoch sowohl ein Fuzzy-Berechnungsschema als auch ein neuronales Netzwerk, welche die gleichen Berechnungen durchführt. Demzufolge ist die Fähigkeit der Vorrichtung, nicht-lineare Funktionen auszudrücken, nur genau so gut wie diejenige des Fuzzy-Logikschemas. Dieses Problem wird verstärkt durch die Einschränkung, daß Fuzzy-Logik weniger fähig ist, nicht-lineare Funktionen auszudrücken, als ein neuronales Netzwerk allein.
Weitere Nachteile bestehen bei solchen Vorrichtungen, die zur Optimierung von Daten verwendet werden.
Ein Optimierungsalgorithums, der als DS-(Downhill Simplex-)Methode bekannt ist, verwendet eine automatische Suche für die Kombination von Daten, die eine vorher definierte Auswertfunktion reduzieren. Wenn jedoch die DS-Methode innerhalb des zu durchsuchenden Datenraums verwendet wird, ergibt das Ergebnis der Suche nicht stets die Kombination von Daten, die die Auswertefunktion minimieren (d.h., in einem Datenbereich mit gegebenen Grenzen kann sie nicht stets diejenige Kombination von Daten finden, die zu einer Minimierung der Auswertefunktion führen). Ein weiterer Optimierungsalgorithmus, bekannt als GA-(Genetic Algorithm-)Methode ist in der Lage, innerhalb des zu durchsuchenden Datenbereichs die Kombination von Daten zu finden, die zu einer Minimierung der Auswertefunktion führen. Die Zeit, die zur Lokalisierung der optimalen Kombination von Daten erforderlich ist, ist jedoch erheblich länger als diejenige, die die DS-Methode benötigt.
IEEE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS, 8. März 1992, SAN DIEGO, USA, SEITEN 1275-1282, KAWAMURA A prototype of neuro-fuzzy cooperation system offenbart die Umsetzung von Wissen in ein Fuzzy-Modellformat, um Anfangswerte eines neuronalen Netzwerkes einzustellen, die Erhöhung der Fuzzy- Modellpräzision durch Neuronalnetzwerklernen und Übersetzen des neuronalen Netzwerks in das Fuzzy-Modellformat nach dem Lernen.

ZUSAMMENFASSUNG DER ERFINDUNG

Im Hinblick auf das Vorstehende ist deutlich, daß weiterhin auf diesem Gebiet ein Bedürfnis nach einer eine Vorrichtung besteht, welche für eine Umwandlung von Daten, die als Neuronalnetzwerkdarstellung ausgedrückt sind, in eine Beziehung von Fuzzy-Variablen mit dem gleichen dynamischen Inhalt sorgt, bzw. welche Daten, die als Beziehung von Fuzzy-Variablen ausgedrückt sind, in eine Neuronalnetzwerkdarstellung mit dem gleichen dynamischen Inhalt umwandeln kann.
Die Fuzzy/Neuronal-Umwandlungsvorrichtung der Erfindung enthält eine Neuronalnetzwerkvorrichtung, welche die Ausgabe des Neuronalnetzwerks zu der Zeit, zu der Daten in das Netzwerk eingegeben werden, berechnet, und eine Lernvorrichtung für das Netzwerk, durch welche das neuronale Netzwerk lernt, wenn es ausschließlich arbeitet. Eine Fuzzy-Schlußfolgerungsvorrichtung berechnet die Ausgabe der Fuzzy-Schlußfolgerungsvorrichtung zu der Zeit, zu der die gleichen Daten in die Fuzzy-Logikvorrichtung eingegeben werden. Ein Eingabedatengenerator bestimmt einen Satz von Datenproben zur Eingabe sowohl in die Neuronalnetzwerkvorrichtung als auch in die Fuzzy-Logikvorrichtung. Ein Einstellvorrichtung wird zur Einstellung von Anfangsbedingungen sowohl des neuronalen Netzwerks als auch der Fuzzy-Logikvorrichtungen verwendet, wobei diese Anfangswerte für Parameter einstellt und Anfangsstrukturen definiert. Eine Berechnungsvorrichtung bestimmt Werte, welche die Genauigkeit der Annäherung zwischen den Ausgaben des neuronalen Netzwerks und der Fuzzy-Logikvorrichtungen darstellen. Ein Neuronalnetzwerk-Fuzzy-Umwandlungsvorrichtung bestimmt (oder stellt ein) die Parameter der Fuzzy-Logikvorrichtung, wenn die Datendarstellung aus einer Neuronalnetzwerkform in eine Fuzzy-Logikform umgewandelt wird. Die Fuzzy-Neuronalnetzwerkumwandlungsvorrichtung berechnet (oder stellt ein) die Parameter des neuronalen Netzwerks, wenn die Datendarstellung von eine Fuzzy-Logikform in eine Neuronalnetzwerkform umgewandelt wird.
Mit dieser Konfiguration kann das durch menschliche Voraussicht gewonnene Wissen in einer angenäherten Weise in der Fuzzy-Logikvorrichtung wiederspiegelt werden, und die Fuzzy-Darstellung kann in eine Neuronalnetzwerkdarstellung umgewandelt werden. Infolgedessen ist die Zeit, die das neuronale Netzwerk für das Lernen benötigt, vermindert, und das Lernen kann definitiv abgeschlossen werden. Sobald ferner die Daten in eine Neuronalnetzwerkdarstellung umgewandelt sind, können Fuzzy-Regeln und Parameter der Zugehörigkeitsfunktionen automatisch durch Lernen feinabgestimmt werden. Da schließlich ein normal strukturiertes neuronales Netzwerk verwendet werden kann, ist die Vorrichtung in der Lage, nicht-linearne Funktionen wirkungsvoller darzustellen, als dies möglich ist, wenn Fuzzy-Logik allein verwendet wird. Die vorliegende Erfindung hat die gleiche Fähigkeit, nicht-lineare Funktionen auszudrücken wie ein in sich selbst verwendetes neuronales Netzwerk.
Sobald das Lernen abgeschlossen ist, kann die Neuronalnetzwerkdarstellung in eine Fuzzy-Logik verwendende Darstellung umgewandelt werden. Das Produkt des Lernens des neuronalen Netzwerks kann also in Fuzzy-Regeln und Zugehörigkeitsfunktionen umgewandelt werden, die für den Menschen intuitiv leichter verständlich sind als die Ausgabe des neuronalen Netzwerks.
Eine Auswerteschwellenbestimmung kann zur Einstellung der Auswerteschwelle beruhend auf einer Anzahl von Lernzyklen im neuronalen Netzwerk vorgesehen sein.
Im Lichte des Vorstehenden ist es eine Aufgabe der vorliegenden Erfindung eine Neuronalnetzwerksvorrichtung zu schaffen, welche die Eingabe-Ausgabe-Beziehung lernt, die auftritt, wenn ein Fuzzy-Logikschema ausschließlich verwendet wird.
Eine weitere Aufgabe der Erfindung ist die Schaffung einer Fuzzy-Logikvorrichtung, welche die Eingabe-Ausgabe- Beziehung lernt, die auftritt, wenn ein neuronales Netzwerk ausschließlich verwendet wird.
Eine weitere Aufgabe der Erfindung ist die Schaffung einer Vorrichtung, welche die Umwandlung zwischen neuronalen und Fuzzy-Formen erleichtert, indem regellos der Anfangs punkt für eine Suche unter Verwendung der DS-Methode gewählt und danach die DS-Methode wiederholt umgesetzt wird. Diese Vorrichtung führt einen Optimierungsvorgang aus, der Iterated Downhill Simplex Methode (IDS) genannt wird. Bei dieser Vorrichtung werden die Anfangswerte einer Datenfolge als Anfangspunkt einer Suche eingestellt. Eine Vorrichtung führt den DS-Vorgang durch ein Suchen nach der Kombination von Daten durch, welche zu einer Minimierung einer Auswertefunktion führen. Die Suche beginnt bei einem gegebenen Satz von Daten und setzt sich gemäß der DS-Methode fort. Es ist auch eine Vorrichtung enthalten, die einen Auswertewert für eine Auswertefunktion der Datenfolge berechnet. Eine Beurteilungsvorrichtung bestimmt dann, ob der DS-Vorgang, der für die Suche nach der optimalen Kombination von Daten verwendet wird, erneut durchgeführt oder abgeschlossen werden sollte. Die Wirkungen, die mit dem oben beschriebenen Aufbau erzielt werden können, sind: (1) daß eine Kombination von Daten in dem zu durchsuchenden Datenraum aufgefunden werden kann, welche die Auswertefunktion minimiert, und (2) daß die Zeit, die erforderlich ist, um nach der optimalen Datenkombination zu suchen, kürzer als diejenige ist, die mit der GA-Methode benötigt wird.
Diese und andere Aufgaben, Vorteile und Merkmale der Erfindung werden durch Bezugnahme auf die folgende detaillierte Beschreibung der Erfindung, die in Verbindung mit den beigefügten Zeichnungen vorgenommen wird, klarer verstanden werden.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockschaltbild des Aufbaus der Erfindung in der bevorzugten Ausführungsform;
Fig. 2(a) und 2(b) sind Flußdiagramme, welche die Reihenfolge von Operationen zeigt, die in der bevorzugten Aus führungsform verwendet werden;
Fig. 3 (a) zeigt den Aufbau der Daten für Parameter PNNi, PNN&sub1; und PNNt für die Neuronalnetzwerkspeichervorrichtung;
Fig. 3(b) zeigt die Grenzpunkte von Fuzzy-Sätzen für jede Eingangsvariable;
Fig. 4 zeigt den Aufbau der Daten für Parameter PFZi und PFZt für das Fuzzy-Logikschema;
Fig. 5 zeigt die Berechnung der Ausgabe YNNi für die Eingabe X1 in eine Neuronalnetzwerkvorrichtung;
Fig. 6 zeigt die Berechnung der Ausgabe YFZi für die Eingabe Xi einer Fuzzy-Logikvorrichtung;
Fig. 7(a) und 7(b) zeigen, wie der Eingaberaum des neuronalen Netzwerks aus Fig. 5 bzw. der Fuzzy-Darstellung aus Fig. 6 unterteilt wird;
Fig. 8 (a), 8 (b), 8 (c), 8 (d) und 8 (e) sind Diagramme, die bei der Erläuterung der Arbeitsweise der vorliegenden Erfindung von Nutzen sind;
Fig. 9 ist ein Hardware-Blockschaltbild der Vorrichtung zur Optimierung der Kombination von Daten;
Fig. 10 ist ein Flußdiagramm, welches die Reihenfolge von Operationen zur Durchführung der IDS-Schritte in der in Fig. 9 gezeigten Vorrichtung zeigt;
Fig. 11 ist ein Schaubild, welches die Anordnung von Daten für eine Datenfolge und Auswertewerte für die IDS der Fig. 9 zeigt; und
Fig. 12 ist ein Graph, welcher die Konzepte zeigt, die der DS-Methode zugrundeliegen.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG

Unter Bezugnahme nun auf die Zeichnungen, in denen gleiche Teile mit gleichen Bezugszeichen bezeichnet sind, zeigt Fig. 1 den Aufbau der Vorrichtung der Erfindung in einer bevorzugten Ausführungsform, und Fig. 2(a) und 2(b) sind Flußdiagramme, welche die in der bevorzugten Ausführungsform verwendete Verarbeitungssequenz zeigen. Die in den Flußdiagrammen gezeigten Operationen können durch Computer- Hardware und/oder -Software verwirklicht werden und können auf zahlreiche Umgebungen, wie etwa Steuersysteme, Bildverarbeitung, sensorisches Abfühlen, etc. angewandt werden.
Wie in Fig. 1 gezeigt, weist die Vorrichtung einen Rechner 150 auf, der drei Vorrichtungen enthält: einen Neuronalnetzwerkprozessor (NN-Prozessor) 160, einen Fuzzy-Logikprozessor 170 und eine Umwandlungsvorrichtung 180. Der Rechner 150 erhält Eingaben von verschiedenen Eingabevorrichtungen 190 (Vorrichtungen 4, 5, 12 und 14). Der Neuronalnetzwerkprozessor 160 enthält eine Neuronalnetzwerk-Lernvorrichtung (NN-Lernvorrichtung) 2 und eine Neuronalnetzwerk-Speichervorrichtung (NN-Speichervorrichtung) 1, die zusammen die Neuronalnetzwerkalgorithmen auswerten. Diese Vorrichtungen verwenden Algorithmen, welche es gestatten, die Beziehung zwischen Eingabe und Ausgabe automatisch anhand der Eingabe- und Ausgabedaten zu lernen. Ein Beispiel eines solchen Lernalgorithmus für das neuronale Netzwerk ist Rückwärtsausbreitung, die im Stand der Technik wohlbekannt ist. Die Fuzzy-Schlußfolgerungsvorrichtung 3 führt Fuzzy- Algorithmen durch, die Algorithmen sind, die so aufgebaut sind, daß sie das Wissen von Menschen, ausgedrückt als WENNDANN-Regeln und Zugehörigkeitsfunktionen, verwenden.
Im einzelnen berechnet die Neuronalnetzwerk-Speichervorrichtung 1 in Verbindung mit der Lernvorrichtung 2 die Ausgabe (YNNi) des Neuronalnetzwerkprozessors 160 zu dem Zeitpunkt, zu dem Lerndaten 12 in das neuronale Netzwerk eingegeben werden. Eine Lernvorrichtung 2 ist für das neuronale Netzwerk vorgesehen, die die Neuronalnetzwerklösung lernt, wenn das neuronale Netzwerk ausschließlich verwendet wird. Die Vorrichtung enthält ferner einen Fuzzy-Logikprozessor 170, welcher eine Fuzzy-Schlußfolgerungsvorrichtung 3 enthält, die eine Ausgabe (YFZi) zu der Zeit berechnet, zu der Fuzzy-Daten 14 in den Fuzzy-Prozessor 170 eingegeben werden. Ein Eingabegenerator 4 ist vorgesehen, welcher einen Satz von Datenproben (Xi) zur Eingabe sowohl in den Neuronalnetzwerkprozessor 160 als auch den Fuzzy-Logikprozessor 170 bestimmt. Eine Vorrichtung 5 zur Einstellung von Anfangsbedingungen für den Neuronalnetzwerkprozessor 160 ist vorgesehen; diese Vorrichtung kann Anfangswerte für Parameter einstellen und Anfangsstrukturen definieren.
Die Vorrichtung 5 zur Einstellung von Bedingungen kann ein Speicher oder eine Software-Datei oder eine Tastatur sein. Die Vorrichtung 5 liefert für den Rechner aus der Anzahl von Neuronen in der medialen Schicht des neuronalen Netzwerks den Anfangswert der Anzahl von Zugehörigkeitsfunktionen, die das Fuzzy-Logikschema für jede Eingangsvariable benötigt, damit es den gleichen dynamischen Charakter wie die Neuronalnetzwerkdarstellung hat. Diese Anfangsparameter (PNNi: Anfangsparameter des Fuzzysystems) werden durch den Bediener beruhend auf seiner Kenntnis des zu lösenden Problems und dem Aufbau des gegebenen Systems voreingestellt. Einige Parameter können automatisch bestimmt werden, wie nachfolgend ausgeführt wird. Die Parameter ändern sich während der Umwandlung.
Die Berechnungsvorrichtung 6 bestimmt Werte, welche die Genauigkeit der Annäherung zwischen den Ausgaben des neuronalen Netzwerks 160 und der Fuzzy-Logikvorrichtung 170 auswerten. Die detaillierten Schritte, welche die Auswertebestimmung zeigen, die von der Berechnungsvorrichtung 6 durchgeführt wird, sind in Fig. 2(b) gezeigt. Die Berechnungsvorrichtung 6 berechnet einen Auswertewert E. Indem sie dies tut, wendet die Vorrichtung 6 eine Auswertefunktion auf jede mögliche Ausgabe an, wenn eine gegebener Satz von Daten in das neuronale Netzwerk und das Fuzzy-Logikschema eingegeben wird, um die Übereinstimmung zwischen dem dynamischen Cha rakter der Neuronalnetzwerkdarstellung und demjenigen des Fuzzy-Logikschemas auszumessen.
Eine Neuronalnetzwerk-auf-Fuzzy-Umwandlungsvorrichtung 8 bestimmt (oder justiert) die Parameter der Fuzzy-Logikvorrichtung, wenn die Datendarstellung von einem Neuronalnetzwerkschema in ein Fuzzy-Logikschema umgewandelt wird. Die Neuronalnetzwerk-auf-Fuzzy-Umwandlungsvorrichtung 8 ändert dynamisch die Anzahl von Zugehörigkeitsfunktionen beruhend auf dem Wert der Auswertefunktion und der Anzahl von Lernzyklen (die Lernanzahl von Malen wird korrigiert). Dies tritt während der Bestimmung (oder Justierung) der Parameter des Fuzzy-Logikschemas auf, die während der Umwandlung aus dem Neuronalnetzwerks- in das Fuzzy-Logikschema durchgeführt wird. Weitere Details betreffend die Operationen des Neuronalnetzwerk-auf-Fuzzy-Umwandlers 8 sind in Fig. 2(b) unten als Schritte 270 bis 288 zur Erhöhung der Anzahl der Zugehörigkeitsfunktionen, zur Erhöhung der Auflösung im Entscheidungsraum und somit zur Erhöhung der Genauigkeit der Fuzzy- Lösung veranschaulicht.
Eine Fuzzy-auf-Neuronalnetzwerkumwandlungsvorrichtung 7 ist als eine solche vorgesehen, die die Parameter des neuronalen Netzwerks bestimmt (oder justiert), wenn die Datendarstellung aus dem Fuzzy-Logikschema in ein Neuronalnetzwerkschema umgewandelt wird.
Das vorliegende System 100 kann durch diskrete Hardware-Vorrichtungen für jeden der Schaltungsblöcke 1, 2, 3, 6, 7, 8 verwirklicht sein. Die bevorzugte Weise, die Erfindung zu verwirklichen, ist aber die durch einen geeigneten programmierten Rechner 150.
Die in den Fig. 2 (a) und 2 (b) gezeigten Flußdiagramme zeigen die Schritte, die ein programmierter Rechner durchführt, wenn er die Vorrichtung der Fig. 1 verwirklicht und wenn er eine Umwandlung einer Datendarstellung aus einem Fuzzy-Logikschema in ein Neuronalnetzwerkschema und vice versa durchführt.
Neuronale Netzwerke können in vielen Formen, einschließlich Netzwerken mit mehrfachen neuronalen Schichten, dargestellt werden. Mehrschichtige Netzwerke enthalten Eingabeneuronen und Ausgabeneuronen und eine Schicht von medialen oder "verborgenen" Neuronen.
Unter Bezug zunächst auf Fig. 2(a) setzt nach dem Start im Schritt 200, wenn Daten aus einer Fuzzy-Logikform in eine Neuronalnetzwerkform, wie im Schritt 202 bestimmt, umzuwandeln sind, der Rechner 150 im Schritt 204 dann einen Kennzeichenwert gleich "1". Die Anfangsparameter der Fuzzy- Schlußfolgerungsvorrichtung 3 PFZi werden dann im Schritt 206 in die Vorrichtung 5 zur Einstellung von Bedingungen als die Struktur des Fuzzy-Logikschemas eingelesen.
Die Struktur der Daten für die Parameter PFZi ist in Fig. 4 gezeigt. Die Daten bestehen im Prinzip aus durch den Bediener vorgesehenen Eingabeparametern, welche die Anzahl von Eingangsdaten und die Anzahl von Eingangszugehörigkeitsfunktionen enthalten. Die Ausgabeparameter wiederum enthalten die Anzahl von Ausgabedaten und die Anzahl von Ausgabezugehörigkeitsfunktionen. Eine eindimensionale Anordnung von Voraussetzungen und Schlußfolgerungen (WENN-DANN-Regeln), welche normierte Konstanten für Eingabezugehörigkeitsfunktionen und für die Eingaben Ni enthalten, ist ebenfalls vorgesehen. Die Schlußfolgerungen enthalten Koordinatenwerte für Ausgabe-Singletons und für Ausgaben.
Im Schritt 208 werden in der Vorrichtung 5 zur Einstellung von Bedingungen die Anfangsparameter der Neuronalnetzwerkspeichervorrichtung 1 PNNi nach der folgenden Formel, beruhend auf den Parametern PFZi der Fuzzy-Schlußfolgerungsvorrichtung 3 bestimmt:
pe&sub1; = ni
pe&sub2; = 2
pe&sub3; = no
w¹ij, W²jk (2-dimensionale Anordnung): gesetzt auf eine Zufallszahl, die 0 annähert, wobei pe&sub1; gleich der Anzahl von Neuronen in der Eingabeschicht, ni die Anzahl von Eingaben in das Fuzzy-System, pe&sub2; die Anzahl von Neuronen in der Zwischenschicht, pe&sub3; die Anzahl von Neuronen in der Ausgabeschicht, n&sub0; die Anzahl von Ausgaben des Fuzzy-Systems, w¹ij das Gewicht von Neuronen von Neuronenzahl i in der Eingabeschicht zu Neutronenzahl j in der Mittelschicht für i = 1, 2, ..., pe&sub1; + 1 und j = 1, 2, ..., pe&sub2;; und W²jk das Gewicht von Neuronen von Neuronennummer j in der Mittelschicht zu Neuronennummer k in der Ausgabeschicht für j = 1, 2, ..., pe&sub2; + 1 und k 1, 2, ..., pe&sub3; ist, und W¹ij, W²jk auf eine 0 annähernde Zufallszahl gesetzt sind.
Die Struktur der Daten für Parameter PNNi für die Neuronalnetzwerkspeichervorrichtung 1 ist in Fig. 3(a) gezeigt. Der Abschnitt des Schemas, der zur Bestimmung der Neuronalnetzwerk- und der Fuzzy-Logikdarstellung, wie unten diskutiert, verwendet wird, liefert die Details des Schemas, mit welchen die Anzahl von Neuronen pe&sub2; in der Mittelschicht des neuronalen Netzwerks bestimmt wird.
Als nächstes werden die Parameter PNNi, die für die Neuronalnetzwerkspeichervorrichtung 1 bestimmt worden sind, in dieser Vorrichtung im Schritt 210 eingestellt. Die Anzahl N, wie oft das Lernen durchgeführt wird, wird durch Löschen von N auf 0 im Schritt 212 auf ihren Anfangswert eingestellt. Dann wird die Datennummer i durch Löschen von i auf 0 im Schritt 238 eingestellt. Auch wird im Schritt 238 die Anzahl von Lernzyklen N inkrementiert. Die Datennummer i wird im Schritt 240 inkrementiert. Im Schritt 242 bestimmt der Eingabegenerator 4 die Eingabedaten Xi :
Xi = xi1, xi2, ..., xim,
wobei i = 1, 2, ..., n; wobei m die Anzahl von Eingaben ist.
Der Vorgang zur Erzeugung eines Satzes von Datenproben besteht aus den folgenden zwei Schritten: im ersten Schritt werden die Grenzpunkte von Fuzzy-Sätzen für jede Eingangsvariable bestimmt. Die Grenzpunkte enthalten die kleinsten und größten Punkte für jeden Fuzzy-Satz, deren Zugehörigkeitswerte 1 sind, sowie die Punkte, deren Zugehörigkeitswerte 0,5 sind. Diese beiden Fälle sind in Fig. 3 (b) abgebildet. Als nächstes werden die Schnittpunkte aller Grenzpunkte für alle Eingangsvariablen gesammelt. Damit kann der i-te Eingabedatensatz Xi als
Xi = x1i, x2i, x3i, ..., xmi
gewonnen werden,
wobei i = 1, 2, ..., N, xji der i-te Grenzpunkt für die j-te Eingangsvariable und m die Anzahl von Eingaben ist. N ist die Gesamtzahl von Proben, welche bestimmt wird durch
N = n&sub1; x n&sub2; x... x nm,
wobei ni die Anzahl von Grenzpunkten für die i-te Eingangsvariable ist.
In den Schritten 244 und 252 werden die Eingangsdaten Xi in die Neuronalnetzwerkspeichervorrichtung 1 und die Fuzzy- Schlußfolgerungsvorrichtung 3 gesetzt.
Die Anzahl von Zwischenknoten wird von einer kleinen ganzen Zahl (z. B. 1) aus hinauf bis zu dem folgenden oberen Grenzwert iterativ gesetzt:
Nmax p&sub1; + p&sub2; +... + pm,
wobei pi die Anzahl von Fuzzy-Satzsegmenten für die i-te Eingangsvariable und m die Anzahl von Eingaben ist.
Die Anzahl von Segmenten wird durch die "Ränder" der Fuzzy-Sätze, wie sie in Fig. 3(b) abgebildet sind, bestimmt. Die Anzahl von Zwischenknoten ist also begrenzt als:
1 ≤ Nh ≤ Pi,
wobei Nh die Gesamtzahl von Zwischenknoten ist und h verborgene Knoten darstellt, pi die Anzahl von Fuzzy-Satzsegmenten für den i-ten Eingangswert und m die Anzahl von Eingaben ist.
In den Schritten 246 und 254 berechnet die Neuronalnetzwerkspeichervorrichtung 1 das Neuronalnetzwerkspeicherergebnis YNNi, und die Fuzzy-Schlußfolgerungsvorrichtung 3 berechnet das Fuzzy-Schlußfolgerungsergebnis YFZi. Die Methoden der Berechnung von Ausgangsdaten YNNi und YFZi aus Eingangsdaten Xi, wo eine duale Eingabe und eine einzelne Ausgabe auftritt, sind unten gezeigt und auch in Fig. 5 und 6 veranschaulicht. Fig. 5 zeigt die Reihenfolge für ein neuronales Netzwerk, während Fig. 6 eine Fuzzy-Darstellung zeigt.
Das Fuzzy-Schlußfolgerungsergebnis YFZi wird zunächst durch Auswertung der Summe der Ausgaben für die Mittelschicht von Neuronen (j), die Eingangsdaten (i) entsprechen, berechnet, derart, daß
hij = f{ W¹kj Xik + W¹3j}
wobei Xik gleich den i-ten Eingabedaten für die Eingabenummer k (wobei k = 1, 2,.., m) und W¹jk das Gewicht von Neuronen vom Neuron Nr. k in der Eingangsschicht zum Neuron Nr. j in der Mittelschicht und f( ) = 1{1 + e- } ist, wobei eine Scheinvariable für die Kompressionsfunktion darstellt, welche reelle Zahlen in reelle Werte zwischen 0 und 1 umwandelt.
Der Mittelschichtwert wird dann zur Auswertung des Neuronalnetzwerkergebnisses YNNi durch Berechnen des Ausgabeschichtergebnisses und des Neuronalschichtergebnisses verwendet:
YNNi = W²ji · hij + W²3I
Das Fuzzy-Schlußfolgerungsergebnis YFZi wird berechnet, indem zuerst das Gewicht wijk von Sjk, welches der Koordinatenwert des Ausgangs-Singletons ist, das der Zugehörigkeitsfunktion für die Ausgabe 1 Nr. j und Ausgabe 2 Nr. k entspricht.
Wijk = Min{u&sub1; (Xij), u&sub2; (Xik)}
wobei Xik = Eingabedaten für Eingabe k Nr. i (k = 1, 2, ..., m) und uk (Xik) der Zugehörigkeitsfunktionswert für Eingabedaten für Eingabe k Nr. i ist. Der Fuzzy-Ausgabewert wird dann für das in Fig. 6 gezeigte Beispiel bestimmt als:
Im Schritt 248 wird das Ergebnis YNi der Fuzzy-Schlußfolgerungsvorrichtung 3 gespeichert. Im Schritt 250 wird der Iterationswert i mit n verglichen, so daß, wenn i kleiner als n ist, Schritte 240, 242, 244, 246, 248, 252 und 254 wiederholt werden, so daß das Neuronalnetzwerkspeicherergebnis YNNi und das Fuzzy-Schlußfolgerungsergebnis YFZi n-mal für jedes der Eingangsdaten X&sub1; bis Xn berechnet werden. Wenn i größer oder gleich n, wie in Schritt 250 bestimmt, ist, geht der Prozeß nach Schritt 256 in Fig. 2(b) weiter.
Auf Fig. 2(b) nun im Detail bezugnehmend, werden im Schritt 256 die Ausgabedaten YFZi und YNNi in die Vorrichtung zur Berechnung von Auswertewerten 6 eingegeben. Ein Auswertewert E wird dann durch die bezeichnete Berechnungsauswertevorrichtung 6 gewonnen. Der quadratische Fehler zwischen dem Neuronalnetzwerkspeicherergebnis YNNi und dem Fuzzy- Schlußfolgerungsergebnis YFZi wird als der Auswertewert E, d.h., (YNNi - YFZi)² = E, verwendet. Der Gegenstand der weiteren Verarbeitung besteht darin, die Parameter PNNi der Neuronalnetzwerk-Speichervorrichtung 1 zu korrigieren, bis E 0 annähert. Die oben beschriebene Berechnung für E ist:
m = pe&sub3; = n&sub0;: Nummer der Datenausgabe
Wenn das Kennzeichen, wie durch Schritt 258 bestimmt, gleich 1 ist, dann wird der berechnete Auswertewert E mit dem zugelassenen Wert ENN im Schritt 260 verglichen. Anderenfalls wird der Auswertewert E mit dem zugelassenen Wert EFZ im Schritt 270 verglichen. Die zugelassenen Werte für ENN und EFZ unterscheiden sich, da die Endbedingungen für Fuzzy- und neuronale Netzwerke inhärent unterschiedlich sein können. Wenn der aktuelle Auswertewert E im Schritt 260 kleiner oder gleich der zugelassene Auswertewert ENN, der vorher eingestellt worden ist, ist, endet die Verarbeitung im Schritt 236, da die Parameter der Neuronalnetzwerkvor richtung so verknüpft worden sind, daß sie zur Fuzzy-Vorrichtung passen. Wenn E größer als ENN ist, dann wird im Schritt 262 der Rest geprüft, um festzustellen, ob er null ist, wenn die aktuelle Anzahl von Lernzyklen N durch die Anzahl von Lernzyklen NNN, geteilt wird, die die Anzahl von Neuronen in der medialen Schicht des neuronalen Netzwerks ändert. NNN stellt die Anzahl von Lernzyklen dar und N stellt den aktuellen Zyklus dar. Der einzige Weg festzustellen, ob das System den Maximalwert erreicht hat, ist, wenn der Rest nicht die bestimmte Zahl ist. Der Zyklus wird wiederholt, bis der Minimalfehler im Schritt 260 erzielt ist.
Wenn im Schritt 262 der Rest null ist, wenn N durch NNN dividiert wird, dann wird im Schritt 268 die Anzahl von Neuronen in der medialen Schicht pe2 um 1 in den Parametern PNNi des neuronalen Netzwerks inkrementiert, um schließlich den Fehler zu reduzieren und also die Genauigkeit der Annäherung des neuronalen Netzwerks zu erhöhen. Die neuen Parameter der Neuronalnetzwerkspeichervorrichtung 1 werden PNNt genannt. Der Aufbau der Datenanordnung im neuen Parametersatz PNNt ist in Fig. 3 (a) gezeigt. Im Schritt 266 werden die neuen Parameter PNNt der Neuronalnetzwerkspeichervorrichtung 1, die den Aufbau des Neuronalnetzwerks darstellen, in die Speichervorrichtung 1 gesetzt. Der Prozeß der Berechnung von YNNi und YFZi n-mal und des Vergleichens von Z mit ENN wird, wie vorstehend beschrieben, wiederholt.
Wenn im Schritt 262 der Rest nicht null ist, wenn N durch NNN dividiert wird, dann werden im Schritt 264 die Gewichte des neuronalen Netzwerks in den Parametern PNNi der Neuronalnetzwerkspeichervorrichtung modifiziert und die neuen Parameter der Neuronalnetzwerkspeichervorrichtung 1 werden PNNt genannt. Die Gewichte der Neuronalnetzwerk-Speichervorrichtung 1 werden durch einen Probenlernalgorithmus oder durch eine Kombination von optimierten Algorithmen modifiziert. Ein Beispiel einer Kombination von optimierten Algorithmen, genannt Simplex-Schema, ist in "Simplex Method for Function Minimization" von J.A. Neider und R. Mead in The Computer Journal, Band 7, 1967, S. 308-313 gezeigt.
In Schritt 266 werden die neuen Parameter PNNt der Neuronalnetzwerkspeichervorrichtung 1, die den Aufbau des neuronalen Netzwerks darstellen, in die Speichervorrichtung 1 gesetzt. Der Vorgang der Berechnung von YNNi und YFZi n-mal und des Vergleichens von E mit ENN wird wiederholt.
Die in Fig. 2(a) und 2(b) gezeigten Flußdiagramme zeigen auch die Schritte zur Umwandlung von Datendarstellungen aus einem Neuronalnetzwerkschema in ein Fuzzy-Logikschema.
Im einzelnen wird nach dem Start in Schritt 200, wenn Daten aus einem Neuronalnetzwerk- in ein Fuzzy-Schema umzuwandeln sind, wie zunächst durch Schritt 202 und dann durch Schritt 214 bestimmt, dann im Schritt 216 das Kennzeichen gleich 2 gesetzt.
Die Anfangsparameter der Neuronalnetzwerkspeichervorrichtung 1 PNNi werden in die Vorrichtung 5 zur Einstellung von Bedingungen eingelesen und in die Neuronalnetzwerklernvorrichtung 2 im Schritt 218 gesetzt. Der Aufbau der Datenanordnung für Parameter PNNi ist in Fig. 3 (a) gezeigt. Die Parameterdaten werden vor der Operation in der Einheit 5 durch den Bediener gesetzt. Die Parameter enthalten die Anzahl von Neuronen in der Eingabe-, medialen und Ausgabeschicht sowie die Gewichte für die Eingabe- und die mediale Schicht.
In Schritt 220 werden in der Vorrichtung 5 zur Einstellung von Bedingungen die Anfangsparameter für die Fuzzy- Schlußfolgerungsvorrichtung 3 PFZi aus Parametern PNNi der Speichervorrichtung gemäß der folgenden Formel bestimmt:
ni = Pe1
MFi = Pe2 + 1
n&sub0; = Pe3
MF&sub0; = (MFi)ni
wobei MFi die Anzahl von Eingangszugehörigkeitsfunktionen (MFs) in PFZi, MF&sub0; die Anzahl von Ausgabe-MFs, Ikj der normierte Inhalt für MF Nummer k zugeordnet zur Eingabe j; Sii1, i2, ...ini die Koordinatenwerte von Singletons für Schlußfolgerungen in Ausgabe i in Bezug auf Zugehörigkeitsfunktionen Nummer i1 für Eingabe 1, Nummer i2 für Eingabe 2, Nummer ini für Eingabe im, und Ikj und Sii1, i2, ...ini: vorab nach Belieben des Benutzers eingestellt worden sind.
Der Aufbau der Datenanordnugn für Parameter PFZi für die Fuzzy-Schlußfolgerungsvorrichtung 3 ist in Fig. 4 gezeigt. Die nachstehende Diskussion liefert die Details, wie die Anzahl von Eingangszugehörigkeitsfunktionen MFi im Fuzzy- Schema bestimmt wird.
Die Parameter PFZi, die für die Fuzzy-Schlußfolgerungsvorrichtung 3 bestimmt worden sind, werden in diese Vorrichtung im Schritt 222 gesetzt. Im Schritt 212 wird die Nummer von Lernzyklen N durch Löschen von N auf 0 initialisiert. Die Datennummer i wird dann durch Löschen von i auf 0 in Schritt 238 initialisiert. Im Schritt 238 wird auch die Nummer von Lernzyklen N inkrementiert. Im Schritt 240 wird die Nummer von Daten i inkrementiert. Im Schritt 242 werden die Eingabedaten Xi durch den Eingabegenerator 4 folgendermaßen bestimmt:
Xi = xi1, xi2,.. xim,
wobei i = 1, 2, ..., n, und m die Anzahl von Eingaben ist.
Die Eingabedaten Xi werden in die Neuronalnetzwerkspeichervorrichtung 1 gesetzt, welche die Daten für die Lernvorrichtung 2 und die Fuzzy-Schlußfolgerungsvorrichtung 3 in Schritten 244 und 252 liefert.
Als nächstes berechnen die Neuronalnetzwerkspeichervorrichtung und Neuronalnetzwerklernvorrichtung 2 die von den Lernberechnungen von den Neuronalnetzwerkknoten YNNi gelieferten Lösungen, und die Fuzzy-Schlußfolgerungsvorrichtung 3 berechnet das Ergebnis der Fuzzy-Schlußfolgerungsoperationen YFZi in Schritten 246 und 254. Die Schritte für die Berechnung der Fuzzy- und Neuronalnetzwerklösungen wurden weiter oben beschrieben.
In Schritt 256 (Fig. 2(b)) werden Ausgabedaten YFZi und YNNi in die Vorrichtung 6 zur Berechnung von Auswertewerten eingegeben, und der Auswertewert E wird durch die bezeichnete Berechnungsvorrichtung 6 in der weiter oben beschriebenen Weise gewonnen.
Das Kennzeichen wird dann im Schritt 258 geprüft. Da eine Umwandlung neuronales Netzwerk in Fuzzy gewünscht wird, wird das Kennzeichen nicht auf 1 gesetzt. Der Auswertewert E wird dadurch mit dem zugelassenen Auswertewert EFZ im Schritt 270 verglichen. Wenn der aktuelle Auswertewert E, wie durch Schritt 270 bestimmt, kleiner oder gleich dem zugelassenen Auswertewert EFZ, der vorher eingestellt wurde, ist und wenn im Schritt 284 die Anzahl der Zugehörigkeitsfunktionen MFi für jede Eingabe in Parameter PFZi der Fuzzy-Schlußfolgerungsvorrichtung 3 ebenfalls 1 ist, dann endet die Verarbeitung im Schritt 236.
Wenn jedoch der aktuelle Auswertewert E kleiner oder gleich der zugelassene Auswertewert EFZ ist und im Schritt 284 die Anzahl von Zugehörigkeitsfunktionen MFi für jede Eingabe in Parameter PFZi der Fuzzy-Schlußfolgerungsvorrichtung 3 nicht gleich 1 ist, dann werden im Schritt 286 die aktuellen Parameter PFZi der Fuzzy-Schlußfolgerungsvorrichtung 3 in der Neuronalnetzwerk-auf-Fuzzy-Umwandlungsvorrichtung 8 gespeichert, und die neuen Parameter der Fuzzy- Schlußfolgerungsvorrichtung 3 werden PFZt genannt. Die Anzahl von Zugehörigkeitsfunktionen MFi für jede Eingabe in die Parameter PFZi der Fuzzy-Schlußfolgerungsvorrichtung 3 wird im Schritt 288 inkrementiert. Der Aufbau der Datenanordnung für die neuen Parameter PFZt ist in Fig. 4 gezeigt.
Wenn das Lernen nach Durchführung von Korrekturen an der Zahl von Zugehörigkeitsfunktionen MFi, wie durch Schritt 280 festgestellt, abgeschlossen ist, dann werden im Schritt 282 die Parameter PFZi für die Fuzzy-Schlußfolgerungsvorrichtung 3, die zum Zeitpunkt der Gewinnung des Werts MFi gespeichert worden sind, in die Fuzzy-Schlußfolgerungsvorrichtung 3 gesetzt, und der Vorgang kommt dann im Schritt 236 (Fig. 2(a)) zu einem Ende. Wenn das Lernen zum Zeitpunkt der Gewinnung eines korrigierten Werts MFi in den Parametern PFZi der Fuzzy-Schlußfolgerungsvorrichtung 3 für die Anzahl von Zugehörigkeitsfunktionen für jede Eingabe nicht abgeschlossen ist, dann ist die Umwandlung nicht vollständig, da das Fuzzy-Äquivalent zu einer unvollständigen oder nichtkonvergenten neuronalen Lösung dargestellt wird. Dementsprechend werden im Schritt 276 neue Parameter PFZt in die Fuzzy- Schlußfolgerungsvorrichtung 3 gesetzt. Der Vorgang der Berechnung von YNNi und YFZi n-mal und von E und des Vergleichens von E mit EFZ wird für ein neuronales Netzwerk wiederholt, wenn das Lernen abgeschlossen ist.
Wenn, wie durch Schritt 270 festgestellt, der aktuelle Auswertewert E größer als der zugelassene Auswertewert EFZ, der vorher eingestellt worden ist, ist und der Rest null ist, wenn die aktuelle Zahl von Lernzyklen N durch die Anzahl von Lernzyklen NFZ, wie durch Schritt 272 bestimmt, dividiert wird, dann wird die Zahl von Zugehörigkeitsfunktionen MFi für jede Eingabe in den Parametern PFZi der Fuzzy- Schlußfolgerungsvorrichtung 3 um eins in Schritt 278 inkrementiert und Schritt 280 durchgeführt.
Schritte 280, 282 und 276 werden dann in der gleichen Weise, wie oben beschrieben, verarbeitet.
Wenn, wie durch Schritt 270 festgestellt, der aktuelle Auswertewert E größer als der vorher eingestellte zugelassene Auswertewert EFZ und der Rest nicht null ist, wenn die aktuelle Zahl von Lernzyklen N durch die Zahl von Lernzyklen NFZ, wie durch Schritt 272 festgestellt, dividiert wird, dann werden, um den Auswertewert E sich 0 annähern zu lassen, die normierten Konstanten für die Zugehörigkeitsfunktionen für jede Eingabe modifiziert, wie dies auch die Koordinatenwerte des Singletons für jede Ausgabe werden. Dies tritt innerhalb der Parameter für die Fuzzy-Schlußfolgerungsvorrichtung 3 bei Inkrement t bei Schritt 274 auf. Die neuen Parameter werden als PFZt gespeichert. Die normierten Konstanten für die Zugehörigkeitsfunktionen für jede Eingabe in die Fuzzy-Schlußfolgerungsvorrichtung 3 und die Koordinatenwerte des Singletons für jede Ausgabe werden durch eine Kombination von optimierten Algorithmen modifiziert, die im einzelnen in den Fig. 9-12 beschrieben sind.
Die in den Fig. 2 (a) und 2 (b) gezeigten Flußdiagramme zeigen auch die Schritte, die durchgeführt werden, wenn Neuronalnetzwerklernen unabhängig durchgeführt wird. Nach dem Beginn in Schritt 200 wird, wenn Daten nicht aus einem Fuzzy-Schema in ein neuronales Netzwerk, wie durch Schritt 202 festgestellt, umzuwandeln sind und wenn Daten, wie durch Schritt 214 festgestellt, nicht von einem neuronalen Netzwerk in das Fuzzy-Schema umzuwandeln sind, durch Schritt 224 festgestellt, ob Neuronalnetzwerklernen unabhängig durchgeführt werden soll. Wenn Neuronalnetzwerklernen nicht unabhängig durchzuführen ist, dann endet der Prozeß unmittelbar im Schritt 236. Wenn Neuronalnetzwerklernen unabhängig durchzuführen ist, dann geht die Verarbeitung nach Schritt 228 weiter.
Im Schritt 228 werden die unabhängigen Lernparameter PNN&sub1; der Neuronalnetzwerkspeichervorrichtung 1, die den Aufbau des neuronalen Netzwerks darstellen, in die Vorrichtung 5 zur Einstellung von Bedingungen als die Struktur des neu ronalen Netzwerks eingegeben. Diese Lernparameter sind entweder durch den Bediener vorgewählt oder durch den Rechner 150 vorberechnet und im Speicher 5 vorgespeichert. Den Parametern werden effektiv feste Werte gegeben, die die aktuelle Struktur eines existierenden neuronalen Netzwerks darstellen und die sich nicht ändern und die durch Fuzzy-Logik dargestellt sind. Die Parameter werden auch in die Neuronalnetzwerklernvorrichtung 2 gesetzt. Die Anordnung der Daten für Parameter PNN&sub1; der Neuronalnetzwerkspeichervorrichtung 1 ist in Fig. 3(a) gezeigt.
Damit das neuronale Netzwerkschema unabhängig lernen kann, müssen die Neuronalnetzwerk-Lerndaten (Eingabe-Ausgabedaten) im Schritt 230 gewonnen werden. Im Schritt 232 lernt das neuronale Netzwerk unabhängig über die Neuronalnetzwerk-Lernvorrichtung 2 unter Verwendung der Neuronalnetzwerk-Lerndaten in einem Schema wie etwa Rückwärtsausbreitung, welches in Horikawa et al., "A Learning Fuzzy Controller Using a Neural Network", durch Bezugnahme einbezogen, beschrieben ist. Wenn die Neuronalnetzwerkvorrichtung 2 das unabhängige Lernen abgeschlossen hat, werden die Parameter PNN&sub1; der Neuronalnetzwerk-Lernvorrichtung 2 nach dem Lernen als die Struktur des neuronalen Netzwerks eingelesen und in die Neuronalnetzwerkspeichervorrichtung im Schritt 234 gesetzt. Die Verarbeitung endet dann im Schritt 236.
In diesem Abschnitt wird nun das Schema erläutert, das zur Berechnung der Anzahl von Neuronen verwendet wird, die in der medialen Schicht benötigt werden, um ein neuronales Netzwerk mit dem gleichen dynamischen Charakter wie die Fuzzy-Darstellung aus der Zahl von Zugehörigkeitsfunktionen, die für jede Fuzzy-Eingangsvariable existieren, zu erzeugen. Das Schema, das zur Berechnung der Anzahl von Eingangsvariablen verwendet wird, die erforderlich sind, um eine Fuzzy- Darstellung mit dem gleichen dynamischen Charakter wie das neuronale Netzwerk aus der Anzahl von Neuronen in der medialen Schicht eines neuronalen Netzwerks benötigt werden, ebenfalls erläutert.
Um die Ausgaben eines neuronalen Netzwerks und einer Fuzzy-Darstellung zu berechnen, können wir sie als gemeinsame Gesamtheitsteilung für den Eingaberaum behandeln und die Ausgaben den Teilungen zuordnen. Fig. 7 zeigt, wie der Eingaberaum des neuronalen Netzwerks aus Fig. 5 und der Fuzzy- Darstellung aus Fig. 6 unterteilt sind. Die folgende Beschreibung umreißt das Schema, das zur Berechnung der Ausgaben des neuronalen Netzwerks und der Fuzzy-Darstellung verwendet wird.
Die Ausgabe des neuronalen Netzwerks wird durch Durchführung des folgenden Prozesses berechnet. Zunächst wird der Eingaberaum gemäß dem Gewicht der Neuronen in der medialen Schicht, wie in Graph (a) der Fig. 7 gezeigt, unterteilt. Im einzelnen werden in Fig. 5 das Gewicht von Knoten W¹ durch drei Eingaben Xi1, Xi2 und einen Bezugswert bestimmt. Für jede Eingabe gibt es drei getrennte Gewichte W¹&sub1;&sub1;, W¹&sub2;&sub1; und W¹&sub3;&sub1;. In einem zweidimensionalen Fall wird die Linearkombination von Knoten stets als lineare Lösung ausgedrückt, so daß die Ausgabeunterteilungswerte eine Linearkombination sind. In einem dreidimensionalen Fall würde die Unterteilung in einer Ebene dargestellt sein. Als nächstes wird ein Wert 0 oder 1 jeder Klasse von Unterteilung gemäß einer Funktion der Ausgaben der medialen Schicht der Neuronen zugeordnet. In einem sehr breiten Sinne sieht man für die Ausgaben der medialen Neuronen einen Zusammenballungseffekt des Eingaberaums bei 0 oder 1. Schließlich werden die Neuronen in der Ausgabeschicht zur Berechnung der Ausgabewerte gemäß den einzelnen Klassenwerten zugeordneten Gewichten verwendet.
Die Ausgabe des Fuzzy-Logikschemas wird durch Durchführung des folgenden Prozesses berechnet: zunächst wird der Eingaberaum gemäß den Zugehörigkeitsfunktionen der Voraus setzungen, wie in Fig. 7(b) gezeigt, unterteilt. In diesem Fall nimmt die Unterteilung des Eingaberaums die Form eines Gitters senkrecht zur Eingabeachse des Eingaberaums an, welches in allgemeinen Umrissen der in Fig. 3(b) veranschaulichten Unterteilung folgt. Als Teil dieses Prozesses wird die Güte der Anpassung für die den einzelnen Voraussetzungen zugeordnete Zugehörigkeitsfunktion berechnet. Diese Berechnung erlaubt es, einen Wert von 0 oder 1 jeder Klasse der Unterteilung zuzuordnen. In einem breiten Sinne zeigt die Güte der Anpassung an die Zugehörigkeitsfunktion für jede Voraussetzung den Effekt einer Zusammenballungsstelle des Eingaberaums bei 0 oder 1. Als nächstes wird eine Regel verwendet, um einen Wert einer jeden Singleton-Schlußfolgerung in jeder Klasse zuzuordnen. Schließlich wird die Güte der Anpassung eines jeden Singletons als sein Gewicht betrachtet, und das Mittel für die Gewichte der Werte, die allen Singletons zugeordnet sind (die Werte, die allen Klassen zugeordnet sind), aufgefunden. Dieses Mittel wird als der Wert der Ausgaben verwendet.
Der folgende Abschnitt diskutiert, wie der Aufbau des Fuzzy-Logikschemas bestimmt wird, wenn die Daten aus einem Neuronalnetzwerkschema in eine Fuzzy-Darstellung umgewandelt werden, und wie die Struktur des neuronalen Netzwerks bestimmt wird, wenn die Daten von einer Fuzzy-Darstellung in ein neuronales Netzwerk umgewandelt werden. In unserem Beispiel einer Fuzzy-Struktur sind die Zugehörigkeitsfunktionen, die den Voraussetzungen für jede Eingabe zugeordnet sind, alle identisch. In den in den Fig. 8(a) und 8(b) gezeigten Beispielen haben sowohl das neuronale Netzwerk als auch die Fuzzy-Darstellung duale Eingaben und eine einzige Ausgabe und die Anzahl von Neuronen pe2 in der medialen Schicht des neuronalen Netzwerks ist 2.
Die Struktur des Fuzzy-Logikschemas wird bestimmt, wenn die Datendarstellung aus einem neuronalen Netzwerkschema in ein Fuzzy-Logikschema umgewandelt wird, indem der folgende Prozeß durchgeführt wird. Zunächst wird der Anfangswert der Anzahl von Zugehörigkeitsfunktionen MFi, die den Fuzzy-Voraussetzungen zuzuordnen sind, gemäß der Anzahl von Neuronen Pe2 in der medialen Schicht des neuronalen Netzwerks eingestellt. In diesem Fall kann, wenn die Neuronen in der medialen Schicht sich virtuell orthogonal mit einer einzelnen Eingabeachse im Eingaberaum, wie in Fig. 8(a) gezeigt, schneiden, der Wert von MFi mit der folgenden Formel bestimmt werden:
MFi = pe2 + 1
Der Anfangswert für MFi ist der Maximalwert für die Anzahl von Funktionen, die erforderlich sind, um von einem neuronalen Netzwerk zu einer Fuzzy-Darstellung überzugehen, wenn der Eingaberaum im neuronalen Netzwerk orthogonal zur Eingabeachse des Raums unterteilt ist.
Es gibt jedoch viele Fälle, in welchen die Anzahl von Zugehörigkeitsfunktionen, die tatsächlich für die Fuzzy- Voraussetzungen benötigt werden, nicht die gleiche wie der Anfangswert MFi ist. Beispielsweise ist in dem in Fig. 8(b) veranschaulichten Fall die Anzahl von Zugehörigkeitsfunktionen, die den Fuzzy-Voraussetzungen zugeordnet sind, kleiner als erwartet, und die Fuzzy-Verarbeitung muß gekürzt werden. In dem in Fig. 8(c) gezeigten Fall jedoch ist die Anzahl von Zugehörigkeitsfunktionen, die den Fuzzy-Voraussetzungen zugeordnet sind, größer als erwartet, und wir stehen vor dem Problem, wie eine Fuzzy-Schlußfolgerung mit annehmbarer Genauigkeit erzeugt werden kann.
Um sich dieser Probleme anzunehmen, wird die Anzahl von Zugehörigkeitsfunktionen, die den Fuzzy-Voraussetzungen zugeordnet sind, während des Fuzzy-Lernens mittels des in den Fig. 2(a) und 2(b) veranschaulichten Systems modifi ziert, so daß die optimale Anzahl von Zugehörigkeitsfunktionen festgestellt wird.
Wenn das Fuzzy-Lernen mit der Anzahl von Zugehörigkeitsfunktionen, die Fuzzy-Voraussetzungen zugeordnet sind, an ihrem Anfangswert abgeschlossen wird, wird die Anzahl von Zugehörigkeitsfunktionen im Schritt 276 (Fig. 2(b)) reduziert und das Fuzzy-Lernen wiederholt durchgeführt. Wenn das Fuzzy-Lernen nicht abgeschlossen ist oder wenn der Wert von MF im Schritt 284 nach 1 geht, kommt das Fuzzy-Lernen zu einem Halt im Schritt 236 (Fig. 2(a)). Der Satz von Fuzzy- Parametern in dem Zeitpunkt, wenn die Anzahl von den Fuzzy- Voraussetzungen zugeordneten Zugehörigkeitsfunktionen ihren niedrigsten Wert erreicht hat, wird als das Ergebnis des Fuzzy-Lernens 282 genommen.
Wenn das Fuzzy-Lernen nicht mit der Anzahl von Zugehörigkeitsfunktionen, die Fuzzy-Voraussetzungen zugeordnet sind, auf ihrem Anfangswert abgeschlossen wird, wird die Anzahl von Zugehörigkeitsfunktionen im Schritt 278 erhöht und das Fuzzy-Lernen wiederholt durchgeführt. Das Fuzzy- Lernen hört auf, wenn es abgeschlossen worden ist. Der Satz von Fuzzy-Parametern zu dem Zeitpunkt, wenn die Anzahl von Zugehörigkeitsfunktionen, die Fuzzy-Voraussetzungen zugeordnet sind, ihren niedrigsten Wert erreicht hat, wird als das Ergebnis des Fuzzy-Lernens, wie oben beschrieben, bei 282 genommen.
Da obiges Schema die Anzahl von Fuzzy-Schlußfolgerungen zugeordneten Zugehörigkeitsfunktionen MFi gemäß der Anzahl von Neuronen pe&sub2; in der medialen Schicht des neuronalen Netzwerks einstellt, kann das Lernen mit dieser Anzahl von Zugehörigkeitsfunktionen in Gang gesetzt werden. Es wird also ein Wert bestimmt, der in einem gewissen Ausmaß die Komplexität von Zusammenballungen im Eingaberaum berücksichtigt. In vielen Fällen erfordert das obige Schema weniger Lernzyklen als eines, welches Lernen mit der Anzahl von den Fuzzy- Voraussetzungen zugeordneten Zugehörigkeitsfunktionen auf einem Wert (beispielsweise 2), der vorher eingestellt worden ist, beginnt. Es ist natürlich gleichermaßen möglich, die optimale Anzahl von Zugehörigkeitsfunktionen durch Initiieren des Lernens anhand eines Werts, der vorher eingestellt worden ist, zu bestimmen.
Die Struktur des neuronalen Netzwerks wird, wenn die Datendarstellung aus einem Fuzzy-Schema in ein Neuronalnetzwerkschema umgewandelt wird, durch Durchführen des folgenden Prozesses bestimmt.
Wie in Fig. 7 zu sehen, werden die Unterteilungen des Eingaberaums im neuronalen Netzwerk durch eine lineare Form ausgedrückt. Es ist also allgemein richtig, daß ein neuronales Netzwerk die Häufung im Eingaberaum besser ausdrücken kann als eine Fuzzy-Darstellung, wie dies in Fig. 8(c) zu sehen ist. Die Anzahl von Neuronen pe&sub2; in der medialen Schicht des neuronalen Netzwerks wird auf ihre Minimaleinheit, 2, gesetzt. Der Anfangswert von 2 für die Anzahl von Neuronen der medialen Schicht stellt praktisch das niedrigstmögliche Niveau dar, den dieser Wert annehmen kann. Der optimale Wert für die Anzahl von Neuronen in der medialen Schicht des neuronalen Netzwerks wird durch Beginnen mit diesem Minimalwert und Erhöhung desselben gemäß dem nachstehend erläuterten Prozeß bestimmt.
Wenn das Neuronalnetzwerk-Lernen mit der Anzahl von Neuronen der medialen Schicht des neuronalen Netzwerks auf ihrem Anfangswert abgeschlossen wird, wird der Satz von Parametern des neuronalen Netzwerks in diesem Zeitpunkt als das Ergebnis des Neuronalnetzwerk-Lernens verwendet. Wenn das Neuronalnetzwerk-Lernen nicht mit der Anzahl von Neuronen in der medialen Schicht des neuronalen Netzwerks auf ihrem Anfangswert abgeschlossen wird, wird die Anzahl von Neuronen erhöht und das Neuronalnetzwerk-Lernen wiederholt durchgeführt. Das Neuronalnetzwerk-Lernen hört auf, wenn es abgeschlossen worden ist. Der Satz von Neuronalnetzwerkparametern für die Anzahl von Neuronen in der medialen Schicht in diesem Zeitpunkt wird als das Ergebnis des Lernens verwendet.
Beispiele, wie die Erfindung verwendet werden kann, und ihre Effekte werden nachstehend beschrieben.
Um die Datendarstellung aus einem Fuzzy-Logikschema in ein Neuronalnetzwerkschema umzuwandeln, katalogisiert ein Mensch Fuzzy-Wissen in grober Weise als Regeln und Zugehörigkeitsfunktionen. Als nächstes wird die Fuzzy-Darstellung in eine Neuronalnetzwerkdarstellung umgewandelt. Schließlich lernt das neuronale Netzwerk unabhängig unter Verwendung der Neuronalnetzwerk-Lerndaten (Eingabe-Ausgabe-Daten). Infolgedessen kann das neuronale Netzwerk unter Verwendung von Fuzzy-Wissen, das roh durch einen Menschen eingegeben worden ist, initialisiert werden. Es ist also weniger Zeit für das unabhängige Lernen des neuronalen Netzwerks erforderlich, und das Lernen kann endgültig beendet werden. Ferner können in unabhängigen Lernfähigkeiten des neuronalen Netzwerks die Einzelheiten der Eingabe-Ausgabe-Beziehung des Systems anhand des von einem Menschen eingegebenen Fuzzy-Wissens gewonnen werden. Je mehr Fuzzy-Wissen geliefert wird, umso besser kann die Beziehung definiert werden. Der Mensch ist also davon befreit, von Trial-and-error-Techniken zur Feinabstimmung der Parameter des Fuzzy-Wissens abhängen zu müssen. Schließlich kann die Eingabe-Ausgabe-Beziehung eines neuronalen Netzwerks mit größerer Präzision als derjenigen einer Fuzzy-Darstellung ausgedrückt werden. Es ist also zum Vorteil des Benutzers, ein neuronales Netzwerk für wirkliche Anwendungen zu verwenden.
Um die Datendarstellung aus einem Neuronalnetzwerk- in ein Fuzzy-Logikschema umzuwandeln, wird die Erfindung folgendermaßen verwendet: zunächst lernt das neuronale Netzwerk unabhängig (siehe Fig. 2(b), Schritte 224-234) unter Verwen dung der Neuronalnetzwerk-Lerndaten (Schritt 230, Eingabe- Ausgabe-Daten). Als nächstes wird die Neuronalnetzwerkdarstellung in eine Fuzzy-Darstellung umgewandelt, Schritte 214-222 (Fig. 2(b)) und Schritte 256-266 (Fig. 2(b)). Infolgedessen ist der Prozeß des Berechnens, wie man von der Eingabe zur Ausgabe gelangt, in einem Fuzzy-System verständlicher für einen Menschen als in einem neuronalen Netzwerk. Es ist also vorteilhaft, in ein Fuzzy-System umzuwandeln, um das Ergebnis des Lernens mit dem neuronalen Netzwerk zu verifizieren. (Dies kann als Weg verwendet werden, die Resultate des Neuronalnetzwerk-Lernens darzulegen.)
Es gibt zahlreiche Anwendungen der Fuzzy/Netzwerk-Umwandlungsvorrichtung. Ein Beispiel für eine einfache Anwendung ist diejenige zum Vorsehen einer Regelung für ein umgedrehtes Pendel. Wie in Fig. 8(d) gezeigt, ist das Regelziel ein Pendel 802 in vertikaler Stellung (θ = 0) durch horizontales Bewegen eines Wagens 804, wie durch einen Doppelpfeil 806 angedeutet, zu halten. Im einzelnen wird ein Regelsystem, das die vorliegende Erfindung verwirklicht, vorgesehen und ist in Fig. 8(e) gezeigt. Die Position 0 des Pendels 802 wird mittels eines (nicht gezeigten) Potentionmeters gemessen. Ein Motor 808 wird zur Regelung der Position des Pendels 802 verwendet.
Die Pendellage wird durch einen Fuzzy-Regler 810 geregelt, der ein Regelungssignal y(t) für den Motor 808 erzeugt. Die Regelungssignalausgabe y(t) beruht auf einer Eingabe x(t), die die Lage des Pendels darstellt. Der Pendelregler kann allein als Fuzzy-Logikvorrichtung verwirklicht sein, die Regelungsabstimmung für einen Fuzzy-Regler ist jedoch schwierig. Dementsprechend wird eine Fuzzy-auf- Neuronalnetzwerk-Umwandlungsvorrichtung 812 gemäß den oben beschriebenen Prinzipien der Erfindung vorgesehen, um ein abgestimmtes Regelungssignal zu erzielen, das genauer und wirkungsvoller das Regelungsziel erreicht. In diesem Bei spiel empfängt die Umwandlungsvorrichtung 812 als Eingaben Proben-Eingabe/Ausgabe-Signale 814 vom Fuzzy-Regler 810 und Reglerparameter 816. Die Umwandlungsvorrichtung ihrerseits erzeugt abgestimmte Regelungsparameter 818, die dann als Ausgabe y(t) für den Regelmotor 808 vorgesehen werden.
Bezugnehmend nun auf Fig. 9, ist eine Vorrichtung zur Durchführung des oben diskutierten Datenoptimierungsprozesses gezeigt. Es kann die in den Fig. 9-12 gezeigte Datenoptimierungstechnik (in Schritt 256) bei dem Fuzzy-Neuronalnetzwerk-Umwandlungsschema der vorliegenden Erfindung verwendet werden, andere Datenoptimierungsprozesse können jedoch auch verwendet werden. Der Datenoptimierungsprozeß kann auch auf andere Systeme und Umgebungen angewandt werden. Eines der Ziele des Iterated Downhill Simplex Systems ist es, eine Einrichtung zu schaffen, mit der Anfangswerte einer Datenfolge als Anfangspunkt einer Suche eingestellt werden können, die Downhill Simplex Prozedur für die Suche nach der Datenkombination, welche eine Auswertefunktion minimalisiert, durchgeführt werden kann, wobei die Suche an einem gegebenen Datensatz begonnen und nach der DS-Methode durchgeführt wird, ein Auswertewert für eine Auswertfunktion der Datenfolge berechnet werden kann und beurteilt werden kann, ob die DS-Prozedur, die zur Suche nach der optimalen Datenkombination verwendet wird, erneut verwendet oder abgeschlossen werden sollte.
Fig. 9 zeigt, wie die Komponenten 400 organisiert sind. Die in Fig. 9 gezeigten Komponenten können entweder Prozeßschritte, wie in Fig. 10 gezeigt, darstellen, oder können in einem einzigen Rechner oder als mehrere Rechner vorgesehen sein. Die IDS setzt sich aus einer Vorrichtung, die die Anfangswerte 402 einer Datenfolge als Ausgangspunkt einer Suche einstellt, und einer Vorrichtung zur Durchführung der DS-Prozedur 404, die nach einer Kombination von Daten, die eine Auswertefunktion minimalisieren, sucht. Die Suche be ginnt für einen gegebenen Datensatz und setzt sich gemäß der DS-Methode fort. Es ist auch eine Vorrichtung enthalten, die einen Auswertewert 406 für eine Auswertefunktion 410 der Datenfolge berechnet. Eine Beurteilungsvorrichtung 408 bestimmt dann, ob die DS-Prozedur, die zur Suche nach der optimalen Datenkombination verwendet wurde, erneut durchgeführt oder beendet werden sollte. Die Vorrichtungen zur Durchführung der DS-Prozeduren können entweder in Hardware oder als Computer-Software gestaltet sein. Das Ziel der Vorrichtung ist es, eine Datenfolge zu durchsuchen, um die Kombination der Daten durch Minimierung einer vorher spezifizierten Auswertefunktion zu optimieren. Die Operationsschritte 500, die von der Vorrichtung 400 in einer Realisierung als programmierter Rechner verwendet werden, sind unten beschrieben und in Fig. 10 gezeigt.
Nach dem Start im Schritt 502 setzt in Schritt 504 die Vorrichtung 402 zur Einstellung einer Bedingung (Fig. 9) die Anfangswerte X0i für die zu optimierende Datenfolge. Diese Werte werden regellos folgendermaßen eingestellt:
X0i = (x0i1, x0i2, ..., x&sub0;&sub1;m): Anfangswerte von Datenfolge Nr. i
i = 1, 2, ..., n: Reihenfolge der Datenfolge
m = n + 1
Als nächstes, im Schritt 506, ist die von der Vorrichtung 402 zum Einstellen von Bedingungen gesetzte Datenfolge bezeichnete Datenfolge Xi für die Vorrichtung 404, welche die DS-Prozedur durchführt.
Xi = (xi1, xi2, ..., xim): Datenfolge Nr. i
Xi = X0i
Die Anordnung der Daten in dieser Datenfolge ist in Fig. 12 gezeigt.
Im Schritt 508 wird der Auswertewert Ei für die Datenfolge Xi in der Vorrichtung, welche die DS-Prozedur 404 durchführt, mit der Berechnungsvorrichtung 406 berechnet:
Ei = f (Xi): Auswertewert für Datenfolge Xi
f(.) : Auswertefunktion
Im Schritt 510 werden die Datenfolgen Xi so angeordnet, daß sie in absteigender Reihenfolge ihres Auswertewerts Ei sind.
E&sub1; < E&sub2; < ... < En
Im Schritt 512 wird die Datenfolge mit dem größten Auswertewert Ei als der Schwerpunkt der anderen Datenfolgen betrachtet.
Im Schritt 514 wird eine Umkehrung des Simplex-Vorgangs durchgeführt. Die Datenfolge mit dem höchsten Auswertewert Xn wird zur entgegengesetzten Seite des Schwerpunkts C bewegt.
Xr = C + α(C - Xn)
α > 0
Im Schritt 516 wird der Auswertewert Er dann für die Datenfolge Xr durch die Berechnungsvorrichtung 406 berechnet, nachdem diese Datenfolge bewegt worden ist.
Wenn Im Schritt 518 E&sub1; ≤ Er ≤ En-1 (wenn der Auswertewert klein ist), wird Xr = dann auf Xn geändert, so daß im Schritt 520 Xn = Xr (eine Post-Umkehr-Simplex-Prozedur wird verwen det), und der Prozeß geht nach dem unten stehenden Schritt 538 weiter.
Im Schritt 522 wird, wenn Er < E&sub1; (wenn der Auswertewert sehr klein ist) die Simplex-Prozedur dann erweitert. Der Abstand zwischen Datenfolge Xr und dem Schwerpunkt C wird vermindert und Xrr im Schritt 524 gewonnen.
Xrr = C + α(Xr - C)
α > 1
(Wenn Er ≥ E&sub1;, wie im Schritt 522 festgestellt, geht der Prozeß nach dem unten stehenden Schritt 534 weiter.)
Im Schritt 526 wird der Auswertewert Err für die Datenfolge Xrr, nachdem die Datenfolge bewegt worden ist, mit der Vorrichtung 406 berechnet.
Im Schritt 528 wird, wenn Err < E&sub1; (der Auswertewert noch kleiner geworden ist), Xrr dann auf Xn geändert, derart, daß im Schritt 530 Xn = Xrr (eine Postexpansions-Simplex-Methode wird verwendet). Die Operationen gehen dann nach Schritt 538 weiter.
Wenn Err ≥ E&sub1; im Schritt 528 (wenn der Auswertewert nicht ganz klein geworden ist), dann wird im Schritt 532 Xr nach Xn geändert, derart, daß im Schritt 532 Xn = Xr (eine Post-Umkehr-Simplex-Methode wird verwendet). Der Vorgang geht dann nach Schritt 538 weiter.
Wenn andererseits im Schritt 522 Er ≥ E&sub1; und in Schritt 524 E ≥ En (wenn der Auswertewert größer geworden ist), dann wird in der Simplex-Methode der Abstand zwischen der Datenfolge Xn und dem Schwerpunkt C weiter zusammengezogen. Xc wird dann im Schritt 536 gewonnen:
Xc = C + β(Xn - C)
0 < β < 1
Im Schritt 534 wird, wenn Er < En (der Auswertewert wird nicht viel kleiner), die Simplex dann weiter kontrahiert, der Abstand zwischen Datenfolge Xr und Schwerpunkt C reduziert und Xc im Schritt 544 gewonnen.
Xc = C + β (Xr - C)
0 < β < 1
Im Schritt 546 wird der Auswertewert Ec für die Datenfolge Xc, nachdem die Datenfolge bewegt worden ist, durch die Vorrichtung 406 berechnet.
In Schritt 548 wird, wenn zu diesem Zeitpunkt
Ec ≤ Min{Er, En}
(der Auwertewert ist kleiner geworden) Xc nach Xn geändert, derart, daß im Schritt 550 Xn = Xc (eine Postkontraktions- Simplex wird verwendet), und der Vorgang geht nach dem unten stehenden Schritt 538 weiter.
Wenn dies nicht der Fall ist (wenn der Auswertewert größer als das Minimum von Er, En ist), dann geht der Vorgang nach Schritt 538 weiter.
Im Schritt 538 wird der Grad der Zentralisierung aller Datenfolgen Xi durch die Beurteilungsvorrichtung 408 untersucht. Wenn die Beurteilungsvorrichtung 408 schließt, daß der Grad von Zentralisation größer als ein gegebener Wert A, wie durch die Gleichung unten definiert, ist (wenn er nicht ausreichend zentralisiert ist), kehrt die Verarbeitung dann zu dem oben beschriebenen Schritt 510 zurück.
wobei A das Ausmaß der Zentralisierung aller Datenfolgen Xi, die zum Abschließen eines Zyklus der DS-Methode benötigt werden, ist.
Im Schritt 540 wird die Auswertefunktion der Datenfolge untersucht. Wenn sie kleiner als ein gegebener Wert E&sub0; ist derart, daß Ei ≤ E&sub0; (wenn die optimale Lösung gefunden worden ist), wird die IDS-Prozedur (der gesamte Prozeß) durch die Beurteilungsvorrichtung 408 im Schritt 542 abgeschlossen.
Wenn Ei > E&sub0; im Schritt 540 (wenn die optimale Lösung nicht gefunden worden ist), dann kehrt die Verarbeitung zu Schritt 504 zurück.
Obiges ist die Reihenfolge der Verarbeitung, die von der Vorrichtung 400 zur Optimierung einer in dieser Anmeldung beschriebenen Kombination von Daten verwendet wird.
Schritte 508 bis 538 bilden die Verarbeitungsschritte der DS-Methode. Die meisten von ihnen werden von der Vorrichtung 404 zur Durchführung der DS-Prozedur und der Vorrichtung 406 zur Berechnung von Auswertewerten ausgeführt.
Allgemein gesprochen, liefert die DS-Methode eine kürzere Suchzeit auf Kosten der Tatsache, daß sie nicht in der Lage ist, eine weite Durchsuchung des von der Datenfolge eingenommenen Raumes durchzuführen. Infolgedessen ist sie nicht stets in der Lage, die optimale Lösung zu produzieren. Durch Hinzufügen der oben beschriebenen Schritte 504, 506 und 540 kann jedoch die DS-Prozedur von verschiedenen Ausgangspunkten aus angewandt werden. Dies führt zu einer DS- Prozedur, die eine weite Durchsuchung des von der Datenfolge eingenommenen Raumes durchführen kann. Die Durchführung von dieser Art von Durchsuchung erhöht stark die Wahrscheinlichkeit, die optimale Lösung aufzufinden.
Ein Beispiel der Operationen der DS-Methode wird nachfolgend diskutiert, derart, daß die Anzahl von Datenfolgen 3 (n = 3) und die Anzahl von Daten in jeder Folge 2 (n = 2) ist.
Das folgende zeigt die Reihenfolge von Operationen, die zur Bewegung von Datenfolgen bei der DS-Prozedur verwendet werden.
1) Eine Simplex wird aus Datenfolgen X&sub1;, X&sub2; und X&sub3; gebildet (Schritte 504, 506).
2) X&sub3;, die Folge mit dem größten Auswertewert, wird außer Betracht genommen, und der Schwerpunkt C für X&sub1; und X&sub2; aufgefunden (Schritte 508-512).
3) Die Simplex wird invertiert (Datenfolge X&sub3; wird nach Xr, der entgegengesetzten Seite des Schwerpunkts C bewegt) (Schritte 514-516).
4) Wenn E&sub1; ≤ Er ≤ E&sub2;, dann nimmt der Auswertewert ab, Xr wird nach X&sub3; geändert (eine Postinversions-Simplex wird verwendet) (Schritte 518, 520).
5) Wenn Er < E&sub1;, dann ist der Auswertewert extrem klein geworden, und die Simplex wird weiter expandiert (der Abstand zwischen Datenfolge Xr und Schwerpunkt C wird reduziert und der Wert von X = r aufgefunden). Wenn zu dieser Zeit Err < E&sub1; (der Auswertewert wird immer noch kleiner), dann wird Xrr nach X&sub3; geändert (eine Postexpansions-Simplex wird verwendet). Wenn dies nicht der Fall ist (wenn der Auswertewert nicht viel kleiner wird), dann wird Xr nach X&sub3; geändert (eine Postinversions-Simplex wird verwendet) (Schritte 522, 524 und 526)
6) Wenn E&sub2; < Er und E&sub3; ≤ Er (wenn der Auswertewert groß wird), dann wird die Simplex weiter kontrahiert (der Abstand zwischen der Datenfolge X&sub3; und dem Schwerpunkt C wird vermindert und der Wert von Xc gewonnen) (Schritte 522, 524 und 536). Wenn zu dieser Zeit Ec ≤ E&sub3; (wenn der Auswertewert abnimmt), dann wird Xc nach X&sub3; geändert (eine Postkontraktions-Simplex wird verwendet) (Schritt 550). Wenn dies nicht der Fall ist (wenn der Auswertewert größer wird), wird Xr nach X&sub3; geändert (eine Post- Inversions-Simplex wird verwendet) (Schritt 538).
7) Wenn E&sub2; < Er und Er < E&sub3; (wenn der Auswertewert nicht sehr zunimmt), dann wird die Simplex weiter kontrahiert (der Abstand zwischen der Datenfolge Xr und dem Schwerpunkt C wird vermindert und der Wert von Xc gewonnen) (Schritt 544). Wenn zu dieser Zeit Ec ≤ E&sub3; (wenn der Auswertewert abnimmt), dann wird Xc nach X&sub3; geändert (eine Postkontraktions-Simplex wird verwendet) (Schritt 550). Wenn dies nicht der Fall ist (wenn der Auswertewert wächst), wird Xr nach X&sub3; geändert (eine Postinversions-Simplex wird verwendet).
Durch Wiederholen der oben beschriebenen Verarbeitungsreihenfolge bewegt die Verarbeitung die Simplex in der Richtung, die eine Abnahme des Auswertewerts bewirkt. Wenn sich die Simplex auf einen bestimmten Grad zusammenzieht, kommt die DS-Prozedur zu einem Ende.
Die vorstehend beschriebene Methode ist in den Fig. 10- 11 in größeren Einzelheiten veranschaulicht.
Es wurde hier nur eine bevorzugte Ausführungsform speziell beschrieben und dargestellt, es ist aber einsichtig, daß viele Modifikationen und Abwandlungen der vorliegenden Erfindung im Lichte der obigen Lehre und im Rahmen der beigefügten Ansprüche möglich sind, ohne den Schutzbereich der Ansprüche zu verlassen.

Claims

1. Vorrichtung (100, 150, 190) zur automatischen Umwandlung von Daten, die ein neuronales Netzwerk beschreiben, in Daten, die eine Beziehung von Fuzzy-Variablen beschreiben, mit

einem Speicher (1) zur Speicherung von Daten, die das Verhalten eines neuronalen Netzwerks beschreiben,

Mitteln (2) zum Wiederauffinden der das Verhalten eines neuronalen Netzwerks beschreibenden gespeicherten Daten,

Mitteln (5), die auf die wiedergewonnenen Daten ansprechen, zur Bestimmung von Anfangsdaten, die eine Beziehung von Fuzzy-Variablen definieren,

Mitteln (14) zum Aufgeben der Fuzzy-Variablen auf einen Fuzzy-Prozessor,

Mitteln (4) zum Erzeugen von charakteristischen Eingangswerten für den Fuzzy-Prozessor,

Berechnungsmitteln (6) zum Auswerten der Annäherungsgenauigkeit zwischen dem Neuronalnetzwerk- und dem Fuzzy- Prozessor, und

Neuronalnetzwerk-Fuzzy-Umwandlungsmitteln (8) zur Bestimmung von Parametern der Fuzzy-Logik und zur dynamischen Änderung einer Anzahl von Zugehörigkeitsfunktionen beruhend auf der berechneten Auswertungsannäherung, derart, daß die Neuronalnetzwerksdarstellung und die Beziehung der Fuzzy- Variablen entsprechenden dynamischen Inhalt haben.

2. Vorrichtung nach Anspruch 1, wobei der Speicher (1) Anfangsneuronalnetzwerksdaten, ein Gewicht der Neuronen des neuronalen Netzwerks, die zwischen einer Eingangsschicht und einer Mittelschicht liegen, ein Gewicht der Neuronen, die zwischen der Mittelschicht und einer Ausgangsschicht liegen, und die Anzahl von Neuronen in dem neuronalen Netzwerk spei chert.

3. Vorrichtung nach Anspruch 2, wobei die auf die wiederaufgefundenen Daten ansprechenden Mittel (5) Anfangsparameter für Fuzzy-Variable beruhend auf den Neuronalnetzwerksdaten, die in dem Speicher gespeichert sind, einstellen, wobei die Parameter die Anzahl von Fuzzy-Eingangszugehörigkeitsfunktionen, die Anzahl von Fuzzy-Ausgangszugehörigkeitsfunktionen und die Koordinatenwerte von Singletons für Fuzzy-Schlüsse in Bezug auf die Ausgangszugehörigkeitsfunktionen enthalten.

4. Vorrichtung nach Anspruch 3, wobei die auf die wiederaufgefundenen Daten ansprechenden Mittel (5)

Eingangseinstellmittel (5, 220) zum Einstellen einer Anzahl von Eingaben in das Fuzzy-System, die gleich einer Anzahl von Neuronen in dem neuronalen Netzwerk ist,

Eingangszugehörigkeitsfunktionsaddiermittel (5, 220) zur Bestimmung der Fuzzy-Eingangszugehörigkeitsfunktionen durch Addieren einer Konstanten zu der eingestellten Anzahl von Neuronen zwischen der Eingangsschicht und der Mittelschicht,

Fuzzy-Systemausgabeeinstellmittel (5, 220) zum Einstellen der Anzahl von Ausgaben für das Fuzzy-System, die gleich der Anzahl von Neuronen zwischen der Mittelschicht und der Ausgangsschicht ist, und

Ausgangszugehörigkeitsbestimmungsmittel (5, 220) zur Berechnung der Ausgangszugehörigkeitsfunktionen beruhend auf den Eingangszugehörigkeitsfunktionen und der Anzahl von Eingaben enthält.

5. Vorrichtung nach Anspruch 4, wobei die Mittel (4) zur Erzeugung charakteristischer Eingangswerte ferner Grenzpunktbestimmungsmittel (4, 242) zur Bestimmung der kleinsten und größten Punkte für jede Fuzzy-Zugehörigkeitsfunktion, deren Zugehörigkeitswerte 1,0 und 0,5 sind,

Grenzpunktsammelmittel zum Sammeln von Schnitten aller Eingangswerte enthält.

6. Vorrichtung nach Anspruch 1, welche ferner Mittel (3, 254) zur Erzeugung von charakteristischen Fuzzy-Ausgangswerten für den Fuzzy-Prozessor (170) aufweist, wobei die Fuzzy-Ausgangswerte durch Auswertung von Ausgaben aus einer Mittelschicht von Neuronen aus den wiederaufgefundenen gespeicherten Daten, die den charakteristischen Fuzzy-Eingangswerten entsprechen, so daß ein Fuzzy-Schlußfolgerungsergebnis für jeden betreffenden Eingangswert berechnet wird, erzeugt werden.

7. Vorrichtung nach Anspruch 6, wobei der Fuzzy-Prozessor (170) die Fuzzy-Ausgangswerte an die Berechnungsmittel (6) liefert, um ein durch den Fuzzy-Ausgangswert dargestelltes Ergebnis mit einer bestimmten Auswertschwelle zu vergleichen, so daß die Parameter für die Fuzzy-Variablen durch die Neuronalnetzwerk-Fuzzy-Umwandlungsmittel (8) modifiziert werden, wenn das Ergebnis nicht mit der Auswertschwelle zusammenpaßt.

8. Vorrichtung nach Anspruch 7, welche ferner Auswertschwellenbestimmungsmittel zum Einstellen der Auswertschwelle beruhend auf einer Anzahl von Lernzyklen in dem neuronalen Netzwerk aufweist.

9. Vorrichtung (100, 150, 190) zur automatischen Umwandlung von Daten, die eine Fuzzy-Schlußfolgerung beschreiben, in Daten, die ein neuronales Netzwerk definieren, mit

einem Speicher (14) zur Speicherung von Fuzzy-Daten,

Fuzzy-Schlußfolgerungsmitteln (3) zum Wiederauffinden der gespeicherten Daten, die die Fuzzy-Schlußfolgerung beschreiben,

Mitteln (5), die auf die wiederaufgefundenen Fuzzy- Schlußfolgerungsdaten ansprechen, zur Bestimmung einer Beziehung von Neuronalnetzwerksvariablen,

Mitteln (5) zum Aufgeben der Neuronalnetzwerksvariablen auf einen Neuronalnetzwerkprozessor (160),

Auswertmitteln (6) zur Auswertung, ob das bestimmte neuronale Netzwerk innerhalb eines spezifizierten Grades von Sicherheit in Bezug auf eine Lösung für die Fuzzy-Schlußfolgerung liegt, und

Fuzzy-Neuronal-Umwandlungmitteln (7) zum Umwandeln der Fuzzy-Parameter in einer Neuronalnetzwerkdarstellung der Fuzzy-Schlußfolgerungsdaten.

10. Verfahren zur automatischen Umwandlung von Daten, die ein neuronales Netzwerk beschreiben, in Daten, die eine Beziehung von Fuzzy-Variablen beschreiben, wobei das Verfahren folgende Schritte aufweist:

Speichern von Daten, die das Verhalten eines neuronalen Netzwerks beschreiben;

Wiederauffinden der das Verhalten eines neuronalen Netzwerks beschreibenden gespeicherten Daten;

Bestimmen, ansprechend auf die wiederaufgefundenen Daten, von Anfangsdaten, die eine Beziehung von Fuzzy-Variablen definieren;

Aufgeben der Fuzzy-Variablen auf einen Fuzzy-Prozessor;

Erzeugen von charakteristischen Eingangswerten für den Fuzzy-Prozessor;

Auswerten der Annäherungsgenauigkeit zwischen dem Neuronalnetzwerk- und dem Fuzzy-Prozessor; und

Bestimmen von Parametern der Fuzzy-Logik und dynamisches Ändern einer Anzahl von Zugehörigkeitsfunktionen beruhend auf der berechneten Auswertungsannäherung, derart, daß die Neuronalnetzwerksdarstellung und die Beziehung der Fuzzy-Variablen entsprechenden dynamischen Inhalt haben.