DE19528984C1 - Verfahren zur Nachbildung von insbesondere dreieck- oder trapezförmigen Zugehörigkeitsfunktionen bei der Transformation eines Fuzzy-Systems in ein neuronales Netz - Google Patents

Description

Neuro-Fuzzy-Systeme stellen eine Kombination von Fuzzy-Syste­ men und neuronalen Netzen dar. Hiermit können die Nachteile von Fuzzy-Systemen und von neuronalen Netzen kompensiert wer­ den. Eine Möglichkeit für eine derartige Kombination besteht darin, ein Fuzzy-System in ein neuronales Netz zu transfor­ mieren, um das System "lernfähig", d. h. selbstoptimierend, zu machen. Die aufwendige Optimierung des Fuzzy-Systems kann dann automatisiert werden durch Optimierungsalgorithmen, welche mit dem Neuro-Fuzzy-System unter Zuhilfenahme eines Computers ausführbar sind.

Für die Umsetzung der Komponenten eines Fuzzy-Systems in die Strukturen eines neuronalen Netzes sind verschiedene Verfah­ ren bekannt. Ein Fuzzy-System besteht bekanntlich aus den drei Komponenten "Fuzzifizierung", "Regelwerk" und "Defuzzi­ fizierung". Alle drei können mit bestimmten Neuronentypen abgebildet werden. Der prinzipielle Aufbau eines Neuro-Fuzzy- Systems, d. h. die einzelnen Komponenten eines Fuzzy-Systems innerhalb eines Neuro-Fuzzy-Netzes, sind in Fig. 1 darge­ stellt.

Zur "Fuzzifizierung" werden entweder "z"-förmige, "s"-för­ mige, trapez- oder dreieckförmige Zugehörigkeitsfunktionen verwendet. Deren Abbildung in ein neuronales Netz erfolgt mit Sigmoid- oder Gaußfunktionen. Im Beispiel der Fig. 1 sind symbolisch als Kreise dargestellte Neuronen mit Sigmoid-Funk­ tionen S verwendet. Am Rand des Wertebereichs lassen sich "z"- bzw. "s"-förmige Zugehörigkeitsfunktionen durch Sigmoid­ funktion annähern. Dreieck- oder trapezförmige Zugehörig­ keitsfunktionen können durch Überlagerung von zwei Sigmoid­ funktionen nachgebildet werden. Die Überlagerung wird durch die Addition einer positiv und einer negativ zählenden Sig­ moidfunktion realisiert. Im Beispiel der Fig. 1 wird z. B. die mit (+1) bewertete Sigmoidfunktion 1 mit der mit (-1) bewerteten Sigmoidfunktion 2 mit einem Summenneuron 3 zu einer trapezförmigen Zugehörigkeitsfunktion y zusammengefaßt. Dies wird nachfolgend noch näher am Beispiel der Fig. 2 bis 4 erläutert. Einfacher, aber mit der Einschränkung der Freiheitsgrade, lassen sich trapezförmige Zugehörigkeitsfunk­ tionen auch mit einer Gaußfunktion darstellen.

Im Fuzzy-"Regelwerk" werden von der "Fuzzifizierung" bereit­ gestellte Wertigkeiten "klein", "mittel" und "groß" miteinan­ der verknüpft. Dies geschieht in der Regel mit UND-Verknüp­ fungen, welche in der Praxis durch einen Minimum-Operator realisiert werden. Dessen direkte Übertragung in ein Neuron eines Neuro-Fuzzy-Netzes bereitet aber Schwierigkeiten beim sogenannten "Lernen", d. h. bei der Auffindung von Fuzzy-Ge­ wichtsparametern µ und σ, bei denen ein stabiler Endzustand des Systems bei einem möglichst minimalen Gesamtfehler er­ reicht wird. Die Ursache hierfür liegt darin, daß der Minimum- Operator nicht geschlossen differenzierbar ist. Statt des Mi­ nimum-Operators wird bei der Abbildung eines Fuzzy-Systems in ein neuronales Netz häufig in der Komponente "Regelwerk" das Produkt eingesetzt. Dieses hat den Vorteil, daß es eine glat­ te Übertragungsfunktion aufweist und stetig differenzierbar ist. Die Produktfunktion kann direkt in einem Neuron durchge­ führt werden und bereitet beim "Lernen" keine Schwierigkei­ ten. Auch im Beispiel der Fig. 1 sind Produktneuronen π im "Regelwerk" eingesetzt.

Schließlich wird in der Komponente "Defuzzifizierung" des Fuzzy-Systems die Ausgangsgröße y mittels einer Schwerpunkt­ methode bestimmt. Bei Einsatz der sogenannten Singleton- Methode als Schwerpunktmethode reduziert sich die Berechnung in der Komponente "Defuzzifizierung" auf eine normalisierte Summe der Signale von den Produktneuronen π des "Regelwerks". Diese normalisierte Summe kann ebenfalls auf ein Neuron über­ tragen werden, welches im Beispiel der Fig. 1 mit Σⁿ be­ zeichnet ist. Die Abszissen der Singletons werden als Gewich­ te W₁ . . . W₉ der Verbindungen zwischen den Produktneuronen π und dem Ausgangsneuron Σⁿ gespeichert.

Es sind eine Vielzahl von neuronalen Strukturen zur Darstel­ lung von Fuzzy-Systemen gebräuchlich.

Werden gemäß einer ersten Variante für die Fuzzifizierung nur Sigmoid-Funktionen verwendet, so ergibt sich die in Fig. 1 dargestellte grundlegende Struktur für ein Neuro-Fuzzy-Netz. Derartige Strukturen sind beispielsweise aus der DE 42 09 746 oder der US 54 16 888 bekannt). Mit dieser Struktur lassen sich die Zugehörigkeitsfunktionen relativ genau in ein neuronales Netz abbilden. Sowohl "z"-, "s"-, trapez- als auch dreieckförmige Funktionen können mit einem minimalen Fehler in eine neuronale Struktur übertragen werden. Doch besteht ein Nachteil bei der additiven Verknüp­ fung zweier Sigmoidfunktionen, welche bereits oben am Bei­ spiel der Sigmoidfunktionen 1, 2 und dem Summenneuron 3 in Fig. 1 beschrieben wurde. Beim sogenannten "Lernvorgang" werden die Gewichtsparameter µ und σ bei den Sigmoidfunk­ tionen in der Komponente "Fuzzifizierung" variiert. Dabei werden durch den Gewichtsparameter µ die Lage und durch den Gewichtsparameter σ die Form, d. h. Steilheit des Anstiegs oder Abfalls der jeweiligen Sigmoidfunktion bestimmt. Bei dieser Variation der Gewichtsparameter können sich die beiden Sigmoidfunktionen 1 und 2 von Fig. 1 derart gegeneinander verschieben, daß bei der betreffenden Fuzzy-Menge y Interpre­ tationsschwierigkeiten auftreten. Schiebt sich nämlich die negativ eingehende Sigmoidfunktion 2 Vor die positiv zählende Sigmoidfunktion 1, so entsteht eine sogenannte "negative" Fuzzy-Menge y. Hierdurch kann zum einen der Fall auftreten, daß der Lernprozeß "fehlschlägt", indem nämlich das System nicht "konvergiert". Es kann dann kein Satz an Gewichtsfak­ toren gefunden werden, welcher einen stabilen Endzustand des Systems gewährleistet und bei dem der Gesamtfehler des Sy­ stems minimal ist bzw. sogar gegen Null konvergiert. Zum anderen ist durch die "negative" Fuzzy-Menge eine Interpre­ tationslücke entstanden, welche eine Rücktransformation des Neuro-Fuzzy-Systems in ein Fuzzy-System unmöglich macht.

Mit dieser Variante kann ein Fuzzy-System zwar am genauesten in ein Neuro-Fuzzy-System abgebildet werden. Der Nachteil dieser Struktur ist aber, daß während eines Lernvorgangs verhindert werden muß, daß sich die beiden Sigmoidfunktionen, wie in Fig. 4 gezeigt, zu stark gegeneinander verschieben.

Im Diagramm der Fig. 2 sei beispielhaft angenommen, daß die in durchgezogener Linie dargestellte und die linke Flanke des schraffierten Feldes darstellende Kurve der mit +1 bewerteten Sigmoidfunktion 1 und die in gebrochener Linie dargestellte Kurve der mit -1 bewerteten Sigmoidfunktion 2 von Fig. 1 entspricht. Die Fläche unter der vom Summenneuron 3 erzeugten und einer Trapezform ähnlichen Zugehörigkeitsfunktion y ist in Fig. 2 schraffiert. Auf Grund der beschriebenen Variation der Gewichtsfaktoren können die Sigmoidfunktionen aufeinander zugeschoben werden, was in Fig. 2 durch Pfeile dargestellt ist. Hierdurch verkleinert sich die Zugehörigkeitsfunktion y. Ein derartiger Fall ist in Fig. 3 dargestellt, bei der die Funktion y auf Grund der starken Annäherung der beiden Sig­ moidfunktionen eine stark verkleinerte, annähernd dreieck­ förmige Form angenommen hat. Überschneiden sich die Sigmoid­ funktionen wegen einer weiteren Verschiebung, so tritt eine undefinierte negative Fuzzy-Menge auf. Ein derartiger Fall ist in Fig. 4 dargestellt.

Gemäß einer zweiten Variante kann dieses Problem zwar dadurch umgangen werden, daß zur Nachbildung von trapezförmigen Fuzzy-Mengen Gaußübertragungsfunktionen verwendet werden. Dies hat allerdings wiederum der anderen Nachteil, daß da­ durch die Art der darstellbaren Funktionen auf symmetrische Trapeze eingeschränkt wird. Unterschiedliche Steilheiten der Flanken von Zugehörigkeitsfunktionen können mit Gaußfunk­ tionen nicht nachgebildet werden. Werden also bei einem Lern­ prozeß auftretende schiefe Trapeze durch Gaußfunktionen nach­ gebildet, so wird hierdurch ein erhöhter Transformations­ fehler verursacht.

Gemäß einer dritten Variante werden auch Rand-Fuzzy-Mengen mit Gaußneuronen dargestellt. Hierdurch entsteht dann wieder ein Netz mit einheitlichen Zugehörigkeitsfunktionen, wenn die außerhalb des Definitionsbereichs liegenden Funktion unbe­ rücksichtigt bleiben. Im Beispiel der Fig. 5 liegt ein Teil der linken der beiden Gaußfunktionen außerhalb des Defini­ tionsbereiches. Werden diese Funktionen durch Variation der Gewichtsfaktoren während des Lernprozesses in Richtung der in Fig. 5 dargestellten Pfeile verschoben, so können jetzt De­ finitionslücken an den Bereichsrändern entstehen, da Gaußneu­ ronen nur in einem begrenzten Bereich wirken. Dies ist in Fig. 6 dargestellt.

Für die Bildung des Regelwerks werden bei der dritten Varian­ te zwei Gaußneuronen mit einem Produktneuron verknüpft. Wird diese Verknüpfung in einer Gleichung zusammengefaßt und ent­ sprechend umgeformt, so entsteht eine zu einem Gaußneuron mit zwei Eingängen identische Neuronenstruktur, wenn σ₁ = σ₂ = σ ist. "Fuzzifizierung" und "Regelwerk" können also gemäß einer vierten Variante in einem Gaußneuron zusammengefaßt werden. Bei dieser Art von Neuro-Fuzzy-Systemen spricht man auch von RBF-Netzen (Radial Basis Function-Netzen). Dies bewirkt eine wesentliche Vereinfachung der Netzberechnungen und des Lernens. Allerdings treten auch wiederum Einschränkung auf, da mit RBF-Netzen nur noch radialsymmetrische Bereiche erfaßt werden können. Dadurch steigt der Transformationsfehler und die Rücktransformation wird erschwert.

Von der ersten bis zur vierten Variante nimmt die Genauigkeit der Transformation vom Fuzzy-System zum neuronalen Netz ab. Bei der vierten Version kann die neuronale Struktur zwar am leichtesten gehandhabt werden, doch unterliegt diese den größten Einschränkungen.

Der Erfindung liegt somit demgegenüber die Aufgabe zugrunde, ein Verfahren zur Nachbildung von insbesondere dreieck- oder trapezförmigen Zugehörigkeitsfunktionen anzugeben, bei dem insbesondere die bei den oben dargestellten Varianten auftretenden Definitionslücken bei der Transformation eines Fuzzy-Systems in ein neuronales Netz vermieden werden.

Die Aufgabe wird gelöst mit dem Verfahren von Anspruch 1. Vorteilhafte weitere Ausführungsformen sind in den Unteran­ sprüchen angegeben.

Die Erfindung hat den ersten Vorteil, daß bei der Transfor­ mation eines Fuzzy-Systems in ein neuronales Netz alle Frei­ heitsgrade erhalten bleiben. Dies hat zur Folge, daß auch die Abbildung einer die Form eines schiefen Trapezes aufweisenden Zugehörigkeitsfunktion uneingeschränkt möglich ist. Ein wei­ terer Vorteil wird darin gesehen, daß beim Einsatz von Ge­ wichtsparametern µ und σ aus dem gesamten, zulässigen Werte­ bereich während eines Lernvorganges stets interpretierbare Fuzzy-Mengen y auftreten, also undefinierte negative Fuzzy- Mengen vermieden werden. Ein weiterer Vorteil der erfindungs­ gemäßen Verknüpfung von Sigmoidfunktionen besteht darin, daß beim einem Lernvorgang stets ein stabiles, konvergierendes System auftritt. Der Gesamtfehler der Transformation ist klein oder konvergiert gegen Null. Schließlich tritt der Vor­ teil auf, daß die Dauer eines Lernvorganges bis zum Erreichen eines ausreichend fehlerminimalen Zustandes zumindest mit den oben beschriebenen Varianten vergleichbar und in manchen Fällen deutlich kürzer ist, d. h. es werden erheblich weniger Lernschritte benötigt.

Die Erfindung wird an Hand der nachfolgend kurz angeführten und oben zum Teil bereits beschriebenen Figuren erläutert. Dabei zeigt

Fig. 1 die einzelnen Komponenten eines Fuzzy-Systems inner­ halb eines Neuro-Fuzzy-Netzes,

Fig. 2 die Überlagerung von je einer positiv und negativ be­ werten Sigmoidfunktion zu einer annähernd trapezför­ migen Zugehörigkeitsfunktion,

Fig. 3 eine durch Variation der Gewichtsfaktoren verursachte Verschiebung der Sigmoidfunktionen von Fig. 2, wobei sich die Funktionen unter Verkleinerung der Ergebnis­ funktion aufeinander zubewegt wurden,

Fig. 4 eine durch weitere Variation der Gewichtsfaktoren verursachte derartige Verschiebung der Sigmoidfunk­ tionen von Fig. 2, so daß eine sogenannte "negative" Fuzzy-Menge auftritt,

Fig. 5 eine Möglichkeit der Nachbildung von Rand-Fuzzy- Mengen mit Gaußneuronen,

Fig. 6 die bei einer durch Variation der Gewichtsfaktoren verursachten Verschiebung der Gaußfunktionen von Fig. 5 an den Bereichsrändern entstehenden Defini­ tionslücken,

Fig. 7 beispielhaft das Ergebnis der Abbildung einer theo­ retisch idealen trapezförmigen Zugehörigkeitsfunktion durch eine erfindungsgemäße multiplikative Verknüp­ fung zweier Sigmoidfunktionen,

Fig. 8 ein Schaltbild der bei der erfindungsgemäßen multi­ plikativen Methode beteiligten Neuronen,

Fig. 9 vergleichbar mit Fig. 2 die Überlagerung von zwei Sigmoidfunktion zu einer annähernd trapezförmigen Zugehörigkeitsfunktion mit der erfindungsgemäßen multiplikativen Methode,

Fig. 10 vergleichbar mit Fig. 3 eine durch Variation der Ge­ wichtsfaktoren verursachte Verschiebung der Sigmoid­ funktionen von Fig. 9,

Fig. 11 vergleichbar mit Fig. 4 eine durch weitere Variation der Gewichtsfaktoren verursachte derartige Verschie­ bung der Sigmoidfunktionen von Fig. 9, so daß eine Fuzzy-Menge mit der zulässigen Größe "Null" auftritt,

Fig. 12 den Verlauf des Fehlers des Gesamtsystems, d. h. des­ sen Abnahme mit Zunahme der Anzahl von Lernschritten, am Beispiel der Approximation eines Polynoms mit Hilfe der erfindungsgemäßen multiplikativen Methode.

Gemäß der Erfindung werden die linke und die rechte Flanke einer trapez- oder dreieckförmigen Zugehörigkeitsfunktion durch-je eine Sigmoidfunktion angenähert und mit einem soge­ nannten "Produktneuron" verknüpft. In Fig. 7 ist beispiel­ haft das Ergebnis der Abbildung einer theoretisch idealen trapezförmigen Zugehörigkeitsfunktion durch multiplikative Verknüpfung zweier Sigmoidfunktionen dargestellt. Fig. 8 zeigt das dazugehörigen Schaltbild der beteiligten Neuronen. Dem an dieser Stelle erfindungsgemäß eingesetzten Produkt­ neuron 3 werden die Signale von beiden Sigmoidneuronen 1, 2 bevorzugt jeweils mit festen Gewichtswerten von +1 bewer­ tet zugeführt. Eine Verschiebung der beiden Neuronen führt nun höchstens dazu, daß die Zugehörigkeitsfunktion zu null wird. Negative Fuzzy-Mengen können nicht mehr auftreten.

Insbesondere im Vergleich zur oben beschriebenen ersten Va­ riante hat die Neuronenstruktur gemäß der Erfindung den Vor­ teil, daß das Problem negativer Fuzzy-Mengen nicht mehr vor­ handen ist und die Neuronenstruktur dennoch die gleiche Transformationsgenauigkeit besitzt.

So ist in den Fig. 9 bis 11, vergleichbar mit den bereits erläuterten Fig. 2 bis 4, die gegenseitige Verschiebung von zwei multiplikativ verknüpften Sigmoidfunktionen darge­ stellt. Diese bilden gemäß Fig. 9 eine annähernd trapezför­ mige Zugehörigkeitsfunktion nach. Eine Verschiebung gemäß Fig. 10 führt auch dann nicht zu einer negativen Fuzzy- Menge, wenn sich gemäß Fig. 11 die beiden Sigmoidfunktionen extrem überschneiden. Die Ergebnisfunktion y ist dann null.

Die erfindungsgemäße multiplikative Methode konvergierte mit passenden Lernparametern für alle in der Praxis vorkommenden Fälle. Das Lernen zeichnet sich vor allem durch eine gleich­ mäßige Konvergenz aus. Bei der Approximation einer linearen Fläche und einer Parabelfläche sinkt der Fehler in den Bei­ spielen besonders schnell. In Fig. 12 ist der Verlauf des Fehlers des Gesamtsystems, d. h. die Abnahme des Fehlers mit Zunahme der Anzahl von Lernschritten, am Beispiel der Appro­ ximation eines Polynoms dargestellt. Bei der Approximation eines Trapezes ergibt sich ein besonders gleichmäßiger Lern­ ablauf.

Besonders vorteilhaft ist es, daß Lernprozesse mit der erfin­ dungsgemäßen multiplikativen Verknüpfung in den meisten Fäl­ len schneller ablaufen als bei einer Neuro-Fuzzy-Struktur mit additiv verknüpften Sigmoidneuronen. Die multiplikative Me­ thode besitzt den Vorteil, daß beim Lernen keine Probleme auftreten- aber eine ebenso gute Abbildungsgenauigkeit wie mit der Standard-Neuro-Fuzzy-Struktur erreicht wird. Sigmoidneuronen, die zusammen eine trapezförmige Zugehörigkeitsfunktion reprä­ sentieren, können beliebig gegeneinander verschoben werden, ohne daß sich Interpretationsprobleme ergeben.

Im Gegensatz dazu ist z. B. bei 10 der beschriebenen ersten Va­ riante die Lernzeit im allgemeinen länger als bei der er­ findungsgemäßen multiplikativen Methode. Außerdem kommt es beim Lernen mit ungünstigen Parametern oder von schwierigen Approximationsproblemen tatsächlich zur Verschiebung der Zu­ gehörigkeitsfunktionen, so daß negative Zugehörigkeitsmengen entstehen. Der Lernalgorithmus rechnet damit zwar weiter, meist divergiert oder zumindest schwankt der Fehler des Ge­ samtsystems jedoch, so daß an sich keine aussagekräftige In­ terpretation der Lernergebnisse möglich ist.

Claims (4)

1. Verfahren zur Nachbildung von insbesondere dreieck- oder trapezförmigen Zugehörigkeitsfunktionen bei der Transformation eines Fuzzy-Systems in ein neuronales Netz, wobei in der Fuzzifizierungskomponente Sigmoidfunktionen (1, 2) multipli­ kativ (3, π) verknüpft werden.

2. Verfahren nach Anspruch 1, wobei zur multiplikativen Ver­ knüpfung Produktneuronen (π) eingesetzt werden.

3. Verfahren nach Anspruch 1 oder 2, wobei die Sigmoidfunk­ tionen (1, 2) vor Durchführung der multiplikativen Verknüpfung mit je einem festen Gewichtswert bewertet werden.

4. Verfahren nach Anspruch 3, wobei die festen Gewichtswerte jeweils eine Größe von 1 aufweisen.