DE4314895A1 - Neuronales Netz - Google Patents

Description

Die Erfindung bezieht sich auf ein neuronales Netz nach dem Oberbegriff des Anspruchs 1.

Neuronale Netze, wie sie z. B. aus dem Buch "Neuronale Netzwerke" von Eberhard Schöneburg, Nikolaus Hansen und Andreas Gawelczyk, erschienen 1990 im Markt & Technik Verlag, bekannt sind, können komplexe, vieldimensionale Funktionen realisieren. In den einzelnen Neuronen, die im neuronalen Netz schichtartig hintereinander angeordnet sein können, werden ankommende Signale mit Faktoren ge­ wichtet, z. B. durch Summen- oder Produktbildung mitein­ ander verknüpft und anschließend nach einer nichtlinearen Funktion bewertet. Der Aufbau dieser Grundfunktionen ist von der zu realisierenden Gesamtfunktion des neuronalen Netzes unabhängig. Anwendungsspezifisch sind lediglich die Anzahl der Ein- und Ausgänge, der Neuronen und die Para­ meter der einzelnen Neuronen festzulegen. Diese Parameter eines neuronalen Netzes können in einer Lernphase gewonnen werden, die auf der Basis von Stützwerten der zu realisie­ renden nichtlinearen Funktion durchführbar ist. Ein ge­ eignetes Lernverfahren ist das in dem oben erwähnten Buch beschriebene Backpropagation-Verfahren, bei dem die Ge­ wichte des neuronalen Netzes zu Beginn mit Zufallswerten initialisiert werden. Daraufhin wird das erste Eingangs­ muster an das Netz angelegt und das Netz komplett durch­ gerechnet. Der berechnete Ausgangswert des neuronalen Netzes wird nun mit dem geforderten Ausgangswert vergli­ chen. Tritt ein Fehler auf, so werden die Gewichte des neuronalen Netzes so korrigiert, daß der korrekte Aus­ gangswert angenähert wird. Das Verfahren wird so lange wiederholt, bis die gewünschte Genauigkeit der Ausgangs­ werte erreicht ist und das neuronale Netz die geforderte Abbildungsvorschrift gelernt hat. Da das Backpropagation- Verfahren ein iteratives Verfahren ist, kann es vorkommen, daß es nur langsam konvergiert und große Rechenzeiten er­ fordert. Maßgeblich beeinflußt werden diese durch die eigentliche Berechnung der Ausgangssignale des neuronalen Netzes.

Der Erfindung liegt die Aufgabe zugrunde, ein neuronales Netz zu schaffen, dessen Ausgangssignale in relativ kurzer Zeit berechnet werden können und das zudem auf einer ein­ fachen Recheneinheit, wie sie z. B. in Automatisierungs­ geräten verwendet wird, realisierbar ist.

Zur Lösung dieser Aufgabe weist das neue neuronale Netz der eingangs genannten Art die im kennzeichnenden Teil des Anspruchs 1 genannten Merkmale auf. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprü­ chen 2 bis 6 angegeben.

Die Erfindung hat den Vorteil, daß konventionelle Funk­ tionen einer Recheneinheit, wie z. B. die eines Reglers, auf einfache Weise mit einem neuronalen Netz kombiniert werden können. Insbesondere in Automatisierungsgeräten mit einer einfachen Recheneinheit muß die Realisierung eines neuronalen Netzes nicht auf einem getrennten Rechner erfolgen, der dann über geeignete Schnittstellen mit dem Automatisierungssystem zu koppeln wäre. Es sind also keine zusätzlichen Komponenten erforderlich, sondern die Kombi­ nation mit konventionellen Funktionen ist auf einfache Weise möglich. Das neuronale Netz kann in eine bestehende Recheneinheit nachgeladen und dort in Kombination mit den vorhandenen Funktionen betrieben werden. Die zur Berech­ nung der Ausgangssignale des neuronalen Netzes benötigte Zeit kann weiter verkürzt werden, wenn das nichtlineare Element in Neuronen der Zwischenschicht durch eine in einem Datenfeld abgelegte Kennlinie realisiert ist. Zur Optimierung der Rechengenauigkeit können die Ein- und Aus­ gangssignale in normierter Darstellung verwendet werden.

Anhand der Zeichnungen, in denen ein Ausführungsbeispiel der Erfindung dargestellt ist, werden im folgenden die Erfindung sowie Ausgestaltungen und Vorteile näher er­ läutert.

Es zeigen:

Fig. 1 ein dreischichtiges neuronales Netz,

Fig. 2 den prinzipiellen Aufbau eines Neurons mit n Ein­ gängen,

Fig. 3 ein Blockbild eines Software-Pakets zur Realisie­ rung eines neuronalen Netzes und

Fig. 4 eine Funktion eines nichtlinearen Elements.

In einem dreilagigen neuronalen Netz nach Fig. 1 sind Neuronen 11 . . . 1n, 21 . . . 2p und 31 . . . 3m netzartig in drei Schichten hintereinander angeordnet. Die Schicht der Neuronen 11 . . . 1n wird als Eingangsschicht, diejenige der Neuronen 21 . . . 2p als Zwischenschicht und diejenige mit den Neuronen 31 . . . 3m als Ausgangsschicht bezeichnet. Jedes Neuron der Zwischen- und der Ausgangsschicht ist mit den Ausgängen aller Neuronen in der vorherigen Schicht verbunden. In jeder Schicht muß mindestens ein Neuron vorhanden sein. Das neuronale Netz enthält keine Rück­ kopplungen und keine dynamischen Glieder. Für die Rück­ kopplungsfreiheit wird auch die Bezeichnung "Feedforward" benutzt, welche besagt, daß der Informationsfluß nur in der Richtung von der Eingangsschicht zur Ausgangsschicht hin erfolgt. Für jedes Eingangssignal x1 . . . xn muß ein Eingangsneuron 11 . . . 1n vorhanden sein. Die in einer Ein­ gangssignalverarbeitung aufbereiteten Eingangsdaten werden über diese Eingangsneuronen 11 . . . 1n an die Neuronen 21 . . . 2p in der Zwischenschicht weitergeleitet. Die Neuronen 31 . . . 3m in der Ausgangsschicht bilden den Aus­ gang des Netzes. Für jedes zu lernende Ausgangssignal y1 . . . ym muß ein Ausgangsneuron 31 . . . 3m vorhanden sein. In der Zwischenschicht können im Prinzip beliebig viele Neuronen 21 . . . 2p angeordnet sein. Das neuronale Netz kann somit ein oder mehrere Ein- und Ausgangsneuronen enthalten. Die Anzahl der Ausgangssignale y1 . . . ym muß dabei nicht gleich der Anzahl der Eingangssignale x1 . . . xn sein. Bei neuronalen Netzen mit mehreren Eingangs­ signalen x1 . . . xn werden keine einzelnen Eingangswerte vorgegeben, sondern Eingangsmuster, d. h. zusammengehörige Kombinationen von Eingangswerten. Bei mehreren Ausgangs­ signalen y1 . . . ym sind dies entsprechend Ausgangsmuster. Die Begriffe "Wert" und "Muster" sollen im folgenden synonym verwendet werden, d. h., wenn bei einem neuronalen Netz mit mehreren Eingangssignalen von "Eingangswerten" gesprochen wird, dann können darunter auch "Eingangs­ muster" verstanden werden.

Die Neuronen 21 . . . 2p der Zwischenschicht bilden nach Fig. 2 geschachtelte Funktionen. Sie haben eine Eingangs­ funktion g(x) und eine Ausgangsfunktion f(g). Die Ein­ gangsfunktion g(x) hat einen bis n Eingänge. An diesen Eingängen liegen die Eingangssignale x1 . . . xn an, die in der Eingangsfunktion mit Gewichtungsfaktoren w1 . . . wn gewichtet und miteinander verknüpft werden. Weiterhin kann noch ein konstanter Offset aufaddiert werden. Das Ergebnis der Eingangsfunktion g(x) wird in der Ausgangsfunktion f(g) nochmals linear oder nichtlinear bewertet. Ein Neuron hat nur ein Ausgangssignal y.

Die Neuronen 11 . . . 1n der Eingangsschicht geben die Ein­ gangssignale x1 . . . xn unverändert an die Neuronen 21 . . . 2p der Zwischenschicht weiter. Jedes Neuron 21 . . . 2p in der Zwischenschicht ist mit allen Neuronen 11 . . . 1n der Eingangsschicht verbunden. Jedes Neuron 31 . . . 3m der Ausgangsschicht ist mit allen Neuronen 21 . . . 2p der Zwischenschicht verbunden. Die Neuronen 31 . . . 3m der Ausgangsschicht besitzen ebenfalls eine Eingangsfunktion g wie diejenigen der Zwischenschicht, das Ergebnis dieser Funktion wird aber ohne weitere Bewertung als Ausgangs­ signal y1 . . . ym ausgegeben. Die Ausgangsfunktion f der Neuronen 31 . . . 3m ist daher immer linear.

Das Parametrieren, d. h. das Ermitteln der Gewichte und der Offsets der einzelnen Neuronen des neuronalen Netzes, erfolgt durch ein "Lernen" oder "Trainieren" anhand von vorgegebenen Stützwerten. Ein dazu geeignetes Verfahren ist das bereits erwähnte Backpropagation-Verfahren. Ein weiteres, das auf dem Lösen eines linearen Gleichungs­ systems basiert, wurde in der deutschen Patentanmeldung P 42 28 703.0 vorgeschlagen.

Ein Software-Paket nach Fig. 3 zur Realisierung eines neuronalen Netzes ist für maximal fünfzehn Eingänge und fünf Ausgänge ausgelegt. Die Eingänge ID1 . . . IDq des Software-Pakets sind für systemspezifische Daten, z. B. die Nummern von Datenfeldern, vorgesehen. Ein Steuer­ eingang NF dient zum Umschalten des neuronalen Netzes auf Nachführbetrieb, in dem die Werte an Ausgängen Al AS den Werten an Nachführeingängen NF1 . . . NFS folgen. An vier weiteren Steuereingängen Ax, Ay, Az und Az1 wird die Anzahl der beschalteten Eingänge (maximal fünfzehn), der beschalteten Ausgänge (maximal fünf), der Neuronen in der Zwischenschicht bzw. die Anzahl der Neuronen in der Zwischenschicht mit linearer Ausgabefunktion vorgegeben. Für den Fall, daß der Wert am Eingang Az gleich dem Wert am Eingang Az1 ist, erhält man ein lineares Netzwerk, in dem keine nichtlinearen Elemente vorhanden sind. Die Zahl der Neuronen in der Zwischenschicht ist in diesem Ausführungsbeispiel auf 250 begrenzt. An fünfzehn Ein­ gängen E1 . . . E15 können Werte der Eingangssignale an das neuronale Netz übergeben werden. An den Eingängen E1_min . . . E15_min, E1_max . . . E15_max, A1_min . . . A5_min und A1_max . . . A5_max können Bereichsgrenzen für die Werte der einzelnen Eingangsgrößen sowie der Ausgangs­ größen vorgegeben werden. Sie dienen ebenfalls zur Normie­ rung der Ein- und Ausgangswerte auf einen internen Werte­ bereich von 0 bis 1. Bei den fünf Eingängen FNL, EGEW, EOFS, AGEW und AOFS handelt es sich um Datenfelder. In diesen Feldern werden die Parameter des neuronalen Netzes gespeichert. Im Datenfeld FNL werden die Stützwerte der nichtlinearen Ausgabefunktion der Neuronen der Zwischen­ schicht abgelegt. Dazu ist der Tangens-Hyperbolikus ge­ eignet, der etwa den in Fig. 4 gezeigten Verlauf hat. Durch das Hinterlegen der Funktion in einer Wertetabelle ist das Vorhandensein dieser Funktion in der Programmier­ sprache der Recheneinheit keine Voraussetzung für die Realisierung des neuronalen Netzes. Zudem wird dadurch die Rechenzeit verkürzt, und die Funktion kann gegebenen­ falls auf einfache Weise geändert werden. In dem Datenfeld EGEW werden die Gewichte für die Eingänge der Neuronen in der Zwischenschicht, in dem Datenfeld EOFS die Offsets dieser Neuronen abgespeichert. Entsprechend sind in den Datenfeldern AGEW und AOFS die Gewichte und die Offsets der Neuronen in der Ausgangsschicht hinterlegt.

In dem Software-Paket werden zunächst die Eingangssignale entsprechend den Bereichsgrenzen auf einen Zahlenbereich von 0 bis 1 normiert. Es folgt eine Überwachung auf die Überschreitung der Bereichsgrenzen, bei deren Auftreten ein nicht dargestelltes Meldesignal gesetzt wird. Damit können z. B. die Ausgänge auf Nachführbetrieb umgeschal­ tet oder eine andere Strategie realisiert werden. Das neuronale Netz ist in dem Software-Paket in einer festen Struktur programmiert, von der, über die Parameter Ax, Ay, Az und Az1 gesteuert, eine Untermenge genutzt werden kann. Die Ausgangssignale des Netzes werden entsprechend den Bereichsgrenzen der Ausgänge wieder denormiert. Die Parametrierung des neuronalen Netzes erfolgt über die Datenfelder EGEW, EOFS, AGEW und AOFS, deren Inhalte mit geeigneten Lernverfahren ermittelt werden. Über das Datenfeld FNL kann eine beliebige nichtlineare Funktion definiert werden, die in den nichtlinearen Neuronen der Zwischenschicht verwendet wird.

Claims (6)

1. Neuronales Netz, das mindestens einen Eingang und min­ destens einen Ausgang sowie Neuronen (11 . . . 1n, 21 . . . 2p, 31 . . . 3m) in mehreren hintereinander angeordneten Schichten aufweist, wobei in Neuronen (21 . . . 2p) einer Zwischenschicht Eingangssignale (x1 . . . xn) zunächst gewichtet, dann miteinander verknüpft und mit einem nichtlinearen Element ausgewertet werden und jedem Aus­ gang des neuronalen Netzes ein Neuron (31 . . . 3m) in der Ausgangsschicht zugeordnet ist, auf welches die Signale der Neuronen (21 . . . 2p) der Zwischenschicht geführt sind und in denen durch eine Gewichtung und Verknüpfung dieser Signale jeweils ein Ausgangssignal (y1 . . . ym) erzeugt wird, dadurch gekennzeichnet,

• - daß Eingangssignale (x1 . . . xn) des neuronalen Netzes von den Neuronen (11 . . . 1n) der Eingangsschicht un­ verändert Neuronen (21 . . . 2p) der Zwischenschicht zugeführt werden,
• - daß in den Neuronen (31 . . . 3m) der Ausgangsschicht kein nichtlineares Element vorhanden ist und
• - daß das neuronale Netz in einer Recheneinheit durch ein nachladbares Software-Paket realisiert ist.

2. Neuronales Netz nach Anspruch 1, dadurch gekennzeichnet,

• - daß die Eingangs- und Ausgangssignale (x1 . . . xn; y1 . . . ym) als numerische Größen ein- bzw. ausgegeben werden,
• - daß die Anzahl der Ein- und Ausgänge sowie die Anzahl der Neuronen (21 . . . 2p) in der Zwischenschicht para­ metrierbar sind und
• - daß ein Datenfeld (EGEW) für die Gewichtungsfaktoren der Neuronen (21 . . . 2p) in der Zwischenschicht, ein Datenfeld (AGEW) für die Gewichtungsfaktoren der Neuronen (31 . . . 3m) in der Ausgangsschicht sowie Datenfelder (EOFS, AOFS) für Offsets zur Überlagerung mit den gewichteten und verknüpften Signalen in den Neuronen der Zwischenschicht und/oder der Ausgangs­ schicht vorhanden sind.

3. Neuronales Netz nach Anspruch 1 oder 2, da­ durch gekennzeichnet,

• - daß das nichtlineare Element durch eine für alle Neuronen (21 . . . 2p) der Zwischenschicht einheitliche, in einem Datenfeld (FNL) abgelegte Kennlinie reali­ siert ist.

4. Neuronales Netz nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet,

• - daß das nichtlineare Element mindestens eines Neurons (21 . . . 2p) der Zwischenschicht überbrückbar ist.

5. Neuronales Netz nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet,

• - daß die Eingangssignale (x1 . . . xn) auf einen Zahlen­ bereich von 0 bis 1 normiert und auf Einhalten der Bereichsgrenzen überwacht werden.

6. Neuronales Netz nach Anspruch 5, dadurch gekennzeichnet,

• - daß die Ausgangssignale (y1 . . . ym) entsprechend parametrierbarer Bereichsgrenzen denormiert werden.