DE4133965A1

DE4133965A1 - Abstraktor

Info

Publication number: DE4133965A1
Application number: DE4133965A
Authority: DE
Inventors: Peter Dr Jaenecke
Original assignee: Standard Elektrik Lorenz AG
Current assignee: Alcatel Lucent Deutschland AG
Priority date: 1991-10-14
Filing date: 1991-10-14
Publication date: 1993-04-15
Also published as: US5384897A

Description

Die Erfindung betrifft einen 1 Bit breiten Abstraktor, einen N Bit breiten Abstraktor, eine Verwendung eines N Bit breiten Abstraktors und ein neuronales Netzwerk mit einem N Bit breiten Abstraktor.

Sowohl in technischen als auch in biologischen Systemen ist eine Nachrichtenübertragung Störungen ausgesetzt. Eine Möglichkeit, die korrekte Übertragung von Nachrichten trotz Störungen zu gewährleisten, besteht darin, auf der Senderseite die zu übertragende Nachricht (im folgenden als Struktural bezeichnet) mehrfach zu wiederholen, z. B. die Nachricht

1111 1111 1111 . . .,

und auf der Empfängerseite diese Nachricht aus den dort eintreffenden mehr oder weniger gestörten ( im folgenden als Singurale bezeichneten) Wiederholungen, z. B.

0111 1101 1001 . . .,

durch Ausnutzung der Redundanz zu rekonstruieren. Diese Rekonstruktion wird von einem Abstraktor geleistet; sie ist Gegenstand der Erfindung.

Paradigma für die Anwendung eines Abstraktors ist die Simulation der visuellen Wahrnehmung. Die Augen sind entweder fixiert oder in Bewegung; solange sie fixiert sind, nehmen sie eine Folge von ähnlichen Bildern auf; während der Bewegung herrscht eine "Dunkelphase", in der nichts wahrgenommen wird. Das Auge liefert somit Folgen von gehaltvollen ähnlichen Bildern; zwischen zwei solcher Folgen liegt jeweils eine Folge von inhaltsleeren während der Augenbewegung aufgenommenen Rauschbildern. Wann der Wechsel auf eine neue Bildfolge erfolgt, ist nicht bekannt; ihn festzustellen, gehört vielmehr mit zur Rekonstruktionsaufgabe.

Die Singurale sind untereinander ähnlich; sie ähneln aber auch dem Struktural, aus dem sie durch die Überlagerung von Störungen hervorgegangen sind. Ähnlichkeit bedeutet: Es gibt "Merkmale", in denen sich die Singurale untereinander und von ihrem Struktural unterscheiden und solche, die ihnen allen gemeinsam sind. Der Abstraktionsvorgang besteht darin, von den "Merkmalen", in denen sich die Singurale unterscheiden, zu abstrahieren; das sind gerade diejenigen Stellen, die durch die Übertragungsstörung verfälscht wurden. Faßt man daher das Struktural als exemplarisches Muster einer Musterklasse und dessen zugehörige Singurale als Realisierungen dieser Musterklasse auf, so läßt sich der Abstraktionsvorgang als Generierung dieses exemplarischen Musters aus einer gewissen Anzahl von Beispielen verstehen.

Die Generierung von exemplarischen Mustern aus Beispielen ist u. a. mit neuronalen Netzen versucht worden, z. B. mit einem CARPENTER-GROSSBERG-Klassifizierer. Die bisher bekannten neuronalen Netze beruhen auf dem Prinzip der gewichteten Aktivitätsausbreitung. Sie unterscheiden sich aufgrund ihrer Netztopologie, ihrer Trainingsregeln und den Eigenschaften ihrer Knoten (künstliche Neuronen).

Neuronale Netze, die als Klassifizierer verwendet werden, ordnen iterativ ein unbekanntes Muster eines von ihren eintrainierten exemplarischen Mustern zu: Voraussetzung hierfür ist allerdings die Konvergenz des Iterationsvorgangs. Sie können unterschieden werden in solche, bei denen die exemplarischen Muster im voraus bekannt sein müssen (wie etwa beim HOPFIELD- oder HAMMING-Netz) - das Training entspricht hier einem überwachten Lernen, und in solche, bei denen gleichzeitig mit dem Training die exemplarischen Muster gebildet werden (wie z. B. bei einem CARPENTER-GROSSBERG-Netz); in diesem Fall handelt es sich um unüberwachtes Lernen ("An Introduction to Computing with Neural Nets", by R.P. Lippmann, IEEE ASSP Magazine, April 1987, p4-22, "Self-organization of stable category recognition codes for analog input patterns , by G. Carpenter, S. Grossberg, d Applied Optics, 1 December 1987, Vol. 26, No. 23, p 4919-4930).

Nur neuronale Netze letzteren Typs sind mit einem Abstraktor vergleichbar. Sie haben jedoch erhebliche Nachteile, die sie für eine Anwendung ungeeignet erscheinen lassen: Sie sind anfällig gegen Störungen; bei einer gegebenen Fehlerrate kann die Konvergenz der bekannten Verfahren nicht gesichert werden; sie sind sehr rechenintensiv; ihr Einsatz ist auf eine begrenzte Zahl von exemplarischen Mustern beschränkt.

Der Erfindung liegt die Aufgabe zugrunde, einen digitalen 1 Bit breiten Abstraktor sowie einen digitalen N Bit breiten Abstraktor zu realisieren, der ohne Angabe darüber, wann in der Eingangsinformation ein Wechsel zu einer neuen Information und ohne Kenntnis über die zu erwartende Information exemplarische Muster aus der Eingangsinformation erzeugen kann.

Eine weitere Aufgabe gemäß der Erfindung besteht darin, ein neuronales Netz mit einem solchen Abstraktor anzugeben.

Diese Aufgaben werden erfindungsgemäß durch die Lehren der Patentansprüche 1 und 4 gelöst.

Eine erfindungsgemäße Verwendung des Abstraktors nach Anspruch 4 ist der Lehre des Patentanspruches 5 zu entnehmen. Ein erfindungsgemäß mit dem Abstraktor aufgebautes neuronales Netzwerk ist durch die Lehre des Patentanspruches 6 realisierbar.

Erfindungsgemäß wird durch den Abstraktor immer diejenige Eingangsinformation als exemplarisches Muster ausgezeichnet, die innerhalb einer gewissen, durch einen minimalen und maximalen Einstellwert F_min, F_max vorgebbaren, in die Vergangenheit zurückreichenden Zeitraums am häufigsten vorgekommen ist. Durch Vorgabe der Einstellwerte kann ein altes exemplarisches Muster schnell vergessen und das neue Muster generiert werden, da die Zahlengerade in zwei Richtungen durchlaufen werden kann (bis zum unteren Grenzwert F_min oder zum oberen Grenzwert F_max).

Gemäß einer weiteren Ausgestaltung der Erfindung kann mittels eines Sensitivitätswertes s die Konvergenzgeschwindigkeit (Abbau altes Muster, Aufbau neues Muster) des Abstraktors beschleunigt werden, in dem mit den vorgebbaren Einstellwerten s_min, s_max das Durchlaufen der Zahlengeraden beschleunigt wird (Multiplikation mit dem Faktor s).

Besonders vorteilhaft ist der Aufbau eines neuronalen Netzes aus einer Vielzahl von Schichten, wobei einer Eingangsschicht ein n Bit breiter Abstraktor vorgeschaltet wird, um vorab eine Groberkennung durchzuführen.

Weitere vorteilhafte Ausgestaltungen des Gegenstandes der Erfindung sind den Unteransprüchen zu entnehmen.

Im folgenden werden die erfindungsgemäßen Lehren anhand eines Ausführungsbeispieles in Verbindung mit den Figuren erläutert.

Es zeigt

Fig. 1 ein erstes Blockdiagramm eines erfindungsgemäßen 1 Bit breiten Abstraktors,

Fig. 2 ein zweites Blockdiagramm eines erfindungsgemäßen 1 Bit breiten Abstraktors und

Fig. 3 ein detailliertes Schaltbild eines 1 Bit breiten Abstraktors.

Ein digitaler 1 Bit breiter Abstraktor, wie in Fig. 1 gezeigt, besteht aus einem Bewerter B, an dessen Eingang eine digitale Eingangsinformation E anliegt. Der Bewerter B realisiert eine Übertragungsfunktion p

so daß am Ausgang des Bewerters ein positiver Wert ausgegeben wird, wenn die Eingangsinformation E gleich 1 ist und ein negativer Wert ausgegeben wird, wenn die Eingangsinformation E gleich 0 ist.

Der Ausgang des Bewerters B ist mit einem ersten Eingang E11 eines ersten Entscheiders E10 verbunden. An einem zweiten Eingang E12 des ersten Entscheiders E10 ist die Eingangsinformation E angelegt. An einem dritten und einem vierten Eingang E13, E14 des ersten Entscheiders E10 liegen ein erster vorgebbarer Einstellwert F_max bzw. ein zweiter vorgebbarer Einstellwert F_min an, um einen oberen und einen unteren Grenzwert beim Durchlaufen der Zahlengeraden vorzugeben.

Der Entscheider E10 realisiert einen Aktivierungszustand z das Abstraktors gemäß einer Aktivierungsfunktion F,

Dabei ist z = F (z_alt, p(n)) der neue und z_alt der alte Zustand des Abstraktors. Aus dem jeweils aktuellen Abstraktorzustand z_alt ermittelt der Entscheider E10 eine Ausgangsinformation gemäß einer Ausgabefunktion f,

Die Ausgangsinformation ist somit diejenige Information (Muster), die in der jüngsten Vergangenheit am häufigsten vorgekommen ist. Bei Gleichhäufigkeit (z=0) wird die Eingangsinformation ausgegeben.

Um einen schnelleren Abbau eines alten Musters und Aufbau eines neuen Musters infolge eines Wechsels der Eingangsinformation zu erhalten, wird ein Sensitivitätswert s, vgl. Fig. 2, eingeführt.

Dazu enthält der erfindungsgemäße 1 Bit breite Abstraktor einen zweiten Entscheider E20, dessen erster Eingang E21 mit dem Ausgang des ersten Entscheiders E10 (d. h. f(z)) verbunden ist. An einem zweiten und einem dritten Eingang E22, E23 des zweiten Entscheiders E20 sind ein dritter vorgebbarer Einstellwert s_max bzw. ein vierter vorgebbarer Einstellwert s_min anlegbar.

Ein Ausgang des zweiten Entscheiders E20 ist auf einem weiteren Eingang des Bewerters B zurückgekoppelt. Dadurch wird die Eingangsinformation E in Abhängigkeit von der Ausgabeinformation gemäß

mit einer um den Faktor s multiplizierten Übertragungsfunktion p(n, s) behandelt. Der Faktor s bewirkt im Falle einer Änderung der Ausgabeinformation, d. h. f(z) _neu ungleich f(z)_alt einen schnelleren Durchlauf der Zahlengeraden in Richtung F_min oder F_max und somit einen schnelleren Aufbau des neuen Musters.

Als ein Beispiel für einen schnellen Abbau und darauffolgenden Aufbau eines Musters durch den erfindungsgemäßen 1 Bit breiten Abstraktor wird auf die Tabelle 1 verwiesen. Für s_min=1 und s_max=3 ist ein Verlauf der Rekonstruktion in drei deutlich voneinander abgrenzbaren Phasen zu sehen. Eine erste Phase (Schritt 2-9) in der die Nachricht "1" rekonstruiert wird, eine zweite, sehr kurze Phase (Schritt 10-11), in der das erste Muster "1" abgebaut und das neue Muster aufgebaut wird. In dieser Phase sind die Rekonstruktionsergebnisse unsicher. 1n einer dritten Phase (Schritt 12-16) wurde die Nachricht "0" rekonstruiert.

Dem Ergebnis nach Tabelle 1 ist auch zu entnehmen, daß eine zwischen zwei sinnvollen Nachrichtenfolgen eingeschobene Rauschperiode das Abstraktorergebnis wenig beeinflußt, da sich Rauschen durch im Mittel gleich häufiges Auftreten von Nachrichten auszeichnet.

Zur Verdeutlichung der Arbeitsweise des Abstraktors wird nun ein detailliertes Schaltbild des 1 Bit breiten Abstraktors gemäß Fig. 3 erläutert.

Der erste Entscheider E10 enthält eine Addiereinheit ADD, ein erstes Register REG1, ein zweites Register REG2 und ein drittes Register REG3, sowie eine erste Vergleichseinheit V1_max, eine zweite Vergleichseinheit V2_min und eine dritte Vergleichseinheit V3.

Ein erster Eingang der Addiereinheit ADD ist mit dem Ausgang des Bewerters B verbunden, so daß an der Addiereinheit ADD eine mit der Übertragungsfunktion p(n)

verarbeitete Eingangsinformation anliegt. Ein zweiter Eingang der Addiereinheit ADD ist mit einem ersten Register REG1 verbunden, in dem immer der vorhergehende Wert z_alt des Abstraktors abgespeichert wird.

Ein Ausgang der Addiereinheit ADD (d. h. p(n) + z_alt) ist mit einem ersten Eingang der ersten Vergleichseinheit V1_max verbunden. Ein zweiter Eingang der ersten Vergleichseinheit V1_max ist mit dem zweiten Register REG2 verbunden, wobei in dem zweiten Register der zweite Einstellwert F_min ablegbar ist.

Die erste Vergleichseinheit V1_max gibt immer den größeren der beiden an den Eingängen anliegenden Werte (z_alt+p(n); F_min) an einen ersten Eingang der zweiten Vergleichseinheit V2_min ab. Ein zweiter Eingang der zweiten Vergleichseinheit V2_min ist mit dem dritten Register REG3 verbunden, wobei in dem dritten Register der erste Einstellwert F_max ablegbar ist.

An einem Ausgang der zweiten Vergleichseinheit V2_min wird immer der kleinere der beiden an den Eingängen anliegenden Werte ausgegeben. Dieser ausgegebene Wert bildet den Aktivierungszustand z des Abstraktors.

Der Ausgang der zweiten Vergleichseinheit V1_min ist mit dem ersten Register REG1 zum jeweiligen Ablegen des Wertes z_alt und mit einem ersten Eingang der dritten Vergleichseinheit V3 verbunden.

An einem zweiten Eingang der dritten Vergleichseinheit V3 liegt die Eingangsinformation E an und an einem Ausgang der dritten Vergleichseinheit V3 ist die Ausgabeinformation gemäß der Ausgabefunktion f,

erhältlich. Dabei wird für den Fall, daß z=0 ist, d. h. Gleichhäufigkeit von "1" und "0" die Eingangsinformation E abgegeben.

Erfindungsgemäß kann nun in einfacher Weise durch eine Parallelschaltung von N einzelnen 1 Bit breiten Abstraktoren ein N Bit breiter Abstraktor realisiert werden, um N Bit breite Eingangsinformationen verarbeiten zu können.

Ein solcher N Bit breiter Abstraktor kann erfindungsgemäß als eine N Bit breite Speichereinheit zum Abspeichern von N Bit breiten digitalen Informationen verwendet werden.

Die so gebildete Speichereinheit dient insbesondere als temporäre Speichereinheit, wobei ein alter Speicherwert (Muster) durch einen neuen Speicherwert (Muster) überschrieben werden kann.

Erfindungsgemäß läßt sich auch ein neuronales Netzwerk mit einer Vielzahl von Schichten, einschließlich einer Eingangsschicht und einer Ausgangsschicht mit einem der Eingangsschicht vorgeschalteten N Bit breiten Abstraktor realisieren. Der N Bit breite Abstraktor dient dann als Groberkenner für die Trainingsphase des neuronalen Netzes.

Es ist dabei zweckdienlich, dem Abstraktor noch eine Entscheidungseinheit nachzuschalten, die immer dann ein Muster an die Eingangsschicht freigibt, wenn ein durch den Abstraktor erzeugter Wert (Muster) sich über eine vorgebbare Anzahl von Schritten nicht mehr geändert hat.

Claims

1. Digitaler 1 Bit breiter Abstraktor zur Erzeugung eines exemplarischen Musters aus einer digitalen Eingangsinformation E, bestehend aus einem eine Ubertragungsfunktion p ausführenden Bewerters (B), an dessen Eingang die digitale Eingangsinformation E anliegt, wobei die Übertragungsfunktion p gegeben ist durch und bestehend aus einem ersten Entscheider (E1), mit einem ersten Eingang (E11), der mit einem Ausgang des Bewerters (B) verbunden ist, mit einem zweiten Eingang (E12), an dem die Eingangsinformation E anliegt und mit einem dritten und einem vierten Eingang (E13, E14), an denen ein erster vorgebbarer Einstellwert F_max bzw. ein zweiter vorgebbarer Einstellwert F_min anliegen, wobei der erste Entscheider (E10) einen Aktivierungszustand z gemäß einer Aktivierungsfunktion F realisiert, und F (z_alt, p(n)) der neue und z_alt der alte Zustand des Abstraktors ist, und wobei der erste Entscheider (E10) an einem Ausgang (A) eine Ausgangsinformation gemäß einer Ausgabefunktion f abgibt,

2. Digitaler 1 Bit breiter Abstraktor nach Anspruch 1, bestehend aus einem zweiten Entscheider (E20), mit einem ersten Eingang (E21), der mit dem Ausgang (A) des ersten Entscheiders (E10) verbunden ist, mit einem zweiten und einem dritten Eingang (E22, E23), an denen ein dritter vorgebbarer Einstellwert s_max bzw. ein vierter vorgebbarer Einstellwert s_min anliegen und mit einem Ausgang, der mit einem weiteren Eingang des Bewerters (B) verbunden ist, wobei s ein Sensitivitätswert für die Eingangsinformation E in Abhängigkeit von der Ausgabeinformation ist, mit

3. Digitaler 1 Bit breiter Abstraktor nach Anspruch 1 oder 2, wobei der erste Entscheider (E1) eine Addiereinheit (ADD) enthält, dessen erster Eingang mit dem Ausgang des Bewerters (B), dessen zweiter Eingang mit einem ersten Register (REG1) und dessen Ausgang mit einem ersten Eingang einer ersten Vergleichseinheit (V1_max) verbunden sind, wobei ein zweiter Eingang der ersten Vergleichseinheit (V1_max) mit einem zweiten Register (REG2) verbunden ist, in dem der zweite Einstellwert F_min abgelegt ist, wobei an einem Ausgang der ersten Vergleichseinheit (V1_max) immer der größere der beiden an den Eingängen anliegenden Werte an einem ersten Eingang einer zweiten Vergleichseinheit (V2_min) abgegeben wird, wobei ein zweiter Eingang der zweiten Vergleichseinheit (V2_min) mit einem dritten Register (REG3) verbunden ist, in dem der erste Einstellwert F_max abgelegt ist, wobei an einem Ausgang der zweiten Vergleichseinheit (V2_min) immer der kleinere der beiden an den Eingängen anliegenden den Aktivierungszustand z bildenden Werte abgegeben wird, wobei der Ausgang der zweiten Vergleichseinheit (V2_min) mit dem ersten Register (REG1) und mit einem ersten Eingang einer dritten Vergleichseinheit (V3) verbunden ist, wobei an einem zweiten Eingang der dritten Vergleichseinheit (V3) die Eingangsinformation E anliegt und wobei an einem Ausgang des dritten Vergleichers die Ausgabeinformation gemäß der Ausgabefunktion f abgegeben wird.

4. N Bit breiter Abstraktor, bestehend aus N parallel geschalteten 1 Bit breiten Abstraktoren gemäß einem der Ansprüche 1 bis 3.

5. Verwendung eines N Bit breiten Abstraktors nach Anspruch 4 als Speichereinheit für N Bit breite digitale Informationen.

6. Neuronales Netzwerk mit einer Vielzahl von Schichten, einschließlich einer Eingangsschicht und einer Ausgangsschicht und mit einem N Bit breiten Abstraktor gemäß Anspruch 4, wobei der Abstraktor der Eingangsschicht vorgeschaltet ist.