DE102005045120A1

DE102005045120A1 - Vorrichtung und Verfahren zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes

Info

Publication number: DE102005045120A1
Application number: DE102005045120A
Authority: DE
Inventors: Martin Dr. Stetter
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-09-21
Filing date: 2005-09-21
Publication date: 2007-03-29

Abstract

Die Erfindung betrifft eine Vorrichtung zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes, das umfasst:
- eine Mehrzahl von miteinander vernetzten, durch Aktivitäten (υ₁, ..., υ_N) gekennzeichneten Neuronengruppen (1, ..., N) mit einem oder mehreren Neuronen, wobei in wenigstens einen Teil der Neuronengruppen (1, ..., N) jeweils ein Eingabesignal (I_S,1, ... I_S,N) eingebbar ist;
- wobei wenigstens einem Teil der Neuronengruppen (1, ..., N) ein globales Hintergrundsignal (I_b) zuführbar ist;
- wobei das Hintergrundsignal (I_b) auf eine Mehrzahl von Einstellwerten einstellbar ist.

Description

Die Erfindung betrifft eine Vorrichtung sowie ein Verfahren zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes.

Neuronale Netze werden zur Verarbeitung von Informationen, insbesondere zur Selektion von Informationen verwendet, wobei Eingabeinformationen in der Form von Eingabesignalen verschiedenen Neuronengruppen des Netzes zugeführt werden. Die Eingabesignale stellen Eingabeinformationen dar, die in dem neuronalen Netz nach bestimmten Kriterien aufbereitet und ausgegeben werden, wobei aus den Eingabeinformationen insbesondere eine Handlung abgeleitet oder ausgeführt wird.

Neuronale Netze werden in einer Vielzahl von technischen Gebieten eingesetzt. Anwendungsfälle sind beispielsweise Klassifikationsverfahren zur Einordnung von technischen Parametern. Im medizinischen Bereich kann mit solchen Klassifikationsverfahren die Einteilung von Patienten in Gruppen mit verschiedenen Diagnosen und Medikamentenverträglichkeiten vorgenommen werden. Eine andere Anwendung ist beispielsweise die Verkehrstechnik, bei der Sensormesswerte in verschiedene Kategorien eingestuft werden. Ferner werden Klassifikationsverfahren in der industriellen Automation verwendet, um beispielsweise eine zu erwartende Produktqualität auf der Basis von Sensorwerten des industriellen Prozesses zu klassifizieren.

Eine besondere Bedeutung kommt neuronalen Netzen bei der Lösung von kontextabhängigen Problemen zu. Bei diesen Problemen variiert die Lösung in Abhängigkeit von einer zugrunde liegenden Regel (so genannter Kontext), die sich verändern kann. Da das menschliche Gehirn bei der Behandlung von komplexen kontextabhängigen Problemen sehr leistungsfähig ist, basieren neuronale Netze auf den biophysikalischen Eigenschaften des menschlichen Gehirns und versuchen dessen Abläufe nachzubilden.

Zur Lösung von kontextabhängigen Problemen sind aus dem Stand der Technik maschinelle Lernverfahren bekannt, welche selbsttätig Zusammenhänge aus Beispielen derart lernen, dass ihre Fähigkeit zur Anpassung an neue Situationen ständig wächst. Für das Lernen werden jedoch viele Beispiele benötigt, und solche Systeme können in der Regel nur den stationären Anteil der Zusammenhänge lernen. Ändert sich beispielsweise ein solcher Zusammenhang in bestimmten Zeitabständen, kann ein solches lernendes System die relevanten Zusammenhänge nicht repräsentieren.

Aufgabe der Erfindung ist es deshalb, eine Vorrichtung zur dynamischen Informationsselektion zu schaffen, welche eine schnelle und flexible Anpassung der Informationsselektion an verschiedene Aufgabenstellungen bzw. Kontexte ermöglicht.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

Die erfindungsgemäße Vorrichtung beruht auf der Informationsselektion mit Hilfe eines neuronalen Netzes, wobei dieses Netz miteinander vernetzte, durch Aktivitäten gekennzeichnete Neuronengruppen mit einem oder mehreren Neuronen aufweist und in wenigstens einen Teil der Neuronengruppen jeweils ein Eingabesignal eingebbar ist. Dieses Eingabesignal ist insbesondere ein Stimulationssignal, welches eine bestimmte Eingabeinformation repräsentiert. Auf der Basis der Eingabeinformationen werden im neuronalen Netz Verarbeitungen zur Selektion von Informationen durchgeführt, um beispielsweise eine vorgegebene Aufgabe zu lösen. In dem Netz wird ferner wenigstens einem Teil der Neuronengruppen und insbesondere im Wesentlichen allen Neuronengruppen ein globales Hintergrundsignal bereitgestellt, wobei die Verwendung des Hintergrundsignals biologisch motiviert ist, da auch im menschlichen Gehirn solche Hintergrundsignale den Neuronen bereitgestellt werden. Die Anpassung der Eigenschaften des neuronalen Netzes erfolgt in der erfindungsgemäßen Vorrichtung dadurch, dass das Hintergrundsignal auf eine Mehrzahl von Einstellwerten einstellbar ist.

Der Erfindung liegt die Erkenntnis zugrunde, dass dem Hintergrundsignal eine wesentliche Bedeutung in neuronalen Netzen zukommt. Gemäß den biophysikalischen Vorgängen im menschlichen Gehirn besteht ca. 90% der gesamten Hirnaktivität in einer globalen und unspezifischen Hintergrundaktivität, welche in der vorliegenden Erfindung durch ein Hintergrundsignal modelliert wird. Nur etwa 10% der Aktivität des menschlichen Gehirns codiert die eigentliche sensorische, motorische und kognitive Information.

Der Erfinder hat insbesondere erkannt, dass die globale Hintergrundaktivität eine wichtige funktionelle Rolle im menschlichen Gehirn spielen muss, da die Evolution einen derartig hohen Energieverbrauch im menschlichen Körper höchstwahrscheinlich eliminiert hätte. Der Erfinder konnte durch Simulationen nachweisen, dass in einem künstlichen neuronalen Netz sich die Verhaltensweise und Dynamik des Netzes stark durch Variation des Hintergrundsignals verändert. Durch die Veränderung des Hintergrundsignals kann eine flexible Anpassung des neuronalen Netzes an verschiedene Kontexte erreicht werden. Hier unterscheidet sich die Erfindung von klassischen neuronalen Netzen, bei denen das Verhalten des Netzes vollständig nur über die synaptischen Gewichte zwischen den Neuronengruppen gesteuert wird.

Die Erfindung schafft somit eine Vorrichtung zur dynamischen Informationsselektion, bei der auf einfache Weise durch Verstellung des globalen Hintergrundsignals zwischen verschiedenen Verhaltensweisen des Netzes hin- und hergeschaltet werden kann. Eine Verhaltensweise ist hierbei insbesondere definiert als die Dynamik der Repräsentation von Stimulationssignalen oder als die Einspeicherung von Gedächtnisinhalten in der Form von persistenter Aktivität, was bedeutet, dass die Aktivität in den einzelnen Neuronengruppen die Stimulationssignale überdauert.

In einer Variante der Erfindung ist das globale Hintergrundsignal für verschiedene Teile des neuronalen Netzes auf unterschiedliche Einstellwerte einstellbar. Hierdurch kann eine besonders flexible Anpassung der Eigenschaften des neuronalen Netzes erreicht werden.

In einer bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung weist das Hintergrundsignal für zumindest einen Teil seiner Einstellwerte und insbesondere für jeden seiner Einstellwerte eine Stärke auf, die größer als die Stärke jedes eingebbaren Eingabesignals ist. Vorzugsweise beträgt die Stärke des Hintergrundsignals zumindest das Doppelte der Stärke jedes Eingabesignals, insbesondere mehr als das Fünffache der Stärke jedes Eingabesignals und besonders bevorzugt mehr als das 10-fache der Stärke jedes Eingabesignals. Durch eine derartige Wahl des Hintergrundsignals können sehr gut die Aktivitäten des menschlichen Gehirns nachgebildet werden, bei dem ein großer Anteil der Hirnaktivität nur auf das Hintergrundsignal zurückzuführen ist. Es hat sich gezeigt, dass die Vorrichtung sehr gute Ergebnisse liefert, wenn die Stärke des Hintergrundsignals wesentlich größer als die Stärke des Eingabesignals ist. Es ist jedoch ggf. auch möglich, dass das Hintergrundsignal für zumindest einen Teil seiner Einstellwerte und insbesondere für jeden Einstellwert eine Stärke aufweist, die kleiner oder gleich der Stärke jedes eingebbaren Eingabesignals ist.

Zur Beschreibung der Aktivitäten der Neuronengruppen wird in einer besonders bevorzugten Ausführungsform der Erfindung die Mean-Field-Approximation verwendet, die hinlänglich aus dem Stand der Technik bekannt ist und beispielsweise in der Druckschrift [1] beschrieben ist. Mit der Mean-Field-Approximation kann sehr gut das Verhalten des neuronalen Netzes im stationären Zustand, das heißt ohne Eingaben von außen, ermittelt werden. Insbesondere können sehr gut stabile Fixpunkte (auch als Attraktoren bezeichnet) ermittelt werden, wobei diese Fixpunkte Zustände mit zeitlich konstanten Aktivitäten in den Neuronengruppen beschreiben. Vorzugsweise verwendet die Mean-Field-Approximation hierbei eine von dem Hintergrundsignal und wenigstens einem Teil der Aktivitäten der Neuronengruppen abhängige Transferfunktion, welche einen beschleunigenden Abschnitt umfasst, in dem der Wert der Ableitung der Transferfunktion ansteigt, sowie einen sättigenden Abschnitt, in dem der Wert der Ableitung der Transferfunktion abnimmt. Es hat sich gezeigt, dass mit einer solchen Transferfunktion sehr gut neuronale Netze mit Attraktorzuständen ermöglicht werden, wodurch in der Vorrichtung Vorgänge simuliert werden können, bei denen im Netz Gedächtnisinhalte gespeichert werden.

Vorzugsweise kann das Hintergrundsignal in der erfindungsgemäßen Vorrichtung derart eingestellt werden, dass das neuronale Netz wenigstens einen stabilen ersten Fixpunkt aufweist, bei dem sich die Aktivitäten der Neuronengruppen – abgesehen von kleinen, durch Rauschen verursachten Veränderungen – im Wesentlichen nicht verändern und im Wesentlichen alle Neuronengruppen im Wesentlichen die gleiche Aktivität aufweisen. Diese ersten Fixpunkte werden in der detaillierten Beschreibung als DC-Fixpunkte bezeichnet. Darüber hinaus ist das Hintergrundsignal vorzugsweise auch derart einstellbar, dass das neuronale Netz wenigstens einen zweiten stabilen Fixpunkt aufweist, bei dem sich die Aktivitäten der Neuronengruppen im Wesentlichen nicht verändern und die Neuronengruppen zumindest teilweise unterschiedliche Aktivitäten aufweisen. Dieser zweite stabile Fixpunkt kann beispielsweise durch eine vorangegangene Stimulation erreicht werden. Ein neuronales Netz, welches die Einstellung auf derartige Fixpunkte ermöglicht, gewährleistet insbesondere die Implementierung von Arbeitsgedächtnis in der Form von persistenter Aktivität der Neuronengruppen in dem neuronalen Netz.

Vorzugsweise ist das Hintergrundsignal auch auf wenigstens einen Einstellwert einstellbar, bei dem das neuronale Netz ausschließlich wenigstens einen zweiten stabilen Fixpunkt aufweist. Ferner ist in einer bevorzugten Ausführungsform des Netzes ein Rauschen erzeugbar, mit dem ein Übergang von einem zweiten stabilen Fixpunkt zu einem anderen zweiten stabilen Fixpunkt ermöglicht wird. Hierdurch können ggf. kreative Denkvorgänge des menschlichen Gehirns modelliert werden.

In einer weiteren Ausführungsform der erfindungsgemäßen Vorrichtung wird das globale Hintergrundsignal durch einen effektiven Hintergrundstrom repräsentiert, der eine globale Hemmung in dem neuronalen Netz durch eine Neuronengruppe aus hemmenden Neuronen berücksichtigt. Hierdurch wird eine einfache Modellierung des Netzes geschaffen, da eine in einem neuronalen Netz vorliegende Hemmung bereits durch ein effektives Hintergrundsignal sowie entsprechende effektive synaptische Gewichte berücksichtigt wird, so dass nicht separat mit den Gewichten von hemmenden Neuronen gerechnet werden muss.

Neben der oben beschriebenen Vorrichtung umfasst die Erfindung ferner ein Verfahren zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes, bei dem in wenigstens einen Teil von einer Mehrzahl von miteinander vernetzten, durch Aktivitäten gekennzeichneten Neuronengruppen mit einem oder mehreren Neuronen Eingabesignale eingegeben werden und bei dem wenigstens einem Teil der Neuronengruppen und vorzugsweise im Wesentlichen allen Neuronengruppen ein globales Hintergrundsignal zugeführt wird, das in Abhängigkeit von den erwünschten Eigenschaften des neuronalen Netzes auf einen entsprechenden Einstellwert eingestellt wird. Analog zu der oben beschriebenen erfindungsgemäßen Vorrichtung hat das Verfahren den Vorteil, dass nur durch die Veränderung eines einzigen Parameters, nämlich der Einstellung des Hintergrundsignals, die Eigenschaften des neuronalen Netzes verändert werden können.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschreiben.
Es zeigen:
1 eine schematische Darstellung einer Ausführungsform eines in der Erfindung verwendeten neuronalen Netzes;
2 eine graphische Darstellung einer in der Erfindung verwendeten Transferfunktion;
3 ein Diagramm, das die Abhängigkeit der Ausbildung von stabilen Bereichen in dem neuronalen Netz vom Hintergrundstrom wiedergibt;
4 eine dreidimensionale Darstellung, welche nochmals die Abhängigkeit der Aktivitäten der Neuronengruppen vom Hintergrundstrom wiedergibt;
5 ein Diagramm, welches verdeutlicht, in welchen Fällen sich in dem erfindungsgemäßen neuronalen Netz stabile Fixpunkte ausbilden;
6 ein Diagramm ähnlich zu 3, welches eine detailliertere Aufteilung der Stabilitätszustände des Netzes in Abhängigkeit von dem Hintergrundstrom wiedergibt;
7 Diagramme, welche die Abhängigkeit der Antwort eines Neuronenpools auf ein Stimulationssignal von dem globalen Hintergrundstrom zeigen;
8 Diagramme, welche die Abhängigkeit der Sensitivität eines neuronalen Netzes von dem globalen Hintergrundstrom zeigen; und
9 Diagramme, welche die Abhängigkeit der Antwort von zwei Neuronenpools auf zwei Stimulationssignale von dem globalen Hintergrundstrom verdeutlichen.
1 zeigt ein in einer Ausführungsform der erfindungsgemäßen Vorrichtung verwendetes neuronales Netz aus künstlichen Neuronen. Dieses Netz umfasst eine Vielzahl von Neuronenpools 1, 2,..., N aus erregenden Neuronen. Jeder Pool ist durch eine über alle Neuronen im Pool gemittelte Spiking-Rate ν₁, ν₂, ..., ν_N charakterisiert. Die Spiking-Rate ist eine hinlänglich aus dem Stand der Technik bekannte Größe und beschreibt die Aktivität von Neuronen. Jeder Pool zeichnet sich dadurch aus, dass er ähnliche Eingaben empfängt und sich alle künstlichen Neuronen des jeweiligen Pools ähnlich verhalten. Die spezifischen Eingaben für jeden der Pools 1 bis N entsprechen Eingabeströmen I_s,1, I_s,2, ..., I_s,N zu den jeweiligen Pools 1, 2, ..., N. Die lokalen Verbindungen der künstlichen Neuronen in einem Pool werden durch ein starkes lokales synaptisches Gewicht w₊ charakterisiert. Demgegenüber weisen die Neuronen zwischen den einzelnen Pools schwächere laterale synaptische Gewichte mit dem Wert w_ auf. Neben den Pools aus erregenden Neuronen existiert ferner ein so genannter Pool aus hemmenden Neuronen INH mit der Spiking-Rate ν_I. Dieser hemmende Pool INH weist eine lokale Erregung mit dem Wert –w_II auf und wird über einen globalen hemmenden Strom I_I gespeist. Ferner ist dieser Pool an die Pools der erregenden Neuronen gekoppelt, um eine globale Hemmung auf diese erregenden Neuronen auszuüben. Die Kopplung erfolgt über entsprechende Gewichte von dem hemmenden Pool zu den erregenden Pools mit dem Wert –w_EI und von den erregenden Pools hin zu dem hemmenden Pool mit dem Wert w_IE. In dem neuronalen Netz werden Eingabeinformationen, welche beispielsweise in dem Netz kategorisiert werden sollen, nur über die erregenden Pools durch entsprechende Stimuli I_S,1, I_S,2, ..., I_S,N zugeführt. Den erregenden Pools des Netzes wird ferner ein globaler, veränderbarer Eingabestrom I₀ zugeführt.
In der hier beschriebenen Ausführungsform der Erfindung wird die Dynamik des Netzes über die hinlänglich aus dem Stand der Technik bekannte Mean-Field-Approximation beschrieben (siehe Dokument [1]). Die Dynamik der Pools wird dabei durch folgende Gleichung approximiert:
Hierbei ist ν(t) die gemittelte Spiking-Rate über den jeweiligen Pool, g(I) stellt eine so genannte Transferfunktion des mittleren Eingangsstroms I(t) dar, und τ bezeichnet eine Zeitkonstante des Netzes.
Die Dynamik des neuronalen Netzes, das in der hier beschriebenen Ausführungsform verwendet wird, entspricht der in der Druckschrift [2] beschriebenen Dynamik. Diese wird durch folgende Gleichungen beschrieben:
Hierbei ist I₀ der globale Eingabestrom zu den Pools der erregenden Neuronen, I_I ist der globale Eingabestrom zu dem hemmenden Pool, I_s,k (k = 1, ..., N) ist der spezifische Eingabestrom zu dem jeweiligen Pool k, und g_I ist die Steigung einer hemmenden Transferfunktion.
Der Erfindung liegt die Erkenntnis zugrunde, dass der globale Eingabestrom I₀ wesentlich die Eigenschaften des neuronalen Netzes beeinflusst. Deshalb zeichnet sich die hier beschriebene Ausführungsform der Erfindung dadurch aus, dass dieser globale Eingabestrom zur Veränderung der Eigenschaften des neuronalen Netzes verstellt werden kann. Insbesondere können hierdurch die Verarbeitungseigenschaft des Netzes je nach Er fordernissen auf einfache Weise verändert und der gestellten Aufgabe, z.B. einer gestellten Kategorisierungsaufgabe, effektiv angepasst werden.
Der Erfinder hat insbesondere erkannt, dass der globale Hintergrundstrom, der in einem menschlichen Gehirn einen großen Anteil des Energieverbrauchs ausmacht, eine funktionelle Rolle spielen muss. Der Erfinder konnte nachweisen, dass eine Veränderung des Hintergrundstroms einen sehr starken Einfluss auf das neuronale Netz hat. Im folgenden wird in dem neuronalen Netz gemäß der 1 mit der Dynamik der Gleichungen (2) und (3) der Einfluss des Stroms auf das Netz nachgewiesen.
Die Gleichung (3) kann wie folgt umgeformt werden:
Mit dieser Umformung kann die Dynamik gemäß Gleichung (2) wie folgt geschrieben werden:
Hieraus ergibt sich folgendes Differentialgleichungssystem:
wobei
der so genannte globale effektive Hintergrundstrom ist; WS = w+ – w_die überschüssige lokale Erregung ist (meist größer bzw. gleich Null); und WL = N(w– – WI)die effektive laterale Verbindungsstärke ist (die ihr Vorzeichen ändern kann).
Das Netzwerk wird nun im folgenden auf der Basis der in der Gleichung (6) angegebenen Variablen analysiert. Hierbei wird insbesondere das Verhalten des Hintergrundstroms I_b untersucht, der bis auf eine Verschiebungskonstante dem globalen Eingabestrom I₀ entspricht. Die wesentlichen Beschreibungsgrößen in einem neuronalen Netz sind die so genannten stabilen Fixpunkte, welche Attraktoren des neuronalen Netzes darstellen. Je nachdem, welche Attraktoren das neuronale Netz aufweist, unterscheidet sich dessen Verhaltensweise.
Es wird der folgende Fixpunktvektor im Vektorraum aller erregenden Pools 1 bis N betrachtet: νFP =:νFP(1, 1, ..., 1)T ≡ νFP1 (7)
Dieser Vektor weist gleiche Aktivitäten für alle erregenden Pools auf und wird im folgenden auch als DC-Zustand/DC-Fixpunkt bezeichnet. Er stellt unter konstanten Eingabebedingungen eine Fixpunktlösung des Gleichungssystems (6) dar, wenn gilt:
Ein Fixpunkt ν^FP liegt somit unter folgender Bedingung vor: νFP = g(Ib + (WS + WL)νFP) (9)
Im Falle eines so genannten "balancierten Netzwerks", bei dem die effektive laterale Verbindungsstärke der Negativbetrag der überschüssigen lokalen Erregung ist (das heißt W_L = –W_S), gilt folglich: νFP = g(Ib)
2 zeigt qualitativ die Ausbildung von stabilen Fixpunkten FP in Abhängigkeit vom Hintergrundstrom I_b. In 2 ist auf der Abszisse die Spiking-Rate ν und auf der Ordinate die Transferfunktion g aufgetragen. Es sind hierbei drei Beispielfunktionen g für unterschiedliche Werte des Hintergrundstroms I_b,1, I_b,2 und I_b,3 dargestellt. Hierbei gilt: I_b,1 < I_b,2 < I_b,3. Mit der strich-punktierten Linie ist die Funktion für I_b,1 wiedergegeben. Mit der gepunkteten Linie 2 ist die Funktion für I_b,2 wiedergegeben. Mit der durchgezogenen Linie ist die Funktion für I_b,3 wiedergegeben. An den Stellen, an denen die gestrichelte Gerade h mit der Steigung 1 die einzelnen Funktionen g schneidet, liegen Fixpunkte vor. Man erkennt, dass für den Hintergrundstrom I_b,1 ein einziger unterer Fixpunkt FP1 vorliegt. Demgegenüber führt der Hintergrundstrom I_b,2 zu einem bistabilen Zustand mit zwei stabilen Fixpunkten FP2 und FP3. Es existiert zwar noch ein weiterer Punkt FP' für I_b,2, jedoch ist dieser Punkt kein stabiler Fixpunkt. Das Kriterium für die Stabilität eines Fixpunkts wird weiter unten noch näher erläutert. Für den Hintergrundstrom I_b,3 existiert auch ein einzelner Fixpunkt, der, im Gegensatz zu I_b,1, im oberen Bereich der entsprechenden Funktion g liegt.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Netzes sind die Parameter in dem Netz derart gewählt, dass wenigstens ein stabiler Fixpunkt vorliegt. Um dies zu erreichen, kann die Funktion g beispielsweise derart ausgestaltet sein, dass sie einen beschleunigenden Anteil, das heißt einen Anteil mit steigender Ableitung, sowie einen Sättigungsanteil, das heißt einen Teil mit einer fallenden Ableitung, aufweist. Ein Beispiel einer solchen Funktion ist die in der Druckschrift [2] verwendete Funktion, welche wie folgt lautet:
Diese Funktion approximiert sehr gut die über die Mean-Field-Analyse hergeleitete Funktion für verschiedene neuronale Netzwerkmodelle mit spikenden Neuronen.
Im folgenden wird untersucht, unter welchen Bedingungen die DC-Fixpunkte des neuronalen Netzes stabil sind, das heißt, dass sich die Aktivitäten der Pools nach kleinen ε-Veränderungen wieder zu den Fixpunkten zurückbewegen.
Um eine kleine beliebige Veränderung ε_k der Aktivität ν_k in einem Pool k des neuronalen Netzes zu beschreiben, wird folgender Ansatz gewählt: νk = νFP + εk, k = 1, ..., N, mit εk sehr klein, aber beliebig (11)
Ein Fixpunkt ist dann – und nur dann – stabil, wenn ε_k über die Zeit auf Null abfällt.
Es gilt.
Diese Gleichung kann wie folgt umgeformt werden:
Unter Verwendung einer Vektornotation für das Gleichungssystem lässt sich dieses wie folgt schreiben:
Hierbei ist ε = (ε1, ..., εN)T der Vektor der ε-Veränderung der Aktivität und es gilt ferner: 1 = (1, 1, 1, ..., 1)T
Hieraus ergibt sich, dass die Stabilität des Fixpunktes dann vorliegt, wenn gilt:
Aus dieser Gleichung folgt, dass ein stabiler Fixpunkt unter folgenden Bedingungen vorliegt:
Stabilität liegt somit dann vor, wenn entweder die Steigung der Funktion g am Fixpunkt oder die überschüssige Selbsterre gung W_S nicht zu groß ist und ferner entweder die Steigung der Funktion g am Fixpunkt oder die gesamte Erregung (W_S + W_L) nicht zu groß ist.
Aus den vorangegangenen Gleichungen ergibt sich insbesondere, dass unter der Bedingung g'(I^FP)W_S > 1 kein stabiler DC-Fixpunkt vorliegt. Die Bedingung ist für den Punkt FP' der 2 erfüllt, so dass dieser Fixpunkt nicht stabil ist.
Für die in Gleichung (10) beschriebene Funktion aus der Druckschrift [2] lässt sich für W_S ≥ 1 die Grenze zwischen stabilem DC-Fixpunkt und instabilem Fixpunkt bzw. spontaner Musterbildung wie folgt angeben:
Dieser Zusammenhang ist graphisch in 3 dargestellt, wobei der Bereich mit stabilem DC-Fixpunkt als R1 und der Bereich mit instabilen DC-Fixpunkten bzw. spontaner Musterbildung mit R2 bezeichnet ist.
4 zeigt nochmals anschaulich in einer 3D-Graphik den Zusammenhang zwischen dem Hintergrundstrom I_b und den Aktivitäten ν der Pools für ein simuliertes Beispielnetz. Die Achse NP bezeichnet hierbei die Nummer des Pools, wohingegen die beiden anderen Achsen die Größe des Hintergrundstroms I_b bzw. die Aktivität ν darstellen. Man erkennt, dass ein Bereich B1 existiert, in dem stabile DC-Fixpunkte vorliegen, bei denen alle Pools die gleichen Aktivitäten aufweisen. Der Bereich B1 erstreckt sich bis etwa zu einem Hintergrundstrom von I_b = 0,8. Es folgt schließlich ein Bereich B2, der der spontanen Ausbildung von Mustern entspricht, bei denen die Pools jeweils unterschiedliche Aktivitäten ν aufweisen. Der Bereich erstreckt sich ca. von I_b = 1 bis I_b = 1,14. Anschließend folgt ein Bereich B3, der wiederum stabile DC-Fixpunkte mit wesentlich höheren Aktivitäten als im Bereich B1 aufweist. Aus der 4 wird sehr anschaulich erkenntlich, dass durch eine Variation des Hintergrundstroms gemäß der Erfindung eine starke Variation der Eigenschaften des neuronalen Netzes erreicht werden kann.
Im folgenden wird analysiert, unter welchen Bedingungen so genannte gemusterte Zustände, welche Zustände mit unterschiedlichen Aktivitäten der Pools sind, Attraktorzustände mit persistenter Aktivität bilden. Falls beispielsweise jeder Neuronenpool ein Merkmal repräsentiert, kann seine stabile persistente Aktivität ohne einen Stimulus als Speicherzustand für dieses Merkmal betrachtet werden. Hierbei ist jedoch auch die Stabilität des DC-Zustands zu berücksichtigen. Ansonsten könnten die gemusterten Zustände spontan auftreten und ein Korrelat von so genannten Halluzinationen bilden. Es ist deshalb entscheidend, dass der Hintergrundstrom I_b so gewählt ist, dass sowohl wenigstens ein stabiler gemusterter Zustand als auch wenigstens ein stabiler DC-Zustand vorliegt. Dies wird als so genannte Multistabilität bezeichnet.
Zur Ermittlung, ob eine solche Multistabilität vorliegt, werden wiederum die Gleichungen im Fixpunkt betrachtet. Im Fixpunkt gilt:
Diese Gleichungen faktorisieren in k, das heißt jede kann separat betrachtet werden: ν = g([Ib + WL ν] + WSν) = g([Ib + (WS + WL)ν] + WS(ν – ν)) (16)
Im Falle eines balancierten Netzwerks (das heißt W_S = –W_L) erhält man: νk = g(Ib + WS(νk – ν)) (17)
Zur Ermittlung, ob es gemusterte Fixpunktzustände gibt, wird folgender Ansatz gemacht:
Jeder Neuronenpool 1 bis N kann in einem von zwei Aktivitätszuständen sein, was mathematisch wie folgt ausgedrückt werden kann: ν ∊ (νa, νs), νa > νs ν1, ν2, ..., νM = νa; νM+1, ..., νN = νs
Der Mittelwert der Aktivität ν kann somit wie folgt ausgedrückt werden:
Hieraus ergibt sich für die beiden Aktivitätszustände ν_a und ν_s folgende Beziehung, wobei x den Anteil an Pools mit der Aktivität ν_a bezeichnet
Eine Lösung für die Gleichungen gemäß (18) liegt dann vor, wenn eine lineare Funktion mit der Steigung 1/W_S vorliegt, welche die Funktion g wenigstens zweimal derart schneidet, dass das Verhältnis der Distanzen zwischen dem jeweiligen Schnittpunkt und dem Punkt I_b x/(1 – x) ist.
5 zeigt ein Beispiel für eine entsprechende Funktion g sowie einen entsprechend gewählten Hintergrundstrom I_b, so dass die Gleichungen gemäß (18) erfüllt ist. In 5 ist ferner die untere Grenze I₁ für den Hintergrundstrom I_b angedeutet. Die Grenze ergibt sich durch die Tangente mit der Steigung 1/W_S an dem Graphen g in Punkt I₂.
Für die Transferfunktion gemäß der Gleichung (10) können I₁ und I₂ analytisch berechnet werden. Es ergeben sich folgende Funktionen:
6 zeigt eine graphische Darstellung, welche die Ausbildung verschiedener Eigenschaftsbereiche des neuronalen Netzes für die Transferfunktion gemäß Gleichung (10) in Abhängigkeit von dem Hintergrundstroms I_b und der Selbsterregung W_S zeigt. Die Graphik gemäß 6 entspricht im Wesentlichen der Graphik der 3, wobei der Bereich R1 nunmehr jedoch eingeteilt ist in die Bereiche R1' und R1''. Der Bereich R1'' zeigt hierbei Zustände des neuronalen Netzes, bei denen sowohl ein stabiler DC-Fixpunkt als auch stabile gemusterte Fixpunktzustände vorliegen.
Aus der vorangegangenen Beschreibung ergibt sich, dass abhängig von der Größe des Hintergrundstromes flexibel und dynamisch eingestellt werden kann, welche Attraktoren, das heißt Gedächtnisinhalte des Modells, stabil sind. Dazu wird jeder der Neuronenpools 1 bis N als Repräsentant einer Größe (Wahrnehmungsinhalt, Aktionsplan oder Gedanken) identifiziert. Ist der entsprechende Pool auch ohne externe Stimulation aktiv, handelt es sich um Gedächtnisinhalt. Man erkennt insbesondere, dass über den Hintergrundstrom I_b eingestellt werden kann, ob und gegebenenfalls wie viele Gedächtnisinhalte gleichzeitig gespeichert werden können. Insbesondere können Inhalte bei Bedarf dynamisch gelöscht werden, was einen wichtigen Mechanismus zur Informationsselektion darstellt.
Es wird im folgenden ein balanciertes Netzwerk betrachtet, das heißt W_S = –W_L. Zunächst wird beschrieben, wie mit Hilfe des Hintergrundstroms I_b die Antwort des Netzwerks auf neue Stimuli dynamisch eingestellt werden kann. Dies kann in Anlehnung an das biologische Vorbild des neuronalen Netzes als Mechanismus der Wachheit bzw. Aufmerksamkeit gedeutet werden.
7 zeigt für unterschiedliche Hintergrundströme, nämlich für I_b = 0,52, für I_b = 0,54 und für I_b = 0,56, die Aktivität eines ausgewählten Neuronenpools in einem simulierten neuronalen Netz, wobei der Neuronenpool für die Zeitperiode t_s mit einem Stimulus erregt wird. Mann erkennt, dass sich nur durch geringe Variationen des Hintergrundstroms I_b sehr unterschiedliche Antworten des ausgewählten Pools im simulierten Netz ergeben. Insbesondere erkennt man, dass die Aktivitäten des Pools für I_b = 0,54 und I_b = 0,56 wesentlich stärker sind und wesentlich länger anhalten als im Falle von I_b = 0,52.
8 zeigt drei Diagramme, welche die Sensitivität eines simulierten neuronalen Netzes für variierten Hintergrundstrom I_b auf einen Stimulationsstrom I_s wiedergeben. Die Sensitivität kann in Anlehnung an das biologische Vorbild des neuronalen Netzes als Mechanismus der Wachheit bzw. Aufmerksamkeit gedeutet werden. In jedem Diagramm ist hierbei der Wert für W_S unterschiedlich gewählt. Im obersten Diagramm gilt W_S = 0,9, im mittleren Diagramm ist W_S = 1,10 und im unteren Diagramm ist W_S = 1,25. Auch hier erkennt man, dass der Wert des Hintergrundstroms, der in jedem Diagramm für drei unterschiedliche Werte dargestellt ist, einen starken Einfluss auf das Verhalten des Netzes hat. Insbesondere aus dem mittleren und dem unteren Diagramm wird ersichtlich, dass bei zunehmendem I_b die Sensitivität, das heißt die Verstärkung des Netzes heraufgesetzt wird, das heißt das Netz reagiert schon bei einem geringeren Stimulus I_S. Somit kann auf einfache Weise durch Variationen des Hintergrundstroms eine dynamische Anpassung der Sensitivität des Netzes erreicht werden.
9 zeigt fünf Diagramme D1 bis D5, welche das Verhalten von zwei Neuronenpools P1 und P2 in einem simulierten neuronalen Netz zeigen, wobei beide Neuronenpools mit dem gleichen Stimulus während der Zeitperiode t_s erregt werden. Man erkennt wiederum, dass die Neuronenpools in Abhängigkeit von der Größe des Hintergrundstroms I_b ihr Verhalten verändern. Im Diagramm D1 ist die Reaktion der Pools P1 und P2 auf den Stimulus sehr klein. Die Reaktion des Pools P2 bei ansteigen dem Hintergrundstrom nimmt von Diagramm D1 bis D4 stark zu. Insbesondere liegt in Diagramm D4 nach Stimulation eine persistente Aktivität des Pools P2 vor. Bei noch weiterer Erhöhung des Hintergrundstroms I_b erfolgt ferner auch eine starke Antwort des anderen Pools P1, der in den Diagrammen davor im Wesentlichen keine Veränderung zeigte. Im Diagramm D5 zeigt auch dieser Pool eine persistente Aktivität, was somit zu einem neuronalen Netz mit Arbeitsgedächtnis führt.
Die Diagramme der 9 zeigen sehr anschaulich, dass die Eigenschaften des neuronalen Netzes in Abhängigkeit von dem Hintergrundstrom stark verändert werden können. Es konnte ferner gezeigt werden, dass das neuronale Netz in Abhängigkeit von dem Hintergrundstrom auch Sequenzen von Stimuli ganz unterschiedlich verarbeitet. Insbesondere kann beispielsweise ein späterer Stimulus, der auf einen früheren Stimulus folgt, ignoriert werden (so genanntes nicht-störbares Arbeitsgedächtnis). Es kann jedoch auch der Fall auftreten, dass in dem Netz statt einem ersten Stimulus ein nachfolgender zweiter Stimulus repräsentiert wird (so genanntes störbares Arbeitsgedächtnis). Ferner können beide Stimuli zusammen in dem neuronalen Netz repräsentiert werden (so genannte Sequenzspeicherung). Darüber hinaus kann ein globaler schwacher Zusatzstrom in dem neuronalen Netz auch als Gating-Signal dienen, um bereits bestehende Arbeitsgedächtnisinhalte zu stabilisieren.
Wie sich aus dem vorangegangenen Ausführungen ergibt, kann durch die Variation des Hintergrundstroms ein neuronales Netz flexibel unterschiedliche Signalverarbeitungen ausführen und seine dynamischen Verarbeitungseigenschaften ändern sowie unterschiedliche Attraktoren im Netz stabilisieren bzw. destabilisieren. Der Hintergrundstrom kann hierbei generell globaler Natur sein, das heißt es wird keine signalspezifische Information benötigt, um mit diesem Hintergrundstrom eine Schaltfunktion auszuführen. Der Hintergrundstrom stellt somit einen zusätzlichen Freiheitsgrad in der Einstellung eines neuronalen Netzes dar. Wird er immer konstant gehalten, redu ziert sich das Netzwerk auf ein klassisches neuronales Attraktor-Netzwerk.
Zitierte Literatur

[1] Brunel, N. und Wang, X. J. (2001) : "Effects of neuromodulation in a cortical network model of object working memory dominated by recurrent inhibition", Comput. Neurosci. 11: 63–85.
[2] Mongillo, G., Amit, D. J. und Brunel, N. (2003): "Retrospective and prospective persistent activity induced by Hebbian learning in a recurrent cortical network", Eur. J. Neurosci. 18: 2011–2024.

Claims

Vorrichtung zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes, das umfasst: – eine Mehrzahl von miteinander vernetzten, durch Aktivitäten (ν₁, ..., ν_N) gekennzeichneten Neuronengruppen (1, ..., N) mit einem oder mehreren Neuronen, wobei in wenigstens einen Teil der Neuronengruppen (1, ..., N) jeweils ein Eingabesignal (I_s,1, ..., I_s,N) eingebbar ist; – wobei wenigstens einem Teil der Neuronengruppen (1, ..., N) ein globales Hintergrundsignal (I_b) zuführbar ist; – wobei das Hintergrundsignal (I_b) auf eine Mehrzahl von Einstellwerten einstellbar ist.
Vorrichtung nach Anspruch 1, bei der das globale Hintergrundsignal (I_b) im Wesentlichen allen Neuronengruppen zuführbar ist.
Vorrichtung nach Anspruch 1 oder 2, bei der das globale Hintergrundsignal (I_b) für verschiedene Teile des neuronalen Netzes auf unterschiedliche Einstellwerte einstellbar ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das Hintergrundsignal (I_b) für zumindest einen Teil seiner Einstellwerte und insbesondere für jeden Einstellwert eine Stärke aufweist, die größer als die Stärke jedes eingebbaren Eingabesignals (I_s,1, ..., I_s,N) ist.
Vorrichtung nach Anspruch 4, bei der die Stärke des Hintergrundsignals (I_b) zumindest das Doppelte der Stärke jedes Eingabesignals (I_s,1, ..., I_s,N), vorzugsweise mehr als das Fünffache der Stärke jedes Eingabesignals (I_s,1, ..., I_s,N) und besonders bevorzugt mehr als das 10-fache der Stärke jedes Eingabesignals (I_s,1, ..., I_s,N), beträgt.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das Hintergrundsignal (I_b) für zumindest einen Teil seiner Einstellwerte und insbesondere für jeden Einstellwert ei ne Stärke aufweist, die kleiner oder gleich der Stärke jedes eingebbaren Eingabesignals (I_s,1, ..., I_s,N) ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Aktivitäten der Neuronengruppen (1, ..., N) in dem neuronalen Netz mit einer Mean-Field-Approximation ermittelt werden.
Vorrichtung nach Anspruch 7, bei der in der Mean-Field-Approximation eine von dem Hintergrundsignal (I_b) und wenigstens einem Teil der Aktivitäten (ν₁, ..., ν_N) der Neuronengruppen (1, ..., N) abhängige Transferfunktion (g(I)) verwendet wird, welche einen beschleunigenden Abschnitt umfasst, in dem der Wert der Ableitung (g'(I)) der Transferfunktion (g(I)) ansteigt, sowie einen sättigenden Abschnitt, in dem der Wert der Ableitung (g'(I)) der Transferfunktion (g(I)) abnimmt.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das Hintergrundsignal (I_b) auf wenigstens einen Einstellwert einstellbar ist, bei dem das neuronale Netz wenigstens einen ersten stabilen Fixpunkt aufweist, bei dem sich die Aktivitäten (ν₁, ..., ν_N) der Neuronengruppen (1, ..., N) im Wesentlichen nicht verändern und im Wesentlichen alle Neuronengruppen im Wesentlichen die gleiche Aktivität aufweisen.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das Hintergrundsignal (I_b) auf wenigstens einen Einstellwert einstellbar ist, bei dem das neuronale Netz wenigstens einen zweiten stabilen Fixpunkt aufweist, bei dem sich die Aktivitäten (ν₁, ..., ν_N) der Neuronengruppen (1, ..., N) im Wesentlichen nicht verändern und die Neuronengruppen (1, ..., N) zumindest teilweise unterschiedliche Aktivitäten (ν₁, ..., ν_N) aufweisen.
Vorrichtung nach Anspruch 10, bei der das Hintergrundsignal (I_b) auf wenigstens einen Einstellwert einstellbar ist, bei dem das neuronale Netz ausschließlich wenigstens einen zweiten stabilen Fixpunkt aufweist.
Vorrichtung nach Anspruch 10 oder 11, bei der in dem neuronalen Netz ein Rauschen erzeugbar ist, mit dem ein Übergang von einem zweiten stabilen Fixpunkt zu einem anderen zweiten stabilen Fixpunkt ermöglicht wird.
Vorrichtung nach einem der vorhergehenden Ansprüche, bei der das globale Hintergrundsignal (I_b) durch einen effektiven Hintergrundstrom repräsentiert ist, der eine globale Hemmung in dem neuronalen Netz durch eine Neuronengruppe (INH) aus hemmenden Neuronen berücksichtigt.
Verfahren zur dynamischen Informationsselektion mit Hilfe eines neuronalen Netzes, bei dem: – in wenigstens einen Teil von einer Mehrzahl von miteinander vernetzten, durch Aktivitäten (ν₁, ..., ν_N) gekennzeichneten Neuronengruppen (1, ..., N) mit einem oder mehreren Neuronen Eingabesignale (I_s,1, ..., I_s,N) eingegeben werden; – zumindest einem Teil der Neuronengruppen (1, ..., N) ein globales Hintergrundsignal (I_b) zugeführt wird, das in Abhängigkeit von den erwünschten Eigenschaften des neuronalen Netzes auf einen entsprechenden Einstellwert eingestellt wird.