DE102005046747B3

DE102005046747B3 - Verfahren zum rechnergestützten Lernen eines neuronalen Netzes und neuronales Netz

Info

Publication number: DE102005046747B3
Application number: DE102005046747A
Authority: DE
Inventors: Gustavo Prof. Deco; Martin Dr. Stetter; Miruna Szabo
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-09-29
Filing date: 2005-09-29
Publication date: 2007-03-01
Anticipated expiration: 2025-09-30
Also published as: EP1934895A2; WO2007036465A2; US20100088263A1; WO2007036465A3; US8423490B2

Abstract

Die Erfindung betrifft ein Verfahren zum rechnergestützten Lernen eines neuronalen Netzes (1), umfassend eine Vielzahl von Neuronen:
a) bei dem die Neuronen des neuronalen Netzes (1) in wenigstens zwei Schichten (L1, L2) umfassend eine erste Schicht (L1) und eine zweite, mit der ersten Schicht (L1) vernetzten Schicht (L2) eingeteilt werden;
b) bei dem in der ersten Schicht (L1) Eingabeinformationen (I) jeweils durch eine oder mehrere Merkmalsausprägungen (D1, D2, N1, N2) von einem oder mehreren Merkmalen repräsentiert sind, wobei jede Merkmalsausprägung (D1, D2, N1, N2) ein oder mehrere Neuronen der ersten Schicht umfasst, und in der zweiten Schicht eine Mehrzahl von Kategorien (C1, C2) gespeichert sind, wobei jede Kategorie ein oder mehrere Neuronen der zweiten Schicht (L2) umfasst;
c) bei dem für eine oder mehrere Eingabeinformationen (I) jeweils wenigstens eine Kategorie (C1, C2) in der zweiten Schicht (L2) den Merkmalsausprägungen (D1, D2, N1, N2) der Eingabeinformation (I) in der ersten Schicht (L1) zugeordnet wird;
d) bei dem in die erste Schicht (L1) eine Eingabeinformation (I) eingegeben wird und anschließend wenigstens eine Zustandsgröße des neuronalen Netzes (1) ermittelt wird und mit der in Schritt c) zugeordneten wenigstens einen Kategorie (C1, C2) dieser Eingabeinformation (I) verglichen wird;
e) bei dem in Abhängigkeit von dem Vergleichsergebnis aus Schritt d) die Vernetzung zwischen der ersten und zweiten Schicht (L1, L2) verändert wird.

Description

Die Erfindung betrifft die dynamische Selektion von Informationen. Systeme der Datenverarbeitung, insbesondere intelligente Agenten oder Systeme zur Auswertung von Daten, erhalten Eingabeinformationen. Hierzu muss das System die Eingabeinformationen nach bestimmten Kriterien aufbereiten und ausgeben oder aus den Eingabeinformationen eine Handlung ableiten und ausführen. Der Aufbereitung der Eingabeinformationen im Hinblick auf eine zu lösende Aufgabe kommt hierbei besondere Bedeutung zu. So existieren zahlreiche Klassifikationsverfahren, um Eingabeinformationen bestimmten Klassen zuzuordnen. Ziel ist es hierbei, eine für die zu lösende Aufgabe möglichst optimale Repräsentation der Eingabeinformationen zu gewinnen.
Anwendungsgebiete von Klassifikationsverfahren betreffen im medizinischen Bereich die Einteilung von Patienten in Gruppen mit verschiedenen Diagnosen und Medikamentenverträglichkeiten. Ein andere Anwendung ist beispielsweise die Verkehrstechnik, bei der Sensormesswerte in verschiedene Kategorien eingestuft werden. Ferner werden Klassifikationsverfahren in der industriellen Automation verwendet, um beispielsweise eine zu erwartende Produktqualität auf der Basis von Sensorwerten des industriellen Prozesses zu klassifizieren.
Zur Aufbereitung von Eingabeinformationen sind zahlreiche mathematische Klassifikationsverfahren bekannt, z. B. maschinelle Lernverfahren mit sog. "Support Vector Machines". Hierbei werden aus den Eingabeinformationen zunächst Merkmale extrahiert, welche jeweils in einer bestimmten Merkmalsausprägung vorkommen können. Als Merkmal wird eine bestimmte Eigenschaft der Eingabeinformationen verstanden. Unter Merkmalsausprägung wird verstanden, ob, in welchem Umfang oder auf welche Art ein bestimmtes Merkmal in den Eingabeinformationen gegeben ist. Die Ausprägung kann hierbei lediglich das Vorhandensein oder das Nichtvorhandensein eines Merkmals angeben, die Ausprägung kann aber auch beliebige Zwischenstufen beschreiben. Im Bereich der Sprachverarbeitung könnte ein Merkmal beispielsweise angeben, ob bei der Digitalisierung eines akustischen Sprachsignals Informationen abgeschnitten wurden (Clipping) oder nicht. Im Bereich der Bildverarbeitung könnte ein Merkmal eine Grauwertverteilung von Pixeln eines Bildes angeben. Die Ausprägung kann hierbei z. B. für jede von 256 Graustufen angeben, wie häufig sie vorkommt. Weitere Merkmale könnten die Lautstärke eines Sprachsignals, die Volatilität eines Aktienkurses, die Geschwindigkeit eines Fahrzeugs, die Unebenheit einer Oberfläche, sowie die Strukturen eines Röntgenbildes sein. Die angegebenen Beispiele zeigen, dass die Extraktion von Merkmalen in unterschiedlichsten Bereichen der Datenverarbeitung zum Einsatz kommt.
Im Rahmen der bekannten mathematischen Verfahren wird nach Extraktion unterschiedlicher Merkmale der Eingabeinformationen eine Klassifikation der extrahierten Merkmale vorgenommen. Werden als Merkmale Kanten in einem Bild extrahiert, so kann in einem zweiten Schritt klassifiziert werden, ob die Kanten beispielsweise zu der Abbildung eines Gesichts oder eines Gebäudes gehören. Nachteilig wirkt sich hierbei aus, dass die meisten Verfahren nicht selbst entscheiden können, welche Merkmale für die spätere Klassifikation wichtig und welche unwichtig sind. Eine solche Unterscheidung von Merkmalen im Hinblick auf eine zu lösende Aufgabe muss dann von Hand erfolgen und dem System in irgendeiner Form vorgegeben werden. Bekannt sind schließlich auch Verfahren, die Merkmale gezielt auswählen können. Die Extraktion der Merkmale bzw. ihre Ausprägung bleibt hiervon jedoch unberührt.

Aus der Schrift [1] ist ein neuronales Netz bekannt, welches eine selektive Repräsentation der Ausprägung von Merkmalen von Eingabeinformationen in Abhängigkeit eines Aufmerksamkeitsfilters erlaubt. Ein Merkmal ist hierbei der Ort eines Objektes, welcher in den Ausprägungen links und rechts vorkommt; ein anderes Merkmal ist die Art des Objektes, welche in den Ausprägungen "Zielobjekt" und "anderes Objekt" vorkommt. Die Repräsentation der Ausprägungen dieser Merkmale wird durch einen Aufmerksamkeitsfilter selektiv beeinflusst.

Durch die Repräsentation der Ausprägungen der Merkmale wird es möglich, bestimmte Merkmale bzw. ihre Ausprägung zu verstärken, zu filtern, auszublenden, zu differenzieren, zu betonen, zu gewichten und zu bewerten. Dies erfolgt, indem die einzelnen Ausprägungen der Merkmale in der Repräsentation gewichtet werden. Wenn zum Beispiel ein Merkmal "Grauwert" nur in den Ausprägungen "Schwarz" und "Weiß" vorkommt, so kann eine tief-schwarze Eingabeinformation dadurch repräsentiert werden, dass der Ausprägung "Schwarz" ein besonders hohes Gewicht im Vergleich zu anderen Merkmalen verliehen wird. In der Schrift [1] wird ein solches großes Gewicht einer Ausprägung durch einen Pool von Neuronen mit hoher Aktivität repräsentiert.

Nachteilig wirkt sich jedoch auch hier wieder aus, dass der Aufmerksamkeitsfilter, d. h. die Information über die Bedeutung der einzelnen Merkmale, von Hand von außen zugeführt werden muss. Es ist hier nicht möglich, das neuronale Netz automatisiert in Abhängigkeit der Bedeutung der Merkmale entsprechend zu generieren.

Das Dokument [Richard P. Lippmann: An Introduction to Computing with Neural Nets, IEEE ASSP MAGAZINE APRIL 1987, S. 4–22] betrifft eine allgemeine Einführung in die Berechnungsverfahren von neuronalen Netzen. Es wird in dem Artikel auch die Verwendung von neuronalen Netzen zur Klassifizierung von Mustern erwähnt. Nichtsdestotrotz kann dieser Druckschrift nicht eine belohnungsbasierte Lernregel entnommen werden. Insbesondere ist in dem Dokument nicht das Merkmal gezeigt, dass vorwärts- und rückwärtsgerichtete Gewichte in Abhängigkeit davon verstärkt bzw. abgeschwächt werden, ob zuvor eine korrekte Kategorisierung von Eingabeinformationen vorgenommen wurde.

Auch die Druckschrift [Michael Esslinger und Ingo Schaal: OCR mit SNNS, Mustererkennung mit neuronalen Netzen, Praktikumsbericht zum Vortrag Künstliche Intelligenz SS 2004 am 02.07.2004, 16 Seiten] beschäftigt sich mit der Mustererkennung in neuronalen Netzen. In der Druckschrift werden im Abschnitt 4. auch verschiede Lernregel beschrieben, wobei jedoch die Anpassung der Gewichte nicht in der Weise erfolgt, wie es gemäß der Erfindung festgelegt ist. Die Druckschrift [Siegfried Macho: Modelle des Lernens: Neuronale Netze, Universitas Friburgensis mai 93, 6 Seiten] betrifft ebenfalls einen allgemein gehaltenen Artikel über Lernmodelle mit neuronalen Netzen. Es wird in dem Artikel zwar die Anpassung von assoziativen Verbindungen erwähnt, jedoch findet sich auch in diesem Dokument kein Hinweis auf das spezielle belohnungsbasierte Hebb'sche Lernverfahren gemäß der Erfindung.

Aufgabe der Erfindung ist es, ein Verfahren zum Lernen eines neuronalen Netzes zu generieren, welches automatisiert das neuronale Netz der Bedeutung der dem Netz zugrunde liegenden Merkmalsausprägungen und Kategorien anpasst und dabei den Lernvorgang von höheren Lebewesen rechnergestützt nachbildet.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

Das erfindungsgemäße Verfahren generiert ein neuronales Netz, bei dem die Neuronen des neuronalen Netzes in wenigstens zwei Schichten umfassend eine erste Schicht und eine zweite, mit der ersten Schicht vernetzten Schicht eingeteilt werden, wobei die Vernetzung zwischen der ersten und zweiten Schicht des neuronalen Netzes durch synaptische Verbindungen zwischen Neuronen repräsentiert und die Stärke einer Verbindung durch ein Gewicht wiedergegeben wird. Es wird somit auf bekannte Strukturen von neuronalen Netzen zurückgegriffen, um auf einfache Weise das erfindungsgemäße Verfahren umzusetzen. Hierbei umfassen die synaptischen Verbindungen zwischen einem ersten und einem zweiten Neuron eine vorwärtsgerichtete Verbindung von dem ersten zum zweiten Neuron und eine rückwärtsgerichtete Verbindung vom zweiten zum ersten Neuron.

In der ersten Schicht werden Eingabeinformationen jeweils durch eine oder mehrere Merkmalsausprägungen von einem oder mehreren Merkmalen repräsentiert, wobei jede Merkmalsausprägung ein oder mehrere Neuronen der ersten Schicht umfasst, und in der zweiten Schicht eine Mehrzahl von Kategorien gespeichert sind, wobei jede Kategorie ein oder mehrere Neuronen der zweiten Schicht umfasst. In dem erfindungsgemäßen Verfahren wird für eine oder mehrere Eingabeinformationen jeweils wenigstens eine Kategorie in der zweiten Schicht den Merkmalsausprägungen der Eingabeinformation in der ersten Schicht zugeordnet. Schließlich wird in die erste Schicht eine Eingabeinformation eingegeben und anschließend wenigstens eine Zustandsgröße des neuronalen Netzes ermittelt und mit der zugeordneten wenigstens einen Kategorie dieser Eingabeinformation verglichen, wobei bei dem durchgeführten Vergleich ermittelt wird, ob für die Eingabeinformation eine Übereinstimmung zwischen der wenigstens einen Zustandsgröße des neuronalen Netzes und der zugeordneten wenigstens einen Kategorie der Eingabeinformation vorliegt. Hierdurch wird ein einfaches Kriterium geschaffen, um einen schnell durchzuführenden Vergleich zwischen Zustandsgrößen des neuronalen Netzes und Zuordnungen von Kategorien zu Merkmalsausprägungen der Eingabeinformation durchzuführen.

Anschließend wird die Aktivität der Neuronen im neuronalen Netz ermittelt und die Neuronen in Abhängigkeit von ihrer Aktivität jeweils als aktiv oder inaktiv eingestuft. Die Aktivität der Neuronen liefert wichtige Aufschlüsse über die Funktionsweise des neuronalen Netzes, und es ist deshalb vorteilhaft, die Aktivität der Neuronen als Parameter im neuronalen Netz zu berücksichtigen.

Gemäß der Erfindung werden die Gewichte der synaptischen Verbindungen zwischen aktiven Neuronen der ersten Schicht und aktiven Neuronen der zweiten Schicht verstärkt, wenn beim Vergleich der Zustandsgrößen des neuronalen Netzes für eine Eingabeinformation mit der zugeordneten wenigstens einen Kategorie der Eingabeinformation eine Übereinstimmung festgestellt wird. Das Verfahren ist somit eine vorteilhafte Abwandlung des aus dem Stand der Technik bekannten Hebb'schen Lernverfahrens, wonach Verbindungsstärken zwischen aktiven Neuronen verstärkt werden. Die Abwandlung besteht darin, dass die Verstärkung nur dann vorgenommen wird, wenn der Zustand des neuronalen Netzes darauf hindeutet, dass das neuronale Netz eine richtige Kategorisierung liefert.

Ferner werden erfindungsgemäß beim Vorliegen einer Übereinstimmung der Zustände des neuronalen Netzes für eine Eingabeinformation mit der zugeordneten wenigstens einen Kategorie die Gewichte der vorwärtsgerichteten synaptischen Verbindungen von ersten aktiven Neuronen aus einer der ersten und zweiten Schicht zu zweiten inaktiven Neuronen aus der anderen der ersten und zweiten Schicht abgeschwächt. Derartige synaptische Verbindungen deuten darauf hin, dass eine nicht korrekte Vernetzung zwischen den Neuronen vorliegt, so dass eine Abschwächung von derartigen Verbindungen vorgenommen wird, um das Netz schnell und effektiv zu lernen.

Im umgekehrten Fall, wenn keine Übereinstimmung zwischen dem Zustand des neuronalen Netzes und der zugeordneten Kategorie der Eingabeinformation vorliegt, werden gemäß der Erfindung die Gewichte der synaptischen Verbindungen zwischen aktiven Neuronen der ersten Schicht und aktiven Neuronen der zweiten Schicht abgeschwächt. Hierdurch wird in effektiver Weise verhindert, dass in dem neuronalen Netz falsche Kategorien ge lernt werden. Vorzugsweise werden im Falle, dass keine Übereinstimmung vorliegt, die Gewichte von allen synaptischen Verbindungen, die nicht abgeschwächt werden, nicht verändert.

Durch das erfindungsgemäße Verfahren kann auf einfache Weise dynamisch die Vernetzung zwischen Neuronen aus einer ersten und einer zweiten Schicht entsprechend den Gegebenheiten des zugrunde liegenden Klassifikationssystems angepasst werden. Es ist somit nicht mehr erforderlich, dass das neuronale Netz per Hand an die unterschiedlichen Merkmalsausprägungen und entsprechenden Kategorisierungen angepasst wird.

In einer bevorzugten Ausführungsform der Erfindung stellen die Kategorien der zweiten Schicht Lösungen einer Aufgabe dar, wobei die Lösung der Aufgabe von den Eingabeinformationen abhängt. Mit einem derartigen Verfahren kann das neuronale Netz auf einfache Weise an verschiedene Aufgabenstellungen angepasst werden.

In einer besonders bevorzugten Ausführungsform des Verfahrens wird erreicht, dass das gelernte Netz Merkmale nach ihrer Relevanz im Hinblick auf die gestellte Aufgabe unterscheiden kann. Hierbei sind die Merkmale unterteilt in diagnostische Merkmale, welche für die Lösung der Aufgabe relevant sind, und in nicht-diagnostische Merkmale, welche für die Lösung der Aufgabe nicht relevant sind. Vorzugsweise ist hierbei jede zugeordnete wenigstens eine Kategorie einer Eingabeinformation eine richtige Lösung der Aufgabe. Hierdurch wird in vorteilhafter Weise erreicht, dass mit dem neuronalen Netz die vorgegebene Kategorisierungsaufgabe effektiv gelöst wird.

In einer weiteren besonders bevorzugten Ausführungsform der Erfindung liegt eine Übereinstimmung zwischen einer Zustandsgröße des neuronalen Netzes für eine Eingabeinformation und der zugeordneten wenigstens einen Kategorie der Eingabeinformation dann vor, wenn die Anzahl der aktiven Neuronen, die zu der zugeordneten wenigstens einen Kategorie dieser Eingabein formation gehören, eine vorbestimmte Anzahl in Abhängigkeit von der Gesamtanzahl der Neuronen in der wenigstens einen Kategorie und/oder der Anzahl von aktiven Neuronen in anderen Kategorien überschreitet. Hierdurch wird sich in vorteilhafter Weise die biologische Erkenntnis von neuronalen Netzen zunutze gemacht, gemäß der eine verstärkte Aktivität von Neuronen auf das Vorliegen einer bestimmten Kategorie hindeutet.

Vorzugsweise werden beim Vorliegen einer Übereinstimmung des Zustandes des Netzes für eine Eingabeinformation mit der zugeordneten Kategorie der Eingabeinformation keine weiteren Veränderungen der synaptischen Verbindungen vorgenommen.

Das erfindungsgemäße Verfahren wird in einer besonders bevorzugten Ausführungsform als Iterationsverfahren eingesetzt, bei dem die Schritte der Eingabe von Eingabeinformationen und anschließendem Vergleich sowie der Veränderung der Vernetzung in Abhängigkeit des Vergleichsergebnisses mehrere Male wiederholt werden. Durch eine entsprechend häufige Wiederholung dieser Schritte kann somit ein besonders gut gelerntes neuronales Netz erzeugt werden. Vorzugsweise wird die Iteration nach Erreichung eines Konvergenzkriteriums beendet.

In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird nach jedem Iterationsschritt eine Normalisierung der Vernetzung des neuronalen Netzes durchgeführt, um die Konvergenz des Verfahrens sicherzustellen.

In einer weiteren Ausgestaltung der Erfindung stellen die miteinander vernetzten Neuronen der ersten und zweiten Schicht des neuronalen Netzes erregende gepulste Neuronen dar, welche üblicherweise in neuronalen Netzen verwendet werden. Hierbei sind die erregenden gepulsten Neuronen der ersten Schicht zumindest teilweise in Eingabepools gruppiert, wobei jeder Merkmalsausprägung mindestens ein Eingabepool zugeordnet ist. Hierdurch wird die Schnelligkeit des erfindungsgemäßen Verfahrens erhöht, da bei den durchgeführten Be rechnungen nur noch die Eingabepools und nicht alle Neuronen einzeln berücksichtigt werden müssen.

Vorzugsweise kooperieren die Eingabepools miteinander und die Aktivitäten der Eingabepools repräsentieren jeweils eine Merkmalsausprägung. Hierdurch werden auf einfache Weise die Merkmalsausprägungen direkt mit Zuständen der Eingabepools in Verbindung gesetzt.

In einer weiteren bevorzugten Ausführungsform der Erfindung sind auch die erregenden gepulsten Neuronen der zweiten Schicht zumindest teilweise in Kategorie-Pools gruppiert, wobei jeder Kategorie mindestens ein Kategorie-Pool zugeordnet ist. Hierdurch wird die Schnelligkeit es erfindungsgemäßen Verfahrens nochmals erhöht. Im Gegensatz zu den Eingabepools konkurrieren die Kategorie-Pools jedoch vorzugsweise miteinander, und ein aktiver Kategorie-Pool setzt sich in der Konkurrenz durch. Ein Kategoriepool wird hierbei dann als aktiv bezeichnet, wenn er mindestens eine vorbestimmte Anzahl von aktiven Neuronen aufweist.

Wie bei herkömmlichen neuronalen Netzen üblich, umfasst das neuronale Netz in einer bevorzugten Ausführungsform auch hemmende gepulste Neuronen, die zumindest einen hemmenden Pool in der ersten und/oder zweiten Schicht bilden, wobei der hemmende Pool eine globale Hemmung auf die Eingabe- und/oder Kategorie-Pools ausübt.

Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner ein neuronales Netz mit einer Vielzahl von Neuronen, wobei das Netz derart ausgestaltet ist, dass es mit dem erfindungsgemäßen Verfahren gelernt ist. Ein derart gelerntes Netz hat den Vorteil, dass es automatisiert erzeugt werden kann und effektiv den Gegebenheiten einer gestellten Kategorisierungsaufgabe angepasst werden kann.

Ausführungsbeispiele der Erfindung werden nachfolgend detailliert anhand der beigefügten Figuren beschrieben.
1 zeigt schematisiert die in einer Ausführungsform der Erfindung verwendete Kategorisierungsaufgabe;
2 zeigt ein Diagramm, welches eine Ausführungsform des mit dem erfindungsgemäßen Verfahren gelernten neuronalen Netzes zeigt;
3 zeigt ein Diagramm zur Verdeutlichung des Lernens eines Neurons mit dem erfindungsgemäßen Verfahren;
4 zeigt ein Diagramm, welches die Veränderung der Aktivität von Neuronen in einem neuronalen Netz während des Lernens mit dem erfindungsgemäßen Verfahren darstellt; und
5 zeigt ein Diagramm, welches die Veränderung der synaptischen Gewichte beim Lernen von unterschiedlichen anfänglichen neuronalen Netzen zeigt.
Die im folgenden beschriebene Ausführungsform des erfindungsgemäßen Verfahrens beruht in gering abgewandelter Form auf einem neurophysiologischen Experiment, das in der Druckschrift [2] beschrieben ist. Es wurde hierbei die Aktivität von Neuronen in der inferotemporalen Cortex (ITC) von wachen Affen untersucht, denen eine visuelle Kategorisierungsaufgabe gestellt wurde. Es wurde gemessen, wie die ITC-Repräsentation der visuellen Stimuli durch die den Affen angelernte Katego risierung beeinflusst wird. Den Affen wurde gelehrt, einen Satz von Bildern in zwei Kategorien einzuteilen, wobei jede Kategorie mit der linken bzw. rechten Stellung eines Hebels in Verbindung steht. Die Affen mussten den Hebel in die entsprechende Richtung ziehen, wenn ein entsprechender Stimulus gezeigt wurde.
1 zeigt eine Art des durchgeführten Experiments, bei dem die Affen zehn schematisierte Gesichter F1 bis F10 in zwei Kategorien einteilen mussten. Wie sich aus den unterschiedlichen Gesichtern ergibt, unterscheiden sich diese insbesondere in der Höhe der Augenstellung, der Länge der Nase sowie der Höhe der Mundstellung. Nur ein Merkmal der Gesichter, nämlich die Augenstellung, war für die Lösung der Kategorisierungsaufgabe relevant. In 1 sind fünf Gesichter F1 bis F5 mit der Merkmalsausprägung D1 "niedrige Augenstellung" gezeigt, welche gemäß der Aufgabenstellung der Kategorie C1 (entspricht "Hebel nach links") zuzuordnen sind. Ferner sind fünf Gesichter F6 bis F10 mit der Merkmalsausprägung D2 "hohe Augenstellung" gezeigt, welche gemäß der Aufgabenstellung der Kategorie C2 (entspricht "Hebel nach rechts") zuzuordnen sind. Die restlichen Merkmale, das heißt die Länge der Nase und die Stellung des Mundes sind so genannte nicht-diagnostische Merkmale in der gestellten Kategorisierungsaufgabe, welche keine Informationen für den mit der Kategorie assoziierten Stimulus liefern und für die Kategorisierungsaufgabe keine Relevanz haben.
Nachdem die Affen mit den in 1 gezeigten Gesichtern als Stimuli trainiert wurden, wurden die gelernten Tiere mit Testexemplaren von Gesichtern getestet. Die Tiere mussten hierbei die gelernte Kategorisierungsaufgabe durchführen. Bei diesen Tests wurde die durchschnittliche Aktivität von allen visuell reagierenden Neuronen in der ITC-Cortex gemessen. Für jedes Neuron wurden die Aktivitätsantworten in Abhängigkeit von den Merkmalen des präsentierten Stimulus sortiert und über viele Versuche hinweg gemittelt. Als Ergebnis hat man durchschnittliche Aktivitäten erhalten, aus denen sich er gibt, welche Merkmalsausprägungen bestimmte Neuronen am meisten bzw. am wenigsten erregen.
Ausgehend von dem soeben beschriebenen Experiment wird in der hier beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens eine an die biologischen Gegebenheiten angepasste Struktur eines neuronalen Netzes vorgegeben, welches für die Lösung der obigen Kategorisierungsaufgabe geeignet ist. Diese Netzwerkstruktur ist in 2 wiedergegeben. Es wurde hierbei berücksichtigt, dass für die Lösung von Kategorisierungsaufgaben im Gehirn höherer Lebewesen zwei Gehirnschichten von Relevanz sind. Die erste Schicht L1 ist der bereits im vorangegangenen erwähnte inferotemporale Cortex. Bei der gestellten Kategorisierungsaufgabe bilden sich hierbei vier so genannte Eingabepools 101, 102, 103 und 104 von spezifischen erregenden gepulsten Neuronen aus. Ein Pool von Neuronen zeichnet sich hierbei insbesondere dadurch aus, dass alle Neuronen im Pool die gleichen synaptischen Gewichte zu Neuronen anderer Pools aufweisen. Die erste Schicht L1 ist mit einer zweiten Schicht L2 vernetzt, welche einen Kategorie-Pool 201 und einen Kategorie-Pool 202 aus erregenden gepulsten Neuronen umfasst und dem präfrontalen Cortex (PFC) im Gehirn entspricht. Wenn die Neuronen 201 aktiv sind, wird durch das Netzwerk das Vorhandensein der Kategorie C1 signalisiert, und wenn die Neuronen 202 aktiv sind, wird durch das Netzwerk das Vorhandensein der Kategorie C2 signalisiert.
Jeder Eingabepool ist mit entsprechenden Merkmalsausprägungen der Kategorisierungsaufgabe verknüpft, wobei die Neuronen in den entsprechenden Eingabepools aktiv sind, wenn eine entsprechende Merkmalsausprägung beim präsentierten Stimulus vorliegt. Der Eingabepool 101 steht hierbei für die Merkmalsausprägung D2 "hochgestellte Augen", der Pool 102 steht für die Merkmalsausprägung D1 "tiefgestellte Augen", der Pool 103 betrifft das Merkmal N1 "lange Nase" und der Pool 104 steht für das Merkmal N2 "kurze Nase".
Wie bereits vorher erwähnt, sind in der hier beschriebenen Kategorisierungsaufgabe nur die Augenstellungen für die Lösung der Aufgabe relevant. Insbesondere ist die Merkmalsausprägung D1 "tiefgestellte Augen" mit der Kategorie C1 und die Merkmalsausprägung D2 "hochgestellte Augen" mit der Kategorie C2 verknüpft. Die Merkmalsausprägungen N1 und N2 betreffen hingegen ein nicht-diagnostisches Merkmal ohne Relevanz bei der Festlegung der Kategorie.
In der Schicht L1 der 2 existieren ferner noch die Pools 120 und 110. Der Pool 120 stellt einen so genannten nichtspezifischen Neuronenpool dar, der für alle weiteren erregenden gepulsten Neuronen in der Schicht L1 steht. Der Pool 110 ist hingegen ein Pool, der die hemmenden gepulsten Neuronen in dieser Schicht repräsentiert. Analog umfasst die Schicht L2 einen nicht-spezifischen Pool 220 für alle weiteren erregenden gepulsten Neuronen der Schicht L2 und einen Pool 210 für alle hemmenden Neuronen in dieser Schicht. Die soeben beschriebene Netzwerkstruktur beruht auf der in der Druckschrift [3] beschriebenen Struktur, welche bereits früher verwendet wurde, um verschiedene experimentelle Paradigmen zu erklären (siehe auch Druckschrift [1]).
In der hier beschriebenen Ausführungsform der Erfindung wird als Modell zur Beschreibung des Verhaltens der Neuronen das hinlänglich aus dem Stand der Technik bekannte Modell von spikenden Integrate-and-Fire-Neuronen (IF-Neuronen) verwendet. In diesem Modell integriert ein IF-Neuron den affernten Strom, der von auf das Neuron eintreffenden Spannungs-Spikes erzeugt wird, und das Neuron feuert Spannungspulse, wenn die Depolarisation der Zellmembran in dem Neuron eine Schwelle überschreitet. Das Modell eines Neurons wird durch folgendes Membranpotential V(t) beschrieben:
Hierbei ist I_syn(t) der gesamte eingehende synaptische Strom, Cm ist die Membrankapazität, g_m ist die Membran-Leck-Leitfähigkeit und V_L ist das Ruhepotential. Eine genaue Beschreibung der mathematischen Formulierung von derartigen IF-Neuronen findet sich beispielsweise in der Druckschrift [3].
In dem hier beschriebenen Verfahren besteht jede der Schichten L1 und L2 aus einer großen Anzahl von IF-Neuronen. Die Schicht L1 umfasst N_E1 = 800 erregende Neuronen, welche in Pools von f·N_E1 Neuronen für jeden spezifischen Eingabepool sowie von (1 – 4f)·N_E1 Neuronen für den nicht-spezifischen Pool eingeteilt sind. Die Schicht L1 umfasst ferner N_I1 = 200 hemmende Neuronen, welche den hemmenden Pool in der Schicht bildet. Die zweite Schicht L2 umfasst N_E2 = 520 erregende Neuronen, wobei f·N_E2 Neuronen für jeden Kategorie-Pool 201 und 202 und (1 – 2f)·N_E2 Neuronen für den nicht-spezifischen Pool 220 vorgesehen sind. Ferner umfasst die Schicht N_I2 = 130 hemmende Neuronen in dem hemmenden Pool 210. Aus Vereinfachungsgründen wurde das gleiche Verhältnis an Neuronen f = 0,1 für alle Pools von erregenden Neuronen gewählt. Ferner wurde das Verhältnis 80:20 von erregenden Neuronen zu hemmenden Neuronen gewählt, was neurophysiologischen experimentellen Daten entspricht. Bei der Durchführung des erfindungsgemäßen Verfahrens mussten 1650 gekoppelte Differenzialgleichungen (1) gelöst werden. Die numerische Integration wurde unter der Verwendung eines Runge-Kutta-Verfahrens mit einer Schrittgröße von 0,1 ms durchgeführt.
Jeder individuelle Pool wurde durch unterschiedliche Eingaben angetrieben. Zunächst erhalten alle Neuronen in dem modulierten Netzwerk eine spontane Hintergrundaktivität durch N_ext = 800 externe erregende Verbindungen erhalten. Jede Verbindung trägt hierbei einen so genannten Poisson-Spike-Train mit einer spontanen Frequenzrate von 3 Hz, welcher ein typischer Wert ist, der im zerebralen Cortex beobachtet wird. Dies führt zu einer externen Hintergrundeingabe mit einer Rate von 2,4 kHz für jedes Neuron. Ferner erhalten die Neuronen in den Pools 101 bis 104 zusätzlich externe Eingaben, welche den speziellen Stimulus codieren. Diese Eingaben sind beispielhaft in 2 mit I dargestellt, wobei in der Situation der 2 ein Stimulus eines Gesichtes eingegeben wird, welches eine hohe Augenstellung (Eingabe in den Pool 101) und eine lange Nase (Eingabe in den Pool 103) aufweist. Es wird angenommen, dass die Stimuli ihren Ursprung in tieferen Bereichen des Gehirns haben, welche visuelle Information verarbeiten, um visuelle Signale bereitzustellen. Es wird angenommen, dass bei der Weiterleitung der visuellen Signale alle Merkmalsausprägungen des visuellen Stimulus in gleicher Weise verarbeitet und codiert werden, so dass die so genannten "Bottom-Up-Signale", welche die Schicht L1 erreichen, im Durchschnitt die vorliegenden Merkmalsausprägungen des Stimulus mit der gleichen Stärke codieren. Wenn ein Pool der ITC-Schicht L1 stimuliert wird, ist die Rate des Poisson-Trains hin zu den Neuronen dieses Pools um den festen Wert λ_stim = 150 Hz erhöht.
In dem hier beschriebenen Verfahren werden die Leitfähigkeitswerte der Synapsen zwischen Paaren von Neuronen durch Gewichte moduliert, welche von ihrem Standardwert 1 abweichen können. Die Struktur und die Funktion des Netzwerks werden durch unterschiedliche Modellierung dieser Gewichte innerhalb und zwischen den Neuronenpools erreicht. Es existieren hierbei jeweils vorwärtsgerichtete Gewichte und rückwärtsgerichtete Gewichte zwischen einem Paar von einem ersten und einem zweiten Neuron bzw. zwischen den entsprechenden Neuronenpools. Ein vorwärtsgerichtetes Gewicht ist das Gewicht einer synaptischen Verbindung vom ersten zum zweiten Neuron und ein rückwärtsgerichtetes Gewicht ist das Gewicht der synaptischen Verbindung vom zweiten zum ersten Neuron. In 2 bezeichnet w₁ die Stärke der Gewichte der Verbindungen zwischen den Pools 101 bis 104, welche durch gebogene Pfeile dargestellt sind, sowie auch die Gewichte zwischen den Neuronen innerhalb der Pools, welche jeweils durch kreisförmige Pfeile direkt an den Pools angedeutet sind. Diese Gewichte w₁ in der Schicht L1 haben alle den gleichen Wert. Analog bezeichnet w_-2 die Stärke der Gewichte zwischen den Pools 201 und 202, und w₊₂ betrifft die Stärke der Gewichte der Neuronen innerhalb der Pools 201 und 202.
Ferner spielen die folgenden Gewichte von Verbindungen zwischen der Schicht L1 und L2 eine große Rolle, wobei in 2 die betreffenden Verbindungen (ohne Bezeichnung der entsprechenden Gewichte) durch gestrichelte Doppelpfeile angedeutet sind. Es gelten folgende Definitionen:

w_D2-C1, w_C1-D2:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 101 und 201;
w_D2-C2, w_C2-D2:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 101 und 202;
w_D1-C1, w_C1-D1:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 102 und 201;
w_D1-C2, w_C2-D1:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 102 und 202;
w_N1-C1, w_C1-N1:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 103 und 201;
w_N1-C2, w_C2-N1:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 103 und 202;
w_N2-C1, w_C1-N2:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 104 und 201;
w_N2-C2, w_C2-N2:: Gewichte der vorwärtsgerichteten bzw. rückwärtsgerichteten synaptischen Verbindung zwischen den Pools 104 und 202.

Strukturell ist das Netzwerk innerhalb der Schichten vollkommen durch erregende und hemmende Synapsen miteinander verbunden. Zwischen zwei Schichten sind nur Neuronen aus den spezifischen Pools 101 bis 104 und 201, 202 durch erregende Synapsen vollkommen miteinander verbunden.
In der hier beschriebenen Ausführungsform wird davon ausgegangen, dass Verbindungen innerhalb der Schichten L1 und L2 schon gebildet sind, beispielsweise durch Selbstorganisierungsmechanismen. Hierbei werden die Gewichte der Verbindungen zwischen und innerhalb der Neuronenpools 101, 102, 103 und 104 in der Schicht L1 auf den Standardwert w₁ = 1 gesetzt. Es wird davon ausgegangen, dass die beiden Aktionen "Ziehe Hebel nach links" und "Ziehe Hebel nach rechts", welche den Kategorien C1 bzw. C2 entsprechen, bereits in der PFC-Schicht L2 codiert sind, und zwar derart, dass der Affe bereits darauf trainiert wurde, dass er nur beim Ziehen des Hebels in eine der Richtungen bei richtig gelöster Aufgabe eine Belohnung erhält. Die Pools, welche diese Aktionen codieren, weisen wahrscheinlich eine so genannte anti-korrelierte Aktivität in ihrem Verhaltenskontext auf, was zu einer unterdurchschnittlichen Verbindungsstärke zwischen ihnen führt. In der hier beschriebenen Ausführungsform wird der Extremfall w_-2 = 0 angenommen, d.h., es existiert keine direkte erregende Verbindung zwischen den zwei Kategorie-Pools in der Schicht L2. Innerhalb eines Kategorie-Pools werden die Verbindungen auf den Standardwert w₊₂ = 1 gesetzt.
Die Gewichte von den nicht-spezifischen Neuronen in den Pools 120 und 220 weisen in dem hier beschriebenen Verfahren einen Wert von w_n = 0,93 für beide Schichten L1 und L2 auf. Alle Verbindungen von und zu den hemmenden Pools 110 und 210 sowie die Verbindungen innerhalb der Pools 120, 110, 220 und 210 werden auf den Standardwert w = 1 gesetzt.
Die Verbindungen zwischen der ITC-Schicht L1 und der PFC-Schicht L2 werden als so genannte plastische Synapsen modelliert. Ihre absoluten Stärken werden erfindungsgemäß mit einem Lern-Algorithmus gelernt, der als belohnungsorientiertes Hebb'sches Lernen bezeichnet werden kann. Zur Analyse des Verhaltens des neuronalen Netzes wurde das so genannte Mean-Field-Modell verwendet, welches ein weithin verwendetes Verfahren darstellt, um das approximative Verhalten eines neuronalen Netzes wenigstens für die stationären Zustände (das heißt ohne dynamische Übergänge) zu analysieren. Das Verfahren stellt sicher, dass die Dynamik des Netzwerks hin zu einem stationären Attraktor konvergiert, der mit dem asymptotischen Verhalten eines asynchron feuernden Spiking-Netzwerks übereinstimmt. Die Mean-Field-Approximation ist beispielsweise in den Druckschriften [3] und [4] beschrieben, deren gesamte Offenbarung durch diesen Verweis Inhalt der vorliegenden Anmeldung wird. In der hier beschriebenen Ausführungsform der Erfindung wird die in der Druckschrift [3] beschriebene Mean-Field-Analyse verwendet.
In dem hier erläuterten erfindungsgemäßen Verfahren wird die im vorangegangenen beschriebenen anfänglichen Netzwerkstruktur gelernt, um die Gewichte innerhalb und zwischen den Neuronenpools derart zu modifizieren, dass die experimentellen Daten des in der Druckschrift [2] beschriebenen Experiments korrekt wiedergegeben werden. Das Lernverfahren beruht auf dem hinlänglich aus dem Stand der Technik bekannten Hebb'schen Lernen. Bei diesem Lernen führt eine gleichzeitige Aktivität von über eine synaptische Verbindung miteinander verbundenen Neuronen zu einer Verstärkung dieser synaptischen Verbindung. In dem hier beschriebenen Lernverfahren wird ein so genanntes belohnungsorientiertes Hebb'sches Verfahren verwendet, bei dem die Art und Weise, wie eine synaptische Verbindung zwischen zwei Neuronen verändert wird, zum einen vom Aktivitätszustand der Neuronen und zum anderen davon abhängt, ob für das gerade betrachtete simulierte Experiment eine richtige Kategorisierung vorgenommen wurde, das heißt, dass die gestellte Aufgabe richtig gelöst wurde. Wurde die Aufgabe richtig gelöst, liegt ein so genanntes Belohnungssignal vor, bei dem die Gewichte der synaptischen Verbindungen in anderer Weise verändert werden, als wenn kein Belohnungssignal vorliegt.
In dem hier beschriebenen Verfahren wird ein Experiment durch entsprechende Eingabeinformation in die Schicht L1 simuliert. Die Eingabeinformation führt hierbei zu einer Aktivierung derjenigen Pools, welche den entsprechenden Merkmalsausprägungen der Eingabeinformation zugeordnet sind. Führt ein Experiment zu einer richtigen Kategorisierung, das heißt liegt ein Belohnungssignal vor, wird sowohl die vorwärtsgerichtete als auch die rückwärtsgerichtete synaptische Verbindung zwischen einem ersten präsynaptischen Neuron aus einer der Schichten L1 und L2 und einem zweiten postsynaptischen Neuron aus der anderen der Schichten L1 und L2 verstärkt, falls beide Neuronen aktiv sind. Demgegenüber wird die vorwärtsgerichtete synaptische Verbindung von einem aktiven präsynaptischen Neuron aus einer der Schichten L1 und L2 zu einem inaktiven postsynaptischen Neuron aus der anderen der Schichten L1 und L2 abgeschwächt. In allen anderen Fällen von Aktivitätszuständen wird die synaptische Verbindung nicht verändert.
Im Falle, dass ein Experiment nicht zu einem Belohnungssignal führt, das heißt wenn das neuronale Netz die Kategorisierungsaufgabe nicht richtig gelöst hat, wird sowohl die vorwärtsgerichtete als auch die rückwärtsgerichtete Verbindung zwischen einem ersten präsynaptischen Neuron aus einer der Schichten L1 und L2 und einem zweiten postsynaptischen Neuron aus der anderen der Schichten L1 und L2 abgeschwächt, falls beide Neuronen aktiv sind. In allen anderen Fällen wird die synaptische Verbindung nicht verändert.
3 zeigt ein Diagramm, welches nochmals die Vorgehensweise des im erfindungsgemäßen Verfahren verwendeten belohnungsorientierten Hebb'schen Lernens zeigt. Das linke Diagramm DI1 in 3 zeigt hierbei den Fall eines Belohnungssignals und das rechte Diagramm DI2 den Fall, dass kein Belohnungssignal vorliegt. In den beiden Diagrammen sind aktive Neuronen durch schraffierte Punkte und inaktive Neuronen durch weiße Punkte wiedergegeben. Die oberen Neuronen in den Diagrammen sind hierbei Neuronen aus der PFC-Schicht L2 und die unteren Neuronen sind Neuronen aus der ITC-Schicht L1. Durch durchgezogene Pfeile wird der Fall einer Verstärkung einer synaptischen Verbindung und durch gestrichelte Pfeile der Fall einer Schwächung einer synaptischen Verbindung dargestellt. Man erkennt, dass im Belohnungsfall die vorwärts- und rückwärtsgerichteten synaptischen Verbindungen zwischen zwei aktiven Neuronen verstärkt werden. Demgegenüber wird eine vorwärtsgerichtete synaptische Verbindung zwischen einem präsynaptischen aktiven Neuron und einem postsynaptischen inaktiven Neuron abgeschwächt. Alle anderen synaptischen Verbindungen werden im Belohnungsfall nicht verändert. Ohne Belohnungssignal werden die vorwärts- und rückwärtsgerichteten synaptischen Verbindungen zwischen zwei aktiven Neuronen aus unterschiedlichen Schichten abgeschwächt. Alle weiteren synaptischen Verbindungen zwischen den Neuronen werden nicht verändert.
Zur Durchführung des Hebb'schen Lernverfahrens wurde ein stochastisches synaptisches Modell mit binären Zuständen verwendet, wie es beispielsweise in der Druckschrift [5] beschrieben ist. Zur Auswertung des Lernverhaltens wurde die oben erwähnte Mean-Field-Approximation verwendet.
In der hier beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens wurden die Stimuli dem neuronalen Netzwerk zufällig präsentiert. Zunächst wurden die internen Variablen des Netzwerks zurückgesetzt und anschließend wurde eine Spike-Dynamik für 500 ms von spontaner Aktivität, gefolgt von 800 ms beim Vorliegen einer einen Stimulus repräsentierenden Eingabeinformation, simuliert. Für eine Zeitperiode, wenn der Stimulus dem neuronalen Netz präsentiert wird, werden die ersten 300 ms als Übergangszeit betrachtet und nur die letz ten 500 ms werden verwendet, um die zeitgemittelten Spiking-Raten für jedes simulierte Neuron zu ermitteln.
Für typische durchschnittliche Feuer-Raten in den Simulationen führte das Zeitfenster von 500 ms für die Abschätzung dieser Raten zu nicht vernachlässigbaren Fluktuationen in den abgeschätzten Werten. Trotz der vollen synaptischen Konnektivität und des gemeinsamen Werts für die Wirksamkeit der synaptischen Verbindungen in jedem Pool führte dies zu einer breiten Verteilung der abgeschätzten Feuer-Raten in den unterschiedlichen Pools für jedes Experiment. Dies hat nicht-triviale Konsequenzen beim Lernen auf der Basis der Mean-Field-Approximation. Insbesondere können unerwünschte Verstärkungen oder Abschwächungen zwischen unterschiedlichen Paaren von Puls auftreten, was zu einer falschen Anwendung des oben dargelegten Hebb'schen Lernverfahrens führte. Nichtsdestotrotz wurden die Parameter des obigen Verfahrens nicht verändert, um die Robustheit des Modells im Hinblick auf Effekte zu zeigen, welche die Dynamik des Modells im Falle von weniger Einschränkungen beeinflussen würden.
In jedem Lernschritt der hier beschriebenen Ausführungsform wurde zunächst der Anteil der aktiven Neuronen n^a _i in jedem Pool i berechnet, und zwar durch den Vergleich der zuvor berechneten zeitgemittelten Spiking-Rate von jedem Neuron innerhalb dieses Pools mit einer vorgegebenen Schwelle. Bei einer Spiking-Rate von über 8 Hz für die Schicht L1 und einer Spiking-Rate von 14 Hz für die Schicht L2 wurde ein Neuron als aktiv eingestuft. Wenn der Pool, der gemäß der gestellten Aufgabe die richtige Kategorie darstellt, mehr als die Hälfte der Neuronen im aktiven Zustand aufweist und wenn ferner mehr als doppelt so viele Neuronen in diesem Pool aktiv sind als in dem anderen Kategorie-Pool, wird diesem Experiment eine Belohnung zugewiesen, das heißt es wird ein Belohnungssignal gesetzt. Liegen diese Voraussetzungen nicht vor, wird keine Belohnung vergeben und es liegt kein Belohnungssignal vor. Als nächstes wird für jedes Paar von spezifischen Pools aus unterschiedlichen Schichten der Anteil der zu verstärkenden synaptischen Verbindungen N^p und der abzuschwächenden synaptischen Verbindungen N^d als Ergebnis des im Experiment bereitgestellten Stimulus ermittelt.
Im Falle eines präsynaptischen Pools mit n_pre Neuronen und n^a _pre aktiven Neuronen und eines postsynaptischen Pools mit n_post Neuronen und n^a _post aktiven Neuronen ergibt sich folgendes:
Im Falle eines Belohnungssignals werden alle synaptischen Verbindungen zwischen Paaren von aktiven Neuronen verstärkt und alle vorwärtsgerichteten synaptischen Verbindungen von einem aktiven Neuron zu einem inaktiven Neuron werden abgeschwächt. Der Anteil an synaptischen Verbindungen, die verstärkt und abgeschwächt werden, lautet im Belohnungsfall wie folgt: Nppre-post = napre ·napost /(npre·npost) (2) Napre-post = napre ·(npost – napost )/(npre·npost) (3)
Im Falle, dass kein Belohnungssignal vorliegt, werden alle synaptischen Verbindungen zwischen Paaren von aktiven Neuronen abgeschwächt, und es werden keine synaptischen Verbindungen verstärkt. Dies kann mathematisch wie folgt ausgedrückt werden: Nppre-post = 0 (4) Napre-post = napre ·napost /(npre·npost) (5)
Im folgenden wird die Variable C_ij als der Anteil der verstärkten Synapsen von einem spezifischen Pool i in einer Schicht zu einem spezifischen Pool j in einer anderen Schicht bezeichnet. Diese Größe wird nach jedem durchgeführten Experiment wie folgt aktualisiert: Cij(t + 1) = Cij(t) + (1- Cij(t))Npij q+ – Cij(t)Ndij q- (6)
Hierbei bezeichnen i und j den prä- bzw. postsynaptischen Pool mit (i; j) oder (j; i) ∊ ({D1, D2, N1, N2}, {C1,C2}); q₊ und q_- sind die Übergangswahrscheinlichkeiten für eine Verstärkung bzw. Abschwächung. (1 – C_ij(t)) und C_ij(t) sind Anteile von abgeschwächten bzw. verstärken synaptischen Verbindungen und t ist die Nummer des Experiments. Die Gleichung (6) gilt sowohl beim Vorliegen als auch beim Nichtvorhandensein eines Belohnungssignals, jedoch können auch unterschiedliche Werte für q₊ und q_- in den beiden Fällen verwendet werden. In der hier beschriebenen Ausführungsform gilt q reward / + = q reward / - = 0,01 und q non-reward / - = 0,05.
Das durchschnittliche modifizierte synaptische Gewicht zwischen den Schichten L1 und L2 kann dann für jedes Paar von spezifischen Pools aus unterschiedlichen Schichten L1 und L2 wie folgt berechnet werden: wij = w+Cij + w-(1 – Cij) (7)
Hierbei sind w⁺ und w^- die Werte, die der Verbindungsstärke zwischen zwei Pools entsprechen, wenn alle synaptischen Verbindungen verstärkt bzw. abgeschwächt wurden. Unterschiedliche Werte für Verbindungen von der Schicht L1 nach der Schicht L2 und von L2 nach L1 können ggf. verwendet werden.
Wie oben bereits dargelegt wurde, kann die breite Verteilung der Feuer-Raten zu unerwünschten Verschiebungen beim Lernen der synaptischen Pools führen. Sehr unerwünscht sind solche Effekte, bei denen Gewichte von nicht-diagnostischen Merkmalen, welche im Idealfall um ihren anfänglichen Wert fluktuieren sollten, ihre Aktivität erhöhen und den Lernprozess behindern. Mehrere Regulierungsmechanismen können prinzipiell zur Vermeidung dieses Effekts verwendet werden. In dem hier beschriebenen Verfahren wird eine Normalisierung verwendet, mit der die Summe aller synaptischen Gewichte zu einem postsynaptischen Neuron jeweils konstant gehalten wird.
Es wurde eine subtraktive Normalisierung der gesamten afferenten synaptischen Konnektivität, berechnet über alle präsynaptischen, jedes vorgegebene postsynaptische Neuron erreichende Eingaben, verwendet. Es wird das durchschnittliche synaptische Gewicht für alle Verbindungen zwischen einem präsynaptischen Pool i und einem postsynaptischen Pool j wie folgt berechnet:
Hierbei ist N die Anzahl der präsynaptischen Pools, die mit dem postsynaptischen Pool j verbunden sind. Neue Werte für die Variablen C_ij werden basierend auf den neuen Werten für w_ij nach der Normalisierung berechnet, damit die Gleichung (7) weiterhin gültig ist. Für die nächste Präsentation eines Stimulus während des Lernprozesses werden alle synaptischen Verbindungen zwischen zwei Pools aus unterschiedlichen Schichten L1 und L2 auf die berechneten durchschnittlichen Werte w_ij gesetzt.
Im folgenden wird dargelegt, welche Parameterwerte für w⁺ und w^- zur Verstärkung bzw. Abschwächung der synaptischen Verbindung in der hier beschriebenen Ausführungsform des erfindungsgemäßen Verfahrens verwendet wurden. Um die Stabilität des neuronalen Netzes sicherzustellen, wurden die Verbindungsgewichte zwischen den zwei Schichten L1 und L2 nicht zu klein gewählt, so dass ein Informationsaustausch zwischen den beiden Schichten möglich ist. Die Gewichte wurden jedoch auch nicht übermäßig groß gewählt, so dass das neuronale Netz sich nicht übermäßig verstärkt, wodurch die Neuronen ihre Selektivität verlieren würden. Ferner müssen auch biologische Beschränkungen zur Erreichung von realistischen neuronalen Aktivitäten für die modulierten Neuronen berücksichtigt werden.
Für synaptische Verbindungen, welche zwei Pools von der Schicht L1 hin zur Schicht L2 verbinden, wurden die Werte w⁺ _ff = 0,8 und w^- _ff = 0 für den verstärkten bzw. abgeschwächten Zustand verwendet. Für synaptische Verbindungen von Pools der Schicht L2 hin zur Schicht L1 wurden als Stärken w⁺ _fb = 0,4 und w^- _fb = 0 für die Verstärkung bzw. Abschwächung der synaptischen Verbindung verwendet. Die Verstärkung der Verbindungen von L1 nach L2 wurde im Durchschnitt doppelt so groß gewählt wie die der Verbindungen von L2 nach L1. Dieses Verhältnis trägt der Hypothese Rechnung, dass nach oben gerichtete Verbindungen von L1 nach L2 die Aktivität in höheren cortikalen Bereichen antreibt, wohingegen nach unten gerichtete Verbindungen von L2 nach L1 eher modularer Natur sind. Die durchschnittliche synaptische Stärke zwischen zwei Pools zwischen den Schichten L1 und L2 wurde auf (w⁺ + w^-)/2 gesetzt. Dieser Wert wurde während des Lernverfahrens aufgrund der verwendeten subtraktiven Normalisierung konstant gehalten.
Das Lernverfahren wurde mit einem ausgewogenem anfänglichen Netzwerk gestartet, in dem alle Verbindungen zwischen den beiden Schichten L1 und L2 auf folgende durchschnittliche synaptische Stärke gesetzt wurden:
w_ij = 0,4 und w_ji = 0,2 mit (i; j) ∊ ({D1, D2, N1, N2}, {C1, C2}).
Im folgenden werden einige Ergebnisse der im vorangegangenen beschriebenen Ausführungsform des erfindungsgemäßen Lernverfahrens anhand der 4 und 5 dargestellt.
4 zeigt die Simulationsergebnisse des erfindungsgemäßen Verfahrens für ein neuronales Netz mit spikenden Neuronen, wobei das Netz mit dem Verfahren in 50 Versuchen gelernt wurde und die Netzwerkaktivitäten über diese 50 Versuche gemittelt wurden. In allen Diagrammen in 4 ist auf der Abszisse die Zeit in Millisekunden nach Präsentation eines Sti mulus und auf der Ordinate die Aktivität in Hz aufgetragen. Die erste Spalte A der 4 zeigt die Aktivitäten des Netzes zu Beginn des Lernens, die zweite Spalte B der 4 zeigt die Aktivitäten des Netzes nach 200 Lernschritten und die dritte Spalte C zeigt die Aktivitäten des Netzes nach 1500 Lernschritten, wenn eine Konvergenz der synaptischen Parameter erreicht ist.
Die erste Zeile in 4 zeigt die durchschnittliche Spiking-Rate für auf einen Stimulus reagierende Neuronen. Es wurde hierbei folgende Gruppierung vorgenommen:

– die stärksten Antworten von allen spezifischen Neuronen der L1-Schicht auf das diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie BD der 4);
– die schwächsten Antworten von allen spezifischen Neuronen der L1-Schicht auf das diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie WD der 4);
– die stärksten Antworten von allen spezifischen Neuronen der L1-Schicht auf das nicht-diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie BN der 4);
– die schwächsten Antworten von allen spezifischen Neuronen der L1-Schicht auf das nicht-diagnostische Merkmal aus 50 Versuchen wurden gemittelt (Linie WN der 4).

Die Diagramme in der ersten Zeile der 4 entsprechen den Berechnungen, die auch in dem Experiment aus dem Dokument [2] durchgeführt wurden.
Die zweite und dritte Zeile der 4 zeigen die gemittelten Spiking-Raten der spezifischen Pools für diejenigen der 50 Versuche, bei denen als Stimulus die Merkmalsausprägungen D1 ("tiefgestellte Augen"), und N1 ("lange Nase") präsentiert wurden. Die Kurve D1 ist hierbei die Spiking-Rate für den Neuronenpool 102, die Kurve D2 ist die Spiking-Rate für den Neuronenpool 101, die Kurve N1 ist die Spiking-Rate für den Neuronenpool 103, die Kurve N2 ist die Spiking-Rate für den Neuronenpool 104, die Kurve C1 ist die Spiking-Rate für den Kategorie-Pool 201 und die Kurve C2 ist die Spiking-Rate für den Kategorie-Pool 202. Darüber hinaus ist in der dritten Zeile der 4 die Spiking-Rate INH für den hemmenden Pool 210 gezeigt.
Man erkennt aus allen Diagrammen der 4, dass sich während des Lernens des neuronalen Netzes eine Selektion hinsichtlich der Merkmalsausprägungen und Kategorien ausbildet, welche am Anfang des Lernens nicht vorhanden ist. Insbesondere ist aus der untersten Zeile der 4 ersichtlich, dass sich eine starke Selektivität im Hinblick auf die Aktivität der Kategorie-Pools C1 und C2 ausbildet. Da die Kategorie C1 die richtige Lösung gemäß dem präsentierten Stimulus darstellt, ist die Aktivität dieses Neuronenpools sehr hoch, wohingegen die Aktivität der Kategorie C2 auf Null abfällt. Das Ergebnis der 4 entspricht den experimentellen Ergebnissen aus der Druckschrift [2], so dass mit dem gelernten neuronalen Netz sehr gut eine dynamische Informationsselektion zur Lösung einer Kategorisierungsaufgabe vorgenommen werden kann.
5 zeigt Diagramme, welche die Gewichte der synaptischen Verbindungen (Ordinate der Diagramme) in Abhängigkeit von der Anzahl an Lernschritten (Abszisse der Diagramme) für unterschiedliche Szenarien wiedergeben. Es werden hierbei die im vorangegangenen definierten Gewichte w_D1-C1, w_D1-C2, w_D2-C1, w_D2-C2, w_N1-C1, w_N1-C2, w_N2-C1, w_N2-C2 der vorwärtsgerichteten synaptischen Verbindungen sowie die entsprechenden Gewichte der rückwärtsgerichteten synaptischen Verbindungen betrachtet. Es werden ferner zwei unterschiedliche anfänglich initialisierte neuronale Netze unterschieden. Die oberen drei Zeilen der 5 betreffen ein Anfangsnetz, welches zuvor auf das nicht-diagnostische Merkmal "Nasenlänge" als selektives Merkmal zur Bestimmung der Kategorie eingestellt wurde. Demgegenüber wurde das Anfangsnetz der unteren drei Zeilen der 5 zuvor sowohl auf das diagnostische Merkmal "Augenstellung" als auch auf das nicht-diagnostische Merkmal "Nasenlänge" als selektive Merkmale zur Bestimmung der Kategorie eingestellt. Wie im vorangegangenen dargelegt wurde, wird das Lernen des Netzes jedoch derart durchgeführt, dass nur das Merkmal "Augenhöhe" ein relevantes Merkmal für die Lösung der Aufgabe ist. Man erkennt aus 5 deutlich, dass alle vorwärts- und rückwärtsgerichteten synaptischen Verbindungen, welche die korrekte Kategorisierung des diagnostischen Merkmals "Augenhöhe" darstellen, beim Lernen verstärkt werden, wohingegen die Verbindungen, welche die falsche Kategorisierung betreffen, auf Null abfallen. Ferner wird ersichtlich, dass alle Verbindungen von und zu nicht-diagnostischen Merkmalen ihre Selektivität verlieren und alle gegen den gleichen Wert laufen.
Zitierte Literatur:

[1] Szabo, M., Almeida, R., Deco, G. und Stetter, M. (2004): "Cooperation and Biased Competition Model can explain Attentional Filtering in the Prefrontal Cortex", Eur. J. Neurosci., Vol. 9, S. 1669–1677
[2] Sigala, N. und Logothetis, N. (2002): "Visual Categorization shapes Feature Selectivity in the Primate Temporal Cortex", Nature 415: 318–320
[3] Brunel, N. und Wang, X. J. (2001): "Effects of Neuromodulation in a Cortical Network Model of Object Working Memory dominated by Recurrent Inhibition", Comput. Neurosci. 11: 63–85
[4] DE 10 2004 013924 B3
[5] Fusi, S., Annunziato, M., Badoni, D., Salamon, A. and Amit, D. (2000). "Spikedriven Synaptic Plasticity: Theory, Simulation, VLSI-implementation", Neural Comput. 12: 2227–2258

Claims

Verfahren zum rechnergestützten Lernen eines neuronalen Netzes (1), umfassend eine Vielzahl von Neuronen: a) bei dem die Neuronen des neuronalen Netzes (1) in wenigstens zwei Schichten (L1, L2) umfassend eine erste Schicht (L1) und eine zweite, mit der ersten Schicht (L1) vernetzten Schicht (L2) eingeteilt werden, wobei die Vernetzung zwischen der ersten und zweiten Schicht (L1, L2) durch synaptische Verbindungen zwischen Neuronen repräsentiert wird und die Stärke einer Verbindung durch ein Gewicht (w_D1-C1, ..., w_C2-D2) wiedergegeben wird und wobei die synaptischen Verbindungen zwischen einem ersten und einem zweiten Neuron eine vorwärtsgerichtete Verbindung von dem ersten zum zweiten Neuron und eine rückwärtsgerichtete Verbindung vom zweiten zum ersten Neuron umfassen; b) bei dem in der ersten Schicht (L1) Eingabeinformationen (I) jeweils durch eine oder mehrere Merkmalsausprägungen (D1, D2, N1, N2) von einem oder mehreren Merkmalen repräsentiert sind, wobei jede Merkmalsausprägung (D1, D2, N1, N2) ein oder mehrere Neuronen der ersten Schicht umfasst, und in der zweiten Schicht eine Mehrzahl von Kategorien (C1, C2) gespeichert sind, wobei jede Kategorie ein oder mehrere Neuronen der zweiten Schicht (L2) umfasst; c) bei dem für eine oder mehrere Eingabeinformationen (I) jeweils wenigstens eine Kategorie (C1, C2) in der zweiten Schicht (L2) den Merkmalsausprägungen (D1, D2, N1, N2) der Eingabeinformation (I) in der ersten Schicht (L1) zugeordnet wird; d) bei dem in die erste Schicht (L1) eine Eingabeinformation (I) eingegeben wird und anschließend wenigstens eine Zustandsgröße des neuronalen Netzes (1) ermittelt wird und mit der in Schritt c) zugeordneten wenigstens einen Kategorie (C1, C2) dieser Eingabeinformation (I) verglichen wird, wobei im Vergleich in Schritt d) ermittelt wird, ob für die Eingabeinformation (I) eine Überein stimmung zwischen der wenigstens einen Zustandsgröße des neuronalen Netzes (1) und der zugeordneten wenigstens einen Kategorie (C1, C2) der Eingabeinformation (I) vorliegt; e) bei dem die Aktivität der Neuronen im neuronalen Netz (1) ermittelt wird und die Neuronen in Abhängigkeit von ihrer Aktivität jeweils als aktiv oder inaktiv eingestuft werden, wobei im Fall, dass eine Übereinstimmung in Schritt d) vorliegt, die Gewichte (w_D1-C1, ..., w_C2-D2) der synaptischen Verbindungen zwischen aktiven Neuronen der ersten Schicht (L1) und aktiven Neuronen der zweiten Schicht (L2) verstärkt werden und die Gewichte der vorwärtsgerichteten synaptischen Verbindungen von ersten, aktiven Neuronen aus einer der ersten und zweiten Schicht (L1, L2) zu zweiten, inaktiven Neuronen aus der anderen der ersten und zweiten Schicht (L1, L2) abgeschwächt werden und im Fall, dass eine Übereinstimmung in Schritt d) nicht vorliegt, die Gewichte (w_D1-C1, ..., w_C2-D2) der synaptischen Verbindungen zwischen aktiven Neuronen der ersten Schicht (L1) und aktiven Neuronen der zweiten Schicht (L2) abgeschwächt werden.
Verfahren nach Anspruch 1, bei dem die Kategorien (C1, C2) der zweiten Schicht (L2) Lösungen einer Aufgabe darstellen, wobei die Lösung der Aufgabe von den Eingabeinformationen (I) abhängt.
Verfahren nach Anspruch 2, bei dem die Merkmale unterteilt sind in diagnostische Merkmale, welche für die Lösung der Aufgabe relevant sind, und in nicht-diagnostische Merkmale, welche für die Lösung der Aufgabe nicht relevant sind.
Verfahren nach Anspruch 2 oder 3, bei dem jede zugeordnete wenigstens eine Kategorie (C1, C2) einer Eingabeinformation (I) eine richtige Lösung der Aufgabe darstellt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Übereinstimmung zwischen der wenigstens einen Zustands größe des neuronalen Netzes (1) für eine Eingabeinformation (I) und der zugeordneten wenigstens einen Kategorie (C1, C2) dieser Eingabeinformation (I) dann vorliegt, wenn die Anzahl der aktiven Neuronen, die zu der zugeordneten wenigstens einen Kategorie dieser Eingabeinformation (I) gehören, eine vorbestimmte Anzahl in Abhängigkeit von der Gesamtanzahl der Neuronen in der zugeordneten wenigstens einen Kategorie und/oder der Anzahl von aktiven Neuronen in anderen Kategorien überschreitet.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Fall, dass eine Übereinstimmung in Schritt d) vorliegt, die Gewichte (w_D1-C1, ..., w_C2-D2) von allen synaptischen Verbindungen, die nicht verstärkt oder abgeschwächt werden, nicht verändert werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Fall, dass eine Übereinstimmung in Schritt d) nicht vorliegt, die Gewichte (w_D1-C1, ..., w_C2-D2) von allen synaptischen Verbindungen, die nicht abgeschwächt werden, nicht verändert werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Schritte d) und e) iterativ mehrere Male durchgeführt werden.
Verfahren nach Anspruch 8, bei dem die Iteration der Schritte d) und e) nach Erreichung eines Konvergenzkriteriums beendet wird.
Verfahren nach Anspruch 8 oder 9, bei dem nach Durchführung des Schrittes e) eine Normalisierung der Vernetzung des neuronalen Netzes durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die miteinander vernetzten Neuronen der ersten und zweiten Schicht (L1, L2) des neuronalen Netzes (1) erregende gepulste Neuronen sind.
Verfahren nach Anspruch 11, bei dem die erregenden gepulsten Neuronen der ersten Schicht (L1) zumindest teilweise in Eingabepools (101, 102, 103, 104) gruppiert sind, wobei jeder Merkmalsausprägung (C1, C2) mindestens ein Eingabepool (101, 102, 103, 104) zugeordnet ist.
Verfahren nach Anspruch 12, bei dem die Eingabepools (101, 102, 103, 104) miteinander kooperieren.
Verfahren nach Anspruch 12 oder 13, bei dem die Aktivitäten der Eingabepools (101, 102, 103, 104) jeweils eine Merkmalsausprägung repräsentieren.
Verfahren nach einem der Ansprüche 11 bis 14, bei dem die erregenden gepulsten Neuronen der zweiten Schicht (L2) zumindest teilweise in Kategorie-Pools (201, 202) gruppiert sind, wobei jeder Kategorie (C1, C2) mindestens ein Kategorie-Pool (201, 202) zugeordnet ist.
Verfahren nach Anspruch 15, bei dem die Kategorie-Pools (201, 202) miteinander konkurrieren und sich ein aktiver Kategorie-Pool in der Konkurrenz durchsetzt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das neuronale Netz (1) hemmende gepulste Neuronen enthält, die mindestens einen hemmenden Pool (110, 210) in der ersten und/oder zweiten Schicht (L1, L2) bilden, wobei der hemmende Pool (110, 210) eine globale Hemmung auf die Eingabe- und/oder Kategorie-Pools ausübt.
Neuronales Netz, umfassend eine Vielzahl von Neuronen, wobei das Netz derart ausgestaltet ist, dass es mit einem Verfahren nach einem der vorhergehenden Ansprüche gelernt ist.