DE4400261C1 - Künstliches neuronales Netzwerk - Google Patents

Description

Die Erfindung betrifft ein künstliches neuronales Netzwerk nach dem Oberbegriff des Anspruchs 1.

Es soll dazu dienen, komplexe Aufgaben, die von Computern nicht befriedigend gelöst werden können (wie z. B. die Erfassung und das Verstehen von Texten in größeren Zusammenhängen und/oder die Erzeugung von Texten ebenfalls in größeren Zusammenhängen), und die bisher alleine der Intelligenz des Menschen vorbehalten waren, in einer Weise zu lösen, die dem Vorbild des menschlichen Gehirns möglichst ähnlich ist.

Es ist bekannt, daß es schon seit vielen Jahren neuronale Netzwerke verschiedener Art gibt, wie sie z. B. von McCulloch und Pitts 1943, von Rosenblatt 1958, von Steinbuch 1961, von Hopfield 1982 und von vielen anderen in vielerlei Varianten beschrieben worden sind (siehe z. B. das zusammenfassende Buch von R. Rojas "Theorie der neuronalen Netze" Springer Verlag 1993, das die historische Entwicklung im angelsächsischen Sprachraum bis in die Gegenwart beschreibt). Es ist außerdem eine deutsche Patentschrift DE 34 11 168 C2 bekannt, welche schon eine Anordnung beschreibt, mit der man eine günstige Speicherung und Wiedergabe langer Texte mit Hilfe einer Hierarchie von assoziativen digitalen Speichersystemen zuwege bringen kann. Weitere Veröffentlichungen über neuronale Netze findet man in dem Buch von N. Hoffmann "Kleines Handbuch Neuronale Netze" Vieweg Verlag 1993 sowie in den Patentanmeldungen WO 93/10 500 A1, DE 42 27 707 A1 und DE 39 09 153 A1.

Zu diesem Stand der Technik ist zunächst kritisch anzumerken, daß man mit den klassischen neuronalen Netzwerken (die z. B. sehr ausführlich von R. Rojas beschrieben werden) nur Aufgaben einer mittleren Komplexität lösen kann. Solch ein Problem ist z. B. die Erkennung gefährlicher Objekte in Bildern (siehe die Dissertation von S. Vey "Objekterkennung in Grauwertbildern" Darmstädter Dissertation, THD 1993). Das Problem der Aufnahme und Erzeugung von langen Texten beliebigen Inhalts ist aber offenbar eine menschliche Intelligenzleistung auf einem höheren Abstraktionsniveau (viele Tiere können sehen und erkennen, eine Sprache hat jedoch nur der Mensch), für welche die bekannten klassischen neuronalen Netzwerke nicht leistungsfähig genug sind. In der erwähnten Patentschrift DE 34 11 168 C2 sind dagegen schon die Grundgedanken eines Verfahrens enthalten, welches auf hierarchisch aufeinander folgenden assoziativen Speichern unter Benutzung von Pointern und einer bedingten Assoziation basiert. Assoziative Speicher der beschriebenen Art haben jedoch ihre Beschränkungen. Sie sind nicht flexibel genug, um sich der Vielfalt möglicher Texte einer natürlichen Sprache genügend gut anzupassen und die Besetzung jeder Ebene der Hierarchie mit einem üblichen assoziativen Speicher sehr großer Kapazität mit z. B. mehreren Millionen Wörtern ist sehr aufwendig. Aus der Druckschrift DE 42 27 707 A1 sind weiterhin Knoten eines klassischen neuronalen Netzes bekannt, die Daten in digitaler Form aufnehmen, abgeben und speichern können. Da es sich jedoch um ein übliches neuronales Netzwerk mit gewichteten Eingängen handelt, welches auch in der üblichen Weise betrieben wird, erreicht es längst nicht die Leistungsfähigkeit der erfindungsgemäßen Anordnung, insbesondere für die Verarbeitung von gesprochenem oder geschriebenem Text.

Aus dem angegebenen Buch von N. Hoffmann ist auch ein klassisches neuronales Netzwerk bekannt (bidirektionaler Assoziativspeicher, siehe Kapitel 5.1), welches aus zwei Gruppen von Knoten besteht, wobei eine Gruppe nur Verbindungen mit dem Eingang und die andere Gruppe nur Verbindungen mit dem Ausgang hat. Diese bekannte Anordnung besteht jedoch wiederum aus Knoten mit gewichteten Eingängen und einer jeweils nachgeschalteten Sigmoidfunktion. Die erfindungsgemäßen Knoten sind davon deutlich unterschieden. Sie sind keine vereinfachten Nachbildungen biologischer Neuronen mit Synapsengewichten und einer nichtlinear veränderten Summe von gewichteten Eingangssignalen. Man kann sie vielmehr als Äquivalent zu einer größeren Gruppe von einfachen künstlichen Neuronen auffassen. in dieser Sicht sind die Knoten dann Elemente von neuronalen Netzwerken auf einer höheren Abstraktionsebene. Unter weiterer Berücksichtigung von unterschiedlichen deterministischen Lernmethoden und Betriebsweisen (Codieren und Decodieren) folgt daraus eine ungleich höhere Leistungsfähigkeit der erfindungsgemäßen Anordnung gegenüber der bekannten klassischen Anordnung. Bidirektionale assoziative Speicher klassischer Art sind, wie man weiß, nicht für eine komplexe Verarbeitung von gesprochener oder geschriebener Sprache geeignet.

Der Erfindung liegt die Aufgabe zugrunde, ein leicht zu realisierendes, hierarchisch organisiertes System für die Verarbeitung von gesprochenem und geschriebenem Text zu schaffen, das flexibel genug für alle Möglichkeiten der Texte einer natürlichen Sprache ist (Sprachverstehen und Spracherzeugung beliebiger Texte), und dessen konnektionistische Arbeitsweise vergleichbar mit der konnektionistischen Arbeitsweise der bekannten klassischen neuronalen Netzwerke ist. Es soll nach dem Vorbild des Gehirns eine rein konnektionistische Struktur sein, ohne sich aber allzu eng an die biologischen Feinstrukturen und die Charakteristiken der biologischen Neuronen anzulehnen.

Diese Aufgabe wird durch ein künstliches neuronales Netzwerk mit den Merkmalen gemäß Anspruch 1 gelöst. In der weiteren Ausgestaltung der Erfindung wird zuerst eine Realisierung des gesamten Systems mit Hilfe üblicher digitaler Schaltungen beschrieben, wobei in den Knoten eines jeden Netzwerks Daten in symbolischer Form gespeichert sind. Solche Daten werden auch bei Bedarf über die Verbindungen zwischen den Knoten benachbarter hierarchischer Ebenen transferiert, in die Knoten eingegeben und aus den Knoten ausgegeben. In einer anderen Ausgestaltung der Erfindung werden in den höheren Ebenen der Hierarchie keine Daten mehr in symbolischer Form gespeichert. Es wird dort eine äquivalente, rein konnektionistisch ausgebildete Struktur angegeben, die mit Hilfe von Sammel- und Verteilerschienen zwischen den Hierarchieebenen arbeitet, und deren Knoten nur noch einfache neuronale Elemente mit Mehrheitslogik und Signalschwelle sind.

Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, daß durch die einheitliche neuronale Struktur keine zusätzliche Software zur Durchführung der Systemfunktionen benötigt wird, weil sich eine Operation an die nächste in völlig regelmäßiger und automatischer Weise anschließt. Es ist in beiden Varianten ein leicht handhabbares und leicht an schwierige Aufgaben zu adaptierendes System, das in dieser (und nur in dieser) Hinsicht mit so einfachen Systemen wie dem mehrschichtigen Perceptron zu vergleichen ist. Der technische Aufwand bleibt in beherrschbarer Größenordnung. Bei der Variante mit der rein konnektionistischen Struktur ohne Speicherung digitaler Codes in den höheren Ebenen der Hierarchie ist dort ein besonders geringer Realisierungsaufwand vorhanden.

Die konnektionistische Struktur, die durch Lernvorgänge nicht verändert sondern nur ergänzt werden muß (solange kein Vergessensmechanismus eingebaut ist) hat weitere Vorteile hinsichtlich der Prüfung auf Fehler und der gründsätzlich besseren Zuverlässigkeit.

Es folgt in den folgenden Abschnitten 1 bis 8 eine ausführliche Erläuterung der Erfindung anhand von Zeichnungen in den Fig. 1 bis 12.

1. Klassische neuronale Netze

Das heute am häufigsten verwendete neuronale Netz ist das Perceptron [Rosenblatt, R. "Principles of Neurodynamics" Spartan Books, Washington, 1959], bei dem sich die Neuronen in aufeinander folgenden Schichten befinden, siehe Bild 1. Jedes einzelne Neuron, siehe Bild 2, bekommt dabei von der Vorgängerschicht mehrere Eingangssignale e (die mit Gewichten w bewertet werden) und gibt an die Nachfolgerschicht (über eine Sigmoidfunktion) ein Ausgangssignal a ab. In der Regel haben die Neuronen einer Schicht untereinander keine Verbindung. Allerdings ist der Vorschlag, auch Verbindungen innerhalb einer solchen Schicht zuzulassen, grundsätzlich nicht neu, siehe Bild 3. Kohonen hat z. B. solch eine Schicht bei seinen "Feature Maps" vorgeschlagen [Kohonen, T. Mälisara, K. u. a. "Artifical Neural Networks" Proc. ICANN-91, North-Holland, Amsterdam]. Es fehlte bisher aber an einer Strategie, Systeme aus lateralen und rekurrenten Schichtnetzwerken wesentlich effizienter als die klassischen Netzwerke zu machen. Im folgenden soll ein Vorschlag gemacht werden, wie diese Situation zu ändern ist. Voraussetzung dafür ist zunächst die Einführung von Knoten mit ungewichteten Eingängen, welche Datensätze in digitaler Form aufnehmen, abgeben und speichern können, sowie die Einführung von Knoten unterschiedlicher Funktion in solchen geschichteten Netzen. Sodann die Realisierung einer vollständigen inhaltlichen Entkopplung zwischen den Eingangs- und Ausgangssignalen der Schichten. Dadurch wird die Anordnung weit flexibler als bei bisher bekannten neuronalen Netzen, bei denen in jedem Neuron die Summe der gewichteten Eingangssignale lediglich nichtlinear verändert zum Ausgang hin übertragen wird.

2. Grundgedanken

Bei dem erfindungsgemäßen neuartigen neuronalen Netzwerk gehen wir aus von Netzwerk-Schichten, die lateral voll vermascht sind, siehe die prinzipielle Darstellung mit schraffierten Schichten in Bild 4. In jeder der Schichten werden statt gleichartiger Knoten wie in der Vergangenheit zwei verschiedene Arten von Knoten eingeführt: Die Knoten der ersten Art seien mit I (Inhaltsknoten) bezeichnet und die Knoten der zweiten Art mit V (Verbindungsknoten). Sie können im Unterschied zu bisherigen Neuronenmodellen digitale Codes C_I und C_v speichern. Die Knoten I, siehe Bild 5a, können Signale mit den jeweils darunter liegenden Netzschichten austauschen, welche vorzugsweise aus den Codes bestehen (im einfachsten Fall mit der direkt benachbarten Schicht) und die Knoten V, siehe Bild 5b, können nur Signale mit den jeweils darüber liegenden Netzschichten austauschen (auch hier wieder im einfachsten Fall mit der direkt benachbarten Schicht). Diese Signale sind vorzugsweise digitale Codes. Innerhalb eines jeden Schicht-Netzwerkes und von Schicht-Netzwerk zu Schicht- Netzwerk sind nur (analoge oder digitale) Kommunikationen zwischen unterschiedlichen Knoten erlaubt. Die Verbindungen zwischen den Knoten innerhalb der Netzwerke und auch die Verbindungen zwischen den Netzwerkschichten haben eine Signalflußrichtung, die im Unterschied zu dem bekannten Neuronenmodell von dem Betriebsmodus abhängig ist. Im folgenden seien zwei verschiedene Betriebsmoden betrachtet: Ein erster Betriebsmodus "Codieren", bei dem die Signale zwischen den Netzwerkschichten nur von unten nach oben übertragen werden, siehe Bild 6, und ein zweiter Betriebsmodus "Decodieren", bei dem die Signale zwischen den Netzwerkschichten umgekehrt von oben nach unten übertragen werden, siehe Bild 7. Hier sind aus Gründen der Übersichtlichkeit die lateralen Verbindungen (innerhalb der Netzschichten) nicht gezeichnet.

Der Zweck der Einführung der zwei unterschiedlichen Knoten zusammen mit den Vorschriften für ihre Verbindung besteht darin, in jeder Netzwerkschicht die Eingangssignale von den Ausgangssignalen inhaltlich vollständig voneinander zu entkoppeln. Oder, im Hinblick auf einen speziellen Anwendungsfall, die Trennung "inhaltlicher" Aspekte in den Knoten von denen der gegenseitigen "Beziehungen" zwischen den Knoten zu bewirken.

Welcher Art die Signalverarbeitung in den unterschiedlichen Knotenarten ist, richtet sich nach den Anforderungen. So kann es prinzipiell eine analoge Verarbeitung sein, es kann aber auch ein assoziativer Such- und Vergleichsvorgang sein, der in vorteilhafter Weise digital durchgeführt wird, und bei dem in der Regel auch eine digitale Speicherung beteiligt ist. (Der Unterschied zwischen der klassischen analogen Verarbeitung mit Gewichten und der digitalen assoziativen Verarbeitung in den beschriebenen neuartigen neuronalen Netzwerken ist im wesentlichen darin zu sehen, daß bei der ersteren stets eine ganze Reihe von Knoten mehr oder weniger über die Schwelle der Sigmoid-Funktionen hinaus ausgesteuert wird, während bei der zweiten mit einer vollständigen Assoziation nur ein einziger Knoten, und zwar der am besten passende Knoten aktiviert wird. Mit einer unvollständigen Assoziation lassen sich aber auch unterschiedlich große Gruppen von Knoten assoziativ ansprechen und zu gewünschter Aktivität anregen.)

3. Das Schichtnetzwerk

In den Bildern 6 und 7 ist der Übersichtlichkeit wegen auf die Darstellung der internen Verbindungen zwischen den Knoten eines jeden Schichtnetzwerkes verzichtet worden. Denkt man sich eine solche Schicht aber in die Zeichenebene geklappt, kann dieses Netzwerk für sich auch wieder übersichtlich dargestellt werden, wie es in Bild 8 in einem Ausschnitt prinzipiell gezeigt ist. Ersichtlich sind nur unterschiedliche Knoten miteinander verbunden. Ebenfalls zu sehen ist, daß die Knoten I Ausgänge zu mehreren Knoten V haben können, daß dagegen die Knoten V nur jeweils eine Verbindung zu einem nachfolgenden Knoten I haben. Bei dieser Darstellung sind umgekehrt die aus der Schicht herausführenden externen Verbindungen der Knoten weggelassen worden, so daß die gesamte Struktur des Systems sich durch Kombination der Bilder 6 bis 8 ergibt. (Bei der späteren Erörterung einer speziellen Code- Übertragung zwischen den Ebenen, siehe Bild 10, in dem die Verhältnisse besonders einfach liegen, sind sowohl interne als auch externe Verbindungen der Knoten skizziert).

4. Codieren

Betrachten wir für den Betriebsmodus "Codieren" die Datenübertragung von einer Schicht zur nächsten im Schichtensystem von Bild 6 etwas näher. Schon nach dem Durchlaufen der ersten Schicht, der sog. Basis-Schicht, verbleiben die inhaltlichen Daten C_I der zugeführten zu codierenden digitalen Merkmalsätze e in den Knoten der ersten Art I, sie werden weder durch lineare noch durch nichtlineare Funktionen wie z. B. Sigmoidfunktionen an die folgende Schicht, die sog. 1. Meta-Schicht weitergegeben, d. h. sie sind zunächst einmal wie "weggefiltert". Übrig bleibt ein einfaches Aktivitätssignal, das innerhalb des Schichtnetzwerkes an eine Mehrzahl von Knoten V weitergegeben wird. An das nach oben benachbarte Schichtnetzwerk werden nur Daten eines Knotens V weitergegeben. Das heißt, die Ausgangssignale des Schichtnetzwerkes enthalten nur Aussagen (Daten) über die Beziehungen C_v zwischen je zwei Inhalten C_I. Die Eingabe in die 1. Mega-Schicht kann dabei z. B. nach Bild 9 erfolgen. Beginnen wir mit der Basisschicht, in der durch sequentiell aufeinanderfolgende Merkmalsätze (Worte des Wortschatzes) entsprechende Knoten I assoziativ ausgewählt und aktiviert worden sind. Sobald ein Knoten V zwei benachbarte aktive Knoten I hatte, war er ebenfalls ausgewählt worden. Das ergibt sich bei jedem neuen zugeführten Merkmalsatz (Wort). Einige zeitlich oder örtlich benachbarte ausgewählte Knoten V (mit jeweils dazwischen liegenden Knoten I) bieten nun nacheinander ihre Codes C_v allen Knoten I der 1. Meta-Schicht in einem assoziativen Suchvorgang an. Nur einer der Knoten dieser Schicht hat übereinstimmende Daten gespeichert, ist also assoziationsfähig, so daß er zusammengehörige Folgen von Codes C_v auch aufnehmen und anschließend seine Knotenausgänge im internen Netz dieser zweiten Schicht aktivieren kann. Danach haben die Codes C_v in den Knoten I des 1. Meta-Netzwerks ihre Aufgabe erfüllt, sie sind für die weitere Verarbeitung in diesem Meta-Netzwerk (wiederum wie im Basis-Netzwerk) wie "weggefiltert". Es werden im 1. Meta-Netzwerk nämlich genauso wie im Basis-Netzwerk nur diejenigen Codes C_v der Beziehungsknoten V an die 2. Meta-Schicht weitergegeben, welche die Bedeutung von Beziehungen zwischen den Beziehungen in der Basis-Schicht haben, usw. Auf diese Weise läßt sich eine gegenüber den klassischen neuronalen Netzen völlig neuartige Datenverarbeitung im Schichtensystem realisieren, die nur noch im Ziel mit der des mehrschichtigen Perceptrons übereinstimmt. Letzten Endes sollen nämlich auch in dem hier vorgestellten System aus im allgemeinen vielgestaltigen Merkmalsätzen [e], die der Basis-Schicht zugeführt werden, eindeutig entscheidbare Ausgangssignale [d] der obersten Schicht entstehen. Solch eine Transformation ist besonders günstig, wenn, wie bekannt, jede Klasse möglicher Merkmalsätze nur zu einem einzigen elementaren Ausgangssignal führt, z. B. zu einem aktivierten Knoten der letzten Schicht.

Man kann solche Prozesse als Abstraktionsprozesse auffassen. In der ersten Ebene abstrahiert man von den Inhalten, in der zweiten Ebene von den direkten Beziehungen zwischen den Inhalten, in der dritten Ebene von den Beziehungen zwischen den Beziehungen usw. Diese Abstraktionsprozesse werden noch verstärkt durch die Datenkomprimierung nach Bild 9, bei der nicht nur von jeweils einem Verbindungsknoten V Daten C_v in einen Knoten I der nächsten Schichtebene übertragen werden, sondern unmittelbar hintereinander von einer begrenzten Anzahl zeitlich nacheinander aufgerufener Knoten V. Dazu ist die Aufgabe einer geeigneten Segmentierung benachbarter Knoten bzw. deren Daten zu lösen (d. h. es ist jeweils individuell zu klären, welcher Grad der Nachbarschaft berücksichtigt werden soll). Auf diese Weise kann schrittweise und sehr schnell, von Ebene zu Ebene fortschreitend, von den jeweils engeren Beziehungen abstrahiert werden. Es bleiben dann in den höheren Schichten Informationen über die weiträumigeren Beziehungen übrig.

Die einfachste Funktion in dem Knoten V besteht in der Speicherung einer Kennzahl, welche die Verbindung zwischen je zwei Knoten I bezeichnet. (Man beachte jedoch, daß die Knoten V auch aus der Schicht herausführende Verbindungen haben. Nur deshalb müssen sie überhaupt als Knoten definiert werden, und nicht als Zweige.)

5. Decodieren

Bei den zunächst praktisch bearbeiteten Anwendungen (anspruchsvolle Textverarbeitung) war es wichtig, daß man die Signalflußrichtung zwischen den Netzwerkschichten auch umkehren kann. Das heißt, daß dabei eine bisherige Nachfolger-Netzwerkschicht zu einem Vorgänger-Netzwerkschicht wird, wie dies in Bild 7 veranschaulicht wurde. Dann müssen jetzt von oben jeder Schicht entsprechende Daten C_I bzw. [C_v] zugeführt werden, welche die entsprechenden Verbindungsknoten und die darauf folgenden Inhaltsknoten aktivieren. Deren Inhalte C_I werden ausgelesen, als Verbindungscodes [C_v] interpretiert und sukzessive dem nächsten, nach unten benachbarten Schichtnetzwerk zugeführt.

6. Operationen zur Textverdichtung

Bei der redundanzarmen Codierung von konkreten Texten, die Folgen bestimmter Wörter darstellen, wird in jedem Schichtnetzwerk ein entsprechender Pfad durchlaufen, der z. B. in der Basis-Schicht so viele Inhaltsknoten enthält wie der Text verschiedene Wörter. Es hat sich dabei zur Überprüfung der prinzipiellen Durchführbarkeit zunächst als günstig erwiesen, in diesem Pfad jeweils die Codes C_v zweier aufeinander folgender Verbindungsknoten V zusammenzufassen (was sicher keine optimale Segmentierung ist) und dem nächsten Schichtnetzwerk als eine Einheit zuzuführen, siehe die Skizze in Bild 10, in der nur wenige durchgeführte Transfers zwischen den Schichten skizziert sind. Solch ein Paar von Verbindungscodes C_v kann in dem jeweils nächsten Netzwerk einen Inhaltsknoten I assoziieren. Im Grunde genommen werden dort in den Inhaltsknoten also die Beziehungen zwischen Inhaltsknoten-Paaren festgestellt. Auf diese Weise verdichtet sich das Codierungsergebnis im Gesamtsystem schrittweise von Schicht zu Schicht um den Faktor 2. Da man wegen der Umkehrbarkeit des Datenflusses aus den kurzen Codedarstellungen der höchsten Schicht (zuzüglich der Anfangsbedingungen) alle Texte wieder rekonstruieren kann, siehe DE 34 11 168 C2, kann man solche Codes als eine besonders redundanzarme Transformation von Texten einer natürlichen Sprache betrachten. Die Werte liegen trotz der Unvollkommenheit der Segmentierungen auch tatsächlich in dem Bereich, der sich aus der Shannonschen Theorie ergibt [Hilberg, W. "Der bekannte Grenzwert der redundanzfreien Information in Texten - eine Fehlinterpretation der Shannonschen Experimente?", Frequenz 44 (1990), 9-10, S. 243-248] und weit unter den bisher als erreichbar angesehenen Werten.

Bei dem Systementwurf zur redundanzarmen Textcodierung zeigen sich auch grundsätzliche Vorteile gegenüber dem Entwurf eines Perceptrons. Anstelle eines großen Satzes von Gewichten, die bekanntlich mit dem Backpropagation-Algorithmus, also einem ganzheitlichen Verfahren, bestimmt werden [siehe Rojas], tritt jetzt eine Vielzahl von Verbindungsknoten-Codes C_v. Diese werden aber beim Lernen von Texten konstruktiv, d. h. Verbindung nach Verbindung, gefunden und eingespeichert. Das heißt, jeder einzelne Verbindungsknoten mit seinem Code C_v hat seine Existenzberechtigung für sich, die im einzelnen überprüft werden kann (wie jede logische Schaltung eines digitalen Rechners). Muß man mehr Möglichkeiten sprachlicher Konnektionen von Wörtern in Texten lernen, braucht man lediglich einige neue Verbindungen und Verbindungsknoten hinzuzufügen. Anders als bei den bisher bekannten neuronalen Netzen, die mit Hilfe des Backpropagation-Algorithmus entworfen wurden, kann man mit den hier beschriebenen Strukturen im Prinzip jede einzelne Verbindung und jeden einzelnen Knoten verifizieren und dementsprechende Garantien für realisierte Systeme abgeben.

7. Verallgemeinerungen des digitalen Verfahrens

Die Verallgemeinerungen der beschriebenen Verfahren liegen auf der Hand. Als Merkmalsätze waren zunächst aufeinander folgende Worte eines gedruckten Textes betrachtet worden, wobei jedes Wort einem Netzwerkknoten zugeordnet wurde. Genausogut kann man auch aufeinander folgende Phoneme der gesprochenen Sprache betrachten oder aufeinander folgende Bilder eines Filmes usw. Hierbei wird im allgemeinen eine geeignete Vorverarbeitung der Daten zum Zwecke einer guten Merkmalsbildung zweckmäßig sein, wie dies auch sonst in den Anwendungen neuronaler Netze übliche ist. Wenn dann die Merkmalsätze nicht mehr so vielgestaltig wie die Wörter einer Sprache sind, kann es sogar in der Basisebene günstig sein, mehrere Merkmalsätze in einem Knoten zu speichern und vermittels seiner Assoziationen solche Knoten zu aktivieren. Das gilt dann auch für die Metaebenen, bei denen ohnehin schon beschrieben wurde, wie zu zwei konsekutiven Steuerwörtern C_vi und C_vj die Assoziationen in einem entsprechenden Metawort aktiviert werden. Das Lernen und Einspeichern von Häufigkeiten, z. B. als dritte Koordinate in einer Assoziationsmatrix, ist eine weitere Verallgemeinerung, mit der man die Eigenschaften der natürlichen Sprache noch besser nachbilden kann. Die Verbindungscodes lassen sich schließlich nicht nur unter dem Gesichtspunkt der effizienten Codierung festlegen, sondern auch bezüglich ihrer Wichtigkeit oder Häufigkeit. Ein "digitales Gewicht" ließe sich z. B. problemlos als Teil des Verbindungscodes realisieren. Die Assoziationsfunktion selbst muß man grundsätzlich nicht nur so wie beschrieben ausführen, daß nämlich nur ein einziger Knoten aktiviert wird. Man kann sich vorstellen, daß auch Assoziationen zu mehreren verschiedenen Knoten angelegt werden und daß, insbesondere bei der Sprachgenerierung, erst bei Betrachtung verschiedener möglicher begrenzter Wortfolgen entschieden wird, welche dieser Wortfolgen ausgewählt werden soll.

8. Konnektionistische Realisierung

Bis hierher wurde dargelegt, wie man ein Netzwerksystem zur Sprachcodierung und Sprachcodierung aufbauen kann, in dem in den Netzwerksknoten auf übliche digitale Weise (symbolisch) Informationen gespeichert sind. Diese Informationen können über Leitungsverbindungen von einem Knoten zu einem anderen transferiert werden. Assoziationen zwischen einem gespeicherten Wort und dem (Teil-)Speicherinhalt anderer Knoten werden dabei schaltungstechnisch wie in einem klassischen digitalen assoziativen Speicher durchgeführt. Für einen Digitaltechniker, der mit assoziativen Schaltungsstrukturen vertraut ist, läßt sich so die Funktion eines komplexen Systems am leichtesten verstehen, zumal es mit gewohnten technischen Mitteln genauso auch aufgebaut werden kann.

Zu denken gibt jedoch, daß die natürliche "Sprachmaschine" im menschlichen Gehirn, die zweifellos Vorbild für alle technischen Entwicklungen ist, keine symbolische Speicherung kennt und vermutlich auch keinen Datentransfer, wie wir ihn in den Computern realisieren. Vielmehr sind alle Gehirnzellen relativ einfache Gebilde (Neuronen) mit Eingängen (Dendriten), Ausgängen (Axonen), Gewichten (Synapsen) und einem Neuronenkörper, der im wesentlichen eine Summenfunktion mit Schwellwert enthält. Es erscheint daher sinnvoll, nach Wegen zu suchen, wie das Grundprinzip der beschriebenen Sprachmaschine ohne symbolische Speicherung und ohne einen Transfer symbolischer Daten auf rein konnektionistische Weise realisiert werden kann.

Man kann mit der Überlegung beginnen, daß es sich bei den assoziativen Vorgängen in den Schichtnetzwerken um bedingte Assoziationen handelt. Das heißt, ein Knoten I in einem Schichtnetzwerk wird beim Codieren nur dann einen assoziativen Treffer melden, wenn ihm von einem anderen Knoten I dieses Netzwerks über einen Verbindungsknoten V ein Aktivitätssignal zugeführt wird (welches digital codiert sein kann) und wenn ihm zugleich ein oder mehrere passende Codeworte aus Knoten V des hierarchisch vorangehenden Schichtnetzwerkes zugeführt werden. Nur bei einer vollständigen Assoziation wird der betreffende Knoten I "feuern" und ein Aktivitätssignal an nachfolgende Knoten weitergeben.

Solch eine bedingte Assoziation läßt sich erfindungsgemäß wie folgt auch vollständig konnektionistisch realisieren, siehe Bild 11. Hier ist in der vereinfachten Darstellung ein Schichtnetzwerk mit zwei Arten von Knoten skizziert. Zwischen diesem Schichtnetzwerk und seinen beiden nach oben und unten benachbarten Schichtnetzwerken sind jeweils sog. Sammel- und Verteilerschienen angebracht (der Kürze wegen werden sie auch einfach nur Verteilerschienen genannt). Es sind Leitungen, die voneinander isoliert sind, und die die Aufgabe haben, beim Codieren gleichartige Verbindungscodes C_v aufzunehmen und nur an spezielle Knoten I des hierarchisch nachfolgenden Schichtnetzwerkes weiterzugeben, an solche Knoten nämlich, die von den Codes C_v auch wirklich betroffen sind. Angesichts der großen Vielfalt von verschiedenen Verbindungscodes sind entsprechend viele Verteilerschienen notwendig (geometrisch gesehen muß eine Schiene nicht unbedingt eine einfache gerade Leitung sein, sie kann vielmehr netzwerkartig verzweigt sein). Jede Verbindung von und zu den Knoten der benachbarten Schichtnetzwerke kann aber ein für allemal fest "verdrahtet" werden. Dadurch entfällt natürlich die Notwendigkeit der Speicherung symbolischer Daten in den Knoten, wodurch sie, wie bei den bekannten einfachen neuronalen Netzen (z. B. Perceptron, Hopfield-Netz, usw.) wieder sehr einfach werden und im wesentlichen nur konnektionistische Aufgaben zu erfüllen haben. Betrachten wir zunächst den Knoten V. Er hat beim Codieren nur noch die Aufgabe, bei Vorliegen eines Aktivitätssignals sowohl vom vorangehenden Knoten I_i als auch von dem im selben Schichtnetzwerk folgenden Knoten I_i+1 ein Ausgangssignal zu erzeugen und seiner zugeordneten Verteilerschiene zuzuführen. Damit reduziert er sich auf eine reine Konjunktion. Der aufnehmende Knoten I im nächsten Schichtnetzwerk wiederum muß überprüfen, ob er ein Aktivitätssignal aus seinem eigenen Schichtnetzwerk bekommt und ob er zusätzlich noch eine genügende Menge von Aktivitätssignalen aus den hierarchisch vorangehenden Sammel- und Verteilerschienen bekommt. Dies geschieht sequentiell, weshalb eine entsprechende Zeit abgewartet werden muß. Sobald eine entsprechend eingestellte Schwelle überschritten ist, wird der ausgewählte Knoten I "feuern", d. h. ein Aktivitätssignal abgeben. Die Knoten sind daher in üblicher Weise mit Mehrheitslogik oder Boole'scher Logik oder Fuzzy-Logik usw. als rein konnektionistische Elemente realisierbar.

Beim Decodieren kehren sich einige Signallaufrichtungen um. Der aktivierte Knoten I gibt jetzt nach wie vor ein Aktivitätssignal an nachgeordnete Knoten V ab. Dazu liefert er noch sequentiell Aktivitätssignale nach außen an die zugeordneten Verteilerschienen außerhalb seines Schichtnetzwerkes, wozu keine Schwellfunktionen benötigt werden. Von den Verteilerschienen kommen die Aktivitätssignale zu den Knoten V des darunter liegenden Schichtnetzwerkes. Sie können aber von dort nur dann zu dem nächsten Knoten I derselben Schicht weitergegeben werden, wenn der Knoten V auch ein Aktivitätssignal von einem vorhergehenden Knoten I in seinem Netzwerk bekommen hat. Wiederum muß eine Konjunktion wirksam werden. Solche Konjunktionen können bekanntlich mit einem einfachen Transistor realisiert werden, siehe Bild 2. Das Umstellen von der Betriebsweise Codieren zu der Betriebsweise Decodieren muß daher mit einem geeigneten Signal nur bei den Knoten I geschehen. Dabei kann nach Bild 2 die Stromrichtung beibehalten werden. Nicht aktivierte Knoten I müßten z. B. hochohmige Ausgänge bekommen oder ein niedrigeres Potential abgeben usw., was mit entsprechenden Umstellsignalen veranlaßt werden kann.

Angesichts des jetzt weitgehend konnektionistisch gewordenen Aufbaus des Gesamtsystems erhebt sich die Frage, ob auch eine Gewichtung der Knoteneingänge Vorteile bringen würde. Nun, solch eine Gewichtung ist prinzipiell nicht nötig, was die Knoten in dieser Hinsicht mit den McCulloch-Pitts-Zellen vergleichbar macht. Lediglich für die Fälle, in denen man beim Lernen und Vergessen oder bei der Textgenerierung noch Häufigkeitsaspekte berücksichtigen will, wird eine zusätzliche Gewichtung möglich und nützlich sein.

Betrachten wir zum Schluß noch den Aufwand, der einerseits bei einem System mit symbolischer Speicherung und andererseits bei einem System mit konnektionistischer Struktur getrieben werden muß. Angesichts der sehr großen Zahl verschiedener Wörter einer natürlichen Sprache (Größenordnung einige Millionen) wird man bei der ersten Methode in allen Metaebenen einen entsprechend großen Speicheraufwand treiben müssen. Bei der zweiten Methode sind die Knoten in allen Ebenen extrem einfach, aber man muß sehr viele Sammel- und Verteilerschienen vorsehen. Das muß im Einzelfall gegeneinander abgewogen werden. Für die Simulation eines Systems dürfte die erste Methode günstiger sein, für die Realisierung jedoch die zweite.

Geht es uns jedoch um die Aufklärung des menschlichen Sprachprozesses, bei dem die Wörter der Sprache immer im Zusammenhang gesehen werden müssen (z. B. Aufnahme, Verstehen und Erzeugung langer zusammenhängender Texte), so dürfte die beschriebene, rein konnektionistische Lösung ein erster Fingerzeig darauf sein, wie die Natur mit einfachsten Mitteln derart leistungsfähige und komplexe Systeme zuwege bringen kann.

Bildunterschriften

Bild 1: Prinzip des Perceptrons mit mehreren versteckten Schichten.

Bild 2: Das künstliche "Neuron" als Netzwerksknoten a) mit gewichteten Eingängen und b) einer nichtlinearen Ausgangsfunktion (Sigmoid).

Bild 3: Veranschaulichung der Möglichkeit, auch innerhalb der Schichten Verbindungen zuzulassen (laterale Verbindungen), nach [1].

Bild 4: Schema von Schichten aus Netzwerken, in denen es zwei unterschiedliche Knoten bzw. Knotenfunktionen gibt (I = Inhaltsknoten, V = Beziehungs- oder Verbindungsknoten).

Bild 5: Veranschaulichung der Knotenkommunikationsmöglichkeiten a) der Knoten I kommuniziert intern sowie mit der jeweils benachbarten unteren Schicht, b) der Knoten V kommuniziert intern sowie mit der jeweils benachbarten oberen Schicht.

Bild 6: Betriebsweise "Codieren". Darstellung der Datenübertragung zwischen den Knoten benachbarter Schichten. Die Daten werden von einem beliebigen ausgewählten V-Knoten einer Schicht allen I-Knoten der nach oben direkt benachbarten Schicht angeboten und von dem Knoten mit den stärksten Assoziationen akzeptiert.

Bild 7: Betriebsweise "Decodieren". Darstellung der Datenübertragung zwischen den Knoten benachbarter Schichten. Die Daten werden von einem beliebigen ausgewählten I-Knoten einer Schicht allen V-Knoten der nach unten benachbarten Schicht angeboten und von dem Knoten mit den stärksten Assoziationen akzeptiert.

Bild 8: Prinzip eines "lateralen" vermaschten Netzes in einer Schicht, in dem eine Kommunikation nur zwischen jeweils unterschiedlichen Knotenarten (I und V) stattfinden kann.

Bild 9: Darstellung der Möglichkeit, jeweils mehrere zeitlich oder örtlich aufeinander folgende Knoten-Codes C_v in einem Knoten I der nach oben benachbarten Schicht abzuspeichern (Betriebsweise Codieren). Umgekehrt wird beim Decodieren der Inhalt C_I eines Knotens I dazu benutzt, aufeinander folgende Knoten V der nach unten benachbarten Schicht in Verbindung mit deren interen aktivierten Knoten I auszuwählen.

Bild 10: Veranschaulichung der resultierenden Datenübertragungen von Netzwerkschicht zu Netzwerkschicht für den Fall, daß je zwei aufeinander folgende Knoten-Codes C_v einem Knoteninhalt C_I der nach oben benachbarten Schicht entsprechen (Codieren und Decodieren).

Bild 11: Sammel- und Verteilerschienen zwischen den Schichtnetzwerken.

Bild 12: Konnektionistische Realisierung eines Knotens V.

Claims (14)

1. Künstliches neuronales Netzwerk mit einer Vielzahl von Netzwerkknoten in hierarchisch aufeinanderfolgenden, stark vermaschten Schichten, insbesondere für die Verarbeitung von gesprochenem oder geschriebenem Text, dadurch gekennzeichnet, daß die Knoten Datensätze in digitaler Form aufnehmen, abgeben und dauerhaft speichern können, wobei die Knoteneingänge ungewichtet sind, daß in jedem Schichtnetzwerk wenigstens zwei verschiedene Arten von Knoten vorhanden sind (I und V), wobei sich die Knotenart (I oder V) durch die Bedeutung der gespeicherten Datensätze ergibt ("inhaltlicher Code C_I" oder "Verbindungs-Code C_v"), und daß die Knoten erster Art (I) Verbindungen mit dem hierarchisch vorangehenden Schichtnetzwerk haben und die Knoten zweiter Art (V) Verbindungen mit dem hierarchisch nachfolgenden Schichtnetzwerk.

2. Künstliches neuronales Netzwerk nach Anspruch 1, dadurch gekennzeichnet, daß in den Schichtnetzwerken und von Schichtnetzwerk zu Schichtnetzwerk die Knoten der ersten Art (I) nur Verbindungen mit den Knoten der zweiten Art (V) haben und umgekehrt, so daß ein Datenaustausch nur zwischen Knoten unterschiedlicher Art zustande kommt.

3. Künstliches neuronales Netzwerk nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zwischen den Schichtnetzwerken jeweils ein Satz von elektrischen Schienen zum Sammeln und Verteilen von Daten oder Signalen angebracht ist.

4. Künstliches neuronales Netzwerk nach Anspruch 3, dadurch gekennzeichnet, daß die einzelnen Sammel- und Verteilerschienen eines jeden Satzes voneinander isoliert sind.

5. Künstliches neuronales Netzwerk nach Anspruch 3 oder 4, dadurch gekennzeichnet, daß die Knoten erster Art (I) in den Schichtnetzwerken externe Verbindungen nur mit den hierarchisch vorangehenden Verteilerschienen haben und die Knoten zweiter Art (V) nur Verbindungen mit den hierarchisch nachfolgenden Verteilerschienen und daß erst über die Schienen die Verbindungen zu den alternativen Knoten des benachbarten Schichtnetzwerkes verlaufen.

6. Künstliches neuronales Netzwerk nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, daß an jede Verteilerschiene nur Knoten mit gleicher Codierung oder Teilcodierung (hierarchisch nachfolgende Schiene: C_v; hierarchisch vorangehende Schiene: C_I1, C_I2) angeschlossen sind.

7. Künstliches neuronales Netzwerk nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, daß die Knoten zweiter Art (V) jeweils aus einer logischen Verknüpfungsschaltung bestehen, welche bei der Aufnahme von Informationen ("Codieren") ein von einem Knoten I_i kommendes Aktivitätssignal mit dem von dem nachfolgenden Knoten I_i+1 kommenden Aktivitätssignal konjunktiv verknüpft und bei der Erzeugung von Informationen ("Decodieren") das von einem Knoten I_i kommende Aktivitätssignal mit dem von der Sammel- und Verteilerschiene kommenden Aktivitätssignal konjunktiv verknüpft.

8. Künstliches neuronales Netzwerk nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, daß die Anzahl der Verbindungen jeder Schiene mit den Knoten zweiter Art (V) (oder entsprechenden Verzweigerstellen) größer als die Anzahl der Verbindungen mit den Knoten erster Art (I) gewählt wird, um eine Informationsverdichtung in Richtung nachfolgender Schichtnetzwerke zu erreichen.

9. Künstliches neuronales Netzwerk nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß bei der Verarbeitung von Texten in den Knoten erster Art (I) des hierarchisch untersten Schichtnetzwerkes umfangreiche Codes in symbolischer Form (Wörter der Sprache) gespeichert sind, während in den Knoten erster Art (I) der hierarchisch höheren Schichtnetzwerke nur noch eine Sequenz von mehreren binären Aktivitätssignalen gespeichert ist, die bei einer Aktivierung jeweils sequentiell ein- oder ausgegeben werden.

10. Künstliches neuronales Netzwerk nach einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, daß die Funktion der Verteilerschienen mit digitalen Mitteln nachgebildet wird, wobei im Betriebsfall "Codieren" die Knoten zweiter Art (V) symbolische Codes C_v direkt an die Knoten erster Art (I) des hierarchisch nachfolgenden Schichtnetzwerkes liefern, und im Betriebsfall "Decodieren" die Knoten erster Art (I) symbolische Teilcodes (C_I1, C_I2) sequentiell an die Knoten zweiter Art (V) des hierarchisch vorangehenden Schichtnetzwerkes abgeben.

11. Künstliches neuronales Netzwerk nach Anspruch 10, dadurch gekennzeichnet, daß die Datenübertragung eines Codes C_v von einem Knoten zweiter Art (V) zu einem Knoten erster Art (I) des hierarchisch nachfolgenden Schichtnetzwerkes mit Hilfe eines assoziativen Auswahlvorganges durchgeführt wird und daß die Datenübertragung eines Teilcodes C_I1, C_I2 von einem Knoten erster Art (I) zu einem Knoten zweiter Art (V) des hierarchisch vorangehenden Schichtnetzwerkes in gleicher Weise assoziativ durchgeführt wird.

12. Künstliches neuronales Netzwerk nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, daß mit einem Signal an alle Schichtnetzwerke von der Betriebsweise "Codieren" (Datenverarbeitung in Richtung wachsender Abstraktion) auf die Betriebsweise "Decodieren" (Datenverarbeitung in Richtung zunehmender Konkretion bzw. abnehmender Abstraktion) umgestellt wird, oder von "Decodieren" auf "Codieren".

13. Künstlich neuronales Netzwerk nach Anspruch 10, dadurch gekennzeichnet, daß das Umstellsignal nur den Knoten erster Art (I) aller Schichtnetzwerke zugeführt wird.

14. Künstliches neuronales Netzwerk nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, daß jedem Knoten zweiter Art (V) nur ein Knoten erster Art (I) nachfolgt.