DE102005018147B4 - Assoziative Verkopplung von Netzwerken - Google Patents

Assoziative Verkopplung von Netzwerken Download PDF

Info

Publication number
DE102005018147B4
DE102005018147B4 DE102005018147A DE102005018147A DE102005018147B4 DE 102005018147 B4 DE102005018147 B4 DE 102005018147B4 DE 102005018147 A DE102005018147 A DE 102005018147A DE 102005018147 A DE102005018147 A DE 102005018147A DE 102005018147 B4 DE102005018147 B4 DE 102005018147B4
Authority
DE
Germany
Prior art keywords
network
networks
nodes
coupling
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102005018147A
Other languages
English (en)
Other versions
DE102005018147A1 (de
Inventor
Wolfgang Hilberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102005018147A priority Critical patent/DE102005018147B4/de
Publication of DE102005018147A1 publication Critical patent/DE102005018147A1/de
Application granted granted Critical
Publication of DE102005018147B4 publication Critical patent/DE102005018147B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Netzwerksystem mit hierarchisch aufeinander folgenden informationstragenden Netzwerken für eine anspruchsvolle Sprachverarbeitung-, deren informationstragende Netzwerke in den hierarchischen Systemebenen aus sog. Knoten und sie verbindenden Zweigen bestehen, wobei die Knoten Schaltungen enthalten, die Informationen speichern, verarbeiten, empfangen und senden können, die wahlweise auch eine Mehrzahl anderer Knoten im selben Netzwerk oder in anderen Netzwerken erreichen und assoziativ ansprechen können, wobei die Knoten in den Zuständen aktiv, passiv oder teilweise aktiv sein können, die informationstragenden Netzwerke in den hierarchischen Systemebenen wechselseitig in einen steuernden und einen gesteuerten Zustand versetzt werden können, dass zusätzlich ein sog. Kopplungsnetzwerk eingesetzt wird, welches in Abhängigkeit von der jeweiligen Einstellung der Steuerung die assoziative Kommunikation zwischen ihnen sicherstellt, indem es sämtliche für die Kommunikation notwendigen Wege und Verzweigungen durch elektrische Leitungen in einer Vielfach-Verbindungstechnik realisiert, bei der die assoziative Verkopplung eines Knotens im steuernden Netzwerk mit einer Schar beliebig wählbarer Knoten im gesteuerten Netzwerk durch die sich...

Description

  • Elektronische Sprachnetzwerke lassen sich aus künstlichen Neuronen und sie verbindenden elektrischen Leitungen bilden. Sie werden in einem hierarchischen System angeordnet, das zusätzlich in jeder Abstraktionsebene noch Prädiktionsnetzwerke enthält. Zwischen den Sprachnetzwerken werden weiterhin Kopplungsnetzwerke vorgesehen, welche alle Assoziationswege aus sich verzweigenden elektrischen Leitungen in einem Baustein zusammenfassen, der durch eine Matrix beschrieben wird und integrationsfreundlich ist.
  • Stand der Technik
  • Eine in Netzwerken ablaufende programmierte Sprachverarbeitung ist in den folgenden Dissertationen ausführlich beschrieben worden:
    • Meyer, J. Die Verwendung hierarchisch strukturierter Sprachnetzwerke zur redundanzarmen Codierung von Texten. Diss. THD1989.
    • Nachtweg, V. Textkompression auf der Basis von Wortnetzwerken und Grammatikmodellen. Diss. THD, 1995.
    • Steinmann, F.-M. Netzwerkmodellierung und Segmentierung von Texten sowie Anwendungen zur Informationsverdichtung. Diss. THD, 1996.
    • Burschel, H.-D. Die meßtechnische Ermittlung von Assoziationen zwischen Worten in kohärentem Text und ihre Nutzung bei Prädiktionen verschiedener Reichweite. Diss. TUD, 1998.
    • Bassenge, G. Automatische Klassifizierung von Wortformen in Texten der deutschen Gegenwartssprache. Diss. TUD, 2001.
    • Ries, Th. Über Möglichkeiten einer maschinellen Nacherzählung mit Hilfe eines hierarchischen Systems aus Sprachnetzwerken. Diss. TUD, 2001.
  • In dem kurz vor dieser Anmeldung fertig gestellten und erst nach dem Anmeldetag der Patentanmeldung im Handel erschienenen Buch des Patentanmelders [Hilberg, W., Denken wie ein Mensch, Verlag Sprache und Technik (2005)], wird ausführlich beschrieben, wie man grundsätzlich eine elektronische Sprachmaschine auf der Basis von Netzwerkstrukturen programmieren und damit realisieren kann. So wird z.B. erläutert, dass Sprachnetzwerke – in 1 ist die gemessene Verbindungsmatrix des Sprachnetzwerkes für die deutsche Sprache gezeigt – eine ganz typische Grundstruktur haben, die für alle natürlichen Sprachen dieselbe ist. Sie gibt sich in den Verbindungsmatrizen durch eine nahezu konstante Punktdichte zu erkennen. Wegen der Bedeutung dieser Sprachnetzwerke für das Patentbegehren sei sie hier noch einmal wiedergegeben: „Das funktionale Sprachnetzwerk auf der Abstraktionsebene der Worte, dargestellt durch einen Ausschnitt aus der Assoziationsmatrix (Verbindungsmatrix), bei der die Worte des Wortschatzes entsprechend ihrem Rang auf beiden Achsen platziert sind. Die Verteilung der Punkte ist nicht zufällig, es handelt sich vielmehr um die genaue Beschreibung des Netzwerkes. Jeder Punkt repräsentiert eine Netzwerkverbindung zwischen einem Wort in einem Text, das durch seinen Rang X auf der horizontalen Achse gegeben ist, und einem anderen Wort, das im Text nachfolgt, mit seinem Rang Y auf der vertikalen Achse".
  • Vorbild der entworfenen und untersuchten strukturellen Verfahren ist immer das menschliche Gehirn, jedenfalls sind es Verfahren, von denen man vermuten kann, dass sie auch vom Gehirn benutzt werden könnten. Netzwerke und die Vorgänge in ihnen wurden dabei immer in üblicher Weise programmiert. Solche Programme sind auf Codes angewiesen.
  • Im Einzelnen wird dargestellt, dass die Knoten in den Netzwerken, von denen es sehr viele gibt (einige hunderttausend), Informationen in Form von Codes speichern (das entspricht den verschiedenen Worten und Metaworten einer Sprache). Obwohl die strukturell ablaufenden Vorgänge in den Netzwerken nur programmiert sind, entsprechen sie den Vorgängen im menschlichen Gehirn dennoch schon weit besser als die Vorgänge in den bekannten verschiedenen Funktionsmodulen in einem Computer. Die in den Dissertationen diskutierten und programmierten Netzwerke sind in Ebenen wachsender Abstraktion zu finden. Die Kommunikation zwischen ihnen ist ein wichtiger Gesichtspunkt eines Entwurfes. Die Aufgabe einer notwendigen Kommunikation wird hier in der Art gelöst, dass jeder Kommunikationsweg einzeln betrachtet und in einem Programmschritt erfasst wird. Die Kommunikation erfolgt durch assoziative Operationen, die prinzipiell bekanntlich sind und auf verschiedene Weise erfolgen können. Beispielsweise sind schon seit Jahrzehnten die Schaltungen der assoziativen digitalen Speicher bekannt. Ganz anders verlaufen assoziative Operationen mit Hilfe spezieller Programmiermethoden, den sog. Hash-Methoden. So gut wie nicht bekannt ist, dass assoziative Suchoperationen, wenn sie gleichzeitig und sehr rasch erfolgen müssen, durch eine Vielfach-Verbindungstechnik durchgeführt werden können. Eine Beschrei bung dieser Technik sucht man meist vergebens in den gängigen Lehrbüchern. In den oben genannten Dissertationen wird jedoch in alter Tradition die Anwendung assoziativer Verfahren auch in einem Netzwerksystem noch mit Hilfe von Codes und deren Transfers beschrieben. Dort findet man z.B. noch entsprechende Beschreibungen für verschiedene Ausführungen assoziativer Such- und Zuweisungsoperationen. In einem Fall werden für jeden Knoten eines Netzwerkes diejenigen Code-Transfers beschrieben, die er zu den zu assoziierenden Knoten in einem anderen Netzwerk haben kann. In einem anderen Fall können Codes, die eine Schar von Knoten assoziativ ansprechen sollen, in der Nähe des Knotens abgespeichert werden, von dem sie ausgehen sollen. Sie können zu anderen Netzwerken führen oder auch ins eigene Netzwerk. In einem weiteren Fall wird von einem steuernden Netzwerk aus zuerst ein ausgewählter „besonderer" Knoten in einem gesteuerten Netzwerk adressiert und es werden von ihm ausgehend, lediglich diejenigen gespeicherten und zu assoziierenden Knotencodes angesprochen, die ins selbe Netzwerk führen. Diese Codes sind in sog. Ähnlichkeitsbündeln zu finden. Dargestellt werden alle Verfahren in den obigen veröffentlichten Dissertationen und auch in dem Aufsatz (Hilberg, W. Neural networks in higher levels of abstraction, Biological Cybernetics 76, S. 23–40, 1997) anhand von Codes, ihren Umwandlungen und Transfers.
  • Probleme bei den bekannten Verfahren
  • Ein überaus großer Aufwand an Speicherplatz und Zeit ergibt sich durch die Programmierung der Verbindungen zwischen den Knoten innerhalb der Netzwerke und auch durch die Programmierung der Assoziationsverbindungen zwischen den Knoten verschiedener Netzwerke. Das führt auch zu einer außerordentlich langsamen Arbeitsweise.
  • Die Ermittlung der benötigten Assoziationen erfolgt mit Hilfe großer Lerntexte, was oft sehr langwierig ist und zu unvollständigen Ergebnissen führt. Ein Überblick über den jeweiligen Status ist dabei nur schwer zu gewinnen. Die unregelmäßige Verteilung der an verschiedenen Stellen der Netzwerke gespeicherten Codes für die Assoziationen wäre selbst bei Benutzung von elektrischen Leitungen nicht für eine integrierte (Chip-)Realisierung geeignet. Auch für Simulationen ist die Berücksichtigung der örtlich verteilten, in ihrer Größe sehr unterschiedlichen Bündel von Codes innerhalb der informationstragenden hierarchischen Netzwerke sehr umständlich und fehleranfällig. Sie weisen eine zu unterschiedliche Mischung von Schaltungen und gespeicherten Informationen auf und können deshalb nicht als einfach strukturierte einheitliche Bauteile konzipiert oder aufgebaut werden. Die unterschiedlichen individuellen Strukturen führen dann zu einer Vielzahl von unterschiedlichen integrierten Bausteinen.
  • Ziel der Erfindung und Lösung der Probleme
  • Das beherrschende grundsätzliche Ziel der Erfindung ist es, eine Anordnung zu schaffen, die dem Vorbild des natürlichen neuronalen Netzwerkes im menschlichen Gehirn mit seiner durchgängig gleichartigen Struktur näher kommt, als das beispielsweise in dem nachveröffentlichten Buch (Hilberg, W., Denken wie ein Mensch) und den Dissertationen beschrieben wurde. Damit wird man aller Voraussicht nach das Optimum einer intelligenten Sprachverarbeitung im Gehirn, das in der Geschichte der Menschheit auf natürlicher Grundlage mühsam aufgebaut wurde, hoffentlich in nicht zu ferner Zeit erreichen. Zugleich soll eine solche Anordnung auch in Aufbau und Wirkungsweise wegen der günstigeren Struktur leichter zu entwerfen und aufzubauen sein und darüber hinaus effizienter sein und schneller funktionieren als die bekannten Anordnungen. Bekanntlich arbeitet ja das menschliche Gehirn, im Detail betrachtet, sehr viel langsamer als ein Computer und dennoch bleiben selbst die leistungsfähigsten heutigen Computer hinter den menschlichen Intelligenzleistungen wie z.B. der flexiblen Sprachbeherrschung zurück. (Eine elektronische Netzwerkmaschine nach menschlichem Vorbild dürfte dann in der Schnelligkeit selbst von einem Menschen nicht mehr zu übertreffen sein!). Für das Netzwerksystem wird eine integrationsfreundliche Anordnung vorgeschlagen, die aus wenigen typischen Schaltungsblöcken besteht, die praktisch dieselbe einheitliche Netzwerk-Grundstruktur haben. Ausgehen wird man von dem im obigen Buch beschriebenen Schaltungsblock, d.h. von einer Grundform, aus der die Netzwerke in den hierarchischen Abstraktionsebenen bestehen. In Bild 2a ist das damit aufgebaute System gezeigt.
  • Zu diesen Ebenen-Netzwerken kommen in einer weiteren Ausgestaltung noch Prädiktionsnetzwerke hinzu, siehe Bild 2b. Da sie Prädiktionen verschiedener Reichweite durchführen müssen, gibt es entsprechend viele davon.
  • Diese Anordnung wird erfindungsgemäß ergänzt durch einen weiteren typischen Schaltungsblock, der ein sog. Kopplungsnetzwerk enthält, siehe Bild 3a. Es ist zwischen je zwei hierarchischen Netzwerksebenen angebracht und hat die Aufgabe, den Datenaustausch bzw. die assoziative Kopplung zwischen den benachbarten Netzwerkschichten zu übernehmen. Dieses Kopplungsnetzwerk braucht nicht wie die hierarchischen Ebenen- Netzwerke Codes in speichernden Schaltungen zu enthalten. Es lässt sich noch mit sog. Prädiktionsnetzwerken kombinieren, siehe Bild 3b. Durch die Einführung eines speziellen Verknüpfungsnetzwerkes (in der Art eines Kopplungsnetzwerkes) zwischen den Prädiktionsnetzwerken und den Ebenen-Netzwerken wird es dann noch erweitert. Schließlich wird gezeigt, dass die Verschmelzung dieses Prädiktions-Verknüpfungsnetzwerkes mit dem Ebenen-Kopplungsnetzwerk möglich und von Vorteil ist, siehe Bild 4.
  • Unbeschadet der hier und im folgenden beschriebenen technischen Ausgestaltung der informationstragenden hierarchischen Ebenen-Netzwerke mit Knoten, in denen Informationen in Form von Codes gespeichert sind, muss einschränkend bemerkt werden, dass das lediglich durch die heutigen Möglichkeiten einer technischen Realisierung und einer anschaulichen nachvollziehbaren Beschreibung nahe gelegt wird, dass aber solche Codedarstellungen grundsätzlich entfallen können, wenn man entsprechend dem natürlichen Vorbild des menschlichen Gehirns eine eindeutige Einbettung eines jeden Knotens in das gesamte Netzwerksystem hat. Erst dann entsteht eine wirklich durchgängige exakte Abbildung des natürlichen Systems auf ein technisches System.
  • Die genannten Anordnungen sind im Folgenden und im Anspruch 1 und den Unteransprüchen beschrieben und durch Zeichnungen veranschaulicht worden. Ein nebengeordneter Verfahrensanspruch ist ebenfalls mit den Kennzeichen angefügt.
  • Erreichte Vorteile der Erfindung
  • Mit dem neu eingeführten Ebenen-Kopplungsnetzwerk und dem Prädiktions-Verknüpfungsnetzwerk und ihren Kombinationen werden die angegebenen Ziele erreicht. Die Netzwerke sind sehr einfach als Standardnetzwerke zu entwerfen, sie gleichen in ihrer Struktur grundsätzlich den Ebenen-Netzwerken, sie sind bei vollem Ausbau etwa gleich groß und kompatibel zu ihnen und können wie diese übersichtlich durch eine Matrix beschrieben werden, siehe Bild 1. Dadurch ist ein Entwurf nicht fehleranfällig. Die Anzahl der Verbindungen in einem Kopplungsnetzwerk wird im Allgemeinen kleiner sein als in einem Ebenen-Netzwerk. Dies gilt vor allem dann, wenn z.B. nur die Nachfolger zu einem Wort oder nur Untermengen solcher Nachfolger assoziativ angesprochen werden sollen. Maximal kann dabei die Anzahl der Verbindungen bzw. der entsprechenden Punkte in der Matrix bis zur Hälfte der Anzahl von Matrixpunkten in einer Ebenen-Verbindungsmatrix (Assoziationsmatrix) anwachsen. Sollen dagegen auch Vorgänger-Assoziationen erfasst werden, kann dies erfindungsgemäß in derselben Matrix geschehen. Die maximale Anzahl der Punkte in der Kopplungsmatrix wird dann gleich der maximalen Anzahl in einer Ebenen-Verbindungsmatrix (Assoziationsmatrix).
  • Ein weiterer Vorteil der Erfindung besteht darin, dass man für einen raschen Entwurf (in der Simulation) die benötigten Assoziationsverbindungen nicht erst durch lange Lerntexte ermitteln muss, sondern dass man als „default"-Werte gleich die Hälfte der in den Ebenen-Netzwerken benötigten Verbindungen übernehmen kann. Da in einer Kopplungsmatrix bei einer Simulation nur Punkte zu speichern sind, gibt es auch hierdurch eine starke Reduzierung des Speicheraufwandes. Die sonst bei einer assoziativen Adressierung benötigte Speiche rung von Metawort-Codes benötigt nämlich sehr viel mehr Speicherplatz als die Speicherung von Koordinaten in der Kopplungsmatrix. In der Hardware-Realisierung enthält das Kopplungsnetzwerk sogar überhaupt keine Speicher mehr, weil die Benennung und Speicherung von Codes für die assoziativen Ziele durch die einfachen Leitungsverbindungen und Leitungsverzweigungen entfällt.
  • Textpfade und Assoziationen
  • Große Netzwerke lassen sich sehr einfach und übersichtlich durch Verbindungsmatrizen beschreiben, siehe Bild 1. Sie werden in den Netzwerken der jeweiligen Abstraktionsebenen „Assoziationsmatrizen" genannt und in den Prädiktionsnetzwerken „Prädiktionsmatrizen". Eine in dem oben genannten Buch beschriebene Sprachmaschine enthält eine ganze Hierarchie von Assoziationsmatrizen in Ebenen wachsender Abstraktion, die abkürzend auch mit „Ebenen-Matrizen" bezeichnet werden sollen. Erfindungsgemäß kommen Kopplungsnetzwerke zwischen je zwei Ebenen hinzu, die ebenfalls durch Matrizen zu beschreiben sind. Bei einer Hardware-Anordnung werden die assoziativen Zugriffe vom steuernden Netzwerk bzw. von seinen Netzwerksknoten auf das gesteuerte Netzwerk durch eine Vielfach-Verbindungstechnik realisiert, bei der ein Knoten mit seinem sog. assoziativen „Suchwort" über eine Vielzahl von sich verzweigenden Leitungen mit allen möglichen zu assoziierenden Wortknoten der anderen Ebene direkt verbunden wird. Dadurch ist eine gleichzeitige Assoziation mit all diesen Wortknoten gewährleistet.
  • Mit der Kopplungsmatrix lässt sich sehr einfach erkennen und zusammenfassen, welche Assoziationen ein Knoten eines steuernden Netzwerkes mit den Knoten eines gesteuerten Netzwerkes haben soll. Die Steuerung kann in der Netzwerkhierarchie von unten nach oben gehen (Codierung) oder von oben nach unten (Decodierung). Die assoziativen Verbindungen erscheinen in der Matrixdarstellung lediglich als Punkte, wobei jeder auf einer Vertikalen zu einem Namen oder einer Nummer eines Knotens auf der Abszisse liegende Punkt die Verbindung von dem Knoten des steuernden Netzwerkes zu dem anzusprechenden Knoten des angesteuerten Netzwerkes markiert. Ihn findet man, von ihm auf der Horizontalen nach links gehend, auf der Ordinate. Auf der Vertikalen befinden sich also alle Punkte, welche die assoziativen Verbindungen des steuernden Knotens zu den Knoten des gesteuerten Netzwerkes darstellen. In der Hierarchie der Netzwerke einer Sprachmaschine wird eine assoziative Suche, ausgehend von einem Knoten des steuernden Netzwerkes, in dem gesteuerten Netzwerk im Allgemeinen eine Vielzahl von passenden Knoten finden. Idealerweise soll von ihnen aber nur der „richtige" oder nur wenige „richtige" Knoten aktiviert werden, was durch zusätzliche Signale geschieht. Deshalb dürfen die von dem Assoziationsvorgang betroffenen Knoten nur halb erregt werden. Sie werden dadurch für die endgültige Auswahl nur vorbereitet. Die für die vollständige Auswahl benötigten zusätzlichen Signale werden vorzugsweise aus dem eigenen Netzwerk kommen. Sie stammen bei der gerade betrachteten Methode aus dem letzten Knoten eines schon bestehenden Textpfades. Die Kombination bzw. Koinzidenz besteht aus folgendem: Nur, wenn ein Knoten aus der Schar der halberregten assoziierten Knoten auch gleichzeitig ein im Netzwerk befindlicher direkter Nachfolger des schon voll aktivierten Knotens am Ende eines internen Textpfades ist, d.h. wenn dieser ihn in der internen Netzwerkstruktur direkt erreichen kann, wird der halberregte Knoten durch die Koinzidenz erst voll aktiviert und dadurch zu einer Fortsetzung des schon bestehenden Textpfades.
  • Textsegmente und Assoziationen
  • Bei einem praktisch wesentlich vorteilhafteren anderen Verfahren werden Texte und Metatexte in Segmente zerlegt, die jeweils aus einem sog. Leitwort hohen Ranges und wenigstens einem damit als Nachfolger oder Vorgänger verbundenen sog. Bündelwort niedrigeren Ranges bestehen. Diese Bezeichnungen seien kurz erläutert. Zur konventionellen Ermittlung der Rangzahlen von Worten benötigt man eine statistisch gewonnene Rangtabelle bzw. eine Häufigkeitstabelle. Einfacher und ohne Bezug auf Häufigkeiten geht es durch Benutzung des internen strukturellen Merkmals „Verzweigung". Sie ist eine Eigenschaft eines Knotens und dort abzulesen. Noch einfacher, aber leider wesentlich ungenauer ist es, wenn man sich auf die Wortlänge bezieht, denn bekanntlich entsprechen große Wortlängen einem hohen Rang und kleine Wortlängen einem niedrigen Rang. In einem Segment vergleicht man die Worte bezüglich ihres Ranges und erklärt das Wort mit dem höchsten Rang zum Leitwort. Zweckmäßigerweise sendet man beim Codieren allein die Codes der Leitworte zusammen mit ihrer Rangzahl in die nächsthöhere Metaebene. Dort werden die Metaworte niederen Ranges in den dortigen Segmenten wieder unterdrückt bzw. weggelassen, usw.. Man beachte, dass durch die Benutzung intern verfügbarer Merkmale wie Verzweigung oder Wortlänge das Netzwerksystem von der Zuführung externer Informationen unabhängig wird, d.h. dass es ein autarkes System wird.
  • Bei Benutzung von Textsegmenten findet die assoziative Verkopplung im Einzelnen etwas anders statt als sie zunächst oben beschrieben wurde.
  • Man betrachte dazu den Vorgang der Decodierung, bei der ein hierarchisch oben liegendes Netzwerk auf das darunter liegende Netzwerk steuernd eingreift und dabei die Anzahl der Metaworte dort verdoppeln soll. Dabei wird zuerst das in dem oberen Netzwerk gerade akti ve Leitwort unverändert übertragen. Es wird ein „besonderes Wort" genannt. Zugleich veranlasst es eine assoziative Suche nach dem direkten Nachbarn, welches dieses Wort im Netzwerk der unteren Ebene hat. Dazu wird mit Hilfe der Kopplungsmatrix eine Untermenge aus der Schar der möglichen Nachbarn assoziativ angesprochen. Eine Koinzidenzbedingung kommt noch hinzu: Nur derjenige Nachbar, der sich auch aufgrund der Prädiktionen aus dieser Schar heraushebt, wird zum Schluss vollständig aktiviert. Auf diese Weise ist der decodierte Textpfad insgesamt um zwei Knoten bzw. Worte angewachsen. Bei dem bisher bekannten Verfahren, das auf Speicherung und Transfer von Codes aufbaute, musste die Schar von ausgesuchten Nachfolgern zu einem Leitwort in derselben (unteren) Ebene zusammen mit dem Leitwort in einem zugeordneten Bündel gespeichert werden (Ähnlichkeitsbündel), während jetzt die Assoziationen zu den ausgesuchten Nachbarn des „besonderen Wortes" (Nachfolger und Vorgänger berücksichtigend) extern durch das Kopplungsnetzwerk vorgegeben werden. Das braucht man in umgekehrter Richtung, bei der Codierung, im Grunde genommen nicht, jedenfalls nicht in der Betriebsphase. Hier werden ja nur die jeweiligen Leitworte von unten nach oben in der Hierarchie unverändert von Netzwerk zu Netzwerk übertragen, dort im Textpfad erneut segmentiert, nach Rang geordnet, verglichen usw... In der Lernphase sollten allerdings schon beim Codieren die in der unteren Ebene auftauchenden „ausgesuchten" Nachbarworte dazu benutzt werden, das Kopplungsnetzwerk bzw. die Kopplungsmatrix entsprechend zu strukturieren.
  • Kopplungsmatrix für Prädiktionen
  • Ein Kopplungsnetzwerk mit der Strukturbeschreibung durch eine Matrix macht nicht nur Sinn für die Kommunikation zwischen den Netzwerken der hierarchischen Abstraktionsebenen. Auch die Kommunikation zwischen ihnen und den Prädiktionsnetzwerken kann dadurch verbessert werden, indem die Kommunikationswege in einem entsprechenden Kopplungsnetzwerk zusammengefasst werden. Es sei das Verknüpfungsnetzwerk genannt, weil es auch Konjunktionsschaltungen enthält. Hier lassen sich dann zuerst diejenigen Mehrfachtreffer ermitteln, bei denen alle Prädiktionen in der Vorhersage derselben assoziierten Knoten übereinstimmen, siehe Bild 4. Nur diese Informationen muss man für die auszuwählenden Knoten im Netzwerk der zugehörigen Abstraktionsebene verwenden. Das heißt, sie allein können in dieses Netzwerk dann direkt übertragen werden. Besonders günstig erscheint schließlich noch die Zusammenfassung aller Strukturinformationen beider, der Kommunikation dienenden, Netzwerke in einem gemeinsamen Kopplungsnetzwerk, das zugleich von dem steuernden Ebenen-Netzwerk und den Prädiktions-Netzwerken gespeist wird, siehe Bild 5.
  • Verfahrensaspekte
  • Ein Netzwerk kann materiell realisiert werden oder es kann simuliert werden. In beiden Fällen ist eine Strukturbeschreibung durch eine Matrix sinnvoll. Für viele Zwecke, insbesondere für einen ersten Entwurf ist bei Benutzung leistungsfähiger Computer oft eine Simulation völlig ausreichend. Hierbei wird man dann eher von Verfahren statt von Anordnungen sprechen. Das hat auch Auswirkungen auf den zu leistenden Aufwand.
  • Bei dem erfindungsgemäßen Verfahren geht man von einer Kopplungseinrichtung zwischen dem steuernden und dem gesteuerten Netzwerk aus, die lediglich Angaben über die Assoziationswege für alle Assoziationssignale von Knoten des steuernden Netzwerkes zu assoziierten Knoten des gesteuerten Netzwerkes enthält. Diese Kopplungseinrichtung lässt sich durch eine Matrix mit Strukturdaten beschreiben, wodurch sich vor allem bei einer Simulation eine leichte und übersichtliche Handhabung ergibt, z.B. wenn man zu Beginn einer Entwicklung mit sog. „default"-Werten arbeiten muss. Auch ein erweiterter Anwendungsbereich wird dadurch sofort sichtbar. So ergibt sich z.B. bei der Segmentierungsmethode, bei der ein Leitwort an unterschiedlicher Stelle eines Segmentes stehen kann, die Berücksichtigung eines Nachbarwortes einmal als Nachfolger und ein andermal als Vorgänger. Da ein Leitwort immer einen höheren Rang als das Nachbarwort (Bündelwort) haben muss, liegen die Besetzungspunkte für Nachfolger immer unterhalb der Hauptdiagonalen der quadratischen Matrix und die für Vorgänger oberhalb der Hauptdiagonalen. Beide Besetzungen kann man also zusammenfassen und dadurch eine einzige Kopplungsmatrix erhalten, die in ihrer Größe den Matrizen für die Ebenen-Netzwerke entspricht. Diese Aufwandsreduzierung gilt natürlich auch entsprechend für die Leitungsverbindungen in einem Kopplungsnetzwerk aus elektrischen Leitungen. Die Simulation einer einzelnen assoziativen Suche verläuft wie folgt: Ein aktiver Knoten im steuernden Netzwerk adressiert in der strukturbeschreibenden Matrix eine Spalte (für Nachfolger) oder eine Zeile (für Vorgänger). Deren Matrixpunkte enthalten Speicher, in denen jeweils ein Code für eine zugehörige Assoziation im gesteuerten Netzwerk gespeichert ist. Sie werden nacheinander in das gesteuerte Netzwerk übertragen und aktivieren eine Schar von assoziierten Knoten. Grundsätzlich gibt es auch noch die Möglichkeit, geeignete Codes zu wählen, mit denen man eine gleichzeitige Adressierung mehrerer Knoten erreichen kann, was aber etwas problematisch und nicht sehr effektiv ist. All dies verläuft sehr viel langsamer als in einem realen Netzwerk aus elektrischen Leitungen, was bei leistungsfähigen Computern aber doch oft noch ausreicht.

Claims (17)

  1. Netzwerksystem mit hierarchisch aufeinander folgenden informationstragenden Netzwerken für eine anspruchsvolle Sprachverarbeitung-, deren informationstragende Netzwerke in den hierarchischen Systemebenen aus sog. Knoten und sie verbindenden Zweigen bestehen, wobei die Knoten Schaltungen enthalten, die Informationen speichern, verarbeiten, empfangen und senden können, die wahlweise auch eine Mehrzahl anderer Knoten im selben Netzwerk oder in anderen Netzwerken erreichen und assoziativ ansprechen können, wobei die Knoten in den Zuständen aktiv, passiv oder teilweise aktiv sein können, die informationstragenden Netzwerke in den hierarchischen Systemebenen wechselseitig in einen steuernden und einen gesteuerten Zustand versetzt werden können, dass zusätzlich ein sog. Kopplungsnetzwerk eingesetzt wird, welches in Abhängigkeit von der jeweiligen Einstellung der Steuerung die assoziative Kommunikation zwischen ihnen sicherstellt, indem es sämtliche für die Kommunikation notwendigen Wege und Verzweigungen durch elektrische Leitungen in einer Vielfach-Verbindungstechnik realisiert, bei der die assoziative Verkopplung eines Knotens im steuernden Netzwerk mit einer Schar beliebig wählbarer Knoten im gesteuerten Netzwerk durch die sich verzweigenden Leitungen gleichzeitig erfolgt, was einerseits zu einem sehr schnellen assoziativen Netzwerk führt, und andererseits zu einem Netzwerk, dessen Assoziationen bei Bedarf durch Einfügen neuer Leitungsverzweigungen leicht zu ändern sind, indem in den Kopplungsnetzwerken mit matrixähnlicher Struktur, ausschließlich vorhandene Zeilen- und Spaltenleitungen, Verzweigungsstellen in den Kreuzungspunkten eliminiert oder neue hinzugefügt werden.
  2. Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die aus dem Kopplungsnetzwerk zum gesteuerten hierarchischen Netzwerk gelangenden Signale die dort assoziierten Knoten nur unvollständig aktivieren und dass zur vollständigen Aktivierung noch weitere Signale aus dem gesteuerten Netzwerk herangezogen werden.
  3. Anordnung nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass das Kopplungsnetz werk auch Knotenschaltungen enthält, in denen die zugeführten Informationen zusätzlich gespeichert oder verarbeitet werden können.
  4. Anordnung nach den Ansprüchen 1, 2 oder 3, dadurch gekennzeichnet, dass für die Auswahl und volle Aktivierung von Knoten im gesteuerten Netzwerk auch noch Signale aus Prädiktionsnetzwerken herangezogen werden.
  5. Anordnung nach Anspruch 4, dadurch gekennzeichnet, dass auch zwischen den Prädiktionsnetzwerken und dem gesteuerten hierarchischen Netzwerk noch ein Kopplungsnetzwerk zwischengeschaltet ist, in welchem zusätzlich logische Konjunktionen zwischen entsprechenden Knotensignalen der Prädiktionsnetzwerke durchgeführt werden.
  6. Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass das den Prädiktionsnetzwerken zugeordnete zwischengeschaltete Kopplungsnetzwerk mit demjenigen Kopplungsnetzwerk zusammengefasst wird, das zwischen den informationstragenden hierarchischen Ebenen liegt.
  7. Anordnung nach einem oder mehreren Ansprüchen 1 bis 6, dadurch gekennzeichnet, dass die vollständige Aktivierung von assoziierten Knoten im gesteuerten Netzwerk erst nach Erhalt eines Signals aus einem besonderen Knotens des eigenen Netzwerkes erfolgt.
  8. Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass der besondere Knoten im gesteuerten Netzwerk vom steuernden Netzwerk festgelegt wird.
  9. Anordnung nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass der besondere Knoten das Ende eines Textpfades im gesteuerten Netzwerk darstellt.
  10. Anordnung nach einem oder mehreren Ansprüchen 1 bis 9, dadurch gekennzeichnet, dass der die assoziative Suche auslösende Knoten im steuernden Netzwerk am Ende eines dortigen Textpfades liegt.
  11. Anordnung nach einem oder mehreren Ansprüchen 1 bis 10, dadurch gekennzeichnet, dass der die assoziative Suche auslösende Knoten im steuernden Netzwerk Teil eines Segmentes ist.
  12. Anordnung nach einem oder mehreren Ansprüchen 7 bis 11, dadurch gekennzeichnet, dass der besondere Knoten im gesteuerten Netzwerk Teil eines Segmentes ist.
  13. Anordnung nach einem oder mehreren Ansprüchen 1 bis 12, dadurch gekennzeichnet, dass der die Assoziationen auslösende Knoten des steuernden Netzwerkes seine Informationen zur Auswahl des besonderen Knotens in Knoten des gesteuerten Netzwerkes mit oder ohne Codewandlung überträgt.
  14. Verfahren in Netzwerksystemen mit hierarchisch aufeinander folgenden informationstragenden Netzwerken für eine anspruchsvolle Sprachverarbeitung, deren informationstragende Netzwerke in den hierarchischen Systemebenen aus sog. Knoten und sie verbindenden Zweigen bestehen, wobei die Knoten Schaltungen enthalten, die Informationen speichern, verarbeiten, empfangen und senden können, die wahlweise auch eine Mehrzahl anderer Knoten im selben Netzwerk oder in anderen Netzwerken erreichen und assoziativ ansprechen können, wobei die Knoten in den Zuständen aktiv, passiv oder teilweise aktiv sein können, die informationstragenden Netzwerke in den hierarchischen Systemebenen wechselseitig in einen steuernden und einen gesteuerten Zustand versetzt werden können, dass zusätzlich ein sog. Kopplungsnetzwerk eingesetzt wird, welches in Abhängigkeit von der jeweiligen Einstellung der Steuerung die assoziative Kommunikation zwischen ihnen sicherstellt, indem es sämtliche für die Kommunikation notwendigen Wege und Verzweigungen durch elektrische Leitungen in einer Vielfach-Verbindungstechnik realisiert, bei der die assoziative Verkopplung eines Knotens im steuernden Netzwerk mit einer Schar beliebig wählbarer Knoten im gesteuerten Netzwerk durch die sich verzweigenden Leitungen gleichzeitig erfolgt, was einerseits zu eifern sehr schnellen assoziativen Netzwerk führt, und andererseits zu einem Netzwerk, dessen Assoziationen bei Bedarf durch Einfügen neuer Leitungsverzweigungen leicht zu ändern sind, indem in den Kopplungsnetzwerken mit matrixähnlicher Struktur, ausschließlich vorhandene Zeilen- und Spaltenleitungen, Verzweigungsstellen in den Kreuzungspunkten eliminiert oder neue hinzugefügt werden.
  15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass anstelle der Wege, die von den die Assoziationen auslösenden Knoten im steuernden Netzwerk zu den zu assoziierenden Knoten des gesteuerten Netzwerkes verlaufen, im Kopplungsnetzwerk die Codes der zu assoziierenden Knoten gespeichert sind.
  16. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass in simulierten Systemen alle Kopplungsnetzwerke, Verknüpfungsnetzwerke und hierarchischen Ebenen-Netzwerke durch ihre Strukturmatrizen dargestellt werden, so dass man rasch den Entwurf und das grundsätzliche Funktionieren des Systems überprüfen kann.
  17. Netzwerksystem nach einem der Ansprüche 1–13, wobei Verbindungen zwischen den Knoten so gelegt werden, dass das Netzwerk eine besondere Struktur bekommt, die in einer doppeltlogarithmischen Verbindungsmatrix (Bild 1) mit einer nahezu konstante Punktdichte ausgebildet ist.
DE102005018147A 2005-04-20 2005-04-20 Assoziative Verkopplung von Netzwerken Expired - Fee Related DE102005018147B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102005018147A DE102005018147B4 (de) 2005-04-20 2005-04-20 Assoziative Verkopplung von Netzwerken

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102005018147A DE102005018147B4 (de) 2005-04-20 2005-04-20 Assoziative Verkopplung von Netzwerken

Publications (2)

Publication Number Publication Date
DE102005018147A1 DE102005018147A1 (de) 2006-11-02
DE102005018147B4 true DE102005018147B4 (de) 2008-04-17

Family

ID=37084910

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102005018147A Expired - Fee Related DE102005018147B4 (de) 2005-04-20 2005-04-20 Assoziative Verkopplung von Netzwerken

Country Status (1)

Country Link
DE (1) DE102005018147B4 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3411168A1 (de) * 1983-04-14 1984-10-18 Wolfgang Dr.-Ing. 6101 Groß-Bieberau Hilberg Das assoziative feld

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3411168A1 (de) * 1983-04-14 1984-10-18 Wolfgang Dr.-Ing. 6101 Groß-Bieberau Hilberg Das assoziative feld

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
Bassenge, G.: Automatische Klassifizierung von Wortformen in Texten der deutschen Gegenwartsspra- che. Diss. TUD, 2001
Bassenge, G.: Automatische Klassifizierung von Wortformen in Texten der deutschen Gegenwartssprache. Diss. TUD, 2001 *
Burschel, H.-D.: Die meßtechnische Ermittlung von Assoziationen zwischen Worten in kohärentem Text und ihre Nutzung bei Prädiktionen verschiedener Reichweite. Diss. TUD, 1998 *
Hilberg, W.: Denken wie ein Mensch, Verlag Spra- che und Technik (2005)
Hilberg, W.: Denken wie ein Mensch, Verlag Sprache und Technik (2005) *
Meyer, J.: Die Verwendung hierarchisch struktu- rierter Sprachnetzwerke zur redundanzarmen Codie- rung von Texten. Diss. THD1989
Meyer, J.: Die Verwendung hierarchisch strukturierter Sprachnetzwerke zur redundanzarmen Codierung von Texten. Diss. THD1989 *
Nachtwey, V.: Textkompression auf der Basis von Wortnetzwerken und Grammatikmodellen.Diss.THD,1995 Steinmann, F.-M.: Netzwerkmodellierung und Segmen- tierung von Texten sowie Anwendungen zur Informa- tionsverdichtung, Diss. THD, 1996
Nachtwey, V.: Textkompression auf der Basis von Wortnetzwerken und Grammatikmodellen.Diss.THD,1995 Steinmann, F.-M.: Netzwerkmodellierung und Segmentierung von Texten sowie Anwendungen zur Informationsverdichtung, Diss. THD, 1996 *
Ries, Th.: Über Möglichkeiten einer maschinellen Nacherzählung mit Hilfe eines hierarchischen Sys- tems aus Sprachnetzwerken. Diss. TUD, 2001
Ries, Th.: Über Möglichkeiten einer maschinellen Nacherzählung mit Hilfe eines hierarchischen Systems aus Sprachnetzwerken. Diss. TUD, 2001 *

Also Published As

Publication number Publication date
DE102005018147A1 (de) 2006-11-02

Similar Documents

Publication Publication Date Title
DE69827714T2 (de) Assoziativspeichersystem
DE19740695C2 (de) Datenspeicher mit Mehrebenenhierarchie
DE112019000226T5 (de) Neuromorpher chip zum aktualisieren präziser synaptischer gewichtswerte
DE10239672A1 (de) Verfahren und Vorrichtung zur Erzeugung einer zweidimensionalen Abbildung einer dreidimensionalen Struktur
DE3044792A1 (de) Elektronisches multiprozessor-system zur behandlung digitaler und analoger daten
DE112019003326T5 (de) Speichererweiterte neuronale netzwerkarchitekturen eines codierers-decodierers
DE112017004156T5 (de) Speicherzellenstruktur
DE3710813A1 (de) Datenverarbeitungssystem sowie verfahren dafuer
DE19654577A1 (de) Verfahren zum Treiben von Wortleitungen in Halbleiter-Speichervorrichtungen
DE2121490A1 (de) Orthogonaler Datenspeicher
DE102005018147B4 (de) Assoziative Verkopplung von Netzwerken
DE2233164C3 (de) Schaltungsanordnung zur Übertragung von aufeinanderfolgenden Bitstellen zwischen zwei Registern
CH670715A5 (de)
DE4317993A1 (de) Programmierbares mehrschichtiges neuronales Netzwerk
DE3607241C2 (de)
DE69726062T2 (de) Verfahren und Vorrichtung zur Speichervorrichtungssteuerung in einem Informationsverarbeitungssystem
DE2525287A1 (de) Assoziativspeicher
EP1038235B1 (de) Vorrichtung zum hierarchischen verbinden einer mehrzahl von funktionseinheiten in einem prozessor
DE3609925A1 (de) Einrichtung zur simulation von neuronensystemen
DE1524006B2 (de) Vorrichtung zum erhoehen der informationsuebergaberate eines speichers
DE4400261C1 (de) Künstliches neuronales Netzwerk
DE3411168A1 (de) Das assoziative feld
DE102022109998A1 (de) Speicherschnittstelle
DE4406919A1 (de) Mustererkennungssystem mit N-Prozessoren
Werner Cybernetic Drawing. A Unifying Language of Pask’s Cybernetics and Computer Art in Germany

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee