DE4307026C2 - Speicherorientiertes neuronales Netz - Google Patents

Description

Die Erfindung bezieht sich auf ein speicherorientiertes neuronales Netz mit einer als Verzeigerung bezeichneten Adressierung von den Eingängen zugegeordneten und als Einheit bezeichneten Einheiten, ein Verfahren zur adaptiven Dimensionierung dieses Netzes und ein Verfahren zur Klassifizierung von diesem neuronalen Netz eingangsseitig zugeführten Mustern. Die Neuronen dieses neuronalen Netzes sind unter Verwendung von Speichern realisiert.

Zur Auffindung von Lösungen für Probleme allgemeiner Art werden neben den inzwischen als klassisch bezeichneten Rechenmaschinen, die nach dem v. Neumann-Prinzip arbeiten, zunehmend die Einsatzmöglichkeiten von neuronalen Netzen untersucht. Während die klassische Rechenmaschine gemäß einem vorgegebenen Algorithmus eine eindeutige Lösung errechnet, wird mit dem neuronalen Netz in Anlehnung an die physiologische Informationsverarbeitung nach dem Ähnlichkeitsprinzip eine Lösung ermittelt, die in einer engen Beziehung mit einer für ein ähnliches Problem be­ reits bekannten Lösung steht. Ein Einsatzgebiet für neuro­ nale Netze ist beispielsweise durch die maschinelle Mu­ stererkennung gegeben, bei der der Einsatz von klassischen Rechenmaschinen an Grenzen stößt. Charakteristisch für ein neuronales Netz ist eine massive, parallel erfolgende Verarbeitung von Informationen durch eine Vielzahl von Neuronen. Zur Herbeiführung einer Lösung müssen eine große Anzahl von Neuronen untereinander in Verbindung treten. Das in Verbindungtreten von Neuronen, das im übrigen bei neuronalen Netzen mit Konnektivität bezeichnet wird, bringt insbesondere dann große Schwierigkeiten, wenn sie in exzessiver Weise mittels Verdrahtung ausgeführt wird.

In Electronics World News, Dec. 10, 1990, Seite 6, 8 ist unter der Überschrift "Hitachi′s Neural Computer" ein von J. Boyd verfaßter Artikel erschienen, in dem eine 1 152 Neuronen aufweisende speicherorientierte Spezial­ maschine vorgestellt wird. Dem Artikel ist zu entnehmen, daß bei dieser Spezialmaschine die Neuronen in Software adressierbar sind.

Der Erfindung liegt das Problem zugrunde, ein neuronales Netz, ein Verfahren zum Training dieses Netzes sowie ein Verfahren zum Betrieb dieses Netzes anzugeben, bei denen die Verbindungen zwischen den unterschiedlichen Schichten zugehörigen Einheiten unter Vermeidung einer verbindungsindividuellen Verdrahtung erfolgt und bei denen eine verringerte Anzahl von Verbindungen erforderlich ist.

Die Erfindung ist gegeben durch ein neuronales Netz zur Klassifizierung von einer Mehrzahl von Eingangssonden zu­ geführten Eingangsmustern nach Ausgangsbedeutungen, bei dem

• - eine Vielzahl von Neuronen repräsentierende Units in mehreren Schichten angeordnet sind,
• - die Schichten eine Eingangsschicht, eine Ausgangsschicht und gegebenenfalls eine Anzahl von Zwischenschichten um­ fassen,
• - die Einheiten der Ausgangsschicht jeweils einer Ausgangsbedeutung zugeordnet sind,
• - die Einheiten der Eingangsschicht mit jeweils einer Ein­ gangssonde verbunden sind,
• - jede Einheit aus einer Mehrzahl von jeweils ein Bit aufnehmenden Speicherelementen gebildet sind,
• - jede Einheit der Eingangsschicht eine festgelegte Anzahl von Speicherzellen umfassende Speicherglieder aufweist, die in einer der Anzahl der Einheiten der Aus­ gangsschicht entsprechenden Anzahl vorgesehen sind,
• - jedes Speicherglied einen auf jeweils eine Einheit der Ausgangsschicht verweisenden Adresse und eine Gewichtung der betreffenden Einheit der Ausgangsschicht aufweist,
• - jede Einheit der Ausgangsschicht einen ersten, eine be­ stimmte Anzahl von Speicherelementen umfassenden Abschnitt zur Bezeichnung der zugehörigen Ausgangsbedeutung und einen zweiten, eine vorgegebene Anzahl von Speicherzellen umfassenden Abschnitt zur Abspeicherung einer Summe von Gewichtungen aufweist.

Die Erfindung macht sich die Erkenntnis zunutze, daß bei Vorhandensein einer negativen Grundeinstellung innerhalb des Netzes lediglich positive Gewichtungen eingestellt werden müssen.

Die Erfindung bringt gegenüber einem neuronalen Netz, bei dem die Konnektivität durch Verdrahtung hergestellt wird, den Vorteil einer größeren Flexibilität beim Einrichten und Ändern von Verbindungen zwischen Neuronen mit sich. Darüber hinaus sind beim Anmeldungsgegenstand keine nega­ tiven Werte von Gewichtungen und Schwellenwerte der netz­ zugehörigen Neuronen erforderlich, wodurch sich die Hand­ habbarkeit des Netzes insgesamt vereinfacht.

Die Weiterbildung des Anmeldungsgegenstandes gemäß An­ spruch 2 ermöglicht die Mustererkennung von flächig ab­ bildbaren Bildern.

Die Weiterbildung des Anmeldungsgegenstandes gemäß Anspruch 2 ermöglicht die Mustererkennung von flächig abbildbaren Bildern.

Die Maßnahme nach Anspruch 3 bringt eine Anpassung des neuronalen Netzes an die später zu lösende Mustererkennung mit sich.

Die Maßnahme nach Anspruch 4 und die Maßnahme nach An­ spruch 6 bringen insbesondere dann, wenn sie mit jeweils leicht veränderten ("verrauschten") Mustern durchge­ führt werden, eine Erhöhung der Erkennungssicherheit von Mustern mit sich.

Die Maßnahme nach Anspruch 5 verhindert eine Verschlech­ terung des bereits erzielten Ergebnisses der adaptiven Dimensionierung.

Die Maßnahme nach Anspruch 7 bringt insbesondere bei neuronalen Netzen mit einer Unzahl von Neuronen eine Erleichterung der adaptiven Dimensionierung mit sich, wobei die Übernahme von durch Simulation gefundenen Ergebnissen für ein mit einem ROM realisierten neuronalen Netz Voraussetzung ist.

Die Maßnahme nach Anspruch 8 erfordert lediglich einfa­ che Operationen.

Die Verwendung von hardware-token gemäß den Ansprüchen 9 und 10 vermeidet nach Abschluß der Bearbeitung einer ersten Prozedur die zeitaufwendige Suche nach der näch­ sten zu bearbeitenden Prozedur.

Die Maßnahmen gemäß den Ansprüchen 11 und 12 erhöhen die Entscheidungssicherheit.

Die Erfindung wird nun in einem Ausführungsbeispiel beschrieben. Dabei zeigt

Fig. 1 die Struktur eines einfachen herkömmlichen neurona­ len Netzes, bei dem die Units untereinander ver­ drahtet sind,

Fig. 2 die Struktur des erfindungsgemäßen neuronalen Net­ zes,

Fig. 3 die Struktur einer erfindungsgemäßen Einheit der Eingangsschicht,

Fig. 4 die Struktur einer erfindungsgemäßen Einheit der Ausgangsschicht.

Fig. 1 zeigt ein einfaches, herkömmliches, neuronales Netz zur Klassifizierung, d. h. Decodierung, von Eingangssonden a, b zugeführten digitalen Eingangsmustern. Eine Eingangs­ sonde möge einen aktiven Zustand einnehmen, wenn ihr ein­ gangsseitig ein hoher Pegel zugeführt wird bzw. einen dis­ aktiven Zustand einnehmen, wenn ihr eingangsseitig ein niedriger Pegel zugeführt wird. Die Eingangssonden sind jeweils mit sämtlichen Einheiten der Eingangsschicht ES verdrahtet. Im übrigen repräsentieren die in der Fachwelt auch als Units bezeichneten Einheiten die Neuronen des neuronalen Netzes. Eine Eingangssonde, die gerade einen aktiven Zustand aufweist, gibt also ein den aktiven Zustand bezeichnendes Signal an sämtliche Einheiten der Eingangsschicht ab. Die den Units der Eingangsschicht eingangsseitig zugeführten Signale werden gewichtet. Die Gewichtung kann positiv, null oder negativ sein. In der Figur sind die Gewichtungen an den Verbindungsleitungen eingetragen, wobei Verbindungsleitungen mit der Gewichtung null entfallen. In den Einheiten der Eingangsschicht wird eine Summation der gewichteten Eingangssignale vorgenommen. Überschreitet das jeweilige Summationsergebnis eine individuelle, in der Einheit eingetragene Schwelle, so gibt die Einheit selbst ein einen aktiven Zustand bezeichnendes Ausgangssignal ab. Die Einheiten sind also einfache Schaltungseinheiten mit der Funktion von Schwellwertgattern; sie nehmen ausgangsseitig einen aktiven Zustand ein, wenn die Summation der eingangsseitig geführten Gewichtungen ihre individuelle Schwelle überschreitet. In Fig. 1 geben die Einheiten der Eingangsschicht ihre Ausgangssignale über Verbindungsleitungen mit daran eingetragenen Gewichtungen an die Einheiten der Ausgangsschicht ab. Das in Fig. 1 dargestellte neuronale Netz vermag eine Klassifizierung von eingangsseitig zugeführten Mustern, "a allein", "b allein" oder "a und b gemeinsam" vorzunehmen. Das neuronale Netz nach Fig. 1 erbringt beispielsweise an dem Ausgang "a allein" keinen aktiven Zustand, wenn der Ausgang "a und b gemeinsam" einen aktiven Zustand aufweist.

Die Struktur eines neuronalen Netzes entsprechend der Struktur des in Fig. 1 dargestellten neuronalen Netzes wird in der Fachliteratur allgemein als Perceptron be­ zeichnet. Bei dem in Fig. 1 dargestellten neuronalen Netz sind die Gewichtungen und die Schwellen vorgegeben. Bei massiv parallel verarbeitenden neuronalen Netzen mit einer Vielzahl von Einheiten können die Gewichtungen und die Schwellen nicht ohne weiteres von vornherein vorgegeben werden, sie müssen vielmehr im Zuge einer Trainingsphase mit verrauschten Eingangsmustern adaptiv dimensioniert werden. Zur adaptiven Dimensionierung werden die Einheiten nach vorgegebenen Regeln prophylaktisch (vorsorglich) untereinander verbunden. Dem neuronalen Netz werden eingangsseitig verrauschte Muster zugeführt und die jeweiligen einen aktiven Zustand einnehmenden Ausgangsbedeutungen beobachtet. In Anlehnung an eine von Donald Hebb in den 40er Jahren für physiologisches Lernen postulierten Regel werden bei einem mit "back-propagation" bezeichneten Trainingsverfahren Gewichtungen, die zur Aktivierung der gewünschten Ausgangsbedeutung geführt haben, verstärkt und Gewichtungen, die zur Aktivierung von nicht-gewünschten Ausgangsbedeutungen geführt haben, geschwächt.

Fig. 2 zeigt die Struktur eines neuronalen Netzes gemäß der Erfindung. Eine Vielzahl von Neuronen repräsentieren­ de Einheiten sind in mehreren Schichten angeordnet. In Fig. 2 sind lediglich eine Eingangsschicht ES und eine Ausgangsschicht AS angedeutet. Zwischen der Eingangsschicht und der Ausgangsschicht können gegebenenfalls eine Anzahl von nicht näher dargestellten Zwischenschichten vorgesehen sein. Die Eingangssonden a . . . n sind jeweils mit einer Einheit der Eingangsschicht verbunden. Im Ausführungsbeispiel mö­ gen eine Anzahl von 10 000 Eingangssonden mit den Bild­ abtastpunkten eines Feldes von 100 Bildabtastpunkten zum Quadrat verbunden sein. Dem Feld mögen unterschiedliche Bilder wie z. B. die geometrischen Bilder Kreis, Dreieck, Rechteck, zugeführt werden. Die Eingangssonden mögen bei Überschreiten einer vorgegebenen Helligkeitsschwelle des zugehörigen Bildabtastpunktes einen aktiven Zustand ein­ nehmen. Eine jeweilige Verteilung von aktiven Eingangs­ sonden bildet ein Muster. Die Units der Ausgangsschicht sind jeweils einer der Ausgangsbedeutungen 1 . . . m zugeord­ net. Im Ausführungsbeispiel mögen 100 Ausgangsbedeutungen unterschieden werden.

Erfindungsgemäß weist das neuronale Netz eine Verzeigerung der Einheiten der Eingangsschicht auf. Unter der Verzeigerung der Eingangsschicht wird verstanden, daß jede Einheit der Eingangsschicht eine Adressierung jeder der Units der Aus­ gangsschicht vornehmen kann. Zu jeder Adressierung tritt die Möglichkeit einer Gewichtung hinzu.

Fig. 3 zeigt die Struktur einer erfindungsgemäßen Einheit der Eingangsschicht. Die Einheiten der Eingangsschicht sind je­ weils durch einen Speicherplatz einer Speichereinrichtung gegeben. Die Speichereinrichtung kann prinzipiell durch jede zur Aufnahme von Binärzeichen geeignete Speicherein­ richtung gegeben sein, insbesondere jedoch durch einen einen wahlfreien Zugriff aufweisenden Speicher, der in der Fachwelt allgemein mit RAM (random access memory) bezeich­ net wird. Der Speicherplatz einer Einheit der Eingangsschicht ist in eine der Anzahl der Ausgangsbedeutungen gleichenden Anzahl von Elementen E1 . . . Em gegliedert. In jeder Einheit der Eingangsschicht ist also jeder Ausgangsbedeutung ein Speicherglied zugeordnet. In jedem Speicherglied ist eine Adresse Z1 . . . Zm einer Einheit der Ausgangsschicht und eine zugehörige Gewichtung G ablegbar. Im Ausführungsbeispiel sind zur eindeutigen Adressierung von 100 Einheiten der Ausgangsschicht Adressen mit einer Wortbreite von 7 bit erforderlich. Zur Gewichtung einer Adresse sind im Ausführungsbeispiel 3 bit vorgesehen. Neben der Gewichtung null, die für eine Nichtrelevanz des aktiven Zustands der betrachteten Einheit der Eingangsschicht für die betreffende Einheit der Ausgangsschicht und damit der betreffenden Ausgangsbedeutung steht, sind damit sieben unterschiedliche Abstufungen der Gewichtung möglich. Jedes Speicherglied der Eingangsschicht weist also eine festgelegte Anzahl von Spei­ cherzellen auf, im Ausführungsbeispiel sind es deren zehn. Für 100 Ausgangsbedeutungen sind also im Ausführungsbeispiel für jede Einheit der Eingangsschicht ein Speicherbedarf an Speicherzellen von 1 kbit erforderlich. Im Ausführungsbeispiel ergibt sich also für 10 000 Einheiten der Eingangsschicht ein Speicherbedarf an Speicherzellen von 10 Mbit.

Fig. 4 zeigt die Struktur einer erfindungsgemäßen Einheit der Ausgangsschicht. Die Einheiten der Ausgangsschicht sind ebenfalls durch Speicherplätze einer Speichereinrichtung gegeben. Die Einheiten der Ausgangsschicht weisen jeweils einen Abschnitt ΣG zur Abspeicherung von aufsummierten Gewichtungen auf. Für das Ausführungsbeispiel erscheint eine Anzahl von 16 Speicherzellen für diesen Abschnitt als ausreichend. Wenn die Adressierung einer Einheit der Ausgangsschicht oder die räumliche Lage ihres Ausgangsanschlusses nicht zur Zuordnung der betreffenden Ausgangsbedeutung herangezogen werden soll, so kann jede Einheit der Ausgangsschicht einen zusätzlichen Abschnitt AB zur Bezeichnung der zugehörigen Ausgangsbedeutung erhalten. Zur eindeutigen Unterscheidung von im Ausführungs­ beispiel 100 Aus­ gangsbedeutungen genügen für jede Einheit der Ausgangsschicht sieben Speicherzellen zur Aufnahme eines 7 bit langen Di­ gitalwortes. Selbst unter der Annahme, daß jede Einheit der Ausgangsschicht einen Speicherbedarf von 100 Speicher­ zellen zugemessen bekommt, bleibt der Speicherbedarf im Ausführungsbeispiel für 100 Einheiten der Ausgangsschicht mit insgesamt 10 000 Speicherzellen gegenüber dem Speicherbe­ darf der Eingangsschicht vergleichsweise gering.

Um mit einem neuronalen Netz Klassifizierungsaufgaben aus­ führen zu können, sind in einer Trainingsphase, wie be­ reits erwähnt, die Gewichtungen voreinzustellen. Zunächst wird eine Ausgangsbedeutung und damit eine Einheit der Aus­ gangsschicht vorgegeben. Dem neuronalen Netz werden ein­ gangsseitig verrauschte Trainingsmuster angeboten. Ein verrauschtes Trainingsmuster kann dadurch gegeben sein, daß dem Feld von Bildabtastpunkten ein Bild unter unter­ schiedlichen Winkeln zugeführt wird und/oder daß das Bild den Eingangssonden mit unterschiedlichen Intensitäten, z. B. Beleuchtungsintensitäten, zugeführt werden. Für jede durch ein jeweiliges Trainingsmuster in den aktiven Zu­ stand versetzte Eingangssonde wird in der zugehörigen Einheit der Eingangsschicht in dem der zugehörigen Ausgangsbedeu­ tung zugeordneten Speicherglied der Wert der Gewichtung inkre­ mentiert. Nach der Zuführung einer Mehrzahl von Trainings­ mustern sind die Gewichtungen in den Einheiten der Eingangs­ schicht voreingestellt. Die Anzahl der Trainingsvorgänge für jedes Eingangsmuster ist durch die Anzahl der Ge­ wichtungsstufen begrenzt. Im Ausführungsbeispiel wird die maximale Gewichtung von sieben frühestens nach sieben Trainingsvorgängen erreicht. Für weitere Ausgangsbedeu­ tungen schließen sich entsprechende Trainingsvorgänge an. Im übrigen brauchen die Trainingsvorgänge nicht am origi­ nalen neuronalen Netz durchgeführt zu werden, wenn sie als Simulation über ein Computerprogramm ablaufen. Dies liegt darin begründet, daß die Trainingsvorgänge deutlich weni­ ger zeitkritisch sind als die eigentlichen Mustererken­ nungsvorgänge.

Im folgenden möge dem Feld von Bildabtastpunkten des er­ findungsgemäßen neuronalen Netzes ein Bild zugeführt wer­ den, was zu einem Eingangsmuster führt, bei dem ein Teil von z. B. 1000 Eingangssonden einen aktiven Zustand ein­ nehmen. Mittels eines hardware-token-Verfahrens möge dafür gesorgt sein, daß von den Einheiten der Eingangsschicht nur die Einheiten bearbeitet werden, deren zugehörige Eingangsson­ den momentan einen aktiven Zustand eingenommen haben. Die Einheiten der Eingangsschicht, deren zugehörige Eingangssonden gerade einen aktiven Zustand einnehmen, werden aufeinan­ derfolgend jeweils gemäß den nachfolgenden Schritten mit­ tels einer nicht näher dargestellten Verarbeitungseinrich­ tung bearbeitet. Der gesamte Speicherinhalt einer Einheit wird beispielsweise mit einem Zyklus genannten Verarbei­ tungsschritt der Verarbeitungseinrichtung in ein hardware- Register übernommen. Für jede von null abweichende Ge­ wichtung in dem hardware-Register wird ein Übertrag dieser Gewichtung in die durch die zugehörige Adresse adressierte Einheit der Ausgangsschicht bewirkt, wobei in den Einheiten der Ausgangsschicht eine neu hinzugekommene Gewichtung gege­ benenfalls auf bereits vorhandene Gewichtungen aufsummiert wird. Die Übernahme einer Gewichtung in die Einheit der Aus­ gangsschicht möge einen Zyklus in Anspruch nehmen. Unter der Annahme, daß im Ausführungsbeispiel in einer Einheit der Eingangsschicht die Hälfte aller Elemente eine von null abweichende Gewichtung aufweisen und durch ein token- Verfahren dafür gesorgt ist, daß zeitaufwendige Zyklen nur für Elemente auszuführen sind, die mit von null abweichen­ den Gewichtungen belegt sind, sind also 50 Zyklen erfor­ derlich. Die übrigen Einheiten der Eingangsschicht (im Ausfüh­ rungsbeispiel 999) werden derselben Bearbeitung unterzo­ gen. Unter der Annah­ me, daß jeweils die Hälfte der Speicherglieder der Einheiten der Eingangsschicht eine von null abweichende Gewichtung aufweisen, werden im Ausführungsbeispiel 50 × 1000, also 50 000 Zyklen für das Aufsummieren der Gewichtungen in den Einheiten der Ausgangsschicht benötigt. Die token-Laufzeiten werden vernachlässigt, da das token während einer Zykluszeit genügend Zeit hat, das nächste Element mit einer von null abweichenden Gewichtung bzw. eine nächste Unit der Eingangsschicht vor-auszuwählen.

Nun werden die Einheiten der Ausgangsschicht auf den Maximal­ wert von aufsummierten Gewichtungen abgefragt. Dazu mögen im Ausführungsbeispiel für 100 Einheiten der Ausgangsschicht 100 Zyklen erforderlich sein. Die Ausgangsbedeutung der Einheiten der Ausgangsschicht, die den Maximalwert von Gewich­ tungen aller Einheiten der Ausgangsschicht aufweist, ist die signifikante Ausgangsbedeutung und klassifiziert ein Ein­ gangsmuster. Dabei kann ein Schwellwert für den Maximal­ wert festgelegt sein, unterhalb dessen ein ermittelter Maximalwert als nicht eindeutig identifizierbare Ausgangs­ bedeutung gilt. Als weiteres Kriterium für eine eindeuti­ ge Identifizierbarkeit einer Ausgangsbedeutung kann ein vorgegebener Abstandswert zwischen dem ermittelten Maxi­ malwert und dem zweithöchsten Wert herangezogen werden. Unter der Annahme, daß ein Zyklus einen Zeitbedarf von 100 ns hat, beträgt für das Ausführungsbeispiel der Zeit­ bedarf zur Erkennung eines Musters 5 ms, wobei noch dem­ gegenüber vernachlässigbare Bearbeitungszeiten hinzukom­ men.

Nun möge ein Ausführungsbeispiel betrachtet werden, bei dem ein neuronales Netz mit 1 Million Einheiten der Eingangs­ schicht und 1000 Einheiten der Ausgangsschicht eingangsseitig mit 1 Million Eingangssonden verbunden ist, die in einem Quadrat von 1000 × 1000 Bildabtastpunkten eines Feldes angeordnet sind. Dieses neuronale Netz möge eine Klassifi­ kation zwischen 1000 Ausgangsbedeutungen durchführen kön­ nen. Jede Einheit der Eingangsschicht weist 1000 den Aus­ gangsbedeutungen zugeordnete Speicherbereiche auf. In jedem Speicherelement ist zur eindeutigen Zuordbarkeit einer zuge­ hörigen Ausgangsbedeutung eine durch einen Zeiger gegebene Adresse mit einer Wortlänge von 10 bit erforderlich. Zu­ sätzlich mögen in jedem Speicherplatz 3 bit zur Gewichtung eines Zeigers vorgesehen sein. Für die eine Million Einheiten der Eingangsschicht werden also 13 Gbit an Speicherkapazi­ tät benötigt. Unter der Annahme, daß die Hälfte der Spei­ cherplätze der Einheiten der Eingangsschicht mit von null ab­ weichenden Gewichtungen belegt sein mögen, sind für einen Klassifizierungsvorgang 500 Millionen Zyklen der ausfüh­ renden Verarbeitungseinrichtung erforderlich, wozu bei einem Zeitbedarf von 100 ns für einen Zyklus insgesamt 50 s erforderlich sind. Das Training wird für dieses neu­ ronale Netz - zur Durchführung in einer annehmbar kurzen Zeit - durch eine automatisierte Simulation mittels eines Computerprogramms durchgeführt. Wird dieses neuronale Netz unter Einbeziehung der durch Simulation ermittelten Trai­ ningsergebnisse mit einem ROM (read only memory) als Spei­ chereinrichtung implementiert, so kann mit um den Faktor 10 verkürzten Zykluszeiten gerechnet werden.

Eine Klassifizierung von zeitlichen Mustern ist beispiels­ weise bei der Spracherkennung erforderlich. Die Sprache ist mit etwa 50 unterschiedlichen Phonemen gebildet. Die Phoneme steuern den Weg durch einen Entscheidungsbaum. Die zeitlich aufeinanderfolgenden Merkmale eines jeweiligen Phonems werden abgetastet und den Eingangssonden des neuronalen Netzes zugeführt, wodurch das zeitliche Muster in ein räumliches Muster umgesetzt wird. Der Einsatz eines neuronalen Netzes läßt in den Entscheidungspunkten des Baumes eine Verbesserung der Entscheidungssicherheit er­ warten.

Schließlich sei noch erwähnt, daß der Trend zu einerseits einer andauernden Höherintegration von Speicherchips und andererseits einer ständigen Geschwindigkeitssteigerung der Mikroelektronik den Einsatz des vorgestellten Konzepts begünstigt.

Claims (12)

1. Speicherorientiertes neuronales Netz zur Klassifizierung von einer Mehrzahl von Eingangssonden (a . . . n) zugeführten Eingangsmustern nach Ausgangsbedeutungen (1 . . . m), bei dem

• - eine Vielzahl von Neuronen repräsentierende Einheiten in mehreren Schichten angeordnet sind,
• - die Schichten eine Eingangsschicht (ES), eine Ausgangsschicht (AS) und gegebenenfalls eine Anzahl von Zwischenschichten umfassen,
• - die Einheiten der Ausgangsschicht (AS) )jeweils einer der Ausgangsbe­ deutungen (1 . . . n) zugeordnet sind,
• - die Einheiten der Eingangsschicht (ES) mit jeweils einer der Ein­ gangssonden (a . . . n) verbunden sind,
• - jede Einheit aus einer Mehrzahl von jeweils ein Bit aufnehmenden Speicherzellen gebildet ist,
• - jede Einheit der Eingangsschicht (ES) eine festgelegte Anzahl von Speicherzellen umfassende Speicherglieder (E1 . . . Em) aufweist, die in einer der Anzahl der Einheiten der Ausgangsschicht (AS) entsprechenden Anzahl (m) vorgesehen sind,
• - jedes Speicherglied (E1 . . . Em) eine auf jeweils eine Einheit der Ausgangsschicht (AS) verweisende Adresse (Z1 . . . Zm) und eine Gewichtung (G) der betreffenden Unit der Ausgangsschicht (AS) aufweist,
• - jede Einheit der Ausgangsschicht (AS) einen ersten, eine be­ stimmte Anzahl von Speicherzellen umfassenden Abschnitt (AB) zur Bezeichnung der zugehörigen Ausgangsbedeutung (1 . . . m) und einen zweiten, eine vorgegebene Anzahl von Speicherzellen umfassenden Abschnitt (ΣG) zur Abspeicherung einer Summe von Gewichtungen aufweist.

2. Neuronales Netz nach Anspruch 1, dadurch gekennzeichnet, daß die Eingangssonden (a . . . n) zu einem Feld von Bildabtastpunkten angeordnet sind.

3. Verfahren zur adaptiven Dimensionierung des neuronalen Netzes nach Anspruch 1 oder 2 dadurch gekennzeichnet, daß

• - eine Einheit der Ausgangsschicht (AS) eine Ausgangsbedeutung (1 . . . m) vorgegeben wird,
• - den Eingangssonden (a . . . n) ein der vorgegebenen Ausgangsbedeu­ tung (1 . . . m) entsprechendes Bild zugeführt wird
• - für jede Eingangssonde (a . . . n), die auf Grund der Zuführung des Bildes einen aktiven Zustand einnimmt, in der zugehöri­ gen Einheit der Eingangsschicht (ES) in dem der vorgegebenen Ausgangsbedeutung adressierenden Speicherglied der Wert der Gewichtung (G) inkrementiert wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß der Vorgang der adaptiven Dimensionierung mehrfach durchlaufen wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Anzahl der Durchläufe bei der adaptiven Dimensionierung höchstens gleich dem Maximalwert der Gewichtung (G) ist.

6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß das Bild den Eingangssonden (a . . . n) unter Variation der Parameter Winkel bzw. Intensität zugeführt wird.

7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, daß die Vorgänge der adaptiven Dimensionierung durch eine automatisierte Simulation unter Zuhilfenahme eines Computerprogramms ausgeführt werden.

8. Verfahren zur Klassifizierung von einem neuronalen Netz nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß

• - die Einheiten der Eingangsschicht (ES) ermittelt werden, deren zugehörige Eingangssonden (a . . . 1) bei Zuführung eines aktuellen Musters einen signifikanten Zustand einnehmen,
• - für jede ermittelte Unit der Eingangsschicht (ES), die in den Speichergliedern (E1 . . . Em) enthaltenen Werte von Gewichtungen (G) den jeweiligen in den Speichergliedern adressierten Einheiten der Ausgangsschicht (AS) zugeführt werden,
• - die einer Einheit der Ausgangsschicht (AS) zugeführten Werte von Gewichtungen (G) aufsummiert werden,
• - diejenige Ausgangsbedeutung (1 . . . n) als signifikant klassifi­ ziert wird, deren zugehörige Einheit der Ausgangsschicht (AS) den Maximalwert von Gewichtungen aufweist.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß bei der Bearbeitung eines Speichergliedes (E1 . . . Em) einer Einheit der Eingangsschicht (ES) mittels eines hardware-token ein nächstes Speicherglied, das einen von null abweichenden Wert der Gewichtung (G) aufweist, bezeichnet wird.

10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, daß während der Bearbeitung der Einheit der Eingangsschicht (ES) mittels eines hardware-token eine jeweils nächste Einheit der Eingangsschicht (ES) bezeichnet wird, deren zugehörige Eingangssonde einen signifikanten Zustand aufweist.

11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, daß eine Ausgangsbedeutung (1 . . . m) nur dann als signifikant klassifiziert gilt, wenn der zugehörige Maximalwert von Gewichtungen einen vorgegebenen Abstand zu dem nächsthöchsten Wert von Gewichtungen aufweist.

12. Verfahren nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, daß eine Ausgangsbedeutung (n . . . m) nur dann als signifikant klassifiziert gilt, wenn der Maximalwert von Gewichtungen einen vorgegebenen Minimalwert übersteigt.