DE4307026A1 - Speicherorientiertes neuronales Netz mit Verzeigerung von den Eingängen zugeordneten Units - Google Patents

Description

Die Erfindung bezieht sich auf ein speicherorientiertes neuronales Netz mit Verzeigerung von den Eingängen zuge­ geordneten Units, ein Verfahren zur adaptiven Dimensionie­ rung dieses Netzes und ein Verfahren zur Klassifizierung von diesem neuronalen Netz eingangsseitig zugeführten Mu­ stern. Die Neuronen dieses neuronalen Netzes sind unter Verwendung von Speichermitteln realisiert.

Zur Auffindung von Lösungen für Probleme allgemeiner Art werden neben den inzwischen als klassisch bezeichneten Rechenmaschinen, die nach dem v. Neumann-Prinzip arbeiten, zunehmend die Einsatzmöglichkeiten von neuronalen Netzen untersucht. Während die klassische Rechenmaschine gemäß einem vorgegebenen Algorithmus eine eindeutige Lösung errechnet, wird mit dem neuronalen Netz in Anlehnung an die physiologische Informationsverarbeitung nach dem Ähnlichkeitsprinzip eine Lösung ermittelt, die in einer engen Beziehung mit einer für ein ähnliches Problem be­ reits bekannten Lösung steht. Ein Einsatzgebiet für neuro­ nale Netze ist beispielsweise durch die maschinelle Mu­ stererkennung gegeben, bei der der Einsatz von klassischen Rechenmaschinen an Grenzen stößt. Charakteristisch für ein neuronales Netz ist eine massive, parallel erfolgende Verarbeitung von Informationen durch eine Vielzahl von Neuronen. Zur Herbeiführung einer Lösung müssen eine große Anzahl von Neuronen untereinander in Verbindung treten. Das in Verbindungtreten von Neuronen, das im übrigen bei neuronalen Netzen mit Konnektivität bezeichnet wird, bringt insbesondere dann große Schwierigkeiten, wenn sie in exzessiver Weise mittels Verdrahtung ausgeführt wird.

In Electronics World News, Dec. 10, 1990, page 6, 8 ist unter der Überschrift "Hitachi′s Neural Computer" ein von J. Boyd verfaßter Artikel erschienen, in dem eine 1 152 Neuronen aufweisende speicherorientierte Spezial­ maschine vorgestellt wird. Dem Artikel ist zu entnehmen, daß bei dieser Spezialmaschine die Neuronen in Software adressierbar sind.

Die Erfindung geht von der Erkenntnis aus, daß bei Vor­ handensein einer negativen Grundeinstellung innerhalb des Netzes lediglich positive Gewichtungen eingestellt werden müssen.

Der Erfindung liegt das Problem zugrunde, ein neuronales Netz zu schaffen, bei dem die Konnektivität der Neuronen durch eine Adressierung mittels Binärworte realisiert wird und bei dem lediglich positive Werte von Gewichtungen zur Anwendung kommen.

Die Erfindung ist gegeben durch ein neuronales Netz zur Klassifizierung von einer Mehrzahl von Eingangssonden zu­ geführten Eingangsmustern nach Ausgangsbedeutungen, bei dem

• - eine Vielzahl von Neuronen repräsentierende Units in mehreren Schichten angeordnet sind,
• - die Schichten eine Eingangsschicht, eine Ausgangsschicht und gegebenenfalls eine Anzahl von Zwischenschichten um­ fassen,
• - die Units der Ausgangsschicht jeweils einer Ausgangsbe­ deutung zugeordnet sind,
• - die Units der Eingangsschicht mit jeweils einer Ein­ gangssonde verbunden sind,
• - jede Unit als Speicherplatz einer Speichereinrichtung gegeben ist,
• - jeder Speicherplatz mit einer Mehrzahl von jeweils ein Bit aufnehmenden Speicherzellen gebildet sind,
• - jede Unit der Eingangsschicht eine festgelegte Anzahl von Speicherzellen umfassende Elemente aufweist, die in einer der Anzahl der Units der Ausgangsschicht entspre­ chenden Anzahl vorgesehen sind,
• - jedes Element einen auf jeweils eine Unit der Ausgangs­ schicht verweisenden Zeiger und eine Gewichtung der betreffenden Unit der Ausgangsschicht aufweist,
• - jede Unit der Ausgangsschicht einen ersten, eine be­ stimmte Anzahl von Speicherzellen umfassenden Abschnitt zur Bezeichnung der zugehörigen Ausgangsbedeutung und einen zweiten, eine vorgegebene Anzahl von Speicherzel­ len umfassenden Abschnitt zur Abspeicherung einer Summe von Gewichtungen aufweist.

Die Erfindung bringt gegenüber einem neuronalen Netz, bei dem die Konnektivität durch Verdrahtung hergestellt wird, den Vorteil einer größeren Flexibilität beim Einrichten und Ändern von Verbindungen zwischen Neuronen mit sich. Darüber hinaus sind beim Anmeldungsgegenstand keine nega­ tiven Werte von Gewichtungen und Schwellenwerte der netz­ zugehörigen Neuronen erforderlich, wodurch sich die Hand­ habbarkeit des Netzes insgesamt vereinfacht.

Die Weiterbildung des Anmeldungsgegenstandes gemäß An­ spruch 2 ermöglicht die Mustererkennung von flächig ab­ bildbaren Bildern.

Die Maßnahme nach Anspruch 3 bringt eine Anpassung des neuronalen Netzes an die später zu lösende Aufgabe mit sich.

Die Maßnahme nach Anspruch 4 und die Maßnahme nach An­ spruch 6 bringen insbesondere dann, wenn sie mit jeweils leicht veränderten ("verrauschten") Mustern durchge­ führt werden, eine Erhöhung der Erkennungssicherheit von Mustern mit sich.

Die Maßnahme nach Anspruch 5 verhindert eine Verschlech­ terung des bereits erzielten Ergebnisses der adaptiven Dimensionierung.

Die Maßnahme nach Anspruch 7 bringt insbesondere bei neuronalen Netzen mit einer Unzahl von Neuronen eine Erleichterung der adaptiven Dimensionierung mit sich, wobei die Übernahme von durch Simulation gefundenen Ergebnissen für ein mit einem ROM realisierten neuronalen Netz Voraussetzung ist.

Die Maßnahme nach Anspruch 8 erfordert lediglich einfa­ che Operationen.

Die Verwendung von hardware-token gemäß den Ansprüchen 9 und 10 vermeidet nach Abschluß der Bearbeitung einer ersten Prozedur die zeitaufwendige Suche nach der näch­ sten zu bearbeitenden Prozedur.

Die Maßnahmen gemäß den Ansprüchen 11 und 12 erhöhen die Entscheidungssicherheit.

Die Erfindung wird nun in einem zum Verständnis erforder­ lichen Umfang als Ausführungsbeispiel beschrieben. Dabei zeigt

Fig. 1 die Struktur eines einfachen herkömmlichen neurona­ len Netzes, bei dem die Units untereinander ver­ drahtet sind,

Fig. 2 die Struktur des erfindungsgemäßen neuronalen Net­ zes,

Fig. 3 die Struktur einer erfindungsgemäßen Unit der Ein­ gangsschicht,

Fig. 4 die Struktur einer erfindungsgemäßen Unit der Aus­ gangsschicht.

Fig. 1 zeigt ein einfaches, herkömmliches, neuronales Netz zur Klassifizierung, d. h. Decodierung, von Eingangssonden a, b zugeführten digitalen Eingangsmustern. Eine Eingangs­ sonde möge einen aktiven Zustand einnehmen, wenn ihr ein­ gangsseitig ein hoher Pegel zugeführt wird bzw. einen dis­ aktiven Zustand einnehmen, wenn ihr eingangsseitig ein niedriger Pegel zugeführt wird. Die Eingangssonden sind jeweils mit sämtlichen Units der Eingangsschicht ES ver­ drahtet. Im übrigen repräsentieren die Units die Neuronen des neuronalen Netzes. Eine Eingangssonde, die gerade einen aktiven Zustand aufweist, gibt also ein den aktiven Zustand bezeichnendes Signal an sämtliche Units der Ein­ gangsschicht ab. Die den Units der Eingangsschicht ein­ gangsseitig zugeführten Signale werden gewichtet. Die Ge­ wichtung kann positiv, null oder negativ sein. In der Figur sind die Gewichtungen an den Verbindungsleitungen eingetragen, wobei Verbindungsleitungen mit der Gewichtung null entfallen. In den Units der Eingangsschicht wird eine Summation der gewichteten Eingangssignale vorgenommen. Überschreitet das jeweilige Summationsergebnis eine indi­ viduelle, in der Unit eingetragene Schwelle, so gibt die Unit selbst ein einen aktiven Zustand bezeichnendes Aus­ gangssignal ab. Die Units sind also einfache Schaltungs­ einheiten mit der Funktion von Schwellwertgattern; sie nehmen ausgangsseitig einen aktiven Zustand ein, wenn die Summation der eingangsseitig geführten Gewichtungen ihre individuelle Schwelle überschreitet. In Fig. 1 geben die Units der Eingangsschicht ihre Ausgangssignale über Ver­ bindungsleitungen mit daran eingetragenen Gewichtungen an die Units der Ausgangsschicht ab. Das in Fig. 1 darge­ stellte neuronale Netz vermag eine Klassifizierung von eingangsseitig zugeführten Mustern, "a allein", "b allein" oder "a und b gemeinsam" vorzunehmen. Das neuronale Netz nach Fig. 1 erbringt beispielsweise an dem Ausgang "a al­ lein" keinen aktiven Zustand, wenn der Ausgang "a und b gemeinsam" einen aktiven Zustand aufweist.

Die Struktur eines neuronalen Netzes entsprechend der Struktur des in Fig. 1 dargestellten neuronalen Netzes wird in der Fachliteratur allgemein als Perceptron be­ zeichnet. Bei dem in Fig. 1 dargestellten neuronalen Netz sind die Gewichtungen und die Schwellen vorgegeben. Bei massiv parallel verarbeitenden neuronalen Netzen mit einer Vielzahl von Units können die Gewichtungen und die Schwel­ len nicht ohne weiteres von vorneherein vorgegeben werden, sie müssen vielmehr im Zuge einer Trainingsphase mit ver­ rauschten Eingangsmustern adaptiv dimensioniert werden. Zur adaptiven Dimensionierung werden die Units nach vorge­ gebenen Regeln prophylaktisch (vorsorglich) untereinander verbunden. Dem neuronalen Netz werden eingangsseitig ver­ rauschte Muster zugeführt und die jeweiligen einen aktiven Zustand einnehmenden Ausgangsbedeutungen beobachtet. In Anlehnung an eine von Donald Hebb in den 40er Jahren für physiologisches Lernen postulierten Regel werden bei einem mit "back-propagation" bezeichneten Trainingsverfahren Ge­ wichtungen, die zur Aktivierung der gewünschten Ausgangs­ bedeutung geführt haben, verstärkt und Gewichtungen, die zur Aktivierung von nicht-gewünschten Ausgangsbedeutungen geführt haben, geschwächt.

Fig. 2 zeigt die Struktur eines neuronalen Netzes gemäß der Erfindung. Eine Vielzahl von Neuronen repräsentieren­ de Units sind in mehreren Schichten angeordnet. In Fig. 2 sind lediglich eine Eingangsschicht ES und eine Ausgangs­ schicht AS angedeutet. Zwischen der Eingangsschicht und der Ausgangsschicht können gegebenenfalls eine Anzahl von nicht näher dargestellten Zwischenschichten vorgesehen sein. Die Eingangssonden a . . . n sind jeweils mit einer Unit der Eingangsschicht verbunden. Im Ausführungsbeispiel mö­ gen eine Anzahl von 10 000 Eingangssonden mit den Bild­ abtastpunkten eines Feldes von 100 Bildabtastpunkten zum Quadrat verbunden sein. Dem Feld mögen unterschiedliche Bilder wie z. B. die geometrischen Bilder Kreis, Dreieck, Rechteck, zugeführt werden. Die Eingangssonden mögen bei Überschreiten einer vorgegebenen Helligkeitsschwelle des zugehörigen Bildabtastpunktes einen aktiven Zustand ein­ nehmen. Eine jeweilige Verteilung von aktiven Eingangs­ sonden bildet ein Muster. Die Units der Ausgangsschicht sind jeweils einer der Ausgangsbedeutungen 1 . . . m zugeord­ net. Im Ausführungsbeispiel mögen 100 Ausgangsbedeutungen unterschieden werden.

Erfindungsgemäß weist das neuronale Netz eine Verzeigerung der Units der Eingangsschicht auf. Unter der Verzeigerung der Eingangsschicht wird verstanden, daß jede Unit der Eingangsschicht eine Adressierung jeder der Units der Aus­ gangsschicht vornehmen kann. Zu jeder Adressierung tritt die Möglichkeit einer Gewichtung hinzu.

Fig. 3 zeigt die Struktur einer erfindungsgemäßen Unit der Eingangsschicht. Die Units der Eingangsschicht sind je­ weils durch einen Speicherplatz einer Speichereinrichtung gegeben. Die Speichereinrichtung kann prinzipiell durch jede zur Aufnahme von Binärzeichen geeignete Speicherein­ richtung gegeben sein, insbesondere jedoch durch einen einen wahlfreien Zugriff aufweisenden Speicher, der in der Fachwelt allgemein mit RAM (random access memory) bezeich­ net wird. Der Speicherplatz einer Unit der Eingangsschicht ist in eine der Anzahl der Ausgangsbedeutungen gleichenden Anzahl von Elementen E1 . . . Em gegliedert. In jeder Unit der Eingangsschicht ist also jeder Ausgangsbedeutung ein Ele­ ment zugeordnet. In jedem Element ist eine durch einen Zeiger Z1 . . . Zm gegebene Adresse einer Unit der Ausgangs­ schicht und eine zugehörige Gewichtung G ablegbar. Im Aus­ führungsbeispiel sind zur eindeutigen Adressierung von 100 Units der Ausgangsschicht Zeiger mit einer Wortbreite von 7 bit erforderlich. Zur Gewichtung eines Zeigers sind im Ausführungsbeispiel 3 bit vorgesehen. Neben der Gewichtung null, die für eine Nichtrelevanz des aktiven Zustands der betrachteten Unit der Eingangsschicht für die betreffende Unit der Ausgangsschicht und damit der betreffenden Aus­ gangsbedeutung steht, sind damit sieben unterschiedliche Abstufungen der Gewichtung möglich. Jedes Element der Ein­ gangsschicht weist also eine festgelegte Anzahl von Spei­ cherzellen auf, im Ausführungsbeispiel sind es deren zehn. Für 100 Ausgangsbedeutungen sind also im Ausführungsbei­ spiel für jede Unit einer Schicht ein Speicherbedarf an Speicherzellen von 1 kbit erforderlich. Im Ausführungs­ beispiel ergibt sich also für 10 000 Units der Eingangs­ schicht ein Speicherbedarf an Speicherzellen von 10 Mbit.

Fig. 4 zeigt die Struktur einer erfindungsgemäßen Unit der Ausgangsschicht. Die Units der Ausgangsschicht sind eben­ falls durch Speicherplätze einer Speichereinrichtung gege­ ben. Die Units der Ausgangsschicht weisen jeweils einen Abschnitt ΣG zur Abspeicherung von aufsummierten Gewich­ tungen auf. Für das Ausführungsbeispiel erscheint eine An­ zahl von 16 Speicherzellen für diesen Abschnitt als aus­ reichend. Wenn die Adressierung einer Unit der Ausgangs­ schicht oder die räumliche Lage ihres Ausgangsanschlusses nicht zur Zuordnung der betreffenden Ausgangsbedeutung herangezogen werden soll, so kann jede Unit der Ausgangs­ schicht einen zusätzlichen Abschnitt AB zur Bezeichnung der zugehörigen Ausgangsbedeutung erhalten. Zur eindeuti­ gen Unterscheidung von im Ausführungsbeispiel 100 Aus­ gangsbedeutungen genügen für jede Unit der Ausgangsschicht sieben Speicherzellen zur Aufnahme eines 7 bit langen Di­ gitalwortes. Selbst unter der Annahme, daß jede Unit der Ausgangsschicht einen Speicherbedarf von 100 Speicher­ zellen zugemessen bekommt, bleibt der Speicherbedarf im Ausführungsbeispiel für 100 Units der Ausgangsschicht mit in gesamt 10 000 Speicherzellen gegenüber dem Speicherbe­ darf der Eingangsschicht vergleichsweise gering.

Um mit einem neuronalen Netz Klassifizierungsaufgaben aus­ führen zu können, sind in einer Trainingsphase, wie be­ reits erwähnt, die Gewichtungen voreinzustellen. Zunächst wird eine Ausgangsbedeutung und damit eine Unit der Aus­ gangsschicht vorgegeben. Dem neuronalen Netz werden ein­ gangsseitig verrauschte Trainingsmuster angeboten. Ein verrauschtes Trainingsmuster kann dadurch gegeben sein, daß dem Feld von Bildabtastpunkten ein Bild unter unter­ schiedlichen Winkeln zugeführt wird und/oder daß das Bild den Eingangssonden mit unterschiedlichen Intensitäten, z. B. Beleuchtungsintensitäten, zugeführt werden. Für jede durch ein jeweiliges Trainingsmuster in den aktiven Zu­ stand versetzte Eingangssonde wird in der zugehörigen Unit der Eingangsschicht in dem der zugehörigen Ausgangsbedeu­ tung zugeordneten Element der Wert der Gewichtung inkre­ mentiert. Nach der Zuführung einer Mehrzahl von Trainings­ mustern sind die Gewichtungen in den Units der Eingangs­ schicht voreingestellt. Die Anzahl der Trainingsvorgänge für jedes Eingangsmuster ist durch die Anzahl der Ge­ wichtungsstufen begrenzt. Im Ausführungsbeispiel wird die maximale Gewichtung von sieben frühestens nach sieben Trainingsvorgängen erreicht. Für weitere Ausgangsbedeu­ tungen schließen sich entsprechende Trainingsvorgänge an. Im übrigen brauchen die Trainingsvorgänge nicht am origi­ nalen neuronalen Netz durchgeführt zu werden, wenn sie als Simulation über ein Computerprogramm ablaufen. Dies liegt darin begründet, daß die Trainingsvorgänge deutlich weni­ ger zeitkritisch sind als die eigentlichen Mustererken­ nungsvorgänge.

Im folgenden möge dem Feld von Bildabtastpunkten des er­ findungsgemäßen neuronalen Netzes ein Bild zugeführt wer­ den, was zu einem Eingangsmuster führt, bei dem ein Teil von z. B. 1000 Eingangssonden einen aktiven Zustand ein­ nehmen. Mittels eines hardware-token-Verfahrens möge dafür gesorgt sein, daß von den Units der Eingangsschicht nur die Units bearbeitet werden, deren zugehörige Eingangsson­ den momentan einen aktiven Zustand eingenommen haben. Die Units der Eingangsschicht, deren zugehörige Eingangssonden gerade einen aktiven Zustand einnehmen, werden aufeinan­ derfolgend jeweils gemäß den nachfolgenden Schritten mit­ tels einer nicht näher dargestellten Verarbeitungseinrich­ tung bearbeitet. Der gesamte Speicherinhalt einer Unit wird beispielsweise mit einem Zyklus genannten Verarbei­ tungsschritt der Verarbeitungseinrichtung in ein hardware- Register übernommen. Für jede von null abweichende Ge­ wichtung in dem hardware-Register wird ein Übertrag dieser Gewichtung in die durch die zugehörige Adresse adressierte Unit der Ausgangsschicht bewirkt, wobei in den Units der Ausgangsschicht eine neu hinzugekommene Gewichtung gege­ benenfalls auf bereits vorhandene Gewichtungen aufsummiert wird. Die Übernahme einer Gewichtung in die Unit der Aus­ gangsschicht möge einen Zyklus in Anspruch nehmen. Unter der Annahme, daß im Ausführungsbeispiel in einer Unit der Eingangsschicht die Hälfte aller Elemente eine von null abweichende Gewichtung aufweisen und durch ein token- Verfahren dafür gesorgt ist, daß zeitaufwendige Zyklen nur für Elemente auszuführen sind, die mit von null abweichen­ den Gewichtungen belegt sind, sind also 50 Zyklen erfor­ derlich. Die übrigen Units der Eingangsschicht (im Ausfüh­ rungsbeispiel 999) werden derselben Bearbeitung unterzo­ gen. Unter der Annahme, daß jeweils die Hälfte der Elemen­ te der Units der Eingangsschicht eine von null abweichende Gewichtung aufweisen, werden im Ausführungsbeispiel 50 × 1000, also 50 000 Zyklen für das Aufsummieren der Gewichtungen in den Units der Ausgangsschicht benötigt. Die token-Laufzeiten werden vernachlässigt, da das token während einer Zykluszeit genügend Zeit hat, das nächste Element mit einer von null abweichenden Gewichtung bzw. eine nächste Unit der Eingangsschicht vor-auszuwählen.

Nun werden die Units der Ausgangsschicht auf den Maximal­ wert von aufsummierten Gewichtungen abgefragt. Dazu mögen im Ausführungsbeispiel für 100 Units der Ausgangsschicht 100 Zyklen erforderlich sein. Die Ausgangsbedeutung der Units der Ausgangsschicht, die den Maximalwert von Gewich­ tungen aller Units der Ausgangsschicht aufweist, ist die signifikante Ausgangsbedeutung und klassifiziert ein Ein­ gangsmuster. Dabei kann ein Schwellwert für den Maximal­ wert festgelegt sein, unterhalb dessen ein ermittelter Maximalwert als nicht eindeutig identifizierbare Ausgangs­ bedeutung gilt. Als weiteres Kriterium für eine eindeuti­ ge Identifizierbarkeit einer Ausgangsbedeutung kann ein vorgegebener Abstandswert zwischen dem ermittelten Maxi­ malwert und dem zweithöchsten Wert herangezogen werden. Unter der Annahme, daß ein Zyklus einen Zeitbedarf von 100 ns hat, beträgt für das Ausführungsbeispiel der Zeit­ bedarf zur Erkennung eines Musters 5 ms, wobei noch dem­ gegenüber vernachlässigbare Bearbeitungszeiten hinzukom­ men.

Nun möge ein Ausführungsbeispiel betrachtet werden, bei dem ein neuronales Netz mit 1 Million Units der Eingangs­ schicht und 1000 Units der Ausgangsschicht eingangsseitig mit 1 Million Eingangssonden verbunden ist, die in einem Quadrat von 1000 × 1000 Bildabtastpunkten eines Feldes angeordnet sind. Dieses neuronale Netz möge eine Klassifi­ kation zwischen 1000 Ausgangsbedeutungen durchführen kön­ nen. Jede Unit der Eingangsschicht weist 1000 den Aus­ gangsbedeutungen zugeordnete Speicherplätze auf. In jedem Speicherplatz ist zur eindeutigen Zuordbarkeit einer zuge­ hörigen Ausgangsbedeutung eine durch einen Zeiger gegebene Adresse mit einer Wortlänge von 10 bit erforderlich. Zu­ sätzlich mögen in jedem Speicherplatz 3 bit zur Gewichtung eines Zeigers vorgesehen sein. Für die eine Million Units der Eingangsschicht werden also 13 Gbit an Speicherkapazi­ tät benötigt. Unter der Annahme, daß die Hälfte der Spei­ cherplätze der Units der Eingangsschicht mit von null ab­ weichenden Gewichtungen belegt sein mögen, sind für einen Klassifizierungsvorgang 500 Millionen Zyklen der ausfüh­ renden Verarbeitungseinrichtung erforderlich, wozu bei einem Zeitbedarf von 100 ns für einen Zyklus insgesamt 50 s erforderlich sind. Das Training wird für dieses neu­ ronale Netz - zur Durchführung in einer annehmbar kurzen Zeit - durch eine automatisierte Simulation mittels eines Computerprogramms durchgeführt. Wird dieses neuronale Netz unter Einbeziehung der durch Simulation ermittelten Trai­ ningsergebnisse mit einem ROM (read only memory) als Spei­ chereinrichtung implementiert, so kann mit um den Faktor 10 verkürzten Zykluszeiten gerechnet werden.

Eine Klassifizierung von zeitlichen Mustern ist beispiels­ weise bei der Spracherkennung erforderlich. Die Sprache ist mit etwa 50 unterschiedlichen Phonemen gebildet. Die Phoneme steuern den Weg durch einen Entscheidungsbaum. Die zeitlich aufeinanderfolgenden Merkmale eines jeweiligen Phonems werden abgetastet und den Eingangssonden des neuronalen Netzes zugeführt, wodurch das zeitliche Muster in ein räumliches Muster umgesetzt wird. Der Einsatz eines neuronalen Netzes läßt in den Entscheidungspunkten des Baumes eine Verbesserung der Entscheidungssicherheit er­ warten.

Schließlich sei noch erwähnt, daß der Trend zu einerseits einer andauernden Höherintegration von memory chips und andererseits einer ständigen Geschwindigkeitssteigerung der Mikroelektronik den Einsatz des vorgestellten Konzepts begünstigt.

Claims (12)

1. Neuronales Netz zur Klassifizierung von einer Mehrzahl von Eingangssonden zugeführten Eingangsmustern nach Aus­ gangsbedeutungen, bei dem

• - eine Vielzahl von Neuronen repräsentierende Units in mehreren Schichten angeordnet sind,
• - die Schichten eine Eingangsschicht, eine Ausgangsschicht und gegebenenfalls eine Anzahl von Zwischenschichten um­ fassen,
• - die Units der Ausgangsschicht jeweils einer Ausgangsbe­ deutung zugeordnet sind,
• - die Units der Eingangsschicht mit jeweils einer Ein­ gangssonde verbunden sind,
• - jede Unit als Speicherplatz einer Speichereinrichtung gegeben ist,
• - jeder Speicherplatz mit einer Mehrzahl von jeweils ein Bit aufnehmenden Speicherzellen gebildet ist,
• - jede Unit der Eingangsschicht eine festgelegte Anzahl von Speicherzellen umfassende Elemente aufweist, die in einer der Anzahl der Units der Ausgangsschicht entspre­ chenden Anzahl vorgesehen sind,
• - jedes Element einen auf jeweils eine Unit der Ausgangs­ schicht verweisenden Zeiger und eine Gewichtung der betreffenden Unit der Ausgangsschicht aufweist,
• - jede Unit der Ausgangsschicht einen ersten, eine be­ stimmte Anzahl von Speicherzellen umfassenden Abschnitt zur Bezeichnung der zugehörigen Ausgangsbedeutung und einen zweiten, eine vorgegebene Anzahl von Speicherzel­ len umfassenden Abschnitt zur Abspeicherung einer Summe von Gewichtungen aufweist.

2. Neuronales Netz nach Anspruch 1, dadurch gekennzeichnet, daß die Eingangssonden zu einem Feld von Bildabtastpunkten angeordnet sind.

3. Verfahren zur adaptiven Dimensionierung des neuronalen Netzes nach einem der vorstehenden Ansprüche, demzufolge

• - eine Unit der Ausgangsschicht und damit eine Ausgangsbe­ deutung vorgegeben wird,
• - den Eingangssonden ein der vorgegebenen Ausgangsbedeu­ tung entsprechendes Bild zugeführt wird
• - für jede Eingangssonde, die auf Grund der Zuführung des Bildes einen aktiven Zustand einnimmt, in der zugehöri­ gen Unit der Eingangsschicht in dem der vorgegebenen Ausgangsbedeutung zugeordneten Element der Wert der Gewichtung inkrementiert wird.

4. Verfahren nach Anspruch 3, demzufolge der Vorgang der adaptiven Dimensionierung mehrfach durchlaufen wird.

5. Verfahren nach Anspruch 4, demzufolge die Anzahl der Durchläufe bei der adaptiven Dimensionierung höchstens gleich dem Maximalwert der Ge­ wichtung ist.

6. Verfahren nach Anspruch 4 oder 5, demzufolge das Bild den Eingangssonden unter Variation der Parameter Winkel bzw. Intensität zugeführt wird.

7. Verfahren nach einem der Ansprüche 3 bis 6, demzufolge die Vorgänge der adaptiven Dimensionierung durch eine automatisierte Simulation unter Zuhilfenahme eines Computerprogramms ausgeführt werden.

8. Verfahren zur Klassifizierung von einem neuronalen Netz nach einem der vorstehenden Ansprüche eingangsseitig zugeführten Mustern, demzufolge

• - die Units der Eingangsschicht ermittelt werden, deren zugehörige Eingangssonden bei Zuführung des aktuellen Musters einen signifikanten Zustand einnehmen,
• - für jede ermittelte Unit der Eingangsschicht, die in den Elementen enthaltenen Werte von Gewichtungen den jeweiligen in den Elementen bezeichneten Units der Ausgangsschicht zugeführt werden,
• - die einer Unit der Ausgangsschicht zugeführten Werte von Gewichtungen aufsummiert werden,
• - diejenige Ausgangsbedeutung als signifikant klassifi­ ziert wird, deren zugehörige Unit der Ausgangsschicht den Maximalwert von Gewichtungen aufweist.

9. Verfahren nach Anspruch 8, demzufolge bei der Bearbei­ tung eines Elementes einer Unit der Eingangsschicht mit­ tels eines hardware-token ein nächstes Element, das einen von null abweichenden Wert der Gewichtung aufweist, be­ zeichnet wird.

10. Verfahren nach Anspruch 8 oder 9, demzufolge während der Bearbeitung der Unit der Eingangs­ schicht mittels eines hardware-token eine jeweils nächste Unit der Eingangsschicht bezeichnet wird, deren zugehörige Eingangssonde einen signifikanten Zustand aufweist.

11. Verfahren nach einem der Ansprüche 8 bis 10, demzufolge eine Ausgangsbedeutung nur dann als signifikant klassifiziert gilt, wenn der Maximalwert von Gewichtungen einen vorgegebenen Abstand zu dem nächsthöchsten Wert von Gewichtungen aufweist.

12. Verfahren nach einem der Ansprüche 8 bis 11, demzufolge eine Ausgangsbedeutung nur dann als signifikant klassifiziert gilt, wenn der Maximalwert von Gewichtungen einen vorgegebenen Minimalwert übersteigt.