DE4307027A1

DE4307027A1 - Memory-oriented neural network with indication of the units assigned to outputs

Info

Publication number: DE4307027A1
Application number: DE4307027A
Authority: DE
Inventors: Peter R Prof Dipl Ing Gerke
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1993-03-05
Filing date: 1993-03-05
Publication date: 1994-09-08
Anticipated expiration: 2013-03-06
Also published as: DE4307027C2

Abstract

A neural network is formed by a multiplicity of units representing neurons. The units are provided by memory locations of a memory device. The connections in the neural network are realised by address-providing indicators. The indicators, to which if need be positive weightings are assigned, are directed from the units assigned to the outputs of the neural network in the direction of the inputs of the neural network. <IMAGE>

Description

Die Erfindung bezieht sich auf ein unter Verwendung von Speichermitteln realisiertes neuronales Netz mit Verzei gerung der den Ausgängen zugeordneten Units.The invention relates to a using Neural network realized with storage means with directory units assigned to the outputs.

Zur Auffindung von Lösungen für Probleme allgemeiner Art werden neben den inzwischen als klassisch bezeichneten Rechenmaschinen, die nach dem v. Neumann-Prinzip arbeiten, zunehmend die Einsatzmöglichkeiten von neuronalen Netzen untersucht. Während die klassische Rechenmaschine gemäß einem vorgegebenen Algorithmus eine eindeutige Lösung errechnet, wird mit dem neuronalen Netz in Anlehnung an die physiologische Informationsverarbeitung nach dem Ähn lichkeitsprinzip eine Lösung ermittelt, die in einer engen Beziehung mit einer für ein ähnliches Problem bereits be kannten Lösung steht. Ein Einsatzgebiet für neuronale Netze ist beispielsweise durch die maschinelle Muster erkennung gegeben, bei der der Einsatz von klassischen Rechenmaschinen an Grenzen stößt. Charakteristisch für ein neuronales Netz ist eine massive, parallel erfolgende Verarbeitung von Informationen durch eine Vielzahl von Neuronen. Zur Herbeiführung einer Lösung müssen eine große Anzahl von Neuronen untereinander in Verbindung treten. Das in Verbindungtreten von Neuronen, das im übrigen bei neuronalen Netzen mit Konnektivität bezeichnet wird, bringt insbesondere dann große Schwierigkeiten, wenn sie in exzessiver Weise mittels Verdrahtung ausgeführt wird.To find solutions to general problems are now classed as classic Calculating machines, which after the v. Neumann principle work, increasingly the possibilities of using neural networks examined. While the classic calculator according to a clear solution to a given algorithm calculated, is based on the neural network the physiological information processing after the similar principle of a solution that works in a narrow Relationship with one already for a similar problem known solution. A field of application for neural Nets is, for example, due to the machine pattern given recognition when using classic Calculating machines reach their limits. Characteristic of a neural network is a massive, parallel one Processing information through a variety of Neurons. To find a solution you need a big one Number of neurons connect with each other. The connection of neurons, the rest of the neural networks with connectivity is called is particularly difficult if it is carried out excessively by means of wiring.

In Electronics World News, Dec. 10, 1990, page 6, 8 ist unter der Überschrift "Hitachi′s Neural Computer" ein von J. Boyd verfaßter Artikel erschienen, in dem eine 1 152 Neuronen aufweisende speicherorientierte Spezial maschine vorgestellt wird. Dem Artikel ist zu entnehmen, daß bei dieser Spezialmaschine die Neuronen in Software adressierbar sind.In Electronics World News, Dec. 10, 1990, page 6, 8 under the heading "Hitachi’s Neural Computer" Article written by J. Boyd in which one 1 152 neurons memory-oriented special machine is presented. The article shows that with this special machine the neurons in software are addressable.

Die Erfindung geht von der Erkenntnis aus, daß bei Vor handensein einer negativen Grundeinstellung innerhalb des Netzes lediglich positive Gewichtungen eingestellt werden müssen.The invention is based on the knowledge that in front existence of a negative basic attitude within the Network only positive weights can be set have to.

Der Erfindung liegt das Problem zugrunde, ein neuronales Netz zu schaffen, bei dem die Konnektivität der Neuronen durch eine Adressierung mittels Binärworte realisiert wird und bei dem lediglich positive Werte von Gewichtungen zur Anwendung kommen.The problem underlying the invention is a neural one Creating a network where connectivity of neurons is realized by addressing using binary words and where only positive values of weights for Application come.

Die Erfindung ist gegeben durch ein neuronales Netz zur Klassifizierung von einer Mehrzahl von Eingangssonden zugeführten Eingangsmustern nach Ausgangsbedeutungen, bei demThe invention is given by a neural network for Classification of a plurality of input probes input patterns supplied according to output meanings, at the

a plurality of units representing neurons in a starting layer and possibly in a zen tralization layer are arranged,
- The units of the output layer of one output are assigned meaning,
- the units each as storage space of a storage direction are given,
- Each memory location with a plurality of one each bit-receiving memory cells is formed,
- Each unit of the starting layer has a fixed number has elements comprising memory cells,
- each element one on a specific input probe referencing pointer and a weighting of that pointer having.

Die Erfindung bringt gegenüber einem neuronalen Netz, bei dem die Konnektivität durch Verdrahtung hergestellt wird, den Vorteil einer größeren Flexibilität beim Einrichten und Ändern von Verbindungen zwischen Neuronen mit sich. Darüber hinaus sind beim Anmeldungsgegenstand keine nega tiven Werte von Gewichtungen und Schwellenwerte der netz zugehörigen Neuronen erforderlich, wodurch sich die Hand habbarkeit des Netzes insgesamt vereinfacht.The invention teaches against a neural network which is connected through wiring, the advantage of greater flexibility when setting up and changing connections between neurons. In addition, there are no nega for the subject of registration tive values of weightings and threshold values of the network associated neurons are required, making the hand overall network availability simplified.

Die Maßnahme nach Anspruch 3 erlaubt eine Reduktion der Zahl der Verbindungen bis auf die tatsächlich erforder liche Anzahl von Verbindungen, wobei mit der Reduktion der Anzahl der Verbindungen eine entsprechende Verringe rung des Bedarfs an Speicherplätzen einhergeht.The measure according to claim 3 allows a reduction in Number of connections apart from the actually required Liche number of connections, with the reduction a corresponding reduction in the number of connections storage space requirements.

Auch die Maßnahme nach Anspruch 4 bringt eine Verringe rung der Anzahl der Verbindungen mit sich, wobei wiederum eine entsprechende Verringerung des Bedarfs an Speicher plätzen erzielt wird.The measure according to claim 4 also brings a reduction tion of the number of connections with it, again a corresponding reduction in the need for storage places is achieved.

Die Erfindung wird nun in einem zum Verständnis erforder lichen Umfang als Ausführungsbeispiel beschrieben. Dabei zeigtThe invention will now be required in order to be understood Lichen scope described as an embodiment. It shows

Fig. 1 die Struktur eines einfachen herkömmlichen neurona len Netzes, bei dem die Units untereinander ver drahtet sind, FIG. 1 shows the structure of a simple conventional neurona len network in which the units are mutually wired ver,

Fig. 2 die Struktur des erfindungsgemäßen neuronalen Net zes, Fig. 2 zes the structure of the neural net according to the invention,

Fig. 3 die Struktur einer erfindungsgemäßen Unit der Aus gangsschicht, Fig. 3 transition layer structure of a unit according to the invention of Off,

Fig. 4 ein einstufiges neuronales Netz, dessen Eingänge teilweise sich gegenseitig ausschließende aktive Zustände einnehmen, Fig. 4 is a single-stage neural network whose inputs partly to occupy mutually exclusive active states,

Fig. 5 ein mehrstufiges neuronales Netz, dessen Eingänge teilweise sich gegenseitig ausschließende aktive Zustände einnehmen. Fig. 5 is a multi-stage neural network whose inputs partly to occupy mutually exclusive active states.

Fig. 1 zeigt ein einfaches, herkömmliches, neuronales Netz zur Klassifizierung, d. h. Decodierung, von Eingangssonden a, b zugeführten digitalen Eingangsmustern. Eine Eingangs sonde möge einen aktiven Zustand einnehmen, wenn ihr ein gangsseitig ein hoher Pegel zugeführt wird bzw. einen dis aktiven Zustand einnehmen, wenn ihr eingangsseitig ein niedriger Pegel zugeführt wird. Die Eingangssonden sind jeweils mit sämtlichen Units der Eingangsschicht ES ver drahtet. Im übrigen repräsentieren die Units die Neuronen des neuronalen Netzes. Eine Eingangssonde, die gerade einen aktiven Zustand aufweist, gibt also ein den aktiven Zustand bezeichnendes Signal an sämtliche Units der Ein gangsschicht ab. Die den Units der Eingangsschicht ein gangsseitig zugeführten Signale werden gewichtet. Die Ge wichtung kann positiv, null oder negativ sein. In der Figur sind die Gewichtungen an den Verbindungsleitungen eingetragen, wobei Verbindungsleitungen mit der Gewichtung null entfallen. In den Units der Eingangsschicht wird eine Summation der gewichteten Eingangssignale vorgenommen. Überschreitet das jeweilige Summationsergebnis eine indi viduelle, in der Unit eingetragene Schwelle, so gibt die Unit selbst ein einen aktiven Zustand bezeichnendes Aus gangssignal ab. Die Units sind also einfache Schaltungs einheiten mit der Funktion von Schwellwertgattern; sie nehmen ausgangsseitig einen aktiven Zustand ein, wenn die Summation der eingangsseitig geführten Gewichtungen ihre individuelle Schwelle überschreitet. In Fig. 1 geben die Units der Eingangsschicht ihre Ausgangssignale über Ver bindungsleitungen mit daran eingetragenen Gewichtungen an die Units der Ausgangsschicht ab. Das in Fig. 1 darge stellte neuronale Netz vermag eine Klassifizierung von eingangsseitig zugeführten Mustern, "a allein", "b allein" oder "a und b gemeinsam" vorzunehmen. Das neuronale Netz nach Fig. 1 erbringt beispielsweise an dem Ausgang "a al lein" keinen aktiven Zustand, wenn der Ausgang "a und b gemeinsam" einen aktiven Zustand aufweist. Fig. 1 shows a simple, conventional neural network for classification, ie decoding of input probes a, b supplied digital input patterns. An input probe may assume an active state if a high level is supplied to it on the input side or assume a disactive state if a low level is supplied to it on the input side. The input probes are each wired to all units of the input layer ES. The units represent the neurons of the neural network. An input probe which is currently in an active state therefore emits a signal which designates the active state to all units of the input layer. The signals fed to the units of the input layer on the input side are weighted. The weighting can be positive, zero or negative. The weights on the connecting lines are entered in the figure, connecting lines with the weighting zero being omitted. A summation of the weighted input signals is carried out in the units of the input layer. If the respective summation result exceeds an individual threshold entered in the unit, the unit itself emits an output signal that indicates an active state. The units are therefore simple circuit units with the function of threshold gates; they assume an active state on the output side when the summation of the weights carried out on the input side exceeds their individual threshold. In Fig. 1, the units of the input layer give their output signals via connecting lines with weights entered thereon to the units of the output layer. The neural network shown in FIG. 1 is able to classify input-supplied patterns, “a alone”, “b alone” or “a and b together”. The neural network according to FIG. 1, for example, does not have an active state at the “a al lein” output if the “a and b together” output has an active state.

Die Struktur eines neuronalen Netzes entsprechend der Struktur des in Fig. 1 dargestellten neuronalen Netzes wird in der Fachliteratur allgemein als Perceptron be zeichnet. Bei dem in Fig. 1 dargestellten neuronalen Netz sind die Gewichtungen und die Schwellen vorgegeben. Bei massiv parallel verarbeitenden neuronalen Netzen mit einer Vielzahl von Units können die Gewichtungen und die Schwel len nicht ohne weiteres von vorneherein vorgegeben werden, sie müssen vielmehr im Zuge einer Trainingsphase mit ver rauschten Eingangsmustern adaptiv dimensioniert werden. Zur adaptiven Dimensionierung werden die Units nach vor gegebenen Regeln prophylaktisch (vorsorglich) unterein ander verbunden. Dem neuronalen Netz werden eingangsseitig verrauschte Muster zugeführt und die jeweiligen einen ak tiven Zustand einnehmenden Ausgangsbedeutungen beobachtet. In Anlehnung an eine von Donald Hebb in den 40er Jahren für physiologisches Lernen postulierten Regel werden bei einem mit "back-propagation" bezeichneten Trainingsverfah ren Gewichtungen, die zur Aktivierung der gewünschten Aus gangsbedeutung geführt haben, verstärkt und Gewichtungen, die zur Aktivierung von nicht-gewünschten Ausgangsbedeu tungen geführt haben, geschwächt.The structure of a neural network corresponding to the structure of the neural network shown in Fig. 1 is generally referred to in the literature as a perceptron. In the neural network shown in FIG. 1, the weightings and the thresholds are predetermined. In the case of massively parallel processing neural networks with a large number of units, the weightings and the thresholds cannot easily be predefined from the outset; rather, they have to be adaptively dimensioned in the course of a training phase with noisy input patterns. For adaptive dimensioning, the units are connected prophylactically (as a precautionary measure) to one another according to given rules. Noisy patterns are fed to the neural network on the input side and the respective output meanings which assume an active state are observed. In line with a rule postulated by Donald Hebb for physiological learning in the 1940s, in a training process called "back-propagation", weights that led to the activation of the desired starting meaning are increased and weights that activated the activation of non- have weakened the desired outcomes.

Fig. 2 zeigt die Struktur eines neuronalen Netzes gemäß der Erfindung. Eine Vielzahl von Neuronen repräsentieren de Units sind in mehreren Schichten angeordnet. In Fig. 2 sind lediglich eine Eingangsschicht ES und eine Ausgangs schicht AS angedeutet. Zwischen der Eingangsschicht und der Ausgangsschicht können gegebenenfalls eine Anzahl von nicht näher dargestellten Zwischenschichten vorgesehen sein. Die Eingangssonden a . . . n sind jeweils mit einer Unit der Eingangsschicht verbunden. Im Ausführungsbeispiel mö gen eine Anzahl von 10 000 Eingangssonden mit den Bildab tastpunkten eines Feldes von 100 Bildabtastpunkten zum Quadrat verbunden sein. Dem Feld mögen unterschiedliche Bilder, wie z. B. die geometrischen Bilder Kreis, Dreieck, Rechteck, zugeführt werden. Die Eingangssonden mögen bei Überschreiten einer vorgegebenen Helligkeitsschwelle des zugehörigen Bildabtastpunktes einen aktiven Zustand ein nehmen. Eine jeweilige Verteilung von aktiven Eingangs sonden bildet ein Muster. Die Units der Ausgangsschicht sind jeweils einer der Ausgangsbedeutungen 1 . . . m zugeord net. Im Ausführungsbeispiel mögen 100 Ausgangsbedeutungen unterschieden werden. Fig. 2 of the invention shows the structure of a neural network according to. A large number of neurons representing units are arranged in several layers. In Fig. 2 only an input layer ES and an output layer AS are indicated. A number of intermediate layers, not shown, can optionally be provided between the input layer and the output layer. The input probes a. . . n are each connected to a unit of the input layer. In the exemplary embodiment, a number of 10,000 input probes may be connected to the image sampling points of a field of 100 image sampling points squared. The field likes different images, such as B. the geometric images circle, triangle, rectangle, are supplied. The input probes may assume an active state when a predetermined brightness threshold of the associated image sampling point is exceeded. A respective distribution of active input probes forms a pattern. The units of the starting layer are each one of the starting meanings 1. . . m assigned. In the exemplary embodiment, 100 initial meanings can be distinguished.

Erfindungsgemäß weist das neuronale Netz eine Verzeigerung der Units der Ausgangsschicht auf. Unter der Verzeigerung der Ausgangsschicht wird verstanden, daß jede Unit der Ausgangsschicht eine Adressierung jeder der Eingangssonden vornehmen kann. Zu jeder Adressierung tritt die Möglich keit einer Gewichtung hinzu.According to the invention, the neural network has a branch of the units of the starting layer. Under the assumption the starting layer it is understood that each unit of the Output layer an addressing of each of the input probes can make. The possibility occurs for each addressing weighting.

Fig. 3 zeigt die Struktur einer erfindungsgemäßen Unit der Ausgangsschicht. Die Units sind jeweils durch einen Spei cherplatz einer Speichereinrichtung gegeben. Die Speicher einrichtung kann prinzipiell durch jede zur Aufnahme von Binärzeichen geeignete Speichereinrichtung gegeben sein, insbesondere jedoch durch einen, einen wahlfreien Zugriff aufweisenden Speicher, der in der Fachwelt allgemein mit RAM (random access memory) bezeichnet wird. Der Speicher platz einer Unit der Ausgangsschicht ist in eine Mehrzahl von Elementen E1 . . . Ed gegliedert. Dabei möge die Anzahl der Elemente etwas größer gewählt werden als die zu erwar tende Anzahl von Eingangssonden, die bei Zuführung eines Bildes einen aktiven Zustand einnehmen. Bei 10 000 Ein gangssonden, wie im Ausführungsbeispiel und in der Erwar tung von 10% aktiver Eingangssonden bei Zuführung eines Bildes erscheint also eine Anzahl von 1200 Elementen für eine Unit der Ausgangsschicht als ausreichend. Jedes Ele ment enthält ein Adressenfeld zur Aufnahme eines Zeigers zur eindeutigen Adressierung einer jeweiligen Eingangs sonde. Im Ausführungsbeispiel weist der Zeiger zur ein deutigen Adressierung von 1000 Eingangssonden eine Wort breite von 14 bit auf. Zusätzlich zu dem Adressenfeld ent hält jedes Element einen Abschnitt zur Aufnahme eines binären Wertes für eine zeigerzugehörige Gewichtung. Der Abschnitt zur Aufnahme eines Wertes für die Gewichtung möge ein Binärwort mit 6 bit Breite aufnehmen können. Die Gewichtung kann also 64 unterschiedliche Werte annehmen. Wenn die räumliche Lage des Ausgangsanschlusses einer Unit der Ausgangsschicht nicht zur Zuordnung der betreffenden Ausgangsbedeutung herangezogen werden soll, so kann jede Unit der Ausgangsschicht einen zusätzlichen Abschnitt AB zur Bezeichnung der zugehörigen Ausgangsbedeutung erhal ten. Zur eindeutigen Unterscheidung von im Ausführungsbei spiel 100 Ausgangsbedeutungen genügen für jede Unit der Ausgangsschicht sieben Speicherzellen zur Aufnahme eines 7 bit langen Binärwortes. Im Ausführungsbeispiel beträgt der Speicherbedarf für 100 Units der Ausgangsschicht mit jeweils 1200 Elementen, die jeweils 20 bit aufweisen, ca. 2,4 Mbit. Würde beim Ausführungsbeispiel für jede Ein gangssonde ein Element in jeder Unit der Ausgangsschicht vorgesehen, so ergäbe sich ein gesamter Speicherbedarf von ca. 20 Mbit. Fig. 3 shows the structure of a unit according to the invention the output layer. The units are each given by a storage location of a storage device. In principle, the memory device can be provided by any memory device suitable for receiving binary characters, in particular, however, by a memory having random access, which is generally referred to in the technical field as RAM (random access memory). The storage space of a unit of the starting layer is in a plurality of elements E1. . . Ed articulated. The number of elements should be chosen slightly larger than the expected number of input probes, which assume an active state when an image is fed. With 10,000 input probes, as in the exemplary embodiment and in the expectation of 10% active input probes when an image is supplied, a number of 1200 elements appears to be sufficient for one unit of the output layer. Each element contains an address field for receiving a pointer for the unique addressing of a respective input probe. In the exemplary embodiment, the pointer has a word width of 14 bits for clearly addressing 1000 input probes. In addition to the address field, each element contains a section for receiving a binary value for a pointer-related weighting. The section on the inclusion of a value for the weighting may be able to accommodate a binary word with a width of 6 bits. The weighting can therefore take 64 different values. If the spatial position of the output connection of a unit of the output layer is not to be used to assign the relevant output meaning, then each unit of the output layer can be given an additional section AB to designate the associated output meaning Unit of the output layer has seven memory cells to hold a 7-bit binary word. In the exemplary embodiment, the memory requirement for 100 units of the output layer, each with 1200 elements, each having 20 bits, is approximately 2.4 Mbit. If, in the exemplary embodiment, an element was provided in each unit of the output layer for each input probe, the total memory requirement would be approximately 20 Mbit.

Um mit einem neuronalen Netz Klassifizierungsaufgaben aus führen zu können, sind in einer Trainingsphase, wie be reits erwähnt, die Gewichtungen voreinzustellen. Zunächst wird eine Ausgangsbedeutung und damit eine Unit der Aus gangsschicht vorgegeben. Dem neuronalen Netz werden ein gangsseitig verrauschte Trainingsmuster angeboten. Ein verrauschtes Trainingsmuster kann dadurch gegeben sein, daß dem Feld von Bildabtastpunkten ein Bild unter unter schiedlichen Winkeln zugeführt wird und/oder daß das Bild den Eingangssonden mit unterschiedlichen Intensitäten, z. B. Beleuchtungsintensitäten, zugeführt werden. Für jede durch ein jeweiliges Trainingsmuster in den aktiven Zu stand versetzte Eingangssonde wird in der betreffenden Unit der Ausgangsschicht in dem der betrachteten Eingangs sonde zugeordneten Element der Wert der Gewichtung inkre mentiert. Nach der Zuführung einer Mehrzahl von Trainings mustern sind die Gewichtungen in den Elementen der Units der Ausgangsschicht voreingestellt. Die Anzahl der Trai ningsvorgänge für jedes Eingangsmuster ist durch die An zahl der Gewichtungsstufen begrenzt. Im Ausführungsbei spiel wird die maximale Wert der Gewichtung von 64 frühe stens nach 64 Trainingsvorgängen erreicht. Für weitere Ausgangsbedeutungen schließen sich entsprechende Trai ningsvorgänge an. Im übrigen brauchen die Trainingsvorgän ge nicht am originalen neuronalen Netz durchgeführt zu werden, wenn sie als Simulation über ein Computerprogramm ablaufen. Dies liegt darin begründet, daß die Trainings vorgänge deutlich weniger zeitkritisch sind als die eigentlichen Mustererkennungsvorgänge.To deal with a neural network classification tasks being able to lead are in a training phase, like be already mentioned to preset the weights. First becomes an output meaning and thus a unit of the off gear shift. The neural network becomes a Noisy training patterns offered on the aisle side. A Noisy training pattern can result from that the field of image sampling points one image below under is supplied at different angles and / or that the image the input probes with different intensities, e.g. B. lighting intensities are supplied. For every through a respective training pattern in the active Zu Staggered input probe is in the concerned Unit of the output layer in that of the considered input probe associated element the value of the weighting incre mented. After a number of training sessions Patterns are the weights in the elements of the units of the starting layer. The number of trai ning processes for each input pattern is through the an number of weighting levels limited. In execution game becomes the maximum value of 64 early weight reached after 64 training sessions. For further Corresponding trai start out processes. Otherwise, the training processes need not performed on the original neural network be when simulated through a computer program expire. This is because the trainings operations are significantly less time-critical than that actual pattern recognition processes.

Im folgenden möge dem Feld von Bildabtastpunkten des er findungsgemäßen neuronalen Netzes ein Bild zugeführt wer den, was zu einem Eingangsmuster führt, bei dem ein Teil z. B. 1000 Eingangssonden einen aktiven Zustand einnehmen. Das Aktivitätsmuster der Eingangssonden wird mit sämtli chen in den Units der Ausgangsschicht gespeicherten Mu stern verglichen. Dazu wird beispielsweise jedes Element jeder Unit der Ausgangsschicht einzeln bearbeitet, indem die in dem Element enthaltene Adresse decodiert und die betreffende Eingangssonde abgefragt wird. Weist die ange sprochene Eingangssonde einen aktiven Zustand auf, wird der Wert der Gewichtung des betrachteten Elements einem der zugehörigen Unit der Ausgangsschicht zugeordneten Summationsspeicher zugeschlagen. Unter der Annahme, daß durch ein hardware-token-Verfahren die Abfrage von ledig lich einen aktiven Zustand einnehmenden Eingangssonden sichergestellt sei und für die Abfrage einer Eingangssonde ein Zyklus mit einer Zyklusdauer von 100 ns erforderlich ist, sind im Ausführungsbeispiel für 1000 einen aktiven Zustand aufweisende Eingangssonden und 100 Units der Aus gangsschicht 1000 × 100 × 100 ns = 10 ms für einen Mu stervergleichsvorgang erforderlich.In the following, the field of image sampling points of the er an neural network according to the invention what leads to an input pattern in which a part e.g. B. 1000 input probes are in an active state. The activity pattern of the input probes is included with all mu stored in the units of the starting layer star compared. For example, each element each unit of the starting layer processed individually by decodes the address contained in the element and the relevant input probe is queried. Instruct the spoke input probe to an active state the value of the weighting of the element under consideration assigned to the associated unit of the output layer Summation memory closed. Assuming that by means of a hardware token procedure the query of single input probes that are in an active state be ensured and for the query of an input probe a cycle with a cycle duration of 100 ns is required is an active one for 1000 in the exemplary embodiment Condition-proof input probes and 100 units of the off transition layer 1000 × 100 × 100 ns = 10 ms for a Mu Comparison process required.

Nun werden die Units der Ausgangsschicht auf den Maximal wert von aufsummierten Gewichtungen abgefragt. Dazu mögen im Ausführungsbeispiel für 100 Units der Ausgangsschicht 100 Zyklen erforderlich sein. Die Ausgangsbedeutung der Units der Ausgangsschicht, die den Maximalwert von Gewich tungen aller Units der Ausgangsschicht aufweist, ist die signifikante Ausgangsbedeutung und klassifiziert ein Ein gangsmuster. Dabei kann ein Schwellwert für den Maximal wert festgelegt sein, unterhalb dessen ein ermittelter Maximalwert als nicht eindeutig identifizierbare Ausgangs bedeutung gilt. Als weiteres Kriterium für eine eindeuti ge Identifizierbarkeit einer Ausgangsbedeutung kann ein vorgegebener Abstandswert zwischen dem ermittelten Maxi malwert und dem zweithöchsten Wert herangezogen werden.Now the units of the starting layer are maximized value of total weights queried. Like this in the exemplary embodiment for 100 units of the starting layer 100 cycles may be required. The initial meaning of Units of the starting layer, which is the maximum value of weight has all units of the starting layer is the significant initial meaning and classifies an on gait pattern. There can be a threshold for the maximum value, below which a determined Maximum value as an output that cannot be clearly identified meaning applies. As a further criterion for a clear The identifiability of an initial meaning can be a specified distance value between the determined maxi painting value and the second highest value.

Nun möge ein Ausführungsbeispiel betrachtet werden, bei dem ein neuronales Netz mit 1 Million Eingängen und 1000 Units der Ausgangsschicht eingangsseitig mit 1 Million Eingangssonden verbunden ist, die in einem Quadrat von 1000 × 1000 Bildabtastpunkten eines Feldes angeordnet sind. Dieses neuronale Netz möge eine Klassifikation zwi schen 1000 Ausgangsbedeutungen durchführen können. Unter der Annahme, daß nicht mehr als 10% der Eingangssonden gleichzeitig einen aktiven Zustand einnehmen, werden in jeder der Units der Ausgangsschicht 120 000 Elemente vorgesehen. Der Abschnitt zur Aufnahme der Adressierung möge Binärwerte mit einer Wortbreite von 20 bit zur ein deutigen Adressierung von einer Million Eingangssonden aufweisen. Der Wert für die Gewichtung möge mit einem 3 bit-Wort darstellbar sein. Für 1000 Units der Ausgangs schicht, 120 000 Elemente je Unit der Ausgangsschicht und 23 bit je Element sind also für die Units der Ausgangs schicht 2,76 Gbit Speicheraufwand erforderlich. Dadurch daß lediglich Speicherelemente für eine erwartete Anzahl von einen aktiven Zustand aufweisenden Eingangssonden vor zuleisten sind, ergibt sich ein deutlich verringerter Speicheraufwand, als wenn für sämtliche vorhandene Ein gangssonden Elemente in jeder Unit der Ausgangsschicht vorzuleisten wären. Für einen Mustererkennungsvorgang möge wiederum durch ein hardware-token-Verfahren sichergestellt sein, daß lediglich Elemente mit einem von null abweichen den Wert der Gewichtung aufgerufen werden. Unter der An nahme, daß das Aufrufen eines Elementes einen Zyklus mit 100 ns erfordert, sind für einen Mustererkennungsvorgang bei einhundert Millionen Elementen 10 s erforderlich.An embodiment may now be considered at a neural network with 1 million inputs and 1000 Units of the output layer on the input side with 1 million Input probes connected in a square of 1000 × 1000 image sampling points of a field arranged are. This neural network may have a classification between can carry out 1000 meanings. Under assuming that no more than 10% of the input probes are in an active state at the same time each of the units of the starting layer 120,000 elements intended. The section to include addressing like binary values with a word length of 20 bits clearly address one million input probes exhibit. The value for the weight may be with a 3 bit word can be represented. For 1000 units of output layer, 120,000 elements per unit of the starting layer and So 23 bits per element are for the units of the output layer 2.76 Gbit memory required. Thereby that only storage elements for an expected number input probes with an active state to be provided, there is a significantly reduced Storage effort as if for all existing one gang probe elements in each unit of the starting layer would have to be performed. For a pattern recognition process again ensured by a hardware token process be that only elements with a deviate from zero the value of the weight can be called. Under the An took that calling an element with a cycle Requires 100 ns for a pattern recognition process 10 s required for a hundred million elements.

Das Training für dieses neuronale Netz wird - zur Durch führung in einer annehmbar kurzen Zeit - durch eine auto matisierte Simulation mittels eines Computerprogramms durchgeführt. Wird dieses neuronale Netz unter Einbezie hung der durch Simulation ermittelten Trainingsergebnisse mit einem ROM (read only memory) als Speichereinrichtung implementiert, so kann mit um den Faktor 10 verkürzten Zykluszeiten gerechnet werden.The training for this neural network becomes - through guidance in an acceptably short time - by a car automated simulation using a computer program carried out. Will this neural network be involved? the training results determined by simulation with a ROM (read only memory) as storage device implemented, can be shortened by a factor of 10 Cycle times can be calculated.

Wie bereits weiter oben erwähnt, ist eine massive Konnek tivität charakteristisch für ein neuronales Netz. Wird die Konnektivität mittels Verdrahtung realisiert, so ist dafür ein erheblicher Aufwand erforderlich. Bei der hier vorge stellten Verzeigerung, bei der die Elemente gewissermaßen Verbindungsdrähte realisieren, steckt der Aufwand für die Konnektivität in der Anzahl der vorzusehenden Elemente. Im folgenden wird von der Erkenntnis ausgegangen, daß nicht für sämtliche Kombinationen von Eingangsinformationen Ver bindungen bereitgestellt werden müssen, wenn sich Aktivi täten von bestimmten Eingängen ausschließen. In Fig. 4 möge einem einstufigen neuronalen Netz an seinen acht Ein gängen E1 . . . 8 ein Binärwort mit einer Wortbreite von 4 bit zugeführt werden. Dabei möge den Eingängen 1 und 2 die erste Stelle des Binärworts (LSB), den Eingängen 3 und 4 die zweite Stelle des Binärworts, den Eingängen 5 und 6 die dritte Stelle des Binärworts und schließlich den Ein gängen 7 und 8 die vierte Stelle (MSB) des Binärworts zugeführt werden. Hat eine jeweilige Stelle des Binärworts einen aktiven Zustand, so mögen die betreffenden Eingänge 1, 3, 5, 7 einen aktiven Zustand und die Eingänge 2, 4, 6, 8 einen nicht-aktiven Zustand einnehmen. Für einen nicht-aktiven Zustand einer jeweiligen Stelle des Binär worts weisen die Eingänge entgegengesetzte Aktivitäten auf. Die einer Stelle des Binärworts zugehörigen Eingänge weisen also stets sich gegenseitig ausschließende Aktivi tätszustände auf. Insgesamt können 16 unterschiedliche Eingangsmuster unterschieden werden, wozu für 16 Ausgangs bedeutungen 16 Units der Ausgangsschicht vorgesehen sind. Hat beispielsweise das Binärwort den Wert 0000, so weisen die Eingänge 1, 3, 5, 7 einen aktiven Zustand auf, womit die mit 1 bezeichnete Unit der Ausgangsschicht einen signifikanten Ausgangszustand einnimmt. Bei einem Wert von 1111 für das eingangsseitig zugeführte Binärwort nehmen die Eingänge 2, 4, 6, 8 einen aktiven Zustand ein, womit die mit 16 bezeichnete Unit der Ausgangsschicht einen signifikanten Ausgangszustand einnimmt. Bei einem neuronalen Netz nach Fig. 4 werden also nicht sämtliche mögliche 2 exp. 8 = 256 Kombinationen, sondern lediglich 2 exp. 4 = 16 Kombinationen von Eingangsmustern benutzt. Die Units der Ausgangsschicht benötigen eine Verbindung nur zu den Eingängen, die einen für sie relevanten aktiven Zustand einnehmen können. Im Ausführungsbeispiel sind also für jede Unit der Ausgangsschicht vier Verbindungen erfor derlich. Die Verbindungen werden erfindungsgemäß durch Verzeigerung unter Verwendung von vier Elementen je Unit der Ausgangsschicht realisiert. Für das einstufige neuro nale Netz nach Fig. 4 sind also insgesamt 64 Verbindungen entsprechend 64 Elementen erforderlich. As already mentioned above, massive connectivity is characteristic of a neural network. If the connectivity is implemented using wiring, considerable effort is required. In the case of the auction presented here, in which the elements implement connecting wires to a certain extent, the effort for connectivity is in the number of elements to be provided. The following is based on the knowledge that connections do not have to be provided for all combinations of input information if activities are excluded from certain inputs. In Fig. 4 may a single-stage neural network at its eight inputs E1. . . 8 a binary word with a word length of 4 bits can be supplied. Inputs 1 and 2 like the first digit of the binary word (LSB), inputs 3 and 4 the second digit of the binary word, inputs 5 and 6 the third digit of the binary word and finally inputs 7 and 8 the fourth digit (MSB ) of the binary word. If a respective position of the binary word has an active state, the relevant inputs 1 , 3 , 5 , 7 may assume an active state and the inputs 2 , 4 , 6 , 8 assume a non-active state. For a non-active state of a particular position in the binary word, the inputs have opposite activities. The inputs associated with one position of the binary word therefore always have mutually exclusive activity states. A total of 16 different input patterns can be distinguished, for which purpose 16 units of the output layer are provided for 16 output meanings. If, for example, the binary word has the value 0000, the inputs 1 , 3 , 5 , 7 have an active state, so that the unit of the output layer denoted by 1 assumes a significant output state. With a value of 1111 for the binary word supplied on the input side, inputs 2 , 4 , 6 , 8 assume an active state, whereby the unit of the output layer denoted by 16 assumes a significant output state. In the case of a neural network according to FIG. 4, not all possible 2 exp. 8 = 256 combinations, but only 2 exp. 4 = 16 combinations of input patterns used. The units of the output layer only need a connection to the inputs, which can assume an active state relevant to them. In the exemplary embodiment, four connections are therefore required for each unit of the starting layer. According to the invention, the connections are realized by branching using four elements per unit of the starting layer. For the neuro-dimensional network stage of FIG. 4, corresponding to 64 elements are a total of 64 connections is required.

Fig. 5 zeigt ein neuronales Netz, das die gleiche Funktion wie das für Fig. 4 beschriebene neuronale Netz ausführt. Das neuronale Netz nach Fig. 5 weist ebenfalls acht Ein gänge auf. Zueinander komplementäre Eingangssignale werden jeweils zwei zu einem Paar von Eingängen zusammengeführten Eingängen zugeführt. In der Ausgangsschicht sind den 16 möglichen Eingangsmustern eine entsprechende Anzahl von Units zugeordnet. Zwischen den Eingängen und der Ausgangs schicht ist eine Zwischenschicht ZS angeordnet. In der Zwischenschicht werden unter Einsatz weiterer Units 1 . . . 8 Verbindungen unter Berücksichtigung von sich gegenseitig ausschließenden Eingangsmustern zentralisiert. So nimmt die mit 1 bezeichnete Unit der Zwischenschicht ausgangs seitig einen aktiven Zustand ein, wenn die Eingänge 1 und 3 einen aktiven Zustand aufweisen; die mit 2 bezeichnete Unit der Ausgangsschicht nimmt ausgangsseitig einen aktiven Zustand ein, wenn die Eingänge 1 und 4 einen aktiven Zustand einnehmen. Eine Kombination der Eingänge, die niemals gleichzeitig einen aktiven Zustand einnehmen, was z. B. für die Eingänge 1 und 2 zutrifft, erfolgt nicht. Die Units der Ausgangsschicht sind mit jeweils zwei Units der Zwischenschicht verbunden. Zwischen den Units der Zwischenschicht und den Eingängen sind also 16 Verbindun gen und zwischen den Units der Ausgangsschicht und den Units der Zwischenschicht 32 Verbindungen gegeben. Die Gesamtzahl der Verbindungen für das neuronale Netz nach Fig. 5 beträgt somit lediglich 48 gegenüber der Gesamt zahl von 64 Verbindungen für das neuronale Netz nach Fig. 4. Für das vorgestellte neuronale Netz mit einer Verzeigerung der Units ergibt sich also unter Berücksich tigung von sich ausschließenden Kombinationen aktiver Zustände auf den Eingängen eine Verringerung von Ele menten. FIG. 5 shows a neural network that performs the same function as the neural network described for FIG. 4. The neural network of Fig. 5 also has eight one steps in production. Input signals which are complementary to one another are each fed to two inputs combined to form a pair of inputs. A corresponding number of units are assigned to the 16 possible input patterns in the output layer. An intermediate layer ZS is arranged between the inputs and the output layer. In the intermediate layer, using further units 1 . . . 8 connections centralized taking into account mutually exclusive input patterns. Thus, the unit of the intermediate layer denoted by 1 assumes an active state on the output side when inputs 1 and 3 have an active state; the unit of the output layer denoted by 2 assumes an active state on the output side when inputs 1 and 4 assume an active state. A combination of the inputs that never assume an active state at the same time. B. for inputs 1 and 2 does not occur. The units of the starting layer are connected to two units of the intermediate layer. There are 16 connections between the units of the intermediate layer and the inputs and 32 connections between the units of the output layer and the units of the intermediate layer. The total number of connections for the neural network according to FIG. 5 is therefore only 48 compared to the total number of 64 connections for the neural network according to FIG excluding combinations of active states on the inputs a reduction of elements.

Eine Klassifizierung von zeitlichen Mustern ist beispiels weise bei der Spracherkennung erforderlich. Die Sprache ist mit etwa 50 unterschiedlichen Phonemen gebildet. Die Phoneme steuern den Weg durch einen Entscheidungsbaum. Die zeitlich aufeinanderfolgenden Merkmale eines jeweiligen Phonems werden abgetastet und den Eingangssonden des neuronalen Netzes zugeführt, wodurch das zeitliche Muster in ein räumliches Muster umgesetzt wird. Der Einsatz eines neuronalen Netzes läßt in den Entscheidungspunkten des Baumes eine Verbesserung der Entscheidungssicherheit er warten.A classification of temporal patterns is an example wise required for speech recognition. The language is formed with about 50 different phonemes. The Phonemes guide the way through a decision tree. The temporally successive features of a respective Phonems are scanned and the input probes of the neural network fed, creating the temporal pattern is translated into a spatial pattern. The use of a neural network leaves in the decision points of the Baumes an improvement in decision certainty waiting.

Schließlich sei noch erwähnt, daß der Trend zu einerseits einer andauernden Höherintegration von memory chips und andererseits einer ständigen Geschwindigkeitssteigerung der Mikroelektronik den Einsatz des vorgestellten Konzepts begünstigt.Finally, it should be mentioned that the trend is on the one hand an ongoing higher integration of memory chips and on the other hand a constant increase in speed microelectronics the use of the presented concept favored.

Claims

1. Neural network for the classification of a plurality of input probes supplied input patterns from output meanings, in which

a plurality of units representing neurons are arranged in an output layer and optionally in a centralization layer,
- The units of the starting layer are each assigned an initial meaning,
- The units are each given as storage space in a storage device,
each memory location is formed with a plurality of memory cells each receiving one bit,
each unit of the output layer has a fixed number of elements comprising memory cells,
- Each element has a pointer pointing to a specific input probe and a weighting of this pointer.

2. Neural network according to claim 1, where each unit of the output layer is one of the number of Input probes corresponding number of elements points.

3. Neural network according to claim 1, where every unit of the starting layer is a fraction part corresponding to the number of input probes of elements.

4. Neural network according to one of the preceding claims, where in an intermediate layer only combinations of at the same time an input which is in an active state probes are formed.