DE4404974C1

DE4404974C1 - Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke

Info

Publication number: DE4404974C1
Application number: DE4404974A
Authority: DE
Inventors: Holger Brandt; Karl-Ragmar Riemschneider; Hans Christoph Prof Dr Zeidler
Original assignee: Bundesrepublik Deutschland; Bundesministerium der Verteidigung
Current assignee: Brandt Holger 51465 Bergisch Gladbach De Riemsc
Priority date: 1994-02-17
Filing date: 1994-02-17
Publication date: 1995-07-13
Anticipated expiration: 2014-02-18

Description

Die Erfindung betrifft ein Verfahren zur Realisierung der Arbeits- und Lernphase Neuronaler Netze nach der Back- Propagation-Methode mittels stochastischer Rechenwerke. Außerdem beinhaltet die Erfindung eine Einrichtung zur Realisierung des Verfahrens nach Anspruch 1.

Mit der Beschreibung und den Verbesserungen der Error-Back- Propagation-Methode ist ein mathematisches Verfahren verfüg bar, welches überwachtes Lernen bei mehrschichtigen Neuro nalen Netzen und bei Netzen mit komplexer Struktur ermög licht.

Diese Neuronalen Netze werden durch Training befähigt, ein Eingangsmuster in ein gewünschtes Ausgangsmuster zu überfüh ren. Nach ausreichend langem Training sind diese Netze in der Lage, sowohl die trainierten Eingangsmuster als auch unbe kannte und nur in wesentlichen Merkmalen mit diesen überein stimmende Eingangsmuster den passenden Ausgangsmustern zuzu ordnen.

Die Fähigkeit, ohne vorherige Modellierung nur durch hinrei chendes Training von Beispielen wesentliche Merkmale heraus zubilden, also gegenüber Störungen und Transformationen (z. B. Verschiebung, Rotation, Skalierung) invariant zu wer den, führte zu vielfältigen Applikationen dieser Netze. Nahe liegend ist die Verwendung als Klassifikator oder als adap tivlernfähige Steuerung technischer Einrichtungen.

Realisiert wurden solche Applikationen bisher fast aus schließlich durch Programmierung von Rechnern mit einem oder wenigen herkömmlichen Rechenwerken.

Hierdurch wird die serielle Benutzung dieser herkömmlichen Rechenwerke und der Speicher notwendig, obwohl die Algorith men der Arbeits- und Lernphase prinzipiell vollständig paral lel ablaufende Operationen erlauben würden.

Ein hardwarerealisiertes Netz für eine vollparallele Wir kungsweise hat konventionell bereits für die Arbeitsphase er heblichen Aufwand zur Folge. Aufgebaut werden müssen dann die folgenden umfangreichen Komponenten: entsprechend der Ge samtzahl aller Neuronenverbindungen zahlreiche Multiplika toren, je Neuron die Additionen von so vielen Summanden, wie das Neuron Eingänge besitzt sowie je Neuron die Einrichtungen für die nichtlineare Ausgangsfunktion.

Um die Fähigkeit zur Parallelität voll nutzen zu können, muß dieser Hardwareaufwand im wesentlichen proportional zur Anzahl der Neuronenverknüpfungen ausgeführt werden. Dieser hohe Aufwand herkömmlicher Rechenwerke schränkt eine solche vollparallele Anordnung praktisch stark ein. Darüber hinaus noch wesentlich aufwendiger würde eine herkömmliche Realisie rung des vollparallelen Lernvorgangs. Gerade hierbei aber wäre eine Beschleunigung besonders wünschenswert, da der zeitliche Umfang des Trainings bei der Error-Back-Propaga tion-Methode für große Netze die Nutzung häufig noch stärker beeinträchtigt als die Dauer eines Durchlaufs der Arbeits phase. Starke Bestrebungen sind darauf gerichtet, die mög liche Parallelität zu nutzen und spezialisierte Hardware zu schaffen. Wegen des geschilderten Aufwandes wird aber von den bisher üblichen Hardwarelösungen in unterschiedlich starkem Maße abgewichen. Eine Übersicht liefert Rojas [Roj93], einen Vergleich von 1991 verfügbarer Spezialhardware nahm Holler [Hol91] vor und Aspekte, herkömmliche Prozessoren zu verwen den, sind in Croall et al. [Cro92] gezeigt.

Wegen des Schaltungsaufwandes und der Nichtverfügbarkeit ge eigneter einfacher Anordnungen wird sehr häufig nur die Arbeitsphase realisiert. Die Berechnung der Gewichtsmodifi kation (Lernphase) erfolgt dann mit einem konventionellen Prozessor seriell, obwohl gerade hier der wesentliche Zeit aufwand anfällt. Der vollparallele Teil der bekannten Hard warelösungen benutzt herkömmliche serielle niedriggenaue Festkommarechenwerke (z. B. Micro Devices MD 1220 [MD90]) oder chip-intern analoge Rechenschaltungen (z. B. Intel 80170NX [Bra92]). Für eine pulscodierte Arbeitsweise liegen nur sehr wenige Ansätze vor. Sie arbeiten mit analogen Pulsen bzw. Schaltungen [Bee90]. Andere, der erfindungsgemäßen Lö sung am nächsten, basieren auf digitalen, stochastisch unab hängigen, sogenannten Puls- oder Bitströmen. ([Tom88], [Tom90], [Sha91] und [1] für die Hopfield-Methode). Bei letzteren wird stets eine unipolare Codierung benutzt. Folg lich ist direkt keine bipolare Multiplikation möglich. Daher braucht man jeweils zwei Gewichte verschiedener Art (ex- und inhibitorische) für eine Relation zwischen Neuronen. Infolge dessen ergibt sich die Lernfähigkeit nur durch eine auftren nende Modifikation der Error-Back-Propagation-Methode für das inhibitorische und das exhibitorische Teilnetz, wodurch eine extern in Software - nicht auf stochastischen Rechenwerken basierende - realisierte Lernphase nötig wird.

So beschreibt [1] einen stochastischen Lösungsansatz eines einschichtigen Neuronalen Netzes der Hopfield-Klasse mit unipolarer Codierung. Die hier mögliche bipolare Multiplika tion der Werte ist aber erst nach einer vorhergehenden Fall unterscheidung möglich.

Diese Fallunterscheidung untersucht zunächst das Vorzeichen des einen Faktors oder der beiden Faktoren, danach wird nur einer der Fälle mittels der für jede Kombination der Vorzei chen vorgesehenen AND-Glieder unipolar multipliziert.

Die anschließende geeignete Zusammenfassung über Addierer und Subtrahierer berücksichtigt dieses.

Über ein auf eine Arbeitsphase nach Tomlinson [Tom90] aufset zendes Training "on-chip" der Fa. RICOH [Egu91] ist berichtet worden.

Die veröffentlichten, mit binären Wahrscheinlichkeiten arbei tenden Hardwarelösungen [Tom88, Tom90, Sha91, [1], Egu91] weichen als Folge der Doppelgewichte und der deshalb nötigen Modifikationen des Lernverfahrens nachteilig vom erfindungs gemäßen Verfahren ab.

Diese Abweichungen sind Resultat der unipolaren Codierung.

In Erkenntnis dieser Gegebenheiten liegt der Erfindung die Aufgabe zugrunde, unter Verwendung entscheidend einfacherer Komponenten in der Arbeits- und Lernphase die vollparallele Netzfunktion zu gewährleisten. Diese Aufgabe wird erfindungs gemäß dadurch gelöst, daß zur Umsetzung des Verfahrens nach Anspruch 1 eine Einrichtung nach den kennzeichnenden Merkma len des Anspruches 2 verwendet wird.

Die mit der Erfindung erzielbaren Vorteile liegen insbeson dere darin, bipolare Werte unmittelbar zu codieren, zu verar beiten (z. B. bipolar zu multiplizieren) und über nur eine einzelne Verbindung zu übertragen. Daher entfallen alle Be sonderheiten der doppelten Gewichtung. Vorteilhaft wird wei terhin die bisher vorliegende Bindung an eine durch die Wir kung der dortigen Wired-Or-Verknüpfung gebildete Form der nichtlinearen Funktion aufgehoben. Statt dessen werden Nicht linearitäten (Anspruch 2(c) und 2(d)) eingesetzt, deren Form (Steilheit der sigmoid-ähnlichen bzw. Höhe der sigmoid ableitungs-ähnlichen Funktion) im Gegensatz zu den bekannten Ansätzen über die Folgenlänge einstellbar sind. Ebenfalls neuartig ist, daß diese Nichtlinearitäten unmittelbar bipolar arbeiten können und eine serielle Kombination adaptiver und integrativer Funktionsglieder (Anspruch 2(e) und 2(f)) er folgt.

Die Erfindung benutzt Komponenten und Verbindungen zwischen diesen, deren Informationsträger nicht ein Wert unmittelbar, sondern die Wahrscheinlichkeit für einen Wert bei binärer Darstellung ist. Solche Komponenten werden zusammenfassend stochastische Rechenwerke genannt. Praktisch ermöglicht wird die Gesamtanordnung durch die Verwendung von Funktionsglie dern zur Codierung einer analogen Größe oder eines digitalen Wertes in die Trägergröße Wahrscheinlichkeit eines binären Wertes nach den kennzeichnenden Merkmalen des Anspruchs 2(a) und der damit möglichen vorzeichenbeachtenden (bipolaren) Multiplikation nach den kennzeichnenden Merkmalen des Anspru ches 2(b). Für eine erfindungsgemäße Lösung ist die Verwen dung von Funktionsgliedern mit den kennzeichnenden Merkmalen des Anspruches 2(c) und 2(d) und die serielle Kombination von Funktionsgliedern mit den kennzeichnenden Merkmalen des Anspruches 2(e) und 2(f) charakteristisch. Zur Beschreibung wird im einzelnen zwischen den grundsätzlichen Betriebsarten Arbeits- und Lernphase unterschieden. Beide Phasen können in einer erfindungsgemäßen Anordnung, vergleichbar einem Gegen stromverfahren, gleichzeitig - insbesondere aber nach den kennzeichnenden Merkmalen der Ansprüche 3 bis 5 - wirksam sein. Nach erfolgreichem Abschluß des Trainingsvorgangs könnte die Lernphase mit den dazu notwendigen Einrichtungen entfallen oder es könnten weniger aufwendige Netze, welche nur die Ar beitsphase ausführen, beliebig oft von einem erfolgreich trainierten Satz von Gewichten kopierend abgeleitet werden.

Beschrieben wird zunächst die Arbeitsphase, welche eine An ordnung benötigt, die elementare Grundstrukturen (Neuronen und Gewichtselemente), deren Verbindungen untereinander und Verbindungen zu Ein- und Ausgängen des Netzes aufweist.

Die Verbindungen sind einfache Leitungen. Sie vermitteln die Werte von Neuronenausgängen oder von Netzeingängen uni direktional zu Neuroneneingängen oder zu Netzausgängen. Der zu übermittelnde Wert wird nach Anspruch 2(a) codiert, d. h. der Informationsträger ist die Wahrscheinlichkeit für einen der binären Werte.

Die Neuronen enthalten für die Arbeitsphase relevant Ein richtungen für eine mittelnde Addition sowie eine Einrichtung nach Anspruch 2(c) zur nichtlinearen Überführung.

Die Gewichtselemente enthalten für die Arbeitsphase relevant nur Gewichte, die in den integrativen Gliedern nach Anspruch 2(f) digital gespeichert sind und deren Ausgänge die Ge wichte nach Anspruch 2(a) codieren sowie Multiplikatoren nach Anspruch 2(b). Diese wirken so zusammen, daß die vorge schalteten Neuronenausgänge bzw. die Netzeingänge in den Multiplikatoren mit den codierten Gewichten zusammengeführt werden. An deren Ergebnisse schließt sich im Neuron eine Ein richtung an, die durch eine wechselnde, gleichverteilt zufäl lige Verbindung eine mittelnde Addition durchführt. Deren Er gebnisse werden nichtlinear umgesetzt mit Hilfe einer Ein richtung, welche die kennzeichnenden Merkmale des Anspruchs 2(c) besitzt. Die Funktionsweise besteht darin, daß der Neu ronenausgang beim Auftreten einer ununterbrochenen Folge gleicher Werte mit der Folgenlänge n genau diesen Wert an nimmt und beibehält. Zum anderen Wert wird nur dann gewechselt, wenn eine ebensolange Folge des anderen binären Wertes auftritt. Entsprechend der bekannten Varianten Neu ronaler Netze kann die Anordnung der Neuronen parallel, seriell und auch rückkoppelnd erfolgen. Die Verbindungs schemata der Neuronen können stark variieren. Sie reichen von der vollständigen Verbindung aller Neuronen über die häufig benutzte vollständige Verbindung eines Neurons mit allen Neu ronen der nächsthöheren Schicht oder einzelne schichtüber greifende Verbindungen. Trotz stochastischen Verhaltens der Komponenten des Netzes können grundsätzlich ähnliche Eigen schaften der Arbeitsphase erzielt werden, wie sie Netze mit herkömmlichen Rechenwerken aufweisen.

Für die nachfolgend beschriebene Lernphase wird eine Schal tungsanordnung dargestellt, welche auf der vorher beschriebe nen Anordnung für die Arbeitsphase basiert und diese um eine Anordnung zur zielgerichteten Beeinflussung der Gewichte er weitert. Alle Einrichtungen besitzen binäre Ein- und Aus gangswerte, deren Wahrscheinlichkeit für einen der binären Werte eine Zahl nach Anspruch 2(a) codiert darstellen. Ver bindungen sind ebenfalls einfache Leitungen und haben die gleichen Eigenschaften wie die Verbindungen der Arbeitsphase. Elementare Grundstrukturen der Lernphase sind wie auch in der Arbeitsphase die Neuronen und die Gewichtselemente. Die Ge wichtselemente verfügen für die Lernphase relevant über Ein richtungen zur stochastischen Bildung des zeitlich gleitenden Mittelwertes (adaptive Glieder nach Anspruch 2(e)), inte grierend wirkende Einrichtungen (integrative Glieder nach An spruch 2(f)) und Multiplikatoren. Die Neuronen haben für die Lernphase Einrichtungen zur mittelnden Addition aller jeweils zum Neuron zurückfließenden Fehler, Einrichtungen zur nicht linearen Überführung nach Anspruch 2(d) und Multiplikatoren. Am Netzausgang wird durch Einrichtungen, welche die Subtrak tion zweier nach Anspruch 2(a) codierter Zahlenwerte zu ei nem ebenso codierten Wert bewirken (differenzbildendes Ele ment), zwischen den aktuellen Netzausgangswerten und den dort angestrebten Sollwerten je ein Fehler ermittelt. Dieser Fehler wird multipliziert mit den nach den kennzeichnenden Merkmalen des Anspruchs 2(d) nichtlinear überführten Ergeb nissen der mittelnden Addition im Neuron und wirkt auf die vorgeschalteten Gewichtselemente. Dort wird er entgegen der Richtung der Verbindung der Arbeitsphase - jedoch über die selbe multiplikative Gewichtung - an die mittelnde Addition der vorgeschalteten Neuronen zurückgegeben. Lokal benutzt wird im Gewichtselement der zurückfließende Fehler dazu, mul tipliziert mit dem Neuronenausgang über die adaptiven Glieder auf die integrativen Glieder einzuwirken. Aus Sicht der Lern phase werden nun die Gewichte nicht als konstant angesehen, sondern befinden sich jeweils innerhalb einer dieser integra tiven Glieder. Somit werden die Gewichte vom Fehler beein flußt. Das für die Back-Propagation-Methode typische Lernver halten wird bei geeigneter und zueinander passender Wahl der Parameter erreicht.

Solche Parameter sind: Dauer und Zyklus des Anlegens der Trainingseingangs- und der Zielmuster, die das Zeitverhalten bestimmenden Zählerkonstanten der adaptiven und der inte grativen Glieder sowie die Folgenlängen der nichtlinearen Überführungen. Auch in der Lernphase können ähnliche Eigen schaften erzielt werden, wie sie Netze mit herkömmlichen Rechenwerken aufweisen. Zusätzlich kann für den Trainings vorgang zur Erreichung globaler Fehlerminima vorteilhaft sein, daß stets eine stochastische Beeinflussung aller netz internen Werte vorliegt.

Anhand der Abb. 1 bis 4 wird die Erfindung durch die dargestellten Ausführungsbeispiele erläutert.

Es zeigen

Abb. 1: Darstellung einer skalierbaren mehr schichtigen Netzanordnung für die Arbeitsphase,

Abb. 2: Darstellung einer skalierbaren mehr schichtigen Netzanordnung für die Lernphase,

Abb. 3: Ein Funktionsschema der nichtlinearen Übertragung in der Arbeitsphase nach Anspruch 2(c),

Abb. 4: Ein Funktionsschema der nichtlinearen Übertragung in der Lernphase nach Anspruch 2(d).

Abb. 1 stellt ein Netz beliebiger Dimension dar, welches die Arbeitsphase erfindungsgemäß realisiert. Ohne Einschrän kung der Allgemeinheit der erfindungsgemäßen Lösung für be liebige andere Anordnungen wird nur die häufig verwendete Schichtenanordnung dargestellt. Die Neuronen bilden zwei gekoppelte Teile, jeweils einen für die Arbeits- und Lernphase. Die Gewichtung erfolgt in den Gewichtselementen, wobei das Gewicht codiert am Ausgang eines integrativen Gliedes zur Verfügung steht, und vor dem Neuroneneingang multipliziert wird.

Abb. 2 stellt ein Netz beliebiger Dimension dar, welches die Lernphase erfindungsgemäß realisiert. Ebenfalls ohne Ein schränkung der Allgemeinheit wird nur die Schichtenanordnung dargestellt. In den Gewichtselementen werden die Gewichte vom vermittelten Fehler nach Multiplikation mit dem passenden Neuronenausgangswert über ein zwischengeschaltetes adaptives Glied in einem integrativen Glied verändert. Auch der Fehler wird durch das Gewicht multiplikativ gewichtet und an die vorgeschalteten Neuronen zurückgegeben. Es erfolgt eine andere Anordnung der Gewichtselemente (Vertauschen der Indizes) gegenüber der Darstellung in Abb. 1.

Abb. 3 stellt das Funktionsschema der ausgangseitigen nichtlinearen Übertragung eines Neurons in der Arbeitsphase dar. Die Folgenlänge n gleicher Werte des abgetasteten Er gebnisses der mittelnden Addition bestimmt die Steilheit der sigmoid-ähnlichen Übertragungskennlinie.

Abb. 4 stellt das Funktionsschema der nichtlinearen Übertragung eines Neurons in der Lernphase dar. Die Folgen länge n gleicher Werte des abgetasteten Ergebnisses der mittelnden Addition bestimmt die Form (Höhe) der grob sigmoid-ableitungs-ähnlichen Übertragungskennlinie.

Liste der Verweise

[Bee90] Beerhold, J.; Jansen, M.; Eckmiller, R.; Pulse Processing Neutral Net Hardware with Selectable Topology and Adaptive Weights and Delays, IEEE Intern. Joint Conf. on Neutral Networks II-569 bis II-574, San Diego 1990
[Bra92] Brauch, Jeff; Tam, Simon M.; Holler Mark A.; Shmurun Arthur L.; Analog VLSI Neural Networks for Impact Signal Processing, IEEE Micro, Dez. 1992
[Cro92] Croall, I. F.; Mason, J. P. (Eds.); Industrial Applikations of Neural Networks-Project ANNIE Handbook, Springer-Verlag, Berlin 1992
[Egu91] Eguchi, H.; Futura, T.; Horiguchi, H.; Oteki, S.; Kitaguchi, T. Neural Network LSI chip with on-chip learning, IEEE Intern. Joint Conf. on Neural Networks I-453 bis I-456, Singapore 1991
[Hol91] Holler, Mark A.; VLSI Implementations of Learning and Memory Systems: A Review, Proc. Conf. on Neural Information Processing Systems III 993-1000, San Mateo CA, Morgan Kaufmann 1991
[MD90] N.N.; NBS Neural Bit Slice MD1220-Designer′s Reference Manual, Firmenschrift Fa. Micro Devices, Orlando 1990
[Roj93] Rojas, Raul; Theorie der Neuronalen Netze, Springer-Verlag, Berlin 1993
[Tom88] Tomlinson, Max Stanford jr.; Implementing Neural Networks, Diss. Univ. of California, San Diego 1988
[Tom90] Tomlinson, Max Stanford jr.; Walker, Dennis J.; Sivilotti, A. Massiomo; Implementing Neural Networks, IEEE Intern. Joint Conf. on Neural Networks II-545 bis II-550, San Diego 1990
[Sha91] Shawe-Taylor, J.; Jeavons, P.; Daalen Van, M.; Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317 bis 328, Abingdon Oxfordshire 1991
[1] Nguyen, D. D.; Holt F. B.; Neural Network using stochastic processing 1990 (1989) US Patent 4, 972, 363

Claims

1. Verfahren zur Realisierung der Arbeits- und Lernphase Neu ronaler Back-Propagation-Netze mittels stochastischer Rechenwerke, bei dem

I. in der Arbeitsphase
(a) die Netzeingangswerte bipolar in unabhängige Wahr scheinlichkeiten eines binären Wertes codiert wer den und dann
(b) in einer Gewichtselement genannten Anordnung mit Hilfe der vorzeichenbeachtenden Multiplikation mit ebenfalls bipolar stochastisch codierten, zuvor di gital gespeicherten Gewichten eine Wichtung vorge nommen wird,
(c) worauf die Werte in einer Neuron genannten Anord nung einer mittelnden Addition durch zufällig wech selnde Auswahl eines Eingangs unterzogen werden, um dann über
(d) eine nichtlineare Einrichtung mit sigmoid-ähnlicher Übertragung, anschließend
(e) über Gewichtselemente an beliebig viele Eingänge weiterer gleichartiger nachgeschalteter Neuronen verteilt zu werden, die abschließend einen Netzaus gang bilden,
II. in der Lernphase
(a) ein von einem Netz in der Arbeitsphase bereits ermitteltes Netzausgangsmuster - bestehend aus bipolar stochastisch codierten Werten - durch Vergleich mit dem ebenfalls bipolar stochastisch codierten Trainingszielmuster über eine Subtrak tion zu einem Fehlervektor verknüpft wird,
(b) dieser Fehler, multipliziert mit den nichtlinear sigmoid-ableitungs-ähnlich überführten Ergebnissen der mittelnden Addition der Arbeitsphase, im Neu ron über Multiplikation mit dem vorgeschalteten Neuronenausgang verknüpft wird und folgend
(c) eine Einrichtung zur gleitenden stochastischen Mittelwertbildung (adaptives Glied) integrierend (integratives Glied) auf die gespeicherten Ge wichte der vorgeschalteten Gewichtselemente ein wirkt, wobei
(d) dieser Fehler gleichzeitig auch über eine Multi plikation mit dem verbindenden Gewicht an vorge schaltete Neuronen geführt wird, um
(e) sich dort in gleicher Weise und nach gleicher An ordnung wie der ursprüngliche Fehler auszuwirken, dann
(f) zu weiteren zugeleiteten Fehlern durch mittelnde Addition hinzugefügt wird und
(g) nach dieser Verarbeitung an weitere vorgeschaltete Neuronen nach erneuter Multiplikation mit den ver bindenden Gewichten weitergeleitet wird.

2. Einrichtung zur Realisierung des Verfahrens nach Anspruch 1,
dadurch gekennzeichnet, daß sie

(a) ein Funktionsglied aufweist, welches eine bipolare analoge Größe oder einen vorzeichenbehafteten digi talen Zahlenwert in eine Wahrscheinlichkeit für einen der binären Werte für die Arbeits- und Lernphase umco diert, indem zuvor der größtmögliche vorzeichenlose Betrag der Größe oder des Zahlenwertes einmalig be stimmt oder abgeschätzt wird und die entstehende Wahrscheinlichkeit für den Wert 1 dadurch zu beschrei ben ist, daß die zu codierende Größe bzw. der zu co dierende digitale Zahlenwert durch den größtmöglichen Betrag dividiert wird, das Ergebnis dieser Division um Eins erhöht und danach halbiert wird,
(b) ein Funktionsglied aufweist, welches zur einfachen vorzeichenbehafteten Multiplikation für die Arbeits- und Lernphase zweier bipolar stochastisch codierter analoger Größen bzw. digitaler Zahlenwerte geeignet ist und in dem eine Verknüpfung der digital reali sierten Wahrscheinlichkeiten mit Hilfe eines digi taltechnischen Äquivalenzgliedes erfolgt,
(c) ein Funktionsglied aufweist, welches die Erzeugung der nichtlinearen sigmoid-ähnlichen Übertragung der mit telnden Addition eines Neurons bewirkt, indem nach einer festen Anzahl Abtastungen des Ergebnisses der mittelnden Addition mit ununterbrochen gleichen Werten eine Umschaltung des Neuronenausgangs auf diesen Wert erfolgt oder - falls schon vorliegend - dieser Wert beibehalten wird, bei geringerer als dieser Anzahl gleicher Abtastwerte jedoch keine Umschaltung erfolgt, wobei nach längerer Beobachtung sich von der Eingangs wahrscheinlichkeit eine sigmoid-ähnliche Übertragungs kennlinie zur Ausgangswahrscheinlichkeit ergibt und deren Steilheit über diese feste Anzahl einstellbar ist,
(d) ein Funktionsglied aufweist, welches die Erzeugung der nichtlinearen sigmoid-ableitungs-ähnlichen Übertragung der mittelnden Addition eines Neurons bewirkt, so daß bei Erreichen und Überschreiten einer festen Anzahl Abtastungen des Ergebnisses der mittelnden Addition mit gleichen Werten eine Umschaltung des Neuronenaus gangs auf einen zufälligen Wert mit gleicher Wahr scheinlichkeit für 0 und 1 erfolgt, ansonsten konstant der Wert 1 am Neuronenausgang anliegt, wobei nach län gerer Beobachtung sich von der Eingangswahrscheinlich keit eine nichtlineare Übertragungskennlinie zur Aus gangswahrscheinlichkeit ergibt, die in ihrem prinzi piellen Verlauf der ersten Ableitung der sigmoid-ähn lichen Übertragungsfunktion grob ähnlich ist und deren Form über diese feste Anzahl veränderbar ist,
(e) ein Funktionsglied aufweist, welches adaptiv den glei tenden Mittelwert der Multiplikation von Fehler und Aktivität im Gewichtselement bildet und
(f) ein Funktionsglied diesem nachgeschaltet wird, welches integrativ den Mittelwert bildet und in welchem der Wert des Gewichts gespeichert wird.

3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß alle Funktionsglieder zeitlich synchron zu einem im Netz globalen Takt wirken.

4. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß Gruppen der Funktionsglieder zeitlich synchron zu einem in der Gruppe wirkenden Takt arbeiten.

5. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Funktionsglieder zeitlich mit eigenem Takt funk tionieren.