DE4404974C1 - Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke - Google Patents
Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer RechenwerkeInfo
- Publication number
- DE4404974C1 DE4404974C1 DE4404974A DE4404974A DE4404974C1 DE 4404974 C1 DE4404974 C1 DE 4404974C1 DE 4404974 A DE4404974 A DE 4404974A DE 4404974 A DE4404974 A DE 4404974A DE 4404974 C1 DE4404974 C1 DE 4404974C1
- Authority
- DE
- Germany
- Prior art keywords
- neuron
- value
- values
- phase
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Feedback Control In General (AREA)
Description
Die Erfindung betrifft ein Verfahren zur Realisierung der
Arbeits- und Lernphase Neuronaler Netze nach der Back-
Propagation-Methode mittels stochastischer Rechenwerke.
Außerdem beinhaltet die Erfindung eine Einrichtung zur
Realisierung des Verfahrens nach Anspruch 1.
Mit der Beschreibung und den Verbesserungen der Error-Back-
Propagation-Methode ist ein mathematisches Verfahren verfüg
bar, welches überwachtes Lernen bei mehrschichtigen Neuro
nalen Netzen und bei Netzen mit komplexer Struktur ermög
licht.
Diese Neuronalen Netze werden durch Training befähigt, ein
Eingangsmuster in ein gewünschtes Ausgangsmuster zu überfüh
ren. Nach ausreichend langem Training sind diese Netze in der
Lage, sowohl die trainierten Eingangsmuster als auch unbe
kannte und nur in wesentlichen Merkmalen mit diesen überein
stimmende Eingangsmuster den passenden Ausgangsmustern zuzu
ordnen.
Die Fähigkeit, ohne vorherige Modellierung nur durch hinrei
chendes Training von Beispielen wesentliche Merkmale heraus
zubilden, also gegenüber Störungen und Transformationen
(z. B. Verschiebung, Rotation, Skalierung) invariant zu wer
den, führte zu vielfältigen Applikationen dieser Netze. Nahe
liegend ist die Verwendung als Klassifikator oder als adap
tivlernfähige Steuerung technischer Einrichtungen.
Realisiert wurden solche Applikationen bisher fast aus
schließlich durch Programmierung von Rechnern mit einem oder
wenigen herkömmlichen Rechenwerken.
Hierdurch wird die serielle Benutzung dieser herkömmlichen
Rechenwerke und der Speicher notwendig, obwohl die Algorith
men der Arbeits- und Lernphase prinzipiell vollständig paral
lel ablaufende Operationen erlauben würden.
Ein hardwarerealisiertes Netz für eine vollparallele Wir
kungsweise hat konventionell bereits für die Arbeitsphase er
heblichen Aufwand zur Folge. Aufgebaut werden müssen dann die
folgenden umfangreichen Komponenten: entsprechend der Ge
samtzahl aller Neuronenverbindungen zahlreiche Multiplika
toren, je Neuron die Additionen von so vielen Summanden, wie
das Neuron Eingänge besitzt sowie je Neuron die Einrichtungen
für die nichtlineare Ausgangsfunktion.
Um die Fähigkeit zur Parallelität voll nutzen zu können, muß
dieser Hardwareaufwand im wesentlichen proportional zur
Anzahl der Neuronenverknüpfungen ausgeführt werden. Dieser
hohe Aufwand herkömmlicher Rechenwerke schränkt eine solche
vollparallele Anordnung praktisch stark ein. Darüber hinaus
noch wesentlich aufwendiger würde eine herkömmliche Realisie
rung des vollparallelen Lernvorgangs. Gerade hierbei aber
wäre eine Beschleunigung besonders wünschenswert, da der
zeitliche Umfang des Trainings bei der Error-Back-Propaga
tion-Methode für große Netze die Nutzung häufig noch stärker
beeinträchtigt als die Dauer eines Durchlaufs der Arbeits
phase. Starke Bestrebungen sind darauf gerichtet, die mög
liche Parallelität zu nutzen und spezialisierte Hardware zu
schaffen. Wegen des geschilderten Aufwandes wird aber von den
bisher üblichen Hardwarelösungen in unterschiedlich starkem
Maße abgewichen. Eine Übersicht liefert Rojas [Roj93], einen
Vergleich von 1991 verfügbarer Spezialhardware nahm Holler
[Hol91] vor und Aspekte, herkömmliche Prozessoren zu verwen
den, sind in Croall et al. [Cro92] gezeigt.
Wegen des Schaltungsaufwandes und der Nichtverfügbarkeit ge
eigneter einfacher Anordnungen wird sehr häufig nur die
Arbeitsphase realisiert. Die Berechnung der Gewichtsmodifi
kation (Lernphase) erfolgt dann mit einem konventionellen
Prozessor seriell, obwohl gerade hier der wesentliche Zeit
aufwand anfällt. Der vollparallele Teil der bekannten Hard
warelösungen benutzt herkömmliche serielle niedriggenaue
Festkommarechenwerke (z. B. Micro Devices MD 1220 [MD90])
oder chip-intern analoge Rechenschaltungen (z. B. Intel
80170NX [Bra92]). Für eine pulscodierte Arbeitsweise liegen
nur sehr wenige Ansätze vor. Sie arbeiten mit analogen Pulsen
bzw. Schaltungen [Bee90]. Andere, der erfindungsgemäßen Lö
sung am nächsten, basieren auf digitalen, stochastisch unab
hängigen, sogenannten Puls- oder Bitströmen. ([Tom88],
[Tom90], [Sha91] und [1] für die Hopfield-Methode). Bei
letzteren wird stets eine unipolare Codierung benutzt. Folg
lich ist direkt keine bipolare Multiplikation möglich. Daher
braucht man jeweils zwei Gewichte verschiedener Art (ex- und
inhibitorische) für eine Relation zwischen Neuronen. Infolge
dessen ergibt sich die Lernfähigkeit nur durch eine auftren
nende Modifikation der Error-Back-Propagation-Methode für das
inhibitorische und das exhibitorische Teilnetz, wodurch eine
extern in Software - nicht auf stochastischen Rechenwerken
basierende - realisierte Lernphase nötig wird.
So beschreibt [1] einen stochastischen Lösungsansatz eines
einschichtigen Neuronalen Netzes der Hopfield-Klasse mit
unipolarer Codierung. Die hier mögliche bipolare Multiplika
tion der Werte ist aber erst nach einer vorhergehenden Fall
unterscheidung möglich.
Diese Fallunterscheidung untersucht zunächst das Vorzeichen
des einen Faktors oder der beiden Faktoren, danach wird nur
einer der Fälle mittels der für jede Kombination der Vorzei
chen vorgesehenen AND-Glieder unipolar multipliziert.
Die anschließende geeignete Zusammenfassung über Addierer und
Subtrahierer berücksichtigt dieses.
Über ein auf eine Arbeitsphase nach Tomlinson [Tom90] aufset
zendes Training "on-chip" der Fa. RICOH [Egu91] ist berichtet
worden.
Die veröffentlichten, mit binären Wahrscheinlichkeiten arbei
tenden Hardwarelösungen [Tom88, Tom90, Sha91, [1], Egu91]
weichen als Folge der Doppelgewichte und der deshalb nötigen
Modifikationen des Lernverfahrens nachteilig vom erfindungs
gemäßen Verfahren ab.
Diese Abweichungen sind Resultat der unipolaren Codierung.
In Erkenntnis dieser Gegebenheiten liegt der Erfindung die
Aufgabe zugrunde, unter Verwendung entscheidend einfacherer
Komponenten in der Arbeits- und Lernphase die vollparallele
Netzfunktion zu gewährleisten. Diese Aufgabe wird erfindungs
gemäß dadurch gelöst, daß zur Umsetzung des Verfahrens nach
Anspruch 1 eine Einrichtung nach den kennzeichnenden Merkma
len des Anspruches 2 verwendet wird.
Die mit der Erfindung erzielbaren Vorteile liegen insbeson
dere darin, bipolare Werte unmittelbar zu codieren, zu verar
beiten (z. B. bipolar zu multiplizieren) und über nur eine
einzelne Verbindung zu übertragen. Daher entfallen alle Be
sonderheiten der doppelten Gewichtung. Vorteilhaft wird wei
terhin die bisher vorliegende Bindung an eine durch die Wir
kung der dortigen Wired-Or-Verknüpfung gebildete Form der
nichtlinearen Funktion aufgehoben. Statt dessen werden Nicht
linearitäten (Anspruch 2(c) und 2(d)) eingesetzt, deren
Form (Steilheit der sigmoid-ähnlichen bzw. Höhe der sigmoid
ableitungs-ähnlichen Funktion) im Gegensatz zu den bekannten
Ansätzen über die Folgenlänge einstellbar sind. Ebenfalls
neuartig ist, daß diese Nichtlinearitäten unmittelbar bipolar
arbeiten können und eine serielle Kombination adaptiver und
integrativer Funktionsglieder (Anspruch 2(e) und 2(f)) er
folgt.
Die Erfindung benutzt Komponenten und Verbindungen zwischen
diesen, deren Informationsträger nicht ein Wert unmittelbar,
sondern die Wahrscheinlichkeit für einen Wert bei binärer
Darstellung ist. Solche Komponenten werden zusammenfassend
stochastische Rechenwerke genannt. Praktisch ermöglicht wird
die Gesamtanordnung durch die Verwendung von Funktionsglie
dern zur Codierung einer analogen Größe oder eines digitalen
Wertes in die Trägergröße Wahrscheinlichkeit eines binären
Wertes nach den kennzeichnenden Merkmalen des Anspruchs 2(a)
und der damit möglichen vorzeichenbeachtenden (bipolaren)
Multiplikation nach den kennzeichnenden Merkmalen des Anspru
ches 2(b). Für eine erfindungsgemäße Lösung ist die Verwen
dung von Funktionsgliedern mit den kennzeichnenden Merkmalen
des Anspruches 2(c) und 2(d) und die serielle Kombination
von Funktionsgliedern mit den kennzeichnenden Merkmalen des
Anspruches 2(e) und 2(f) charakteristisch. Zur Beschreibung
wird im einzelnen zwischen den grundsätzlichen Betriebsarten
Arbeits- und Lernphase unterschieden. Beide Phasen können in
einer erfindungsgemäßen Anordnung, vergleichbar einem Gegen
stromverfahren, gleichzeitig - insbesondere aber nach den
kennzeichnenden Merkmalen der Ansprüche 3 bis 5 - wirksam sein.
Nach erfolgreichem Abschluß des Trainingsvorgangs könnte die
Lernphase mit den dazu notwendigen Einrichtungen entfallen
oder es könnten weniger aufwendige Netze, welche nur die Ar
beitsphase ausführen, beliebig oft von einem erfolgreich
trainierten Satz von Gewichten kopierend abgeleitet werden.
Beschrieben wird zunächst die Arbeitsphase, welche eine An
ordnung benötigt, die elementare Grundstrukturen (Neuronen
und Gewichtselemente), deren Verbindungen untereinander und
Verbindungen zu Ein- und Ausgängen des Netzes aufweist.
Die Verbindungen sind einfache Leitungen. Sie vermitteln die
Werte von Neuronenausgängen oder von Netzeingängen uni
direktional zu Neuroneneingängen oder zu Netzausgängen. Der
zu übermittelnde Wert wird nach Anspruch 2(a) codiert, d. h.
der Informationsträger ist die Wahrscheinlichkeit für einen
der binären Werte.
Die Neuronen enthalten für die Arbeitsphase relevant Ein
richtungen für eine mittelnde Addition sowie eine Einrichtung
nach Anspruch 2(c) zur nichtlinearen Überführung.
Die Gewichtselemente enthalten für die Arbeitsphase relevant
nur Gewichte, die in den integrativen Gliedern nach Anspruch
2(f) digital gespeichert sind und deren Ausgänge die Ge
wichte nach Anspruch 2(a) codieren sowie Multiplikatoren
nach Anspruch 2(b). Diese wirken so zusammen, daß die vorge
schalteten Neuronenausgänge bzw. die Netzeingänge in den
Multiplikatoren mit den codierten Gewichten zusammengeführt
werden. An deren Ergebnisse schließt sich im Neuron eine Ein
richtung an, die durch eine wechselnde, gleichverteilt zufäl
lige Verbindung eine mittelnde Addition durchführt. Deren Er
gebnisse werden nichtlinear umgesetzt mit Hilfe einer Ein
richtung, welche die kennzeichnenden Merkmale des Anspruchs
2(c) besitzt. Die Funktionsweise besteht darin, daß der Neu
ronenausgang beim Auftreten einer ununterbrochenen Folge
gleicher Werte mit der Folgenlänge n genau diesen Wert an
nimmt und beibehält. Zum anderen Wert wird nur dann
gewechselt, wenn eine ebensolange Folge des anderen binären
Wertes auftritt. Entsprechend der bekannten Varianten Neu
ronaler Netze kann die Anordnung der Neuronen parallel,
seriell und auch rückkoppelnd erfolgen. Die Verbindungs
schemata der Neuronen können stark variieren. Sie reichen von
der vollständigen Verbindung aller Neuronen über die häufig
benutzte vollständige Verbindung eines Neurons mit allen Neu
ronen der nächsthöheren Schicht oder einzelne schichtüber
greifende Verbindungen. Trotz stochastischen Verhaltens der
Komponenten des Netzes können grundsätzlich ähnliche Eigen
schaften der Arbeitsphase erzielt werden, wie sie Netze mit
herkömmlichen Rechenwerken aufweisen.
Für die nachfolgend beschriebene Lernphase wird eine Schal
tungsanordnung dargestellt, welche auf der vorher beschriebe
nen Anordnung für die Arbeitsphase basiert und diese um eine
Anordnung zur zielgerichteten Beeinflussung der Gewichte er
weitert. Alle Einrichtungen besitzen binäre Ein- und Aus
gangswerte, deren Wahrscheinlichkeit für einen der binären
Werte eine Zahl nach Anspruch 2(a) codiert darstellen. Ver
bindungen sind ebenfalls einfache Leitungen und haben die
gleichen Eigenschaften wie die Verbindungen der Arbeitsphase.
Elementare Grundstrukturen der Lernphase sind wie auch in der
Arbeitsphase die Neuronen und die Gewichtselemente. Die Ge
wichtselemente verfügen für die Lernphase relevant über Ein
richtungen zur stochastischen Bildung des zeitlich gleitenden
Mittelwertes (adaptive Glieder nach Anspruch 2(e)), inte
grierend wirkende Einrichtungen (integrative Glieder nach An
spruch 2(f)) und Multiplikatoren. Die Neuronen haben für die
Lernphase Einrichtungen zur mittelnden Addition aller jeweils
zum Neuron zurückfließenden Fehler, Einrichtungen zur nicht
linearen Überführung nach Anspruch 2(d) und Multiplikatoren.
Am Netzausgang wird durch Einrichtungen, welche die Subtrak
tion zweier nach Anspruch 2(a) codierter Zahlenwerte zu ei
nem ebenso codierten Wert bewirken (differenzbildendes Ele
ment), zwischen den aktuellen Netzausgangswerten und den dort
angestrebten Sollwerten je ein Fehler ermittelt. Dieser
Fehler wird multipliziert mit den nach den kennzeichnenden
Merkmalen des Anspruchs 2(d) nichtlinear überführten Ergeb
nissen der mittelnden Addition im Neuron und wirkt auf die
vorgeschalteten Gewichtselemente. Dort wird er entgegen der
Richtung der Verbindung der Arbeitsphase - jedoch über die
selbe multiplikative Gewichtung - an die mittelnde Addition
der vorgeschalteten Neuronen zurückgegeben. Lokal benutzt
wird im Gewichtselement der zurückfließende Fehler dazu, mul
tipliziert mit dem Neuronenausgang über die adaptiven Glieder
auf die integrativen Glieder einzuwirken. Aus Sicht der Lern
phase werden nun die Gewichte nicht als konstant angesehen,
sondern befinden sich jeweils innerhalb einer dieser integra
tiven Glieder. Somit werden die Gewichte vom Fehler beein
flußt. Das für die Back-Propagation-Methode typische Lernver
halten wird bei geeigneter und zueinander passender Wahl der
Parameter erreicht.
Solche Parameter sind: Dauer und Zyklus des Anlegens der
Trainingseingangs- und der Zielmuster, die das Zeitverhalten
bestimmenden Zählerkonstanten der adaptiven und der inte
grativen Glieder sowie die Folgenlängen der nichtlinearen
Überführungen. Auch in der Lernphase können ähnliche Eigen
schaften erzielt werden, wie sie Netze mit herkömmlichen
Rechenwerken aufweisen. Zusätzlich kann für den Trainings
vorgang zur Erreichung globaler Fehlerminima vorteilhaft
sein, daß stets eine stochastische Beeinflussung aller netz
internen Werte vorliegt.
Anhand der Abb. 1 bis 4 wird die Erfindung durch die
dargestellten Ausführungsbeispiele erläutert.
Es zeigen
Abb. 1: Darstellung einer skalierbaren mehr
schichtigen Netzanordnung für die
Arbeitsphase,
Abb. 2: Darstellung einer skalierbaren mehr
schichtigen Netzanordnung für die
Lernphase,
Abb. 3: Ein Funktionsschema der nichtlinearen
Übertragung in der Arbeitsphase nach
Anspruch 2(c),
Abb. 4: Ein Funktionsschema der nichtlinearen
Übertragung in der Lernphase nach
Anspruch 2(d).
Abb. 1 stellt ein Netz beliebiger Dimension dar, welches
die Arbeitsphase erfindungsgemäß realisiert. Ohne Einschrän
kung der Allgemeinheit der erfindungsgemäßen Lösung für be
liebige andere Anordnungen wird nur die häufig verwendete
Schichtenanordnung dargestellt. Die Neuronen bilden zwei
gekoppelte Teile, jeweils einen für die Arbeits- und
Lernphase. Die Gewichtung erfolgt in den Gewichtselementen,
wobei das Gewicht codiert am Ausgang eines integrativen
Gliedes zur Verfügung steht, und vor dem Neuroneneingang
multipliziert wird.
Abb. 2 stellt ein Netz beliebiger Dimension dar, welches
die Lernphase erfindungsgemäß realisiert. Ebenfalls ohne Ein
schränkung der Allgemeinheit wird nur die Schichtenanordnung
dargestellt. In den Gewichtselementen werden die Gewichte vom
vermittelten Fehler nach Multiplikation mit dem passenden
Neuronenausgangswert über ein zwischengeschaltetes adaptives
Glied in einem integrativen Glied verändert. Auch der Fehler
wird durch das Gewicht multiplikativ gewichtet und an die
vorgeschalteten Neuronen zurückgegeben. Es erfolgt eine
andere Anordnung der Gewichtselemente (Vertauschen der
Indizes) gegenüber der Darstellung in Abb. 1.
Abb. 3 stellt das Funktionsschema der ausgangseitigen
nichtlinearen Übertragung eines Neurons in der Arbeitsphase
dar. Die Folgenlänge n gleicher Werte des abgetasteten Er
gebnisses der mittelnden Addition bestimmt die Steilheit der
sigmoid-ähnlichen Übertragungskennlinie.
Abb. 4 stellt das Funktionsschema der nichtlinearen
Übertragung eines Neurons in der Lernphase dar. Die Folgen
länge n gleicher Werte des abgetasteten Ergebnisses der
mittelnden Addition bestimmt die Form (Höhe) der grob
sigmoid-ableitungs-ähnlichen Übertragungskennlinie.
[Bee90] Beerhold, J.; Jansen, M.; Eckmiller, R.;
Pulse Processing Neutral Net Hardware with
Selectable Topology and Adaptive Weights and
Delays, IEEE Intern. Joint Conf. on Neutral
Networks II-569 bis II-574, San Diego 1990
[Bra92] Brauch, Jeff; Tam, Simon M.; Holler Mark A.; Shmurun Arthur L.; Analog VLSI Neural Networks for Impact Signal Processing, IEEE Micro, Dez. 1992
[Cro92] Croall, I. F.; Mason, J. P. (Eds.); Industrial Applikations of Neural Networks-Project ANNIE Handbook, Springer-Verlag, Berlin 1992
[Egu91] Eguchi, H.; Futura, T.; Horiguchi, H.; Oteki, S.; Kitaguchi, T. Neural Network LSI chip with on-chip learning, IEEE Intern. Joint Conf. on Neural Networks I-453 bis I-456, Singapore 1991
[Hol91] Holler, Mark A.; VLSI Implementations of Learning and Memory Systems: A Review, Proc. Conf. on Neural Information Processing Systems III 993-1000, San Mateo CA, Morgan Kaufmann 1991
[MD90] N.N.; NBS Neural Bit Slice MD1220-Designer′s Reference Manual, Firmenschrift Fa. Micro Devices, Orlando 1990
[Roj93] Rojas, Raul; Theorie der Neuronalen Netze, Springer-Verlag, Berlin 1993
[Tom88] Tomlinson, Max Stanford jr.; Implementing Neural Networks, Diss. Univ. of California, San Diego 1988
[Tom90] Tomlinson, Max Stanford jr.; Walker, Dennis J.; Sivilotti, A. Massiomo; Implementing Neural Networks, IEEE Intern. Joint Conf. on Neural Networks II-545 bis II-550, San Diego 1990
[Sha91] Shawe-Taylor, J.; Jeavons, P.; Daalen Van, M.; Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317 bis 328, Abingdon Oxfordshire 1991
[1] Nguyen, D. D.; Holt F. B.; Neural Network using stochastic processing 1990 (1989) US Patent 4, 972, 363
[Bra92] Brauch, Jeff; Tam, Simon M.; Holler Mark A.; Shmurun Arthur L.; Analog VLSI Neural Networks for Impact Signal Processing, IEEE Micro, Dez. 1992
[Cro92] Croall, I. F.; Mason, J. P. (Eds.); Industrial Applikations of Neural Networks-Project ANNIE Handbook, Springer-Verlag, Berlin 1992
[Egu91] Eguchi, H.; Futura, T.; Horiguchi, H.; Oteki, S.; Kitaguchi, T. Neural Network LSI chip with on-chip learning, IEEE Intern. Joint Conf. on Neural Networks I-453 bis I-456, Singapore 1991
[Hol91] Holler, Mark A.; VLSI Implementations of Learning and Memory Systems: A Review, Proc. Conf. on Neural Information Processing Systems III 993-1000, San Mateo CA, Morgan Kaufmann 1991
[MD90] N.N.; NBS Neural Bit Slice MD1220-Designer′s Reference Manual, Firmenschrift Fa. Micro Devices, Orlando 1990
[Roj93] Rojas, Raul; Theorie der Neuronalen Netze, Springer-Verlag, Berlin 1993
[Tom88] Tomlinson, Max Stanford jr.; Implementing Neural Networks, Diss. Univ. of California, San Diego 1988
[Tom90] Tomlinson, Max Stanford jr.; Walker, Dennis J.; Sivilotti, A. Massiomo; Implementing Neural Networks, IEEE Intern. Joint Conf. on Neural Networks II-545 bis II-550, San Diego 1990
[Sha91] Shawe-Taylor, J.; Jeavons, P.; Daalen Van, M.; Probabilistic Bit Stream Neural Chip: Theory, Connection Science 3 (3) 317 bis 328, Abingdon Oxfordshire 1991
[1] Nguyen, D. D.; Holt F. B.; Neural Network using stochastic processing 1990 (1989) US Patent 4, 972, 363
Claims (5)
1. Verfahren zur Realisierung der Arbeits- und Lernphase Neu
ronaler Back-Propagation-Netze mittels stochastischer
Rechenwerke, bei dem
- I. in der Arbeitsphase
- (a) die Netzeingangswerte bipolar in unabhängige Wahr scheinlichkeiten eines binären Wertes codiert wer den und dann
- (b) in einer Gewichtselement genannten Anordnung mit Hilfe der vorzeichenbeachtenden Multiplikation mit ebenfalls bipolar stochastisch codierten, zuvor di gital gespeicherten Gewichten eine Wichtung vorge nommen wird,
- (c) worauf die Werte in einer Neuron genannten Anord nung einer mittelnden Addition durch zufällig wech selnde Auswahl eines Eingangs unterzogen werden, um dann über
- (d) eine nichtlineare Einrichtung mit sigmoid-ähnlicher Übertragung, anschließend
- (e) über Gewichtselemente an beliebig viele Eingänge weiterer gleichartiger nachgeschalteter Neuronen verteilt zu werden, die abschließend einen Netzaus gang bilden,
- II. in der Lernphase
- (a) ein von einem Netz in der Arbeitsphase bereits ermitteltes Netzausgangsmuster - bestehend aus bipolar stochastisch codierten Werten - durch Vergleich mit dem ebenfalls bipolar stochastisch codierten Trainingszielmuster über eine Subtrak tion zu einem Fehlervektor verknüpft wird,
- (b) dieser Fehler, multipliziert mit den nichtlinear sigmoid-ableitungs-ähnlich überführten Ergebnissen der mittelnden Addition der Arbeitsphase, im Neu ron über Multiplikation mit dem vorgeschalteten Neuronenausgang verknüpft wird und folgend
- (c) eine Einrichtung zur gleitenden stochastischen Mittelwertbildung (adaptives Glied) integrierend (integratives Glied) auf die gespeicherten Ge wichte der vorgeschalteten Gewichtselemente ein wirkt, wobei
- (d) dieser Fehler gleichzeitig auch über eine Multi plikation mit dem verbindenden Gewicht an vorge schaltete Neuronen geführt wird, um
- (e) sich dort in gleicher Weise und nach gleicher An ordnung wie der ursprüngliche Fehler auszuwirken, dann
- (f) zu weiteren zugeleiteten Fehlern durch mittelnde Addition hinzugefügt wird und
- (g) nach dieser Verarbeitung an weitere vorgeschaltete Neuronen nach erneuter Multiplikation mit den ver bindenden Gewichten weitergeleitet wird.
2. Einrichtung zur Realisierung des Verfahrens nach
Anspruch 1,
dadurch gekennzeichnet, daß sie
dadurch gekennzeichnet, daß sie
- (a) ein Funktionsglied aufweist, welches eine bipolare analoge Größe oder einen vorzeichenbehafteten digi talen Zahlenwert in eine Wahrscheinlichkeit für einen der binären Werte für die Arbeits- und Lernphase umco diert, indem zuvor der größtmögliche vorzeichenlose Betrag der Größe oder des Zahlenwertes einmalig be stimmt oder abgeschätzt wird und die entstehende Wahrscheinlichkeit für den Wert 1 dadurch zu beschrei ben ist, daß die zu codierende Größe bzw. der zu co dierende digitale Zahlenwert durch den größtmöglichen Betrag dividiert wird, das Ergebnis dieser Division um Eins erhöht und danach halbiert wird,
- (b) ein Funktionsglied aufweist, welches zur einfachen vorzeichenbehafteten Multiplikation für die Arbeits- und Lernphase zweier bipolar stochastisch codierter analoger Größen bzw. digitaler Zahlenwerte geeignet ist und in dem eine Verknüpfung der digital reali sierten Wahrscheinlichkeiten mit Hilfe eines digi taltechnischen Äquivalenzgliedes erfolgt,
- (c) ein Funktionsglied aufweist, welches die Erzeugung der nichtlinearen sigmoid-ähnlichen Übertragung der mit telnden Addition eines Neurons bewirkt, indem nach einer festen Anzahl Abtastungen des Ergebnisses der mittelnden Addition mit ununterbrochen gleichen Werten eine Umschaltung des Neuronenausgangs auf diesen Wert erfolgt oder - falls schon vorliegend - dieser Wert beibehalten wird, bei geringerer als dieser Anzahl gleicher Abtastwerte jedoch keine Umschaltung erfolgt, wobei nach längerer Beobachtung sich von der Eingangs wahrscheinlichkeit eine sigmoid-ähnliche Übertragungs kennlinie zur Ausgangswahrscheinlichkeit ergibt und deren Steilheit über diese feste Anzahl einstellbar ist,
- (d) ein Funktionsglied aufweist, welches die Erzeugung der nichtlinearen sigmoid-ableitungs-ähnlichen Übertragung der mittelnden Addition eines Neurons bewirkt, so daß bei Erreichen und Überschreiten einer festen Anzahl Abtastungen des Ergebnisses der mittelnden Addition mit gleichen Werten eine Umschaltung des Neuronenaus gangs auf einen zufälligen Wert mit gleicher Wahr scheinlichkeit für 0 und 1 erfolgt, ansonsten konstant der Wert 1 am Neuronenausgang anliegt, wobei nach län gerer Beobachtung sich von der Eingangswahrscheinlich keit eine nichtlineare Übertragungskennlinie zur Aus gangswahrscheinlichkeit ergibt, die in ihrem prinzi piellen Verlauf der ersten Ableitung der sigmoid-ähn lichen Übertragungsfunktion grob ähnlich ist und deren Form über diese feste Anzahl veränderbar ist,
- (e) ein Funktionsglied aufweist, welches adaptiv den glei tenden Mittelwert der Multiplikation von Fehler und Aktivität im Gewichtselement bildet und
- (f) ein Funktionsglied diesem nachgeschaltet wird, welches integrativ den Mittelwert bildet und in welchem der Wert des Gewichts gespeichert wird.
3. Einrichtung nach Anspruch 2,
dadurch gekennzeichnet,
daß alle Funktionsglieder zeitlich synchron zu einem im
Netz globalen Takt wirken.
4. Einrichtung nach Anspruch 2,
dadurch gekennzeichnet,
daß Gruppen der Funktionsglieder zeitlich synchron zu
einem in der Gruppe wirkenden Takt arbeiten.
5. Einrichtung nach Anspruch 2,
dadurch gekennzeichnet,
daß die Funktionsglieder zeitlich mit eigenem Takt funk
tionieren.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4404974A DE4404974C1 (de) | 1994-02-17 | 1994-02-17 | Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4404974A DE4404974C1 (de) | 1994-02-17 | 1994-02-17 | Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke |
Publications (1)
Publication Number | Publication Date |
---|---|
DE4404974C1 true DE4404974C1 (de) | 1995-07-13 |
Family
ID=6510423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4404974A Expired - Fee Related DE4404974C1 (de) | 1994-02-17 | 1994-02-17 | Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE4404974C1 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19523293A1 (de) * | 1995-06-28 | 1997-01-02 | Hein Ruediger Dipl Wirtsch Ing | Verfahren und Anordnungen zur Realisierung eines nichtlinearen Übertragers mit glockenförmiger Kennlinie für Neuronale Netze in stochastischer Rechentechnik |
DE19707410A1 (de) * | 1997-02-25 | 1998-08-27 | Bundesrep Deutschland | Verfahren und Anordnung zum Betrieb und Aufbau parallel arbeitender Netze zur Entmischung von Signalgemischen linear unabhängiger Signale mittels stochastischer Rechenwerke |
WO2018091333A1 (de) | 2016-11-18 | 2018-05-24 | Robert Bosch Gmbh | Verfahren zum berechnen einer ausgabe eines neuronalen netzes |
WO2018158043A1 (de) | 2017-03-01 | 2018-09-07 | Robert Bosch Gmbh | Neuronalnetzsystem |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4893255A (en) * | 1988-05-31 | 1990-01-09 | Analog Intelligence Corp. | Spike transmission for neural networks |
US4972363A (en) * | 1989-02-01 | 1990-11-20 | The Boeing Company | Neural network using stochastic processing |
-
1994
- 1994-02-17 DE DE4404974A patent/DE4404974C1/de not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4893255A (en) * | 1988-05-31 | 1990-01-09 | Analog Intelligence Corp. | Spike transmission for neural networks |
US4972363A (en) * | 1989-02-01 | 1990-11-20 | The Boeing Company | Neural network using stochastic processing |
Non-Patent Citations (1)
Title |
---|
GB-Z.: SHAWE- TAYLOR, John et al.: Probabilistic Bit Stream Nenral Chip: Theory. In: Connection Science Vol.3 (1991) No.3, S.317-328 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19523293A1 (de) * | 1995-06-28 | 1997-01-02 | Hein Ruediger Dipl Wirtsch Ing | Verfahren und Anordnungen zur Realisierung eines nichtlinearen Übertragers mit glockenförmiger Kennlinie für Neuronale Netze in stochastischer Rechentechnik |
DE19523293C2 (de) * | 1995-06-28 | 1999-11-11 | Ruediger Hein | Verfahren und Schaltungsanordnung zur Realisierung des nichtlinearen Übertragers mit glockenförmiger Kennlinie für Neuronale Netze in stochastischer Rechentechnik |
DE19707410A1 (de) * | 1997-02-25 | 1998-08-27 | Bundesrep Deutschland | Verfahren und Anordnung zum Betrieb und Aufbau parallel arbeitender Netze zur Entmischung von Signalgemischen linear unabhängiger Signale mittels stochastischer Rechenwerke |
DE19707410C2 (de) * | 1997-02-25 | 1999-10-21 | Bundesrep Deutschland | Verfahren und Anordnung zum Betrieb und Aufbau parallel arbeitender Netze zur Entmischung von Signalgemischen linear unabhängiger Signale mittels stochastischer Rechenwerke |
WO2018091333A1 (de) | 2016-11-18 | 2018-05-24 | Robert Bosch Gmbh | Verfahren zum berechnen einer ausgabe eines neuronalen netzes |
DE102016222814A1 (de) | 2016-11-18 | 2018-05-24 | Robert Bosch Gmbh | Verfahren zum berechnen einer ausgabe eines neuronalen netzes |
US11301749B2 (en) | 2016-11-18 | 2022-04-12 | Robert Bosch Gmbh | Method for calculating an output of a neural network |
WO2018158043A1 (de) | 2017-03-01 | 2018-09-07 | Robert Bosch Gmbh | Neuronalnetzsystem |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4042139C2 (de) | Neuron-Einheit | |
DE3883192T2 (de) | Neuronale Netzwerkschaltung und -struktur. | |
EP0123921B1 (de) | Parallelverknüpfungsschaltung mit verkürztem Übertragsdurchlauf | |
US7395251B2 (en) | Neural networks for prediction and control | |
DE112016003245T5 (de) | Resistive Verarbeitungseinheit | |
DE68928406T2 (de) | Unscharfer Rechner | |
DE69419813T2 (de) | Vorrichtung und Verfahren zur Erzeugung einer annähernden Funktion | |
DE4143073A1 (de) | Mehrschichtiges neuronales netzwerk | |
DE69223221T2 (de) | Datenverarbeitungssystem mit geteilter nicht-linearer Funktion | |
DE112018004992B4 (de) | Übertragung synaptischer gewichte zwischen leitfähigkeitspaaren mitpolaritätsumkehr zum verringern fester einheitenasymmetrien | |
DE2657825A1 (de) | Schaltungsanordnung zur multiplikation beliebiger feldelemente in einem galois-feld gf (2 hoch m ) | |
DE69719058T2 (de) | Verbessertes neuronales netzwerk | |
EP0349820A1 (de) | Netzwerk -Baustein und Architektur für die programmierbare Emulation künstlicher neuronaler Netze mit digitaler Arbeitsweise | |
DE69030190T2 (de) | Unscharfe steuervorrichtung mit der fähigkeit eine regel und ihr betriebsverfahren zu wechseln und ein durch unscharfe inferenz schaltgesteuertes steuersystem und sein steuerverfahren | |
DE112020002186T5 (de) | Dnn-training mit asymmetrischen rpu-einheiten | |
DE112019005119T5 (de) | Abgleichtechniken zum angleichen des symmetriepunktes als null-gewichtungspunkt in analogen kreuzungspunktanordnungen | |
DE68925625T2 (de) | Verfahren zur Rückführung von Fehlern und neuronale Netzstruktur | |
DE69818863T2 (de) | Binäre kodeumsetzer und kodevergleicher | |
WO2018158043A1 (de) | Neuronalnetzsystem | |
DE2618823B2 (de) | Generator zur Erzeugung periodischer Folgen | |
DE19503147C2 (de) | Chaos-Neuronen-Schaltung und diese verwendendes Neuronales Chaos-Netzwerk | |
DE4404974C1 (de) | Verfahren und Einrichtung zur Realisierung von Neuronalen Back-Propagation-Netzen mittels stochastischer Rechenwerke | |
DE19718224A1 (de) | Digitaler Neuroprozessor | |
DE69126052T2 (de) | Neuronales Netzwerk | |
WO2004031938A2 (de) | Vorrichtung und verfahren zum umsetzen und addiererschaltung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of patent without earlier publication of application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: BRANDT, HOLGER, 51465 BERGISCH GLADBACH, DE RIEMSC |
|
8339 | Ceased/non-payment of the annual fee |