DE3689030T2 - Schaltung zur Bestimmung der besten Anpassung an Eingangssignale. - Google Patents
Schaltung zur Bestimmung der besten Anpassung an Eingangssignale.Info
- Publication number
- DE3689030T2 DE3689030T2 DE86308508T DE3689030T DE3689030T2 DE 3689030 T2 DE3689030 T2 DE 3689030T2 DE 86308508 T DE86308508 T DE 86308508T DE 3689030 T DE3689030 T DE 3689030T DE 3689030 T2 DE3689030 T2 DE 3689030T2
- Authority
- DE
- Germany
- Prior art keywords
- amplifier
- input
- circuit arrangement
- epsi
- amplifiers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006870 function Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008054 signal transmission Effects 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005284 basis set Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005328 spin glass Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06J—HYBRID COMPUTING ARRANGEMENTS
- G06J1/00—Hybrid computing arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
- H03M1/124—Sampling or signal conditioning arrangements specially adapted for A/D converters
- H03M1/1245—Details of sampling arrangements or methods
- H03M1/125—Asynchronous, i.e. free-running operation within each conversion cycle
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
- H03M1/34—Analogue value compared with reference values
- H03M1/38—Analogue value compared with reference values sequentially only, e.g. successive approximation type
- H03M1/42—Sequential comparisons in series-connected stages with no change in value of analogue signal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Neurology (AREA)
- Fuzzy Systems (AREA)
- Analogue/Digital Conversion (AREA)
- Amplifiers (AREA)
- Control Of Motors That Do Not Use Commutators (AREA)
- Communication Control (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Networks Using Active Elements (AREA)
Description
- Die Erfindung betrifft Schaltungsanordnungen zur Bestimmung einer besten Anpassung zwischen Eingangssignalen und einer Auswahl von Grundfunktionen.
- Digitale Computer sind allgegenwärtig und ziemlich leistungsstark, das heißt aber nicht, daß digitale Computer nicht bestimmten Begrenzungen bei der Lösung von Problemen unterliegen. Tatsächlich erfordern viele praktische Probleme einen so enormen Rechenaufwand, daß eine Lösung in Echtzeit nicht möglich ist. Auf solche Schwierigkeiten stößt man beispielsweise bei Programmen, die dazu dienen, aus einem Speicher die Information auszuwählen, die bekannte Eigenschaften oder Deskriptoren (die man auch als "Hinweise" ("Clues") bezeichnen kann) am besten erfüllt, wenn die Hinweise nicht ausreichen, die Information vollständig festzulegen. Die Mustererkennung ist ein anderes Beispiel dafür, daß das Rechenproblem für digitale Computer zu groß ist.
- Die meisten Fachleute dulden entweder die Beschränkungen digitaler Allzweckrechner oder entwickeln digitale Sonderzweckrechner, um ihre besonderen Probleme effizienter zu lösen.
- In einer gleichzeitig anhängenden Anmeldung mit der Bezeichnung "Electronic Network For Collective Decision Based On Large Number Of Connections Between Signals", von J. J. Hopfield, wurde eine verallgemeinerte Schaltungsanordnung offenbart, die N Verstärker mit hoher Verstärkung und eine N · N Verbindungsmatrix mit N Eingangsleitungen und N Ausgangsleitungen aufweist. Die Verstärker weisen eine s-förmige Eingang- Ausgang- Beziehung auf mit einem minimal und maximal möglichen Ausgangssignal, das als eine "0" oder "1" aufgefaßt werden kann. Jede Eingangsleitung der Matrix ist mit dem Eingang eines anderen Verstärkers verbunden, wobei die Ausgangsanschlüsse (positiv und negativ) jedes Verstärkers mit einer anderen Matrix-Ausgangsleitung verbunden sind. Jeder Verstärker weist außerdem eine Eingangskapazität Ci und einen Eingangswiderstand Pi auf. Innerhalb der Verbindungsmatrix ist jede Eingangsleitung i mit einer Ausgangsleitung j über einen Widerstand Ri,j verbunden. Bei der offenbarten Schaltungsanordnung genügt jeder Verstärker der Bewegungsgleichung der Schaltung
- wobei
- Tij = [(1/Rij) * sgn des Ausgangs des Verstärkers j], ui die Eingangsspannung am Verstärker i, Vj die Ausgangsspannung des einen Verstärkers j, und Ii der in den Eingangsanschluß des Verstärkers i (z. B. von einer Quelle hoher Impedanz) eingeführte Strom ist.
- Durch die Dynamik der offenbarten Schaltungsanordnung (wie sie durch die obige Gleichung spezifiziert ist) wird das Netzwerk in einen von mehreren vorbestimmten stabilen Zuständen getrieben, der ein Ausgangsmuster von binären 1'en und 0'en darstellt (da die Verstärker eine hohe Verstärkung haben).
- Wenn die Verstärker i zum Zugriff auf die Informationen in einem assoziativen Speicher verwendet werden, werden die Eingangsspannungen der Verstärker im Einklang mit den einzelnen Bits des Eingangswortes für jeden Hinweis (Deskriptor), der für die erwünschte Information bekannt ist, gesetzt. Alternativ kann ein konstanter Strom jedem Eingang proportional zum Vertrauen darauf, daß die Spannung Vi in der Endantwort "1" sein soll, zugeführt werden. Wenn die Verstärker einmal aktiviert sind, gehen sie in einen stabilen Zustand, und produzieren am Ausgang ein einheitliches Wort, das die Information selbst darstellt, die die Adresse eines Speicherplatzes in einem anderen Speicher enthalten kann, der dann einen Block von Wörtern hervorbringen kann, die die Information enthalten, die durch den Deskriptor festgelegt ist, der zum Speichern und Auslesen des einheitlichen Wortes aus dem assoziativen Speicher verwendet wird.
- Bei einer Verwendung für Problemlösungen können alle Eingänge näherungsweise auf den gleichen Wert gesetzt werden, beispielsweise auf Null, oder in einem Muster gehalten werden, das die Eingangsinformation darstellt, und das Ausgangsmuster aus den Bits "1" und "0" legt die Lösung fest. Bei beiden Anwendungen, d. h. bei der Problemlösung oder Informationswiedergewinnung, liefert das Ausgangssignal in binärer Form eine sehr gute Lösung des gegebenen Problems.
- Obwohl die offenbarte Schaltung einen stabilen Lösungszustand schnell und effizient erreicht, ist nicht sichergestellt, daß die optimale Lösung zu einem gegebenen Problem gefunden wird. Das liegt daran, daß die Topology des Lösungsraums sehr grob ist und viele lokale Minima aufweist, und deshalb viele gute Lösungen der optimalen Lösung ähnlich sind. Sehr gute und schnell berechnete Lösungen von schwierigen Problemen bei der Erkennung und Wahrnehmung in Bereichen der Robotertechnik und der Biologie können ausreichende Informationen für den praktischen Gebrauch liefern, aber in einigen Anwendungsfällen ist die exakte oder beste Lösungen erwünscht.
- Ein Bericht der National Acadamy of Science USA, Vol. 81, Mai 1984, Seiten 3088-3092; J. J. Hopfield: "Neurons with graded response have collective computational properties like those of two-state neurons handelt von einer mathematischen Analyse des Verhaltens zweier Schaltungen. Eine davon ist eine klassische Schaltung (sie ist der später unter Bezugnahme auf Fig. 1 hierin beschriebenen Schaltung ähnlich), bei der die Verstärker eine sehr hohe Verstärkung aufweisen und grundsätzlich Elemente mit zwei Zuständen (0 und 1) sind, und die andere die klassische Schaltung ist, bei der die Verstärker analoge Ausgänge haben. Die Veröffentlichung zeigt, daß das Verhalten der beiden Schaltungen im wesentlichen gleich ist.
- Der Erfindung liegt daher die Aufgabe zugrunde, ein Netzwerk analoger Prozessoren in Verbindung mit Zerlegungsprozessen zu verwirklichen.
- Gemäß der Erfindung wird eine in Anspruch 1 beanspruchte Schaltungsanordnung geschaffen.
- Bei einer Ausführungsform der Erfindung ist ein analoges Netzwerk mit hohem Verbindungsgrad aufgebaut, um einen spezifischen Zerlegungsprozeß auszuführen. Das Netzwerk weist analoge Verstärker auf, die mit einer ohmschen Verbindungsmatrix verbunden sind, die wie bei dem bekannten Netzwerk jeden Verstärkerausgang mit dem Eingang aller anderen Verstärker verbindet. Die konkreten Verbindungen in der Matrix werden mit Leitwertelementen erzielt, deren Werte gemäß dem Satz von Zerlegungsfunktionen, für die die Lösung gesucht wird, berechnet werden. Zusätzlich zu der spezifizierten Verbindung, die durch die Verbindungsmatrix ausgeführt ist, enthält das analoge Netzwerk eine zweite Matrix, die außen angelegte Spannungen über Widerstände an die Verstärkereingänge anlegt, deren Werte ebenfalls gemäß dem Satz von Zerlegungsfunktionen berechnet werden, für die die Lösung gesucht wird. Die Schaltung kann ihre Lösung durch einen Prozeß simulierten Hochfahrens finden, wobei die Verstärkungen der Verstärker anfänglich auf niedrige Werte gesetzt sind und dann langsam auf ihren maximalen Wert erhöht werden. Dieser Prozeß verhindert, daß die Schaltung in ein lokales Minimum getrieben wird.
- Die Erfindung wird unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
- Fig. 1 ein Analog-Netzwerk mit hohem Verbindungsgrad nach dem Stand der Technik,
- Fig. 2 ein die Erfindung verwirklichendes Netzwerk zur Ausführung eines 4-Bit-Analog-Digital-Umsetzprozesses,
- Fig. 3 ein abgetastetes Signal, daß durch ein die Erfindung verwirklichendes Netzwerk zerlegt werden kann,
- Fig. 4 eine Vielzahl von Gaußfunktionen, die, wenn sie zusammengesetzt werden, das abgetastete Signal der Fig. 3 bilden,
- Fig. 5 ein Netzwerk zur Ausführung einer Zerlegung eines Signals, das eine Vielzahl von Abtastwerten enthält, und
- Fig. 6 eine Darstellung zur Beschreibung des Schaltungsverhaltens unter Ansprechen auf das Ändern der Größe der Verstärkungen der Verstärker.
- Fig. 1 zeigt ein schematisches Schaltbild eines Mehrprozessor- Rechennetzwerkes, das in der oben erwähnten, gleichzeitig anhängigen Anmeldung offenbart ist. Es weist Verstärker 10 auf, die eine positive und fakultativ eine negative Verstärkung liefern, wobei deren Ein-und Ausgänge über ein Verbindungsnetzwerk 20 miteinander verbunden sind. Eine physikalische Ausführungsform eines Verstärkers weist notwendigerweise eine Impedanz am Eingang auf, die hauptsächlich ohmscher und kapazitiver Natur ist. Sie ist in Fig. 1 durch Widerstände 11 (Pi) und Kondensatoren 12 (Ci) dargestellt. Jeder Knoten in der Verbindungsmatrix 20 ist durch einen fetten schwarzen Punkt 21 dargestellt, wobei jeder Knoten einen Widerstand Rij aufweist, der einen mit einem Ausgang eines Verstärkers i verbundenen Pfad der Matrix 20' beispielsweise den Pfad 22, mit einem mit dem Eingang eines Verstärkers j verbundenen Pfad der Matrix 20, beispielsweise dem Pfad 23, verbindet. Außerdem ermöglicht die in Fig. 1 dargestellte Schaltungsanordnung außen angelegte Ströme in die Pfade 23, die mit den Eingängen der Verstärker 10 verbunden sind, einzuspeisen. Der Strom Ii stellt den Eingangsstrom zu dem Pfad 23 dar, der mit dem Verstärker i verbunden ist. Die Spannung Vi stellt die Ausgangsspannung des Verstärkers i dar.
- Die das Zeitverhalten beschreibende Bewegungsgleichung der in Fig. 1 gezeigten Schaltungsanordnung ist durch
- gegeben, wobei ui die Eingangsspannung des Verstärkers i ist, gi die Übertragungsfunktion des Verstärkers i, d. h. Vj = gj (uj) und
- Es wurde bereits in der zuvor erwähnten, gleichzeitig anhängenden Anmeldung gezeigt, daß, wenn die Gleichung
- berücksichtigt wird, und die Terme Tij und Tji gleich sind sowie die Verstärkung der Verstärker sehr groß ist, die nach der Zeit abgeleitete Gleichung (2) sich auf
- reduziert. Der Klammerausdruck in Gleichung (3) entspricht der rechten Seite der Gleichung (1). Das bedeutet, daß eine Änderung (mit der Zeit) der Eingangsspannung am Verstärker i multipliziert mit der Änderung (mit Zeit) der Ausgangsspannung am Verstärker i, die über alle Verstärker aufaddiert wird, gleich dE/dt der Gleichung (3) und gleich dem Ausdruck ist:
- Da keiner der Terme in Gleichung (4) negativ ist, ist dE/dt negativ und nähert sich dem Wert 0 (Stabilität), wenn dVi/dt sich für alle i dem Wert 0 nähert.
- Nach der obigen Analyse bedeutet das, daß ein vorgelegtes Problem, das die für die obigen Gleichungen angegebenen Bedingungen erfüllt, durch die Schaltungsanordnung der Fig. 1 gelöst werden kann, wenn die Werte Tij und die Eingangsströme Ii geeignet ausgewählt werden, ein Anfangssatz von Verstärkereingangsspannungen bereitgestellt wird, und das Analog-System irgendwann in einen stabilen Zustand konvergiert.
- Eine Klasse von Problemen, die auf diese Weise vorteilhaft gelöst werden kann, ist die Klasse von Zerlegungsproblemen, bei denen man versucht, ein Eingangssignal durch einen Satz "Bester Anpassung" anderer, nicht-orthogonaler Signale darzustellen. Ein solches Problem ist beispielsweise die Analog-Digital-Umsetzung. Ein anderes Beispiel ist die Zerlegung eines komplexen Signals (das durch eine Folge von Spannungsabtastwerten dargestellt wird), in einen Satz vorgewählter Funktionen.
- Um unsere Erfindung verständlicher zu beschreiben, wird im folgenden die eingeschlagene Vorgehensweise erläutert, um das Problem bei der Analog-Digital-Umsetzung zu lösen. Danach werden die beschriebenen Konzepte soweit ausgedehnt, daß alle Klassen der Zerlegungsprobleme erfaßt werden.
- In Verbindung mit dem Analog-Digital-Umsetzungsverfahren ist es bekannt, daß die Umsetzung eines Signals aus einer analogen Darstellung in eine digitale Darstellung bedeutet, daß ein analoges Signal x näherungsweise gleich der gewichteten Summe erzeugter digitaler Signale (V&sub1;, V&sub2;, . . . VN) ist, von denen angenommen wird, daß sie x darstellen. Das heißt ein Signal x', das eine Näherung des Signals x darstellt, kann folgendermaßen ausgedrückt werden:
- Ein bekanntes Maß für die "Güte" von x' ist die quadratische Differenz zwischen dem Signal x und dem Signal x'. Dieser Gedanke ist in der folgenden Gleichung verkörpert:
- Die Gleichung (6) gibt an, daß der optimale Wert von x' zu einem minimierten Wert von E führt. Ein Erweitern und Umformen der Gleichung (6) führt zu einer Form, die der Gleichung (1) plus einer Konstanten ähnlich ist, wodurch angedeutet wird, daß ein Analog-Digital-Wandler in der Tat mit einer Schaltungsanordnung realisiert werden kann, die der aus Fig. 1 ähnlich ist.
- Leider liegen die durch die Gleichung (6) festgelegten Minima der Funktion nicht notwendigerweise nahe genug bei 0 und 1, um als digitale Logikpegel, die ein Analog-Digital-Wandler erzeugen muß, identifiziert zu werden.
- Wir umgehen dieses Problem, indem ein zusätzlicher Term zu der Energiefunktion der Gleichung (6) hinzugefügt wird. Wir wählen den Term
- denn er begünstigt digitale Darstellungen, da der Ausdruck Null wird, wenn alle Vi Terme auf 0 oder 1 beschränkt werden. Wenn die Gleichung (7) mit der Gleichung (6) kombiniert und umgeformt wird, ergibt sich die Gleichung
- die auch der Form der Gleichung (1) entspricht, wenn wir die Verbindungsmatrixelemente und die Eingangsströme wie folgt kennzeichnen:
- Tij = - 2(i+j)
- und
- Ii = (- 2(2i-1) + 2ix).
- Fig. 2 stellt eine 4 Bit-Analog-Digital-Wandlerschaltung dar, die mit einer Verbindungsmatrix aufgebaut ist, die der Gleichung (8) genügt. Die Analog-Digital-Wandlerschaltung weist auf: invertierende Verstärker 10 mit Eingangsleitungen 22 und Ausgangsleitungen 23, eine Verbindungsmatrix 20, die die Leitungen 23 mit den Leitungen 22 über Knoten 21 verbindet, und eine Verbindungsmatrix 30, die eine Referenzspannung -V (z. B. -1 Volt) an eine Leitung 31 und ein Eingangssignal x an eine Leitung 32 anlegt. Beide Signale -V und x kommunizieren über Knoten 33 mit den Leitungen 22.
- Gemäß der Spezifikation der Gleichung (8) nimmt jedes Element Tij den Wert 2i+j (mit Ausnahme bei i = j, wo Tij nicht existiert) an. Das sind die in Fig. 2 verstärkt dargestellten Verbindungen. Gemäß der Spezifikation der Gleichung (8) besitzt jeder Eingangsstrom Ii den Wert - 22i-1 + 2ix. Die Matrix 30 realisiert diese Ströme über die verstärkt dargestellten Verbindungen, die Leitwertelemente mit einem spezifizierten Wert darstellen.
- Wie früher bereits erwähnt, dient das hier vorgestellte Analog- Digital-Umsetzungsverfahren lediglich erläuternden Zwecken, wobei viele Zerlegungsprozesse mit einer Schaltung, wie sie in Fig. 2 gezeigt ist, ausgeführt werden können.
- Wenn beispielsweise einen Satz Grundfunktionen (beispielsweise Gaußfunktionen) darstellt, die den Signalraum x (Signalabtastwerte) umfassen, dann beschreibt die Funktion
- ein Netzwerk, das ein Energieminimum hat, wenn die digitale Kombination "Bester Anpassung" der Grundfunktionen ausgewählt wird (mit Vi = 1), um das Signal zu beschreiben. Der Term stellt übrigens das Skalarprodukte des Signals mit sich selbst dar. Die Gleichung (9) kann erweitert und umgeformt werden, um die Form
- anzunehmen, wobei die Gleichung (10) der Form der Gleichung (1) plus einer Konstanten entspricht. Daß heißt, wie bei Gleichung (8), können die Terme Tij und Terme Ii festgelegt werden, damit die Gleichung (10) mit Gleichung (1) übereinzustimmen scheint, und dabei eine Entsprechung zwischen den Elementen in der Gleichung und den physikalischen Parametern des in der Fig. 2 gezeigten Netzwerkes zu erzielen. Für die Gleichung (10) gilt speziell
- ®.
- Ein Beispiel könnte angebracht sein.
- Es wird das Problem der Zerlegung einer Zeitfolge analoger Signale betrachtet, die sich aus der linearen Addition zeitlich getrennter Gaußimpulse unterschiedlicher Breite ergeben. Ein typisches summiertes Signal ist in Fig 3 dargestellt, wobei die verschiedenen Gaußimpulse, aus denen das Signal zusammengesetzt ist, in Fig. 4 dargestellt sind. Der Zerlegungsprozeß muß diesen besonderen Untersatz aller möglichen Grundfunktionen bestimmen, die, wenn sie aufaddiert sind, das Signal in Fig. 3 wiederherstellen. Wie durch die Punkte 100 auf der Kurve in Fig. 3 angedeutet, ist eine Vielzahl von Abtastwerten von dem Signal der Fig. 3 verfügbar, wobei diese Abtastwerte die analogen Daten xi mit i = 1, 2, . . . , N enthalten. Der Basissatz, der alle möglichen "Pulse" festlegt, entspricht den Gaußfunktionen der Form
- wobei der Breitenparameter σ eine endliche Anzahl von Werten annimmt, während die Spitzenposition des Impulses t irgendeinen der N Augenblicke darstellen kann, zu denen die Abtastwerte des in Fig. 3 dargestellten Signals abgetastet werden. Da der Basissatz durch zwei Parameter spezifiziert ist, nämlich die Breite und die Spitzenposition, können die in dem Zerlegungsnetzwerk verwendeten Verstärker günstigerweise mit den beiden Indizes σ, t indiziert werden. Bei der Beschreibung der Zerlegung enthält jede dieser Grundfunktionen einen digitalen Koeffizienten (Vσt), der dem Ausgangssignal eines Verstärkers in dem Netzwerk entspricht und der das Vorhandensein oder das Fehlen dieser Funktion in dem zu zerlegenden Signal darstellt. Für V20,10 = 1 bedeutet das beispielsweise, daß eine Gaußfunktion mit einer Spitze im Zeitpunkt des Abtastwertes 20 und mit einer Breite von 10 in dem Lösungssatz enthalten ist.
- Unter Berücksichtigung des oben Gesagten, gilt für die Energiefunktion, die ein analoges, dieses besondere Zerlegungsproblem lösendes Rechennetzwerk beschreibt:
- mit der Grundfunktion, wie sie in Gleichung (12) definiert ist. Dieser Ausdruck definiert einen Satz von verstärkten dargestellten Verbindungen Tσt,σ't' und Eingangsströme Iσt, mit:
- Ein Rechennetzwerk zur Ausführung der obigen Verarbeitung stimmt im wesentlichen mit dem in Fig. 2 gezeigten Netzwerk überein. Der einzige Unterschied ist der, daß anstelle eines einzelnen Eingangssignals x eine Vielzahl von Eingangssignalabtastwerten xi verwendet wird, die je mit einer Leitung 32 verbunden sind, die über die Verbindungsmatrix 30 Ströme an die Verstärker 10 gemäß der Gleichung (16) führen. Diese Schaltungsanordnung ist in ihrer allgemeinen Form in Fig. 5 gezeigt, und zwar mit Leitungen 32-1 bis 32-4, die eine Vielzahl von Eingangsleitungen aufweisen, an die jeweils ein Signalabtastwert angelegt wird und über die jeder Signalabtastwert mit allen Verstärkern verbunden wird.
- Wie erläutert, sucht unsere Schaltungsanordnung einen minimalen stabilen Zustand, die aber eine Anzahl anderer stabiler Zustände aufweist, die lokale Minima bilden. Dieser Zustand ist in Fig. 6 durch die Kurve 100 dargestellt, in der der niedrigste stabile Zustand im Schaltungszustand S4 im Punkt 104 auftritt und lokale Minima in den Zuständen S1, S2, S3, S5, S6, S7, S8 und S9, auftreten, die den jeweiligen Punkten 101-109 (ausgenommen Punkt 104) auf der Kurve 100 entsprechen.
- Wir haben entdeckt, daß die Verstärkung der Verstärker 10 in unserer Schaltungsanordnung eine Steuerung über die Kurvenform 100 auf eine Art und Weise darstellt, die dem Ausglühverfahren ähnlich ist. Da bei einigen Spinglas- Problemen von der Beschreibung eines effektiven Feldes, das kontinuierlich den hohen Temperaturen zu niedrigeren Temperaturen gefolgt ist, erwartet wird, daß sie zu einem Zustand nahe des thermodynamischen Grundzustandes führt, beginnen wir bei unseren Schaltungsanordnungen mit niedrigen Verstärkungen der Verstärker und erhöhen sie langsam auf ihre höchsten Werte. Dies führt zu besseren Rechenergebnissen.
- Dieses Verhalten kann heuristisch dadurch verstanden werden, daß man die Kurve 110 in Fig. 6 betrachtet, die der Schaltungsenergiefunktion entspricht, wenn die Verstärkung niedrig ist, und die Unstetigkeiten in dem Kurvenverlauf in Punkten aufweist, die den Punkten S1 bis S9 (Ecken) entsprechen. Dennoch steigt oder fällt die Kurve auf beiden Seiten des Punktes 114, der dem Tiefpunkt der Kurve 110 entspricht, monoton. Die anderen Ecken in der Kurve sind keine lokalen Minima und darum wird unsere Schaltung, wenn wir die Verstärkungen auf einen unteren Wert setzen, nicht in diesen Punkten bleiben, sondern sich zu dem Punkt 114 bewegen. Wenn die Verstärkung erhöht wird, stabilisiert sich unsere Schaltung einfach und schnell in dem Tiefpunkt, d. h. dem Punkt 104.
- Ein Beginnen einer Berechnung in einem niedrigen Verstärkungszustand initialisiert die Schaltungsanordnung. Bei sich ändernden Eingangssignalen, beispielsweise wenn der Analog-Digital-Wandler eine schwankende Spannung mißt, kann die Schaltung dann am besten arbeiten, wenn die Verstärkung für jede neue Entscheidung wieder initialisiert wird.
- Das Leistungsmerkmal der Verstärkungssteuerung, die auf herkömmliche Weise ausgeführt werden kann, ist in Fig. 5 durch eine Linie 40 erläutert, die mit einem Verstärkungssteuerpunkt mit allen Verstärkern 10 verbunden ist. Eine Änderung der Spannung auf der Leitung 10 führt zu einer Änderung der Verstärkung der Verstärker 10, die die erwünschte Hochfahr-Aktion oder Wiederinitialisierung hervorruft.
Claims (7)
1. Schaltungsanordnung zur Bestimmung der besten Anpassung
zwischen Eingangssignalen χ und einer Auswahl von Grundfunktionen εK
mit einer Vielzahl von Verstärkern (10), von denen jeder Verstärker A&sub1;
einen Eingangsanschluß zur Einführung eines Stromes I und einen
Ausgangsanschluß besitzt, und mit Leitwertelementen Tij (21), die je
den Ausgangsanschluß des Verstärkers Ai mit dem Eingangsanschluß des
Verstärkers Aj verbinden,
gekennzeichnet durch eine Einrichtung (30) zur Einführung eines
Stromes Ii in den Eingangsanschluß des Verstärkers i, wobei gilt:
Ii=[(χ·ε&sub1;-1/2(εi·εj)], und Tij=-(εi·εj) mit i=j.
2. Schaltungsanordnung nach Anspruch 1,
mit einer Einrichtung (40) zur Veränderung des Gewinns der Verstärker.
3. Schaltungsanordnung nach Anspruch 1,
mit einer Einrichtung zur Einstellung des Gewinns der Verstärker auf
einen niedrigen Wert und Erhöhen des Gewinns auf den höchsten Wert bei
stabilem Ausgangssignal der Schaltungsanordnung, wobei die Verstärker
eine Eingangs/Ausgangs-Signalübertragungskennlinie hoher Verstärkung
besitzt.
4. Schaltungsanordnung nach Anspruch 1, 2 oder 3,
bei der die Stromeinführungseinrichtung eine zweite Verbindungsmatrix
(30) zur Anschaltung eines Teils einer vorgewählten Vorspannung und
eines Teils des Eingangssignals an den Eingangsanschluß jedes
Verstärkers aufweist.
5. Schaltungsanordnung nach Anspruch 4,
bei der die zweite Verbindungsmatrix die vorgewählte Vorspannung und
die Eingangssignale an die Eingangsanschlüsse über Leitwerte
verbindet, die in Beziehung zu den Grundfunktionen stehen.
6. Schaltungsanordnung nach Anspruch 4,
bei der εi und εj Mitglieder des Satzes nichtorthogonaler Funktionen εk
sind und die zweite Verbindungsmatrix die vorgewählte Vorspannung dem
Eingangsanschluß jedes Verstärkers Ai über einen Leitwert zuführt, der
eine Funktion des Skalarproduktes von εi mit sich selbst ist und jedes
Eingangssignal dem Eingangsanschluß jedes Verstärkers Ai über einen
Leitwert zuführt, der eine Funktion von εi ist.
7. Schaltungsanordnung nach Anspruch 1, 2 oder 3
zur Verwendung als Analog-Digital-Wandler, bei der die
Einführungseinrichtung eine zweite Verbindungsmatrix zur Verbindung
einer vorgewählten Vorspannung -v und der Eingangssignale an den
Eingangsanschluß jedes Verstärkers aufweist, wobei der Wert jedes
Leitwertes Tij auf -2(i+j) für i = j und auf 0 für i = j eingestellt
wird, und bei der die zweite Verbindungsmatrix die vorgewählte
Vorspannung -v dem Eingangsanschluß des Verstärkers Ai über einen
Leitwert mit dem Wert 2(2i-1)/v und die Eingangssignale dem
Eingangsanschluß des Verstärkers Ai über einen Leitwert mit dem Wert 2i
zuführt.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US06/795,789 US4719591A (en) | 1985-11-07 | 1985-11-07 | Optimization network for the decomposition of signals |
Publications (2)
Publication Number | Publication Date |
---|---|
DE3689030D1 DE3689030D1 (de) | 1993-10-21 |
DE3689030T2 true DE3689030T2 (de) | 1994-01-27 |
Family
ID=25166453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE86308508T Expired - Fee Related DE3689030T2 (de) | 1985-11-07 | 1986-10-31 | Schaltung zur Bestimmung der besten Anpassung an Eingangssignale. |
Country Status (8)
Country | Link |
---|---|
US (1) | US4719591A (de) |
EP (1) | EP0223468B1 (de) |
JP (1) | JPS62114071A (de) |
KR (1) | KR870005320A (de) |
CA (1) | CA1281423C (de) |
DE (1) | DE3689030T2 (de) |
ES (1) | ES2042498T3 (de) |
IL (1) | IL80513A (de) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4752906A (en) * | 1986-12-16 | 1988-06-21 | American Telephone & Telegraph Company, At&T Bell Laboratories | Temporal sequences with neural networks |
US4782460A (en) * | 1987-04-06 | 1988-11-01 | American Telephone And Telegraph Company, At&T Bell Laboratories | Computing apparatus comprising a programmable resistor |
US4885757A (en) * | 1987-06-01 | 1989-12-05 | Texas Instruments Incorporated | Digital adaptive receiver employing maximum-likelihood sequence estimation with neural networks |
AU2485788A (en) * | 1987-07-28 | 1989-03-01 | Maxdem, Inc. | Electrically settable resistance device |
US4873661A (en) * | 1987-08-27 | 1989-10-10 | Yannis Tsividis | Switched neural networks |
US4903226A (en) * | 1987-08-27 | 1990-02-20 | Yannis Tsividis | Switched networks |
US4983962A (en) * | 1987-09-14 | 1991-01-08 | Hammerstrom Daniel W | Neural-model, computational architecture employing broadcast hierarchy and hypergrid, point-to-point communication |
US4875183A (en) * | 1987-11-19 | 1989-10-17 | American Telephone And Telegraph Company, At&T Bell Laboratories | Neural networks |
US4897811A (en) * | 1988-01-19 | 1990-01-30 | Nestor, Inc. | N-dimensional coulomb neural network which provides for cumulative learning of internal representations |
US4926180A (en) * | 1988-03-25 | 1990-05-15 | Trustees Of Columbia University In The City Of New York | Analog to digital conversion using correlated quantization and collective optimization |
JPH087789B2 (ja) * | 1988-08-15 | 1996-01-29 | 工業技術院長 | パターン連想記憶方法および装置 |
US5093781A (en) * | 1988-10-07 | 1992-03-03 | Hughes Aircraft Company | Cellular network assignment processor using minimum/maximum convergence technique |
US5008833A (en) * | 1988-11-18 | 1991-04-16 | California Institute Of Technology | Parallel optoelectronic neural network processors |
US4965579A (en) * | 1988-11-28 | 1990-10-23 | The Board Of Governors Of Wayne State University | N-bit A/D converter utilizing N comparators |
KR910009445B1 (ko) * | 1989-02-02 | 1991-11-16 | 정호선 | 신경회로망을 이용한 연상메모리(Associative memory) |
JP2760543B2 (ja) * | 1989-02-10 | 1998-06-04 | 株式会社東芝 | 多重帰還回路 |
JP2863550B2 (ja) * | 1989-06-08 | 1999-03-03 | 株式会社日立製作所 | 配置最適化方法及び配置最適化装置と回路設計装置 |
US5113367A (en) * | 1989-07-03 | 1992-05-12 | The United States Of America As Represented By The Secretary Of The Navy | Cross entropy deconvolver circuit adaptable to changing convolution functions |
EP0411341A3 (en) * | 1989-07-10 | 1992-05-13 | Yozan Inc. | Neural network |
US5150323A (en) * | 1989-08-11 | 1992-09-22 | Hughes Aircraft Company | Adaptive network for in-band signal separation |
US5058049A (en) * | 1989-09-06 | 1991-10-15 | Motorola Inc. | Complex signal transformation using a resistive network |
US5075868A (en) * | 1989-09-18 | 1991-12-24 | The United States Of America As Represented By The Secretary Of The Navy | Memory modification of artificial neural networks |
US5103496A (en) * | 1989-09-18 | 1992-04-07 | The United States Of America As Represented By The Secretary Of The Navy | Artificial neural network system for memory modification |
US5339818A (en) * | 1989-09-20 | 1994-08-23 | University Of Utah Research Foundation | Method for determining blood pressure utilizing a neural network |
JP2724374B2 (ja) * | 1989-10-11 | 1998-03-09 | 株式会社鷹山 | データ処理装置 |
US5253328A (en) * | 1989-11-17 | 1993-10-12 | Microelectronics & Computer Technology Corp. | Neural-network content-addressable memory |
AU620959B2 (en) * | 1989-11-27 | 1992-02-27 | Hughes Aircraft Company | Neural network signal processor |
JPH04130968A (ja) * | 1990-09-21 | 1992-05-01 | Toshiba Corp | ニューラルネットワークを用いた配線方式 |
US5068662A (en) * | 1990-09-27 | 1991-11-26 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Neural network analog-to-digital converter |
US5303269A (en) * | 1990-11-01 | 1994-04-12 | Chirp Corporation | Optically maximum A posteriori demodulator |
US5146602A (en) * | 1990-12-26 | 1992-09-08 | Intel Corporation | Method of increasing the accuracy of an analog neural network and the like |
US5319737A (en) * | 1991-01-15 | 1994-06-07 | Smiths Industries Aerospace & Defense Systems, Inc. | Network structure for path generation |
JP2727257B2 (ja) * | 1991-04-16 | 1998-03-11 | 富士写真フイルム株式会社 | ニューラルネットワークを用いた放射線画像処理方法 |
US5261035A (en) * | 1991-05-31 | 1993-11-09 | Institute Of Advanced Study | Neural network architecture based on summation of phase-coherent alternating current signals |
US5377305A (en) * | 1991-10-01 | 1994-12-27 | Lockheed Sanders, Inc. | Outer product neural network |
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
US5276771A (en) * | 1991-12-27 | 1994-01-04 | R & D Associates | Rapidly converging projective neural network |
JPH05251789A (ja) * | 1992-03-06 | 1993-09-28 | Ezel Inc | ニューロデバイス |
GB9205727D0 (en) * | 1992-03-16 | 1992-04-29 | Sarnoff David Res Center | Averaging,flash analog to digital converter |
JPH07200512A (ja) * | 1993-09-13 | 1995-08-04 | Ezel Inc | 最適化問題解決装置 |
US6463438B1 (en) | 1994-06-03 | 2002-10-08 | Urocor, Inc. | Neural network for cell image analysis for identification of abnormal cells |
US6208963B1 (en) | 1998-06-24 | 2001-03-27 | Tony R. Martinez | Method and apparatus for signal classification using a multilayer network |
US8364136B2 (en) | 1999-02-01 | 2013-01-29 | Steven M Hoffberg | Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US8363744B2 (en) | 2001-06-10 | 2013-01-29 | Aloft Media, Llc | Method and system for robust, secure, and high-efficiency voice and packet transmission over ad-hoc, mesh, and MIMO communication networks |
US20050159824A1 (en) * | 2004-01-20 | 2005-07-21 | Childress Ronald L.Jr. | Recurrent distribution network with input boundary limiters |
US7469167B2 (en) * | 2004-10-20 | 2008-12-23 | Childress Jr Ronald L | Predictive header pressure control |
US7672918B2 (en) * | 2007-02-05 | 2010-03-02 | Steve Adkins | Artificial neuron |
US10133151B2 (en) | 2017-02-23 | 2018-11-20 | International Business Machines Corporation | Media-defined optical logic circuitry design |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3546601A (en) * | 1968-01-22 | 1970-12-08 | Us Navy | Neuronal event recognizer |
US3617726A (en) * | 1968-11-17 | 1971-11-02 | Nippon Electric Co | Automatic waveform analyzing apparatus for observing arbitrary waveforms by the synthesis of a plurality of optimumly weighted fundamental waveforms |
US3934231A (en) * | 1974-02-28 | 1976-01-20 | Dendronic Decisions Limited | Adaptive boolean logic element |
US4326259A (en) * | 1980-03-27 | 1982-04-20 | Nestor Associates | Self organizing general pattern class separator and identifier |
JPS5842317A (ja) * | 1981-09-07 | 1983-03-11 | Toshiba Corp | アナログ/ディジタル変換回路 |
FR2517066A1 (fr) * | 1981-11-20 | 1983-05-27 | Lavergnat Jacques | Dispositif pour determiner et suivre les coordonnees instantanees de l'extremum d'une courbe y = f (x), caracteristique d'un systeme comportant une entree x et une sortie y |
US4551817A (en) * | 1983-10-24 | 1985-11-05 | Director General Of Agency Of Industrial Science And Technology | Device for detecting center position of two-dimensionally distributed data |
US4660166A (en) * | 1985-01-22 | 1987-04-21 | Bell Telephone Laboratories, Incorporated | Electronic network for collective decision based on large number of connections between signals |
-
1985
- 1985-11-07 US US06/795,789 patent/US4719591A/en not_active Expired - Lifetime
-
1986
- 1986-10-22 CA CA000521117A patent/CA1281423C/en not_active Expired - Fee Related
- 1986-10-31 ES ES86308508T patent/ES2042498T3/es not_active Expired - Lifetime
- 1986-10-31 DE DE86308508T patent/DE3689030T2/de not_active Expired - Fee Related
- 1986-10-31 EP EP86308508A patent/EP0223468B1/de not_active Expired - Lifetime
- 1986-11-05 IL IL80513A patent/IL80513A/xx unknown
- 1986-11-06 KR KR860009345A patent/KR870005320A/ko not_active Application Discontinuation
- 1986-11-07 JP JP61264121A patent/JPS62114071A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
IL80513A0 (en) | 1987-02-27 |
EP0223468B1 (de) | 1993-09-15 |
KR870005320A (ko) | 1987-06-08 |
JPS62114071A (ja) | 1987-05-25 |
EP0223468A3 (en) | 1988-12-28 |
CA1281423C (en) | 1991-03-12 |
ES2042498T3 (es) | 1993-12-16 |
US4719591A (en) | 1988-01-12 |
EP0223468A2 (de) | 1987-05-27 |
DE3689030D1 (de) | 1993-10-21 |
IL80513A (en) | 1990-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE3689030T2 (de) | Schaltung zur Bestimmung der besten Anpassung an Eingangssignale. | |
DE69223221T2 (de) | Datenverarbeitungssystem mit geteilter nicht-linearer Funktion | |
DE68925156T2 (de) | Integrierte Halbleiterschaltung für neurales Netzwerk | |
DE69419813T2 (de) | Vorrichtung und Verfahren zur Erzeugung einer annähernden Funktion | |
DE69232116T2 (de) | Hardware für elektronisches Neuronales Netzwerk | |
EP0934567B1 (de) | Verfahren zur klassifikation der statistischen abhängigkeit einer messbaren zeitreihe | |
DE3501272A1 (de) | Adaptives, selbstausbesserndes prozessorfeld | |
DE69119172T2 (de) | Neuronalnetzwerkschaltung | |
DE4143073A1 (de) | Mehrschichtiges neuronales netzwerk | |
DE2719471A1 (de) | Zweistufiger kapazitiver analog- digital- und digital-analogwandler | |
DE69223447T2 (de) | Lernverfahren für neuronales Netzwerk und Klassifizieranlage zum Anwenden dieses Verfahrens | |
DE112019005119T5 (de) | Abgleichtechniken zum angleichen des symmetriepunktes als null-gewichtungspunkt in analogen kreuzungspunktanordnungen | |
DE69009786T2 (de) | Schaltungsanordnung mit Mehrfachrückkopplung. | |
DE69110538T2 (de) | Neuronales Klassifikationssystem and -verfahren. | |
DE3787395T2 (de) | Parallele Berechnungsschaltung. | |
DE4222844C2 (de) | Mosfet-Analog-Multiplizierer | |
WO2022063658A1 (de) | Skalarproduktschaltung und verfahren zum berechnen binärer skalarprodukte eines eingangsvektors mit gewichtsvektoren | |
DE112020000660T5 (de) | Arithmetikeinrichtung und multiplizier-akkumulier-system | |
DE102021108823A1 (de) | System für eine flexible leitwerttraverse | |
DE112020005613T5 (de) | Neuromorphe Einheit mit Kreuzschienen-Array-Struktur | |
DE1574601A1 (de) | Sinus-Cosinus-Generator | |
DE69105129T2 (de) | Kapazitive strukturen für bewertende summierung in neuronalen netzen. | |
DE1811420C3 (de) | ||
WO1998007100A1 (de) | Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz | |
DE112021000238T5 (de) | Leistungsfähige und platzsparende struktur von synapsen-speicherzellen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8328 | Change in the person/name/address of the agent |
Free format text: BLUMBACH, KRAMER & PARTNER, 65193 WIESBADEN |
|
8339 | Ceased/non-payment of the annual fee |