DE3689030T2 - Schaltung zur Bestimmung der besten Anpassung an Eingangssignale. - Google Patents

Schaltung zur Bestimmung der besten Anpassung an Eingangssignale.

Info

Publication number
DE3689030T2
DE3689030T2 DE86308508T DE3689030T DE3689030T2 DE 3689030 T2 DE3689030 T2 DE 3689030T2 DE 86308508 T DE86308508 T DE 86308508T DE 3689030 T DE3689030 T DE 3689030T DE 3689030 T2 DE3689030 T2 DE 3689030T2
Authority
DE
Germany
Prior art keywords
amplifier
input
circuit arrangement
epsi
amplifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE86308508T
Other languages
English (en)
Other versions
DE3689030D1 (de
Inventor
John Joseph Hopfield
David William Tank
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of DE3689030D1 publication Critical patent/DE3689030D1/de
Application granted granted Critical
Publication of DE3689030T2 publication Critical patent/DE3689030T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06JHYBRID COMPUTING ARRANGEMENTS
    • G06J1/00Hybrid computing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/124Sampling or signal conditioning arrangements specially adapted for A/D converters
    • H03M1/1245Details of sampling arrangements or methods
    • H03M1/125Asynchronous, i.e. free-running operation within each conversion cycle
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/34Analogue value compared with reference values
    • H03M1/38Analogue value compared with reference values sequentially only, e.g. successive approximation type
    • H03M1/42Sequential comparisons in series-connected stages with no change in value of analogue signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Fuzzy Systems (AREA)
  • Analogue/Digital Conversion (AREA)
  • Amplifiers (AREA)
  • Control Of Motors That Do Not Use Commutators (AREA)
  • Communication Control (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Networks Using Active Elements (AREA)

Description

  • Die Erfindung betrifft Schaltungsanordnungen zur Bestimmung einer besten Anpassung zwischen Eingangssignalen und einer Auswahl von Grundfunktionen.
  • Digitale Computer sind allgegenwärtig und ziemlich leistungsstark, das heißt aber nicht, daß digitale Computer nicht bestimmten Begrenzungen bei der Lösung von Problemen unterliegen. Tatsächlich erfordern viele praktische Probleme einen so enormen Rechenaufwand, daß eine Lösung in Echtzeit nicht möglich ist. Auf solche Schwierigkeiten stößt man beispielsweise bei Programmen, die dazu dienen, aus einem Speicher die Information auszuwählen, die bekannte Eigenschaften oder Deskriptoren (die man auch als "Hinweise" ("Clues") bezeichnen kann) am besten erfüllt, wenn die Hinweise nicht ausreichen, die Information vollständig festzulegen. Die Mustererkennung ist ein anderes Beispiel dafür, daß das Rechenproblem für digitale Computer zu groß ist.
  • Die meisten Fachleute dulden entweder die Beschränkungen digitaler Allzweckrechner oder entwickeln digitale Sonderzweckrechner, um ihre besonderen Probleme effizienter zu lösen.
  • In einer gleichzeitig anhängenden Anmeldung mit der Bezeichnung "Electronic Network For Collective Decision Based On Large Number Of Connections Between Signals", von J. J. Hopfield, wurde eine verallgemeinerte Schaltungsanordnung offenbart, die N Verstärker mit hoher Verstärkung und eine N · N Verbindungsmatrix mit N Eingangsleitungen und N Ausgangsleitungen aufweist. Die Verstärker weisen eine s-förmige Eingang- Ausgang- Beziehung auf mit einem minimal und maximal möglichen Ausgangssignal, das als eine "0" oder "1" aufgefaßt werden kann. Jede Eingangsleitung der Matrix ist mit dem Eingang eines anderen Verstärkers verbunden, wobei die Ausgangsanschlüsse (positiv und negativ) jedes Verstärkers mit einer anderen Matrix-Ausgangsleitung verbunden sind. Jeder Verstärker weist außerdem eine Eingangskapazität Ci und einen Eingangswiderstand Pi auf. Innerhalb der Verbindungsmatrix ist jede Eingangsleitung i mit einer Ausgangsleitung j über einen Widerstand Ri,j verbunden. Bei der offenbarten Schaltungsanordnung genügt jeder Verstärker der Bewegungsgleichung der Schaltung
  • wobei
  • Tij = [(1/Rij) * sgn des Ausgangs des Verstärkers j], ui die Eingangsspannung am Verstärker i, Vj die Ausgangsspannung des einen Verstärkers j, und Ii der in den Eingangsanschluß des Verstärkers i (z. B. von einer Quelle hoher Impedanz) eingeführte Strom ist.
  • Durch die Dynamik der offenbarten Schaltungsanordnung (wie sie durch die obige Gleichung spezifiziert ist) wird das Netzwerk in einen von mehreren vorbestimmten stabilen Zuständen getrieben, der ein Ausgangsmuster von binären 1'en und 0'en darstellt (da die Verstärker eine hohe Verstärkung haben).
  • Wenn die Verstärker i zum Zugriff auf die Informationen in einem assoziativen Speicher verwendet werden, werden die Eingangsspannungen der Verstärker im Einklang mit den einzelnen Bits des Eingangswortes für jeden Hinweis (Deskriptor), der für die erwünschte Information bekannt ist, gesetzt. Alternativ kann ein konstanter Strom jedem Eingang proportional zum Vertrauen darauf, daß die Spannung Vi in der Endantwort "1" sein soll, zugeführt werden. Wenn die Verstärker einmal aktiviert sind, gehen sie in einen stabilen Zustand, und produzieren am Ausgang ein einheitliches Wort, das die Information selbst darstellt, die die Adresse eines Speicherplatzes in einem anderen Speicher enthalten kann, der dann einen Block von Wörtern hervorbringen kann, die die Information enthalten, die durch den Deskriptor festgelegt ist, der zum Speichern und Auslesen des einheitlichen Wortes aus dem assoziativen Speicher verwendet wird.
  • Bei einer Verwendung für Problemlösungen können alle Eingänge näherungsweise auf den gleichen Wert gesetzt werden, beispielsweise auf Null, oder in einem Muster gehalten werden, das die Eingangsinformation darstellt, und das Ausgangsmuster aus den Bits "1" und "0" legt die Lösung fest. Bei beiden Anwendungen, d. h. bei der Problemlösung oder Informationswiedergewinnung, liefert das Ausgangssignal in binärer Form eine sehr gute Lösung des gegebenen Problems.
  • Obwohl die offenbarte Schaltung einen stabilen Lösungszustand schnell und effizient erreicht, ist nicht sichergestellt, daß die optimale Lösung zu einem gegebenen Problem gefunden wird. Das liegt daran, daß die Topology des Lösungsraums sehr grob ist und viele lokale Minima aufweist, und deshalb viele gute Lösungen der optimalen Lösung ähnlich sind. Sehr gute und schnell berechnete Lösungen von schwierigen Problemen bei der Erkennung und Wahrnehmung in Bereichen der Robotertechnik und der Biologie können ausreichende Informationen für den praktischen Gebrauch liefern, aber in einigen Anwendungsfällen ist die exakte oder beste Lösungen erwünscht.
  • Ein Bericht der National Acadamy of Science USA, Vol. 81, Mai 1984, Seiten 3088-3092; J. J. Hopfield: "Neurons with graded response have collective computational properties like those of two-state neurons handelt von einer mathematischen Analyse des Verhaltens zweier Schaltungen. Eine davon ist eine klassische Schaltung (sie ist der später unter Bezugnahme auf Fig. 1 hierin beschriebenen Schaltung ähnlich), bei der die Verstärker eine sehr hohe Verstärkung aufweisen und grundsätzlich Elemente mit zwei Zuständen (0 und 1) sind, und die andere die klassische Schaltung ist, bei der die Verstärker analoge Ausgänge haben. Die Veröffentlichung zeigt, daß das Verhalten der beiden Schaltungen im wesentlichen gleich ist.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Netzwerk analoger Prozessoren in Verbindung mit Zerlegungsprozessen zu verwirklichen.
  • Gemäß der Erfindung wird eine in Anspruch 1 beanspruchte Schaltungsanordnung geschaffen.
  • Bei einer Ausführungsform der Erfindung ist ein analoges Netzwerk mit hohem Verbindungsgrad aufgebaut, um einen spezifischen Zerlegungsprozeß auszuführen. Das Netzwerk weist analoge Verstärker auf, die mit einer ohmschen Verbindungsmatrix verbunden sind, die wie bei dem bekannten Netzwerk jeden Verstärkerausgang mit dem Eingang aller anderen Verstärker verbindet. Die konkreten Verbindungen in der Matrix werden mit Leitwertelementen erzielt, deren Werte gemäß dem Satz von Zerlegungsfunktionen, für die die Lösung gesucht wird, berechnet werden. Zusätzlich zu der spezifizierten Verbindung, die durch die Verbindungsmatrix ausgeführt ist, enthält das analoge Netzwerk eine zweite Matrix, die außen angelegte Spannungen über Widerstände an die Verstärkereingänge anlegt, deren Werte ebenfalls gemäß dem Satz von Zerlegungsfunktionen berechnet werden, für die die Lösung gesucht wird. Die Schaltung kann ihre Lösung durch einen Prozeß simulierten Hochfahrens finden, wobei die Verstärkungen der Verstärker anfänglich auf niedrige Werte gesetzt sind und dann langsam auf ihren maximalen Wert erhöht werden. Dieser Prozeß verhindert, daß die Schaltung in ein lokales Minimum getrieben wird.
  • Die Erfindung wird unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
  • Fig. 1 ein Analog-Netzwerk mit hohem Verbindungsgrad nach dem Stand der Technik,
  • Fig. 2 ein die Erfindung verwirklichendes Netzwerk zur Ausführung eines 4-Bit-Analog-Digital-Umsetzprozesses,
  • Fig. 3 ein abgetastetes Signal, daß durch ein die Erfindung verwirklichendes Netzwerk zerlegt werden kann,
  • Fig. 4 eine Vielzahl von Gaußfunktionen, die, wenn sie zusammengesetzt werden, das abgetastete Signal der Fig. 3 bilden,
  • Fig. 5 ein Netzwerk zur Ausführung einer Zerlegung eines Signals, das eine Vielzahl von Abtastwerten enthält, und
  • Fig. 6 eine Darstellung zur Beschreibung des Schaltungsverhaltens unter Ansprechen auf das Ändern der Größe der Verstärkungen der Verstärker.
  • Fig. 1 zeigt ein schematisches Schaltbild eines Mehrprozessor- Rechennetzwerkes, das in der oben erwähnten, gleichzeitig anhängigen Anmeldung offenbart ist. Es weist Verstärker 10 auf, die eine positive und fakultativ eine negative Verstärkung liefern, wobei deren Ein-und Ausgänge über ein Verbindungsnetzwerk 20 miteinander verbunden sind. Eine physikalische Ausführungsform eines Verstärkers weist notwendigerweise eine Impedanz am Eingang auf, die hauptsächlich ohmscher und kapazitiver Natur ist. Sie ist in Fig. 1 durch Widerstände 11 (Pi) und Kondensatoren 12 (Ci) dargestellt. Jeder Knoten in der Verbindungsmatrix 20 ist durch einen fetten schwarzen Punkt 21 dargestellt, wobei jeder Knoten einen Widerstand Rij aufweist, der einen mit einem Ausgang eines Verstärkers i verbundenen Pfad der Matrix 20' beispielsweise den Pfad 22, mit einem mit dem Eingang eines Verstärkers j verbundenen Pfad der Matrix 20, beispielsweise dem Pfad 23, verbindet. Außerdem ermöglicht die in Fig. 1 dargestellte Schaltungsanordnung außen angelegte Ströme in die Pfade 23, die mit den Eingängen der Verstärker 10 verbunden sind, einzuspeisen. Der Strom Ii stellt den Eingangsstrom zu dem Pfad 23 dar, der mit dem Verstärker i verbunden ist. Die Spannung Vi stellt die Ausgangsspannung des Verstärkers i dar.
  • Die das Zeitverhalten beschreibende Bewegungsgleichung der in Fig. 1 gezeigten Schaltungsanordnung ist durch
  • gegeben, wobei ui die Eingangsspannung des Verstärkers i ist, gi die Übertragungsfunktion des Verstärkers i, d. h. Vj = gj (uj) und
  • Es wurde bereits in der zuvor erwähnten, gleichzeitig anhängenden Anmeldung gezeigt, daß, wenn die Gleichung
  • berücksichtigt wird, und die Terme Tij und Tji gleich sind sowie die Verstärkung der Verstärker sehr groß ist, die nach der Zeit abgeleitete Gleichung (2) sich auf
  • reduziert. Der Klammerausdruck in Gleichung (3) entspricht der rechten Seite der Gleichung (1). Das bedeutet, daß eine Änderung (mit der Zeit) der Eingangsspannung am Verstärker i multipliziert mit der Änderung (mit Zeit) der Ausgangsspannung am Verstärker i, die über alle Verstärker aufaddiert wird, gleich dE/dt der Gleichung (3) und gleich dem Ausdruck ist:
  • Da keiner der Terme in Gleichung (4) negativ ist, ist dE/dt negativ und nähert sich dem Wert 0 (Stabilität), wenn dVi/dt sich für alle i dem Wert 0 nähert.
  • Nach der obigen Analyse bedeutet das, daß ein vorgelegtes Problem, das die für die obigen Gleichungen angegebenen Bedingungen erfüllt, durch die Schaltungsanordnung der Fig. 1 gelöst werden kann, wenn die Werte Tij und die Eingangsströme Ii geeignet ausgewählt werden, ein Anfangssatz von Verstärkereingangsspannungen bereitgestellt wird, und das Analog-System irgendwann in einen stabilen Zustand konvergiert.
  • Eine Klasse von Problemen, die auf diese Weise vorteilhaft gelöst werden kann, ist die Klasse von Zerlegungsproblemen, bei denen man versucht, ein Eingangssignal durch einen Satz "Bester Anpassung" anderer, nicht-orthogonaler Signale darzustellen. Ein solches Problem ist beispielsweise die Analog-Digital-Umsetzung. Ein anderes Beispiel ist die Zerlegung eines komplexen Signals (das durch eine Folge von Spannungsabtastwerten dargestellt wird), in einen Satz vorgewählter Funktionen.
  • Um unsere Erfindung verständlicher zu beschreiben, wird im folgenden die eingeschlagene Vorgehensweise erläutert, um das Problem bei der Analog-Digital-Umsetzung zu lösen. Danach werden die beschriebenen Konzepte soweit ausgedehnt, daß alle Klassen der Zerlegungsprobleme erfaßt werden.
  • In Verbindung mit dem Analog-Digital-Umsetzungsverfahren ist es bekannt, daß die Umsetzung eines Signals aus einer analogen Darstellung in eine digitale Darstellung bedeutet, daß ein analoges Signal x näherungsweise gleich der gewichteten Summe erzeugter digitaler Signale (V&sub1;, V&sub2;, . . . VN) ist, von denen angenommen wird, daß sie x darstellen. Das heißt ein Signal x', das eine Näherung des Signals x darstellt, kann folgendermaßen ausgedrückt werden:
  • Ein bekanntes Maß für die "Güte" von x' ist die quadratische Differenz zwischen dem Signal x und dem Signal x'. Dieser Gedanke ist in der folgenden Gleichung verkörpert:
  • Die Gleichung (6) gibt an, daß der optimale Wert von x' zu einem minimierten Wert von E führt. Ein Erweitern und Umformen der Gleichung (6) führt zu einer Form, die der Gleichung (1) plus einer Konstanten ähnlich ist, wodurch angedeutet wird, daß ein Analog-Digital-Wandler in der Tat mit einer Schaltungsanordnung realisiert werden kann, die der aus Fig. 1 ähnlich ist.
  • Leider liegen die durch die Gleichung (6) festgelegten Minima der Funktion nicht notwendigerweise nahe genug bei 0 und 1, um als digitale Logikpegel, die ein Analog-Digital-Wandler erzeugen muß, identifiziert zu werden.
  • Wir umgehen dieses Problem, indem ein zusätzlicher Term zu der Energiefunktion der Gleichung (6) hinzugefügt wird. Wir wählen den Term
  • denn er begünstigt digitale Darstellungen, da der Ausdruck Null wird, wenn alle Vi Terme auf 0 oder 1 beschränkt werden. Wenn die Gleichung (7) mit der Gleichung (6) kombiniert und umgeformt wird, ergibt sich die Gleichung
  • die auch der Form der Gleichung (1) entspricht, wenn wir die Verbindungsmatrixelemente und die Eingangsströme wie folgt kennzeichnen:
  • Tij = - 2(i+j)
  • und
  • Ii = (- 2(2i-1) + 2ix).
  • Fig. 2 stellt eine 4 Bit-Analog-Digital-Wandlerschaltung dar, die mit einer Verbindungsmatrix aufgebaut ist, die der Gleichung (8) genügt. Die Analog-Digital-Wandlerschaltung weist auf: invertierende Verstärker 10 mit Eingangsleitungen 22 und Ausgangsleitungen 23, eine Verbindungsmatrix 20, die die Leitungen 23 mit den Leitungen 22 über Knoten 21 verbindet, und eine Verbindungsmatrix 30, die eine Referenzspannung -V (z. B. -1 Volt) an eine Leitung 31 und ein Eingangssignal x an eine Leitung 32 anlegt. Beide Signale -V und x kommunizieren über Knoten 33 mit den Leitungen 22.
  • Gemäß der Spezifikation der Gleichung (8) nimmt jedes Element Tij den Wert 2i+j (mit Ausnahme bei i = j, wo Tij nicht existiert) an. Das sind die in Fig. 2 verstärkt dargestellten Verbindungen. Gemäß der Spezifikation der Gleichung (8) besitzt jeder Eingangsstrom Ii den Wert - 22i-1 + 2ix. Die Matrix 30 realisiert diese Ströme über die verstärkt dargestellten Verbindungen, die Leitwertelemente mit einem spezifizierten Wert darstellen.
  • Wie früher bereits erwähnt, dient das hier vorgestellte Analog- Digital-Umsetzungsverfahren lediglich erläuternden Zwecken, wobei viele Zerlegungsprozesse mit einer Schaltung, wie sie in Fig. 2 gezeigt ist, ausgeführt werden können.
  • Wenn beispielsweise einen Satz Grundfunktionen (beispielsweise Gaußfunktionen) darstellt, die den Signalraum x (Signalabtastwerte) umfassen, dann beschreibt die Funktion
  • ein Netzwerk, das ein Energieminimum hat, wenn die digitale Kombination "Bester Anpassung" der Grundfunktionen ausgewählt wird (mit Vi = 1), um das Signal zu beschreiben. Der Term stellt übrigens das Skalarprodukte des Signals mit sich selbst dar. Die Gleichung (9) kann erweitert und umgeformt werden, um die Form
  • anzunehmen, wobei die Gleichung (10) der Form der Gleichung (1) plus einer Konstanten entspricht. Daß heißt, wie bei Gleichung (8), können die Terme Tij und Terme Ii festgelegt werden, damit die Gleichung (10) mit Gleichung (1) übereinzustimmen scheint, und dabei eine Entsprechung zwischen den Elementen in der Gleichung und den physikalischen Parametern des in der Fig. 2 gezeigten Netzwerkes zu erzielen. Für die Gleichung (10) gilt speziell
  • ®.
  • Ein Beispiel könnte angebracht sein.
  • Es wird das Problem der Zerlegung einer Zeitfolge analoger Signale betrachtet, die sich aus der linearen Addition zeitlich getrennter Gaußimpulse unterschiedlicher Breite ergeben. Ein typisches summiertes Signal ist in Fig 3 dargestellt, wobei die verschiedenen Gaußimpulse, aus denen das Signal zusammengesetzt ist, in Fig. 4 dargestellt sind. Der Zerlegungsprozeß muß diesen besonderen Untersatz aller möglichen Grundfunktionen bestimmen, die, wenn sie aufaddiert sind, das Signal in Fig. 3 wiederherstellen. Wie durch die Punkte 100 auf der Kurve in Fig. 3 angedeutet, ist eine Vielzahl von Abtastwerten von dem Signal der Fig. 3 verfügbar, wobei diese Abtastwerte die analogen Daten xi mit i = 1, 2, . . . , N enthalten. Der Basissatz, der alle möglichen "Pulse" festlegt, entspricht den Gaußfunktionen der Form
  • wobei der Breitenparameter σ eine endliche Anzahl von Werten annimmt, während die Spitzenposition des Impulses t irgendeinen der N Augenblicke darstellen kann, zu denen die Abtastwerte des in Fig. 3 dargestellten Signals abgetastet werden. Da der Basissatz durch zwei Parameter spezifiziert ist, nämlich die Breite und die Spitzenposition, können die in dem Zerlegungsnetzwerk verwendeten Verstärker günstigerweise mit den beiden Indizes σ, t indiziert werden. Bei der Beschreibung der Zerlegung enthält jede dieser Grundfunktionen einen digitalen Koeffizienten (Vσt), der dem Ausgangssignal eines Verstärkers in dem Netzwerk entspricht und der das Vorhandensein oder das Fehlen dieser Funktion in dem zu zerlegenden Signal darstellt. Für V20,10 = 1 bedeutet das beispielsweise, daß eine Gaußfunktion mit einer Spitze im Zeitpunkt des Abtastwertes 20 und mit einer Breite von 10 in dem Lösungssatz enthalten ist.
  • Unter Berücksichtigung des oben Gesagten, gilt für die Energiefunktion, die ein analoges, dieses besondere Zerlegungsproblem lösendes Rechennetzwerk beschreibt:
  • mit der Grundfunktion, wie sie in Gleichung (12) definiert ist. Dieser Ausdruck definiert einen Satz von verstärkten dargestellten Verbindungen Tσt,σ't' und Eingangsströme Iσt, mit:
  • Ein Rechennetzwerk zur Ausführung der obigen Verarbeitung stimmt im wesentlichen mit dem in Fig. 2 gezeigten Netzwerk überein. Der einzige Unterschied ist der, daß anstelle eines einzelnen Eingangssignals x eine Vielzahl von Eingangssignalabtastwerten xi verwendet wird, die je mit einer Leitung 32 verbunden sind, die über die Verbindungsmatrix 30 Ströme an die Verstärker 10 gemäß der Gleichung (16) führen. Diese Schaltungsanordnung ist in ihrer allgemeinen Form in Fig. 5 gezeigt, und zwar mit Leitungen 32-1 bis 32-4, die eine Vielzahl von Eingangsleitungen aufweisen, an die jeweils ein Signalabtastwert angelegt wird und über die jeder Signalabtastwert mit allen Verstärkern verbunden wird.
  • Wie erläutert, sucht unsere Schaltungsanordnung einen minimalen stabilen Zustand, die aber eine Anzahl anderer stabiler Zustände aufweist, die lokale Minima bilden. Dieser Zustand ist in Fig. 6 durch die Kurve 100 dargestellt, in der der niedrigste stabile Zustand im Schaltungszustand S4 im Punkt 104 auftritt und lokale Minima in den Zuständen S1, S2, S3, S5, S6, S7, S8 und S9, auftreten, die den jeweiligen Punkten 101-109 (ausgenommen Punkt 104) auf der Kurve 100 entsprechen.
  • Wir haben entdeckt, daß die Verstärkung der Verstärker 10 in unserer Schaltungsanordnung eine Steuerung über die Kurvenform 100 auf eine Art und Weise darstellt, die dem Ausglühverfahren ähnlich ist. Da bei einigen Spinglas- Problemen von der Beschreibung eines effektiven Feldes, das kontinuierlich den hohen Temperaturen zu niedrigeren Temperaturen gefolgt ist, erwartet wird, daß sie zu einem Zustand nahe des thermodynamischen Grundzustandes führt, beginnen wir bei unseren Schaltungsanordnungen mit niedrigen Verstärkungen der Verstärker und erhöhen sie langsam auf ihre höchsten Werte. Dies führt zu besseren Rechenergebnissen.
  • Dieses Verhalten kann heuristisch dadurch verstanden werden, daß man die Kurve 110 in Fig. 6 betrachtet, die der Schaltungsenergiefunktion entspricht, wenn die Verstärkung niedrig ist, und die Unstetigkeiten in dem Kurvenverlauf in Punkten aufweist, die den Punkten S1 bis S9 (Ecken) entsprechen. Dennoch steigt oder fällt die Kurve auf beiden Seiten des Punktes 114, der dem Tiefpunkt der Kurve 110 entspricht, monoton. Die anderen Ecken in der Kurve sind keine lokalen Minima und darum wird unsere Schaltung, wenn wir die Verstärkungen auf einen unteren Wert setzen, nicht in diesen Punkten bleiben, sondern sich zu dem Punkt 114 bewegen. Wenn die Verstärkung erhöht wird, stabilisiert sich unsere Schaltung einfach und schnell in dem Tiefpunkt, d. h. dem Punkt 104.
  • Ein Beginnen einer Berechnung in einem niedrigen Verstärkungszustand initialisiert die Schaltungsanordnung. Bei sich ändernden Eingangssignalen, beispielsweise wenn der Analog-Digital-Wandler eine schwankende Spannung mißt, kann die Schaltung dann am besten arbeiten, wenn die Verstärkung für jede neue Entscheidung wieder initialisiert wird.
  • Das Leistungsmerkmal der Verstärkungssteuerung, die auf herkömmliche Weise ausgeführt werden kann, ist in Fig. 5 durch eine Linie 40 erläutert, die mit einem Verstärkungssteuerpunkt mit allen Verstärkern 10 verbunden ist. Eine Änderung der Spannung auf der Leitung 10 führt zu einer Änderung der Verstärkung der Verstärker 10, die die erwünschte Hochfahr-Aktion oder Wiederinitialisierung hervorruft.

Claims (7)

1. Schaltungsanordnung zur Bestimmung der besten Anpassung zwischen Eingangssignalen χ und einer Auswahl von Grundfunktionen εK mit einer Vielzahl von Verstärkern (10), von denen jeder Verstärker A&sub1; einen Eingangsanschluß zur Einführung eines Stromes I und einen Ausgangsanschluß besitzt, und mit Leitwertelementen Tij (21), die je den Ausgangsanschluß des Verstärkers Ai mit dem Eingangsanschluß des Verstärkers Aj verbinden, gekennzeichnet durch eine Einrichtung (30) zur Einführung eines Stromes Ii in den Eingangsanschluß des Verstärkers i, wobei gilt:
Ii=[(χ·ε&sub1;-1/2(εi·εj)], und Tij=-(εi·εj) mit i=j.
2. Schaltungsanordnung nach Anspruch 1, mit einer Einrichtung (40) zur Veränderung des Gewinns der Verstärker.
3. Schaltungsanordnung nach Anspruch 1, mit einer Einrichtung zur Einstellung des Gewinns der Verstärker auf einen niedrigen Wert und Erhöhen des Gewinns auf den höchsten Wert bei stabilem Ausgangssignal der Schaltungsanordnung, wobei die Verstärker eine Eingangs/Ausgangs-Signalübertragungskennlinie hoher Verstärkung besitzt.
4. Schaltungsanordnung nach Anspruch 1, 2 oder 3, bei der die Stromeinführungseinrichtung eine zweite Verbindungsmatrix (30) zur Anschaltung eines Teils einer vorgewählten Vorspannung und eines Teils des Eingangssignals an den Eingangsanschluß jedes Verstärkers aufweist.
5. Schaltungsanordnung nach Anspruch 4, bei der die zweite Verbindungsmatrix die vorgewählte Vorspannung und die Eingangssignale an die Eingangsanschlüsse über Leitwerte verbindet, die in Beziehung zu den Grundfunktionen stehen.
6. Schaltungsanordnung nach Anspruch 4, bei der εi und εj Mitglieder des Satzes nichtorthogonaler Funktionen εk sind und die zweite Verbindungsmatrix die vorgewählte Vorspannung dem Eingangsanschluß jedes Verstärkers Ai über einen Leitwert zuführt, der eine Funktion des Skalarproduktes von εi mit sich selbst ist und jedes Eingangssignal dem Eingangsanschluß jedes Verstärkers Ai über einen Leitwert zuführt, der eine Funktion von εi ist.
7. Schaltungsanordnung nach Anspruch 1, 2 oder 3 zur Verwendung als Analog-Digital-Wandler, bei der die Einführungseinrichtung eine zweite Verbindungsmatrix zur Verbindung einer vorgewählten Vorspannung -v und der Eingangssignale an den Eingangsanschluß jedes Verstärkers aufweist, wobei der Wert jedes Leitwertes Tij auf -2(i+j) für i = j und auf 0 für i = j eingestellt wird, und bei der die zweite Verbindungsmatrix die vorgewählte Vorspannung -v dem Eingangsanschluß des Verstärkers Ai über einen Leitwert mit dem Wert 2(2i-1)/v und die Eingangssignale dem Eingangsanschluß des Verstärkers Ai über einen Leitwert mit dem Wert 2i zuführt.
DE86308508T 1985-11-07 1986-10-31 Schaltung zur Bestimmung der besten Anpassung an Eingangssignale. Expired - Fee Related DE3689030T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US06/795,789 US4719591A (en) 1985-11-07 1985-11-07 Optimization network for the decomposition of signals

Publications (2)

Publication Number Publication Date
DE3689030D1 DE3689030D1 (de) 1993-10-21
DE3689030T2 true DE3689030T2 (de) 1994-01-27

Family

ID=25166453

Family Applications (1)

Application Number Title Priority Date Filing Date
DE86308508T Expired - Fee Related DE3689030T2 (de) 1985-11-07 1986-10-31 Schaltung zur Bestimmung der besten Anpassung an Eingangssignale.

Country Status (8)

Country Link
US (1) US4719591A (de)
EP (1) EP0223468B1 (de)
JP (1) JPS62114071A (de)
KR (1) KR870005320A (de)
CA (1) CA1281423C (de)
DE (1) DE3689030T2 (de)
ES (1) ES2042498T3 (de)
IL (1) IL80513A (de)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4752906A (en) * 1986-12-16 1988-06-21 American Telephone & Telegraph Company, At&T Bell Laboratories Temporal sequences with neural networks
US4782460A (en) * 1987-04-06 1988-11-01 American Telephone And Telegraph Company, At&T Bell Laboratories Computing apparatus comprising a programmable resistor
US4885757A (en) * 1987-06-01 1989-12-05 Texas Instruments Incorporated Digital adaptive receiver employing maximum-likelihood sequence estimation with neural networks
AU2485788A (en) * 1987-07-28 1989-03-01 Maxdem, Inc. Electrically settable resistance device
US4873661A (en) * 1987-08-27 1989-10-10 Yannis Tsividis Switched neural networks
US4903226A (en) * 1987-08-27 1990-02-20 Yannis Tsividis Switched networks
US4983962A (en) * 1987-09-14 1991-01-08 Hammerstrom Daniel W Neural-model, computational architecture employing broadcast hierarchy and hypergrid, point-to-point communication
US4875183A (en) * 1987-11-19 1989-10-17 American Telephone And Telegraph Company, At&T Bell Laboratories Neural networks
US4897811A (en) * 1988-01-19 1990-01-30 Nestor, Inc. N-dimensional coulomb neural network which provides for cumulative learning of internal representations
US4926180A (en) * 1988-03-25 1990-05-15 Trustees Of Columbia University In The City Of New York Analog to digital conversion using correlated quantization and collective optimization
JPH087789B2 (ja) * 1988-08-15 1996-01-29 工業技術院長 パターン連想記憶方法および装置
US5093781A (en) * 1988-10-07 1992-03-03 Hughes Aircraft Company Cellular network assignment processor using minimum/maximum convergence technique
US5008833A (en) * 1988-11-18 1991-04-16 California Institute Of Technology Parallel optoelectronic neural network processors
US4965579A (en) * 1988-11-28 1990-10-23 The Board Of Governors Of Wayne State University N-bit A/D converter utilizing N comparators
KR910009445B1 (ko) * 1989-02-02 1991-11-16 정호선 신경회로망을 이용한 연상메모리(Associative memory)
JP2760543B2 (ja) * 1989-02-10 1998-06-04 株式会社東芝 多重帰還回路
JP2863550B2 (ja) * 1989-06-08 1999-03-03 株式会社日立製作所 配置最適化方法及び配置最適化装置と回路設計装置
US5113367A (en) * 1989-07-03 1992-05-12 The United States Of America As Represented By The Secretary Of The Navy Cross entropy deconvolver circuit adaptable to changing convolution functions
EP0411341A3 (en) * 1989-07-10 1992-05-13 Yozan Inc. Neural network
US5150323A (en) * 1989-08-11 1992-09-22 Hughes Aircraft Company Adaptive network for in-band signal separation
US5058049A (en) * 1989-09-06 1991-10-15 Motorola Inc. Complex signal transformation using a resistive network
US5075868A (en) * 1989-09-18 1991-12-24 The United States Of America As Represented By The Secretary Of The Navy Memory modification of artificial neural networks
US5103496A (en) * 1989-09-18 1992-04-07 The United States Of America As Represented By The Secretary Of The Navy Artificial neural network system for memory modification
US5339818A (en) * 1989-09-20 1994-08-23 University Of Utah Research Foundation Method for determining blood pressure utilizing a neural network
JP2724374B2 (ja) * 1989-10-11 1998-03-09 株式会社鷹山 データ処理装置
US5253328A (en) * 1989-11-17 1993-10-12 Microelectronics & Computer Technology Corp. Neural-network content-addressable memory
AU620959B2 (en) * 1989-11-27 1992-02-27 Hughes Aircraft Company Neural network signal processor
JPH04130968A (ja) * 1990-09-21 1992-05-01 Toshiba Corp ニューラルネットワークを用いた配線方式
US5068662A (en) * 1990-09-27 1991-11-26 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Neural network analog-to-digital converter
US5303269A (en) * 1990-11-01 1994-04-12 Chirp Corporation Optically maximum A posteriori demodulator
US5146602A (en) * 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5319737A (en) * 1991-01-15 1994-06-07 Smiths Industries Aerospace & Defense Systems, Inc. Network structure for path generation
JP2727257B2 (ja) * 1991-04-16 1998-03-11 富士写真フイルム株式会社 ニューラルネットワークを用いた放射線画像処理方法
US5261035A (en) * 1991-05-31 1993-11-09 Institute Of Advanced Study Neural network architecture based on summation of phase-coherent alternating current signals
US5377305A (en) * 1991-10-01 1994-12-27 Lockheed Sanders, Inc. Outer product neural network
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US5276771A (en) * 1991-12-27 1994-01-04 R & D Associates Rapidly converging projective neural network
JPH05251789A (ja) * 1992-03-06 1993-09-28 Ezel Inc ニューロデバイス
GB9205727D0 (en) * 1992-03-16 1992-04-29 Sarnoff David Res Center Averaging,flash analog to digital converter
JPH07200512A (ja) * 1993-09-13 1995-08-04 Ezel Inc 最適化問題解決装置
US6463438B1 (en) 1994-06-03 2002-10-08 Urocor, Inc. Neural network for cell image analysis for identification of abnormal cells
US6208963B1 (en) 1998-06-24 2001-03-27 Tony R. Martinez Method and apparatus for signal classification using a multilayer network
US8364136B2 (en) 1999-02-01 2013-01-29 Steven M Hoffberg Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US8363744B2 (en) 2001-06-10 2013-01-29 Aloft Media, Llc Method and system for robust, secure, and high-efficiency voice and packet transmission over ad-hoc, mesh, and MIMO communication networks
US20050159824A1 (en) * 2004-01-20 2005-07-21 Childress Ronald L.Jr. Recurrent distribution network with input boundary limiters
US7469167B2 (en) * 2004-10-20 2008-12-23 Childress Jr Ronald L Predictive header pressure control
US7672918B2 (en) * 2007-02-05 2010-03-02 Steve Adkins Artificial neuron
US10133151B2 (en) 2017-02-23 2018-11-20 International Business Machines Corporation Media-defined optical logic circuitry design

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3546601A (en) * 1968-01-22 1970-12-08 Us Navy Neuronal event recognizer
US3617726A (en) * 1968-11-17 1971-11-02 Nippon Electric Co Automatic waveform analyzing apparatus for observing arbitrary waveforms by the synthesis of a plurality of optimumly weighted fundamental waveforms
US3934231A (en) * 1974-02-28 1976-01-20 Dendronic Decisions Limited Adaptive boolean logic element
US4326259A (en) * 1980-03-27 1982-04-20 Nestor Associates Self organizing general pattern class separator and identifier
JPS5842317A (ja) * 1981-09-07 1983-03-11 Toshiba Corp アナログ/ディジタル変換回路
FR2517066A1 (fr) * 1981-11-20 1983-05-27 Lavergnat Jacques Dispositif pour determiner et suivre les coordonnees instantanees de l'extremum d'une courbe y = f (x), caracteristique d'un systeme comportant une entree x et une sortie y
US4551817A (en) * 1983-10-24 1985-11-05 Director General Of Agency Of Industrial Science And Technology Device for detecting center position of two-dimensionally distributed data
US4660166A (en) * 1985-01-22 1987-04-21 Bell Telephone Laboratories, Incorporated Electronic network for collective decision based on large number of connections between signals

Also Published As

Publication number Publication date
IL80513A0 (en) 1987-02-27
EP0223468B1 (de) 1993-09-15
KR870005320A (ko) 1987-06-08
JPS62114071A (ja) 1987-05-25
EP0223468A3 (en) 1988-12-28
CA1281423C (en) 1991-03-12
ES2042498T3 (es) 1993-12-16
US4719591A (en) 1988-01-12
EP0223468A2 (de) 1987-05-27
DE3689030D1 (de) 1993-10-21
IL80513A (en) 1990-12-23

Similar Documents

Publication Publication Date Title
DE3689030T2 (de) Schaltung zur Bestimmung der besten Anpassung an Eingangssignale.
DE69223221T2 (de) Datenverarbeitungssystem mit geteilter nicht-linearer Funktion
DE68925156T2 (de) Integrierte Halbleiterschaltung für neurales Netzwerk
DE69419813T2 (de) Vorrichtung und Verfahren zur Erzeugung einer annähernden Funktion
DE69232116T2 (de) Hardware für elektronisches Neuronales Netzwerk
EP0934567B1 (de) Verfahren zur klassifikation der statistischen abhängigkeit einer messbaren zeitreihe
DE3501272A1 (de) Adaptives, selbstausbesserndes prozessorfeld
DE69119172T2 (de) Neuronalnetzwerkschaltung
DE4143073A1 (de) Mehrschichtiges neuronales netzwerk
DE2719471A1 (de) Zweistufiger kapazitiver analog- digital- und digital-analogwandler
DE69223447T2 (de) Lernverfahren für neuronales Netzwerk und Klassifizieranlage zum Anwenden dieses Verfahrens
DE112019005119T5 (de) Abgleichtechniken zum angleichen des symmetriepunktes als null-gewichtungspunkt in analogen kreuzungspunktanordnungen
DE69009786T2 (de) Schaltungsanordnung mit Mehrfachrückkopplung.
DE69110538T2 (de) Neuronales Klassifikationssystem and -verfahren.
DE3787395T2 (de) Parallele Berechnungsschaltung.
DE4222844C2 (de) Mosfet-Analog-Multiplizierer
WO2022063658A1 (de) Skalarproduktschaltung und verfahren zum berechnen binärer skalarprodukte eines eingangsvektors mit gewichtsvektoren
DE112020000660T5 (de) Arithmetikeinrichtung und multiplizier-akkumulier-system
DE102021108823A1 (de) System für eine flexible leitwerttraverse
DE112020005613T5 (de) Neuromorphe Einheit mit Kreuzschienen-Array-Struktur
DE1574601A1 (de) Sinus-Cosinus-Generator
DE69105129T2 (de) Kapazitive strukturen für bewertende summierung in neuronalen netzen.
DE1811420C3 (de)
WO1998007100A1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
DE112021000238T5 (de) Leistungsfähige und platzsparende struktur von synapsen-speicherzellen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8328 Change in the person/name/address of the agent

Free format text: BLUMBACH, KRAMER & PARTNER, 65193 WIESBADEN

8339 Ceased/non-payment of the annual fee