DE1957457A1 - Verfahren und Einrichtung zur optimalen nicht linearen Datenverarbeitung - Google Patents

Description

Dft -ΙΝβ. DIPL.-INQ. M. «C. DIPL.-PMYS. DR. DIPL.-PHY». HÖGER - STELLRECHT-GRIESSBACH - HAECKER PATENTANWÄLTE IN STUTTGART

A 37 546 b 1957457

25.September 1969

Texas Instruments Incorporated

Dallas /Texas, USA 13500 North Central Expressway

Verfahren und Einrichtungen zur optimalen nicht linearen Datenverarbeitung. '

Die Erfindung betrifft ein optimales nicht lineares Datenverarbeitungsverfahren mit Lern- und Kannphase, wie es zum Filtern, Glätten und Vorhersagen von Daten sowie zum Identifizieren, Steuern, Nachbilden und Klassifizieren von Daten und Datenquellen Verwendung findet, sowie Einrichtungen zur Durchführung dieses Verfahrens.

— 2 —·

009828/1667

25.September 1969

gü-35 · . ■

Die optimale lineare Datenverarbeitung nach dem Prinzip des kleinsten Fehlerquadrates ist allgemein bekannt. Ihre theoretischen Grundlagen sind in dem Buch von Norbert Y/iener "The Fourier Integral and Certain of its Applications", Dover Publications Inc. 1933» behandelt, das auch die Grundzüge der nicht linearen Datenverarbeitung bringt. Anwendungen der Theorie der nicht linearen Datenverarbeitung sind in der Arbeit von Amar G.Böse vom Juni 1956 "A Theory of Non-Linear Systems", Ji. I.T. Research Laboratories of Electronics, Technical Report Nr. 309, sowie in dem US-Patent 3 265 870 von Böse beschrieben.

In dem deutschen Patent ....... (Patentanmeldung P 19 25 737.5) derselben . Anmelderin sind Verfahren und Einrichtungen zur optimalen nicht linearen Nachrichtenverarbeitung vorgeschlagen worden, welche gegenüber den von Wiener beschriebenen und von Böse ausgeführten Filtern durch Verringern des zur Ausführung der Wiener-Boser¹ sehen Lehre erforderlichen instrumenteilen Aufwandes ganz wesentlich verbessert sind.

Wie aus dem Bose-Patent hervorgeht, steigt die Anzahl der Filter-Koeffizienten, die zur Kennzeichnung einer optimalen nicht linearen Datenverarbeitungseinheit erforderlich sind, sehr schnell an, wenn deren Zusammensetzung verwickelter wird. In der Einrichtung nach dem Bose-Patent werden Laguerre-Netzwerke mit s Laguerre-Koeffizienten und η Schaltfunktionen pro Koeffizient verwendet. Somit müssen insgesamt n^s Koeffizienten ausgewertet werden. In dem Bose-System werden diese Koeffizienten durch Kondensatorladungen dargestellt. Die Anzahl der so dargestellten Koeffizienten

009828/1667

A 37 546 b _ 3 _ 1 Q^7Λ ^7

25.September 1969 ι α ο / <+O /

steigt noch weiter an, wenn die Anzahl der Schaltfunktionen in dem Bose-System vergrößert wird, um den Funktionsbereich des Eingangssignales in kleinere Zellen zu quantisieren. Diese Maßnahme ist» wie Böse ausführt, zwar für eine Verringerung des Filterfehlers wünschenswert, aber kaum zu realisieren, da sie zu einer sehr großen Anzahl auszuwertender Koeffizienten führt.

Bei den Verfahren und Einrichtungen nach dem genannten deutschen Patent derselben Anmelderin wird der Grad der Systemverknüpfung im wesentlichen dadurch über jedes von Böse als möglich angesehene Maß hinaus verringert, daß ein Teil des Ausgangssignales an den Eingang des Systems rückgekoppelt wird. Hierdurch wird erreicht, daß sehr viel weniger Koeffizienten ausgewertet werden müssen. Dieses Vorgehen ist zwar sehr vorteilhaft, es hat sich aber gezeigt, daß in einigen Anwendungsfällen viele der verwendeten Speicherzellen überhaupt nicht aufgerufen werden und somit nicht erforderlich sind.

Der Erfindung liegt nun die Aufgabe zugrunde, die bekannten derartigen Verfahren und Einrichtungen und insbesondere diejenigen nach dem Bose-Patent und dem Patent der gleichen Anmelderin dadurch zu verbessern bzw. weiterzuverbessern, daß der erforderliche Speicheraufwand und somit auch derjenige für die in der lernphase benötigte Unterweisungseinrichtung beträchtlich bzw. weiterhin verringert wird, und daß die Möglichkeit zu einer optimalen linearen Interpolation sowie zu einer optimalen linearen Extrapolation geschaffen wird.

009828/15 67

A 37 546 b - 4 -

25.September 1969

Dies wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß dadurch erreicht, daß die Eingangssignale durch für jede auftretende Kombination ihrer Quantisierungsstufen gespeicherte Gewichtsignale linear modifiziert und zur Bildung der Ausgangssignale summiert werden, und daß in der Lernphase die gespeicherten Gewichtssignale für jede auftretende Kombination der Quantisierungsstufen von Eingangssignalen gleicher statistischer Verteilung wie die in der Kannphase zu verarbeitenden Signale durch diese Eingangssignale nach dem Prinzip des kleinsten mittleren Fehlerquadrates der tatsächlichen gegenüber den gewünschten Ausgangssignalen linear modifiziert und wieder abgespeichert werden.

Wie bei dem vorgenannten Patent der gleichen Anmelderin kann dadurch eine Rückkopplung erzielt werden, daß mindestens ein Eingangssignal aus den Ausgangssignalen abgeleitet wird.

Für gewöhnlich wird für jedes der Eingangssignale einschließlich der rückgekoppelten Ausgangssignale ein Gewichtssignal vorgesehen. Zur Erzielung einer Beeinflussungsmöglichkeit wird jedoch nach einer weiteren Ausgestaltung der Erfindung der Anzahl der Gewichtssignale größer gewählt als diejenige der Eingangssignale.

Die Modifizierung der Eingangssignale erfolgt vorteilhafterweise durch Multiplikation mit den Gewichtssignalen und diejenige der Gewichtssignale in der Lernphase durch Summation mit einem mindestens einem Eingangssignal und/oder einem Fehlersignal proportionalen Signal. Dabei kann das Fehlersignal durch Subtraktion der modifizierten Eingangs-

009828/1567

25. September 1969 r^o/πο/

signale und - zur erwähnten Erzielung einer Beeinflussungsmöglichkeit - mindestens eines nicht unmittelbar von einem Eingangssignal abhängigen Gewichtssignales von dem gewünschten Ausgangssignal gewonnen werden.

Ein optimales nicht lineares Datenverarbeitungssystem mit Lernmatrix zum Durchführen des Verfahrens nach der Erfindung wird nach einer vorteilhaften Ausgestaltung der Erfindung dadurch realisiert, daß die Lernmatrix für jede auftretende Kombination von Quantisierungsstufen der Eingangssignale je eine Speicherzelle für die Gewichtssignale und eine lineare Recheneinheit aufweist, daß die linearen Recheneinheiten Einrichtungen zum Modifizieren und Summieren der Eingangssignale, Einrichtungen zum Bilden eines Fehlersignales aus den modifizierten Eingangssignalen und dem gewünschten Ausgangssignal sowie Einrichtungen zum Modifizieren der gespeicherten Gewichtssignale durch die Eingangssignale und/oder das Fehlefsignal besitzen, und daß mindestens die Einrichtungen zum Modifizieren der Gewichtssignale in der Kannphase abschaltbar sind.

Die linearen Recheneinheiten stellen Datenverarbeitungsuntersysteme dar, die sowohl während der Lern- als auch der Kannphase ausgewählt und in Abhängigkeit von den zu verarbeitenden Daten verwendet werden, um Gewichte zu liefern, mit denen die zu verarbeitenden Daten gewogen werden. Sie werden in der Lernphase so unterwiesen, daß der auftretende Fehler nach dem Prinzip des kleinsten mittleren Fehlerquadrates ein Minimum wird.

Die Ausgangssignale des Datenverarbeitungssystems werden entweder dadurch erhalten, daß die Ausgänge der Speicherzellen

009828/1667

25.September 1 969

über vielfach geschaltete Torschaltungen an weitere Einrichtungen zum Modifizieren und Summieren der Eingangssignale anschließbar sind, deren Ausgänge mit dem Ausgang des Datenverarbeitungssystems verbunden ist, oder dadurch daß der Ausgang des Datenverarbeitungssystems über vielfach geschaltete Torschaltungen mit den Ausgängen der Einrichtungen zum Modifizieren und Summieren der Eingangssignale in den linearen Recheneinheiten verbindbar ist.

Nach einer Ausgestaltung weisen die Einrichtungen zum Modifizieren und Summieren der Eingangssignale für jedes Eingangssignal einen Multiplizierer auf, dessen zweiter Eingang jeweils mit dem Ausgang einer Speicherzelle für ein Gewichtssignal verbindbar ist und sind die Ausgänge der Multiplizierer und vorzugsweise mindestens der Ausgang einer weiteren Speicherzelle für ein Gewichtssignal an einen Summierer angeschlossen.

Vorteilhafterweise enthalten die Einrichtungen zum Bilden eines Pehlersignales einen Summierer, dessen Eingänge über einen Inverter an den Ausgang der Einrichtungen zum Modifizieren und Summieren der Eingangssignale angeschlossen bzw. mit dem gewünschten Ausgangssignal beaufschlagbar sind.

Zur Realisierung eines vorteilhaften Verfahrens nach dem Prinzip des kleinsten mittleren Fehlerquadrates weisen die Einrichtungen zum Modifizieren der gespeicherten Gewichtssignale für jedes Gewichtssignal einen Summierer auf, dessen zweiter Eingang über einen Verstärker veränderbaren Verstärkungsgrades entweder direkt oder über einen mit einem Eingangssignal beaufschlagbaren Multiplizierer an den Aus-

009828/1567

25.September 1969

gang der Einrichtungen zum Bilden eines Fehlersignales angeschlossen sind.

Eine ganz beträchtliche Verringerung des für ein Datenverarbeitungssystem zum Durchführen des Verfahrens nach der Erfindung benötigten Schaltungsaufwandes wird nach einer besonders vorteilhaften Abwandlung der Erfindung dadurch erzielt, daß die Iiernmatrix nur eine lineare Recheneinheit aufweist, die über vielfach geschaltete Torschaltungen mit dem Ausgang der Speicherzellen für die Gewichtssignale verbindbar ist.

Im folgenden wird die Erfindung anhand einiger in den beigefügten Zeichnungen dargestellter Ausführungsbeispiele näher beschrieben. Es zeigen:

Fig. 1 ein Blockdiagramm der durch die Erfindung

verbesserten Einrichtung nach dem vorgenannten Patent der gleichen Anmelderin,

Fig. 2 ein Blockdiagramm eines Ausführungsbeispieles der Erfindung,

Fig. 3 ein Schaltbild eines Quantisierers nach Fig.1 und 2,

Fig. 4 eine Tabelle für die Arbeitsweise des Quantisierers nach Fig.3,

Fig. 5 eine Schemadarstellung eines Ausführungsbeispieles der Erfindung,

009828/1567

A 37 546 b - 8 -

25.September 1969

gü-35

Pig. 6 ein Sinnbild für eine lineare Recheneinheit nach Pig.5 mit den Eingangs- und Ausgangsanschlüssen,

Pig. 7 eine ausführlichere Darstellung einer linearen Recheneinheit nach Pig.5 und 6 und

Pig. 8 eine Abwandlung der Einrichtung nach Pig.5.

Pig.1 stellt das durch Rückkopplung bezüglich seines Schaltungsaufwandes miniraisierte nicht lineare optimale Filter nach dem vorgenannten Patent derselben Anmelderin dar. Es soll als Ausgangspunkt der Erfindung zunächst beschrieben werden.

Das lernfähige nicht lineare Datenverarbeitungssystem nach Fig. 1 kann in der optimalen Verarbeitung einer einwertigen Zeitfunktion u unterwiesen werden. Es weist, wie allgemein in dem Bose-Patent gezeigt, zwei Komponenten u(t) und u(t)-u(t-T) auf, sieht aber Maßnahmen für eine Reduzierung des erforderlichen Speicherplatzes um viel Größenordnungen vor. Der Strich unter einem Symbol, z.B. u, soll im folgenden bedeuten, daß das so gekennzeichnete Signal mehrere Komponenten aufweist, z.B. eben u(t) und u(t)-u(t-T). Die Reduzierung des erforderlichen Speicherplatzes wird durch die Verwendung eines Rückkopplungsvorganges erzielt, der zu jedem Zeitpunkt nur einen Abtastwert der beiden Komponenten des Eingangssignales u erfordert und dadurch ganz wesentlich den notwendigen Speicherplatz verringert. Wie in dem Bose-Patent wird das Verarm beitungssystem in Abhängigkeit von einer bekannten oder angenommenen Punktion des gewünschten Ausgangssignales ,derart un-

009828/1567

25.Sept.1969

terwiesen, daß die Ausgangsfunktion χ der "bekannten oder angenommenen Funktion ζ für Eingangssignale entspricht, die eine statistische Verteilung ähnlich derjenigen des Eingangssignales u aufweisen. Anschließend wird dann das Verarbeitungssystem auf Eingangssignale u¹, u" usw. in optimaler Weise reagieren. Im folgenden wird zunächst die Lernphase behandelt, daran anschließend werden die Änderungen beschrieben, die erforderlich sind, um mit anderen Signalen als den in der Lernphase benutzten zu arbeiten.

In Fig.1 bildet die erste Komponente des Eingangssignales u · eine Eingangssignalquelle 10 das Eingangssignal eines Quantisierers 11. Das Ausgangssignal des Quantisierers 11 wird an zwei Speicher 12 und 13 angelegt. Die Speicher 12 und 13 haben im wesentlichen gleichen Aufbau und gleiche Speicherkapazität und werden durch Signale von dem Quantisierer 11 und zwei weiteren Quantisierern 14 und 15 koinzident adressiert. Sie sind somit dreidimensional aufgebaut und können an einer Vielzahl einzeln adressierbare Speicherstellen verschiedene elektrische Quantitäten speichern.

Der dritte Quantisierer 15 adressiert die Speicher 12 und abhängig von der zweiten Komponente des von der Eingangssignalquelle 10 gelieferten Signales u. Wenn der Abtastwert U^ der Augenblicksv/ert des Eingangssignales ist, wird somit an den Quantisierer 15 der Wert Uj-U_1-- angelegt. Dieser Wert wird in ein Summierer 17 erzeugt, welcher das Signal Uj einmal direkt von der Eingangssignalquelle 10 und zum anderen um ein Abtastintervall verzögert sowie mit negativem Vorzeichen über eine Verzögerungseinrichtung 18 und einen Inverter 18a erhält. In der Beschreibung der Fig.1 wird der Quantisierer 15 zunächst als nicht vorhanden betrachtet und erst später wieder berücksichtigt.

- 10 -

009828/1567

25.Sept.1969
gü-35

Das Ausgangssignal des Speichers 12 wird zusammen mit dem zweiten Signal z., dem Augenblickswert des gewünschten Ausgangssignales, von einer Signalquelle 21 an einen Summierer 20 geliefert, welcher ein drittes Eingangssignal über einen • Rückkopplungskanal 22 erhält, und zwar über einen Inverter 23» der das Vorzeichen des darin enthaltenen Signales umkehrt. Der Ausgang des Summierers 20 ist an den Dividendeneingang eines Dividierers 24 angeschlossen.

Der Devisoreingang des Devidierers 24 ist über einen Summierer 25 mit dem Ausgang des Speichers 13 verbunden. Der zweite Eingang des Summierers 26 liegt an dem Ausgang einer Einheitssignalquelle 27. Der Quotientenausgang des Dividierers 24 ist an einen Summierer 30 angeschlossen, welcher den Augenblickswert x^ des Ausgangssignales liefert*. Der zweite Eingang des Summierers 30 ist mit dem Rückkopplungskanal 22 verbunden, welcher über eine Verzögerungseinrichtung 32 an den Ausgang des Verarbeitungssystems angeschlossen ist und somit den um ein Abtastintervall verzögerten Wert Xj -j liefert. Der Rückkopplungskanal 22 liegt weiterhin an dem Eingang des Quantisierers 14.

Vom Ausgang des Summierers 20 führt ein Rückkopplungskanal 36 an den Eingang des Speichers 12, um dessen Inhalt auf den neuesten Stand zu bringen. In ähnlicher Weise führt ein Rückkopplungskanal 38 von dem Ausgang des Summierers an den Eingang des Speichers 13.

Während der Lernphase arbeitet das System, wenn der Quantisierer 15 zunächst als n±ht vorhanden betrachtet wird, wie folgt. Der Augenblickswert Uj des EingangssignaIes von der Eingangssignalquelle 10 wird in dem Quantisierer 11 quan-

- 11 -

009828/1667

25.Sept.1969
gü-35

tisiert. Gleichzeitig wird in dem Quantisierer 14 der von der Verzögerungseinrichtung 32 gelieferte vorhergehende Wert ^xi_1 ^^es Ausgangssignales quantisiert, welcher anfangs Null sein kann. Die von den beiden Quantisierern 11 und 14 gelieferten Signale wählen in jedem der beiden Speicher 12 und 13 eine Speicherzelle aus. In der Zelle des Speichers iet ein früher über den Rückkopplungskanal 36 vom Ausgang des Summierers 20 gelieferter Wert gespeichert. In der entsprechenden Zelle des Speichers 13 ist ein früher über den Rückkopplungskanal 38 gelieferter Wert enthalten, der angibt, wie oft diese beiden Zellen bereits aufgerufen worden sind. Alle in den beiden Speichern 12 und 13 enthaltenen Werte können zu Beginn Null gewesen sein. Die vom Speicher ausgewählten Signale werden gleichzeitig mit den Signalen z. und -Xj_i an den Summierer 20 angelegt.

Das Ausgangssignal des Summierers 20 wird in dem Dividierer 24 durch das in dem Summierer 26 um Eins erhöhte Aüsgangseignal des Speichers 13 dividiert. Der so gebildete Quotient wird in dem Summierer 30 zu dem vorhergehenden Wert x^-j addiert und bildet so den Augenblickswert des Ausgangssignales x.. Dieser ist somit abhängig von dem Augenblickswert Uj des Eingangssignales, dem Augenblickswert z. des gewünschten Ausgangssignales, dem vorhergehenden Wert x. ₁ des tatsächlichen Ausgangssignales und den in den adressierten Speicherzellen enthaltenen Vierten.

Ein nicht lineares System kann durch die vektorielle Differentialgleichung

009828/1567

25.Sept.1969

gü-35 .

beschrieben v/erden, in welcher ± die Ableitung des Signales χ nach der Zeit und £ eine das System beschreibende Vektorfunktion von Xf H ^und i* ^is"t· Durch die Vektorfunktion £ entspricht diese vektorielle Differentialgleichung erster Ordnung einer Differentialgleichung weit höherer Ordnung. Bei einer Reihe von wichtigen stationären Systemen, wie in dem hier zuerst betrachteten, erscheint die Zeit t nicht als ein Parameter von £.

Wenn das Abtastintervall hinreichend klein gewählt wird, ist die Veränderung von χ in jedem Intervall (t, t-T) bei realisierbaren physikalischen Einschränkungen so klein, daß die vektorielle Differentialgleichung durch

= T

(X_1-1, U₁) + X_1-1 (4)

angenähert werden kann. Das Problem, das^erste Glied auf der rechten Seite dieser Gleichung in optimaler Weise .zu bestimmen, wird hier durch das Vorsehen der erwähnten Rückkopplungen gelöst, so daß das in Verbindung mit Fig.1 beschriebene System automatisch das Signal X₁ liefert.

In der Lerhphase werden in dem System gemäß Pig.1 Spannungsbedingungen aufgebaut, welche für Signale mit der gleichen statistischen Verteilung wie die Signale ζ des Lernvorganges das optimale Verarbeitungssystem liefern.

Wenn der Lernvorgang für eine statistisch bedeutsame Folge von u und ζ durchgeführt worden ist, können zwischen der Quelle 21 für das zweite Signal ζ sowie zwischen dem Inverter 23 einerseits und dem Summierer 20 andererseits sowie zwischen der Einheitssignalquelle 27 und dem Summierer 26 angeordnete Schalter 21a, 23a und 27a geöffnet wer'den. Dann

- 13 -

0098 2 8/1567

25.Sept.1969

wird das Verarbeitungssystem auf Eingangssignale u¹ gleicher statistischer Verteilung in der oben beschriebenen Weise optimal reagieren. ^l

Der Quantisierer 15 liefert ein Ausgangssignal abhängig von der Differenz zwischen aufeinanderfolgenden .Abtastwerten u. und u. -j und verwendet dazu eine Verzögerungseinrichtung 18 am Eingang zusätzlich zu der Verzögerungseinrichtung 32 am Ausgang des Verarbeitungssystems. Im allgemeinen können sowohl am Eingang als auch am Ausgang des Verarbeitungssystems mehrere Verzögerungen vorgesehen werden. Aus physikalischen Er- . wägungen heraus werden jedoch am Eingang höchstens genau so viel und wenn das System Tiefpassverhalten zeigt, weniger Verzögerungen benötigt als am Ausgang. Bei Verwendung des Systems mit dem Quantisierer 15 können die Speicher 12 und 13 als dreidimensional angesehen werden. Die Komponenten des Eingangsvektors und des Ausgangsvektors hängen nicht notwendigerweise über einfache Verzögerungen miteinander" zusammen.

Die vorgeschlagene Anordnung in dem vorgenannten Patent derselben Anmelderin war ein analog arbeitendes verbessertes Verarbeitungssystem, in welchem während der lernphase Spannungen an Kondensatoren so verändert wurden, daß in der auf die lernphase folgenden Kannphase das Verarbeitungssystem auf vorgegebene Eingangssignale in der gewünschten Weise ansprach.

Bei dem vorgeschlagenen System war eine Matrix von Speicherelementen vorgesehen, deren Inhalt jedesmal dann schrittweise verändert wurde, wenn eine Speicherzelle durch mindestens zwei Signale, dem Augenblickswert des Eingangssignales und einem vorhergehenden Wert des Ausgangssignales, adressiert

-H-

009828/1667

25.Sept.1969 .

Eine zweite Speichermatrix war vorgesehen, um in einer der aufgerufenen Zelle in der ersten Matrix entsprechenden Zelle eine von der Anzahl der Befragungen dieser "beiden Zellen abhängige Spannung zu speichern. Die in den beiden Speichermatrizen gespeicherten Signale wurden dann in der Kannphase dazu benutzt, die gewünschten Ausgangssignale des Verarbeitungssystems zu erzeugen.

Gemäß der vorliegenden Erfindung werden lineare Datenverarbeitungs-Untersysteme aus einer Matrix solcher Untersysteme ausgewählt. In den Ausführungsbeispielen ist diese Auswahl von dem Augenblicklichen Wert des Eingangssignales und dem vorhergehenden Wert des Ausgangssignales abhängig.

Die Anordnung nach der Erfindung stellt eine Verbesserung der vorgeschlagenen Anordnung dar, welche es ohne Einbuße an Genauigkeit ermöglicht, den erforderlichen Speicheraufwand und somit auch denjenigen für die in der Lernphase benötigte Unterweisungseinrichtung zu verringern sowie optimale lineare Interpolationen und Extrapolationen durchzuführen. Die Erfindung läßt sich sowohl auf geradlinige, nicht lineare Verarbeitungssysteme, z.B. nach dem genannten Bose-Patent als auch auf rückgekoppelte Verarbeitungssysteme, z.B. auf die vorgeschlagene Anordnung, anwenden. Das Datenverarbeitungssystem nach der Erfindung stellt genau dann ein optimales nicht lineares System dar, wenn seine linearen Untersysteme tatsächlich optimal unterwiesen sind.

In Fig.2 ist ein Ausführungsbeispiel der Erfindung gezeigt. An die Quantisierer 11, H und 15, deren Ausgangssignale die Auswahl von die linearen Untersysteme des Datenverarbeitungssystems bildenden Recheneinheiten der Matrix 12 steu-

009828/1567

A 37 546 b - 15 - 1 95 7 A 57

25.Sept.1969

em,werden Eingangssignal U₁, Up und u, angelegt. Das Verarbeitungssysteni liefert Gewichtssignale, welche auf Leitungen 50, 51 und 52 ausgewählt und an Multiplizierer 53, 54
und 55 angelegt werden können. Die Multiplizierer 53 his 55 werden weiterhin mit den Eingangssignalen U₁, U₂ und u, beaufschlagt. Zwei Addierer 56 und 57 arbeiten mit den Multiplizierern 53 bis 55 zusammen und liefern auf einer Leitung 50 das gewünschte Ausgangssignal X^₊₁. Eine Verzögerungseinheit 59 liefert über eine Leitung 59a das Ausgangssignal
x. als Eingangssignal U₂.

Bevor der Aufbau der Mateix 12 näher betrachtet wird, seien die Quantisierer 11, 14 und 15 anhand der Pig.3 beschrieben. Die Eingangssignalquelle 10 ist über eine von einem Taktgeber 37 gesteuerte UND-Schaltung 10a angeschlossen. Abhängig von der augenblicklichen Amplitude, welche das Signal
in dem Zeitpunkt hat, wenn der Zeitgeber 37 die UND-Schaltung 10a öffnet, wird durch den Quantisierer immer nur eine der Leitungen 41 bis 44 erregt. Der Quantisierer weist drei Eingangstransistoren 101, 102 und 103 aufi deren Basen über 'Zener-Dioden 104, 105 und 106 an den Ausgang der UND-Schaltung 10a angeschlossen sind. Der Transistor 101 ist mit seinem Emitter an die Leitung 44 und über einen Widerstand 108 an die Basis eines Transistors 109 angeschlossen. Der Transistor 2 ist'mit seinem Kollektor mit den Basen zweier Transistoren 110 und 112 verbunden. Der Kollektor des Transistors 103 liegt an der Leitung 41 sowie über einen Widerstand 118 an der Basis eines Transistors 117. Die Kollektoren der
Transistoren 109 und 110 sind an die Leitung 43 angeschlossen, diejenigen der Transistoren 116 und 117 an die Leitung 42. Der Emitter des Transistors 101 liegt über einen Widerstand 107 an Masse. Sein Kollektor ist mit der Betriebs-

- 16 -

009828/ 1567

25.Septe.1969
gü-35

spannung verbunden. Alle übrigen Transistoren liegen mit ihren Emittern unmittelbar an Masse und mit ihren Kollektoren über Widerstände 111, 119» 113, 114 und 115 an der Betriebsspannung.

Wenn das Signal von der Umschaltung 1Oa kleiner ist als die Durchbruchspannung der Zener-Diode 106, ist Transistor gesperrt und sein Kollektor auf Betriebspotential, so daß die Leitung 41 erregt wird. Der Transistor 117 leitet und ^ erzeugt dadurch einen Spannungsabfall am Widerstand 115, so daß die Leitung 42 im wesentlichen auf Massepotential liegt.

In ähnlicher Weise sind die Transistoren 101 und 102 gesperrt, der Transistor 110 leitend, so daß auch die Leitung 43 und auf Massepotential liegen.

Wenn das Eingangssignal die Durchbruchspannung der Zener diode 106 überschreitet, aber nicht diejenige der Zener diode 104 und 105, leitet der Transistor 103, so daß Leitung 41 auf Massepotential ist. Der Transistor 117 wird gesperrt, so daß die Leitung 42 erregt wird. Da der Transistor | 102 gesperrt ist, leitet der Transistor 112, so daß sein Kollektor auf Massepotential ist und den Transistor 116 sperrt. In ähnlicher Weise macht der Transistor 102 den Transistor 110 leitend, so daß die Leitung 43 auf Massepotential ist. Wie vorher ist der Transistor 101 gesperrt und Leitung 44 auf Massepotential, so daß nur die Leitung 42 erregt ist.

Für den Fall, daß das Signal von der UND-Schaltung 10a die Durchbruchspannung der Zehner-Diode 105, aber nicht die"je-

- 17 -

009 828/1567

A 37 546 b - 17 - 1 95 7 A 57

25.Sept.1969
gü-35

•nige der ^ener-Diode 104 überschreitet, sowie für den Fall, daß das Signal die Durchbruchspannung der Zener-Diode 104 überschreitet, arbeitet die Schaltung in gleicher Weise, so daß beim Ansteigen dieses Signals nacheinander eine der Leitungen 41 bis 44 erregt wird.

Die Durchbruchspannungen der Zener-Dioden 104 bis 106 werden entsprechend der gewünschten Quantisierungsstufen gewählt. Die einzelnen Zener-Dioden sind entweder solche unterschiedlicher Durchbruchspannung oder, wie in Pig.3» aus mehreren gleichartigen Dioden zusammengesetzt.

Fig.4 ist eine tabularische Zusammenstellung der Arbeitsweise eines Quantisierers nach Pig.3, aus der in übersichtlicher Weise ersichtlich ist, daß nacheinander die leitungen 41 bis erregt werden, wenn die Durchbruchspannungen V₁, Vp und V, der Zener-Dioden 106, 105 bzw. 104 überschritten werden.

Pig.5 zeigt ein Verarbeitungssystem ähnlich demjenigen nach Pig.2, in welchem lineare Recheneinheiten aus einer Matrix solcher Recheneinheiten ausgewählt werden. Der Quantisierer 11 weist für jede seiner vier Quantisierungsstufen eine Ausgangsleitung 41 bis 44 auf. Wenn mehr Quantisierungsstufen und somit mehr Ausgangsleitungen verwendet werden, wird eine größere Matrix als die in Pig.5 gea igte 4x4-Matrix benötigt.

Der Quantisierer 14. besitzt in ähnlicher Weise vier Ausgangsleitungen 45 bis 48. An die leitungen 41 und 45 ist eine UND-Schaltung 90 angeschlossen. In ähnlicher Weise befindet sich an jeder Kreuzung der Leitungen der Leitungsgrujpe 41 bis 44 mit denjenigen der Leitungsgruppe 45 bis 48 eine Umschaltung zur Auswahl jeweils einer Recheneinheit. Welche Recheneinheit jeweils ausgewählt wird, hängt von den Quantisierungsstufen

- 18 -

009828/1667

25.Sept.1969

der beiden Signale x. und u. _Λ ab, von denen x. das vorhergehende Ausgangssignal des Verarbeitungssysteras und u- -, der augenblickliche V/ert des Eingangssignales u ist. Die Umschaltung 90 weist eine Ausgangsleitung 91 auf, mit welcher eine Recheneinheit 92 eingeschaltet wird. Mit den Quantisierern 11 und 14, einer Ausgangs-Verzögerungseinheit 206 und der Recheneinheit 92 ist ein Taktgeber 49 verbunden, so daß die Signale wie bei der vorgeschlagenen Anordnung durch zeitliche Abtastung derarbeitet werden.

Pur den Pail von zwei Eingängen, auf den sich Pig.5 bezieht, besitzt die Recheneinheit 92 fünf Eingänge und zwei Ausgänge, Der Aufbau der Recheneinheit 92 hängt von dem betreffenden Verfahren ab, nach welchem- das mittlere Fehlerquadrat minimisiert wird. In dem beschriebenen Ausführungsbeispiel wird hierfür das bekannte Widrow-Verfahren angewendet, das in einem Aufsatz von Widrow "Adaptive Filter I: Fundamentals" in dem S.E.L. Report Fr. 66-126 des Stanford University Center for Systems Research, Systems Theory Laboratory, Palo Alto, Californien, beschrieben ist.

Pig.5 weist weitere ähnliche Recheneinheiten 92a bis 92o auf, so daß für jede der 16 möglichen Kombinationen von erregten Leitungen in den Leitungsgruppen 41 bis 44 und 45 bis 48 eine Recheneinheit ausgewählt werden kann. Pig.6 zeigt das Sinnbild für die Recheneinheit 92 mit den Bezeichnungen der an sie angeschlossenen Eingangs- und Ausgangsleitungen.

Der Aufbau der Recheneinheiten 92 und 92a bis ο ist in Fig.7 dargestellt. Jede Recheneinheit liefert ihre Ausgangssignale gemäß den folgenden Gleichungen:

- 19 -

009828/1567

A 37 546 b - 19 - 195 7 A 57

25.Sept.1969

⁼ S ^+kej+i

~ S V ⁽⁷⁾

Dabei ist ^z-?₊i der nächste Wert des gewünschten Ausgangssignales während der Lernphase,

a. der augenblickliche Wert einer ersten in der Recheneinheit gebildeten Gewi chtsf unkt ion,

u. - der nächste Wert des Eingangssignäles u,

a. der augenblickliche Wert einer zweiten

in der Recheneinheit gebildeten Gewichtsfunktion,

x. der augenblickliche Wert des dem Signal χ. von Fig.2 entsprechenden Ausgangssignales der Recheneinheit und

k ein Verstärkungsfaktor, der gewöhnlich kleiner ist als Eins.

In Fig.7 isf ein erster Multiplizierer 60 gezeigt, an welchen zwei Eingangssignale a. und u.₊₁ angelegt werden können. Der Ausgang des IJultiplizierers 60 ist über die Leitung 61 an einen Summierer 63 angeschlossen, dessen Ausgang über einen Inverter 65 mit einem Eingang eines zweiten Summierers 66 verbunden ist. Ein zweiter Multiplizierer 67 kann durch

die Signale a. und x. beaufschlagt werden. Sein Ausgang

JJ
ist ebenfalls an den Summierer 63 angeschlossen. An den

- 20 -

009828/1567

A 37 546 b - 20 - 1957 A 57

25.Sept.1969

gü-35

zweiten Eingang des Summierers 66 wird über eine Leitung 64 das Signal Z₁ angelegt.

Der Ausgang des Summierers 66 ist über eine Leitung 68 mit den Eingängen zweier Multiplizierer 69 und 70 verbunden. An den zweiten Eingang des Multiplizierers 69 wird das Signal u. -| angelegt. Der Ausgang des Multiplizierers 69 ist über einen Verstärker 71 mit dem Verstärkungsgrad k an einen Summierer 72 angeschlossen. An den zweiten Eingang des Summierers 72 wird über eine Leitung 73 das Signal a. angelegt, so daß das in einem Kondensator 74 speicherbare Ausgangssignal des Summierers 72 dem Wert ^a-!₊i entspricht.

Das Ausgangssignal a.^ ist eine Gewichtsfunktion, welche durch Multiplikation mit dem Eingangssignal u.₊₁ und Summation des Produktes mit einem ähnlichen Produkt aus dem zwei-

ten Eingangssignal x. und einer zweiten Gewichtsfunktion a.

j ■ J

zur Bildung des Ausgangssignales x*₊-\ verwendet werden kann.

Die zweite Gewichtsfunktion a. wird dadurch gebildet, daß

der Multiplizierer 70 mit dem zweiten Eingangssignal x. be-, aufschlagt und sein Ausgangssignal über einen Verstärker 75 mit dem Verstärkungsgrad k an einen Summierer 76 angelegt wird. Der zweite Eingang des Summierers 76 wird über eine

2
Leitung 77 mit dem Signal a. gespeist. Auf diese Weise bildet das zweite Ausgangssignal der Recheneinheit, welches in einem Kondensator 78 gespeichert werden kann, die zweite Ge-

Wichtsfunktion ^a-j₊-|· Die in den Kondensatoren 74 und 78 gespeicherten Werte stellen die Ausgangssignale der in dem nicht linearen Verarbeitungssystem nach Fig.5 enthaltenen linearen Recheneinheit 92 dar.

- 21 -

0 09828/1567

25.Sept.1969

1 2

Zur Bereitstellung der Eingangssignale a. und a. sind die Ausgänge der Recheneinheit 92 über Eückkopplungsschleifen mit zwei Speicher- und Verzögerungseinrichtungen 79 und 80 mit zwei Eingängen der Recheneinheit 92 verbunden. Auf diese Weise können die augenblicklichen Werte der AusgangsSignaIe der linearen Recheneinheit während eines Abtastzeitraumes gespeichert und sodann über eine Torschaltung 81 als Eingangssignale der Recheneinheit verwendet werden. Die Torschaltung 81 wird durch die Umschaltung 90 eingeschaltet. Die Ausgänge der Recheneinheit 92 sind über Umschaltungen 93 und 94, deren zweite Eingänge an die UND-Schaltung 90 angeschlossen sind, mit Leitungen 95 und 96 verbunden.

In der Schaltung nach Pig.5 sind die Leitungen 95 und 96 der Recheneinheit 92 über zwei ODER-Schaltungen 210 und 211 an zwei Multiplizierer 200 und 201 angeschlossen. An den zweiten Eingang des Multiplizierers 200 wird über eine. Leitung 202 das dem augenblicklichen Ausgangssignal entsprechende Signal x. angelegt. Der Ausgang des Multiplizierers 200 ist mit einem Summierer 203 verbunden. Der folgende Wert des Eingangssignales von der Signalquelle 10 U^₊₁ wird über eine Leitung 204 an den Multiplizierer 201 angelegt. Der Ausgang des Multiplizierers 201 ist mit dem zweiten Eingang des Summierers 203 verbunden, so daß an einer Ausgangsleitung 205 der folgende Viert des Ausgangssignales x/.-j abzunehmen ist. Dieses Signal wird in einer Verzögerungseinheit 206 gespeichert und um einen Abtastzeitraum verzögert.

Auf diese Weise erzeugt jede Recheneinheit auf den Leitungen 95 und 96 entsprechenden Leitungen zwei Gewichtsfunktionen. Diese Gewichtsfunktionen werden mit dem augenblicklichen

- 22 -

009828/1567

A 37 546 b - 22 - _{1 Q} ~ „

25.Sept.1969 IUD /4b/

Ausgangssignal, χ. und dem nächsten Wert des Eingangssignal u. ^ multipliziert, um nach Summation auf der Leitung 205 das Ausgangssignal X^₊₁ des Verarbeitungssysteins zu bilden. Die linearen Recheneinheiten werden dabei über den Leitungen 95 und 96 ähnliche Leitungen und die ODER-Schaltungen 210 und ,211 an die Multiplizierer 200 und 201 aigelegt, wenn sie durch die Matrix-Adressierungssignale von den Quantisierern 11 und H aufgerufen werden.

Die vorstehende Beschreibung basiert auf der Verwendung des Widrow-Verfahren zum Minimisieren des mittleren Fehlerq.uadrates bei der Bildung der Gewichtsfunktion. Sie hat sich bisher auf die Lernphase bezogen. In der Kannphase wird die Schaltung nach Fig.7 durch Öffnen von Schaltern 64a, 69a und 70a abgeändert, so daß keine Modifizierung der Gewichts-

1 2

funktionen a. und a. mehr erfolgt. J J

Wie aus den Fig. 5 und 7 hervorgeht, stellt das Vorsehen je einer linearen Recheneinheit für jede Matrixzelle der Anordnung nach Fig.5 einen an sich unnötigen Schaltungsaufwand dar. In Fig.8 ist eine Anordnung gezeigt, welche gegenüber der Anordnung nach Fig.5 wesentlich vereinfacht ist. In ihr sind nach Möglichkeit die gleichen Bezugszeichen wie in den Fig.1, 5 und 7 gewählt worden.

In der Anordnung nach Fig.8 wird nur eine lineare Recheneinheit 92 verwendet, die mit allen Speicherzellen der Matrix verbunden werden kann. In allen Matrixzellen sind Einrichtungen zum speichern und Abändern der Gewichtsfaktoren a. und

2 ^

• a. vorgesehen. Hierzu besitzt beispielsweise die der Um-

J
schaltung 90 zugeordnete Matrixzelle zwei Speicherzellen

und 221, Diese dienen zum Speichern des Augenblickswertes

- 23 -

009828/1567

25.Sept.1969

1 2
der Gewichtüfunktionen a. und a., welche über zwei Leitun-

J J
gen 222 und 223 von den Ausgängen der Summierer 72 und 76

zugeführt werden.

Die Umschaltung 90 ist über eine Verzögerungseinrichtung 224 .mit zwei UND-Schaltungen 225 und 226 verbunden, deren zweite Eingänge an die Leitungen 222 und 223 und deren Ausgänge an die Speicherzellen 220 und 221 angeschlossen sind. Die Speicherzellen 220 und 221 sind über UND-Schaltungen 227 und 228, deren zweite Eingänge mit der UND-Schaltung 229 verbunden sind, an die lineare Recheneinheit 92 angeschlossen.

Während des Betriebes,wenn die Matrixzelle durch Erregen der UND-Schaltung 90 adressiert wird, werden die in den Speicher-

1 2

zellen 220 und 221 gespeicherten Werte a. und a. als Eingangssignale an die Llultiplizierer 60 und 67 angelegt. Nach Ablauf einer durch die Verzögerungseinheit 224 auferlegte Zeitverzögerung werden dann die modifizierten Vierte a. ₁

und a. _1? die auf den Leitungen 222 und 223 eintreffen, wieder in den Speicherzellen 220 und 221 abgespeichert. Auf diese Weise ist nur eine einzige lineare Recheneinheit 92 erforderlich.

Das Datenverarbeitungssystem wird wie in Fig.8 gezeigt während der Lernphase benutzt, wobei die Unterweisung von der statistischen Verteilung des von der Eingangsstromquelle 10 gelieferten Signales ii und dem von der Signalquelle 21 gelieferten gewünschten Ausgangssignal £ abhängt.

Aus Fig.5, im Zusammenhang mit den Fig.6 und 7 gesehen, ist zu entnehmen, daß das optimale nicht lineare Datenverarbeitungssystem lineare Untersysteme oder Recheneinheiten ent-

- 24 -

BAD 009828/1567

25.Sept.1969

gü-35 ■ ■

hält, welche die oben erwähnten Maßnahmen ausführen. Dabei ist in Fig.5 in jeder Matrixzelle ein lineares Untersystem vorgesehen.. Dagegen wird in der Anordnung nach Fig.8 nur ein einziges lineares Untersystem verwendet zusammen mit für jede Matrixzelle vorgesehenen Speichereinrichtungen für die Gewichtsfaktoren, welche das lineare Untersystem beeinflussen. Unter einem Auswählen eines linearen Untersystems ist somit die Auswahl eines Systemes nach den Fig. 5 und 7 oder nach Fig.8 zu verstehen, wo nur ein einziges lineares h Untersystem verwendet wird.

Zur Durchführung des Verfahrens nach der Erfindung können auch andere lineare Verarbeitungssysteme zur Minimisierung des mittleren Fehlerquadrates verwendet werden als solche, bei denen das Widrow-Verfahren verwendet wird. Die Erfindung ist so it nicht auf dieses Verfahren beschränkt. Sie ist auch nicht auf eine bestimmte Schaltung oder auf eine bestimmte analoge Realisierung beschränkt, sondern hat allgemeine Anwendbarkeit, wie aus den folgenden Überlegungen zu entnehmen ist, bei denen das genannte Widrow-Verfahren nur einen Spe-• zialfall darstellt.

ψ DAs Eingangssignal ist im allgemeinen, wie weiter oben ausge-

r— ~i T

führt worden ist, ein Vektor u = Lu₁, U₂ ... u^J ι wobei T die Transponierung und Vertauschung von Spalten und Zeilen andeutet. 6« sei der Quantisierungsvektor für U₁ und derjenige für u_? usw. Der Einfachkeit halber seien die Einheitsvektoren. Dann kann eine Vektorfunktion

wie folgt definiert werden:

- 25 -

009828/1587

A 37 546 b - 25 - ι

25.Sept.1969 l

^x ί₂ ^χ ··· ^r (9)

Die Gleichung (9) betrifft dabei ein direktes Vektorprodukt, in welchem P = M M₂ ... Μ™, wenn M^ die Anzahl der Komponenten in (£· bezeichnet ist. Gemäß obigem kann das lineare Einführen durch die folgende Gleichung beschrieben werden:

χ = u^T . Af (10)

wenn χ das skalare Ausgangssignal und A ein Satz von Ausgangskoeffizienten ist'. Mehrfache' Ausgangssignale können durch eine An-zahl von Koeffizientenniatrixen A₁, Ag, .... berücksichtigt werden.

Die optimalen Gewichte T^ werden wie folgt bestimmt. Das
mittlere Fehlerquadrat wird definiert durch

E = gz² - 2zu^TÄf + u^TAff^TA^Tu (H)

worin ζ das gewünschte Ausgangssignal ist und die Überstreichung eine Mittelbildung andeutet.

Wenn der Gradient von E bezüglich der Spalte j von A, also bezüglich a, gebildet und Null gesetzt wird, erhält man folgende Beziehung für die optimalen Gewichte:

f J = I, 2,.'λΡ (1-2)

Wenn die ^., wie oben angedeutet, Einheitsvektoren sind, ist f. entweder Eins oder Null:

0 (13)

- 26 -

0 0 9828/15 67

25.Sept.1969 ·
gü-35

g. kann dann durch Bestimmen der Punktionen guu und g_zu für die Fälle erhalten werden, in denen f. = 1 ist. Danach könne

Φ »\i —- y dann die Punktionen guu_ a = gzU bestimmt v/erden.

Wenn der oben erwähnte Widrow-Algorithmus verwendet wird, besteht daj? Verfahren darin, Punktionen gemäß der folgenden Beziehung zu erzeugen:

Die Gleichung (14) ist für f. = 1 bestimmt; der Index i bezieht sich auf die jeweilige Iteration. Unter Inkaufnahme von P zusätzlichen Speicherzellen oder P digitalen Speicher wörtern - die Gleichung (14) erfordert RP Wörter - kann die Linearisierung für jeden Bereich um einen Mittelwert herum ausgeführt werden, d.h.

g f f^T a = gfss * (15)

kann für "a_Q und

V-I-So¹X · (16)

kann in Gleichung (14) für ζ eingesetzt werden.

Die Nützlichkeit einer linearen Einführung ist ersichtlich, wenn berücksichtigt wird, daß eine geradlinige Annäherung für kontinuierliche Punktionen wirkungsvoller ist als eine konstante Annäherung. Das lineare Einführen verringert auch den Schaltungsaufwand. Wenn R Eingangssignale und M Quantisierungsstufen für jedes Eingangssignal vorgesehen sind,

- 27 -

Ö09828/1567

25.Sept.1969

hat die Llatrix A R Reihen und IJ^R Spalten -und somit RLI^R Elemente. Ohne lineares Einführen ist der Sehaltungsaufwand für die gleiche Genauigkeit proportional

(MK)^R (17)

Es werden also K zusätzliche Quantisierungsstufen je Eingangs variable benötigt. Das lineare Einführen ist somit immer dann günstiger, wenn

1
R^<K. (18)

Das lineare Einführen ermöglicht neben einer optimalen linearen Interpol!ation,- auch eine optimale lineare Extrapolation, d.h. es ermöglicht auch in einem offenen Bereiche eine optimale lineare Absehätzung. Wenn die Vektorfunktion.f als Punktion des Aiii5£angssignals χ aufgezeichnet wird, stellt sie sich als Ger-äfle durch den Ursprung des Koordinatensystems dar„

Bei be^vinunten Anwendungen kann es vorteilhaft sein, eine einseitige Vorspannung oder Bevorzugung bestimmter Punktionsbereiehe einzuführen. Dies kann durch die Realisierung der folgenden Beziehungen in der gleichen Weise erreicht werden, wie in der Anordnung nach. Mg₀S, die Beziehungen der Gleichungen (5) Ms (7) realisiert worden sind.

' 09)

28

009828/1567

25.Sept.1969 .

gü-35

^k(eJ+i⁾⁽¹⁾ .. ■ ■ ⁽²¹⁾

S S^i ⁺ V ⁽²²⁾

Es müssen also drei Gewichtsfunktionen vorgesehen und gespeichert werden, d.h. mehr Gewichtsfunktionen als Eingangssig-P nale (nämlich u. ^ und x.) für das nicht lineare Verarbeitungssystem. ■

Eine solche Vorspannung wird in der Anordnung nach Fig.7
durch einen Verstärker 250 mit dem Verstärkungsgrad k, einen Summierer 251 und einen Speicherkondensator 252 für den Gewichtskoeffizienten a ·₊ι sowie durch Anlegen des über eine Verzögerungseinrichtung an den Eingang der Recheneinheit 92 rückgekoppelten Wertes a. an den Summierer 63 realisiert.

Abhängig von der beabsichtigten Verwendung der Erfindung kann ■ die Ausführungsform der verschiedenen Bestandteile des Verarbeitungssystems nach Fig.2 verändert werden. In den Fig.5 bis 8 sind Analog-Speicheranordnungen dargestellt worden. Im allgemeinen werden jedoch gemäß vorstehendem programmierte Digitalrechner zur Ausführung der Erfindung vorgezogen werden.
Die analogen Darstellungen sind verwendet worden, um das Veretändnis der Erfindung zu erleichtern, da anerkanntermaßen
analoge und digitale Systeme für die meisten Anwendungszwecke gegeneinander ausgetauscht werden können und je nach der Art der durchzuführenden Operationen ein System dem anderen vorgezogen wird.

- 29 -

009828/1-5 67

25.Sept.1969 '

Bei digitaler Betriebsweise können die üblicherweise in digitalen Systemen verwendeten Magnetspeicher oder andere bekannte Speichersysteme angewendet werden. Die Summierer 56 und 57 sind üblicher Bauart. Bei digitalem Betrieb bestehen sie aus dem digitalen Gegenstück zu den bekannten Analogsummierern. Die Verzögerungseinheit 59 kann sowohl für analogen als auch für digitalen Betrieb aus einer magnetischen Verzögerungsleitung bestehen; bei digitalem Betrieb kann für sie ein Speicherregister verwendet werden, welches ein digitales' Wort aufnimmt und während eines Abtastzeitraumes speichert. Die in den verschiedenen Zeichnungen verwendeten Bauteile sind somit allgemein bekannt. In der Organisation des vorliegenden Systemes sind auch Rückkopplungen zur Optimisierung des nicht linearen Datenverarbeitungssystemes der Erfindung vorgesehen.

009828/1567

Claims (1)

1. A 37 5^6 b

   gü - 135

   19. Sept. 1969

   Patentansprüche

   Optimales nicht-lineares Datenverarbeitungsverfahren mit Lern- und Kannphase, dadurch gekennzeichnet, daß die Eingangssignale (u,x) durch für jede auftretende Kombination ihrerQuantisierungsstufen gespeicherte

   1 2

   Gewichtssignale ( a, a) linear modifiziert und zur Bildung der Ausgangssignale (x) summiert v/erden, und daß in der Lernphase die gespeicherten Gewichtssignale ( a^a/a) für jede auftretende Kombination der Quantisierungsstufen von Eingangssignalen (u,x) gleicher statistischer Verteilung wie die in der Kannphase zu verarbeitenden Signale (u₃x) durch diese Eingangssignale (u_sx) nach dem Prinzip des kleinsten mittleren Fehlerquadrates der tatsächlichen (x) gegenüber den gewünschten Ausgangssignalen (z) linear modifiziert"und wieder abgespeichert weruen.

   Datei:-verarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, daß mindestens ein Eingangssignal (x.) aus den Ausgangssignalen (x. ₁) abgeleitet ist.

   j + J-

   3. Datenverarbeitungsverfahren nach Anspruch 1 oder 2, dah gekennzeichnet, d
   gespeichert werden.

   durch gekennzeichnet, daß nur die Gewichtssignale -V'Sl₃ a,

   Datenverarbeitungsverfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß die Anzahl der Gewichtssignale

   Ί ** "³I

   ( a, a, a) größer ist als diejenige der Eingangssignale

   009828/1567

   A 37 5^6 b

   Eu - 135 - "β

   19. Sept. 1969 24

   5. Datenverarbeitungsverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Modifizierung der Eingangssignale (u,x) durch Multiplikation mit den

   1 2
   Gewichtssignalen ( a, a) erfolgt.

   6. Datenverarbeitungsverfahren nach einem der vorstehenden

   Ansprüche, dadurch gekennzeichnet, daß in der Lernphase

   12 3 die Modifizierung der Gewichtssignale ( a, a» a) durch Summation mit einem mindestens einem Eingangssignal (u,x) und/oder einem Fehlersignal'(e) proportionalen Signal erfolgt.

   7. Dater.verarbeitungsverfahrsn nach Anspruch 6, dadurch gekennzeichnet, daß das Feillersignal Ce) durch Subtraktion der modifizierten Eingangssignal© und vorzugsweise mindestens eines nicht unmittelbar von einem Eingangssignal abhängigen Gewichtssignales ( a) von dem gewünschten Ausgangssignal (2) gewonnen wird.

   8. Dater.verarbeitungsverfahren nach einem der vorstehenden Ansprüche j gekennzeichnet durch eine derartige Abwandlung, daß in der Lernphase siir -Bildung der Ausgangssignale

   (x) die Eingangssignal® ^f_u,x) durch modifisierte Gewichtssignale ( -?-i₊i) Taoaifi'ziart und sodann summiert werde*»*

   9. Optimales nicht-lineares Datenverarbeitungssystem mit

   "^ Lernnatrix *-ur Durchrüferung des Verfahrens nach einem -ler vorstehenden Ansprüche * iladurch gekennselehnet_s da» ui-ä Lernmatrix für Jede auftretende Kombination von Quantisierungsstufen (H 1-¹1 ¹I_Λ 45-48) der Eingangssignale

   009828/ 1567

   A 37 546 b

   gü - 135 - * -

   19. Sept. 1969

   (u._x, χ.) je eine Speicherzelle (74,78,252;22Ο,221) für die Gewichtssignale ( a., a., a.) und eine lineare Recheneinheit (92,92a-o) aufweist,

   daß die Recheneinheiten (92) Einrichtungen (60,61,63,67) zum Modifizieren und Summieren der Eingangssignale (u-₊₁ x.), Einrichtungen (64,65,66,68) zum Bilden eines Fehlersignales (e· -) aus den modifizierten Eingangs-Signalen und dem gewünschten Ausgangssignal (ζ.·₊₁) und Einrichtungen (68-73,75-77,250,251) zum Modifizieren der

   1 2 "5 gespeicherten Gewichtssignale ( a., a·, a.) durch die

   JJu

   Eingangssignale (u. _i x.) und/oder das Pehlersignal

   J⁺¹, 0
   (e.₊₁) besitzen,

   und daß mindestens die Einrichtungen (68-73,75-77,250,

   12 3

   251) zum Modifizieren der Gewichtssignale ( a-, a-, a.)

   JJj

   in. der Kannphase abschaltbar sind (69a,70a).

   10. Datenverarbeitungssystem nach Anspruch 9 und 4, dadurch gekennzeichnet, daß die Anzahl der Speicherzellen (74, 78,252) mindestens gleich der Anzahl der Eingangssignale (Uj₊₁,x.) ist.

   11. Datenverarbeitungssystem nach Anspruch 10 und 8, dadurch gekennzeichnet, daß die Ausgänge der Speicherzellen (74,78) über vielfach geschaltete (210,211) Torschaltungen (93,94) an v/eitere Einrichtungen (200-204) zum Modifizieren und Summieren der Eingangssignale (ϋ_Ί·₊₁»Χ,·)

   J ⁺ J- j

   anschließbar sind, deren Ausgang (205)mit dem Ausgang des Datenverarbeitungssystems verbunden ist.

   -If-

   009828/ 1 567

   A 37 5*16 b

   gtt -135 - I₁. -

   19. Sept. 1969 2 1

   12. Datenverarbeitungssystem nach Anspruch 9 oder 10, dadurch gekennzeichnet, daß der Ausgang (205) des Datenverarbeitungssystems über vielfach geschaltete (210,211) Torschaltungen mit den Ausgängen (63) der Einrichtungen (16,61,63,67) zum Modifizieren und Summieren der Eingangssignale (u. ..,x.) in den Rechen-

   Jt^-J. J

   einheiten (92) verbindbar ist.

   13. Datenverarbeitungssystem nach einem der Ansprüche 9-12, dadurch gekennzeichnet, daß die Einrichtungen zum Modifizieren und Summieren der Eingangssignale für jedes Eingangssignal (u. «,x.) einen Multiplizierer (60,67, 200,201) aufweisen, dessen zweiter Eingang jeweils mit dem Ausgang einer Speicherzelle (7^,78) für ein Gewichtssignal ( a.,²a.) verbindbar (81,93,94) ist, und dass die Ausgänge der Multiplizierer (60,67,200,201) und vorzugsweise mindestens der Ausgang einer weiteren Speicherzelle (252) für ein Gewichtssignal (^Ja.) an einen Summierer (63,203) angeschlossen sind.

   Ik. Datenverarbeitungssystem nach einem der Ansprüche 9-13, dadurch gekennzeichnet, daß die Einrichtungen zum Bilden eines Fehlersignals einen Summierer (66) enthalten, dessen Eingänge über einen Inverter (65) an den Ausgang (63) der Einrichtungen zum Modifizieren und Summieren der Eingangssignale angeschlossen bzw. mit dem gewünschten Ausgangssignal (ζ·₊₁) beaufschlagbar sind.

   9828/1567

   A 37 5^6 b -•5- gü - 135 3H 19 . Sept . 1969

   15· Datenverarbeitungssystem nach einem der Ansprüche 9~1^> dadurch gekennzeichnet, daß die Einrichtungen zum Modifizieren der gespeicherten Gewichtssignale für jedes Gewichtssignal ( a., a·, a-) einen Summierer (72,76*251)

   J U tj

   aufweisen, dessen zweiter Eingang über einen Verstärker (71,75,250) veränderbaren Verstärkungsgrades (k) entweder direkt (251) oder über einen mit einem Eingangssignal (u-₊₁,x.) beaufschlagbaren Multiplizierer (69,70) an den Ausgang (68) der Einrichtungen zum Bilden eines Fehlersignals angeschlossen sind.

   16. Datenverarbeitungssystem nach einem der Ansprüche 9-15, gekennzeichnet durch eine derartige Abwandlung, daß die Lernmatrix nur eine lineare Recheneinheit (92) aufweist, die über vielfach geschaltete (210^211) Torschaltungen (227,228) mit den Ausgängen der Speicherzellen (220,221)

   Ί 2

   für die Gewichts signale ("a., a.) verbindbar ist.

   J J

   009828/1567

   Leerseite