DE1915819A1 - Verfahren und Anordnung zur adaptiven Zeichenerkennung - Google Patents

Description

Verfahren und Anordnung zur adaptiven Zeichenerkennung

Die Erfindung betrifft ein adaptives, die gegenseitige Abhängigkeit einzelner Zeichenmerkmale berücksichtigendes Verfahren zur Zeichenerkennung, sowie eine Anordnung zur Durchführung des Ver~ fahrens. -

Grundlagen der Erfindung

In einer Schrift mit dem Titel "A Recognition Method Using Neighbor Dependence" lehrt CK. Chow, daß bei der Zeichenerkennung die Berücksichtigung der .Beziehungen zwischen nebeneinanderstehenden oder benachbarten Zeichen bzw. Zeichenteilen von Nutzen ist. Bei allgemeinen Zeichenerkennungsproblemen kann die Beziehung zwischen

909841/136

Merkmalen jedoch nicht immer durch Nachbarschaftsinformationen definiert werden.

Andere Vorschläge beinhalten die Kombination von Merkmalen zur Bildung neuer Merkmale und nutzen dadurch die Abhängigkeit aus. Mit anderen Worten haben andere das Problem der Annäherung einer binären Verteilung n-ter Ordnung durch ein Produkt von mehreren Komponentverteilungen niederer Ordnung betrachtet. Es wurde gezeigt, daß die Produktannäherung unter entsprechend eingeschränkten Bedingungen die Eigenschaft der minimalen Information aufweist.

Keiner der bisherigen Lösungsversuche zeigte einen Weg zur Herstellung der optimalen Abhängigkeit der Information zweiter Ordnung (Kreuzkorre« lationsinformation) für die Verarbeitung von Eingabedaten in einer adaptiven Anlage, die in der Lage ist, die Schaltungen zu schließen, die die zugehörigen Charakteristiken kombinieren.

Bisher wurden sehr zeitaufwendige Versuchs·« und Fehlermethoden zur Bestimmung optimaler Beziehungen der gegenseitigen Abhängigkeit verwendet. Das vorliegende System stellt ein Mittel dar, diese Wahl relativ automatisch durchzuführen. Eine Baum- oder "offene" Struktur von gegenseitigen Beziehungen wird entwickelt "auf der Basis der gegenseitigen Information, die durch ein Merkmalpaar dargestellt ist. Es wird eine

9 006Λ1/1369

Docket YO 968 023

_M 3 -

Kreuzkorrelation, erster Ordnung verwendet, die eine Information zweiter Ordnung ist, d.h. Paare und keine Einheiten. Die gegenseitige Information zwischen zwei Zeichen X. und X. mißt die Abhängigkeit zwischen

ihnen.

Es wird hier ein System gezeigt für die optimale Annäherung einer Verteilung n-ter Ordnung durch ein Produkt von η - .1 Komponentverteilungen zweiter Ordnung.

Oft ist die Wahrscheinlichkeits-Verteilerfunktion nicht ausdrücklich angegeben und muß im allgemeinen aus den Beispielen konstruiert werden. Das vorliegende Verfahren maximiert die Wahrscheinlichkeitsfunktion und schätzt somit die maximale Wahrscheinlichkeit der Verteilung ab. Es wird eine Anzahl maximal relevanter Informatipnspaare verwendet, die einen statistischen Baum (eine wechselseitig verbundene Struktur) von Merkmalbeziehungen bildet, die durch Verwendung von η - 1 Wechselinformations-Kreuzprodukten erhalten wird, wenn η Merkmale vorliegen.

Das hier beschriebene adaptive Mustererkennungs system benutzt die Baumstruktur unter Beziehungen zweiter Ordnung zwischen Merkmalen, die aus den zu erkennenden Daten gewonnen -werden. Alternativ wird ein System beschrieben, um die Struktur abzuleiten.

909841/1369

Docket YO 968 023

ORIGINAL INSPECTED

Technische Grundlagen

In den letzten Jahren wurden beträchtliche Anstrengungen auf dem Ge« biet der Zeichenerkennung und der adaptiven Anlagen gemacht. Die Zeichenerkennung ist grundsätzlich ein Problem der Entscheidung, zu welcher Klasse das unbekannte Muster bzw. Zeichen gehört. In der Entwicklung von Entscheidung s Schaltungen sind im allgemeinen zwei Konstruktions ebenen vorhanden: Die erste befaßt sich mit der Wahl der Netzwerkstruktur und die zweite mit der Optimierung der Parameter, nachdem die Struktur einmal festgelegt ist. ■-._..-

Bei Erkennungsproblemen liegt eine Information über das Zeichen in irgendeiner für die direkte Anwendung mathematischer Analysen ungeeigneten Form vor, sie muß daher aus einem Satz von Vergleichsmustern gewonnen werden. Deswegen haben für die Zeichenerkennung sowohl Adaptivtechniken als auch statistische Schätzverfahren Anwendung gefunden.

Die beste Anpassung an die Mustererkennung basiert bis heute auf der Parameter-Optimierung. Allgemein beginnt man mit einer festen Erkennungsstruktur im allgemeinen linearer Form und das Problem besteht dann darin, die Parameter optimal festzulegen.

Ganz allgemein muß die Struktur des Erkennungs-Netzwerkes - nicht mit

909841/1369

Docket YO 968 023

OFHGINAU INSPECTED

— 5 —

den Parametern zu verwechseln - in irgendeiner Weise die Struktur der Zeichenklassen wiedergeben. Das erfordert eine Übereinstimmung oder Anpassung der Netzwerkstruktur an die Eingangsdaten.

Bei Betrachtung der Zeichenerkennung als statistisches Entscheidung sproblem kann die Struktur einer Erkennungsanlage abgeleitet werden von der Funktionsform der zugrundeliegenden Wahrscheinlichkeitsverteilungen.

Sukzessive Näherungen an die Verteilungsfunktionen führen zu einer Hierarchie von Erkennungsstrukturen. Eine Untergruppe dieser Strukturen, die aus linearen, verketteten und Baumstrukturen bestehen, ist hier von besonderem Interesse.

Jede Einschränkung in der Nähe rungs funktion bringt eine entsprechende Einschränkung in der Struktur mit sich. Um die Klasse der für die Betrachtung verfügbaren Strukturen einzugrenzen, wird eine vertretbare Beschränkung der sich annähernden Wahr scheinlichkeits funktionen angewandt, und zwar die der Unabhängigkeit oder der Abhängigkeit erster Ordnung zwischen den Messungen.

Definition: Eine lineare Struktur in χ ist eine Struktur, die einer Wahrscheinlichkeitsverteilung entspricht, in welcher alle Messungen unabhängig voneinander sind.

Docket YO 968 023 903841/1369

Definition: Eine verkettete Struktur in χ ist eine Struktur, die einer Wahrscheinlichkeitsverteilung entspricht, in welcher unter richtiger Ordnung der Messungen die k-te Messung abhängt von der (k-lten) Messung. Für diese erste Messung in der Kette gilt keine Voraussetzung.

Definition: Eine Baumstruktur in χ ist eine Struktur, die einer Wahrscheinlichkeitsverteilung entspricht, in welcher unter richtiger Ordnung der Messungen die k-ten Messungen abhängen können von der (j(k))ten Messung, wobei 0*i j(k)^k ist. Die der Wurzel des Baumes entsprechende Messung ist unabhängig.

Zeichnerisch können diese Strukturen durch gerichtete Graphe ausgedrückt werden, die nicht unbedingt miteinander verbunden zu sein brauchen. Jede Messung wird durch einen Knotenpunkt im Graph dargestellt, und jede Abhängigkeitsbeziehung wird ausgedrückt durch einen Pfeil, dessen Spitze von einer Messung zu der Messung zeigt, von der die erste Messung abhängig ist. Ein Beispiel dafür ist in Fig* 2C gezeigt. Die Linien werden Verbindungen oder Zweige der Struktur genannt. Eine k-Zweig-Verbindung ist eine teilweise verkettete Struktur, in der (k + l) von η Knotenpunkten verkettet sind und die übrigen Knotenpunkte unab-. hängig oder davon isoliert sind.

Es sei angenommen, daß c die Anzahl der Klassen ist und a. die i-te Klasse bezeichnet und ρ = (p.p,t ··· P ) ^die Α-Priori-Verteilung der

Docket YO 968 023 909841/1369

Klassen ist.

Jedes Muster ist durch einen binären Meßvektor χ = (χ _t χ ... χ ) dar-

A w ~ XX

gestellt, wobei η die Nummer der Messung ist. P(x|a.) soll die bedingte Wahrscheinlichkeit des Zeichens χ bei einer vorgegebenen Klasse a. bezeichnen.

Genaugenommen wählt die E rkennungs anlage für das unbekannte Zeichen χ aus folgendem Satz von Verbund-Wahrscheinlichkeiten der Klasse a. und des Zeichens χ den größten Wert:

Genauso kann man auch jede monotone Funktion von P(x a ) berechnen, was allgemein in logarithmischer Form erfolgt, und zwar so:

• log P (x,a_k) = log P_k+ log P(xfa_k) (2)

Die Struktur der E rkennungs anlage ist jetzt direkt abhängig von der Funktionsform der bedingten Wahrscheinlichkeit P (x/a, ). Wenn die Funktions-

ic

form P-" (x a, ) einmal bekannt ist, kann daraus die Struktur des Erken-

JbC

nungs-Netzwerkes abgeleitet werden und das Problem der Netzwerkkon·· struktion reduziert sich auf die statistische Schätzung der unbekannten Parameter der Verteilung.

Docket YO 968 023

: < ORIGINAL INSPECTED

M 0 M

Siehe hierzu auch Chow and Liu: "Structure Adaption in Pattern Recognition¹¹, IEEE Transactions on Systems Science and Cybernetics, Vol. SSC-2, No. 2, December 1966, Seiten 73-80.

Abhängigkeit erster Ordnung

Ina allgemeinen sind Messungen nicht statistisch unabhängig, sondern es besteht eine bestimmte, wenn auch meist unbekannte, Abhängigkeit der Messungen untereinander. Das zentrale Problem liegt in. der Bestimmung, welche Abhängigkeitsbeziehungen einer Untersuchung wert sind und welt« ches Gewicht ihnen zuzumessen ist. Es erfolgt eine Einschränkung auf die statistische Abhängigkeit erster Ordnung, indem angenommen wird, daß in der Produktauflösung jede Messung meistens von einer der vorhergehenden Messungen, jedoch nicht notwendigerweise der unmittelbar vorhergehenden abhängt, und zwar

P(*,a_k) = p_ki-P(_Xi/x._(i)ja_k) (3)

i=l

Der Index / j(i) bezeichnet einen gerichteten Baum. Durch die Definition j(i) = 0 wird ausgedrückt, daß x. nicht bedingt ist. Ein Sonderfall liegt vor, wenn j(i) = i - 1 der Baum der Abhängigkeit eine Kette wird und die Produktauflösung der Formel (3) sich auf die Markoffs ehe Kette 1. Ordnung reduziert.

Docket YO 968 023

909841/1369

ORIGINAL INSPECTED

Das Erkennungsproblem ist in diesem Falle die Auswertung von T(x, a, ) ■ log jP_fcO(*|a_k)]

η η

= b(k)+£ W₁, (i,k)x.+ Iw₁, (i,k)x._(i) i=l i=2

i=2

Diese Qbichung ist dann für jede Klasse auszuwerten und das Maximum zur Identifizierung des Zeichens zu suchen.

Eine Wahrscheinlichkeitsverteilung kann wie jede andere Funktion durch eine Anzahl verschiedener Verfahren genähert werden. Hier wird das Problem der besten Näherung für eine Verteilung n«ter Ordnung durch ein Produkt von n«l Verteilungen zweiter Ordnung oder durch Kreuzpro« dukte betrachtet.

Um die Güte einer Näherung für eine Verteilung n-ter Ordnung zu diskutieren, muß die Dichtheit der Näherung zuerst definiert werden. Wenn P(x) und P (x) die beiden Wahrscheinlichkeitsverteilungen von η verschie«·

denen Veränderlichen χ = (χ , χ ... χ ) sind, dann definiert die folgende

x c* ' XX

Gleichung die Dichtheit der Näherung:

Docket YO 968 023 909841/1369

Die wechselseitige Information I(x., χ.) zwischen den beiden Veränder liehen x. und x. ist gegeben durch

χ ,x P(_Xjx)log ^v ι* J⁷

Dies ist die gebräuchliche Definition einer wechselseitigen Information. Es ist bekannt, daß l(x., x.) nicht negativ ist.'

In der graphischen Darstellung der Abhängigkeitsbeziehungen wird jedern Zweig des Abhängigkeitsbaumes ein Zweiggewicht I(x.j x./-\) zugeordnet. Bei einem gegebenen Abhängigkeitsbaum t ist die Summer aller Zweig« gewichte eine nützliche Größe,

Eine Wahrscheinlichkeitsverteilung P (x) ist eine optimale Annäherung an P(x), wenn, und nur wenn die Summe der Zweiggewichte des Baumes ein Maximum ist.

Aufgrund dieses Ergebnisses kann das Problem der Minimisierung gelöst werden, ohne daß eine Kenntnis der tatsächlichen Verteilung höherer Ordnung notwendig ist als die Kenntnis der Ordnung, die zur Auswertung der wechselseitigen Informationen zwischen variablen Paaren gebraucht wird. Die Verteilungen zweiter Ordnung reichen zu diesem Zweck aus«

Docket YO968 023 909811/1369

Die direkte Lösung ist möglich, weil das Problem des Auffindens des optimalen Abhängigkeitsbaumes erster Ordnung transformiert wird in das Problem, das gesamte Zweiggewicht eines Abhängigkeitsbaumes zu maximieren. Da die Zweiggewichte additiv sind, kann der Abhängigkeitsbaum mit dem größten Gewicht Zweig für Zweig aufgebaut werden. Ein Verfahren zur besten Näherung für eine Verteilung n-ter Ordnung durch eine Produktauflösung zweiter Ordnung ist im folgenden beschrieben.

Oft ist die Wahrscheinlichkeitsverteilung nicht ausführlich angegeben, und es stehen nur Beispiele zur Verfügung, Die Verteilung muß daher aus den Beispielen konstruiert werden. Um eine Produktannäherung zweiter Ordnung zu erhalten, muß außer den Parametern auch noch der Abhängig« keitsbaum geschätzt werden.

Mit einem herkömmlichen Abschätz verfahren kann man einen (geschätzten) Wert der z.B. wechselseitigen Information Γ (x., x.) erhalten. Wenn die« ser Wert dann als I (x., x.) verwendet wird, so erhält man mit dem Opti-

IJ

mierungsverfahren einen Baum in der Art, daß die Summe der gegenseitigen Information

S~ I (χ χ )

maxim.iert wird.

Docket YO 968 023 ^„_ÄÄ4*, _Ä

909841/1369

Das Verfahren bringt den Wert der Dichtheit der Annäherung auf ein Minimum sowie die Wahrscheinlichkeitsfunktion auf ein Maximum und ist eine Abschätzung der maximalen Wahrscheinlichkeit für den Abhängigkeitsbaum. Die Konsistenzeigenschaft der Schätzungen der größten Wahrscheinlichkeit gilt auch für den vorliegenden Fall. Wenn die grundlegende Verteilung vom Baum abhängig ist, konvergiert der durch das vorliegende Verfahren sich ergebende Baum mit der Wahrscheinlichkeit eins zum echten Abhängigkeitsbaum.

Aufgabe der vorliegenden Erfindung ist die Schaffung einer Zeichener« kennungsanlage, die adaptiv eine optimale Struktur zur Zeichenerkennung bilden kann.

Diese Aufgabe wird dadurch gelöst, daß in der Lernphase für jedes Zeichen die gegenseitige Information mehrerer Merkmalpaare ermittelt wird, daß der Größtwert der gegenseitigen Information bestimmt wird, daß ein Satz von Merkmalpaaren mit größtmöglicher Information gemäß den Markoff * s chen Prozessen zweiter Ordnung unter Vermeidung einer geschlossenen Schleife bestimmt und ausgewählt wird, daß eine vorherbestimmte Anzahl dieser Merkmalpaare in einem Speicher gespeichert wird, daß dieser Speicher die E rkennungs schaltung einstellt, daß in der Erkennungsphase die abgetasteten Zeichenmerkmale zu Merkmalpaaren kombiniert werden, die allen E rkennungs schaltung en zugeführt werden,

Docket YO 968 023 909841/1369

und daß die durch jede E rkennungs schaltung ausgewählten, abgetasteten Merkmalpaare über Summierungs« und Gewichtungs schaltungen in einen Maximum «Detektor eingegeben werden.

Die Erfindung wird im folgenden anhand von Ausführungsbeispielen und den zugehörigen Zeichnungen erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung einer Z eichene rkennungs«

anlage gemäß der Erfindung,

Fig. 2A eine Tabelle mit dem Wert aller Kombinationen wechsel«

seitiger Informationen, die für eine bestimmte Gruppe von Beispielen eines gegebenen Zeichens berechnet wurden und die die Reihenfolge der Wahl von je zwei wechselseitigen Informationen entsprechend der Amplitude zeigen,

Fig. 2B eine Darstellung der zwischen den sechs von der Anlage

untersuchten Merkmalen gebildeten Zweige für die Rein henfolge der wechselseitigen Information ohne Bildung geschlossener Schleifen,

Fig. 2C den Graph für den nach den Fig. 2A und 2B durch die

Anlage gebildeten Abhängigkeitsbaum,

Docket YO 968 023 909841/1369

Fig. 3, weitere konstruktive Einzelheiten der in Fig, I ge·

3A - 3K

zeigten Anlage,

Fig. 4, einen zur Bestimmung der wechselseitigen Information

4A und 4B

benutzten Analogrechner für x. = x, und x. = x„,

ι 1 J 2

Fig. 5 konstruktive Einzelheiten der Schaltung zur Vermeidung

Schleife
einer geschlossenenfUnterdrückungsschaltung) und die

Antivalenz« und Steuer schaltungen in dem Bereich, der durch die Linie 5-5 in den Fig. 3J und 3K allgemein be« zeichnet ist_t

Fig. 6 die Anordnung eines Satzes von Mustersteuergattern

eines Satzes von Auswahl~Flip«Flops und einer Erken·» nung s s chaltung,

Fig. 7 einen Satz von Wichtungsrechnern und

Fig. 8, die Anordnung eines Satzes von Auswahl-Flip-Flops,

8A - 8E

einem Wichtungsrechner, eines Satzes von Gewichtungs«

Wahl schaltung en und den Aufbau einer der Summierung s. schaltungen.

Docket YO 968 023 ₉₀9641/1369

Beschreibung des Ausführungsbeispieles

In Fig. IA und IB ist eine Merkmal-Extraktions schaltung 10 gezeigt, die ein erstes Ausgangs signal auf sechs Leitungen 11 «. 16 gibt, welche an Analogrechner 20_a eine Kombination von zwei Und-Gliedern 30 und die SummierungsSchaltungen 59, 60 und 61 angeschlossen sind. Ein weiteres Ausgang s signal der Merkmal-Extraktions schaltung 10 läuft über eine Leitung 17 zu fünfzehn getrennten Analogrechnern 20 und einem Pro« benzähler 19. Die Schaltung 10 enthält bekannte Merkmal-Extraktions« geräte, die Ausgangs signale von mehreren Abtastern in einer vorbestimmten Art kombinieren. Die fünfzehn Analogrechner 20 liefern fünfzehn unabhängige Ausgangs signale für fünfzehn Leitungen 21, die über fünfzehn der sechzehn Ubertragungsschalter 22 und fünfzehn unabhängige Leitungen 23 mit fünfzehn Speichern 24 so verbunden sind, daß jeder Analogrechner 20 das Ausgangssignal, das er bei Betätigung des Übertragungsschalters 22 liefert, auf seinen zugehörigen Speicher 24 überträgt.

Der voreingestellte Probenzähler 19 liefert ein Ausgangs signal, nachdem eine vorgewählte Anzahl N von Proben durch die Merkmal-Extrak« ting s Schaltung 10 verarneitet worden ist. So kann z.B. ein Satz von 1000 Proben eines Musters, wie F ing er ab drücke, Flug zeug Silhouetten oder Zeichen, durch das Merkmal-Extraktions gerät verarbeitet werden. Wenn der Probenzähler auf 1000 vor eingestellt ist liefert er nach Beendigung der Extraktion des 1000. Merkmales ein Ausgangs signal und schließt so Docket YO 968 023

909841/1369

die Ubertragungs schalter 22 lange genug, um die Ausgangs signale auf die Speicher 24 zu übertragen. Die Speicher 24 sind Analoggeräte, bei·« spielsweise Kondensatoren, die eine vor eingestellte Spannung halten können, bis sie durch einen Schalter, wie z.B. einen durch ein Rückstell« signale betätigten Transistor, entladen -werden.

Die fünfzehn Ausgänge der Speicherschaltungen 24 sind durch Leitungen 25 mit entsprechenden Vergleicherschaltungen 26 verbunden, welche Differential-Verstärker enthalten können, die durch eine Rampen·» oder Sägezahnspannung von einem Sägezahn-Generator 28 der Reihe nach an-, geschaltet werden können, um die Ausgänge der verschiedenen Speicher zu vergleichen. Der größte Ausgangswert von einem Speicher 24 erzeugt das erste positive Ausgangs signal von einer Vergleichers chaltung 26, welches über eine Leitung 27 auf das zugehörige Flip-Flop 29 geleitet wird. Sobald das Flip-Flop 29 getriggert ist, wird der Generator 28 durch ein f Signal auf den Leitungen 31 und 47 gestoppt.

Gestartet wird der Sägezahn-Generator 28 durch Schließen der Torschaltung 149, welche durch eine Steuerung 32 getriggert wird, nachdem die Steuerung durch einen sechzehnten Übertragungsachalter 22 über die Lei·» tung 33 zurückgestellt wurde. Bei Empfang eines Signales von der Leitung 31 über eine Verzögerungsschaltung 34 und weiter über die Leitung 49 und die Torschaltung 149 wird der Sägezahn-Generator neu gestartet,

Docket YO 968 023

wenn nicht mehr als eine vorgegebene Anzahl von Eingangs Signalen auf der Leitung 35 von der Antivalenz- und Steuerschaltung 36 empfangen wurde, die an die Ausgangsleitungen 181 bis 183 und 200 bis 202 einer Unterdrückungsschaltung 38 angeschlossen ist.

Die Unterdrückungsschaltung 38 ist mit den E ine raus gang en der fünfzehn Auswahl-Flip-Flops 29 durch Leitungen 39 verbunden. Durch diese Schaltung wird sichergestellt, daß die gegenseitige Information zweier für einen Abhängigkeitsbaum ausgewählter Merkmale keine geschlossene Schleife bilden. Drei spezielle Merkmale sollten z.B. nicht durch ihre drei möglichen Kombinationen miteinander verbunden werden. Wenn ein eine geschlossene Schleife bildender Baum verwendet würde, wäre die Zeichenerkennungs-Anlage nicht optimal angelegt.

Demnach liefert der gewählte Wert dann ein Signal auf den Ausgangsleitungen 35 und 40 der Steuerschaltung 36, wenn er keine geschlossene Schleife bildet. Die Leitung 40 ist mit mehreren Auswahlschaltungen 41, 42 und 43 verbunden, die alle mit den Ausgängen 39 der Vergleicher-Flip-Flops 29 verbunden und seriell durch den Musterwähler 44 über die Leitungen 45 bzw. 45A bis 45N betätigt werden.

Es werden mehrere Auswahl-Schaltungen 41, 42 .und 43 benötigt, da für jede von der Anlage zu analysierende Klasse eine Auswahlschaltung er-

TO ,68 O_{23 90mi/1369 0R},_GINAL

forderlich ist. Während der Anfangs operation der Anlage, wenn dieser die zutreffende Baumstruktur und die richtige Gewichtung für eine Klasse von zu verarbeitenden Informationsmustern mitgeteilt wird (Lernphase), wird durch den Muster-Wähler 44 eine dieser Schaltungen betätigt. Die Musterwahl-Schaltungen 41, 42 und 43 sind somit nur einige von vielen derartigen Schaltungen. - -

An die Ausgangsleitungen 50 der Auswahl-Schaltungen 41, 42, 43 sind u.a. die Auswahl-Flip-Flops 51, 52 und 53 angeschlossen, die den durch die vorhergehenden Schaltungen für ein bestimmtes Muster gewählten Baum während der Lernphase festhalten, in welcher eine der Auswahl-Schaltungen 41, 42 oder 43 unter Steuerung des Muster-Wählers lief. Jede der drei Auswahl-Flip-Flops 51, 52, 53 hat zwei Ausgangsleitungen 54 bzw. 55A bis 55N. Die Ausgangs signale auf den Leitungen 54 steuern die entsprechenden Erkennungsschaltungen 56, 57 und 58. Die Ausgangs- \ signale auf den Leitungen 55A, 55B oder 55N werden auf die entsprechenden Summierungsschaltungen 59, 60 und 61 gegeben.

Die Erkennung s schaltung en 56, 57 und 58 leiten während der Arbeit der Anlage - also nach der Lernphase - Signale über die Leitungen 63 von. der Kombination der beiden Und-Glieder 30 über Leitungen 73 auf die entsprechenden Summierungs-Schaltungen 59» 60 und 61,

Docket YO 968 023 - ORIGINAL INSPECTED

Die Summierungsschaltungen werden ebenfalls so eingestellt, daß die verschiedenen Zweige des gewählten Baumes in der richtigen Art gewichtet werden, um so die Wahrscheinlichkeit der richtigen Erkennung zu erhöhen. Ein Satz von Muster-Steuergattern 64 ist mit den Ausgangsleitungen 65 mehrerer Wichtungs rechner 66 verbunden, die an mehrere Leitungen 77 von den Analogrechnern 20 angeschlossen sind. Die Muster-Steuergatter 64 verbinden bei Betätigung einer der Leitungen 45A bis 45N die Leitun·· gen 65 einzeln mit den zu den Summierungsschaltungen 59» 60 und 61 führenden Leitungen 74.

Somit werden in der Lernphase die verschiedenen Summierungsschaltungen eingestellt. Im Erkennungsbetrieb können die durch die Bautnstruktur gewählten und in den Auswahl-Flip-Flops aufgezeichneten Kombinationen von zwei Merkmalen entsprechend ihren relativen Gewichten summiert werden. Die Eingangsleitungen 11-16 laufen ebenfalls zu den Summierungsschaltungen um zwar über getrennte Wichtungs schaltungen, die für die Werte erster Ordnung der sechs zu analysierenden Merkmale eingestellt sind.

Ein Maximum-Detektor 67 (der den Vergleichers chaltungen 26 in der Struktur ähneln kann) wählt aus und markiert das größte Aus gangs signal der Summierungsschaltungen 59, 60 und 61. Diese Information wird dann auf ein Ausgabegerät, z.B. eine Schreibmaschine, einen Kartenlocher

Docket YO 968 023 _{ft Λ} λ λ ι .,*.**.„

191581

usw., über die Leitung 68 geleitet. Andererseits kann bei Bedarf der Inhalt der Auswahl-Flip-Flops 51 über die Leitungen 55 in die Register 69 ausgelesen werden, um so die Baumstruktur aufzuzeichnen.

In den Fig. 3A bis 3K sind fünfzehn Analogrechner 20 dargestellt, die an sieben Eingangsleitungen 11-17 angeschlossen sind, um sechs Sätze von Merkmal-Ablesungen X - X, und eine Bitleitung mit der Anlage zu verbinden. Es gibt fünfzehn Kombinationen für x. und x., für i j und 1 i (n-l), wobei η = 6, d.h. η - 1 „5 und 2^J ' 6. Somit werden alle fünfzehn Kombinationen der Eingangswerte,von denen je zwei zu einem Zeitpunkt genommen werden, abgeleitet, d.h. für 6 6x5 30

^C 2 " 1 χ 2 " 2 " ^lb·

Jeder Rechner rechnet dann die gegenseitige Information gemäß der :

statistischen Formel:

j X₁, χ.^

Genauer gesagt, wird diese in die folgende Formel für binäre Werte für je zwei betrachtete Signale umgewandelt:

^Noo , ^Noo^{N N}oi , ^Noi^{N N}io , ^Nio^N

^{1O +l+ 1}

NN

Docket YO 968 023 90 9841/136

Worin bedeutet:

Ν._Λ die Anzahl der Proben mit X. = 0

tJO ι

N., die Anzahl der Proben mit X. = 1

il ι —

N._n die Anzahl der Proben mit X. = 0

JO J

N._ die Anzahl der Proben mit X. = 1

Jl J -

„_n die Anzahl der Proben mit X. = X. =

00 ι j

N die Anzahl der Proben mit X. = 0 und X. =

01 lj-

KT die Anzahl der Proben mit X. = 1 und X. =

10 lj

N, , die Anzahl der Proben mit X. = X. = 1

11 lj-

In den Fig. 4A und 4B ist einer der fünfzehn Analogrechner 20 dargestellt. Diese berechnen die wechselseitige Information, die in den X - und X -Merkmalen der N an das Merkmal-Extraktionsgerät gegebenen Proben enthalten sind.

Docket YO 968 023 909841/1369

Außerdem werden die Summierungen von N.. berechnet, d. h. :

N ist die Anzahl für das Auftreten von X =X =0

N ist die Anzahl für das Auftreten von X =0, X-=i.

N ist die Anzahl für das Auftreten von X =l_a X =0

N ist die Anzahl für das Auftreten von X,=X-=.l. ·

J. J. i c* "™"

Diese Werte werden genauso wie die Werte von N , N _a N und N auf die Leitung 77 übertragen. Die Eingänge X und X führen direkt von

J. Cm

den Leitungen 11 bzw. 12 zum Und-Glied 217. Der Eingang X ist an das Und-Glied 218 und zur Bildung seines Komplements X an einen Inverter 220 angeschlossen, der mit den Eingängen der Und-Glieder 219 und 222 verbunden ist. Der Eingang X„ ist außerdem an das Und-Glied 219 und zur Bildung seines KomplementeX an einen Inverter 221 angeschlossen, der

Ca

mit den Eingängen der Und-Glieder 218 und 222 verbunden ist. Die Ausgänge der vier Und-Glieder 217, 218, 219 und 222 sind entsprechend an monostabile Kippschaltungen 223 bis 226 und an entsprechende Integratoren 227 bis 230 angeschlossen, deren Ausgangsleitungen 251 bis 254 die Summen N , N , N , N führen, die die relativen Gesamtsummen der auf diesen Leitungen empfangenen positiven Impulse darstellen. Die monostabilen Kippschaltungen geben Kurzimpulse zur Ladung der Kondensatoren in den Integratoren; diese Kurzimpulse sind für jeden von den Und-Gliedern empfangenen Impuls gleich.

Docket YO 968 023 9 0 9 8 41/13

Die Summen N , N , N und N werden folgendermaßen gebildet:

^N"=l ^{= N}01 ^+N11 ^d'^h* i = ^Ooder 1; j = 1

^Nj=o ^{= N}oo ^{+ N}io ^d#h· ^{i =} ° ^{oder 1}J J = °

^Ni=0 ^{= N}01 ^+N00 ^d-^h- i = 0; j = 0 oder 1

. _{= 1} = N₁₀ +N₁₁ d.h. i = 1; j = 0 oder 1

Die Summierung s schaltung en 231, 232, 233 und 234 bilden die obigen Summen durch eine Addier Schaltung, wie sie auf Seite 16' des Artikels: Design and Use of Electronic Analogue Computers, C. P. Gilbert, Chapman andHall Ltd. , 1964, beschrieben ist. Dieser Artikel wird im folgenden kurz Gilbert-Text genannt.

Die Ausgangs signale 256 der Summierung s schaltungen werden dann auf die Multiplikatoren 235 bis 238 gegeben, die die vier Produkte NN,

N.-N'... N.,N.„ und N. N.„ auf die entsprechenden logarithmischen VeriO ji xl jO iO jO °

stärker 239 bis 242 geben. Diese Werte werden über die Leitungen 243 bis 246 auf die Subtraktionsschaltungen 247 bis 250 geleitet. Die verwendeten Multiplikatoren können elektrodynamisch oder über einen Servo-Potentiometer-Antrieb getreiben werden, wie es u.a. auf den Seiten 312 und des Gilbert-Textes beschrieben wird. Die Subtraktions schaltungen 247 bis 250 sind Schaltungen mit zwei Eingängen^ welche über gleiche Lastwider-, stände mit Erdpotential verbunden sind und die Potentialdifferenz über

Docket YO 968 023 909841/1369

ORIGINAL INSPECTED

Schaltungen mit hoher Impedanz an den Ausgang geben. Eine Eingangsleitung 17 gibt einen Impuls auf die monostabile Kippsqhaltung 257, die mit einem Integraotor 258 zur Berechnung der Gesamtsumme oder des integrierten Analog wer te s verbunden ist. Auf der Leitung 255 erscheint eine Ausgangsgröße, die der Anzahl von Impulsen entspricht, die von der Probeneingangsleitung 17 zum Zählen der N Proben des zu analysierenden Zeichens empfangen wurden,

Eine Multiplikations s chaltung 259 und eine Divis ions schaltung 260 liefern Produkt und Quotient von N und N, wobei das Multiplikationsprodukt als N N auf den logarithmischen Verstärker 265 und von dort auf die Subtraktionsschaltung 247 gegeben wird, deren Ausgangs signal mit dem Ausgangssignal der Divisionsschaltung 260 auf die Multiplikationsschaltung 264 gegeben wird.

In ähnlicher Weise empfangen die Multiplikationsschaltung 266 und die Divisionsschaltung 267 die Signale für N und N auf den Leitungen 252 und 255 und leiten das Produkt NN auf den logarithmischen Verstärker 268 und von dort zur S ubtraktions schaltung 248, deren Ausgangs signal in der Multiplikationsschaltung 269 mit N /N multipliziert wird.

Die Leitungen 253 und 255, die Multiplikationsschaltung 270 und die Divisionsschaltung 271, der logarithmische Verstärker 272, derSubtrahierer 249 und die Multiplikationsschaltung 273 arbeiten analog zusammen. In Docket YO 968 023

909841/1369

ähnlicher Weise arbeiten die Leitungen 251 und 255, Multiplikationsschaltung 274, Divisions schaltung 275, logarithmischer Verstärker 276, Sub-

•Β

trahierer 250 und Multiplikationsschaltung 277 zusammen. Die Ausgangssignale der Multiplikationsschaltungen 264, 269, 273 und 277 auf den Leitungen 278 laufen zur Summierungsschaltung 279» wo der momentane Wert der wechselseitigen Information auf einer Ausgangsleitung 21 erscheint. Die Leitungen 256 sind mit der mehradrigen Ausgangsleitung 77 verbunden, die zu den Wichtungsrechnern 66 führt.

Die fünf Integratoren 225 bis 230 und 258 können zusammen mit dem gan« zen System über eine Rückstelleitung R zurückgestellt werden, die gleichzeitig mit dem Verschieben des Musterwählers betätigt werdenkann.

Maximum-Detektoren

In den Fig. 3A bis 3K, insbesondere in den Fig. 3A bis 3C ist dargestellt, wie die Ausgangs signale der fünfzehn Rechner 20 auf die beweglichen Kontakte 22 des Relais 18 gegeben werden. Das Relais 18 wird durch einen vor eingestellten Probenzähler 1-9 gesteuert, der bei Erreichen einer vorgegebenen Anzahl von Eingängen N auf der Leitung 17 und nach einer kurzen Verzögerungszeit das Relais 18 schließt, so daß die Kontaktarme 22 die Verbindung zu Leitung 23 herstellen, welche die Ausgangssignale der Rechner 20 zu diesem Zeitpunkt auf fünfzehn Speichers chaltungen 24 für

die Werte X₁X₀, X,X, ... X_CX, übertragen.
1 L 1 5 bo

Docket YO 968 023 9 0 9 8 41/13 6 9

Ein Sägezahn-Spannungsgenerator 28 ist mit einer Ausgangsleitung 70 mit den Eingängen von fünfzehn Differential-Verstärkern. 71 verbunden, zu denen außerdem noch die Ausgangsleitungen 25 der Speicher 24 führen. Bei Erreichen eines vorbestimmten Wertes liefert die Ausgangsleitung 27 des Differential-Ver stärker s ein Ausgangs signal, dessen zugehörige Speicherschaltung den Speicherwert für die größte wechselseitige Information liefert. Dieses Ausgangs signal setzt ein Flip-Flop 29, dessen Aus-

* gangssignal auf 31 über die Leitung 47 und das Oder-Glied 48 den Sägezahn-Spannungsgenerator stoppt. Der Sägezahn-Generator 28 soll während einer vorbestimmten Periode stillstehen, damit die nachfolgende Schaltung einschließlich der Schaltung 38 zur Unterdrückung geschlossener Schleifen betätigt werden kann und feststellt, ob eine geschlossene Schleife erzeugt würde, wenn das provisorisch gewählte Merkmal der gegenseitigen Information dauernd während der Lernphase gewählt würde und in den Auswahl-Flip-Flops 51, 52 und 53 aufgezeichnet-würde. Diese Verzö-

) gerung beim Neuanlauf des Sägezahn-Generators wird erreicht durchjede

von mehreren Verzögerungs-Schaltungen 34, die über eine Leitung 49 mit einer Torschaltung 149 verbunden sind und den Sägezahn«Generator erneut starten, solange die Schaltung 149 ein "positives" Ausgangs signal auf der Leitung 148 von der Sägezahn-Startsteuerung 32 empfängt. Diese Steuerung wird im folgenden genauer beschrieben.

in
Wenn sich/der Speicherschaltung 24 nichts ändert, wird der Flip-Flop

Docket YO 968 O₂₃

noch einmal gesetzt. Dementsprechend ist jede Leitung 49 mit einem entsprechenden Oder-Glied 46 verbunden, das die Speicherschaltung 24 über eine allgemeine Rückstelleitung R oder die Leitung 49 zurückstellt. Somit •wird die nächstgrößere wechselseitige Informations spannung als nächste gewählt usw. Dann wird, wie bereits angedeutet, die Schaltung zur Vermeidung geschlossener Schleifen eingeschaltet.

Schaltung zur Vermeidung geschlossener Schleifen

Jede der Ausgangsleitungen 312 bis 316, 323 bis 326, 334 bis 336 und 345, 346 und 356 von den fünfzehn Flip-Flops 29 ist mit einem oder zwei der Oder-Glieder am Eingang der Unterdrückungsschaltung 38 verbunden und bei Verbindung mit nur einem dieser Oder-Glieder außerdem an einesder Steuergatter angeschlossen. Die beiden letzten der Nummern bezeichnen die Quellen für die Ausgangsleitungen X. bzw. X..

Die X X -Ausgangsleitung 312 ist an die Eingangs leitung der Zweier-Maske 102 angeschlossen und betätigt das Maskengatter 122; außerdem ist sie an das Einer-Oder-Glied 109 angeschlossen, das über die Leitung 110 mit dem Schreib-Steuergatter 111 verbunden ist, so daß auch dieses betätigt wird.

Die Leitung 313 vom X X -Flip-Flop 29 ist mit dem Zusatz-Oder-Glied 93 der Dreier-Maske verbunden, das über die Leitung 103 das Zusatz-

Docfcet YO ,68 023 gog^,,^

Steuergatter 123 betätigt; außerdem ist die Leitung 313 mit dem Einer-Oder-Glied 109 ebenso wie die Leitung 312 und die anderen X -Leitungen 314, 315 und 316 verbunden.

Die Leitung 314 ist an das Oder-Glied 94 der Vierer-Maske angeschlossen, das über die Leitung 104 mit dem Maskensteuergatter 124 verbunden ist. . .

Die Leitung 315 ist mit dem Oder-Glied 95 der Fünfer-Maske verbunden, das über die Leitung 105 an das Maskensteuergatte 125 angeschlossen ist.

Die Leitung 316 ist an das Oder-Glied 96 der Sechser-Maske angeschlossen, das über die Leitung 106 mit dem Maskensteuergatte 126 verbunden ist. -

Die Leitung 323 ist an den Eingang des Z us atz-Oder-Gliedes 93 der Dreier-Maske angeschlossen und an den Eingang des Oder-Gliedes 119 der Zweier-Schreibsteuerung, mit dem auch die Leitung 324 vom X X -Flip-Flop, die Leitung 325 vom X X -Flip-Flop und die Leitung 326 vom X _X,-Flip-Flop 29 verbunden sind. Das Oder-Glied 119 ist über die Leitung 120 mit dem Schreibsteuergatter 121 verbunden.

Die Leitung 324 ist ebenfalls mit dem Zusatz-Oder-Glied 94 der Vierer-Maske verbunden. Die Leitung 325 ist an das Zusatz-Oder-Glied 95 der Docket YO 968 023 909841/1369

— fay —

Fünfer-Maske und die Leitung 326 an das Zusatz-Oder-Glied 96 der Sechser-Maske angeschlossen.

Die Leitung 334 des X X -Flip-Flops ist mit dem Eingang des Zusatz-Oder-Gliedes 94 der Vierer-Maske und mit dem Zusatz-Oder-Glied 129 der Dreier-Schreibsteuerung verbunden, an welches auch die Leitungen 335 und 336 angeschlossen sind. Das Oder-Glied 129 ist über die Leitung 130 mit dem Eingang des Schreibsteuergatters 131 verbunden.

Die Leitungen 345 und 346 sind mit den Eingängen des Zusatz-Oder-Gliedes 139 der Vierer-Schreibsteuerung verbunden, das durch die Leitung 140 an das Schreibsteuergatter 141 angeschlossen ist. Die Leitung 345 ist außerdem mit dem Oder-Glied 95 und die Leitung 346 mit dem Oder-Glied 96 verbunden.

Die Leitung 356 für X und X, ist direkt mit der Leitung 150 verbunden,

5 6

die an das Schreibsteuergatter 151 und an das Oder-Glied 96 angeschlossen ist.

Somit schaltet jedes der Auswahl-Flip-Flops 29 eines der Schreibsteuergatter 111, 121, 131, 141, 151 und eines der Maskengatter 122 bis 126 ein.

Sechs Korrelationsregister C bis C, (161 bis 166) geben Ausgangs signale Docket YO 968 023 ,.,._"_

an die Masken- und Schreibsteuerungen 111 usw. und 122 bis 126 zur Übertragung der drei Bits in den Korrelationsregistern auf die entsprechenden Schreib- und Maskenregister.

Das C -Korrelations-Register 161 ist über die Leitung 171 mit dem Schreibsteuergatter 111 verbunden und der darin befindliche Wert wird in das Schreibregister 80 übertragen, sobald Eingangs signale mit dem Index 1 auf das Oder-Glied 109 gelangen.

Das C -Korrelations-Register 162 ist mit dem Schreibsteuergatter 121 und dem Maskengatter 122 durch die Leitung 172 verbunden. Das C-Korrelations -Register 163 ist mit dem Schreibsteuergatter 131 und dem Maskengatter 123 durch db Leitung 173 verbunden, das C .-Korrelations-Register 164 mit dem Schreibsteuergatte 141 und dem Maskengatter 124 durch die Leitung 174, das C -Korrelations-Register 165 mit der Schreib- ψ ssteuergatter 151 und dem Maskensteuergatter 125 durch die Leitung 175

und das C,-Korrelations-Register mit dem Maskengatter 126 durch die Leitung 176.

Die Ausgangsleitungen 171, 172, 173, 174, 175 und 176 der Korrelations-Register sind außerdem an den Vergleichs-Übertrager 100 angeschlossen.

Am Anfang ist jedes der Korrelations-Register C₁ bis C, auf eineunter-

Docket YO 968 023

909841/1369

schxedlidhe ganze Zahl eingestellt durch eine deren Rückstellung dienende Ring s chaltung 210, die über das Rückstellsignal R für die allgemeine Rückstellung des Zeichen-Lern-Systerris betätigt wird.

Der Ausgang des Schreibregisters 80 umfaßt drei Leitungen 181 bis 183, die mit dem Vergleichs-Ubertrager 100 genauso verbunden sind wie die drei Ausgangsleitungen 200 bis 202 des Masken-Registers 89. Die Ausgangsleitungen 181 bis 183 und 200 bis 202 sind mit der Steuerschaltung 36 verbunden, die für die beiden Sätze von je drei Leitungen insgesamt als Antivalenz-S chaltung arbeitet.

Suchschaltung für geschlossene Schleifen

Die Suchschaltung für eine geschlossene Schleife ist nachfolgend allgemein im Zusammenhang mit den Fig. 3A bis 3K und im besonderen mit den Fig. 3J und 3K beschrieben. Eine genauere Beschreibung dieser Anlage folgt diesem Abschnitt mit Bezug auf Fig. 5.

Eine Zahl wird in das Schreibregister 80 gelesen, und zwar über ein ausgewähltes Schreibsteuergatter aus dem zugehörigen Korrelations-Register C , wobei η = 1 ... 6 sein kann. In ähnlicher Weise wird ein Wert η

aus einem anderen Korrelations-Register in das Maskenregister 89 gelesen.

Die Ausgangssignale des Schreib- und Maskenregisters leiten die beiden Docke, YO 968 023 _9Omi/m.g

Die Ausgangs signale des Schreib- und Maskenregisters leiten die beiden zuletzt empfangenen Werde dann in den Vergleichs-Übertrager 100, wo Tor schaltungen Eingangskreise für den in das Korrelations-Register zu übertragenden Schreibwert öffnen, das genau denselben binären Wert enthält wie das Maskenregister. Der Vorgang wird dann wiederholt, bis alle Korrelations-Register denselben Wert enthalten.

" Wenn das Maskenregister 89 und das Schreibregister 80 denselben Wert

enthalten, wird kein Korrelationsregister geändert.

Wenn das Schreibregister und das Maskenregister unterschiedliche Ausgangssignale abgeben, ist das Ausgangs signal der Antivalenz-Schaltungen 36 positiv und wird auf die entsprechenden Baum-Flip-Flops 51, 52 bzw. 53 übertragen.

In dem in Fig. 2A gezeigten Schema wird z. B. ein hypothetischer Satz von wechselseitigen Informationswerten von den fünfzehn Rechnern 20 abgeleitet.

Erster Schritt:

Die Anlage wählt dann den größten Wert der wechselseitigen Information, welcher I mit einem Wert von 0, 60 ist. Dementsprechend wird das Flip-Flop 29 für XX eingeschaltet und demzufolge schaltet ein Signal

Docket YO 968 023 g_Qgg₄,,,3g_g

auf der Leitung 335 das Oder-Glied 95 und das Oder-Glied 129 ein, die ihrerseits wieder über die Leitungen 105 und 130 das mit demC5-Korre~ lationsregister 165 verbundene Maskengatter 125 und das mit dem C3-Korrelationsregister 163 verbundene Schreibsteuergatter 131 einschalten. Wenn de in den Unterschriften (Fig. 2A) angegebenen Korrelationswerte angenommen werden, so ist "MASKE" gleich "FÜNF" und "SCHREIBEN" gleich "DREI". Demzufolge findet die Steuerschaltung 36 eine Differenz und gibt ein Ausgangssignal auf die Leitung 35, was durch eine Linie von X nach X mit der Bezeichnung "1" in Fig. 2B dargestellt ist. Der Maskenwert "fünf" wird außerdem im Vergleichs-Übertrager 100 dazu benutzt, das C -Korrelations-Register 166 zur Aufnahme des Wertes "drei" aus dem Schreibregister zu öffnen. Daraus ergibt sich das nachfolgende Resultat:

C = 1 C₂ = 2 C₃ = 3

^C4 ^{= 4}

^C5 = ³ C. ⁼ 6

Zweiter Schritt:

Der als nächstgrößerer gewählte Wert ist I = 0, 59. Das Ausgangs signal für X X auf der Leitung 314 läuft über das Oder-Glied 109 und die Leitung 110 zum Schreibsteuergatter 111, um die Verbindung zum C^-Korre-

Docket YO 968 023 909841/1369

ORIGINAL INSPECTED

lationsregister 161 herzustellen. Ein Signal auf der Leitung 314 schaltet außerdem das Oder-Glied 94 ein, welches seinerseits das Maskengatter 124 einschaltet und die "VIER" vom C . -Korrelatidnsregister 164 in das Maskenregister leitet. Der Schreibwert ist "Eins". Da Schreib- und Maskenwerte unterschiedlich sind, zeichnet ein Ausgangs signal auf der Leitung 35 den Wert "Eins" auf der Leitung 314 in einem Baum-Flip-Flop 51 auf usw. Dementsprechend wird der zweite Zwei g des Stammes gemäß der Darstellung in Fig. 2B gebildet. Der Maskenwert "VIER" öffnet die die Zahl vier enthaltenden Korrelations register. Dementsprechend wird im C -Register 164 der Schreibwert "Eins" gespeichert. Die Korrelations-Register haben jetzt folgenden Inhalt:

= ι

⁰Z = ²

C₃ = 3

C₄ = 1

C₅ = 3

C, = 6. ο

Dritter Schritt:

In diesem Fall ist der "Wert 0, 58 für I der größte und führt zum Schreib-Wert "Drei" von C -Korrelations-Register 163 und zu einem Maskenwert "Sechs" vom C. -Korrelations-Register 166. Dieser Wert

DoCet YO ,68 O_{23 9omi/1}3_6g ^ ORIGINAL INSPECTED

wird ebenfalls als Zweig gewählt. Durch den Wert "Sechs" im Maskenregister empfängt das C ,-Korrelations-Register 166 den Schreib-Wert "Drei". Somit sind die Werte in den Korrelations-Registern folgende:

^ci = ¹

C = 2

C₃ = 3 C, = 1

^C5

Vierter Schritt:

Als nächstes erscheint der Wert I = 0, 56 als der größte, wodurch der Wert "Drei" vom C -Korrelations-Register 165 in das Maskenregister und der Wert "Eins" vom C .-Korrelationsregister 164 in das Schreib-Register 60 gesetzt wird.

Da der Maskenwert "Drei" ist und die Register C , C und C, "Drei" enthalten, werden sie mit dem Schreib-Wert geladen. Die Werte der Korrelationsregister sind jetzt folgende:

C=I C₂-Z

C₃ = ι

Docket YO 968 023 _{n rt Λ} _ . „ . . _{A A M}

c„ = ι

^C6

Eine Verschiebung kommt jetzt natürlich nur durch Wahl eines solchen wechselseitigen Informationswertes zustande, der einen Wert von dem C -Register in das Schreib-Register 80 oder das Masken-Register 89

liest. ■

Fünfter Schritt: ^; · .- - - .?■- -■.-.-■- .

Der nächstgrößte Wert ist der Wert I , mit 0,55. Dadurch gibt das C,-Register 166 den Wert "Eins" auf das Maskenregister und das C.-Register 161 den Wert "Eins" auf das Schreib-Register. Dementsprechend wird der Wert nicht gewählt und die Korrelationswerte bleiben außerdem wegen der Identität unverändert.

Sechster Schritt:

Der nächstgrößere Wert ist der Wert I mit 0,48.

In diesem Fall wird der Wert "Eins" im C -Register 163 in das Maskenregister und der Wert "Zwei" im C -Register 162 in das Schreib-Register gelesen. Dementsprechend wird auch dieser Wert gewählt. Weiterhin wird der Wert "Zwei" in die Korrelations-Register C , G , C/, C und C, gelesen, die dann alle die Zahl "Zwei" enthalten, da die Maske "Eins"

Docket YO 968 023 909841/1369

ORfGINAL INSPECTED

ist· AuJerdem wurde der Baum, wie er in den Fig. 2B und 2C geseigt Ut, gewühlt. Cr umfaflt (n-1) * 5 (wobei n*6 Merkmale) Zweige eine· Baume· zwischen sech· Punkten«

Die Aue gang «impulse für jede Wahl laufen auf der Leitung 35 zu einem Zähler 147 in der Steuerung 32 für den Slgezahn-Generator, Die Ausgangs· •ignale de· Registers 146 (n-1 = 5) und des Zählers 147 laufen *u einem Vergleicher 145, der ein positive· Eingangssignal auf ein Und-Glied gibt, bis das Ausgangs signal des Zählers 147 gleich dem Ausgangssignal des Registers 146 ist. Ein Flip-Flop 143 ist mit dem anderen Eingang de· Und-Gliedea 144 verbunden.

Das Flip-Flop 143 wird bei jeder Rückstellung des Lehrsystems mit rückgestellt· Die Leitung 33 von einer Zunge des Relais 18 schaltet bei Betätigung dieses Relais das Flip-Flop 143 ein. Somit empfängt das Start- Steuergatter 149 kein Eingangssignal vom Und-Glied 144 über die Leitung 148, bis das Relais 18 arbeitet; und das Gatter 149 wird abgeschaltet, wenn der Zähler 147 die Zahl "ijünf" erreicht.

Dementsprechend beginnt ein Sägezahn-Zyklus, nachdem das Relais 18 schließt und wird beendet bei Vervollständigung eines Baumes mit n-1 Zweigen in einem System, das η Merkmal-Eingänge empfängt.

Docket YO 968 023 909041/1369

BAD ORIGINAL

einzelheiten der Korrelations-Schaltung

Im folgenden werden Einzelheiten der Korrelation·-Schaltung in der Schaltung zur Vermeidung geschlossener Schleifen 3S im Zusammenhang mit Fig. 5 beschrieben.

Das Schreibsteuergatter 111 besteht tatsächlich aus drei Schaltungen fttr W die bei einem 6-Merkmale-Mueter-Erltenmunf s-Syatem verwendeten

drei Bit-Register und schlieft eine Schreibateuerung 112 mit einer Lei· tung 171 ein, die das Ausgang β signal des Zweier-Bit-Register 263 des C .-Kor relations-Registers führt. Die Schreibeteuerungen 112, 113 und 114 werden durch das über die Leitung 110 kommende Ausgangssignal des Oder-Gliedes 109 gesteuert. Die Signale auf den Leitungen für das Null-Bit und das Einer-Bit vom Korrelator C und das Signal für das Null-Bit in den Registern 262 und 261 -werden durch die Schaltungen 113 und 114 geführt. Das Schreib-Register 80 ernthält die drei Register 81, 82 und 83 für die drei Bits. Jede der oben erwähnten Leitungen ist eine Doppelleitung für binäre Einsen und Nullen.

Das Maskenregister 89 enthält das Zweier-Bit-Register 90, das Einer-Bit-Register 91 und das Null-Bit-Register 92, welche Eingangs signale von den Korrelations-Bit-Registern C₀,, C und C über die Leitung 172 empfangen, wenn die Zweier-Bit-Torschaltung H7 ca . 115, die Einer-Bit-Torschaltung 116 und die Null-Bit-Torschaltung 117

Docket YO 968 023 909841/1369

SAD ORiGiNAL

durch das Flip-Flop 29 für die für das Merkmal X über die Leitung 102-

Lt

geöffnet werden. Das Flip-Flop wird eingeschaltet, wenn z.B. die wechselseitige Information X , X die größte ist. Dann werden die Ausgänge bis 183 des Schreibregisters mit den Antivalenz-Schaltungen 133, 134 und 135 in der Steuerschaltung 36 so verbunden, ebenso wie die Ausgänge 200 bis 202 des Maskenregisters. Wenn alle Bits identisch sind, erhält man von keiner Antivalenz-Schaltung ein Ausgangs signal, wodurch das Oder-Glied 136 kein Ausgangs signal auf der Leitung 35 liefert und so die Kombinations-information nicht gewählt wird.

Die Leitungen 200 bis 202 sind, außerdem mit mehreren Antivalenz Schaltungen 296, 196 usw. verbunden, die die Ausgangs signale der drei Korrelations-Bit-Register, wie z.B. C.-Korrelations-Bit-Register 261, 262 und 263 und C--Korreläti ons-Register 162 koppeln. Wenn die Ausgangssignale nach Verarbeitung durch Inverter 295 und 195 alle positiv sind und damit gleiche Werte in der Maske und dem C. -Register 161 und/ oder dem'C-'-Register 162 anzeigen, werden das Und-Glied 294 Und/oder 194 und somit die dadurch gesteuerten Schreib-Übertrag er 291 bis 293 und/oder 191 bis 193 so geschaltet, daß die Leitungen 281, 282 und 283 von der Schaltung 280 mit den Eingängen der Korrelätions-Bit-Register 261, 262 und 263 und/oder 162 verbunden werden. Wenn eines der Und-Glieder 194, 294 ff«, ein Ausgangs signal abgibt, arbeitet ein Oder-Glied 300 über eine VerzögerungsSchaltung 301. Nach der Verzögerung schaltet

Docket YO 968 023 9 0 9 8^1/1369

ORIGINAL INSPECTED

eine monostabile Kippschaltung die Torschaltung 280 zum Durchlaß der ~ Werte auf den Leitungen 181, 182 und 183 auf die Leitungen 281, 282 und 283 und von dort auf die Korrelations-Register 161 bis 166 in Abhängigkeit davon, welches Register durch den Vergleichsübertrager 100 aus-*. " gewählt ist. _; .. .-..■-. . . .-■■... -.;

Musterwahlschaltung

Die in den Fig. 3 und 6 gezeigten Auswahlschaltungen 41, 42 und 43 sind an die Hauptausgangsleitung 39 der Schaltung 38 so angeschlossen, daiS jeweils eine der Leitungen 312 bis 316, 323 bis 326, 334 bis 336, 345 bis 346 und 356 mit jeder dieser Schaltungen verbunden ist. Die entsprechenden Musterwahlleitungen 45A, 45B, 45N sind für ein Muster A, B ... oder N mit allen Schaltungen verbunden. Außerdem ist die Antivalenz-Schaltung 35 mit den drei Auswählechaltungen 41, 42, 43 so verbunden, daß z.ur ., Optimierung der Zeichen-Erkennungsanlage geschlossene Schleifen vermieden werden. .-'■_..-.

Somit wird jede der Wahl schaltung en durch Leitung 35 und durch das ■ Signal des Musterwählers 44 auf den Leitungen 45A, 45B und 45N gesteuert.

Auswahl-Flip-Flops (Baum-Flip-Flops)

Wenn eine der Wahlschaltungen 41, 42 oder 43 gemäß obiger Beschrei-

Docket YO 968 023 9 0 9 8 41/1369

ORIGINAL INSPECTED

bung eingeschaltet wird, werden auch die damit über eine Leitung 50 verbundenen Baum-Flip-Flops 51, 52 oder 53 eingeschaltet. Somit werden beispielsweise bei einem System mit η = 6 Merkmalen (n-1) ~ 5 der Wahl schaltung en 41 und damit fünf der Baum-Flip-Flops 51 eingeschaltet und geben Steuersignale zum Einschalten von fünf Erkennungs-Und-Glieder 1-2, 1-3 usw. 5-6, die in Fig. 6 gezeigt sind.

An dieser Stelle sei noch einmal betont, daß die Baum-Flip-Flops das Endresultat der Lernphase einer Anlage aufzeichnen. Die Ergebnisse dieser Lernphase für jedes Muster können bei Bedarf auf ein Register 69 für jedes gesetzte Baum-Flip-Flop ausgelesen werden, und zwar über Leitungen 55A, 55B und 55N.

E rkennung s - Und-Gliede r

Die Ausgangs signale der Flip-Flops auf den Leitungen 54 werden auf die Erkennungs-Und-Glieder A 56, B 57 ... N 58 gegeben. Für jedes Paar X.X. ist für jedes Muster eine Schaltung vorgesehen, wie es in Fig. 6 gezeigt ist, und bei η = 6 sind 15 Und-Glieder vorgesehen für XX,

■Λ. Λ. ... Λ. Jh. ,_m 1 5 DO

Die Eingänge für das 1-2-Und-Glied bilden eine Leitung 63 und die Ausgangsleitung 54 vom Flip-Flop 51, das über eine Torschaltung 41 mit der X X -Leitung 312 verbunden ist. Zwei der Leitungen 63 führen zu

Docket το 968 023 909141/1369

ORIGINAL INSPECTED

einer Kombination von zwei* Und-Gliedern 30, die mit den Ursprungsleitungen 11 und 12 für X und X so verbunden sind, daß das Und-Glied

1 £»

1-2 im Erkennungsbetrieb arbeitet, wenn die beiden Leitungen X und X₉

1 Z

Impulse aufgrund eines dem Merkmal-Extraktionsgerät 10 vorgelegten Zeichens liefern.

fc Zur Zeichenklassifizierung oder -erkennung sind im Betrieb nur fünf

Und-Glieder geschlossen, wenn die Anlage mit einem Wert von n-J zur Bildung einer optimalen Baumstruktur betrieben wird.

Daraufhin wird die für die Zeichenerkennung zu verwendende Information zweiter Ordnung nach unten in die S ummie rungs schaltung en 59, 60 und 61 geleitet, in der sie gemäß der Gewichtung addiert werden, die während der Lernphase der Anlage durch die in Fig· 7 gezeigten Wichtungsrechner 66 eingestellt wurden.

Wi chtung s r e ehne r

Die Gewichtung selbst und die Wichtungsrechner sind sinnvoll, weil trotz Deutlichkeit bestimmter Merkmale,die als für ein Zeichen kennzeichnend angesehen werden, der Grad der Relevanz eine Funktion bestimmter Wahrscheinlichkeiten ist.

Docket YO 968 023 90«f 41/1369 ^0RlGlNAL 'NSPECTED

Die fünfzehn Werte der Wichtung en zweiter Ordnung werden folgender maßen berechnet:

' ⁸

Der in Figur 7 gezeigte Wichtungsrechner zweiter Ordnung .284 soll der Rechner für i = 1 und j = 2 oder X und X sein, der an den in Fig. 7 ge-

ί Ct

zeigten Ausgang 77 angeschlossen ist» Selbstverständlich sind, fünfzehn derartige Rechner vorhanden. . . _;

In jedem Fall liefert der entsprechende Analogrechner 20 für jedes gegebene i und jedes gegebene j einen Wert von N , N,_n, N .und N zur Multiplikation von N , und N_n in der-Multiplikationsschaltung 285 und N^ mit NL, in der Multiplikations schaltung 286» die beide ihre Ausgang.ssignale auf die logarithmischen Verstärker 28 7 und 288 geben. Die beiden logarithmischen Verstärker 287 und 288 treiben eine Subtraktions schaltung 289, von der die Gewichtung W- _v auf eine Leitung 290 zur Uber-

X.X.

tragung über das Kabel 65 gegeben wird, wie es in Fig. 1 gezeigt ist.

Die fünfzehn Wichtungsrechner erster Ordnung 303 sind vorgesehen für fünfzehn Wertpaare i und j bezüglich der verschiedenen gewählten Kombi· nationen von-X. und X., die eine wechselseitige Information ergeben.

Die Gleichungen für die Gewichtung erster Ordnung sind folgende:

Docket YO 968 023 909841/1369

-.:·*■·. ': ■■'■■ OFUÖINäL INSPECTED

2	- log	1VAi+1V	- log	N10Ni0
i	- log	Noo(Nio+Nii>	- log	N00Nil
2	Noi<Nio+Noo>	NWNj0
3	Noo(Noi+Nn)	NooNn

Diese Gewichtungsfaktoren kann man als baumabhängig bezeichnen, da die Gewichtung einstellbar gewählt und in den Summierungs schaltungen 59» 60 und 61 kombiniert werden aufgrund der Ausgangs signale der Baum-Flip-Flops auf den Leitungen 55A, 55B und 55N.

Die Eingangsleitungen gleichen denen für die Wichtungsrechner zweiter Ordnung 284 mit der Ausnahme, daß Werte von N.., d.h. N_in + N oder i = 1, N._, N und N eingeschlossen sind.

Die Multiplikationsschaltung 304 Multipliziert N mit N. , die Schaltung 305 N mit N , die Schaltung 306 N mit N und die Schaltung 307 N mit N . Die Ausgangssignale der Multiplikations schaltungen 304 und werden auf die logarithmischen Verstärker 308 bzw. 309 gegeben, die an

die Subtraktionsschaltung 310 angeschlossen sind, welche das W . -Ausgangs signal auf die Leitung 320 gibt.

In ähnlicher Weise verarbeiten die logarithmischen Verstärker 317 und 318 die Ausgang s signale der Multiplikations schaltungen 306 und 30 7 und

Docket YO 968 023 909841/1369

ORfGINAL INSPECTED

geben die Ergebnis signale auf die S ubtraktions schaltung 319, die ein Aus-

gangs signal W . auf die Leitung 321 gibt.
* J

Ein unabhängiger Gewichtungswert WX. ist außerdem erforderlich für jeden der fünf Werte von i; diese können fünf der fünfzehn Analogrechner abgeleitet werden, welche die Werte N.. und N. liefern, die im Rechner 322 durch die logarithmischen Verstärker 327 bzw. 328 für die Subtraktion durch die Subtraktionseinheit 329 verarbeitet werden müssen, um den nachfolgend aufgeführten Ausgangswert auf der Leitung 330 zu bekommen:

"W₁W.

In ähnlicher Weise wird ein einzelner Wert für j = 6 im Wichtungsrechner 185 berechnet. Die logarithmischen Verstärker 186 und 18 7 verarbeiten N.. und N für die S ubtraktions schaltung 188, die den folgenden Wert auf die Ausgangsleitung 189 gibt:

^wi^xj ⁼

Summierungs s chaltung

Die Summierungsschaltung 59 für das Muster A ist in den Fig. 8A bis 8E gezeigt.

Docket YO 968 023 9 0 9 8 41/13 6

Die Auswahl-Flip-Flops 51 für das Muster A sind in der Summierungs schaltung 59 durch die Leitungen 55A zusammengefaßt, um die Wichtungs-Torschaltungen 901, 902,. 903 zu steuern. Die Wichtungsrechner 612 bis 616, 623 bis 626, 634 bis 636, 645, 646 und 656 haben zwei Ausgänge erster Ordnung wie die Ausgänge 320 und 321 des Rechners 656, die die dem Wichtungsrechner 656 gegenüberliegenden Torschaltung en 901 und 902 steuern.

Essind sechs Summierungsschaltungen 362 bis 367 vorgesehen. Die Schaltung 362 (Nr. 6) empfängt fünf Eingangs signale auf den Leitungen 904 und 910 von den Torschaltungen für die Werte von X,. Diese Werte stammen

von den Wichtungsrechnern 616, 626, 636, 646 und 656. Von der rechten Seite jedes Rechners 612 und folgende kommt der untere Basiswert W und von der linken Seite der obere Basiswert W„ . Somit laufen insge-

J samt fünf Leitungen zur Summierungsschaltung 362 von WR 616, WR 626, WR 636, WR 646 und WR 656 von den vier entsprechenden linken Torschaltungen 90 über die Leitungen 910 und ebenso die mit diesen Rechnern verbundene linke Torschaltung 901 über die Leitung 904.

In ähnlicher Weise erreichen die Summierungs schaltung 363 (Nr. 5) Eingangssignale von WR 615, WR 625, WR 635, WR 645 auf der linken (höheren) Seite und WR 656 auf der rechten (niederen) Seite durch die Torschaltungen 903 und 902 über die Leitung 905. Analoge Verbindungen sind ge-

Docket YO 968 023 909841/1369

zeigt für die Summierungseinheiten Nr. 4, 3, 2 und 1, und zwar 364, 365, 366 und 367.

Außerdem sind die sechs Festwert-Gewichtungen W,X. und W,X. von

Ii Ij

WR 606, WR 605, WR 604, WR 603, WR 602 und WR 601 über die Leitungen 189 und 330 in. den Kabeln 65 und 74 mit den entsprechenden Sum- · mierungseinheiten 362 bis 367 verbunden.

Alle sechs Werte bleiben konstant, ungeachtet der Änderungen in der Baumstruktur, da diese Gewichtungen nicht stammabhängig sind.

Die Ausgangssignale der sechs Summierungs schaltungen 362 bis 367 werden über die Leitungen 361 auf Verstellglieder (VG) 360 gegeben, die verschiedene Widerstände 376 bis 371 entsprechend den zugehörigen Summierungseinheiten 362 bis 367 betätigen. Diese sechs Widerstände sind entsprechend den Werten 6, 5, 4, 3, 2, 1 für 362 bis 367 mit den Leitungen 16 - 11 für X,, X ... X als Eingängen verbunden. Die Ausgänge der Widerstände sind mit der Leitung 372 verbunden und über die Leitung 72 und den Widerstand 860 an Erde angeschlossen, umde Eingänge gemäß der Einstellung durch die Gewichtungswiderstände 371 bis 376 und 812 bis 816, 823 bis 826, 834 bis 836, 845 bis 846 und 856 einzustellen.

Außer den oben beschriebenen sechs Gewichtungswiderständen 371 bis 376 sind die gerade erwähnten fünfzehn weiteren Gewichtungswiderstände

Docket YO 968 023 909841/1369

ORIGINAL INSPECTED

812 usw. vorgesehen, welche durch die Verstellglieder 357 eingestellt werden, die über die Leitungen 712 bis 716, 723 bis 726, 734 bis 736, 745 bis 746 und 756 mit den Ausgängen der entsprechenden Wichtungsjre.ch» ner 612 usw. über die Muster-Steuergatter 64 so verbunden sind, daß für jede für jedes Kreuzprodukt X.X. gewählte Gewi chtung der entsprechende Widerstand durch die Verstellglieder 357 und 360 automatisch gewählt wird. . _·_.'...-

Die Eingänge zu den Regelwiderständen 812 usw. sind über.das Kabel _;73 an die Ausgänge der Erkennungs-Und-Glieder so angeschlossen, daß die fünf gewählten Stamm-Kreuzproduktwerte entsprechend gewichtet werden.

Wie bereits gesagt, wird der Ausgang jeder Summierungsschaltung 59, ... 61 auf dem Kabel 72 mit einer Maximum-Detektorschaltung 67 verbun« den, die den in den Fig. 3A, 3B, 3C und 3D gezeigten Schaltuxtgen ähneln kann. . . , ^-'"....

Die Anlage kann eine beliebige Anzahl von so vielen Mustern timfassen« Außerdem können einige parallele Funktionen zur Reduzierung d«s Um-. fanges der Geräte seriell ausgeführt werden.

Docket YO 968 023 9 0 9841/1369

ORIGINAL INSPECTED

Claims (5)

1. Pat e η t a η s ρ r ü c h e

   1,-Adaptives, die gegenseitige Abhängigkeit einzelner Zeichenmerkmale berücksichtigendes Verfahren zur Zeichenerkennung, dadurch gekenn« zeichnet, daß in der Lernphase für jedes Zeichen die gegenseitige Information mehrerer Merkmalpaare ermittelt wird, daß der Größtwert der gegenseitigen Information bestimmt wird, daß ein Satz von Merkmal» paaren mit größtmöglicher Information gemäß den Markoff* schen Prozessen zweiter Ordnung unter Vermeidung einer geschlossenen Schleife bestimmt und ausgewählt wird, daß eine vorherbestimmte Anzahl dieser Merkmalpaare in einem Speicher (51 oder 52 oder 53) gespeichert wird, daß dieser Speicher (51 oder 52 oder 53) die Erkennungsschaltung (56 oder 57 oder 58) einstellt, daß in der Erkennungsphase die abge« tasteten Zeichenmerkmale zu Merkmalpaaren kombiniert werden, die allen Erkennungsschaltungen (56, 57, 58) zugeführt werden, und daß die durch jede Erkennungsschaltung (56, 57, 58) ausgewählten, abge·» tasteten Merkmalpaare über Summierungs·. und Gewichtungsschaltungen (59, 60, 61) in einen Maximum-Detektor (67) eingegeben werden,
2. 2. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch

   mit gekennzeichnet, daß während der Lernphase/einer Merkmalextraktions -

   schaltung (10) ein Satz von Analogrechnern verbunden ist, der einerseits die Auswahlschaltungen (41, 42, 43) steuert und andererseits über einen zweiten Satz von Rechnern (Wichtungsrechner 66) an Summierung s schal Docket YO 968 023 9 0 9 8 41/13 6 9

   tungen (59, 60, 6l) zur Berücksichtigung des einem Merkmalpaar zu* geordneten Informationsgehalts angeschlossen ist.
3. 3. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß während der Erkennungsphase die Merkmal·· extraktionsschaltung (lO) mit Verknüpfungsgliedern (30) verbunden ist und die dort erzeugten Merkmalpaare auf die in der Lernphase einge·* stellten Erkennungsschaltungen (56, 57, 58) geleitet werden,
4. 4. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß im Lernbetrieb eine Schaltung (Unterdrückungsschaltung 38) zur Verhinderung der Auswahl redundanter Information (Vermeidung geschlossener Schleifen) zwischen den Analogrechnern (20) und den Auswahlschaltungen (41, 42, 43) angeordnet ist.
5. 5. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß ein Register (69) zur Aufnahme der in den Auswahl« schaltungen (41, 42, 43) bestimmten und in Auswahl«Flip«Flops (51, 52, 53) gespeicherten Merkmalkombinationen angeordnet ist.

   Docket YO 968 023 9 0 9 8 4'1/Ί 3 6 9

   57
   Leerseite