DE3650446T2

DE3650446T2 - Paralleler, adaptiver, nichtlinearer Musterklassentrenner und -erkenner in mehreren Einheiten.

Info

Publication number: DE3650446T2
Application number: DE3650446T
Authority: DE
Inventors: Leon N Cooper; Charles Elbaum; Douglas L Reilly; Christopher L Scofield
Original assignee: Nestor Inc
Current assignee: Nestor Inc
Priority date: 1985-02-15
Filing date: 1986-02-05
Publication date: 1996-06-13
Anticipated expiration: 2006-02-06
Also published as: EP0191407B1; EP0191407A2; EP0191407A3; ES548992A0; DE3650446D1; JPH0823863B2; ES8801451A1; ATE131295T1; US4760604A; MX166402B; ES8800462A1; ES557565A0; JPS61193279A; CA1244946A

Description

Gebiet der Erfindung

Die vorliegende Erfindung betrifft adaptive Informationsverarbeitungssysteme und speziell sich selbst organisierende Eingabe-Ausgabe-Vorrichtungen, deren Funktion es ist, Klassen von Mustern, die nicht notwendigerweise linear trennbar sind, zu trennen und zu identifizieren.

Hintergrund der Erfindung

In den im folgenden aufgeführten Patenten von Cooper et al. werden Verfahren und Vorrichtungen (Systeme) offengelegt, die in der Lage sind, "Muster" oder "Ereignisse" aus der realen Welt, die nicht linear voneinander getrennt werden können, zu trennen und zu identifizieren. Die Muster oder Ereignisse in der Außenwelt können mit einem Satz Messungen festgestellt und beschrieben werden, deren Ergebnisse durch ein Eingangssignal S dargestellt werden, das aus Einzelsignalen s&sub1;, s. . . Sk besteht. Bei dem Signal S kann es sich beispielsweise um ein Signal handeln, das von einer Kamera kommt, die eine Szene (Muster) erfaßt, oder um das Ausgangssignal eines Mikrofons, das einen beliebigen Laut (Muster) erfaßt.
In einem System, das ein adaptives NestorTM Modul umfaßt, so wie es in diesen Patenten beschrieben wird, sollten alle Eingangssignale S (auf die hier als "Muster" Bezug genommen wird), die zur selben Klasse gehören, das System zur Ausgabe derselben definitiven Reaktion veranlassen. So sollte zum Beispiel im Zusammenhang mit einer Anwendung wie der Zeichenerkennung jede beliebige vom System gesehene Version einer handgeschriebenen "2" ein Ausgangssignal zur Folge haben, das das Schriftartzeichen für die "2" auf einer Ausgabevorrichtung wie zum Beispiel einem Videobildschirm, einem Ausdruck usw. erscheinen läßt.
Ein System dieses Types bzw. ein sogenanntes Nestor System (TM) ist eine extrem leistungsfähige Vorrichtung zur Klassentrennung und -identifizierung. So kann dieses System beispielsweise mittels eines Lernvorgangs geschult werden, bei dem die Bedienperson über keine Kenntnisse der komplexen Geographie des mehrdimensionalen Raumes zu verfügen braucht, in dem die Trennung und Identifizierung der Musterklasse erfolgt. Bei einem solchen System ist es erforderlich, das Signal S vorab in ein Zwischensignal F aufzubereiten, das nur bestimmte vorgeschriebene Merkmale der Originalmuster darstellt. Normalerweise enthält das Eingangssignal S zuviele irrelevante Informationen für eine effiziente Mustererkennung durch das Nestor System.
Wenn das Eingangssignal S (das das Muster darstellt) diesem Vorbehandlungsschritt - der hier als "Codierung" bezeichnet wird - unterzogen wird, sollten genügend Informationen erhalten bleiben, um die Muster voneinander unterscheiden zu können. Informationen, die zum Erlernen einer Klasse irrelevant sind, können für die Unterscheidung einer anderen Klasse wichtig sein. Aus diesem Grunde kann es schwierig sein, eine einzige Vorbehandlungsstrategie zu wählen, die alle irrelevanten Informationen entfernt, ohne dabei die Fähigkeit, einige Klassen unterscheiden zu können, aufs Spiel zu setzen.
Das hier beschriebene System kann gewissermaßen als ein Weg betrachtet werden, eine Anzahl solcher Nestor-Systeme miteinander zu verbinden. Jedes Komponenten-Nestor-System kann als eine vollständige Einheit betrachtet werden, die ihre eigenen Vorbehandlungs- und Codierungsverfahren enthält. Die Identifizierung eines Musters erfolgt anhand der Reaktionen, die es unter diesen Komponenten-Einheiten hervorruft. Jede Einheit hat ihre eigenen, von jeder anderen Einheit verschiedenen Codierverfahren. Sie ist deshalb für bestimmte Arten von Informationen im Eingangssignal empfänglich. Der spezielle Satz an Merkmalen, den sie erfaßt, kann ihr eine besondere Befähigung verleihen, einige Arten von Musterklassen zu erlernen, andere jedoch nicht. Eine Klasse wird automatisch von derjenigen Einheit erlernt, die am besten zu ihrem Erlernen befähigt ist. Gleichzeitig kann es zum Erlernen anderer Musterklassen erforderlich sein, die Ressourcen mehrerer Komponenten-Einheiten, von denen keine aufgrund ihrer Vorbehandlungs- und Codierungseigenschaften alleine über eine ausreichende Unterscheidungsbefähigung verfügt, miteinander zu vereinigen, um diese Klassen zu unterscheiden. In diesen Fällen identifiziert das System ein Beispiel dieser Klasse, indem es die Reaktionen einer Gruppe von Einheiten in Zusammenhang bringt.
Als Beispiel hierfür kann wieder die Aufgabe betrachtet werden, handgeschriebene Zeichen zu identifizieren. Die von einer Einheit registrierten Eigenschaften können bestimmte Aspekte der Zeichen hervorheben, andere jedoch nicht. Im speziellen Falle können die gewonnenen Merkmale zwar gut dazu dienen, zwischen Zeichen mit geradlinigen Formen zu unterscheiden, wie zum Beispiel "A", "H", "K", "N" usw., aber keine gute Trennung zwischen Zeichen mit kreisförmigen Formen wie zum Beispiel "B", "C", "Q" usw. bieten. Folglich wird diese Einheit geradlinige Formen unterscheiden, während eine Einheit, die kreisförmige Merkmale codiert, lernen könnte, Musterklassen zu trennen, bei denen kreisförmige Merkmale vorhanden und unterscheidend sind.
Systeme zur Codierung (Gewinnung von Merkmalen) von handgeschriebenen Zeichen, hörbaren Lauten und zahllosen anderen Arten von Mustern sind in der einschlägigen Technik wohl bekannt und werden in der Literatur beschrieben. Ein Überblick über diese Technologie für handgeschriebene Zeichen ist enthalten in Automatic Recoanition of Handprinted Characters - the State of the Art, von C. Y. Suen, M. Berthold und S. Mori, Proceedings IEEE, Vol. 68, No. 4, April 1980, S. 469-487.
Nicht jede Einheit eines Nestor-Systems erlernt jede Klasse. Darüber hinaus hält jede Einheit nur nach einem Bruchteil aller möglichen vom System als Ganzem erfaßten Mustereigenschaften Ausschau. Folglich geschieht das Erlernen einer Musterklasse schneller und wirtschaftlicher (was die Größe des Systemspeichers anbetrifft), als wenn das System aus einer Einzeleinheit bestehen würde, in der die Vorbehandlung und Codierung aller einzelnen Einheiten des Systems zusammengefaßt wären. Ein weiteres vorteilhaftes und neuartiges Kennzeichen dieses Systems und seiner Architektur besteht darin, daß es die Möglichkeit bietet, im Laufe der Schulung neue Einheiten in das System auf zunehmen. Dies ist eine besonders nützliche Eigenschaft, wenn die Art der Musterklassen, mit denen es das System voraussichtlich zu tun haben wird, sich im Laufe der Zeit wesentlich verändert. Es können dann, während das System seine Erfahrung erweitert, zusätzliche Einheiten eingefügt werden, ohne das System generell bezüglich der bereits erlernten Musterklassen umschulen zu müssen.
Vorteilhafterweise kann jedes adaptive Nestor-Modul so geschult werden, daß es bei der Klassifizierung bestimmter Arten von Mustern äußerst gut und genau ist. Diese Erfahrenheit gestattet es einem Modul, auf der Basis von extrem feinen Unterschieden zwischen Mustern zu klassifizieren, vorausgesetzt die Einheit verfügt über die notwendige Vorbehandlung und Codierung, um diese Unterschiede wahrzunehmen. Ein hoher Grad der Befähigung, Muster auf der Basis eines Satzes Kriterien zu klassifizieren, schließt nicht die Fähigkeit aus, einen anderen Satz Kriterien (von einem anderen Modul oder einer anderen Modulgruppe) zu verwenden, um auf der Basis eines abweichenden Satzes zu klassifizieren.
Das adaptive Nestor-Modul selbst ist eine bekannte Vorrichtung zur Musterklassifizierung und -identifizierung. Diese Vorrichtung wird unter anderem in den oben genannten US-Patenten Nr. 3.950.733, 4.044.243, 4.254.474 und 4.326.259 von Cooper et al. beschrieben.

Zusammenfassung der Erfindung

Ein Hauptziel der vorliegenden Erfindung ist es, eine Vorrichtung zur Trennung und Identifizierung von Mustern zur Verfügung zu stellen, die in der Lage ist, Klassen von Mustern, die eine große Vielfalt an herausragenden Merkmalen besitzen, zu trennen und zu identifizieren.
Ein weiteres Ziel der vorliegenden Erfindung ist es, eine Vorrichtung zur Trennung und Identifizierung von Mustern zur Verfügung zu stellen, die in der Lage ist, Klassen von Mustern, die nur geringe und subtile Unterschiede untereinander besitzen, zu trennen und zu identifizieren.
Noch ein weiteres Ziel der vorliegenden Erfindung ist es, eine spezielle als Software implementierte Realisierung der vorliegenden Erfindung zur Verfügung zu stellen, die in der Lage ist, die soeben beschriebenen Ziele zu erreichen.
Diese Ziele sowie weitere Ziele der vorliegenden Erfindung, die anhand der nachfolgenden Erörterung offensichtlich werden, werden entsprechend der Erfindung dadurch erreicht, daß ein System zur Musterklassifizierung und -identifizierung zur Verfügung gestellt wird, das die im Anspruch 1 aufgeführten Kennzeichen umfaßt.
Die Vorrichtung zur Trennung und Identifizierung von Musterklassen entsprechend der Erfindung macht somit in vorteilhafter Weise Gebrauch von der Möglichkeit, verschiedene Sätze von Kennzeichen eines bestimmten Musters so zu codieren, daß die Klassifizierung dieses Musters auf der Basis einer großen Vielfalt an Kennzeichen erfolgen kann. Da die Vorrichtung zur Musterklassifizierung so imstande ist, verschiedenste Aspekte des Musters zu "sehen", wird ihre Fähigkeit, das Muster zu klassifizieren, wesentlich erhöht.
In ähnlicher Weise macht es die Bereitstellung einer Vielzahl von Vorrichtungen zur Mustererkennung, die auf einen unterschiedlichen Aspekt des Ausgangssignals der Codiervorrichtung achten und jeweils eine geringfügig unterschiedliche Schulung erfahren haben, möglich, das Muster in eine von einer großen Anzahl möglicher Klassen einzuordnen. Man wird hierbei anerkennend feststellen, daß die Vorrichtung zur Mustererkennung beim Beteiligtsein einer sehr großen Zahl von möglichen Klassen in der Lage ist, bei den von ihr "gesehenen" Mustern zwischen subtilen Unterschieden zu unterscheiden.
Zum besseren Verständnis der vorliegenden Erfindung wollen wir k Einheiten U&sub1;. . .Uk des Typs betrachten, der im US-Paten Nr. 4.326.259 beschrieben wird, und die parallel (oder in Folgeschaltung) arbeiten. Jede Einheit besteht aus einem Mittel zum Entgegennehmen eines Eingangssignals S, einem Mittel Ci zum Codieren des Signals in einen Mustervektor Fi (1 ≤ i ≤ k) und einem Mittel zum Vergleichen des Mustervektors mit einem Satz Prototypen [P(j), j=1. . .Ni)], die im Laufe des Vorgangs des Erlernens und Registrierens einer Ausgangsreaktion Ri erzeugt werden. Diese Einheiten sind autonom arbeitende Vorrichtungen. Ein Signal S, das das Ergebnis des Auftretens eines externen Ereignisses (Musters) ist, wird von mit jedem der k unterschiedlichen Codes, die als c&sub1;. . .ck identifiziert werden, in die Zwischensignale F&sub1;. . .Fk codiert; diese Signale werden dann in Klassen getrennt, um jeweils eine Ausgangsreaktion R&sub1;. . .Rk von jeder der Einheiten U&sub1;. . .Uk zu erzeugen.
Die k Codes c&sub1;. . .ck erzeugen somit k Signale, F&sub1;. . .Fk, die jeweils verschiedene Aspekte (oder Merkmale) des externen Ereignisses darstellen. In einem Extremfall können die Codes orthogonal sein. In diesem Fall wird eine gegebene Darstellung eines Ereignisses in nur ein einziges Signal Fj codiert. Die anderen ergeben Null. (Beim Beispiel des Codierens für von Hand erstellten Zeichen kann eine solche Unterteilung durch eine Codierung erreicht werden, bei der alle Eingaben mit einem Strich in c&sub1;, alle mit zwei Strichen in c usw. eingetragen werden). Dann erfolgt die Verarbeitung in den k Einheiten völlig unabhängig.
Im anderen Extremfall können die Codes identisch sein, so daß C&sub1;=c=. . .ck ist. In dieser Situation wird gegenüber der einer Einzeleinheit offensichtlich nichts gewonnen.
In der hier von uns betrachteten Situation können die Codes k orthogonal oder nicht orthogonal sein, aber sie sind nicht identisch. Im allgemeinen wird ein gegebenes Erscheinen eines externen Musters von einigen oder von allen der k Codes, c&sub1;. . .ck, in ein Ungleich-Null-Signal codiert. Jeder dieser Codes könnte verschiedene Aspekte oder Merkmale des eintreffenden Ereignisses hervorheben. Die Informationen aus einigen Codes können gut zur Trennung bestimmter Musterklassen dienen, während die aus anderen Codes sich besser dazu eignen, noch andere Musterklassen zu trennen. Es kann auch der Fall eintreten, daß ein Muster am besten durch Korrelationen zwischen den aus zwei oder mehr Codes entstehenden Signalen identifiziert wird.
Die k Zwischensignale F&sub1;. . .Fk werden an k Vorrichtungen zur Musterklassifizierung N&sub1;, N. . .Nk übergeben, die ihrerseits die entsprechenden Ausgangsreaktionen R&sub1;. . .Rk erzeugen. Jede Vorrichtung zur Musterklassifizierung ist vorzugsweise ein adaptives Nestor-Modul des Typs, der in den oben genannten US-Patenten Nr. 3.950.733, 4.044.243, 4.254.474 und 4.326.259 offengelegt worden ist. Ein derartiges adaptives Modul umfaßt folgendes: eine Anzahl M an Eingangsanschlüssen, die jeweils so angeschlossen sind, daß sie eine Skalarkomponente f (f1i, f2i . . . fMi) der Zwischensignale Fi erhalten; eine Anzahl N an Summierern, wobei jeder Summierer M Eingänge und einen Ausgang hat und die Funktion hat, ein Skalarkomponentensignal r (r1i, r2i . . . rNi) an seinem Ausgang zu erzeugen, das die Summe der an seinen Eingängen zugeführten Signaldarstellungen repräsentiert; mindestens eine Anzahl N an Skalarmultiplizierern, die jeweils an einen der Summierer angeschlossen sind, um ein zweites Skalarkomponentensignal λri zu erzeugen, wobei λ ein Multiplikationsfaktor ist; mindestens eine Anzahl N an Schwellenwertvorrichtungen, von denen jede an einem der Skalarmultiplizierer angeschlossen ist, um eine Skalar-Ausgangsreaktion pi (p&sub1;, p . . . pN) zu erzeugen, wenn das zweite Skalarkomponentensignal einen vorgegebenen Schwellenwert θi überschreitet; und eine Anzahl M·N an Verbindungselementen, wobei jedes Verbindungselement einen der Eingangsanschlüsse mit einem der Summierer verbindet und für die Informationsübertragung von dem jeweiligen Eingangsanschluß zu dem jeweiligen Summierer in Abhängigkeit von dem am jeweiligen Eingangsanschluß erscheinenden und in Abhängigkeit von der Übertragungsfunktion des Verbindungselements sorgt. Im Lernmodus wird die Übertragungsfunktion von mindestens einem der Verbindungselemente in Abhängigkeit von dem hereinkommenden Signal, das dem Verbindungselement zugeführt wird, und dem Ausgangssignal des Summierers, dem das Verbindungselement zugeordnet ist, verändert. Außerdem wird mindestens einer der Skalarmultipliziererfaktoren λ so verändert, daß sich die Reaktion des zugehörigen Prototyps auf eine einzige Klasse von Mustern beschränkt.
Das adaptive Nestor-Modul funktioniert so, daß es den Vektor Fi des eintreffenden Musters mit einem Satz Prototypen P(j), j=1 . . . N, vergleicht und eine Ausgangsreaktion Ri erzeugt, die den Prototyp oder die Prototypen (falls vorhanden) anzeigt, die auf den Mustervektor Fi ansprechen oder zu ihm passen. Da jedes adaptive Nestor-Modul geschult wird, entwickelt es einen einzigartigen Satz an Prototypen zur Klassifizierung eintreffender Muster. Unter Voraussetzung eines Eingangsvektors Fi, der einer Muster aus einer Klasse darstellt, deren Erkennung dem System beigebracht worden ist, und eines bestimmten Satzes an Prototypen ist die Wahrscheinlichkeit hoch, daß das Muster in die Klassifizierungsbereiche eines oder mehrerer Prototypen für diese Klasse fallen wird.
Die Entwicklung von Prototypen in jedem adaptiven Nestor-Modul Ni gestattet es ihm, seine eigene Klassifizierungsstrategie bei eintreffenden Mustern herauszubilden und zu implementieren. Die Strategie, die es entwickelt, kann darauf beruhen, auf Mustereigenschaften zu achten, die einzig von seinem zugeordneten Codierer Ci registriert werden. Darüber hinaus ist es so, daß, selbst dann wenn zwei oder mehr adaptive Module ihre Eingangssignale von demselben oder einem gleichwertigen Codierer ableiten, mögliche Unterschiede bei den Parametern, die Entwicklung ihrer Prototypsätze steuern, sie dazu veranlassen, effektiv verschiedene Klassifizierungsstrategien zu implementieren, die auf dieselben Eingangsmuster angewendet werden. Das System entsprechend der Erfindung bietet deshalb ein Mittel, mit dessen Hilfe eine beliebige Anzahl solcher parallel (oder in Folgeschaltung) arbeitender Klassifizierungseinheiten sich selbst so organisieren können, daß sie den besten Code sowie die Korrelationenen zwischen Codes für ein Muster auswählen und somit ein hocheffizientes Mittel zum Trennen und Klassifizieren der verschiedenen Muster ergeben.
In der Zeitschrift "Electronics and Communications in Japan", Vol. 48, No. 9, Sept. 1965, S. 37-46, K. Udagawa et al., wird ein paralleles zweistufiges Entscheidungsverfahren zur Zeichenerkennung beschrieben. Es handelt sich um ein statistisches Verfahren, das auf einer Bayes-Entscheidungsregel und nicht auf dem in der vorliegenden Erfindung vorgetragenen Prototypspeichermittel beruht.
Außerdem wird ein paralleles zweistufiges Entscheidungsverfahren zur Zeichenerkennung offengelegt in "Wissenschaftliche Berichte", Vol. 52, No. 1/2, 2. Januar 1979, S. 31-38, J. Schürmann. Bei diesem Verfahren erfolgt die endgültige Auswahl zwischen unabhängigen parallelen Reaktionen unter Bezugnahme auf externe Kriterien (Zusammenhang innerhalb des Wortes) und nicht durch eine Interaktion zwischen den sich gegenseitig ausschließenden parallelen Reaktionen.
Um die vorliegende Erfindung voll verstehen zu können, sind die nachfolgende ausführliche Beschreibung der bevorzugten Realisierungen der Erfindung und die zugehörigen Zeichnungen zu berücksichtigen.

Kurzbeschreibung der Zeichnungen

Fig. 1 ist ein Blockschaltbild einer Vorrichtung zur Trennung und Identifizierung von Musterklassen entsprechend einer ersten bevorzugten Realisierung der vorliegenden Erfindung.
Fig. 4 ist ein detailliertes Blockschaltbild der erwähnten ersten bevorzugten Realisierung einer Vorrichtung zur Trennung und Identifizierung von Musterklassen.
Fig. 5 ist ein Flußdiagramm, das einen Algorithmus für ein Softwaresystem (Nestor SystemTM) zeigt, durch das die in Fig. 4 dargestellte Vorrichtung zur Trennung und Identifizierung von Musterklassen implementiert wird.
Fig. 6 ist ein Flußdiagramm, das einen Algorithmus für den Musterprototypvergleich innerhalb der Musterklassifizierungseinheiten in dem System nach Fig. 5 zeigt.
Fig. 7 ist ein Flußdiagramm, das einen Algorithmus zum Zusammensetzen der Reaktionen der Klassifizierungseinheiten in dem System nach Abb. 5 zeigt.
Fig. 8 ist ein Flußdiagramm, das einen Algorithmus zum Assemblieren der Reaktion des Systems nach Abb. 5 zeigt.
Fig. 9 ist ein Flußdiagramm, das den Lernalgorithmus zum Verändern des Speichers in den Klassifizierungseinheiten des Systems nach Abb. 5 zeigt.
Fig. 10 zeigt einige Beispiele von durch verschiedene Codes getrennten Musterklassen.

Beschreibung der bevorzugten Realisierung

Die vorliegende Erfindung und ihre bevorzugte Realisierung werden nun anhand der Zeichnungen Fig. 1 und Fig. 4-10 beschrieben.
Fig. 1 zeigt eine bevorzugte Realisierung der vorliegenden Erfindung. Diese Realisierung wird hier in einer für ein generelles Verständnis der vorliegenden Erfindung ausreichenden Form beschrieben. Einzelheiten der Realisierung werden im folgenden unter Bezugnahme auf die Zeichnungen Fig. 4-10 beschrieben.
Wie in Fig. 1 dargestellt enthält das System einen Detektor 10, der einen Signalvektor S erzeugt, der aus einzelnen Skalarkomponentensignalen s&sub1;, s . . sM besteht, die ein Muster oder ein "Ereignis" in der Außenwelt darstellen. Bei dem Detektor 10 handelt es sich um eine herkömmliche Vorrichtung wie zum Beispiel eine Anordnung von Lichtsensoren, von denen jeder einzelne eines der Ausgangssignale s&sub1;, s . . . sM liefert.
Der Signalvektor S wird parallel k Musterklassifizierungs-"Einheiten" 12 zugeführt, und zwar Einheit 1, Einheit 2, . . . Einheit i, . . . Einheit k. Jede Einheit (z. B. Einheit i) umfaßt eine Mustermerkmalcodiervorrichtung 14 (Ci) und eine Musterklassifizierungsvorrichtung 16 (Ni). Vorzugsweise codiert jede der Codiervorrichtungen C&sub1;, C . . . Ck einen anderen Satz an Merkmalen in dem Muster, das durch das Signal S dargestellt wird, mittels eines einzigartigen Codes ci (c&sub1;, c . . . ci . . . ck). Dadurch enthalten die von den jeweiligen Codiervorrichtungen erzeugten Zwischensignale F&sub1;, F . . . Fi . . .Fk unterschiedliche Informationen.
Die einzelnen Musterklassifizierungsvorrichtungen 16 (z. B. Vorrichtung Ni) bestehen vorzugsweise jeweils aus einem adaptiven Nestor-Modul des Typs, der in den erwähnten US-Patenten Nr. 3.950.733, 4.044.243, 4.254.474 und 4.236.259 offengelegt worden ist. Die Funktion dieses adaptiven Moduls ist es, einen codierten Mustervektor Fi mit einem Satz "Prototypen" für Musterklassen zu vergleichen, die das Modul durch Schulung erlernt hat. Das adaptive Nestor-Modul, das imstande ist, den Mustervektor zu klassifizieren, indem es ihn gegen einen Satz Prototypen prüft, erzeugt eine Ausgangsreaktion Ri. Da jede der Klassifizierungsvorrichtungen 16 als Ergebnis ihrer Schulung einen anderen Satz Prototypen zur Verfügung stellt, gegen den der Mustervektor Fi zu prüfen ist, besteht eine hohe Wahrscheinlichkeit, daß eine der Klassifizierungsvorrichtungen in der Lage sein wird, das codierte Muster zu identifizieren.
Wenn wir von der Annahme ausgehen, daß das Zwischensignal Fi ein Mustervektor ist, der M Skalarsignale (f&sub1;, f . . . fM) umfaßt, und wenn wir annehmen, daß die Ausgangsreaktion Ri einer Klassifizierungsvorrichtung 16 Ni ein Reaktionsvektor ist, der aus N Skalarsignalen (r&sub1;, r . . . rN) besteht, so daß die Klassifizierungsvorrichtung M Eingänge und N Ausgänge besitzt, dann umfaßt ein adaptives Nestor-Modul, das diese Klassifizierungsvorrichtung 16 bildet, folgendes:
(1) Einen Vielzahl M an Eingangsanschlüssen, die jeweils so angeschlossen sind, daß sie eines der skalaren Zwischensignale f&sub1;, f . . fM erhalten;
(2) eine Vielzahl N an Summierern, wobei jeder Summierer M Eingänge und einen Ausgang hat, und wobei es seine Funktion ist, ein Skalarkomponentensignal r an seinem Ausgang zur Verfügung zu stellen, das die Summe der an seinen Eingängen zugeführten Signaldarstellungen ist;
(3) eine Anzahl N an Skalarmultiplizierern, von denen je einer an einen der Summierer angeschlossen ist, um ein zweites Skalarkomponentensignal λri zu erzeugen, wobei λ ein Multiplikationsfaktor ist;
(4) eine Anzahl N an Schwellenwertvorrichtungen, von denen je eine mit einem der Skalarmultiplizierer verbunden ist, um eine skalare Ausgangsreaktion pi (p&sub1;, p . . . pi . . . pN) zu erzeugen, wenn das zweite Skalarkomponentensignal einen vorgegebenen Schwellenwert θi überschreitet; und
(5) eine Vielzahl M·N an Verbindungselementen, wobei jedes Verbindungselement einen der Eingangsanschlüsse mit einem Summierer verbindet und für die Übertragung von Informationen vom betreffenden Eingangsanschluß zum betreffenden Summierer in Abhängigkeit von dem am betreffenden Eingangsanschluß erscheinenden Signal und von der "Übertragungsfunktion" des Verbindungselements sorgt.
Zwar wird das adaptive Nestor-Modul geschult, aber es enthält außerdem einen geeigneten Controller, um folgendes zu verändern:
(1) die Übertragungsfunktionen von einigen der Verbindungselemente in Abhängigkeit von dem ihm zugeführten Eingangssignal und dem Ausgangssignal des Summierers, dem das betreffende Verbindungselement zugeordnet ist, (2) die Skalarmultiplizierer λ und (3) die Schwellenwerte θ.
Die Ausgangssignale R&sub1;, R . . . Ri . . . Rk aller Klassifizierungseinheiten 12 werden einer gemeinsamen Vorrichtung zur Musterklassenidentifizierung 22 zugeführt, die die endgültige Erkennungsfunktion ausführt und eine gemeinsame Ausgangsreaktion R (bestehend aus den Skalarsignalen r&sub1;, r . . . rN) erzeugt. Diese Vorrichtung zur Musterklassenidentifizierung kann jede beliebige Anzahl von Formen annehmen, z. B. die in Fig. 3, 4 und 8 des bereits erwähnten US-Patents Nr. 4.326.259 abgebildeten Formen. Die Identifizierungsvorrichtung 22 kann auch durch ein adaptives Nestor-Modul des Typs implementiert werden, der in den erwähnten US-Patenten Nr. 3.950.733, 4.044.243, 4.254.474 und 4.326.259 offengelegt und bereits in zusammengefaßter Form kurz beschrieben worden ist. Eine alternative Implementierung der Identifizierungsvorrichtung 22 wird im folgenden erörtert.
Fig. 4 zeigt die bevorzugte Realisierung nach Fig. 1 etwas ausführlicher. Wie in dem bereits erwähnten US-Patent Nr. 4.326.259 beschrieben, reagiert das System auf ein Eingangssignal 5, das aus einer großen Anzahl digitaler Signalkomponenten s&sub1;, s . . . sN besteht. Alternativ kann das Signal S aus einem oder mehreren analogen Signale bestehen. Dieser Signalvektor S wird durch einen Detektor 110 erzeugt, der auf "Muster" oder "Ereignisse" der realen Welt, die zu klassifizieren und zu identifizieren sind, reagiert. Zum Beispiel kann es sich bei dem Detektor 110 um einen Zeichenabtaster handeln, der die Form von handgeschriebenen Zeichen feststellt. Als weiteres Beispiel kann der Detektor 110 ein Mikrophon sein, das auf hörbare Geräusche reagiert und ein einzelnes Analogsignal S erzeugt.
Das Eingangssignal S wird parallel k "Klassifizierungseinheiten" 112 zugeführt, die mit Einheit 1, Einheit 2 . . . Einheit k bezeichnet werden. Jede dieser Einheiten umfaßt eine Vorrichtung zur Mustermerkmalcodierung 114, die das Eingangssignal S erhält und ein Zwischensignal Fi (d. h. eines von F&sub1;, F . . . Fk) erzeugt, das bestimmte Merkmale darstellt, die in dem durch das Signal S dargestellten Muster enthalten sind. Vorteilhafterweise reagiert jede der Codiervorrichtungen 114 auf und codiert einen anderen Satz Merkmale in dem Muster, so daß alle von den Codiervorrichtungen erzeugten Signale Fi Informationen tragen, die unverkennbar und voneinander verschieden sind.
Jede Klassifizierungseinheit 112 umfaßt außerdem eine Musterklassifizierungsvorrichtung 116, die auf das Zwischensignal Fi reagiert und ein Ausgangssignal Ri (d. h., eines von R&sub1;, R . . . Rk) erzeugt, das die Klasse oder mögliche Klassen des durch das Eingangssignal S dargestellten Musters darstellt, da dieses Muster durch die durch die Codiervorrichtung 114 codierten Merkmale identifiziert wird. Die Musterklassifizierungsvorrichtung 116 ist vorzugsweise eine Vorrichtung zum Trennen und Identifizieren der Musterklasse des Typs, der in dem zuvor erwähnten US-Patent Nr. 4.326.259 offengelegt wird. Wie in Fig. 4 gezeigt umfaßt diese Klassifizierungsvorrichtung eine Vielzahl an Baugruppen 118, die als "Prototypen" bezeichnet werden und die ähnlich der oder identisch mit der Baugruppe i sind, die in Fig. 7 des zuvor erwähnten US-Patents Nr. 4.326.259 abgebildet ist. Die Baugruppen 118 erzeugen Ausgangssignale p&sub1;, p . . . pM, die einer Vorrichtung 120 zugeführt werden, die die Reaktionen der Baugruppen 118 assembliert und, falls möglich, eine Ausgangsreaktion Ri erzeugt, die die Musterklasse oder den Satz möglicher Musterklassen identifiziert. Diese Vorrichtung zur Musterklassenidentifizierung kann zum Beispiel von dem Typ sein, der in Fig. 8 des zuvor erwähnten US-Patents Nr. 4.326.259 abgebildet ist.
In der bevorzugten Realisierung der nachfolgend zu beschreibenden Erfindung werden die Klassifizierungseinheiten 116 durch Systemsoftware in einem digitalen Allzweck-Computer implementiert und liefern Reaktionen R&sub1;, R . . . Rk, die jeweils aus den Variablen LEVRSP, NUMCAT und CATLEV bestehen. Die Bedeutung und die Definition dieser Variablen wird nachfolgend beschrieben. An dieser Stelle möge es ausreichen festzustellen, daß die von den k Klassifizierungseinheiten 112 erzeugten Reaktionen Ri parallel einer Vorrichtung zur Klassenauswahl 122 zugeführt werden, die eine einzige Ausgangsreaktion erzeugt, die die Klasse des durch das Eingangssignal S dargestellten Musters darstellt. In der nachfolgend zu beschreibenden bevorzugten Realisierung umfaßt die Reaktion R die Variablen CER- TAN, NLIM und CLASSL.
Wie in den zuvor erwähnten US-Patenten Nr. 3.950.733, 4.044.243 und 4.326.259 beschrieben kann das System in zwei verschieden Betriebsarten betrieben werden:
(1) ein Lern- oder Schulungsmodus, bei dem Bewertungsfaktoren, Multiplikatoren und Schwellenwerte innerhalb der Vorrichtungen zur Musterklassifizierung 116 so verändert werden, daß das System lernt, neue Muster zu erkennen, die es noch nie zuvor "gesehen" hat, und seine Erkennung früher gesehener Muster zu verbessern; und (2) ein normaler oder geschulter Modus, bei dem die Bewertungsfaktoren, Multiplikatoren und Schwellenwerte konstant gehalten werden. Nur beim Schulungsmodus benötigt das System einen Controller zur Speicherveränderung 124, der die Bewertungsfaktoren, Multiplikatoren und Schwellenwerte auf die in den zuvor erwähnten Patenten beschriebenen Weise verändert.
Die in Fig. 4 dargestellte Vorrichtung zur Musterklassentrennung und -identifizierung kann entweder als Hardware oder als Software implementiert werden. Wie zuvor erwähnt können die Vorrichtungen zum Codieren der Mustermerkmale auf die durch C. Y. Suen et al. in Automatic Recoonition of Handprinted Characters - the State of the Art beschriebenen Weise implementiert werden, auf die zuvor Bezug genommen wurde.
Es werden nun die Vorrichtung zur Musterklassifizierung 116 in jeder Klassifizierungseinheit 112 sowie die Vorrichtung zur Klassenauswahl 122 unter Bezugnahme auf die Zeichnungen Fig. 5-9 beschrieben, die entsprechend der bevorzugten Realisierung Algorithmen zum Implementieren dieser Vorrichtungen als Software zeigen. In dieser Beschreibung werden bestimmten Begriffen eindeutige und präzise Bedeutungen gegeben, die in dem beigefügten Anhang aufgeführt sind.

I. Speicher

A. Der "Prototyp"

Wie im US-Patent Nr. 4.326.259 beschrieben besteht in einem adaptiven Nestor-Modul der Speicher aus "Prototypen". Jeder Prototyp hat eine Anzahl an Eingangsleitungen und einen Ausgangssignalweg, über den er mit anderen Elementen in dem System kommuniziert. Jeder Prototyp hat einen zugehörigen Satz Bewertungsfaktoren (je einen pro Eingangsleitung), den Prototypvektor und einen Schwellenwert, der festlegt, ob er "ein-" oder "ausgeschaltet" ist. Der Schwellenwert, der einen "Einflußbereich" für den Prototyp festlegt, kann verändert werden, wenn sich das adaptive Modul im Schulungsmodus befindet. Jeder Prototyp ist mit einer bestimmten Klasse verbunden. Schließlich gehört jeder Prototyp zu einer bestimmten Einheit (Einheit 1, Einheit 2 . . . Einheit k) innerhalb des Systems.

B. Prototypen P1 und P2

Im Speicher des adaptiven Nestor-Moduls gibt es zwei Arten von Prototyp-Typen: Phase-1-Prototypen (P1) und Phase-2-Prototypen (P2). Unter den Marken, die einem Prototyp zugeordnet werden, gibt es eine, die seine "Phase" kennzeichnet. Die Unterscheidung zwischen den zwei Prototyp-Typen betrifft in erster Linie das Ausmaß, in dem sie die Klassifizierung des Musters innerhalb einer gegebenen Einheit des Systems beeinflussen können. P1-Prototypen können die Reaktion des Systems eindeutig bestimmen, während P2-Prototypen, wenn sie ausgelöst werden, nur anzeigen können, daß ein durch das Signal S dargestelltes eintreffendes Muster in eine designierte Klasse aus einer Anzahl von Klassen fallen kann.

C. Muster-Prototyp-Vergleich

Um die Klasse eines Musters zu identifizieren, wird das Muster mit einer Gruppe von Prototypen im Speicher verglichen. Das Muster erscheint einem Prototypen als ein Satz Signale, der an seinen N Eingangsleitungen anliegt. Die Operation des Vergleichens eines Musters und eines Prototypen kann in einer von mehreren Formen erfolgen. Bei einem Verfahren wird das Signal an jeder Prototyp-Leitung (fj) mit der dieser Leitung (Pj) zugeordneten Gewichtung multipliziert, und die resultierenden N Produkte werden summiert, um das integrierte Gesamtsignal zu erzeugen, das der Prototyp sieht.
Dieses Signal wird mit dem Prototyp-Schwellenwert e verglichen. Falls es den Schwellenwert übersteigt, dann spricht man davon, daß der Prototyp "ausgelöst" wird, falls es ihn nicht überschreitet, verhält sich der Prototyp ruhig.
d > θ (Prototyp wird ausgelöst)
Ein anderes Vergleichsverfahren ist nützlich, falls die an den Prototyp-Eingangsleitungen eintreffenden Signale binär sind und jede Leitung entweder eine positive oder eine negative Impulszacke führt. In diesem Fall ist der dieser Leitung zugeordnete Prototyp-Bewertungsfaktor selbst eine binäre Zahl. Bei diesem Verfahren besteht die Prototyp-Gesamtaktivität im Zählen der Anzahl der Eingangsleitungen, an denen das Vorzeichen des Mustersignals nicht zum Vorzeichen des Bewertungsfaktors paßt.
dabei ist
uj = 1 falls Vorzeichen (fj) ≠ Vorzeichen (Pj)
= 0 im anderen Fall.
Diese Gesamtzahl der nicht passenden Vorzeichen wird dann mit dem Prototyp-Schwellenwert verglichen. Liegt die Zahl der nicht passenden Vorzeichen unter dem Schwellenwert, so wird der Prototyp ausgelöst; liegt sie über dem oder ist sie gleich dem Schwellenwert, so verhält sich der Prototyp still. Somit ergibt sich bei diesem Verfahren folgender Zusammenhang:
d < θ (Prototyp wird ausgelöst)

D. Parallelität beim adaptiven Nestor-Modul

Ein wichtiges Kennzeichen des adaptiven Nestor-Moduls besteht darin, daß der Vergleich eines Musters mit jedem der relevanten Prototypen (entweder eine Untermenge oder der Gesamtspeicher) gleichzeitig stattfinden kann. Darüber hinaus kann beim Vergleichen eines Musters mit einem gegebenen Prototypen die auf einer gegebenen Leitung ausgeführte Operation (entweder Multiplikation oder Vorzeichenvergleich) gleichzeitig aufallen Eingangsleitungen ausgeführt werden. Dieses hohe Maß an Parallelität ist ein inhärentes Kennzeichen des adaptiven Nestor-Moduls.

II. Reaktionssynthese

Ergebnis des Vergleichs des Musters mit Prototypen in mehreren Einheiten des Systems ist ein Satz Prototypen, die - verteilt über die verschiedenen Einheiten - ausgelöst werden. Prototypen, die innerhalb einer Einheit ausgelöst werden, bewirken, daß die Einheit eine Reaktion abgibt, und die verschiedenen k Einheiten interagieren so, daß sie das endgültige Ausgangssignal des Systems erzeugen.

A. Reaktion einer Klassifizierungseinheit

Das Ausgangssignal der jten Klassifizierungseinheit 112 besteht aus einer Liste von Klassen (CATLEV), der Anzahl der Klassen in dieser Liste (NUMCAT) und einer Kennung LEVRSP, die die Art der Reaktion von der Einheit kennzeichnet. Falls die Einheit eindeutig eine Klassifizierung zu dem Muster zuordnen kann, dann ist die Art der Reaktion der Einheit LEVRSP = "IDENTIFIED" (identifiziert). Falls die Einheit nur eine mögliche Klassifizierung vorschlagen kann oder sich nicht zwischen mehreren als Anwärter in Frage kommenden Klassen entscheiden kann, dann ist die Art der Reaktion LEVRSP = "UNCERTAIN" (unsicher). Schließlich, falls das System nicht in der Lage ist, zu dem Muster irgendeine Klassifizierung vorzunehmen, dann ist die Art der Reaktion LEVRSP = "UNIDENTIFIED" (nicht identifiziert).
Um zu verstehen, wie das Auslösen von P1- und P2-Prototypen die Reaktion einer Einheit auf unterschiedliche Weise beeinflussen kann, betrachte man den Fall, bei dem eine Einheit nur einen auslösenden Prototypen hat. Ist der Prototyp P1, dann besteht die Reaktion der Einheit darin, dem Muster eindeutig die Klasse dieses Prototypen zuzuordnen (LEVRSP = "IDENTI- FIED). Ist der Prototyp P2, dann kann die Einheit diese Klasse nur als eine mögliche Identifizierung für das Muster vorschlagen. Die Reaktion der Einheit ist unsicher (LEVRSP = "UNCER- TAIN"). Unabhängig davon, wieviele Prototypen in der Einheit wegen dieser Klasse ausgelöst werden könnten, die Art der Reaktion der Einheit wäre immer "UNCERTAIN" (unsicher). Bei dem Vorgang, durch den die Reaktionen der Einheiten zusammengefaßt werden, um eine Systemklassifizierung zu liefern, dominieren Einheiten, die eindeutige Zuordnungen erzeugen, über solche, die unsichere Zuordnungen erzielen.
Im allgemeinen Fall bestimmen Prototypen, die in einer Einheit ausgelöst werden, deren Reaktion entsprechend den folgenden Regeln. Falls es in einer Einheit auslösende Prototypen gibt, dann werden die von ihnen dargestellten Klassen in CATLEV eingetragen, und NUMCAT > 0. Falls mindestens einige der ausgelösten Prototypen P1-Prototypen sind und falls der diesen P1-Prototypen zugehörige Satz Klassen nur aus einer Klasse besteht, dann wird diese Klasse als erste in die CATLEV positioniert und die Reaktionsart der Einheit ist LEVRSP = "IDENTI- FIED" (identifiziert). Unter allen anderen Umständen, bei denen ausgelöste Prototypen vorhanden sind, ist die Art der Reaktion der Einheit LEVRSP = "UNCERTAIN" (unsicher). Falls keine ausgelösten Prototypen vorhanden sind, dann ist NUMCAT = 0 und LEVRSP = "UNIDENTIFIED" (nicht identifiziert).

B. Reaktion des Systems

Die Reaktion der Vorrichtung zur Klassenauswahl 122 des Systems besteht aus einer Liste von Kategorien CLASSL, der Anzahl der Elemente in dieser Liste, NLIM, und einer logischen Kennung, CERTAN. Falls der Wert von CERTAN = TRUE ist, dann hat das System das Muster als zu der ersten in der CLASSL aufgelisteten Klasse zugehörig identifiziert. (Die Reaktion des System ist IDENTIFIED (identifiziert).) Falls CERTAN = FALSE und NLIM > 0 ist, dann ist das System unsicher (UNCER- TAIN) bezüglich der Identifizierung des Musters, hat aber den Bereich der Möglichkeiten auf eines der in der CLASSL aufgeführten NLIM-Elemente eingeengt. Sie sind von höchstwahrscheinlich bis hin zu am wenigsten wahrscheinlich geordnet. (Man beachte, daß das System trotz der Tatsache, daß es evtl. nur eine Klasse in der CLASSL gibt, unsicher sein kann. Das System bietet diese Klasse dann als eine wahrscheinliche, aber nicht als endgültige Klassifizierung an.) Falls NLIM = 0 ist, dann ist die Reaktion des Systems UNIDENTIFIED (nicht identifiziert).
Um die Systemreaktion anhand der der Ausgangssignale der einzelnen Klassifizierungseinheiten zu synthetisieren, kann den Einheiten eine Priorität zugeordnet werden, die die Rangordnung, nach der ihre Reaktionen bewertet werden, bestimmt. Diese Maßnahme errichtet eine Hierarchie für die Einheiten, und die Bezugnahme auf die Einheiten erfolgt anhand dieser Prioritätsnummer. So kann beispielsweise U&sub1; die höchste und Uk die niedrigste Priorität haben.
Um die Systemreaktion zusammenzusetzen, werden die einzelnen Einheiten in der Reihenfolge 1 bis k abgesucht, und die Suche wird bei der ersten Einheit gestoppt, deren LEVRSP = "IDENTI- FIED" (identifiziert) ist. Angenommen, der Prioritätsindex dieser Einheit sei IDNLEV (1≤IDNLEV≤k). Die erste in CATLEV für die IDNLEV-Einheit aufgelistete Klasse wird an die erste Stelle der CLASSL gestellt. Zusätzlich werden in den CATELEVs aufgelistete Klassen für die Einheiten 1 bis (IDNLEV-1) beginnend mit Position 2 in die CLASSL gestellt und möglicherweise auf irgendwelche Arten sortiert, z. B. Häufigkeit des Auftretens bei den Einheiten, durchschnittlicher Prioritätswert der auf die Klasse reagierenden Einheiten usw. CERTAIN wird auf TRUE (wahr) gesetzt, und die Reaktion des Systems ist IDENTI- FIED (identifiziert).
Falls das Absuchen der Einheiten keine Einheit erbringt, bei der LEVRSP="IDENTIFIED ist, dann haben entweder alle Einheiten LEVRSP="IDENTIFIED" oder mindestens eine Einheit hat LEVRSP="UNCERTAIN". Falls alle LEVRSP="IDENTIFIED" haben, dann ist NLIM=0 und die Reaktion des Systems ist UNIDENTIFIED (nicht identifiziert).
Es ist möglich, die Vorteile einer hierarchischen Anordnung von Einheiten zu nutzen, um die durchschnittliche Anzahl der "abgefragten" Einheiten (und somit die durchschnittliche Anzahl der auszuführenden Berechnungen) zu verringern, bevor eine Systemklassifizierung herauskommt. In diesem Sinne werden Berechnungen innerhalb jeder Einheit bis hinab zu der Einheitspriorität ausgeführt, bei der eine eindeutige Klassifizierung zustande kommt. Andererseits müssen die Einheitsprioritäten nicht einmalig sein. Dieselbe Priorität kann einer Gruppe von Einheiten zugeordnet werden. Alle Einheiten mit derselben Priorität funktionieren parallel. Ein Muster, das von einer Einheit mit gegebener Priorität verarbeitet wird, muß in jeder und allen Einheiten mit derselben Priorität verarbeitet werden. Damit erhält jede dieser Einheiten die gleiche Gelegenheit, ihren Beitrag zur Systemreaktion zu leisten.

C. Auszählung der Stimmen

Falls bei allen Einheiten LEVRSP="UNCERTAIN" ist, dann erfolgt die Auszählung der Stimmen der Einheiten, wobei versucht wird, die Klassenausgangssignale einer Einheit mit den Klassenausgangssignalen anderer Einheiten in Korrelation zu bringen. Als Beispiel für diese Korrelation sei angenommen, daß U&sub1; Klassenausgangssignale (a,b) und U Klassenausgangssignale (b,c) hat. Ein Stimmenzahlsystem, das die Einheiten zählt, die für die Klassen a,b,c stimmen, könnte ihnen jeweils die Stimmen 1,2,1 zuweisen. Das System würde dann b als die Kategorie des Musters wählen. Zur Durchführung der Stimmenzählung werden die Einheiten in der Reihenfolge ihrer Priorität abgesucht und nach jeder Einheit werden die Klassenstimmen aktualisiert. Bei der Priorität j wird die Stimmenzählung einer Klasse als eine Funktion der Anzahl der Einheiten mit Prioritätsnummern kleiner als oder gleich j, deren Klassenausgangssignale die gegebene Klasse enthalten, definiert. Falls unter all den Einheiten mit höchster Priorität eine Klasse mehr Stimmen als jede andere hat, dann wird diese Klasse zum Sieger erklärt und die Auszählung der Stimmen ist beendet. Falls kein Sieger gefunden wird, dann wird die Stimmenzählung durch Abfrage aller Einheiten mit der nächsten höchsten Priorität und Suche nach einer siegenden Klasse aktualisiert. Angenommen, es ist nach Zählung der Stimmen bis hinab zu einer bestimmten Priorität ein Sieger gefunden worden, dann gehen die Klassenausgangssignale der abgefragten Einheiten in die CLASSL ein, und zwar geordnet von der höchsten zur niedrigsten Stimme. Falls es eine einzelne Klasse gab, die mehr Stimmen als eine andere Klasse hatte, dann wird CERTAN=TRUE gesetzt, und die Reaktion des Systems ist IDENTIFIED (identifiziert). Falls nach Auszählung der Stimmen keine einzelne Klasse mit mehr Stimmen als eine andere herauskommt, dann wird CERTAN=FALSE gesetzt und die Reaktion des Systems lautet UNCERTAIN (ungewiß).

III. Verändern des Speichers

Veränderungen am Speicher eines adaptiven Nestor-Moduls erfolgen während der Schulung als Reaktion auf die Vorlage eines Musters und seiner Klasse, wobei letztere typischerweise durch den Benutzer geliefert wird. Bei den Grundoperationen, die an der Veränderung des Modulspeichers beteiligt sind, handelt es sich um (1) die Festlegung eines P1-Prototypen, (2) die Herabsetzung des Schwellenwertes eines P1-Prototypen, (3) die Umwandlung eines P1-Prototypen in einen P2-Prototypen und (4) die Zuweisung eines P2-Prototypen.

A. Festlegung eines P1-Prototypen

Der Vorgang zur Festlegung eines P1-Prototypen innerhalb einer Klassifizierungseinheit beruht auf den Verfahren zur Prototypfestlegung, die in dem US-Patent Nr. 4.326.259 erörtert werden. Falls ein P1-Prototyp in Uj, festgelegt werden soll, dann wird der Mustercodevektor in dieser Einheit Fj, ein neuer Prototypvektor P(m) in Uj", wobei die Klasse des Musters zur Klasse des neu geschaffenen Prototypen wird. Wie schon an anderer Stelle erörtert legt der Schwellenwert eines Prototypen einen "Einflußbereich" in dem mehrdimensionalen Musterraum fest, in dem sich der Prototypvektor befindet. (Dies ist unabhängig von den besonderen Einzelheiten eines Musterprototypvergleichs wahr.) Der Einflußbereich ist auf den Prototyp zentriert und erstreckt sich über einige Entfernung in seiner Umgebung. Diese Entfernung wird durch den Schwellenwert bestimmt. Der Schwellenwert eines neu festgelegten Prototypen wird auf einen Wert initialisiert, der kleiner als die oder gleich der Entfernung zu dem nächstgelegenen Prototypen (des Typs P1 oder P2) einer abweichenden Klasse oder eines Vorgabewertes ist.
Prototypen müssen einen bestimmten minimalen Schwellenwert haben. Ist der Schwellenwert, der einem neu festgelegten P1-Prototyp zugeordnet werden soll, niedriger als dieser Grenzwert, dann mißlingt der Versuch der P1-Zuweisung, und der P1-Prototyp kann nicht mit seinem Vektor und seiner Klasse in den Speicher dieser Einheit aufgenommen werden.

B. Herabsetzung des Schwellenwertes eines Prototypen

Die Herabsetzung des Schwellenwertes eines Prototypen ist so ausgelegt, daß sie den Schwellenwert des Prototypen so ändert, daß der Prototyp bei einem anschließenden Vergleich dieses Musters mit dem Prototyp nicht ausgelöst wird. Generell gehört dazu, daß der Schwellenwert des Prototypen auf eine Zahl kleiner als die oder gleich der Entfernung zwischen dem Muster und dem Prototypen gesetzt wird.

C. Umwandlung eines P1- in einen P2-Prototypen

Ein P1-Prototyp kann in einen P2-Prototyp umgewandelt werden, falls es während des Verringerns der Größe seines Schwellenwertes notwendig wird, ihn unter den Grenzwert für P1-Schwellenwerte zu verkleinern. Wenn dies geschieht, wird der Prototyp mit einer Kennung als P2-Prototyp versehen, und sein Schwellenwert wird auf eine Zahl zwischen dem P1-Grenzwert und der Entfernung zum nächstgelegenen P1 gesetzt.

D. Festlegung eines P2-Prototypen

Falls gewünscht wird, bei einer Einheit einen P2-Prototypen festzulegen, wird bei der gegebenen Einheit der Codevektor und die Klasse des Eingangsmusters zum Prototypvektor und zur Klasse. Der Prototyp erhält eine Kennung als P2-Prototyp. Sein Schwellenwert wird, je nach dem welcher Wert kleiner ist, entweder auf die Entfernung zum nächstgelegenen P1-Prototypen oder auf einen Prozentsatz der Dimensionalität des Raumes gesetzt.

E. Algorithmus zum Lernen

Der Algorithmus, der beschreibt, wie diese verschiedenen Mechanismen in Laufe des Lernens instrumentiert werden, weist eine Anzahl an Variationen auf. Allgemein kann er wie folgt umrissen werden. Nehmen wir an, ein Prototyp, dessen Klasse von der des Eingangsmusters abweicht, ist als ein inkorrekter Prototyp bekannt. Ein Prototyp, dessen Klasse zu der Klasse des eintreffenden Musters paßt, wird als korrekter Prototyp eingeordnet.
Der erste Schritt bei der Veränderung des Speichers besteht darin, die Schwellenwerte aller ausgelösten inkorrekten P1-Prototypen so zu verringern, daß sie nicht mehr in Reaktion auf das zur Zeit auftretende Muster ausgelöst werden. (Bei anderen Versionen des Algorithmus erfolgt diese Schwellenwertänderung des ausgelösten P1-Prototypen nur bei Einheiten, deren Priorität niedriger ist als die derjenigen Einheit, die das Muster identifiziert hat.) Falls, nachdem dies erfolgt ist, das Muster nicht korrekt identifiziert wird, versucht das System, dieses Muster als einen P1-Prototypen in einer Einheit mit der höchstmöglichen Priorität, die einen neuen P1-Prototypen aufnehmen kann, festzulegen.
Falls das Muster bei keiner Einheit als P1-Prototyp festgelegt werden kann, dann legt das System - beginnend bei der Einheit mit der höchsten Priorität, U1, - das Muster als einen P2-Prototypen fest, sofern nicht schon ein korrekter P2-Prototyp ausgelöst worden ist. Die Auszählung der Stimmen wird wiederholt. Falls jetzt die Reaktion des Systems so ist, daß CER- TAN=TRUE ist und das erste Element von CLASSL die korrekte Klassifizierung ist, dann bewirkt dieses Muster keine weiteren Änderungen im Speicher. Falls im anderen Falle die Reaktion des Systems nicht eine korrekte Klassifizierung des Musters ist, dann wird eine P2-Festlegung für die nächstniedrigste Prioritätseinheit U, versucht, und die Stimmenzählung wird erneut wiederholt. Der Vorgang wird beendet, wenn die richtige Klasse zur eindeutigen Systemreaktion geworden ist oder nachdem alle Einheiten mit der niedrigsten Priorität abgearbeitet worden sind. Im letzteren Falle wird das System trotz Unsicherheit einen Satz Klassen als die wahrscheinlichsten Kandidaten für die Identität des Musters anbieten, und dieser Satz wird notwendigerweise die korrekte Musterklasse enthalten.

IV. Beispiele für die Funktion des Systems

A. Fall I - Auswahl für den Trennungscode

Zur Veranschaulichung der Funktionsweise des Systems sei der Fall betrachtet, bei dem es zwei Codes c&sub1; und c gibt, dargestellt daß die verschiedenen Darstellungen der Musterklasse "a" durch c&sub1; gut getrennt, aber durch c bei einer anderen Musterklasse "b" verwechselt werden. In den Räumen von c&sub1; und c können wir deshalb die in Fig. 10A dargestellten Verhältnisse antreffen.
Offensichtlich ist es für c&sub1; leicht, a und b zu trennen und zu klassifizieren, wohingegen c große Schwierigkeiten hat, diese zu trennen. (In der Praxis wird eine auf c basierende Vorrichtung nicht in der Lage sein, Beispiele von a und b zuverlässig zu klassifizieren.) Wir werden sehen, daß das System - unabhängig davon, wie die Priorität den beiden diese zwei Codes implementierenden Einheiten zugewiesen wird - in der Lage ist, c&sub1; als den Code auszuwählen, in dem Prototypen entwickelt werden sollen, die diese zwei Musterklassen trennen.
Nehmen wir an, daß c&sub1; durch U&sub1; und c durch U implementiert wird.
c&sub1; → U&sub1;
c → U
(U1 hat die höhere Priorität.) In diesem Fall erwirbt U&sub1; P1-Prototypen, die Einflußbereiche der Prototypen werden standardmäßig angepaßt, und der Speicher des Systems konvergiert zu klaren Einbeziehungen der Territorien a und b in U&sub1;.
Betrachten wir nun den Fall, daß c durch U&sub1; und c&sub1; durch U implementiert wird.
c → U&sub1;
c&sub1; → U
Auch hier beginnt U&sub1; wieder damit, P1-Prototypen hinzuzuerwerben. Im Laufe der Schulung werden sie jedoch auf P2-Prototypen reduziert, weil ein P1-Einflußbereich mit signifikanter Ausdehnung zu Klassifizierungsfehlern führt. Wenn das geschieht, beginnt U damit, P1-Prototypen hinzuzuerwerben. Die Größen ihrer Einflußbereiche werden so modifiziert, daß sie die zwei Klassenbereiche abdecken und trennen. Während U damit beginnt, die eintreffenden Ereignisse korrekt zu klassifizieren, wird die Prototyp-Festlegung in U&sub1; eingestellt. Bei der Beseitigung der inkorrekten Reaktionen von U&sub1; im Laufe der Schulung werden alle verbleibenden Prototypen dieser Einheit in P2-Prototypen umgewandelt. Somit ist die Art der Reaktion von U1 entweder "UNIDENTIFIED" (nicht identifiziert) oder "UNCERTAIN" (ungewiß). Folglich wird die Reaktion des Systems ausschließlich durch U bestimmt (Code c&sub1;, wobei die Klassenbereiche korrekt getrennt werden).
Schließlich wollen wir noch den Fall betrachten, bei dem den Einheiten U&sub1; und U die gleiche Priorität zugeordnet wird.
c&sub1; → U&sub1;
c → U
Priorität (U&sub1;) = Priorität (U).
In diesem Fall beginnen beide Einheiten damit, gleichzeitig P1-Prototypen zu erwerben. Aber auch hier werden - da die inkorrekten Prototypen ihre Einflußbereiche reduziert haben - die Prototypen in U in P2-Prototypen gewandelt, während sich in U&sub1; getrennte Abdeckungen der Gebiete der Klassen a und b entwickeln. Die Reaktionen von U&sub1; werden öfter eindeutig und korrekt; die Festlegung von P1-Prototypen in beiden Einheiten wird gestoppt. Schließlich beruht die Reaktion des Systems allein auf dem Ausgangssignal von U&sub1;.

B. Fall II - Korrelationen zwischen den Codes

Bei einem weiteren, in Fig. 10B dargestellten Beispiel wollen wir eine Situation betrachten, in der es zwei Codes und drei Klassen gibt, a, b und e. Bei Code c&sub1; wird die Klasse a gut getrennt, aber die Klassen b und e belegen denselben Bereich. Bei Code c wird jedoch b gut von benachbarten Klassen getrennt, aber a und e überlappen sich. Anhand der zuvor erfolgten Erörterung des Falles 1 ist klar, daß das System unabhängig davon, wie die Prioritäten den diese Codes implementierenden Einheiten zugeordnet werden, in der Lage ist, P1-Prototypen in c&sub1; festzulegen, um Klasse a zu trennen und zu identifizieren, und gleichermaßen P1-Prototypen in c festzulegen, um Klasse b zu definieren. Ferner beherrscht die Einheit, die c&sub1; implementiert, die Reaktion des Systems bei Mustern des Typs a, während die Einheit für c die Systemreaktion für b-Muster steuert. Aber wie lernt das System, bei seinen Eingangssignalen zwischen Beispielen der Klasse e zu unterscheiden?
Die Antwort liegt in dem Beitrag, den die P2-Prototypen leisten. Die Einheit für c&sub1; ist nicht in der Lage, P1-Prototypen für entweder b oder e im Bereich (b,e) aufrechtzuerhalten. Gleichermaßen ist die Einheit für c nicht in der Lage, P1-Prototypen für a oder e im Bereich (a,e) beizubehalten. Unabhängig davon, wie die Prioritäten den Einheiten, die die Codes c&sub1; und c implementieren, zugeordnet werden, werden beide Bereiche (b,e) in c&sub1; und (a,e) in c durch P2-Prototypen für e abgedeckt. Diese Abdeckungen sind zumindest komplementär im folgenden Sinne. Nehmen wir zum Zwecke der Beweisführung an, daß die Einheit für c&sub1; die höhere Priorität hat. Die Schulung des Systems hat eine Abdeckung des Bereichs (b,e) erbracht, so daß bei Vorlage eines Beispiels von e die Reaktion von U1 entweder UNCERTAIN (ungewiß) bei e oder UNCERTAIN bei b oder e ist. Da wir ja schon darauf hingewiesen haben, daß kein P1-Prototyp im Bereich (a,e) von c überlebt hat, ist es für U unmöglich, das Ausgangssignal des Systems zu beherrschen. Die Zählung der Stimmen verwandelt eine UNCERTAIN-Reaktion von U&sub1; bei e in eine Systemklassifikation von e. Falls andererseits die Reaktion von U&sub1; bei b oder e UNCERTAIN ist, dann sorgt die Komplementarität der in c entwickelten Kartierung dafür, daß ihre Reaktion entweder UNCERTAIN bei e oder UNCERTAIN bei a oder e ist. In jedem der beiden Fälle kombiniert die Stimmenzählung die Reaktionen von beiden Einheiten zu der Klassifizierungsreaktion e. In diesem Beispiel hat das System gelernt, wie es die Reaktionen mehrerer Einheiten zu korrelieren hat, um eine Musterkategorie, die in keinem Code getrennt ist, zu trennen und zu klassifizieren.

C. Ein Beispielproblem aus der Zeichenerkennung

Betrachten wir zum Schluß eine einfache Darstellung dieses Systems, das bei einem Problem bei der Zeichenerkennung eingesetzt wird. Nehmen wir an, wir möchten das System schulen, die drei Blockschriftbuchstaben H. I und zu erkennen. Wir wählen einen sehr einfachen Satz Codes für die Codierungseinheiten. Wir definieren c&sub1; als einen Code, der in einer Dimension die Anzahl der horizontalen Liniensegmente in einem Muster zählt und in einer weiteren Dimension das Verhältnis der durchschnittlichen Länge der horizontalen Segmente zu dem längsten dieser Segmente aufzeichnet. Nehmen wir an, daß c ein Code ist, der dieselben Informationen, aber für die vertikalen Segmente in dem Muster, aufzeichnet.
Zweifellos sehen in dem Fall der drei von uns gewählten Buchstaben, wenn diese in Blockschrift geschrieben werden, die Musterklassengebiete in c&sub1; und c wie die Diagramme in Fig. 10C aus.
Hier handelt es sich um ein Beispiel für den zuvor erläuterten Fall II, wobei H Klasse a, I Klasse b und Klasse e ist. Hier ist der Bereich a bei c&sub1; ein Punkt und der Bereich (b,e) ein Satz Punkte in einer Linie. Beim Code c ist der Bereich b ein Punkt und der Bereich (a,e) eine Linie. Zu beachten ist, daß bei der Erörterung des Falles II keine Einschränkungen bezüglich der Geometrien der Klassengebiete gemacht wurden.
Unabhängig davon, welche Einheiten welche Codes implementieren, entwickelt sich das Systemgedächtnis (Speicher) so, daß es den Punkt für H in c&sub1; mit einem P1-Prototypen abdeckt. Gleichermaßen führt die Schulung zu einem P1-Prototypen, der den Punkt abdeckt, der I in c darstellt. Die beiden Linienbereiche in c&sub1; und c werden durch eine komplementäre P2-Kartierung für abgedeckt. Folglich - und ohne jede Zuhilfenahme einer speziellen Anweisung hierzu - hat das System gelernt, individuelle Trenncodes für H und I zu auszuwählen und die Informationen aus den beiden Codes in einen Zusammenhang zu bringen, um die Zeichenklasse zu erlernen.
Es wurde somit eine neuartige, parallele, aus mehreren Einheiten bestehende, adaptive, nichtlineare Vorrichtung zur Trennung und Identifizierung von Musterklassen gezeigt und beschrieben, die alle dazu gesuchten Ziele und Vorteile erfüllt. Nach Inbetrachtziehen dieser Spezifikation und der beigefügten Zeichnungen, in denen bevorzugte Realisierungen dieser Vorrichtung offengelegt werden, werden jedoch für Personen mit entsprechenden fachlichen Kenntnissen viele Änderungen, Modifizierungen, Varianten und sonstige Verwendungen und Anwendungsmöglichkeiten der vorliegenden Erfindung im Rahmen der beigefügten Ansprüche offensichtlich sein.

Anhang

Glossar der Fachbegriffe

Klasse: Eine konzeptionelle Definition einer Gruppe von Mustern, die eine Vorrichtung zur Trennung und Identifizierung von Musterklassen zur Abgabe derselben Reaktion veranlaßt. Alle Vektorsignale S, die Muster in dieser Gruppe darstellen, erzeugen die identische Ausgangsreaktion R. Bevor es geschult wird, besitzt ein adaptives Nestor-Modul keine voreingestellten oder vorab konzipierten Klassen.
Klassifizierungseinheit: Eine aus einer Anzahl konzeptionell (oder physisch) getrennter Einheiten des Systems. Diese Einheiten arbeiten parallel oder in Folgeschaltung und umfassen jeweils sowohl einen Codierteil als auch einen Klassifizierungsteil. Der Codierteil wandelt das Vektorsignal S in ein codiertes Vektorsignal F; der Klassifizierungsteil versucht, das Vektorsignal F in eine einzigartige Ausgangsreaktion R zu übersetzen, die die Klasse des durch das Vektorsignal S dargestellten Eingangsmusters identifiziert. Jede Klassifizierungseinheit wird durch ihre eigene hierarchische Ebene oder "Priorität" innerhalb des Systems bezeichnet.
Verwechselungszone: Ein Bereich in einem mehrdimensionalen Musterraum, der mit mehr als einer Musterklasse im Zusammenhang steht. Typischerweise werden derartige Bereiche mit mindestens zwei sich überlagernden Schichten von Prototypen der Phase P2 abgedeckt, wobei jede Schicht mit einer anderen Klasse verknüpft ist. In einigen Fällen können diese Zonen auch durch sich überlappende Einflußbereiche von Prototypen der Phase P1 für unterschiedliche Klassen abgedeckt werden.
Korrelation: Die Auswahl der korrekten Klasse aus mehreren Ausgangsreaktionen einer Anzahl adaptiver Nestor-Module, von denen einem jedem ein codiertes Vektorsignal F zugeführt worden ist, das dasselbe Eingangsmuster darstellt.
Codieren: Die Umwandlung eines eintreffenden Vektorsignals S, das ein Eingangsmuster darstellt, in ein codiertes Vektorsignal F, unter Verwendung eines Codes "c". Die Umwandlung ist abhängig vom Vorhandensein oder Nichtvorhandensein besonderer Merkmale in dem Muster. Zweck der Umwandlung ist es, im Signal S enthaltene nicht relevante Informationen zu beseitigen.
Ereignis: Ein Vorkommnis in der realen Welt, das wahrgenommen und durch ein Vektorsignal S dargestellt werden kann. So kann es sich bei dem Ereignis beispielsweise um ein sichtbares Muster handeln, das durch eine Kamera aufgenommen werden kann, oder um ein Geräuschmuster, das von einem Mikrophon aufgenommen werden kann. Der Begriff "Ereignis" kann gleichbedeutend mit "Muster" verwendet werden.
Einflußbereich eines Prototypen: Ein Bereich oder Gebiet mit variablen Abmessungen in dem mehrdimensionalen, auf einen Prototypen zentrierten Musterraum. Ein in dieses Gebiet fallendes Eingangsmuster bewirkt, daß der Prototyp bei seinem Eintreffen ausgelöst wird.
Nachbarsuche: In einem adaptiven Nestor-Modul ist dies die Suche nach benachbarten Prototypen in einem bestimmten Abstand im mehrdimensionalen Musterraum, ausgehend von dem Punkt, der ein Eingangsmuster darstellt.
Adaptives Nestor ModulTM: Eine Vorrichtung oder ein Verfahren, die in einem oder mehreren der folgenden US-Patente offengelegt und beansprucht werden: 3.950.733, 4.044.243, 4.254.474 und 4.326.259.
Muster: Ein bestimmter Satz Daten, der das Ergebnis eines "Ereignisses" in der realen Welt ist und der durch ein Vektorsignal S dargestellt wird, das durch eine Vorrichtung zur Trennung und Identifizierung von Musterklassen klassifiziert werden soll. Obwohl jedes der Vorrichtung zur Trennung und Identifizierung von Musterklassen angebotene Muster sich zumindest geringfügig von jedem anderen zuvor angebotenen Muster unterscheiden kann, läßt es sich in eine Klasse einer willkürlichen Anzahl von Klassen eingruppieren.
Mustersignal: Ein aus einzelnen Skalarsignalen s&sub1;, s . . . sk bestehendes Vektorsignal S, das für eine Vorrichtung zur Trennung und Identifizierung von Musterklassen ein Eingangsmuster darstellt.
Phase-1-Prototyp: Ein Prototyp-Typ, der, wenn er ausgelöst wird, die Reaktion eines adaptiven Nestor-Moduls bestimmt und dafür sorgt, daß eine spezielle Ausgangsreaktion eintritt.
Phase-2-Prototyp: Ein Prototyp-Typ, der, wenn er ausgelöst wird, lediglich angeben kann, daß ein eintreffendes Muster in eine dafür bestimmte Klasse aus einer Anzahl von Klassen fallen kann.
Prototyp: Eine Darstellung eines Muster in Form eines Prototypen der Art, wie sie im Speicher des adaptiven Nestor-Moduls gespeichert sind. Jeder Prototyp im Speicher wird durch folgendes definiert: (1) einen Vektor im mehrdimensionalen Musterraum, (2) einen "Einflußbereich" innerhalb des Musterraums, (3) eine besondere Musterklasse, mit der der Prototyp verknüpft ist, und (4) einer Kennung, die die Phase des Prototypen angibt.
Prototyp-"Festlegung": Das Erstellen eines neuen Prototypen (entweder ein Phase-1- oder ein Phase-2-Prototyp) in einem adaptiven Nestor-Modul im Zusammenhang mit und als Ergebnis der Darbietung eines Eingangsmusters. Bei der Darbietung während der Schulung fällt jedes Eingangsmuster entweder in den Einflußbereich eines bereits vorhandenen Prototypen oder es verursacht die Bildung eines neuen Prototypen.
Einen Prototypen "auslösen": Man spricht davon, daß ein Prototyp "ausgelöst" wird, wenn ein durch ein Vektorsignal S dargestelltes Eingangsmuster in den Einflußbereich dieses Prototypen fällt. Dadurch wird das adaptive Nestor-Modul, in dem der Prototyp liegt, veranlaßt, eine Ausgangsreaktion abzugeben.
Systemebene: Eine Ansammlung von Klassifizierungseinheiten mit derselben Priorität.
Stimmenzählung: Eine Korrelationstechnik, die benutzt wird, wenn ein Eingangsmuster in dem mehrdimensionalen Musterraum in eine "Verwechslungszone" fällt.

Übersetzung zu den Texten in den Figuren

Fig. 1

(1) Einheit.

Fig. 4

(1) Außenwelt
(2) Einheit
(3) Codierung
(4) Zusammenfassungseinheit, Reaktion
(5) Speicheränderungscontroller
(6) Synthetisierung der Systemreaktion
(7) Benutzer
(8) Schulungsperson.

Fig. 5

(1) Start
(2) Übernehme Muster von der Eingabevorrichtung
(3) Codiere und bearbeite Muster auf verschiedenen Ebenen im System vor
(4) Vergleiche Muster mit Prototypen im Speicher über alle Ebenen im System
(5) Fasse Reaktionen der Ebenen zusammen
(6) Fasse Reaktionen des Systems zusammen
(7) Möchten Sie das System schulen?
(8) JA Übernehme tatsächliche Musterkategorie vom Benutzer
(9) Verändere den Speicher
(10) NEIN Weitermachen
(11) Stopp.

Fig. 6

(1) Start
(2) Setze LEV = 1
(3) Setze PROTINDEX = 1, um ersten Prototypen auf Ebene = LEV zu referenzieren
(4) Ist der Satz Prototypen auf Ebene = LEV bereits voll ausgeschöpft?
(5) JA Ist Ebene = LEV die letzte Ebene?
(6) JA Stopp
(7) NEIN Setze LEV = LEV+1
(8) NEIN Setze SIGNAL = 0, Setze CANNEL = 1
(9) Stimmt das Vorzeichen von PROTO (Ebene, PROTINDEX, CHANNEL) mit dem Vorzeichen des CODEVEKTOR (LEV, CHANNEL) überein?
(10) NEIN Setze SIGNAL = SIGNAL + 1
(11) JA Ist CHANNEL = Anzahl der Eingangskanäle für diesen Prototypen?
(12) NEIN Setze CHANNEL = CHANNEL + 1
(13) JA Ist SIGNAL größer als der Schwellenwert für diesen Prototypen PROTO?
(14) JA Ist dies ein P1-Prototyp?
(15) JA Übernehme diesen Prototypen in die Liste FIRP1 der ausgelösten P1-Prototypen
(16) NEIN Übernehme diesen Prototypen in die Liste FIRP2 der ausgelösten P2-Prototypen
(17) Erhöhe PROTINDEX, um den nächsten Prototypen auf dieser Ebene zu referenzieren.

Fig. 7

(1) Start
(2) Setze LEV = 1
(3) Stelle alle unter den Prototypen FIRP1 und FIRP2 dargestellten Klassen in die der LEV-Nummer entsprechende Zeile der CATLEV-Tabelle; NUMACAT (LEV) ist die Anzahl dieser Klassen
(4) Gibt es unter den ausgelösten Prototypen FIRP 1 nur eine Klasse?
(5) JA Verschiebe diese Klasse auf Position CATLEV (LEV,1); setze LEVRSP (LEV) = "I"
(6) NEIN => Ist NUMCAT (LEV) > 0?
(7) JA => Setze LEVRSP (LEV) = "C"
(8) NEIN => Setze LEVRSP (LEV) = "U"
(9) Ist dies die letzte Ebene?
(10) NEIN => Setze LEV = LEV + 1
(11) Stopp.

Fig. 8

(1) Start
(2) LEV = 1
(3) Ist LEVRSP (LEV) = "I"?
(4) NEIN Trage die Elemente CATLEV (LEV,j), j=1 . . . NUMAC (LEV) in die CLASSL ein; aktualisiere NLIM, die Anzahl der Elemente in CLASSL
(5) Ist dies die letzte Ebene?
(6) JA Initialisiere Abstimmanordnung VOTE für alle Klassen in der CATLEV-Tabelle auf 0
(7) Setze LEV = 1
(8) NEIN Setze LEV = LEV + 1
(9) Aktualisiere Abstimmanordnung VOTE durch Addieren von 1 zum Votum jeder Klasse CATLEV (LEV,j), j=1 . . . NUMCAT (LEV)
(10) Stelle alle Klassen aus der CATLEV-Tabelle mit Ungleich-Null-Stimmen in die Abstimmliste VOTELIST, sortiert in absteigender Reihenfolge
(11) Hat eine Klasse mehr Stimmen als irgendeine andere?
(12) JA Setze CERTAN = TRUE (wahr)
(13) NEIN Ist dies die letzte Ebene?
(14) JA Setze CERTAN = FALSE (nicht wahr)
(15) Stelle die Elemente in der VOTELIST in die CLASSL; aktualisiere NLIM, die Anzahl der Elemente in der CLASSL
(16) NEIN Setze LEVL = LEV + 1
(17) Stelle CATLEV (LEV,1) an Stelle 1 der CLASSL; füge übrige Elemente CATLEV (LEV,j), j=2 . . . NUMCAT (LEV) am Ende der CLASSL hinzu; aktualisiere NLIM, die Anzahl der Elemente in der CLASSL
(18) Setze CERTAN = TRUE (wahr)
(19) Stopp.

Fig. 9

(1) Start
(2) Setze LEV = 1
(3) Verringere für jeden ausgelösten P1-Prototypen, der inkorrekt ist, den Schwellenwert so, daß er nicht mehr ausgelöst wird
(4) Ist dies die letzte Ebene?
(5) NEIN Setze LEV = LEV + 1
(6) Gibt es ausgelöste P1-Prototypen, die korrekt sind?
(7) NEIN Setze LEV = 1
(8) Kann ein P1-Prototyp festgelegt werden?
(9) Lege einen P1-Prototypen auf Ebene = LEV an
(10) NEIN Ist dies die letzte Ebene?
(11) JA Initialisiere Abstimmanordnung VOTE für alle Klassen in der CATLEV-Tabelle auf 0
(13) Setze LEV = 1
(14) Wird ein korrekter P2-Prototyp ausgelöst?
(15) NEIN Lege einen P2-Prototypen für diese Klasse, RELCLS fest
(16) Aktualisiere Abstimmanordnung VOTE durch Addieren von 1 zum Votum für RELCLS
(17) JA Aktualisiere Abstimmanordnung VOTE durch Addieren von 1 zum Votum jeder Klasse CATLEV (LEV,j),j=1 . . . NUMCAT (LEV)
(18) Stelle alle Klassen aus der CATLEV-Tabelle mit Ungleich-Null-Stimmen in die Abstimmliste VOTELIST, sortiert in absteigender Reihenfolge
(19) Hat RELCLS mehr Stimmen als irgendeine andere Klasse?
(20) NEIN Ist dies die letzte Ebene?
(21) NEIN Setze LEV = LEV + 1
(22) JA Stopp.

Fig. 10

(1) Längenverhältnis
(2) Horizontale Segmente
(3) Vertikale Segmente

Claims

1. System zur Klassifizierung und Identifizierung von Mustern, wobei jedes Muster durch ein Eingangssignal S dargestellt wird und das System folgendes umfaßt:

(a) Eine Vielzahl an Klassifizierungseinheiten U&sub1;, U . . . Ui . . . Uk, wobei jede Einheit folgendes enthält:

(1) auf das Signal S ansprechende Mittel zum Kodieren der Merkmale des Musters zwecks Erzeugung eines Zwischensignals Fi (F&sub1;, F . . . Fi . . . Fk), das repräsentativ ist für eine ausgewählte Untermenge an Merkmalen, die in dem vom Signal S dargestellten Muster enthalten sind, wobei jedes Zwischensignal Fi eine Vielzahl an Signalkomponenten (f1i, f2i, . . . fii . . . fMi) umfaßt; und

(2) auf das erwähnte Signal Fi ansprechende Mittel zum Klassifizieren von Mustern zwecks Erzeugung eines Ausgangssignals Ri (R&sub1;, R . . . Ri . . . Rk), das repräsentativ für eine vorgeschlagene jeweilige Klasse des durch das Signals S dargestellten Musters ist, so wie es durch die durch das Zwischensignal Fi dargestellten Merkmale identifiziert wird, wobei diese Musterklassifizierungsmittel Speicher zum Speichern einer Vielzahl an Prototypen in einem mehrdimensionalen Musterraum und Mittel zum Vergleichen eines durch das Zwischensignal F dargestellten Eingangsmusters enthalten, wobei jeder dieser Prototypen in dem Speicher gespeichert wird, um festzustellen, ob das Eingangsmuster in einen Einflußbereich von mindestens einem der Prototypen fällt; und

(b) Mittel zur Klassenauswahl, die auf alle durch die Klassifizierungseinheiten erzeugten Ausgangssignale Ri reagieren, um eine einzige Ausgangsreaktion R zu erzeugen, die die Klasse des Musters darstellt.

2. System nach Anspruch 1, bei dem jedes Mittel zum Kodieren der Mustermerkmale einen unterschiedlichen Satz an Merkmalen in diesem Muster kodiert, wobei alle von diesem Kodierungsmittel erzeugten Zwischensignale Fi einzigartig und voneinander verschieden sind.

3. System nach Anspruch 1, bei dem jedes Musterklassifizierungsmittel das Muster in Bezug auf einen unterschiedlichen Satz Klassen klassifiziert, wobei alle von diesem Klassifizierungsmittel erzeugten Ausgangssignale Ri einzigartig und voneinander verschieden sind.

4. System nach Anspruch 1, bei dem das Mittel zur Auswahl der Klasse Mittel zur Auswahl des Ausgangssignal Ri enthält, das am besten eine identifizierbare Musterklasse darstellt.

5. System nach Anspruch 1, bei dem das Musterklassifizierungsmittel folgendes umfaßt:

(1) Eine Vielzahl M an Eingangsanschlüssen, die jeweils so angeschlossen sind, daß sie eine Skalarkomponente fi (f&sub1;, f . . . fi . . . fM) eines Zwischensignals F erhalten;

(2) eine Vielzahl N an Summiermitteln, wobei jedes Summiermittel M Eingänge und einen Ausgang hat und so funktioniert, daß es ein Skalarkomponentensignal rj (r&sub1;, r . . . rj . . . rN) an seinem Ausgang erzeugt, das repräsentativ für die Summe der an seinen Eingängen zugeführten Signaldarstellungen ist;

(3) eine Vielzahl N an Schwellenwertmitteln, die jeweils an einem der Summiermittel angeschlossen sind, um eine Skalar- Ausgangsreaktion pi (p&sub1;, p . . . pi . . . pN) zu erzeugen, wenn das dort zugeführte Skalarkomponentensignal einen vorgegebenen Schwellenwert θi überschreitet; und

(4) eine Vielzahl M·N an Verbindungselementen, wobei jedes Verbindungselement einen der Eingangsanschlüsse mit einem der Summiermittel verbindet und für eine Informationsübertragung von dem jeweiligen Eingangsanschluß zu dem jeweiligen Summiermittel in Abhängigkeit von dem am jeweiligen Eingangsanschluß erscheinenden Signal und in Abhängigkeit von der Übertragungsfunktion des Verbindungselements sorgt,

wobei die jeweiligen skalaren Ausgangsreaktionen p&sub1;, p . . PN Komponenten der Ausgangsreaktion R des Modul s sind.

6. System nach Anspruch 5, bei dem das Musterklassifizierungssystem außerdem eine Vielzahl N an Skalarmultiplizierern umfaßt, die jeweils zwischen einem der Summierer und der zugehörigen Schwellenwertvorrichtung geschaltet sind, um ein skalares Komponentensignal λri zu erzeugen, wobei λ ein Multiplikationsfaktor ist.

7. System nach Anspruch 5, das außerdem Mittel umfaßt, um in einem Lern-Modus die Übertragungsfunktion von mindestens einem der Verbindungselemente in Abhängigkeit von dem dort zugeführten Eingangssignal sowie dem Ausgangssignal des Summierers zu ändern, dem das jeweilige Verbindungselement zugeordnet ist.

8. System nach Anspruch 6, das außerdem Mittel umfaßt, um in einem Lern-Modus den Multiplikationsfaktor von mindestens einem der Skalarmultiplizierer zu ändern, um so eine nicht eindeutige Klassentrennung und -identifizierung zu vermeiden.

9. System nach Anspruch 5, das außerdem Mittel umfaßt, um in einem Lern-Modus den Schwellenwert θ zu ändern, um so eine nicht eindeutige Klassentrennung und -identifizierung zu vermeiden.

10. System nach Anspruch 1, bei dem das Klassenselektionsmittel folgendes umfaßt:

(1) eine Vielzahl M an Eingangsanschlüssen, die jeweils so angeschlossen sind, daß sie eine skalare Komponente fi, (f&sub1;, f . . . fi . . . fM) eines Zwischensignals Fi erhalten;

(2) eine Vielzahl N an Summiermitteln, wobei jedes Summiermittel M Eingänge und einen Ausgang hat, und so funktioniert, daß es ein Skalarkomponentensignal rj (r&sub1;, r . . . rj . . . rN) an seinem Ausgang erzeugt, das die Summe der an seinen Eingängen zugeführten Signaldarstellungen darstellt;

(3) eine Vielzahl N an Schwellenwertmitteln, die jeweils an einem der Summiermittel angeschlossen sind, um eine Skalar- Ausgangsreaktion pi (p&sub1;, . . . p . . . pi . . . pN) zu erzeugen, wenn das dort zugeführte Skalakomponentensignal einen vorgegebenen Schwellenwert θi überschreitet; und

wobei die jeweiligen Skalar-Ausgangsreaktionen p&sub1;, . . p . . . pN Komponenten der Ausgangsreaktion R des Moduls sind.

11. System nach Anspruch 10, bei dem das Klassenselektionsmittel außerdem eine Vielzahl N an Skalarmultiplizierern umfaßt, die jeweils zwischen einem der Summierer und seiner zugehörigen Schwellenwertvorrichtung angeschlossen sind, um ein Skalarkomponentensignal λri zu erzeugen, wobei λ ein Multiplikationsfaktor ist.

12. System nach Anspruch 10, das außerdem Mittel umfaßt, um in einem Lern-Modus die Übertragungsfunktion von mindestens einem der Verbindungselemente in Abhängigkeit vom dort zugeführten Eingangssignal sowie vom Ausgangssignal des Summierers zu ändern, dem das jeweilige Verbindungselement zugeordnet ist.

13. System nach Anspruch 11, das außerdem Mittel umfaßt, um in einem Lern-Modus den Multiplikationsfaktor λ von mindestens einem der Skalar-Multiplizierer zu ändern, um so eine nicht eindeutige Klassentrennung und -identifizierung zu vermeiden.

14. System nach Anspruch 10, das außerdem Mittel umfaßt, um in einem Lern-Modus den Schwellenwert θ zu ändern, um so eine nicht eindeutige Klassentrennung und -identifizierung zu vermeiden.

15. System nach Anspruch 1, bei dem jeder Prototyp folgendes als in dem Speichermittel gespeicherte Prototypinformationen enthält:

eine Vektorlage in dem mehrdimensionalen Musterraum, einen Skalarabstand, der die Größe eines Einflußbereiches um die Vektorlage herum in dem mehrdimensionalen Musterraum festlegt, und eine besondere Klasse, der der Prototyp zugeordnet ist;

und bei dem das Vergleichsmittel Mittel enthält, um zu bestimmen, ob die Lage des Eingangsmuster in dem Musterraum in den Einflußbereich eines oder mehrerer Prototypen fällt, und um eine Reaktion zu erzeugen, die die einem solchen Prototyp zugehörige Klasse angibt, falls das Eingangsmuster in dessen Einflußbereich fällt.

16. System nach Anspruch 15, bei dem jeder Prototyp durch einen von mindestens zwei Typen gekennzeichnet wird, wobei der gekennzeichnete Typ zu seinem zugehörigen Prototypen als Teil der Prototypinformationen in dem Speicher gespeichert wird; bei dem ein erster Prototyp-Typ ein erstes Ausgangssignal 1Ri erzeugt, das die sichere Erkennung der Klasse eines Eingangsmusters, das in dessen Einflußbereich fällt, angibt, und bei dem ein zweiter Prototyp-Typ ein zweites Ausgangssignal 2Ri erzeugt, das eine mögliche, jedoch nicht sichere Erkennung der Klasse eines Eingangsmusters angibt, das in dessen Einflußbereich fällt.

17. System nach Anspruch 15, bei dem das Musterklassifizierungsmittel außerdem Mittel enthält, um im Lern-Modus die Prototypinformationen in dem Speicher als Reaktion auf den Erhalt eines Eingangsmusters zu ändern.

18. System nach Anspruch 17, bei dem das Mittel zum Ändern der Prototypinformationen den Skalarabstand eines Prototyps verringert, wenn ein Eingangsmuster in den Einflußbereich eines solchen Prototyps fällt, und dadurch eine Reaktion Ri erzeugt, die die zu einem solchen Prototypen gehörende Klasse angibt, wobei, falls die Klasse nicht korrekt ist, der Skalarabstand ausreichend verringert wird, damit das Eingangsmuster aus dem Einflußbereich eines solchen Prototyps herausfällt.

19. System nach Anspruch 18, bei dem der Skalarabstand auf einen Wert verringert wird, der im wesentlichen gleich dem, aber kleiner als der Abstand zwischen den Vektorlagen in dem Musterraum des Prototyps und des Eingangsmusters ist.

20. System nach Anspruch 18, bei dem jeder Prototyp durch einen von mindestens zwei Typen gekennzeichnet wird, wobei der gekennzeichnete Typ zu seinem zugehörigen Prototypen als Teil der Prototypinformationen in dem Speicher gespeichert wird; bei dem ein erster Prototyp-Typ ein erstes Ausgangssignal 1Ri erzeugt, das die sichere Erkennung der Klasse eines Eingangsmusters, das in dessen Einflußbereich fällt, angibt, und bei dem ein zweiter Prototyp-Typ ein zweites Ausgangssignal 2Ri erzeugt, das eine mögliche, jedoch nicht sichere Erkennung der Klasse eines Eingangsmusters angibt, das in dessen Einflußbereich fällt; und bei dem das Mittel zum Ändern der Prototypinformationen den gekennzeichneten Typ eines Prototypen von einem ersten Typ in einen zweiten Typ ändert, wenn der Skalarabstand eines solchen Prototyps unter einen vorgegebenen Schwellenwert verringert wird.

21. System nach Anspruch 20, bei dem das Mittel zum Ändern der Prototypinformationen den Skalarabstand eines gegebenen Prototypen immer dann bis zu dem nächstgelegenen Einflußbereich eines Prototyps des ersten Typs hin ausdehnt, wenn der gekennzeichnete Typ eines solchen gegebenen Prototyps von einem ersten Typ in einen zweiten Typ geändert worden ist.

22. System nach Anspruch 16, bei dem das Klassenselektionsmittel Mittel enthält, um als Ausgangsreaktion R ein Ausgangssignal aus einer Vielzahl an Ausgangssignalen auszuwählen, die von dem Musterklassifizierungsmittel erzeugt worden sind.

23. System nach Anspruch 22, bei dem jedem Musterklassifizierungsmittel eine vorgegebene Priorität zugeordnet wird, die eine hierarchische Ebene angibt, und bei dem das Selektionsmittel als Ausgangsreaktion R das erste von dem Klassifizierungsmittel erzeugte Ausgangssignal 1Ri selektiert, das die höchste Priorität hat, wobei das erste Ausgangssignal die sichere Erkennung einer speziellen Klasse durch das Klassifizierungsmittel angibt.

24. System nach Anspruch 23, bei dem das Selektionsmittel Mittel enthält, um

(1) die Nummern der jeder vom zweiten Ausgangssignal 2Ri angegebenen Klasse zu zählen, die vom jedem aufeinanderfolgenden Klassifizierungsmittel in der Reihenfolge der Priorität solange erzeugt werden, bis die Zählung für eine Klasse eine Mehrheit ergibt, immer dann wenn kein Klassifizierungsmittel ein erstes Ausgangssignal 1Ri erzeugt, und

(2) die Ausgangsreaktion R zu erzeugen, die die Mehrheitsklasse angibt.

25. System nach Anspruch 1, bei dem das Mittel zur Klassenauswahl Mittel enthält, um als Ausgangsreaktion R eines aus einer Vielzahl an Ausgangssignalen auszuwählen, die von dem Musterklassifizierungsmittel erzeugt werden.

26. System nach Anspruch 25, bei dem jedem Musterklassifizierungsmittel eine vorgegebene Priorität zugeordnet wird, die eine hierarchische Ebene angibt, und bei dem das Selektionsmittel als Ausgangsreaktion R das erste von dem Klassifizierungsmittel erzeugte Ausgangssignal auswählt, das die höchste Priorität hat.

27. System nach Anspruch 18, bei dem das Mittel zum Ändern der Prototypinformationen Mittel enthält, um einen neuen Prototypen in dem Speichermittel zu speichern, wenn ein Eingangsmuster nicht in den Einflußbereich eines zuvor gespeicherten Prototyps fällt.

28. System nach Anspruch 1, bei dem jedes Ausgangssignal Ri eine Vielzahl an Signalkomponenten (r1i, r2i . . . rii . . . rNi) umfaßt.

29. System nach Anspruch 1, bei dem die Ausgangsreaktion R eine Vielzahl an Signalkomponenten (p&sub1;, p, . . . pN) umfaßt.