DE68908910T2 - Paralleles, mehrere Einheiten umfassendes, anpassungsfähiges Musterklassifizierungssystem, das Korrelationen zwischen den Einheiten und eine Klassentrennungsmethodologie innerhalb der Einheiten benutzt. - Google Patents

Description

BEZUGNAHME AUF VERWANDTE PATENTE UND PATENTANMELDUNGEN
• Der Gegenstand dieser Patentanmeldung ist verwandt mit demjenigen, der in gemeinsamem Besitz befindlichen US-Patente Nr. 3,950,733, 4,044,243, 4,254,474, 4,326,259 und 4,760,604, alle von Cooper u.a. und alle hier einbezogen durch Bezugnahme.
GEBIET DER ERFINDUNG
• Diese Erfindung bezieht sich auf adaptive Informationsverarbeitungssysteme. Im besonderen bezieht sie sich auf selbstorganisierende Eingabe-Ausgabegeräte, die dazu dienen, Klassen von Mustern einschließlich denjenigen, die nicht linear trennbar sind, zu trennen und zu identifizieren.
HINTERGUNRD DER ERFINDUNG
• Die obengenannten Patente von Cooper u.a. geben Verfahren und Einrichtungen (Systeme) an, die lernen können "Muster" oder tatsächliche "Ereignisse" zu kassifizieren, selbst wenn Darstellungen derselben nicht linear trennbar sind. Die Muster oder Ereignisse werden von irgendeiner Datensammeleinrichtung ermittelt und in eine Gruppe von Magen oder Merkmalen kodiert, deren Ergebnisse von dem Signal S dargestellt werden, welches aus individuellen Signalen s&sub1;, s&sub2;, ... sk besteht. Das Signal S könnte beispielsweise ein Signal aus einer Kamera sein, die eine Szene (Muster) registriert oder das Ausgangssignal eines Mikrofons, welches einen Schall (Muster) feststellt, oder von einer Datenbank stammen, die Ereignisse, historische Aufzeichnungen usw. (abstrakte Muster) angibt.
• In einem einen Nestor -Anpassungsmodul, wie in diesen Patenten beschrieben, enthaltenden System sollten sämtliche Eingangssignale S (die selbst hierin als "Muster bezeichnet sind), die zu der gleichen Klasse gehören, die gleiche Endreaktion aus dem System hervorbringen. Beispielsweise sollte bei einer Anwendung wie z B. der Zeichenerkennung, jede von dem System gesehene Version einer handgeschriebenen "2" zu einem Ausgangssignal führen, welches die Darstellung des Zeichenursprungsgliedes für "2" an irgendeiner Ausgabeeinrichtung, an einem Bildschirm, auf einem Ausdruck usw. hervorruft.
• Ein System dieser Art ist ein außerordentlich wirksamer Musterklassenseparator und -identifizierer. Das System kann durch einen Lernprozeß instruiert werden, welcher nicht erfordert, daß die Bedienungsperson die (möglicherweise) komplexe Geographie der Musterklasse in dem vieldimensionalen Musterraum angibt, in welchem das Eingabeereignis dargestellt wird. In einem solchen System wird das Eingabeereignis S in ein Zwischensignal F vorverarbeitet, welches nur bestimmte vorgeschriebene Merkmale des Original-Musters angibt. Indem man das Eingabesignal S (welches das Muster angibt) diesem Vorverarbeitungsschritt unterzieht - der nachfolgend als Kodierung bezeichnet wird - sollte genügend Inforrration gespeichert werden, um damit Muster voneinander unterscheiden zu können. Information, die für das Lernen einer Klasse irrelevant ist, kann wichtig sein, eine andere Klasse zu unterscheiden. Aus diesem Grunde kann es schwierig sein, eine einzelne Vorverarbeitungsstrategie auszuwählen, welche alle irrelevante Information beseitigt, ohne die Fähigkeit aufzugeben, einige Klassen zu unterscheiden.
• Das obengenannte US-Patent 4, 760,604 beschreibt ein Nestor-System mit vielen Einheiten, welches als eine Art Zusammenschluß einer Anzahl von Nestor-Anpassungsmodulen aufgefaßt werden kann. Jeder einzelne Nestor-Modul kann als komplette Einheit betrachtet werden, die ihre eigenen Vorverarbeitungs- und Kodiervorgänge enthält. Ein Muster wird durch die Reaktion identifiziert, welche es zwischen diesen Einzeleinheiten hervorruft. Jede Einheit hat ihre eigenen Kodiervorgänge, die sich von denjenigen einer anderen unterscheiden. Die Kodiervorgänge einer Einheit definieren ihren Koderaum. Sie ist empfindlich gegenüber bestimmten Typen von Informationen in dem Eingangssignal. Die spezielle Gruppe von Merkmalen, welche sie registriert, kann ihr eine spezielle Fähikgeit verleihen, einige Typen von Musterklassen zu lernen, nicht jedoch andere. In dem Maße, in dem eine Klasse gut von allen anderen in dem Musterraum einer gegebenen Einheit getrennt wird und in dem Maße, in dem sie nicht in dem gesamten Raum weitverbreitet ist, besitzt diese Einheit eine natürliche "Fähigkeit" diese Klasse zu lernen. Gleichzeitig kann das Lernen anderer Musterklassen ein Zusammenschließen der Fähigkeiten mehrerer Einzeleinheiten erfordern, von denen keine für sich aufgrund ihrer Vorverarbeitungs- und Kodiereigenschaften genügend Unterscheidungsfähikgeit besitzt, um diese Klassen zu unterscheiden. In diesem Fall identifiziert das System ein Beispiel einer solchen Klasse durch miteinander in Beziehung Bringen der Reaktionen einer Gruppe von Einheiten.
• Das in der obengenannten Patentanmeldung angegebene, aus vielen Einheiten bestehende Nestor-System ist so organisiert, daß es zunächst eine Trennung von Musterklassen innerhalb einzelner Koderäume versucht und danach für diejenigen Klassen, für die dies nicht möglich ist, versucht, die Reaktionen mehrerer Einheiten miteinander in Verbindung zu bringen, um eine Identifikation zu bewirken. Ein solches System arbeitet am besten, wenn innerhalb der Musterräume der verschiedenen Ereignisse Klassenverteilungen weitgehend (aber nicht notwendigerweise insgesamt) nicht-überlappend sind. Für die nicht-überlappenden Bereiche der verschiedenen Klassen-Territorien kann rasch eine wirksame Aufzeichnung der Bereiche erfolgen ("überdeckend" mit "Einflußfeldern" von Nestor-Anpassungsmodul-"Prototypen"), indem dem System eine geeignete Trainiergruppe von Mustern gezeigt wird, die eine repräsentative Probe der in Rede stehenden Klassen bildet. Diejenigen Teile eines Klassenterritoriums, die sich mit einer anderen Klasse (oder anderen Klassen) überschneiden, müssen dennoch ordnungsgemäß festgehalten ("gedeckt") werden. Dieses Territorium muß für jede der Klassen festgehalten werden, indem ein Anspruch darauf in dem Musterraum gerichtet wird. Ist dies geschehen und sind die Musterräume der verschiedenen Einheiten in dem Viel- Einheiten-System genügend verschieden voneinander (im Idealfall aber nicht notwendigerweise orthogonal), dann werden die überlappenden Klassenbereiche eines Musterraumes nicht in einem anderen widergegeben. (Zwei Musterräume sind orthogonal, wenn für irgendein Ereignis, dessen Darstellung in einem Raum völlig unabhängig von seiner Darstellung in dem anderen Raum ist.) Dementsprechend dient die Korrelation von Einheiten-Reaktionen mehrerer Einheiten dazu, die Muster zu identifizieren. Als Beispiel einer Viel-Einheiten-Korrelation denke man sich ein Zwei-Einheten-System, in welchem eine Einheit 1 (U&sub1;) degenerierte Klassenterritorien für Klassen A und B hätte, während eine Einheit 2 (U&sub2;) degenerierte Regionen für B und C hätte. Ein Beispiel eines Klasse-B-Musters würde dann zu den "verworrenen" Reaktionen A oder B aus U&sub1; und B oder C aus U&sub2; führen, die miteinander in Beziehung gebracht werden könnten, um die Identifikation B hervorzubringen.
• Sind innerhalb der verschiedenen Einheits-Musterräumen Klassenbereiche weitgehend überlappend anstatt weitgehend getrennt, so lernt das in dem oben erwähnten US-Patent 4,760,604 angegebene Viel-Einheiten-Nestor-System schließlich, die Klassen zu trennen, doch kann es hierzu lange Trainingszeiten und große Zahlen von Prototypen erfordern. Dies ist der Tatsache zuzuschreiben, daß in einigen Fällen der Vorgang des Trennens von Klassenterritorier dazu führt, daß sie von vielen Prototypen gedeckt werden, von denen jeder einen Teil des Klassenbereiches in Anspruch nimmt, der klein ist gegenüber der Größe des gesamten Klassenterritoriums. Dies führt zu langen Trainingszeiten für das System, um eine zuverlässige Bearbeitung des Problems zu erreichen.
ZUSAMMENFASSUNG DER ERFINDUNG
• Ein Hauptanliegen der vorliegenden Erfindung besteht darin, einen Musterklassenseparator und -identifizierer zu schaffen, der Klassen von Mustern trennen und identifiezieren kann, die eine breite Vielfalt von augenfäll igen Merkmalen aufweisen.
• Ein weiteres Anliegen der vorliegenden Erfindung besteht darin, einen Musterklassenseparator und -identifizierer zu schaffen, der Klassen von Mustern trennen und identifizieren kann, die nur kleine und geringfügige Unterschiede zwischen sich aufweisen.
• Noch ein weiteres Anliegen der vorliegenden Erfindung besteht darin, eine spezielle softwaremäßig verwirklichte Ausführung der vorliegenden Erfindung zu schaffen, die in der Lage ist, die unmittelbar vorausgehend angegebenen Ziele zu erreichen.
• Diese wie auch weitere Ziele der vorliegenden Erfindung, die sich aus der folgenden Erörterung ergeben, werden gemäß der vorliegenden Erfindung, wie sie durch die anschließenden Ansprüche definiert ist, erreicht durch Schaffung eines Musterklassifikations- und -identifikationssystems, das (a) eine Mehrzahl parallelgeschalteter Klassifikationseinheiten, die ein ein jedes Muster repräsentierendes Eingangssignal S aufnehmen, und (b) eine Klassenselektionseinrichtung (CSD) enthält, welche auf die von den Klassifikationseinheiten hervorgebrachten Ausgangssignale reagiert, um eine einzige Ausgangsreaktion R hervorzubringen, welche die Klasse eines jeden betreffenden Musters repräsentiert.
• Die Klassifikationseinheiten enthalten sowohl "Generalisierer" als auch "Separatoren", die "Generalisierer-Prototypen" bzw. "Separator-Prototypen" speichern. Das System vergleicht jedes Eingangsmuster zuerst mit den Generalisierer-Prototypen, um festzustellen, ob ein solches Muster in den Einflußbereich zumindest eines Generalisierer-Prototyps fällt. Kann eine einzigartige und bestimmte Reaktion auf ein bestimmtes Eingangsmuster durch einen solchen Vergleich nicht erhalten werden, so vergleicht das System ein solches Eingangsmuster mit den Separator- Prototypen, um zu bestimmen, ob das Eingangsmuster in einen Einflußbereich von mindestens einem dieser Separator-Prototypen fällt.
• Das System nach der vorliegenden Erfindung, wie es durch die anschließenden Ansprüche definiert ist, besteht aus einer Modifikation des in dem oben erwähnten US-Patent 4,760,604 angegebenen Viel-Einheiten-Nestor-Systems. Dieses System wird "GENSEP" für "Generalisierer/Separator" genannt. In dem GENSEP-System trainieren die einzelnen Einheiten zunächst Aufzeichnungen zu entwickeln, welche die Klassenterritorien mit Generalisierer genannten Prototypen bedecken. Generalisierer-Prototypen sind nicht ausgesprochen dazu gestaltet, eine Trennung von Klassen in dem Koderaum einer Einheit zu erreichen. Vielmehr bringt das System die Viel-Einheiten-Reaktionen von Auslöse-Generalisierern miteinander in Verbindung, um eine Klassentrennung zu erreichen. Eine andere Klasse von Prototypen, Separatoren genannt, entstehen in dem System, um eine Klassentrennung aufgrund von Merkmals-Untergruppen der Generalisierer-Kodiereinheiten herbeizuführen.
• Da das System keine Trennung in den Generalisierer-Kodiereinheiten versucht, entstehen Klassendeckungen rascher, zuverlässiger und mit geringeren Anzahlen von Prototypen. Dies verbessert die Fähigkeit des Systems, Identifikationen durch die Korrelation der Reaktionen verschiedener Einheiten zu erzielen, vorausgesetzt, daß die Einheiten nicht identisch sind hinsichtlich der von ihnen zur Charakterisierung von Eingabeereignissen verwendeten Merkmals-Parameter. Können Korrelationen zwischen Einheiten eine Musterklasse nicht feststellen, so wird zu den Separator- Prototypen Zuflucht genommen, die eine Untergruppe der Eingabeinformationen tragen, welche dazu dienen kann, eine Klasse von einer anderen zu unterscheiden. Sehr häufig können genügend "generalisierende" Einheiten definiert werden, so daß die von einer Korrelation aller solcher Einheiten erhaltene Reaktion die Anzahl versuchsweiser Klassifikationen auf zwei oder höchstens drei reduzieren kann. (Dies wurde für eine Online-Zeichenerkennung für die abendländischen alphanumerischen Zeichen festgestellt.) Dann ist es einfach erforderlich, aus den Generalisierungseinheiten das entsprechende Trennmerkmal herauszuziehen, nach dem Musterunterscheidungen zuverlässig erfolgen können. Mit GENSEP stellen wir einen Mechanismus zur Erzeugung von Separator-Prototypen vor, welche klassenunterscheidende Merkmale verkörpern. In der Tat wird eine Anzahl solcher Separator-Prototypen definiert, und durch Trainieren werden Separatoren ausgewählt, die sehr wirksam sind für die erforderlichen Arten von Klassentrennung. Die separierenden Prototypen können als "Arbeitsanleitung" für Mehrdeutigkeits-Verwechslungen angesehen werden. Das System lernt, diese Anleitungen nach Bedarf zu formulieren. Auf diese Weise können die Separator-Prototypen Klassen von Mustern unterscheiden, die nur kleine und geringfügige Unterschiede voneinander aufweisen.
• Für ein volles Verständnis der vorliegenden Erfindung wird nun Bezug genommen auf die nachfolgende detaillierte Beschreibung des bevorzugten Ausführungsbeispiels der Erfindung und auf die begleitenden Zeichnungen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
• Figur 1 ist ein Blockdiagramm eines Parallel-Vieleinheitenadaptiven Musterklassifikationssystems unter Verwendung einer Klassenkorrelation zwischen den Einheiten und einer zwischen den Einheiten stattfindenden Klassenseparator-Methodik nach der vorliegenden Erfindung.
• Figur 2 (bestehend aus den Figuren 2a und 2b) ist ein Flußdiagramm, welches einen Algorithmus für ein Softwaresystem (Nestor- System ), angibt, der das adaptive Musterklassifikationssystem aus Figur 1 gemäß einem ersten bevorzugten Ausführungsbeispiel der vorliegenden Erfindung betreibt.
• Figur 3 ist ein Flußdiagramm, welches einen Algorithmus für ein Softwaresystem (Nestor-System ) angibt, der das adaptive Musterklassifikationssystem aus Fig. 1 gemäß einem zweiten bevorzugten Ausführungsbeispiel der bevorzugten (muß heißen: vorliegenden) Erfindung betreibt.
• Figur 4 ist ein Flußdiagramm, welches einen Algorithmus zur Erzeugung der Ausgansreaktion in dem adaptiven Musterklassifikationssystem aus Figur 1 angibt.
• Figur 5 (bestehend aus den Figuren 5a und 5b) ist ein Flußdiagramm welches den System-Trainingsmechanismus zur Modifizierung des Speichers in der Klassifikationseinheit des adaptiven Musterklassifikationssystems aus Figur 1 angibt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
• Die vorliegende Erfindung und ihre bevorzugten Ausführungsbeispiele werden nun unter Bezugnahme auf die Figuren 1 - 5 der Zeichnungen beschrieben.
A. System-Organisation: Einheiten und Prototypen
• In einem bevorzugten Ausführungsbeispiel des GENSEP-Systems nach der vorliegenden Erfindung, wie es in Figur 1 dargestellt ist, enthält jede Klassifikationseinheit U sowohl (1) eine Muster-Merkmal-Kodiereinrichtung, die auf das Eingangssignal S anspricht, um ein für die in dem Muster enthaltenen Merkmale bezeichriendes Zwischensignal F zu erzeugen, und (2) eine Musterklassifikationsreaktion auf das Signal F zur Erzeugung eines Ausgangssignals R, welches für die betreffende Klasse des Musters bezeichnend ist, die durch die von der Musterkodiereinrichtung kodierten Merkmale identifiziert wurde.
• Jede Klassifikation mit Ui sieht ein Eingangssignal S (das Ausgangssignal der das Eingabeereignis charakterisierenden Datenaufnahmeeinrichtung oder -einrichtungen) und kann an das Signal einen "Kode" anlegen, um daraus eine Gruppe von Werten F&sub1; ... Fk herauszuziehen. Wie bei dem in den obengenannten Patenten angegebenen Nestor-Anpassungsmodul bewirkt die Einheit einen Vergleich des eintreffenden Mustervektors F mit einer Gruppe von Prototypen Pj , j=1 ... N. Dies bringt eine Ausgangsklassifikation R zustande, die bezeichnend ist für den oder die auf den Mustervektor F reagierenden oder zu ihm passenden Prototypen (soweit vorhanden). Da jeder Nestor-Anpassungsmodul trainiert wird, entwickelt er eine einzigartige Gruppe von Prototypen für die Klassifikation eintreffender Muster.
• Zwei Arten von Prototypen entstehen beim Trainieren in den Nestor-Anpassungsmodulen eines GENSEP-Systems: Generalisierer-Prototypen und Separator-Prototypen. Generalisierer-Prototypen werden dem Speicher übergeben in Verbindung mit einer jeden speziellen Einheit, um Klassenterritorien abzudecken, wie sie in dem Kodierraum dieser Einheit dargestellt sind. Separator-Prototypen werden zwischen gewissen Paaren von Generalisierer-Prototypen eingegeben, um Klassenkonfusionen aufzulösen, die mittels Zufluchtnahme zu einer kleinen Untergruppe von Informationen in dem Kodierraum der gegebenen Einheit festgestellt werden kann.
• So treten in dem GENSEP-System also zwei Arten von Mechanismen für die Klassentrennung auf. Anfängliche Unterscheidungen erfolgen auf der Basis einer Korrelation der Reaktionen vieler verschiedener Einheiten, wobei die Reaktionen das Ergebnis einer Tätigkeit (Auslösung) lediglich unter Generalisierern in den Einheiten sind. Eine weitere Klassendiskriminierung erfolgt durch Zufluchtnahme zu den Klassen, die unter den auslösenden Separator-Prototypen in jeder Einheit dargestellt werden. Diese Mechanismen gestatten es dem System, rasch zu lernen, um geeignete Generalisierungen um eine Klasse von Mustern herum vorzunehmen und um seine Fähigkeit weiter zu verbessern, diese Klasse von Mustern von allen anderen zu unterscheiden, sei es durch miteinander in Beziehung Bringen von großen Zahlen von Musterparametern oder durch präzises Definieren individueller Musterwerte für die Diskriminierung.
B. SPEICHER B1. Der "Prototyp"
• Wie in dem US-Patent 4,326,259 angegeben, ist die Speicherung in einem Nestor-System aus "Prototypen" zusammengesetzt". Jeder Prototyp besitzt eine Anzahl Eingabeleitungen und einen Ausgabepfad, über welchen er mit anderen Elementen des Systems kommuniziert. In dem System gibt es zwei verschiedene Arten von Prototypen: Generalisierer-Prototypen und Separator-Prototypen.
B2. Generalisierer-Prototypen
• Zu jedem Generalisierer-Prototyp gehört eine Gruppe Gewichtungsfaktoren (je einer für jede Eingabeleitung), der Prototyp-Vektor, P, und ein Schwellwert θ, der auf ein Eingabemuster hin bestimmt, ob er "ein" oder "aus" ist (Auslösung oder Nichtauslösung). Der Schwellwert definiert einen "Einflußbereich" für den Prototyp. Der Einflußbereich besteht aus der Gruppe aller Eingabeereignisse, welche den Prototyp zum Auslösen bringen. Dieser Schwellwert kann modifizierbar sein. Ist er modifizierbar, so ist er einstellbar, um die Größe des Einflußbereiche des Prototyps graduell zu vergrößern, jedoch liegt er typischerweise nicht oberhalb eines bestimmten Prozentsatzes der Ausdehnung des Koderaumes (etwa zwischen 5 % und 50 %). Jeder Generalisierer-Prototyp besitzt eine damit verbundene Klasse C. Schließlich gehört ein jeder Generalisierer-Prototyp zu einer bestirimten Einheit in dem System. Die Einheit wird durch einen Index u angegeben. So besteht die einen Generalisierer-Prototyp definierende Datengrupe aus [P; θg; C; u].
B3. Separator-Prototypen
• Wie zu einem Generalisierer-Prototyp gehört zu jedem Separator- Prototyp eine Gruppe von Gewichtungsfaktoren (je einer für jede Eingabeleitung), der Prototyp-Vektor, S, und ein Schwellwert θs), der teilweise bestimmt, ob er auf ein Eingabemuster hin "ein" oder "aus" ist. Wie bei Generalisierer-Prototypen definiert dieser Schwellwert einen "Einflußbereich" für den Separator. Dieser Schwellwert ist durch das System modifizierbar und einstellbar in solcher Weise, daß er die Größe des Einflußbereichs des Separators vermindert. Separatoren, deren Einflußfeld unter einer Minimalgröße liegt, werden als Phase-II-Separatoren (P2-Separatoren) betrachtet; diejenigen über dem Minimalwert werden Phase-I-Separatoren (P1-Separatoren) genannt. Diese Unterscheidung zwischen den beiden Typen von Separatoren besteht hauptsächlich in dem Ausmaß, in welchem sie die Klassifikation des Musters innerhalb einer gegebenen Einheit des Systems beeinflussen können.
• Zusätzlich ist jeder Separator mit einem Paar von Generalisierern (i, j) verknüpft. Mit demselben Paar Generalisierer können mehr als ein Separator verbunden sein. Jedem Separator ist ein Index, k, zugeordnet, der einen Teil der Kodewerte des Musterraumes angibt, welcher die Generalisierer-Prototypen enthält, mit dem er verbunden ist. Im besonderen, wenn ein gegebener Koderaum das Musterereignis in Form von Parametern F&sub1; ... Fm repräsentiert, so besteht der mit dem Separator verbundene Index aus einer Zahl k auf dem Intervall (l, m). Schließlich ist mit einem jeden Separator eine Klasse verbunden.
• Ungleich der mit einem Generalisierer verbundenen Klasse bedeutet die Zuordnung einer Klasse zu einem Separator eine Negierung. Im besonderen, wenn ein Generalisierer-Prototyp für Klasse C auf ein Eingabeereignis hin anspricht, so tendiert das System zur Zuordnung der Klasse C zu dem Muster. Wenn jedoch ein Separator für Klasse C auf ein Muster anspricht, so tendiert das System dazu, C nicht als eine Identifikation des Musters zuzuordnen. Kurz gesagt: Wenn ein Generalisierer für C tätig wird, heißt das "C"; wenn ein Separator für C in Funktion tritt, heißt das "nicht C".
• So also kann die einen Separator definierende Datengruppe wie folgt angegeben werden: [i, j; k; S, θs; C].
C. Vergleichen eines Musters mit Prototypen
• Nachfolgend wird der Vorgang gemäß der vorliegenden Erfindung angegeben, mit dem ein Muster mit einem Prototyp in der Systemspeicherung verglichen wird. Da Generalisierer- und Separator-Prototypen verschiedene Eigenschaften aufweisen, werden die Vorgänge beim Vergleich eines Musters mit einem Generalisierer- und einem Separator-Prototyp getrennt erörtert. Diese Vorgänge bestimmen, ob der in Rede stehende Prototyp auf das Muster hin anspricht oder nicht.
C1. Muster-Generalisierer-Vergleich
• Ein Eingabemuster erscheint einem Generalisierer-Prototyp als eine Gruppe von auf seinen N Eingangsleitungen auftretenden Signalen. Der Vergleich eines Musters mit einem Genealisierer- Prototyp kann in irgendeiner von mehreren Formen geschehen, je nachdem, ob die Eingabesignale zu dem Prototyp binär oder in kontinuierlicher Form auftreten. Beide Arten von Signalen können verarbeitet werden. Der Kürze halber betrachten wir hier nur das Verfahren des Muster-Generalisierer-Vergleichs für den Fall binär kodierter Signale auf den N Eingangsleitungen des Generalisierers. In diesem Fall besteht der der betreffenden Leitung zugeordnete Prototyp-Gewichtungsfaktor selbst aus einer Binärzahl. Die gesamte Prototyp-Tätigkeit besteht aus einer Zahlung der Zahl der Eingangsleitungen, auf denen der Bit-Wert des Mustersignals, fj, nicht mit dem Bit-Wert des Gewichtungsvektors, Pj, übereinstimmt.
• wo uj = 1 wenn Bit (fj) ≠ Bit (Pj)
• sonst = O
• Diese Gesamtzahl nicht übereinstimmender Bits wird verglichen mit dem Prototyp-Schwellwert. Ist der Zählwert der nichtübereinstimmenden Bits geringer als der Schwellwert, so löst der Generalisierer aus. Ist er größer als der oder gleich dem Schwelmwert, so bleibt der Prototyp ruhig. D.h. wenn d < = &theta;, Prototyp löst aus, wenn d &ge; = &theta;, Prototyp ruhig.
• Wie in der oben erwähnten Patentanmeldung angegeben, können die Operationen des Vergleichs eines Musters mit einer Gruppe von Prototypen parallel miteinander erfolgen, d.h. der Vergleich eines Musters mit allen Prototypen kann gleichzeitig erfolgen. Zusätzlich kann beim Vergleich eines Musters mit einem bestimmten Prototyp die auf einer bestimmten Eingangsleitung (Bit-Vergleich für binär-kodierte Eingangssignale oder Multiplikation für kontinuierliche Signale) durchgeführte Operation auf allen Eingangsieitungen gleichzeitig erfolgen. Diese reiche Parallelität ist eine Eigenart des Nestor-Systems.
C2. Muster-Separartor-Vergleich Zur Erinnerung:
• Die Datenstruktur eines Separators ist S = j; k; S, &theta;s; C]. Die Musterverarbeitung bei einem Separator-Prototyp ist gleich derjenigen bei Generalisierern. Eine Gruppe von auf den M Eingangsleitungen bes Separator-Prototyps auftretenden Signalen wird mit den Separator-Gewichtungsfaktorwerten verglichen, ein Zählwert nichtübereinstimmender Bits wird festgestellt, und dieser Zählwert wird gegenüber dem Separator- Schwellwert getestet. Jedoch definieren die Generalisierer, mit welchen die Separatoren paarweise in Verbindung gebracht werden und der Merkmalsindex k des weiteren die Operation des Separators an dem Muster. Der Klarheit halber sei angenommen, daß die Merkmalswerte [F&sub1; ... Fk], welche den Kodevektor für das Muster in der Einheit definieren, die kontinuierliche, realwertige Repräseritation ist und daß das binäre Equivalent davon, die Gruppe [Bi], i = 1, ... M die Information ist, welche auf der Eingangsleitung des Generalisierers auftritt. Dann gibt der mit dem Separator verbundene Merkmalsindex k, ein Glied der kontinuierlich-wertigen Gruppe F an. Das binäre Equivalent von Fk tritt als Eingangssignal an dem Separator S auf. Im besonderen, läßt man &beta; eine binäre Aufzeichnung sein die Fk in einen binärwertigen Viktor (b&sub1; ... bm) verwandelt, dann bestimmt sich der Zählwert der nichtübereinstimmenden Zeichen des Separators wie folgt:
• Schließlich müssen, um einen Separator zum Ansprechen zu bringen, die folgenden Bedingungen erfüllt sein:
• (1) d < &theta;s (Separator-Schwellwert-Bedingung)
• (2) Pi löst aus (zugehöriger Generalisierer)
• (3) Pj löst aus (Prototypen lösen aus)
• Angemerkt sei, daß beide mit dem in Rede stehenden Separator in Verbindung gebrachten Generalisierer auslösen müssen, um den Separator auszulösen.
D. Bestimmen der System-Reaktion D1. Einheiten-Reaktion auf ein Muster
• Die Reaktion einer Einheit auf ein eintreffendes Musters besteht aus den mit ihren auslösenden Prototypen verbundenen Klassen. Im besonderen sind diese Klassen in zwei Listen aufgeführt der Generalisierer-Klassenliste und der Separator-Klassenliste. Offensichtlich ist, wegen der für die Auslösung eines Separators erforderlichen Bedingungen, wenn die Generalisierer-Klassenliste einer bestimmten Einheit leer ist, die Separator-Klassenliste für die Einheit ebenso leer.
D2. System-Reaktion auf das Muster
• Die System-Reaktion auf ein eintreffendes Muster wird bestimmt durch den Klassenselektionsmechanismus (CSM) als Funktion der Ausgangsklassenliste (von Generalisierern wie Separatoren) der Systemeinheiten. Der CSM kann den Inhalt der Klassenlisten sämtliche Einheiten auf verschiedenartige Weise als Funktion einer Einheitspriorität auswerten. Zwei bevorzugte Ausführungsbeispiele des Klassenselektionsmechanismus sind in Figur 2 bzw. Figur 3 dargestellt.
• Wie bei dem in der oben angegebenen Patentanmeldung beschriebenen Viel-Einheiten-System können Einheiten in dem GENSEP-System hierarchisch nach der Priorität angeordnet sein. Einheitsprioritäten sind Zahlen, die ganzzahlige Werte 1, 2, 3 usw. annehmen. Eine Einheit mit Priorität n soll in einer Ebene n des Systems arbeiten. Bei der Bestimmung der System-Reaktion betrachtet der CSM das Ausgangssignal einer jeden Einheit in der Reihenfolge abnehriender Priorität. (Die höchste Priorität ist 1.) Bei jeder Einheit bringt der CSM eine System-Stimmenzählung für jede Klasse auf den aktuellen Stand und prüft, um festzustellen, ob irgendeine bestimmte Klasse das System-Identifikationskriterium erfült hat, um eine unzweideutige Reaktion zuzulassen. Ein typisches System-Identifikationskriterium bestimmt die gewinnende Klasse als diejenige Klasse mit der größten Zahl Stimmen, solange ihre Stimmenzählung einen minimalen Stimmenzählwert (NUMWIN) überschreitet und solange die Differenz zwischen dem Stimmenzählwert dieser Klasse und demjenigen der "aufschließenden" ("runner-up") Klasse eine voreingestellte minimale Differenz (WINDIF) überschreitet.
• Der CSM kann die System-Stimmenzählung auf verschiedene Weise auf den aktuellen Stand bringen. Bei einer Art fragt der CSM die Systemeinheiten zweimal ab, in jedem Fall beginnend mit der Einheit höchster Priorität und durch die Einheiten in der Reihenfolge abnehmender Priorität hindurchschreitend. Bei der ersten Abfrage bringt der CSM die Systemstimmenzählung auf der Basis der Generalisierer-Klassenliste auf den aktuellen Stand. Wurde bis zum Zeitpunkt zu dem sämtliche Generalisierer-Klassenlisten der Einheit mit geringster Priorität abgefragt wurden, keine gewinnende Klasse ermittelt, dann löst der CSM eine zweite Abfrage der Einheiten aus. Er beginnt damit, die System-Klassenliste mit einem Schwellwert zu versehen und alle Klassen unter einem bestimmten minimalen Stimmenzählwert auszulassen. Sodann bringt der CSM, beginnend mit den Einheiten höchster Priorität, den System-Stimmenzählwert als Funktion der Klassen in den Separator- Klassenlisten für diese Einheiten auf den aktuellen Stand. Im allgemeinen führt das Erscheinen einer Klasse in der Separator- Klassenliste dazu, daß die Systemstimmenzählung für diese Klasse um 1 abnimmt. Wiederum wird, nachdem die Separator-Klassenliste einer Einheit dazu Verwendung fand, die Systemstimmenzählung auf den aktuellen Stand zu bringen, sofern eine gewinnende Klasse nicht ermittelt wurde, daraufhin die Einheit nächstniedrigerer Priorität bearbeitet.
• Bei einem anderen Ausführungsbeispiel des Systems, wie es in Figur 3 gezeigt ist, fragt der CSM eine jede Einheit nur einmal ab. Die Systemstimmenzählung wird als Funktion der Netto-Zahl der Stimmen für eine Klasse auf den aktuellen Stand gebracht, welcher die Zusammensetzung der Generalisierer- wie der Separator-Klassenlisten für die betreffende Einheit gegeben wurde. Beispielsweise würde das Auftreten einer Klasse in der Generalisierer-Klassenliste ihre System-Stimmenzählung um 1 anwachsen lassen; das Auftreten einer Klasse in der Separator-Klassenliste würde ihre Zählung um 1 vermindern. Bei einer solchen Ausführungsform tendiert das System dazu, sich weniger auf Korrelationen zwischen Einheiten-Reaktionen als Mittel zur Unterscheidung von Klassen und mehr auf die interne Erkennungsfahigkeit für individuelle Kodiereinheiten in der Ebene von Einzelmerkmalunterscheicungen verlassen.
D3. Typen von System-Reaktionen
• Wie bei den in dem US-Patent 4,760,604 beschriebenen Viel-Einheiten-Nestor-System liefert das GENSEP-System als endgültiges Ausgangssignal eine Systemklassenliste (CLASSL) und einen Reaktionsstyp (SYSRSP). Der CSM setzt die Klassenliste aus der gewinnenden Klasse (sofern eine solche existiert) oder aus all den Klassen zusammen, die zu der größten Stimmenzahl führten (oder, alternativ, all den Klassen mit einer Stimmenzahl über einem vorbestimmten in CLASSL in absteigender Stimmen-Reihenfolge aufgeführten Minimum) zusammen. Gibt es eine einzige gewinnende Klasse, so ist der Reaktionstyp identifiziert" (SYSRSP = "I"). Tritt in CLASSL keine gewinnende Klasse sondern eine Gruppe von Klassen auf, so ist der Reaktionstyp "Unbestimmt" ("Confused" / SYSRSP = "C"). Die in CLASSL erscheinende Gruppe von Klassen wird "Unbestimmtheitsgrupe" ("Confusion Set") genannte Tritt in CLASSL keine Klasse auf (kein Prototyp in irgendeiner der Kodiereinheiten ausgelöst), so ist der Reaktionstyp "nicht identifiziert" (SYSRSP = "U"). Ein Flußdiagramm dieses Algorithmus zur Erzeugung der Ausgangssignale CLASSL und SYSRSP ist in Fig. 4 gezeigt.
E. Trainieren des Sytems
• Trainieren des GENSEP-Systems erfordert eine Spezifizierung der echten Identität des Musters, der Ausgangsreaktion des Systems und der Darstellungen des Eingabemusters. Die Trainingsmechanismen bestehen aus (1) der Eingabe von neuen Generalisierer-Prototypen, (2) der Einstellung (Vergrößerung) von Generalisierer- Prototyp-Einflußfeldern, (3) der Eingabe von Separator-Prototypen und (4) der Einstellung (Verringerung) von Separator-Prototyp-Einflußfeldern. Das Ziel des Trainings besteht darin, eine interne Anderung in dem System in solcher Weise herbeizuführen, daß, wenn das Muster dem System unmittelbar dargeboten würde, die Reaktion des Systems darin bestünde, wenn schon das Muster nicht korrekt klassifiziert wird, zumindest eine Undefinierbarkeitsgruppe hervorgebracht würde, welche die korrekte Klassifikation enthält. Das Training wird von dem in Fig. 5 dargestellten System-Trainingmechanismus (STM) instrumentiert.
• Während des Trainings veranlassen Muster, die durch Korrelation unter den Reaktionen verschiedener Codiereinheiten nicht identifizierbar sind, daß Separatoren in die Speicherung eingegeben werden. Dies geschieht in einem Versuch, ein Merkmal oder eine Kombination von Merkmalen zu finden, das bzw. die brauchbar ist, unter den fraglichen Klassen zu unterscheiden. Das System kann einen Wirt von Kandidaten-Separatoren eingegeben; diejenigen, die von nicht zuverlässig vorhersagbarem Wert sind, werden für einen Phase-II-Zustand herausgenommen, spielen sie doch im wesentlichen keine Rolle bei zukünftigen System-Reaktionen. Die Strategie kann derjenigen angepaßt werden, nach der das System eine Anzahl von Hypothesen postuliert und von all diesen diejenigen herausnimmt, die sich als unkorrekt erweisen.
E1. Reduzieren inkorrektor Separator-Einflußfelder
• Angenommen die Klasse eines Eingabemusters sei x, dann besteht die erste Tätigkeit des STM darin, die Einflußfelder aller auslösenden Separator-Prototypen, deren Klassenassoziation x ist, zu reduzieren. (Es sei daran erinnert, daß diese Separatoren durch Auslösen effektiv zum Ausdruck bringen: "nicht x". ) Diese Separatoren können in irgendeiner der Systemeinheiten auslösen. Ein Teil der Auslösebedingung für Separatoren ist d < &theta;s, worin d die nicht übereinstimmende Zeichenentfernung zwischen einem bestimmten Merkmal des Eingabemusters und dem in Frage stehenden Separator-Prototyp ist. Um den Prototypen zum Schweigen zu bringen, wechseln wir &theta;s gegen &theta;'s aus, worin &theta;'s = d ist. So trifft d < &theta;'s nicht länger zu, und der Separator löst nicht länger aus.
E2. Eingabe von Generalisierer-Prototypen
• Sind alle unzutreffenden Separator-Prototypen durch Schwellwertreduktion zum Schweigen gebracht, so aktiviert der STM den CSM, womit die Abfrage von Systemeinheiten zur Neuzusammenstellung der System-Reaktionen in Gang gesetzt wird. Der CSM wird von dem STM in folgender Weise gesteuert (siehe Figur 5): Wird eine Einheit abgefragt und enthält ihre Generalisierer-Klassenliste nicht die korrekte Klasse des Eingabemsuters, so gibt der Trainingsmechanismus einen neuen Prototyp für diese Klasse ein, der auf dem Kodevektor für das Muster in dieser Einheit beruht. Diese Prototyp-Eingabevorgang ist der gleiche wie der in der obengenannten Patentanmeldung beschriebene mit dem Unterschied, daß das Einflußfeld auf eine voreingestellte Größe festgelegt ist, gewöhnlich einen Prozentsatz der Dimension des Koderaumes (In bisherigen Systemen war die Größe des ursprünglichen Einflußfeldes eine Funktion des Abstands gegenüber Prototypen für verschiedene Klassen.) Ansonsten wird, wie bei bisherigen Prototyp-Eingabevorgängen, der Kodevektor des Musters der Prototypvektor, und die Klasse des Musters wird die Klasse des Prototyps.
E3. Vergrößerung von Generalisierer-Einflußfeldern
• Bei einigen Ausführungsformen des Systems werden Generalisierer-Einflußfelder auf ein Eingabemuster hin vergrößert. Fragt der Systen-Trainingsmechanismus eine Einheit ab, deren Generalisierer-Klassenliste die korrekte Klasse enthält, so können einige der korrekten Klassen-Generalisierer-Prototypen Kandidaten für eine Einflußfeldvergrößerung sein. Im besonderen definieren wir den Wachstumsring eines Prototyps als all diejenigen Punkte, deren unpassenden Zeichenentfernung mit dem Prototyp dr folgender Ungleichung genügt:
• &gamma;&theta;&sub9; < dr < &theta;&sub9;
• worin &theta;&sub9; der das Einflußfeld des Generalisierers definierende Schwellwert und Q eine reale Zahl im Intervall (0, 1) ist. (Ein typischer Wert für &alpha; liegt im Intervall [0,80, 0,90].)
• Betrachten wir die Gruppe von auslösenden Generalisierern in einer Einheit, deren Klasse zu der Katergorie des Musters paßt. Gibt es zumindest einen Prototyp, dessen Einflußfeld das Muster enthält, dessen Wachstumsring dies jedoch nicht tut, so werden keine Prototypen für diese Klasse vergrößert, gleichgültig ob das Muster in ihre Wachstumsringe fällt oder nicht. Andererseits werden, falls kein korrektor Klassenprototyp existiert, der das Muster in seinem Einflußfeid aber nicht in seinem Wachstumsring enthält, alle korrekten Klassenprototypen erweitert, deren Wachstumsringe das Muster enthalten. Von allen werden die Einflußfelder vergrößert, so daß das Muster gerade außerhalb des Wachstumsringes (jedoch innerhalb des Einflußfeldes) eines jeden von ihnen fällt. Im besonderen gilt, wenn zunächst für den i-ten aus lösenden Generalisierer
• dir = &delta;&theta;ig
• wo &gamma;< &delta;< 1
• da &theta;igT &theta;ig
• so daß &theta;ig = dir/&gamma;
• So würden, wenn das Muster sofort dargestellt werden sollte, die Einflußfelder keines dieser Generalisierer-Prototypen weiter vergrößert.
E4. Eingabe von Separator-Prototypen
• Wenn nach Neuzusammenstellung der System-Reaktion aufgrund von auslösenden Generalisierer-Prototypen das System noch im unklaren ist, dann versucht der System-Trainingsmechanismus Separator-Prototypen zwischen Paaren von Generalisierern aus derselben Einheit einzugeben, deren Klassen in der Unbestimmt-Gruppe des Systems dargestellt sind. Jedes solche Paar besteht aus einem auslösenden Generalisierer für die korrekte Klasse und einem auslösenden Generalisierer für eine andere Klasse in der Unbestimmt-Gruppe des Systems. Jedes solches Paar besteht aus einem auslösenden Generalisierer für die korrekte Klasse und einem auslösenden Generalisierer für eine andere Klasse in der Unbestimmt-Gruppe des Systems. Versucht der STM eine Separator-Eingabe für solch ein "Korrekte-Klasse-Entgegengesetzte-Klasse"-Paar, so versucht er ein Paar Separatoren für ein jedes Merkmal in den Generalisierer-Prototyp-Vektor-Paar einzugeben. (Man rufe sich in Erinnerung, daß ein Prototyp-Vektor die gleiche Struktur wie das von einer Einheit hervorgebrachte Zwischensignal F (der Musterkode-Vektor) besitzt. F ist als Gruppe von Signalen F&sub1; ... Fk organisiert, von denen jedes als ein "Merkmal" betrachtet wird.) Sind die beiden Klassen der in Rede stehenden Generalisierer A und B, so versucht der STM, für jedes Merkmal in den Generalisierer-Kodevektoren ein Paar Separatoren einzugeben, einen für "nicht A" und einen für "nicht B".
• Nehmen wir an, daß in der in Rede stehenden Einheit ein Eingabemuster einer Klasse Q durch F = (F&sub1; ... Fk ) repräsentiert wird, ferner, daß (&alpha;) = (P(&alpha;)&sub1; ... P(&alpha;)k ) und (ß) = (P(ß)&sub1;) ... P(ß)k) die beiden auslösenden Generalisierer für die Klassen &alpha; und ß sind. Des weiteren sei angenommen, daß &alpha; wie ß in der Unbestimmt-Gruppe des Systems dargestellt sind und daß db(P(&alpha;)j P(ß)j die binäre Entfernung zwischen den j-ten Merkmalswerten für (&alpha;) und (ß) repräsentieren. Die binäre Entfernung zwischen dem realwertigen Merkmalen P(&alpha;)j und P(ß)j wird errechnet, indem zunächst ein jedes Merkmal in sein binäres Äquivalent umgewandelt wird und anschließend eine Zählung nichtübereinstimmender Zeichen in den resultierenden binären Darstellungen erfolgt. Ein Paar Separator-Prototypen wird für das j-te Merkmal eingegeben, wenn die binäre Entfernung zwischen P(&alpha;)j und P(ß)j einen Minimalwert &theta;s überschreitet. &theta;s ist der Schwellwert für eine Separator-Eingabe. So gibt der System-Trainingsmechanismus, wenn db(P(&alpha;)j , P(ß)j ) > &theta;s ist und gegenwärtig keine Separatoren für dieses Merkmal und dieses Generalisierer-Paar existieren, ein neues Paar Separatoren in die Systemspeicherung ein. Diese seien als die m-ten und n-ten Separatoren bezeichnet (worin n = m + 1 ist). Steht der m-te Separator für "nicht a", dann definiert er sich wie folgt:
• Der Separator "nicht &beta;" wird definiert durch
• Der System-Trainingsmechanismis verwendet eine Vielfalt von Mechanismen, um den Gegenstand von auslösenden Korrekte-Klasse/Entgegengesetzte-Klasse-Generalisierern auszuwählen, für welche eine Separator-Eingabe versucht werde soll. Nehmen dir an, daß die korrekte Klasse für das Muster C&sup0; und daß [Ci], i = 1 ... N die Gruppe inkorrekter Klassen sei , welche in der Unbestimmt- Gruppe dargestellt sind. Verbunden mit Ci ist eine Gruppe von auslösenden Generalisierern [Pj(Ci )], j = 1 ... Gi, wobei Gi die Gesamtzahl auslösender Generalisierer für die Klasse Ci ist. Die Gruppen
• bilden die Gruppe aller möglichen Korrekte-Klasse/Entgegengesetze-Klasse-Generalisierer, für welche eine Separator-Eingabe möglich ist. In einer bevorzugten Ausführungsform des Systems versucht der STM eine Eingabe von Separatorern für alle solchen Generalisierer-Paare. Be einer anderen bevorzugten Ausführungsform des Systems versucht der STM eine Eingabe für nur ein Glied für jede der Pjk(O,i)-Gruppen. Er identifiziert für jede Gruppe das nächst-entgegengesetzte Generalisiererpaar- Glied (d.h. das Generalisiererpaar mit der kleinsten Inter-Prototyp-Vektor-Entfernung) und versucht eine Separator-Eingabe nur für dieses Generalisiererpaar in dieser Gruppe. Diese Ausführungsform wird in solchen Situationen bevorzugt, wo die Zahl der eingegebenen Separatoren minimiert werden muß.
F. Beispielsproblem
• Das GENSEP-System ist besonders vorteilhaft anwendbar bei solchen Mustererkennungen, wo Klussenterritorien in einem gegebenen Musterraum einander weitgehend überdecken. In solchen Fällen gibt es wesentlich mehr Territorium in dem Musterraum, welcher von P2-Prototypen gedeckt werden soll. Folgendes Problem sei betrachtet:
• Dabei sind in einem Bereich die Klassen A und B, in einem anderen C und D degeneriert. Bei dem im US-Patent 4,760,604 beschriebenen System würden zunächst einige P1-Prototypen für die verschiedenen Klassen eingegeben und schließlich so in der Größe reduziert, daß sie zu P2-Prototypen werden. Bevor dies geschieht, würde ihr Auftreten als P1-Prototypen jedoch die Größe der Einflußfelder zusätzlicher zu dem Problem eingegebener P2- Prototypen begrenzen (P2-Prototypen werden in diesen vorausgehend beschriebenen Systemen mit einem anfänglichen Einflußfeld eingegeben, das nicht größer als die Entfernung zu dem nächsten P1-Prototyp der entgegengesetzten Klasse ist). Da P2-Prototypen mit durchschnittlich gesehen, kleinräumigen Einflußfeldern Verwendung finden, benötigt das System mehr Zeit, die Klassen mit Prototyp-Einflußfeldern gänzlich abzudecken. Dazu noch ist wahrscheinlich, daß eine beträchtliche Menge der Einflußfelder von P2-Prototypen nahe der Grenze von A-B-, C-D-Bereichen in beiden Klassenbereichen liegen. Dies würde die Fähigkeit des Systems, in diesem Raum eine Klassentrennung durchzuführen, ernsthaft in Frage stellen.
• Bei einem GENSEP-System jedoch wird eine größere effektive Abdeckung erreicht, da die Größe der für die Klassen eingegebenen Generalisierer-Prototypen durch die Orte existierender Prototypen in keiner Weise begrenzt wird. Infolgedessen sind verhältsnismäßig weniger Prototypen erforderlich, den Raum abzudecken, und diese Abdeckung kann sehr rasch geschehen (unter der Annahme einer Verteilung von Eingabe-Trainingsmustern, welche das gesamte statistische Material des betrachteten Problems als in der Form von Muster-Klassenterritorien zum Ausdruck kommend erfaßt).
• Der von dem GENSEP-System gebotene zusätzliche Vorteil besteht darin, daß sich Separatoren entwickeln können, um jedwede in dem Raum mögliche Trennbarkeit auszunutzen. Im besonderen entwickeln sich Separatoren für die Merkmalskomponente x in dem Kode-Vektor, um A von C und A von D ebenso wie B von C und B von D zu trennen. Bei den vorausgehend beschriebenen Systemen würde der einzige zur Verfügung stehende Mechanismus zur Trennung innerhalb dieser Einheit aus P1-Prototypen bestehen. Wie festgestellt wurde wird in dem Maße, wie Klassenterritorien weitgehend überdeckend sind (im Gegensatz zu einer teilweisen Überdeckung) die Anzahl von überlebenden P1-Prototypen weitgehend reduziert.
ANHANG VERZEICHNIS VON AUSDRÜCKEN Klasse:
• Eine Begriffsdefinition einer Grupe von Mustern, welche dieselben Reaktionen eines Musterklassen-Separators und -Identifizierers hervorbringen. Alle Muster innerhalb dieser Gruppe repräsentierenden Vektor-Signale S bringen die gleiche Ausgangsreaktion R zustande. Ein Nestor -Anpassungsmodul weist keine voreingestellten oder vorher festgelegten Klassen auf, bevor er trainiert wurde.
Klassifikationseinheit:
• Eine einer Anzahl von begrifflich (oder körperlich) getrennten Einheiten des Systems. Diese Einheiten arbeiten parallel oder nacheinander, und jede enthält sowohl einen Kodierteil als auch einen Klassifikationsteil. Der Kodierteil wandelt das Vektor-Signal S in ein kodiertes Vektor-Signal F um; der Klassifikationsteil versucht, das Vektor-Signal F in eine allein auftretende Ausgangsreaktion R zu übersetzen, welche die Klasse des durch das Vektor-Signal S repräsentierten Eingabemusters identifiziert. Jede Klassifikationseinheit wird durch ihre eigene hierachische Ebene oder "Priorität" in dem System bezeichnet.
Unbestimmt-Zone:
• Ein Bereich in einem vieldimensionalen Musterraum, welcher mehr als einer Musterklasse zugeordnet ist. Typischerweise werden solche Bereiche mit mindestens zwei einander überdeckenden Lagen von Phase-2-Prototypen abgedeckt, wobei jede Lage einer anderen Klasse zugeordnet ist. In einigen Fällen können diese Zonen auch von einander überlappenden Einflußfeldern von Phase-1-Prototypen für verschiedene Klassen abgedeckt werden.
Korrelation:
• Die Auswahl der korrekten Klasse aus mehreren Ausgangsreaktionen einer Anzahl von Nestor-Anpassungsmodulen, von denen jede durch ein kodiertes Vektor-Signal F dargestellt wurde, welches das gleiche Eingabemuster repräsentiert.
Kodieren:
• Eine Transformation eines eintreffenden Vektor-Signals S, weiches ein Eingabemuster angibt in ein kodiertes Vektor-Signal F unter Verwendung eines Kodes "c". Die Transformation hängt von der Anwesenheit oder Abwesenheit eines bestimmten Merkmals in dem Muster ab. Der Zweck der Transformation besteht darin, in dem Signal S enthaltene irrelevante Informationen auszuschließen.
Ereignis:
• Ein tatsächliches Vorkommnis, welches durch ein Vektor-Signal S erkannt und dargestellt werden kann. Beispielsweise kann das Ereignis ein durch eine Kamera erkennbares sichtbares Muster oder ein durch ein Mikrophon feststellbares Schallmuster sein. Der Ausdruck "Ereignis" kann gleichbedeutend mit "Muster" Verwendung finden.
Einflußfeld eines Prototyps:
• Eine Region oder ein Territorium variabler Größe in dem vieldimensionalen Musterraum mit einem Prototyp als Zentrum. Bei Darbietung ruft ein Eingabe-Muster, welches in dieses Territorium fällt, eine Auslösung des Prototyps hervor.
Nachbarschaftsrecherche:
• Eine Suche innerhalb eines Nestor-Anpassungsmoduls nach benachbarten Prototypen innerhalb einer bestimmten Entfernung in dem vieldimensionalen Musterraum von dem Punkt aus, der ein Eingabe-Muster repräsentiert.
Nestor-Anpassungsmodul:
• Ein Gerät oder Verfahren wie es in einem oder mehreren der folgenden US-Patente beschrieben und beansprucht ist: 3,950,733, 4,044,243, 4,254,474, 4,326,259 und 4,760 604.
Muster:
• Eine spezielle Gruppe von Daten aus einem tatsächlichen "Ereignis" herrührend und durch ein Vektor-Signal S repräsentiert welches von einem Musterklassen-Separator und -Identifizierer klassifiziert werden soll. Obgleich jedes dem Musterklassen-Separator und -Identifizierer dargebotene Muster zumindest geringfügig unterschiedlich von jedem anderen, vorher dargebotenen Muster sein kann, kann es in eine einer willkürlichen Zahl von Klassen eingeordnet werden.
Mustersignal:
• Ein Vektor-Signal S aus individuellen skalaren Signaler S1 , S2 ... Sk , welches ein Eingabe-Muster für einen Musterklassen-Separator und -Identifizierer repräsentiert.
• Phase-1-Prototyp: Eine Art Prototyp, der, wenn "ausgelöst", die Reaktion eines Nestor-Anpassungsmoduls dirigiert und eine bestimmte Ausgangsreaktion auftreten läßt.
Phase-2-Prototyp:
• Eine Art Prototyp, der, wenn "ausgelöst", nur angeben kann, daß ein eintreffendes Muster in eine dazu bestimmte einer Mehrzahl von Klassen fallen kann.
Prototyp:
• Eine prototypische Darstellung eines Musters, wie sie in der Speicherung eines Nestor-Anpassungsmoduls gespeichert ist. Jeder Prototyp ist in der Speicherung durch (1) einen Vektor in dem vieldimensionalen Musterraum, (2) einen "Einflußbereich" in dem Musterraum, (3) eine bestimmte Musterklasse, welcher der Prototyp zugeordnet ist, und (4) ein die Phase des Prototyps angebendes Kennzeichen definiert.
Prototyp-"Eingabe":
• Die Bildung eines neuen Prototyps (eines Phase-1- oder Phase-2-Prototyps) in einem Nestor-Anpassungsmodul in Verbindung mit und als Folge der Darbietung eines Eingabemusters. Auf die Darbietung hin, während einer Trainingsphase, fällt jedes Eingabemuster entweder in das Einflußfeld eines vorhandenen Prototyps, oder sie ruft die Bildung eines neuen Prototyps hervor.
Einen Prototyp "auslösen":
• Es heißt ein Prototyp wird "ausgelöst", wenn ein durch ein Vektor-Signal S dargestelltes Eingabemuster in den Einflußbereich dieses Prototyps fällt. Dies veranlaßt den Nestor-Anpassungsmodul, in welchem der Prototyp angesiedet ist, eine Ausgangsreaktion hervorzubringen.
Systemebene:
• Eine Mehrzahl von Klassifikationseinheiten mit derselben Priorität.
Stimmenzählung:
• Eine Korrelationstechnik, welche Verwendung findet, wenn ein Eingabemuster in eine "Unbestimmt-Gruppe in dem vieldimensionalen Musterraum fällt.
System-Ausdrücke:
• Die folgenden Ausdrücke sind definiert:
• NUM_UNIT = Anzahl der Einheiten im System
• FPAT(u), u=1 ... NUM_UNIT
• = Anordnung von Muster-Kode-Vektoren
• SYS_VOTE_CNT_LST
• = System-Stimmenzahl-Liste - eine Liste von zu einer Musterklasse aufgeführten Stimmen
• FIR_GEN_LST(u), u=1 ... NUM_UNIT
• = Liste auslösender Generalisierer für eine gegebene Einheit
• FIR_GEN_CLASS_LST(u), u=1 . . . NUM_UNIT
• = Liste von zu auslösenden Generalisierern für eine gegebene Einheit gehörigen Klassen
• FIR_SEP_LST(u), u=1 ... NUM_UNIT
• = Liste auslösender Separatoren für eine gegebene Einheit
• FIR_SEP_CLASS_LST(u), u=1 ... NUM_UNIT
• = Liste von zu auslösenden Separatoren für eine gegebene Einheit gehörigen Klassen Übersetzung der Zeichnungsbeschriftungen FIG. 1: ENVIRONMENT UMGEBUNG DETECTOR DETEKTOR Signal Signal CLASSIFICATION UNIT 1 , i, N KLASSIFIKATIONSEINHEIT 1, i, N Coding Kodierung Generalizers Generalisierer Separators Separatoren POLL ZÄHLUNG System Training Mechanism System-Trainingsmechanismus CLASS SELECTION MECHANISM KLASSEN-SELEKTIONSMECHANISMUS Output Ausgang Response Reaktion USER BENUTZER TRAINER TRAINIERER CORRECT CLASSIFICATION KORREKTE KLASSIFIKATION FIG. 2a: CLASS SELECTION MECHANISM KLASSEN-SELEKTIONSMESCHNISMUS (Embodiment 1) (Ausführungsbeispiel 1) FIG. 2b: CLASS SELECTION MECHANISM KLASSEN-SELEKTIONS-MECHANISMUS (Embodiment 1) continued (Ausführungsbeispiel 1) Fortsetzung Fig. 3: CLASS SELECTION MECHANISM (Embodiment 2) KLASSEN-SELEKTIONS-MECHAMISMUS (Ausführungsbeispiel 2) FIG. 4: OUTPUT SYSTEM RESPONSE AUSGABE SYSTEM REAKTION FIG. 5a: SYSTEM TRAINING MECHANISM SYSTEM-TRAININGSMECHANISMUS Fig. 5b: SYSTEM TRAINING MECHANISM (continued) SYSTEM-TRAININGSMECHANISMUS (Fortsetzung)

Claims (1)

1. System zur Klassifizierung und Identifizierung von Mustern, wobei jedes Muster durch ein Eingangssignal S repräsentiert wird und das System zumindest eine Klassifizierungseinheit Ui enthält:

(1) auf das genannte Signal S ansprechende Mustermerkmalkodiermittel zur Erzeugung eines Zwischensignals F, das aus Signalkomponenten F&sub1;, F&sub2;...Fi ... Fk besteht, die für in dem durch das Signal S repräsentierten Muster enthaltene Merkmale bezeichnend sind, und

(2) auf das erwähnte Zwischensignal F ansprechende Musterklassifikationsmittel zur Erzeugung eines für eine vorgeschlagene entsprechende Klasse des durch das Signal S repräsentierten Musters, wie es durch die durch das Zwischensignal F repräsentierten Merkmale identifiziert wird, repräsentativen Ausgangssignals Ri,

dadurch gekennzeichnet, daß die genannten Musterklassifizierungsmittel folgende Elemente enthalten:

(a) Generalisierungsmittel mit

(i) Speichermitteln zum Speichern einer Mehrzahl von Generalisierungsprototypen innerhalb eines vieldimensionalen Musterraumes, deren jeder als in den genannten Speichermitteln gespeicherte Prototypinformation einen Vektorort in dem Musterraum, eine skalare Entfernung in einem gegebenen Bereich zwischen einem Minimal- und einem Maximalwert, welche die Größe eines Einflußbereichs um den Vektorort dieses Generalisierungsprototyps definiert, sowie eine bestimmte Klasse enthält, mit welcher dieser Generalisierungsprototyp verbunden ist, und

(ii) Mitteln zum Vergleichen des Vektorortes eines durch ias Zwischensignal F repräsentierten Eingangsmusters mit einer Hehrzahl der genannten in den Speichermitteln gespeicherten Generalisierungsprototypen zur Feststellung, ob der betreffende Eingangsmusterort in einen Einflußbereich mindestens eines der Generalisierungsprototypen fällt, und zur Erzeugung eines für die mit dem zumindest einen Generalisierungsprototypen verbundende Klasse bezeichnenenden Generalisierungsausgangsklassifikationssignals, wenn der Eingangsmusterort in dessen Einflußbereich fällt,

(b) Separatormittel mit

(i) Speichermitteln zum Speichern einer Mehrzahl von Separatorprototypen innerhalb des Musterraumes, deren jeder als in den Speichermitteln gespeicherte Prototypinformation einen Vektorort in dem Musterraum, eine die Größe eines Einflußbereichs um den Vektorort des betreffenden Separatorprototyps definierende skalare Entfernung, eine bestimmte Klasse, mit der dieser Separatorprototyp verbunden ist, die Identität eines Paares von Generalisierungsprototypen, mit denen der Separatorprototyp verbunden ist, sowie einen einen Abschnitt der Signalkomonenten F&sub1;, F&sub2;...Fi...Fk des die Generalisierungsprototypen, mit denen der Separatorprototyp verbunden ist, enthaltenden Musterraumes spezifizierenden Index, (und)

(ii) Mitteln zum Vergleichen des Ortes eines durch die Signalkomponenten des Zwischensignals F, welches durch den betreffenden Index eines Separatorprototyps identifiziert wird, repräsentierten Eingangsmusters mit mindestens einem der in den Speichermitteln gespeicherten Separatorprototypen zur Feststellung, ob der Eingangsmusterort in einen Einflußbereich eines solchen Separatorprototyps fällt, und zum Erzeugen eines für die Klasse dieses Eingangsmusters bezeichnenden Separatorausgangsklassifikationssignals, wenn der Eingangsmusterort in den Einflußbereich eines solchen Separatorprototyps fällt, sowie

(c) in Abhängigkeit von den Generalisierungsmittein und den Separatormitteln arbeitende Auszählmittel zum Erzeugen eines Klassifizierungseinheitsausgangssignals Ri in Abhängigkeit von dem Generalisierer- und Separatorausgangsklassifikationssignalen,

um damit in den Einflußbereich einer Mehrzahl von Generalisierungsprototypen fallende Muster zu identifizieren.

2. System nach Anspruch 1 mit einer Mehrzahl der genannten Klassifizierungseinheiten U&sub1; , U&sub2;...Uj... Uk , die entsprechende Ausgangssignale R&sub1;, R&sub2;...Rj...Rk erzeugen, und auf alle diese Ausgangssignale R&sub1;, R&sub2;...Ri...Rk ansprechenden Klassenauswahlmitteln zum Erzeugen eines die Klasse des betreffenden Musters repräsentierenden einzigen Ausgangssignals R.

3. System nach Anspruch 1, worin die Generalisierungsmittel des weiteren Mittel zum Modifizieren der die Größe eines Einflußbereichs eines jeden Generalisierungsprototyps innerhalb des gegebenen Bereichs definierenden skalaren Entfernung enthalten, denn sich das System in einem Lehrmodus befindet.

4. System nach Anspruch 1 , worin der erwähnte maximale Wert einen Einflußbereich für den betreffenden Generalisierungsprototyp von etwa fünf Prozent bis fünfzig Prozent des Musterraumes definiert.

5. System nach Anspruch 1, worin jeder Generalisierungsprototyp des weiteren als in den Generalisierungsspeichermitteln gespeicherte Prototypinformation einen Satz Gewichtungsfaktoren W&sub1; , W&sub2;...Wj...Wk enthält, je einen für jede entsprechende Komponente F&sub1; , F&sub2;...Fi...Fk des erwähnten Zwichensignals F, und worin die Musterklassifizierungsmittel des weiteren Mittel zum Multiplizieren einer jeden Zwischensignalkomponente Fi mit dem betreffenden zugehörigen Gewichtungsfaktor Wi oder Mittel zur Durchführung eines Bit-Vergleichs zwischen dem Eingangssignal Fi und dem Gewichtungsfaktor Wi enthalten, um eine gewichtete Signalkomponente F'i zum Vergleich durch die genannten Vergleichsmittel zu erzeugen.

6. System nach Anspruch 1 (oder 5?), welches des weiteren Mittel zum Einstellen der Generalisierungsgewichtungsfaktoren während eines Lehrmodus zum Modifizieren des Ausgangsklassifikationssignals Rj der Musterklassifizierungsmittel enthält.

System nach Anspruch 1, worin die Separatormittel des weiteren Mittel zum Modifizieren der die Größe eines Einflußbereichs eines jeden Separatorprototyps bei in einem Lehrmodus befindlichem System definierenden skalaren Entfernung enthält.

. System nach Anspruch 1, worin ein jeder Separatorprototyp als in den Separatorspeichermitteln gespeicherte Prototyp- information des weiteren einen Satz Gewichtungsfaktoren W&sub1;, W&sub2;...Wi...Wk , je einen für jede entsprechende Komponente F&sub1;, F&sub2;...Fi...Fk des Zwischensignals F, und die Musterklassifizierungsmittel des weiteren Mittel zum Multiplizieren einer jeden Zwischensignalkomponente Fi mit dem betreffenden zugehörigen Gewichtungsfaktor Wi oder Mittel zur Durchführung eines Bit- Vergleichs zwischen dem Eingangssignal Fi und dem Gewichtungsfaktor Wi enthalten, um eine gewichtete Signalkomponente F'i zum Vergleich durch die Vergleichsmittel zu erzeugen.

9. System nach Anspruch 8, welches des weiteren Mittel zum Einstellen der Separatorgewichtungsfaktoren während eines Lehrmodus zum Modifizieren des Ausgangsklassifikationssignals Ri der Musterklassifizierungsmittel enthält.

10. System nach Anspruch 1, worin die Generalisierungsmittel und Separatormittel enthaltenden Musterklassifizierungsmittel des weiteren Mittel zum Bestimmen des zu einem jeden Separatorprototyp gehörenden Paares von Generalisierungsprototypen enthalten.

11 . Verfahren zur Klassifizierung und Identifizierung von Mustern in einem System mit Eingabemitteln zur Aufnahme eines aus ein jedes Eingangsmuster als Ort in einem mehrdimensionalen Musterraum repräsentierenden Signalkomponenten F&sub1;, F&sub2;...Fi...Fk bestehenden Eingangssignals F, Speichermitteln zum Speichern von Information und mit den Eingabemitteln und den Speichermitteln verbundenen Computermitteln, dadurch gekennzeichnet, daß das Verfahren die folgenden Schritte aufweist:

(a) Speichern in den Speichermitteln von einer Mehrzahl Generalisierungsprototypen innerhalb des mehrdimensionalen Musterraumes, wobei jeder Generalisierungsprototyp als in den Speichermitteln gespeicherte Information einen Vektorort in dem Musterraum, eine skalare Entfernung in einem Bereich zwischen einem Minimal- und einem Maximalwert, welche die Größe eines Einflußbereichs um den Vektorraum des Generalisierungsprototyps definiert, und eine zu dem Generalisierungsprototyp gehörende bestimmte Klasse enthält,

(b) Vergleichen des Ortes eines durch das Eingangssignal F respräsentierten Eingangsmusters mit einer Mehrzahl dieser in den Speichermitteln gespeicherten Generalisierungsprototypen zur Feststellung, ob der Eingangsmusterort in einen Einflußbereich mindestens eines der Generalisierungsprototypen fällt,

(c) Erzeugen eines für die zu mindestens einem Generalisierungsprototyp gehörende Klasse bezeichnenden Generalisierungsausgangsklassifikationssignals, wenn der Eingangsmusterort in dessen Bereich fällt,

(d) Speichern in den Speichermitteln von einer Mehrzahl Separatorprototypen innerhalb des Musterraumes, wobei jeder Separatorprototyp als in den Separatorspeichermitteln gespeicherte Prototypinformation einen Vektorort in dem Musterraum, eine die Größe eines Einflußbereichs um den Vektorort des Separatorprototyps definierende skalara Entfernung, eine bestimmte zu dem Separatorprototyp gehörende Klasse, die Identität eines Paares von zu dem Separatorprototyp gehörenden Generalisierungsprototypen und einen einen Teil der Signalkomponenten F&sub1;, F&sub2;...Fi...Fk des die zu dem Separatorprototyp gehörenden Generaisierungsprototypen enthaltenden Musterraumes spezifizierenden Index enthält,

(e) Verleichen des Ortes eines durch die Signalkomponenten des durch den betreffenden Index von Separatorprototypen identifizierten Eingangssignals F repräsentierten Eingangsmusters mit zumindest einem der in den Speichermitteln gespeicherten Separatorprototypen zur Feststellung, ob der Eingangsmusterort in einen Einflußbereich eines solchen Separatorprototyps fällt,

(f) Erzeugen eines für die Musterklasse bezeichnenden Separatorrausgangsklassifikationssignalen, wenn der Eingangsmusterort in den Einflußbereich eines solchen Separatorprototypen fällt, und

(g) Erzeugen eines für die Klasse des durch das Eingangssignal Fi repräsentierten Eingangsmusters bezeichnenden Ausgangssignals Ri in Abhängigkeit von den Generalisierung- und Separatorausgangsklassifikationssignalen,

um damit in die Einflußbereiche einer Mehrzahl von Generalisierungsprototypen fallende Muster zu identifizieren.

12. Verfahren nach Anspruch 11, welches des weiteren den Schritt Modifizieren der die Größe eines Einflußbereichs eines jeden Generalisierungsprototyps innerhalb des gegebenen Bereiches definierenden skalaren Entfernung während eines Lehrmodus enthält.

13. Verfahren nach Anspruch 11, worin der Maximalwert einen Einflußbereich für den betreffenden Generalisierungsprototyp von etwa fünf Prozent bis fünfzig Prozent des Musterraumes bezeichnet.

14. Verfahren nach Anspruch 11, worin jeder Generalisierungsprototyp als in den Speichermitteln gespeicherte Prototypinformation des weiteren einen Satz Generalisierungsgewichtungsfaktoren W&sub1; , W&sub2;...Wi...Wk , je einen für eine jede entsprechende Komponente F&sub1; , F&sub2;... Fi...Fk des Eingangssignals F, und das Verfahren des weiteren die folgenden Schritte aufweist: Multiplizieren eines jeden Eingangssignals Fi mit den entsprechenden zugehörigen Generalisierungsgewichtungsfaktor Wi oder Durchführen eines Bit-Vergleichs zwischen dem Eingangssignal Fi und dem Gewichtungsfaktor Wi zum Erzeugen eines gewichteten Signals F'i zur Verwendung bei dem Vergleichsschritt

15. Verfahren nach Anspruch 14, welches des weiteren den Schritt Einstellen der Generalisierungsgewichtungsfaktoren während eines Lehrmodus enthält.

16. Verfahren nach Anspruch 11, welches des weiteren den Schritt Modifizieren der die Größe und den Bereich des Einflusses (oder: die Größe des Einflußbereichs?) eines jeden Separatorprototypen während eines Lehrmodus bezeichnenden skalaren Entfernung enthält.

17. Verfahren nach Anspruch 11, worin jeder Separatorprototyp des weiteren als in den Speichermitteln gespeicherte Prototypinformation einen Satz Separatorgewichtungsfaktoren W&sub1;, W&sub2;...Wi...Wk , je einen für jede entsprechende Komponente F&sub1;, F&sub2;...Fi...Fk des Eingangssignals F, und das Verfahren des weiteren den Schritt Multiplizieren einer jeden Eingangssignalkomponente Fi mit dem betreffenden zugehörigen Separatorgewichtungsfaktor Wi oder Durchführen eines Bit-Vergleichs zwischen dem Eingangssignal Fi und dem Gewichtungsfaktor Wi enthält, um eine gewichtete Signalkomponente F'i zur Verwendung bei dem Vergleichsschritt zu erzeugen.

18. Verfahren nach Anspruch 17, welches des weiteren den Schritt Einstellen der Separatorgewichtungsfaktoren während eines Lehrmodus enthält.

19. Verfahren nach Anspruch 11, welches des weiteren den Schritt Bestimmen des Paares zu einem jeden Separatorprototyp gehörender Generalisierungsprototypen enthält.