DE68908910T2 - Paralleles, mehrere Einheiten umfassendes, anpassungsfähiges Musterklassifizierungssystem, das Korrelationen zwischen den Einheiten und eine Klassentrennungsmethodologie innerhalb der Einheiten benutzt. - Google Patents
Paralleles, mehrere Einheiten umfassendes, anpassungsfähiges Musterklassifizierungssystem, das Korrelationen zwischen den Einheiten und eine Klassentrennungsmethodologie innerhalb der Einheiten benutzt.Info
- Publication number
- DE68908910T2 DE68908910T2 DE89100157T DE68908910T DE68908910T2 DE 68908910 T2 DE68908910 T2 DE 68908910T2 DE 89100157 T DE89100157 T DE 89100157T DE 68908910 T DE68908910 T DE 68908910T DE 68908910 T2 DE68908910 T2 DE 68908910T2
- Authority
- DE
- Germany
- Prior art keywords
- separator
- prototype
- pattern
- generalization
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000000926 separation method Methods 0.000 title description 9
- 239000013598 vector Substances 0.000 claims description 38
- 230000004044 response Effects 0.000 description 43
- 230000007246 mechanism Effects 0.000 description 26
- 238000012549 training Methods 0.000 description 24
- 241000750002 Nestor Species 0.000 description 23
- 230000006978 adaptation Effects 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Description
- Der Gegenstand dieser Patentanmeldung ist verwandt mit demjenigen, der in gemeinsamem Besitz befindlichen US-Patente Nr. 3,950,733, 4,044,243, 4,254,474, 4,326,259 und 4,760,604, alle von Cooper u.a. und alle hier einbezogen durch Bezugnahme.
- Diese Erfindung bezieht sich auf adaptive Informationsverarbeitungssysteme. Im besonderen bezieht sie sich auf selbstorganisierende Eingabe-Ausgabegeräte, die dazu dienen, Klassen von Mustern einschließlich denjenigen, die nicht linear trennbar sind, zu trennen und zu identifizieren.
- Die obengenannten Patente von Cooper u.a. geben Verfahren und Einrichtungen (Systeme) an, die lernen können "Muster" oder tatsächliche "Ereignisse" zu kassifizieren, selbst wenn Darstellungen derselben nicht linear trennbar sind. Die Muster oder Ereignisse werden von irgendeiner Datensammeleinrichtung ermittelt und in eine Gruppe von Magen oder Merkmalen kodiert, deren Ergebnisse von dem Signal S dargestellt werden, welches aus individuellen Signalen s&sub1;, s&sub2;, ... sk besteht. Das Signal S könnte beispielsweise ein Signal aus einer Kamera sein, die eine Szene (Muster) registriert oder das Ausgangssignal eines Mikrofons, welches einen Schall (Muster) feststellt, oder von einer Datenbank stammen, die Ereignisse, historische Aufzeichnungen usw. (abstrakte Muster) angibt.
- In einem einen Nestor -Anpassungsmodul, wie in diesen Patenten beschrieben, enthaltenden System sollten sämtliche Eingangssignale S (die selbst hierin als "Muster bezeichnet sind), die zu der gleichen Klasse gehören, die gleiche Endreaktion aus dem System hervorbringen. Beispielsweise sollte bei einer Anwendung wie z B. der Zeichenerkennung, jede von dem System gesehene Version einer handgeschriebenen "2" zu einem Ausgangssignal führen, welches die Darstellung des Zeichenursprungsgliedes für "2" an irgendeiner Ausgabeeinrichtung, an einem Bildschirm, auf einem Ausdruck usw. hervorruft.
- Ein System dieser Art ist ein außerordentlich wirksamer Musterklassenseparator und -identifizierer. Das System kann durch einen Lernprozeß instruiert werden, welcher nicht erfordert, daß die Bedienungsperson die (möglicherweise) komplexe Geographie der Musterklasse in dem vieldimensionalen Musterraum angibt, in welchem das Eingabeereignis dargestellt wird. In einem solchen System wird das Eingabeereignis S in ein Zwischensignal F vorverarbeitet, welches nur bestimmte vorgeschriebene Merkmale des Original-Musters angibt. Indem man das Eingabesignal S (welches das Muster angibt) diesem Vorverarbeitungsschritt unterzieht - der nachfolgend als Kodierung bezeichnet wird - sollte genügend Inforrration gespeichert werden, um damit Muster voneinander unterscheiden zu können. Information, die für das Lernen einer Klasse irrelevant ist, kann wichtig sein, eine andere Klasse zu unterscheiden. Aus diesem Grunde kann es schwierig sein, eine einzelne Vorverarbeitungsstrategie auszuwählen, welche alle irrelevante Information beseitigt, ohne die Fähigkeit aufzugeben, einige Klassen zu unterscheiden.
- Das obengenannte US-Patent 4, 760,604 beschreibt ein Nestor-System mit vielen Einheiten, welches als eine Art Zusammenschluß einer Anzahl von Nestor-Anpassungsmodulen aufgefaßt werden kann. Jeder einzelne Nestor-Modul kann als komplette Einheit betrachtet werden, die ihre eigenen Vorverarbeitungs- und Kodiervorgänge enthält. Ein Muster wird durch die Reaktion identifiziert, welche es zwischen diesen Einzeleinheiten hervorruft. Jede Einheit hat ihre eigenen Kodiervorgänge, die sich von denjenigen einer anderen unterscheiden. Die Kodiervorgänge einer Einheit definieren ihren Koderaum. Sie ist empfindlich gegenüber bestimmten Typen von Informationen in dem Eingangssignal. Die spezielle Gruppe von Merkmalen, welche sie registriert, kann ihr eine spezielle Fähikgeit verleihen, einige Typen von Musterklassen zu lernen, nicht jedoch andere. In dem Maße, in dem eine Klasse gut von allen anderen in dem Musterraum einer gegebenen Einheit getrennt wird und in dem Maße, in dem sie nicht in dem gesamten Raum weitverbreitet ist, besitzt diese Einheit eine natürliche "Fähigkeit" diese Klasse zu lernen. Gleichzeitig kann das Lernen anderer Musterklassen ein Zusammenschließen der Fähigkeiten mehrerer Einzeleinheiten erfordern, von denen keine für sich aufgrund ihrer Vorverarbeitungs- und Kodiereigenschaften genügend Unterscheidungsfähikgeit besitzt, um diese Klassen zu unterscheiden. In diesem Fall identifiziert das System ein Beispiel einer solchen Klasse durch miteinander in Beziehung Bringen der Reaktionen einer Gruppe von Einheiten.
- Das in der obengenannten Patentanmeldung angegebene, aus vielen Einheiten bestehende Nestor-System ist so organisiert, daß es zunächst eine Trennung von Musterklassen innerhalb einzelner Koderäume versucht und danach für diejenigen Klassen, für die dies nicht möglich ist, versucht, die Reaktionen mehrerer Einheiten miteinander in Verbindung zu bringen, um eine Identifikation zu bewirken. Ein solches System arbeitet am besten, wenn innerhalb der Musterräume der verschiedenen Ereignisse Klassenverteilungen weitgehend (aber nicht notwendigerweise insgesamt) nicht-überlappend sind. Für die nicht-überlappenden Bereiche der verschiedenen Klassen-Territorien kann rasch eine wirksame Aufzeichnung der Bereiche erfolgen ("überdeckend" mit "Einflußfeldern" von Nestor-Anpassungsmodul-"Prototypen"), indem dem System eine geeignete Trainiergruppe von Mustern gezeigt wird, die eine repräsentative Probe der in Rede stehenden Klassen bildet. Diejenigen Teile eines Klassenterritoriums, die sich mit einer anderen Klasse (oder anderen Klassen) überschneiden, müssen dennoch ordnungsgemäß festgehalten ("gedeckt") werden. Dieses Territorium muß für jede der Klassen festgehalten werden, indem ein Anspruch darauf in dem Musterraum gerichtet wird. Ist dies geschehen und sind die Musterräume der verschiedenen Einheiten in dem Viel- Einheiten-System genügend verschieden voneinander (im Idealfall aber nicht notwendigerweise orthogonal), dann werden die überlappenden Klassenbereiche eines Musterraumes nicht in einem anderen widergegeben. (Zwei Musterräume sind orthogonal, wenn für irgendein Ereignis, dessen Darstellung in einem Raum völlig unabhängig von seiner Darstellung in dem anderen Raum ist.) Dementsprechend dient die Korrelation von Einheiten-Reaktionen mehrerer Einheiten dazu, die Muster zu identifizieren. Als Beispiel einer Viel-Einheiten-Korrelation denke man sich ein Zwei-Einheten-System, in welchem eine Einheit 1 (U&sub1;) degenerierte Klassenterritorien für Klassen A und B hätte, während eine Einheit 2 (U&sub2;) degenerierte Regionen für B und C hätte. Ein Beispiel eines Klasse-B-Musters würde dann zu den "verworrenen" Reaktionen A oder B aus U&sub1; und B oder C aus U&sub2; führen, die miteinander in Beziehung gebracht werden könnten, um die Identifikation B hervorzubringen.
- Sind innerhalb der verschiedenen Einheits-Musterräumen Klassenbereiche weitgehend überlappend anstatt weitgehend getrennt, so lernt das in dem oben erwähnten US-Patent 4,760,604 angegebene Viel-Einheiten-Nestor-System schließlich, die Klassen zu trennen, doch kann es hierzu lange Trainingszeiten und große Zahlen von Prototypen erfordern. Dies ist der Tatsache zuzuschreiben, daß in einigen Fällen der Vorgang des Trennens von Klassenterritorier dazu führt, daß sie von vielen Prototypen gedeckt werden, von denen jeder einen Teil des Klassenbereiches in Anspruch nimmt, der klein ist gegenüber der Größe des gesamten Klassenterritoriums. Dies führt zu langen Trainingszeiten für das System, um eine zuverlässige Bearbeitung des Problems zu erreichen.
- Ein Hauptanliegen der vorliegenden Erfindung besteht darin, einen Musterklassenseparator und -identifizierer zu schaffen, der Klassen von Mustern trennen und identifiezieren kann, die eine breite Vielfalt von augenfäll igen Merkmalen aufweisen.
- Ein weiteres Anliegen der vorliegenden Erfindung besteht darin, einen Musterklassenseparator und -identifizierer zu schaffen, der Klassen von Mustern trennen und identifizieren kann, die nur kleine und geringfügige Unterschiede zwischen sich aufweisen.
- Noch ein weiteres Anliegen der vorliegenden Erfindung besteht darin, eine spezielle softwaremäßig verwirklichte Ausführung der vorliegenden Erfindung zu schaffen, die in der Lage ist, die unmittelbar vorausgehend angegebenen Ziele zu erreichen.
- Diese wie auch weitere Ziele der vorliegenden Erfindung, die sich aus der folgenden Erörterung ergeben, werden gemäß der vorliegenden Erfindung, wie sie durch die anschließenden Ansprüche definiert ist, erreicht durch Schaffung eines Musterklassifikations- und -identifikationssystems, das (a) eine Mehrzahl parallelgeschalteter Klassifikationseinheiten, die ein ein jedes Muster repräsentierendes Eingangssignal S aufnehmen, und (b) eine Klassenselektionseinrichtung (CSD) enthält, welche auf die von den Klassifikationseinheiten hervorgebrachten Ausgangssignale reagiert, um eine einzige Ausgangsreaktion R hervorzubringen, welche die Klasse eines jeden betreffenden Musters repräsentiert.
- Die Klassifikationseinheiten enthalten sowohl "Generalisierer" als auch "Separatoren", die "Generalisierer-Prototypen" bzw. "Separator-Prototypen" speichern. Das System vergleicht jedes Eingangsmuster zuerst mit den Generalisierer-Prototypen, um festzustellen, ob ein solches Muster in den Einflußbereich zumindest eines Generalisierer-Prototyps fällt. Kann eine einzigartige und bestimmte Reaktion auf ein bestimmtes Eingangsmuster durch einen solchen Vergleich nicht erhalten werden, so vergleicht das System ein solches Eingangsmuster mit den Separator- Prototypen, um zu bestimmen, ob das Eingangsmuster in einen Einflußbereich von mindestens einem dieser Separator-Prototypen fällt.
- Das System nach der vorliegenden Erfindung, wie es durch die anschließenden Ansprüche definiert ist, besteht aus einer Modifikation des in dem oben erwähnten US-Patent 4,760,604 angegebenen Viel-Einheiten-Nestor-Systems. Dieses System wird "GENSEP" für "Generalisierer/Separator" genannt. In dem GENSEP-System trainieren die einzelnen Einheiten zunächst Aufzeichnungen zu entwickeln, welche die Klassenterritorien mit Generalisierer genannten Prototypen bedecken. Generalisierer-Prototypen sind nicht ausgesprochen dazu gestaltet, eine Trennung von Klassen in dem Koderaum einer Einheit zu erreichen. Vielmehr bringt das System die Viel-Einheiten-Reaktionen von Auslöse-Generalisierern miteinander in Verbindung, um eine Klassentrennung zu erreichen. Eine andere Klasse von Prototypen, Separatoren genannt, entstehen in dem System, um eine Klassentrennung aufgrund von Merkmals-Untergruppen der Generalisierer-Kodiereinheiten herbeizuführen.
- Da das System keine Trennung in den Generalisierer-Kodiereinheiten versucht, entstehen Klassendeckungen rascher, zuverlässiger und mit geringeren Anzahlen von Prototypen. Dies verbessert die Fähigkeit des Systems, Identifikationen durch die Korrelation der Reaktionen verschiedener Einheiten zu erzielen, vorausgesetzt, daß die Einheiten nicht identisch sind hinsichtlich der von ihnen zur Charakterisierung von Eingabeereignissen verwendeten Merkmals-Parameter. Können Korrelationen zwischen Einheiten eine Musterklasse nicht feststellen, so wird zu den Separator- Prototypen Zuflucht genommen, die eine Untergruppe der Eingabeinformationen tragen, welche dazu dienen kann, eine Klasse von einer anderen zu unterscheiden. Sehr häufig können genügend "generalisierende" Einheiten definiert werden, so daß die von einer Korrelation aller solcher Einheiten erhaltene Reaktion die Anzahl versuchsweiser Klassifikationen auf zwei oder höchstens drei reduzieren kann. (Dies wurde für eine Online-Zeichenerkennung für die abendländischen alphanumerischen Zeichen festgestellt.) Dann ist es einfach erforderlich, aus den Generalisierungseinheiten das entsprechende Trennmerkmal herauszuziehen, nach dem Musterunterscheidungen zuverlässig erfolgen können. Mit GENSEP stellen wir einen Mechanismus zur Erzeugung von Separator-Prototypen vor, welche klassenunterscheidende Merkmale verkörpern. In der Tat wird eine Anzahl solcher Separator-Prototypen definiert, und durch Trainieren werden Separatoren ausgewählt, die sehr wirksam sind für die erforderlichen Arten von Klassentrennung. Die separierenden Prototypen können als "Arbeitsanleitung" für Mehrdeutigkeits-Verwechslungen angesehen werden. Das System lernt, diese Anleitungen nach Bedarf zu formulieren. Auf diese Weise können die Separator-Prototypen Klassen von Mustern unterscheiden, die nur kleine und geringfügige Unterschiede voneinander aufweisen.
- Für ein volles Verständnis der vorliegenden Erfindung wird nun Bezug genommen auf die nachfolgende detaillierte Beschreibung des bevorzugten Ausführungsbeispiels der Erfindung und auf die begleitenden Zeichnungen.
- Figur 1 ist ein Blockdiagramm eines Parallel-Vieleinheitenadaptiven Musterklassifikationssystems unter Verwendung einer Klassenkorrelation zwischen den Einheiten und einer zwischen den Einheiten stattfindenden Klassenseparator-Methodik nach der vorliegenden Erfindung.
- Figur 2 (bestehend aus den Figuren 2a und 2b) ist ein Flußdiagramm, welches einen Algorithmus für ein Softwaresystem (Nestor- System ), angibt, der das adaptive Musterklassifikationssystem aus Figur 1 gemäß einem ersten bevorzugten Ausführungsbeispiel der vorliegenden Erfindung betreibt.
- Figur 3 ist ein Flußdiagramm, welches einen Algorithmus für ein Softwaresystem (Nestor-System ) angibt, der das adaptive Musterklassifikationssystem aus Fig. 1 gemäß einem zweiten bevorzugten Ausführungsbeispiel der bevorzugten (muß heißen: vorliegenden) Erfindung betreibt.
- Figur 4 ist ein Flußdiagramm, welches einen Algorithmus zur Erzeugung der Ausgansreaktion in dem adaptiven Musterklassifikationssystem aus Figur 1 angibt.
- Figur 5 (bestehend aus den Figuren 5a und 5b) ist ein Flußdiagramm welches den System-Trainingsmechanismus zur Modifizierung des Speichers in der Klassifikationseinheit des adaptiven Musterklassifikationssystems aus Figur 1 angibt.
- Die vorliegende Erfindung und ihre bevorzugten Ausführungsbeispiele werden nun unter Bezugnahme auf die Figuren 1 - 5 der Zeichnungen beschrieben.
- In einem bevorzugten Ausführungsbeispiel des GENSEP-Systems nach der vorliegenden Erfindung, wie es in Figur 1 dargestellt ist, enthält jede Klassifikationseinheit U sowohl (1) eine Muster-Merkmal-Kodiereinrichtung, die auf das Eingangssignal S anspricht, um ein für die in dem Muster enthaltenen Merkmale bezeichriendes Zwischensignal F zu erzeugen, und (2) eine Musterklassifikationsreaktion auf das Signal F zur Erzeugung eines Ausgangssignals R, welches für die betreffende Klasse des Musters bezeichnend ist, die durch die von der Musterkodiereinrichtung kodierten Merkmale identifiziert wurde.
- Jede Klassifikation mit Ui sieht ein Eingangssignal S (das Ausgangssignal der das Eingabeereignis charakterisierenden Datenaufnahmeeinrichtung oder -einrichtungen) und kann an das Signal einen "Kode" anlegen, um daraus eine Gruppe von Werten F&sub1; ... Fk herauszuziehen. Wie bei dem in den obengenannten Patenten angegebenen Nestor-Anpassungsmodul bewirkt die Einheit einen Vergleich des eintreffenden Mustervektors F mit einer Gruppe von Prototypen Pj , j=1 ... N. Dies bringt eine Ausgangsklassifikation R zustande, die bezeichnend ist für den oder die auf den Mustervektor F reagierenden oder zu ihm passenden Prototypen (soweit vorhanden). Da jeder Nestor-Anpassungsmodul trainiert wird, entwickelt er eine einzigartige Gruppe von Prototypen für die Klassifikation eintreffender Muster.
- Zwei Arten von Prototypen entstehen beim Trainieren in den Nestor-Anpassungsmodulen eines GENSEP-Systems: Generalisierer-Prototypen und Separator-Prototypen. Generalisierer-Prototypen werden dem Speicher übergeben in Verbindung mit einer jeden speziellen Einheit, um Klassenterritorien abzudecken, wie sie in dem Kodierraum dieser Einheit dargestellt sind. Separator-Prototypen werden zwischen gewissen Paaren von Generalisierer-Prototypen eingegeben, um Klassenkonfusionen aufzulösen, die mittels Zufluchtnahme zu einer kleinen Untergruppe von Informationen in dem Kodierraum der gegebenen Einheit festgestellt werden kann.
- So treten in dem GENSEP-System also zwei Arten von Mechanismen für die Klassentrennung auf. Anfängliche Unterscheidungen erfolgen auf der Basis einer Korrelation der Reaktionen vieler verschiedener Einheiten, wobei die Reaktionen das Ergebnis einer Tätigkeit (Auslösung) lediglich unter Generalisierern in den Einheiten sind. Eine weitere Klassendiskriminierung erfolgt durch Zufluchtnahme zu den Klassen, die unter den auslösenden Separator-Prototypen in jeder Einheit dargestellt werden. Diese Mechanismen gestatten es dem System, rasch zu lernen, um geeignete Generalisierungen um eine Klasse von Mustern herum vorzunehmen und um seine Fähigkeit weiter zu verbessern, diese Klasse von Mustern von allen anderen zu unterscheiden, sei es durch miteinander in Beziehung Bringen von großen Zahlen von Musterparametern oder durch präzises Definieren individueller Musterwerte für die Diskriminierung.
- Wie in dem US-Patent 4,326,259 angegeben, ist die Speicherung in einem Nestor-System aus "Prototypen" zusammengesetzt". Jeder Prototyp besitzt eine Anzahl Eingabeleitungen und einen Ausgabepfad, über welchen er mit anderen Elementen des Systems kommuniziert. In dem System gibt es zwei verschiedene Arten von Prototypen: Generalisierer-Prototypen und Separator-Prototypen.
- Zu jedem Generalisierer-Prototyp gehört eine Gruppe Gewichtungsfaktoren (je einer für jede Eingabeleitung), der Prototyp-Vektor, P, und ein Schwellwert θ, der auf ein Eingabemuster hin bestimmt, ob er "ein" oder "aus" ist (Auslösung oder Nichtauslösung). Der Schwellwert definiert einen "Einflußbereich" für den Prototyp. Der Einflußbereich besteht aus der Gruppe aller Eingabeereignisse, welche den Prototyp zum Auslösen bringen. Dieser Schwellwert kann modifizierbar sein. Ist er modifizierbar, so ist er einstellbar, um die Größe des Einflußbereiche des Prototyps graduell zu vergrößern, jedoch liegt er typischerweise nicht oberhalb eines bestimmten Prozentsatzes der Ausdehnung des Koderaumes (etwa zwischen 5 % und 50 %). Jeder Generalisierer-Prototyp besitzt eine damit verbundene Klasse C. Schließlich gehört ein jeder Generalisierer-Prototyp zu einer bestirimten Einheit in dem System. Die Einheit wird durch einen Index u angegeben. So besteht die einen Generalisierer-Prototyp definierende Datengrupe aus [P; θg; C; u].
- Wie zu einem Generalisierer-Prototyp gehört zu jedem Separator- Prototyp eine Gruppe von Gewichtungsfaktoren (je einer für jede Eingabeleitung), der Prototyp-Vektor, S, und ein Schwellwert θs), der teilweise bestimmt, ob er auf ein Eingabemuster hin "ein" oder "aus" ist. Wie bei Generalisierer-Prototypen definiert dieser Schwellwert einen "Einflußbereich" für den Separator. Dieser Schwellwert ist durch das System modifizierbar und einstellbar in solcher Weise, daß er die Größe des Einflußbereichs des Separators vermindert. Separatoren, deren Einflußfeld unter einer Minimalgröße liegt, werden als Phase-II-Separatoren (P2-Separatoren) betrachtet; diejenigen über dem Minimalwert werden Phase-I-Separatoren (P1-Separatoren) genannt. Diese Unterscheidung zwischen den beiden Typen von Separatoren besteht hauptsächlich in dem Ausmaß, in welchem sie die Klassifikation des Musters innerhalb einer gegebenen Einheit des Systems beeinflussen können.
- Zusätzlich ist jeder Separator mit einem Paar von Generalisierern (i, j) verknüpft. Mit demselben Paar Generalisierer können mehr als ein Separator verbunden sein. Jedem Separator ist ein Index, k, zugeordnet, der einen Teil der Kodewerte des Musterraumes angibt, welcher die Generalisierer-Prototypen enthält, mit dem er verbunden ist. Im besonderen, wenn ein gegebener Koderaum das Musterereignis in Form von Parametern F&sub1; ... Fm repräsentiert, so besteht der mit dem Separator verbundene Index aus einer Zahl k auf dem Intervall (l, m). Schließlich ist mit einem jeden Separator eine Klasse verbunden.
- Ungleich der mit einem Generalisierer verbundenen Klasse bedeutet die Zuordnung einer Klasse zu einem Separator eine Negierung. Im besonderen, wenn ein Generalisierer-Prototyp für Klasse C auf ein Eingabeereignis hin anspricht, so tendiert das System zur Zuordnung der Klasse C zu dem Muster. Wenn jedoch ein Separator für Klasse C auf ein Muster anspricht, so tendiert das System dazu, C nicht als eine Identifikation des Musters zuzuordnen. Kurz gesagt: Wenn ein Generalisierer für C tätig wird, heißt das "C"; wenn ein Separator für C in Funktion tritt, heißt das "nicht C".
- So also kann die einen Separator definierende Datengruppe wie folgt angegeben werden: [i, j; k; S, θs; C].
- Nachfolgend wird der Vorgang gemäß der vorliegenden Erfindung angegeben, mit dem ein Muster mit einem Prototyp in der Systemspeicherung verglichen wird. Da Generalisierer- und Separator-Prototypen verschiedene Eigenschaften aufweisen, werden die Vorgänge beim Vergleich eines Musters mit einem Generalisierer- und einem Separator-Prototyp getrennt erörtert. Diese Vorgänge bestimmen, ob der in Rede stehende Prototyp auf das Muster hin anspricht oder nicht.
- Ein Eingabemuster erscheint einem Generalisierer-Prototyp als eine Gruppe von auf seinen N Eingangsleitungen auftretenden Signalen. Der Vergleich eines Musters mit einem Genealisierer- Prototyp kann in irgendeiner von mehreren Formen geschehen, je nachdem, ob die Eingabesignale zu dem Prototyp binär oder in kontinuierlicher Form auftreten. Beide Arten von Signalen können verarbeitet werden. Der Kürze halber betrachten wir hier nur das Verfahren des Muster-Generalisierer-Vergleichs für den Fall binär kodierter Signale auf den N Eingangsleitungen des Generalisierers. In diesem Fall besteht der der betreffenden Leitung zugeordnete Prototyp-Gewichtungsfaktor selbst aus einer Binärzahl. Die gesamte Prototyp-Tätigkeit besteht aus einer Zahlung der Zahl der Eingangsleitungen, auf denen der Bit-Wert des Mustersignals, fj, nicht mit dem Bit-Wert des Gewichtungsvektors, Pj, übereinstimmt.
- wo uj = 1 wenn Bit (fj) ≠ Bit (Pj)
- sonst = O
- Diese Gesamtzahl nicht übereinstimmender Bits wird verglichen mit dem Prototyp-Schwellwert. Ist der Zählwert der nichtübereinstimmenden Bits geringer als der Schwellwert, so löst der Generalisierer aus. Ist er größer als der oder gleich dem Schwelmwert, so bleibt der Prototyp ruhig. D.h. wenn d < = θ, Prototyp löst aus, wenn d ≥ = θ, Prototyp ruhig.
- Wie in der oben erwähnten Patentanmeldung angegeben, können die Operationen des Vergleichs eines Musters mit einer Gruppe von Prototypen parallel miteinander erfolgen, d.h. der Vergleich eines Musters mit allen Prototypen kann gleichzeitig erfolgen. Zusätzlich kann beim Vergleich eines Musters mit einem bestimmten Prototyp die auf einer bestimmten Eingangsleitung (Bit-Vergleich für binär-kodierte Eingangssignale oder Multiplikation für kontinuierliche Signale) durchgeführte Operation auf allen Eingangsieitungen gleichzeitig erfolgen. Diese reiche Parallelität ist eine Eigenart des Nestor-Systems.
- Die Datenstruktur eines Separators ist S = j; k; S, θs; C]. Die Musterverarbeitung bei einem Separator-Prototyp ist gleich derjenigen bei Generalisierern. Eine Gruppe von auf den M Eingangsleitungen bes Separator-Prototyps auftretenden Signalen wird mit den Separator-Gewichtungsfaktorwerten verglichen, ein Zählwert nichtübereinstimmender Bits wird festgestellt, und dieser Zählwert wird gegenüber dem Separator- Schwellwert getestet. Jedoch definieren die Generalisierer, mit welchen die Separatoren paarweise in Verbindung gebracht werden und der Merkmalsindex k des weiteren die Operation des Separators an dem Muster. Der Klarheit halber sei angenommen, daß die Merkmalswerte [F&sub1; ... Fk], welche den Kodevektor für das Muster in der Einheit definieren, die kontinuierliche, realwertige Repräseritation ist und daß das binäre Equivalent davon, die Gruppe [Bi], i = 1, ... M die Information ist, welche auf der Eingangsleitung des Generalisierers auftritt. Dann gibt der mit dem Separator verbundene Merkmalsindex k, ein Glied der kontinuierlich-wertigen Gruppe F an. Das binäre Equivalent von Fk tritt als Eingangssignal an dem Separator S auf. Im besonderen, läßt man β eine binäre Aufzeichnung sein die Fk in einen binärwertigen Viktor (b&sub1; ... bm) verwandelt, dann bestimmt sich der Zählwert der nichtübereinstimmenden Zeichen des Separators wie folgt:
- Schließlich müssen, um einen Separator zum Ansprechen zu bringen, die folgenden Bedingungen erfüllt sein:
- (1) d < θs (Separator-Schwellwert-Bedingung)
- (2) Pi löst aus (zugehöriger Generalisierer)
- (3) Pj löst aus (Prototypen lösen aus)
- Angemerkt sei, daß beide mit dem in Rede stehenden Separator in Verbindung gebrachten Generalisierer auslösen müssen, um den Separator auszulösen.
- Die Reaktion einer Einheit auf ein eintreffendes Musters besteht aus den mit ihren auslösenden Prototypen verbundenen Klassen. Im besonderen sind diese Klassen in zwei Listen aufgeführt der Generalisierer-Klassenliste und der Separator-Klassenliste. Offensichtlich ist, wegen der für die Auslösung eines Separators erforderlichen Bedingungen, wenn die Generalisierer-Klassenliste einer bestimmten Einheit leer ist, die Separator-Klassenliste für die Einheit ebenso leer.
- Die System-Reaktion auf ein eintreffendes Muster wird bestimmt durch den Klassenselektionsmechanismus (CSM) als Funktion der Ausgangsklassenliste (von Generalisierern wie Separatoren) der Systemeinheiten. Der CSM kann den Inhalt der Klassenlisten sämtliche Einheiten auf verschiedenartige Weise als Funktion einer Einheitspriorität auswerten. Zwei bevorzugte Ausführungsbeispiele des Klassenselektionsmechanismus sind in Figur 2 bzw. Figur 3 dargestellt.
- Wie bei dem in der oben angegebenen Patentanmeldung beschriebenen Viel-Einheiten-System können Einheiten in dem GENSEP-System hierarchisch nach der Priorität angeordnet sein. Einheitsprioritäten sind Zahlen, die ganzzahlige Werte 1, 2, 3 usw. annehmen. Eine Einheit mit Priorität n soll in einer Ebene n des Systems arbeiten. Bei der Bestimmung der System-Reaktion betrachtet der CSM das Ausgangssignal einer jeden Einheit in der Reihenfolge abnehriender Priorität. (Die höchste Priorität ist 1.) Bei jeder Einheit bringt der CSM eine System-Stimmenzählung für jede Klasse auf den aktuellen Stand und prüft, um festzustellen, ob irgendeine bestimmte Klasse das System-Identifikationskriterium erfült hat, um eine unzweideutige Reaktion zuzulassen. Ein typisches System-Identifikationskriterium bestimmt die gewinnende Klasse als diejenige Klasse mit der größten Zahl Stimmen, solange ihre Stimmenzählung einen minimalen Stimmenzählwert (NUMWIN) überschreitet und solange die Differenz zwischen dem Stimmenzählwert dieser Klasse und demjenigen der "aufschließenden" ("runner-up") Klasse eine voreingestellte minimale Differenz (WINDIF) überschreitet.
- Der CSM kann die System-Stimmenzählung auf verschiedene Weise auf den aktuellen Stand bringen. Bei einer Art fragt der CSM die Systemeinheiten zweimal ab, in jedem Fall beginnend mit der Einheit höchster Priorität und durch die Einheiten in der Reihenfolge abnehmender Priorität hindurchschreitend. Bei der ersten Abfrage bringt der CSM die Systemstimmenzählung auf der Basis der Generalisierer-Klassenliste auf den aktuellen Stand. Wurde bis zum Zeitpunkt zu dem sämtliche Generalisierer-Klassenlisten der Einheit mit geringster Priorität abgefragt wurden, keine gewinnende Klasse ermittelt, dann löst der CSM eine zweite Abfrage der Einheiten aus. Er beginnt damit, die System-Klassenliste mit einem Schwellwert zu versehen und alle Klassen unter einem bestimmten minimalen Stimmenzählwert auszulassen. Sodann bringt der CSM, beginnend mit den Einheiten höchster Priorität, den System-Stimmenzählwert als Funktion der Klassen in den Separator- Klassenlisten für diese Einheiten auf den aktuellen Stand. Im allgemeinen führt das Erscheinen einer Klasse in der Separator- Klassenliste dazu, daß die Systemstimmenzählung für diese Klasse um 1 abnimmt. Wiederum wird, nachdem die Separator-Klassenliste einer Einheit dazu Verwendung fand, die Systemstimmenzählung auf den aktuellen Stand zu bringen, sofern eine gewinnende Klasse nicht ermittelt wurde, daraufhin die Einheit nächstniedrigerer Priorität bearbeitet.
- Bei einem anderen Ausführungsbeispiel des Systems, wie es in Figur 3 gezeigt ist, fragt der CSM eine jede Einheit nur einmal ab. Die Systemstimmenzählung wird als Funktion der Netto-Zahl der Stimmen für eine Klasse auf den aktuellen Stand gebracht, welcher die Zusammensetzung der Generalisierer- wie der Separator-Klassenlisten für die betreffende Einheit gegeben wurde. Beispielsweise würde das Auftreten einer Klasse in der Generalisierer-Klassenliste ihre System-Stimmenzählung um 1 anwachsen lassen; das Auftreten einer Klasse in der Separator-Klassenliste würde ihre Zählung um 1 vermindern. Bei einer solchen Ausführungsform tendiert das System dazu, sich weniger auf Korrelationen zwischen Einheiten-Reaktionen als Mittel zur Unterscheidung von Klassen und mehr auf die interne Erkennungsfahigkeit für individuelle Kodiereinheiten in der Ebene von Einzelmerkmalunterscheicungen verlassen.
- Wie bei den in dem US-Patent 4,760,604 beschriebenen Viel-Einheiten-Nestor-System liefert das GENSEP-System als endgültiges Ausgangssignal eine Systemklassenliste (CLASSL) und einen Reaktionsstyp (SYSRSP). Der CSM setzt die Klassenliste aus der gewinnenden Klasse (sofern eine solche existiert) oder aus all den Klassen zusammen, die zu der größten Stimmenzahl führten (oder, alternativ, all den Klassen mit einer Stimmenzahl über einem vorbestimmten in CLASSL in absteigender Stimmen-Reihenfolge aufgeführten Minimum) zusammen. Gibt es eine einzige gewinnende Klasse, so ist der Reaktionstyp identifiziert" (SYSRSP = "I"). Tritt in CLASSL keine gewinnende Klasse sondern eine Gruppe von Klassen auf, so ist der Reaktionstyp "Unbestimmt" ("Confused" / SYSRSP = "C"). Die in CLASSL erscheinende Gruppe von Klassen wird "Unbestimmtheitsgrupe" ("Confusion Set") genannte Tritt in CLASSL keine Klasse auf (kein Prototyp in irgendeiner der Kodiereinheiten ausgelöst), so ist der Reaktionstyp "nicht identifiziert" (SYSRSP = "U"). Ein Flußdiagramm dieses Algorithmus zur Erzeugung der Ausgangssignale CLASSL und SYSRSP ist in Fig. 4 gezeigt.
- Trainieren des GENSEP-Systems erfordert eine Spezifizierung der echten Identität des Musters, der Ausgangsreaktion des Systems und der Darstellungen des Eingabemusters. Die Trainingsmechanismen bestehen aus (1) der Eingabe von neuen Generalisierer-Prototypen, (2) der Einstellung (Vergrößerung) von Generalisierer- Prototyp-Einflußfeldern, (3) der Eingabe von Separator-Prototypen und (4) der Einstellung (Verringerung) von Separator-Prototyp-Einflußfeldern. Das Ziel des Trainings besteht darin, eine interne Anderung in dem System in solcher Weise herbeizuführen, daß, wenn das Muster dem System unmittelbar dargeboten würde, die Reaktion des Systems darin bestünde, wenn schon das Muster nicht korrekt klassifiziert wird, zumindest eine Undefinierbarkeitsgruppe hervorgebracht würde, welche die korrekte Klassifikation enthält. Das Training wird von dem in Fig. 5 dargestellten System-Trainingmechanismus (STM) instrumentiert.
- Während des Trainings veranlassen Muster, die durch Korrelation unter den Reaktionen verschiedener Codiereinheiten nicht identifizierbar sind, daß Separatoren in die Speicherung eingegeben werden. Dies geschieht in einem Versuch, ein Merkmal oder eine Kombination von Merkmalen zu finden, das bzw. die brauchbar ist, unter den fraglichen Klassen zu unterscheiden. Das System kann einen Wirt von Kandidaten-Separatoren eingegeben; diejenigen, die von nicht zuverlässig vorhersagbarem Wert sind, werden für einen Phase-II-Zustand herausgenommen, spielen sie doch im wesentlichen keine Rolle bei zukünftigen System-Reaktionen. Die Strategie kann derjenigen angepaßt werden, nach der das System eine Anzahl von Hypothesen postuliert und von all diesen diejenigen herausnimmt, die sich als unkorrekt erweisen.
- Angenommen die Klasse eines Eingabemusters sei x, dann besteht die erste Tätigkeit des STM darin, die Einflußfelder aller auslösenden Separator-Prototypen, deren Klassenassoziation x ist, zu reduzieren. (Es sei daran erinnert, daß diese Separatoren durch Auslösen effektiv zum Ausdruck bringen: "nicht x". ) Diese Separatoren können in irgendeiner der Systemeinheiten auslösen. Ein Teil der Auslösebedingung für Separatoren ist d < θs, worin d die nicht übereinstimmende Zeichenentfernung zwischen einem bestimmten Merkmal des Eingabemusters und dem in Frage stehenden Separator-Prototyp ist. Um den Prototypen zum Schweigen zu bringen, wechseln wir θs gegen θ's aus, worin θ's = d ist. So trifft d < θ's nicht länger zu, und der Separator löst nicht länger aus.
- Sind alle unzutreffenden Separator-Prototypen durch Schwellwertreduktion zum Schweigen gebracht, so aktiviert der STM den CSM, womit die Abfrage von Systemeinheiten zur Neuzusammenstellung der System-Reaktionen in Gang gesetzt wird. Der CSM wird von dem STM in folgender Weise gesteuert (siehe Figur 5): Wird eine Einheit abgefragt und enthält ihre Generalisierer-Klassenliste nicht die korrekte Klasse des Eingabemsuters, so gibt der Trainingsmechanismus einen neuen Prototyp für diese Klasse ein, der auf dem Kodevektor für das Muster in dieser Einheit beruht. Diese Prototyp-Eingabevorgang ist der gleiche wie der in der obengenannten Patentanmeldung beschriebene mit dem Unterschied, daß das Einflußfeld auf eine voreingestellte Größe festgelegt ist, gewöhnlich einen Prozentsatz der Dimension des Koderaumes (In bisherigen Systemen war die Größe des ursprünglichen Einflußfeldes eine Funktion des Abstands gegenüber Prototypen für verschiedene Klassen.) Ansonsten wird, wie bei bisherigen Prototyp-Eingabevorgängen, der Kodevektor des Musters der Prototypvektor, und die Klasse des Musters wird die Klasse des Prototyps.
- Bei einigen Ausführungsformen des Systems werden Generalisierer-Einflußfelder auf ein Eingabemuster hin vergrößert. Fragt der Systen-Trainingsmechanismus eine Einheit ab, deren Generalisierer-Klassenliste die korrekte Klasse enthält, so können einige der korrekten Klassen-Generalisierer-Prototypen Kandidaten für eine Einflußfeldvergrößerung sein. Im besonderen definieren wir den Wachstumsring eines Prototyps als all diejenigen Punkte, deren unpassenden Zeichenentfernung mit dem Prototyp dr folgender Ungleichung genügt:
- γθ&sub9; < dr < θ&sub9;
- worin θ&sub9; der das Einflußfeld des Generalisierers definierende Schwellwert und Q eine reale Zahl im Intervall (0, 1) ist. (Ein typischer Wert für α liegt im Intervall [0,80, 0,90].)
- Betrachten wir die Gruppe von auslösenden Generalisierern in einer Einheit, deren Klasse zu der Katergorie des Musters paßt. Gibt es zumindest einen Prototyp, dessen Einflußfeld das Muster enthält, dessen Wachstumsring dies jedoch nicht tut, so werden keine Prototypen für diese Klasse vergrößert, gleichgültig ob das Muster in ihre Wachstumsringe fällt oder nicht. Andererseits werden, falls kein korrektor Klassenprototyp existiert, der das Muster in seinem Einflußfeid aber nicht in seinem Wachstumsring enthält, alle korrekten Klassenprototypen erweitert, deren Wachstumsringe das Muster enthalten. Von allen werden die Einflußfelder vergrößert, so daß das Muster gerade außerhalb des Wachstumsringes (jedoch innerhalb des Einflußfeldes) eines jeden von ihnen fällt. Im besonderen gilt, wenn zunächst für den i-ten aus lösenden Generalisierer
- dir = δθig
- wo γ< δ< 1
- da θigT θig
- so daß θig = dir/γ
- So würden, wenn das Muster sofort dargestellt werden sollte, die Einflußfelder keines dieser Generalisierer-Prototypen weiter vergrößert.
- Wenn nach Neuzusammenstellung der System-Reaktion aufgrund von auslösenden Generalisierer-Prototypen das System noch im unklaren ist, dann versucht der System-Trainingsmechanismus Separator-Prototypen zwischen Paaren von Generalisierern aus derselben Einheit einzugeben, deren Klassen in der Unbestimmt-Gruppe des Systems dargestellt sind. Jedes solche Paar besteht aus einem auslösenden Generalisierer für die korrekte Klasse und einem auslösenden Generalisierer für eine andere Klasse in der Unbestimmt-Gruppe des Systems. Jedes solches Paar besteht aus einem auslösenden Generalisierer für die korrekte Klasse und einem auslösenden Generalisierer für eine andere Klasse in der Unbestimmt-Gruppe des Systems. Versucht der STM eine Separator-Eingabe für solch ein "Korrekte-Klasse-Entgegengesetzte-Klasse"-Paar, so versucht er ein Paar Separatoren für ein jedes Merkmal in den Generalisierer-Prototyp-Vektor-Paar einzugeben. (Man rufe sich in Erinnerung, daß ein Prototyp-Vektor die gleiche Struktur wie das von einer Einheit hervorgebrachte Zwischensignal F (der Musterkode-Vektor) besitzt. F ist als Gruppe von Signalen F&sub1; ... Fk organisiert, von denen jedes als ein "Merkmal" betrachtet wird.) Sind die beiden Klassen der in Rede stehenden Generalisierer A und B, so versucht der STM, für jedes Merkmal in den Generalisierer-Kodevektoren ein Paar Separatoren einzugeben, einen für "nicht A" und einen für "nicht B".
- Nehmen wir an, daß in der in Rede stehenden Einheit ein Eingabemuster einer Klasse Q durch F = (F&sub1; ... Fk ) repräsentiert wird, ferner, daß (α) = (P(α)&sub1; ... P(α)k ) und (ß) = (P(ß)&sub1;) ... P(ß)k) die beiden auslösenden Generalisierer für die Klassen α und ß sind. Des weiteren sei angenommen, daß α wie ß in der Unbestimmt-Gruppe des Systems dargestellt sind und daß db(P(α)j P(ß)j die binäre Entfernung zwischen den j-ten Merkmalswerten für (α) und (ß) repräsentieren. Die binäre Entfernung zwischen dem realwertigen Merkmalen P(α)j und P(ß)j wird errechnet, indem zunächst ein jedes Merkmal in sein binäres Äquivalent umgewandelt wird und anschließend eine Zählung nichtübereinstimmender Zeichen in den resultierenden binären Darstellungen erfolgt. Ein Paar Separator-Prototypen wird für das j-te Merkmal eingegeben, wenn die binäre Entfernung zwischen P(α)j und P(ß)j einen Minimalwert θs überschreitet. θs ist der Schwellwert für eine Separator-Eingabe. So gibt der System-Trainingsmechanismus, wenn db(P(α)j , P(ß)j ) > θs ist und gegenwärtig keine Separatoren für dieses Merkmal und dieses Generalisierer-Paar existieren, ein neues Paar Separatoren in die Systemspeicherung ein. Diese seien als die m-ten und n-ten Separatoren bezeichnet (worin n = m + 1 ist). Steht der m-te Separator für "nicht a", dann definiert er sich wie folgt:
- Der Separator "nicht β" wird definiert durch
- Der System-Trainingsmechanismis verwendet eine Vielfalt von Mechanismen, um den Gegenstand von auslösenden Korrekte-Klasse/Entgegengesetzte-Klasse-Generalisierern auszuwählen, für welche eine Separator-Eingabe versucht werde soll. Nehmen dir an, daß die korrekte Klasse für das Muster C&sup0; und daß [Ci], i = 1 ... N die Gruppe inkorrekter Klassen sei , welche in der Unbestimmt- Gruppe dargestellt sind. Verbunden mit Ci ist eine Gruppe von auslösenden Generalisierern [Pj(Ci )], j = 1 ... Gi, wobei Gi die Gesamtzahl auslösender Generalisierer für die Klasse Ci ist. Die Gruppen
- bilden die Gruppe aller möglichen Korrekte-Klasse/Entgegengesetze-Klasse-Generalisierer, für welche eine Separator-Eingabe möglich ist. In einer bevorzugten Ausführungsform des Systems versucht der STM eine Eingabe von Separatorern für alle solchen Generalisierer-Paare. Be einer anderen bevorzugten Ausführungsform des Systems versucht der STM eine Eingabe für nur ein Glied für jede der Pjk(O,i)-Gruppen. Er identifiziert für jede Gruppe das nächst-entgegengesetzte Generalisiererpaar- Glied (d.h. das Generalisiererpaar mit der kleinsten Inter-Prototyp-Vektor-Entfernung) und versucht eine Separator-Eingabe nur für dieses Generalisiererpaar in dieser Gruppe. Diese Ausführungsform wird in solchen Situationen bevorzugt, wo die Zahl der eingegebenen Separatoren minimiert werden muß.
- Das GENSEP-System ist besonders vorteilhaft anwendbar bei solchen Mustererkennungen, wo Klussenterritorien in einem gegebenen Musterraum einander weitgehend überdecken. In solchen Fällen gibt es wesentlich mehr Territorium in dem Musterraum, welcher von P2-Prototypen gedeckt werden soll. Folgendes Problem sei betrachtet:
- Dabei sind in einem Bereich die Klassen A und B, in einem anderen C und D degeneriert. Bei dem im US-Patent 4,760,604 beschriebenen System würden zunächst einige P1-Prototypen für die verschiedenen Klassen eingegeben und schließlich so in der Größe reduziert, daß sie zu P2-Prototypen werden. Bevor dies geschieht, würde ihr Auftreten als P1-Prototypen jedoch die Größe der Einflußfelder zusätzlicher zu dem Problem eingegebener P2- Prototypen begrenzen (P2-Prototypen werden in diesen vorausgehend beschriebenen Systemen mit einem anfänglichen Einflußfeld eingegeben, das nicht größer als die Entfernung zu dem nächsten P1-Prototyp der entgegengesetzten Klasse ist). Da P2-Prototypen mit durchschnittlich gesehen, kleinräumigen Einflußfeldern Verwendung finden, benötigt das System mehr Zeit, die Klassen mit Prototyp-Einflußfeldern gänzlich abzudecken. Dazu noch ist wahrscheinlich, daß eine beträchtliche Menge der Einflußfelder von P2-Prototypen nahe der Grenze von A-B-, C-D-Bereichen in beiden Klassenbereichen liegen. Dies würde die Fähigkeit des Systems, in diesem Raum eine Klassentrennung durchzuführen, ernsthaft in Frage stellen.
- Bei einem GENSEP-System jedoch wird eine größere effektive Abdeckung erreicht, da die Größe der für die Klassen eingegebenen Generalisierer-Prototypen durch die Orte existierender Prototypen in keiner Weise begrenzt wird. Infolgedessen sind verhältsnismäßig weniger Prototypen erforderlich, den Raum abzudecken, und diese Abdeckung kann sehr rasch geschehen (unter der Annahme einer Verteilung von Eingabe-Trainingsmustern, welche das gesamte statistische Material des betrachteten Problems als in der Form von Muster-Klassenterritorien zum Ausdruck kommend erfaßt).
- Der von dem GENSEP-System gebotene zusätzliche Vorteil besteht darin, daß sich Separatoren entwickeln können, um jedwede in dem Raum mögliche Trennbarkeit auszunutzen. Im besonderen entwickeln sich Separatoren für die Merkmalskomponente x in dem Kode-Vektor, um A von C und A von D ebenso wie B von C und B von D zu trennen. Bei den vorausgehend beschriebenen Systemen würde der einzige zur Verfügung stehende Mechanismus zur Trennung innerhalb dieser Einheit aus P1-Prototypen bestehen. Wie festgestellt wurde wird in dem Maße, wie Klassenterritorien weitgehend überdeckend sind (im Gegensatz zu einer teilweisen Überdeckung) die Anzahl von überlebenden P1-Prototypen weitgehend reduziert.
- Eine Begriffsdefinition einer Grupe von Mustern, welche dieselben Reaktionen eines Musterklassen-Separators und -Identifizierers hervorbringen. Alle Muster innerhalb dieser Gruppe repräsentierenden Vektor-Signale S bringen die gleiche Ausgangsreaktion R zustande. Ein Nestor -Anpassungsmodul weist keine voreingestellten oder vorher festgelegten Klassen auf, bevor er trainiert wurde.
- Eine einer Anzahl von begrifflich (oder körperlich) getrennten Einheiten des Systems. Diese Einheiten arbeiten parallel oder nacheinander, und jede enthält sowohl einen Kodierteil als auch einen Klassifikationsteil. Der Kodierteil wandelt das Vektor-Signal S in ein kodiertes Vektor-Signal F um; der Klassifikationsteil versucht, das Vektor-Signal F in eine allein auftretende Ausgangsreaktion R zu übersetzen, welche die Klasse des durch das Vektor-Signal S repräsentierten Eingabemusters identifiziert. Jede Klassifikationseinheit wird durch ihre eigene hierachische Ebene oder "Priorität" in dem System bezeichnet.
- Ein Bereich in einem vieldimensionalen Musterraum, welcher mehr als einer Musterklasse zugeordnet ist. Typischerweise werden solche Bereiche mit mindestens zwei einander überdeckenden Lagen von Phase-2-Prototypen abgedeckt, wobei jede Lage einer anderen Klasse zugeordnet ist. In einigen Fällen können diese Zonen auch von einander überlappenden Einflußfeldern von Phase-1-Prototypen für verschiedene Klassen abgedeckt werden.
- Die Auswahl der korrekten Klasse aus mehreren Ausgangsreaktionen einer Anzahl von Nestor-Anpassungsmodulen, von denen jede durch ein kodiertes Vektor-Signal F dargestellt wurde, welches das gleiche Eingabemuster repräsentiert.
- Eine Transformation eines eintreffenden Vektor-Signals S, weiches ein Eingabemuster angibt in ein kodiertes Vektor-Signal F unter Verwendung eines Kodes "c". Die Transformation hängt von der Anwesenheit oder Abwesenheit eines bestimmten Merkmals in dem Muster ab. Der Zweck der Transformation besteht darin, in dem Signal S enthaltene irrelevante Informationen auszuschließen.
- Ein tatsächliches Vorkommnis, welches durch ein Vektor-Signal S erkannt und dargestellt werden kann. Beispielsweise kann das Ereignis ein durch eine Kamera erkennbares sichtbares Muster oder ein durch ein Mikrophon feststellbares Schallmuster sein. Der Ausdruck "Ereignis" kann gleichbedeutend mit "Muster" Verwendung finden.
- Eine Region oder ein Territorium variabler Größe in dem vieldimensionalen Musterraum mit einem Prototyp als Zentrum. Bei Darbietung ruft ein Eingabe-Muster, welches in dieses Territorium fällt, eine Auslösung des Prototyps hervor.
- Eine Suche innerhalb eines Nestor-Anpassungsmoduls nach benachbarten Prototypen innerhalb einer bestimmten Entfernung in dem vieldimensionalen Musterraum von dem Punkt aus, der ein Eingabe-Muster repräsentiert.
- Ein Gerät oder Verfahren wie es in einem oder mehreren der folgenden US-Patente beschrieben und beansprucht ist: 3,950,733, 4,044,243, 4,254,474, 4,326,259 und 4,760 604.
- Eine spezielle Gruppe von Daten aus einem tatsächlichen "Ereignis" herrührend und durch ein Vektor-Signal S repräsentiert welches von einem Musterklassen-Separator und -Identifizierer klassifiziert werden soll. Obgleich jedes dem Musterklassen-Separator und -Identifizierer dargebotene Muster zumindest geringfügig unterschiedlich von jedem anderen, vorher dargebotenen Muster sein kann, kann es in eine einer willkürlichen Zahl von Klassen eingeordnet werden.
- Ein Vektor-Signal S aus individuellen skalaren Signaler S1 , S2 ... Sk , welches ein Eingabe-Muster für einen Musterklassen-Separator und -Identifizierer repräsentiert.
- Phase-1-Prototyp: Eine Art Prototyp, der, wenn "ausgelöst", die Reaktion eines Nestor-Anpassungsmoduls dirigiert und eine bestimmte Ausgangsreaktion auftreten läßt.
- Eine Art Prototyp, der, wenn "ausgelöst", nur angeben kann, daß ein eintreffendes Muster in eine dazu bestimmte einer Mehrzahl von Klassen fallen kann.
- Eine prototypische Darstellung eines Musters, wie sie in der Speicherung eines Nestor-Anpassungsmoduls gespeichert ist. Jeder Prototyp ist in der Speicherung durch (1) einen Vektor in dem vieldimensionalen Musterraum, (2) einen "Einflußbereich" in dem Musterraum, (3) eine bestimmte Musterklasse, welcher der Prototyp zugeordnet ist, und (4) ein die Phase des Prototyps angebendes Kennzeichen definiert.
- Die Bildung eines neuen Prototyps (eines Phase-1- oder Phase-2-Prototyps) in einem Nestor-Anpassungsmodul in Verbindung mit und als Folge der Darbietung eines Eingabemusters. Auf die Darbietung hin, während einer Trainingsphase, fällt jedes Eingabemuster entweder in das Einflußfeld eines vorhandenen Prototyps, oder sie ruft die Bildung eines neuen Prototyps hervor.
- Es heißt ein Prototyp wird "ausgelöst", wenn ein durch ein Vektor-Signal S dargestelltes Eingabemuster in den Einflußbereich dieses Prototyps fällt. Dies veranlaßt den Nestor-Anpassungsmodul, in welchem der Prototyp angesiedet ist, eine Ausgangsreaktion hervorzubringen.
- Eine Mehrzahl von Klassifikationseinheiten mit derselben Priorität.
- Eine Korrelationstechnik, welche Verwendung findet, wenn ein Eingabemuster in eine "Unbestimmt-Gruppe in dem vieldimensionalen Musterraum fällt.
- Die folgenden Ausdrücke sind definiert:
- NUM_UNIT = Anzahl der Einheiten im System
- FPAT(u), u=1 ... NUM_UNIT
- = Anordnung von Muster-Kode-Vektoren
- SYS_VOTE_CNT_LST
- = System-Stimmenzahl-Liste - eine Liste von zu einer Musterklasse aufgeführten Stimmen
- FIR_GEN_LST(u), u=1 ... NUM_UNIT
- = Liste auslösender Generalisierer für eine gegebene Einheit
- FIR_GEN_CLASS_LST(u), u=1 . . . NUM_UNIT
- = Liste von zu auslösenden Generalisierern für eine gegebene Einheit gehörigen Klassen
- FIR_SEP_LST(u), u=1 ... NUM_UNIT
- = Liste auslösender Separatoren für eine gegebene Einheit
- FIR_SEP_CLASS_LST(u), u=1 ... NUM_UNIT
- = Liste von zu auslösenden Separatoren für eine gegebene Einheit gehörigen Klassen Übersetzung der Zeichnungsbeschriftungen FIG. 1: ENVIRONMENT UMGEBUNG DETECTOR DETEKTOR Signal Signal CLASSIFICATION UNIT 1 , i, N KLASSIFIKATIONSEINHEIT 1, i, N Coding Kodierung Generalizers Generalisierer Separators Separatoren POLL ZÄHLUNG System Training Mechanism System-Trainingsmechanismus CLASS SELECTION MECHANISM KLASSEN-SELEKTIONSMECHANISMUS Output Ausgang Response Reaktion USER BENUTZER TRAINER TRAINIERER CORRECT CLASSIFICATION KORREKTE KLASSIFIKATION FIG. 2a: CLASS SELECTION MECHANISM KLASSEN-SELEKTIONSMESCHNISMUS (Embodiment 1) (Ausführungsbeispiel 1) FIG. 2b: CLASS SELECTION MECHANISM KLASSEN-SELEKTIONS-MECHANISMUS (Embodiment 1) continued (Ausführungsbeispiel 1) Fortsetzung Fig. 3: CLASS SELECTION MECHANISM (Embodiment 2) KLASSEN-SELEKTIONS-MECHAMISMUS (Ausführungsbeispiel 2) FIG. 4: OUTPUT SYSTEM RESPONSE AUSGABE SYSTEM REAKTION FIG. 5a: SYSTEM TRAINING MECHANISM SYSTEM-TRAININGSMECHANISMUS Fig. 5b: SYSTEM TRAINING MECHANISM (continued) SYSTEM-TRAININGSMECHANISMUS (Fortsetzung)
Claims (1)
1. System zur Klassifizierung und Identifizierung von
Mustern, wobei jedes Muster durch ein Eingangssignal S
repräsentiert wird und das System zumindest eine Klassifizierungseinheit
Ui enthält:
(1) auf das genannte Signal S ansprechende
Mustermerkmalkodiermittel zur Erzeugung eines Zwischensignals F, das aus
Signalkomponenten F&sub1;, F&sub2;...Fi ... Fk besteht, die für in dem durch
das Signal S repräsentierten Muster enthaltene Merkmale
bezeichnend sind, und
(2) auf das erwähnte Zwischensignal F ansprechende
Musterklassifikationsmittel zur Erzeugung eines für eine
vorgeschlagene entsprechende Klasse des durch das Signal S
repräsentierten Musters, wie es durch die durch das Zwischensignal F
repräsentierten Merkmale identifiziert wird, repräsentativen
Ausgangssignals Ri,
dadurch gekennzeichnet, daß die genannten
Musterklassifizierungsmittel folgende Elemente enthalten:
(a) Generalisierungsmittel mit
(i) Speichermitteln zum Speichern einer Mehrzahl
von Generalisierungsprototypen innerhalb eines vieldimensionalen
Musterraumes, deren jeder als in den genannten Speichermitteln
gespeicherte Prototypinformation einen Vektorort in dem
Musterraum, eine skalare Entfernung in einem gegebenen Bereich
zwischen einem Minimal- und einem Maximalwert, welche die Größe
eines Einflußbereichs um den Vektorort dieses
Generalisierungsprototyps definiert, sowie eine bestimmte Klasse enthält, mit
welcher dieser Generalisierungsprototyp verbunden ist, und
(ii) Mitteln zum Vergleichen des Vektorortes eines
durch ias Zwischensignal F repräsentierten Eingangsmusters mit
einer Hehrzahl der genannten in den Speichermitteln
gespeicherten Generalisierungsprototypen zur Feststellung, ob der
betreffende
Eingangsmusterort in einen Einflußbereich mindestens eines
der Generalisierungsprototypen fällt, und zur Erzeugung eines
für die mit dem zumindest einen Generalisierungsprototypen
verbundende Klasse bezeichnenenden
Generalisierungsausgangsklassifikationssignals, wenn der Eingangsmusterort in dessen
Einflußbereich fällt,
(b) Separatormittel mit
(i) Speichermitteln zum Speichern einer Mehrzahl
von Separatorprototypen innerhalb des Musterraumes, deren jeder
als in den Speichermitteln gespeicherte Prototypinformation
einen Vektorort in dem Musterraum, eine die Größe eines
Einflußbereichs um den Vektorort des betreffenden
Separatorprototyps definierende skalare Entfernung, eine bestimmte Klasse, mit
der dieser Separatorprototyp verbunden ist, die Identität eines
Paares von Generalisierungsprototypen, mit denen der
Separatorprototyp verbunden ist, sowie einen einen Abschnitt der
Signalkomonenten F&sub1;, F&sub2;...Fi...Fk des die Generalisierungsprototypen,
mit denen der Separatorprototyp verbunden ist, enthaltenden
Musterraumes spezifizierenden Index, (und)
(ii) Mitteln zum Vergleichen des Ortes eines durch
die Signalkomponenten des Zwischensignals F, welches durch den
betreffenden Index eines Separatorprototyps identifiziert wird,
repräsentierten Eingangsmusters mit mindestens einem der in den
Speichermitteln gespeicherten Separatorprototypen zur
Feststellung, ob der Eingangsmusterort in einen Einflußbereich eines
solchen Separatorprototyps fällt, und zum Erzeugen eines für die
Klasse dieses Eingangsmusters bezeichnenden
Separatorausgangsklassifikationssignals, wenn der Eingangsmusterort in den
Einflußbereich eines solchen Separatorprototyps fällt, sowie
(c) in Abhängigkeit von den Generalisierungsmittein
und den Separatormitteln arbeitende Auszählmittel zum Erzeugen
eines Klassifizierungseinheitsausgangssignals Ri in Abhängigkeit
von dem Generalisierer- und
Separatorausgangsklassifikationssignalen,
um damit in den Einflußbereich einer Mehrzahl von
Generalisierungsprototypen fallende Muster zu identifizieren.
2. System nach Anspruch 1 mit einer Mehrzahl der
genannten Klassifizierungseinheiten U&sub1; , U&sub2;...Uj... Uk , die
entsprechende Ausgangssignale R&sub1;, R&sub2;...Rj...Rk erzeugen, und auf alle
diese Ausgangssignale R&sub1;, R&sub2;...Ri...Rk ansprechenden
Klassenauswahlmitteln zum Erzeugen eines die Klasse des betreffenden
Musters repräsentierenden einzigen Ausgangssignals R.
3. System nach Anspruch 1, worin die
Generalisierungsmittel des weiteren Mittel zum Modifizieren der die Größe eines
Einflußbereichs eines jeden Generalisierungsprototyps innerhalb
des gegebenen Bereichs definierenden skalaren Entfernung
enthalten, denn sich das System in einem Lehrmodus befindet.
4. System nach Anspruch 1 , worin der erwähnte maximale
Wert einen Einflußbereich für den betreffenden
Generalisierungsprototyp von etwa fünf Prozent bis fünfzig Prozent des
Musterraumes definiert.
5. System nach Anspruch 1, worin jeder
Generalisierungsprototyp des weiteren als in den Generalisierungsspeichermitteln
gespeicherte Prototypinformation einen Satz Gewichtungsfaktoren
W&sub1; , W&sub2;...Wj...Wk enthält, je einen für jede entsprechende
Komponente F&sub1; , F&sub2;...Fi...Fk des erwähnten Zwichensignals F, und worin
die Musterklassifizierungsmittel des weiteren Mittel zum
Multiplizieren einer jeden Zwischensignalkomponente Fi mit dem
betreffenden zugehörigen Gewichtungsfaktor Wi oder Mittel zur
Durchführung eines Bit-Vergleichs zwischen dem Eingangssignal Fi
und dem Gewichtungsfaktor Wi enthalten, um eine gewichtete
Signalkomponente F'i zum Vergleich durch die genannten
Vergleichsmittel zu erzeugen.
6. System nach Anspruch 1 (oder 5?), welches des weiteren
Mittel zum Einstellen der Generalisierungsgewichtungsfaktoren
während eines Lehrmodus zum Modifizieren des
Ausgangsklassifikationssignals Rj der Musterklassifizierungsmittel enthält.
System nach Anspruch 1, worin die Separatormittel des
weiteren Mittel zum Modifizieren der die Größe eines
Einflußbereichs eines jeden Separatorprototyps bei in einem Lehrmodus
befindlichem System definierenden skalaren Entfernung enthält.
. System nach Anspruch 1, worin ein jeder
Separatorprototyp als in den Separatorspeichermitteln gespeicherte Prototyp-
information des weiteren einen Satz Gewichtungsfaktoren W&sub1;,
W&sub2;...Wi...Wk , je einen für jede entsprechende Komponente F&sub1;,
F&sub2;...Fi...Fk des Zwischensignals F, und die
Musterklassifizierungsmittel des weiteren Mittel zum Multiplizieren einer jeden
Zwischensignalkomponente Fi mit dem betreffenden zugehörigen
Gewichtungsfaktor Wi oder Mittel zur Durchführung eines Bit-
Vergleichs zwischen dem Eingangssignal Fi und dem
Gewichtungsfaktor Wi enthalten, um eine gewichtete Signalkomponente F'i zum
Vergleich durch die Vergleichsmittel zu erzeugen.
9. System nach Anspruch 8, welches des weiteren Mittel
zum Einstellen der Separatorgewichtungsfaktoren während eines
Lehrmodus zum Modifizieren des Ausgangsklassifikationssignals Ri
der Musterklassifizierungsmittel enthält.
10. System nach Anspruch 1, worin die
Generalisierungsmittel und Separatormittel enthaltenden
Musterklassifizierungsmittel des weiteren Mittel zum Bestimmen des zu einem jeden
Separatorprototyp gehörenden Paares von Generalisierungsprototypen
enthalten.
11 . Verfahren zur Klassifizierung und Identifizierung von
Mustern in einem System mit Eingabemitteln zur Aufnahme eines
aus ein jedes Eingangsmuster als Ort in einem mehrdimensionalen
Musterraum repräsentierenden Signalkomponenten F&sub1;, F&sub2;...Fi...Fk
bestehenden Eingangssignals F, Speichermitteln zum Speichern von
Information und mit den Eingabemitteln und den Speichermitteln
verbundenen Computermitteln, dadurch gekennzeichnet, daß das
Verfahren die folgenden Schritte aufweist:
(a) Speichern in den Speichermitteln von einer
Mehrzahl Generalisierungsprototypen innerhalb des mehrdimensionalen
Musterraumes, wobei jeder Generalisierungsprototyp als in den
Speichermitteln gespeicherte Information einen Vektorort in dem
Musterraum, eine skalare Entfernung in einem Bereich zwischen
einem Minimal- und einem Maximalwert, welche die Größe eines
Einflußbereichs um den Vektorraum des Generalisierungsprototyps
definiert, und eine zu dem Generalisierungsprototyp gehörende
bestimmte Klasse enthält,
(b) Vergleichen des Ortes eines durch das
Eingangssignal F respräsentierten Eingangsmusters mit einer Mehrzahl
dieser in den Speichermitteln gespeicherten
Generalisierungsprototypen zur Feststellung, ob der Eingangsmusterort in einen
Einflußbereich mindestens eines der Generalisierungsprototypen
fällt,
(c) Erzeugen eines für die zu mindestens einem
Generalisierungsprototyp gehörende Klasse bezeichnenden
Generalisierungsausgangsklassifikationssignals, wenn der Eingangsmusterort
in dessen Bereich fällt,
(d) Speichern in den Speichermitteln von einer
Mehrzahl Separatorprototypen innerhalb des Musterraumes, wobei jeder
Separatorprototyp als in den Separatorspeichermitteln
gespeicherte Prototypinformation einen Vektorort in dem Musterraum,
eine die Größe eines Einflußbereichs um den Vektorort des
Separatorprototyps definierende skalara Entfernung, eine bestimmte
zu dem Separatorprototyp gehörende Klasse, die Identität eines
Paares von zu dem Separatorprototyp gehörenden
Generalisierungsprototypen und einen einen Teil der Signalkomponenten F&sub1;,
F&sub2;...Fi...Fk des die zu dem Separatorprototyp gehörenden
Generaisierungsprototypen enthaltenden Musterraumes spezifizierenden
Index enthält,
(e) Verleichen des Ortes eines durch die
Signalkomponenten des durch den betreffenden Index von Separatorprototypen
identifizierten Eingangssignals F repräsentierten
Eingangsmusters mit zumindest einem der in den Speichermitteln
gespeicherten Separatorprototypen zur Feststellung, ob der
Eingangsmusterort
in einen Einflußbereich eines solchen Separatorprototyps
fällt,
(f) Erzeugen eines für die Musterklasse bezeichnenden
Separatorrausgangsklassifikationssignalen, wenn der
Eingangsmusterort in den Einflußbereich eines solchen Separatorprototypen
fällt, und
(g) Erzeugen eines für die Klasse des durch das
Eingangssignal Fi repräsentierten Eingangsmusters bezeichnenden
Ausgangssignals Ri in Abhängigkeit von den Generalisierung- und
Separatorausgangsklassifikationssignalen,
um damit in die Einflußbereiche einer Mehrzahl von
Generalisierungsprototypen fallende Muster zu identifizieren.
12. Verfahren nach Anspruch 11, welches des weiteren den
Schritt Modifizieren der die Größe eines Einflußbereichs eines
jeden Generalisierungsprototyps innerhalb des gegebenen
Bereiches definierenden skalaren Entfernung während eines Lehrmodus
enthält.
13. Verfahren nach Anspruch 11, worin der Maximalwert
einen Einflußbereich für den betreffenden
Generalisierungsprototyp von etwa fünf Prozent bis fünfzig Prozent des Musterraumes
bezeichnet.
14. Verfahren nach Anspruch 11, worin jeder
Generalisierungsprototyp als in den Speichermitteln gespeicherte
Prototypinformation des weiteren einen Satz
Generalisierungsgewichtungsfaktoren W&sub1; , W&sub2;...Wi...Wk , je einen für eine jede
entsprechende Komponente F&sub1; , F&sub2;... Fi...Fk des Eingangssignals F, und
das Verfahren des weiteren die folgenden Schritte aufweist:
Multiplizieren eines jeden Eingangssignals Fi mit den
entsprechenden zugehörigen Generalisierungsgewichtungsfaktor Wi oder
Durchführen eines Bit-Vergleichs zwischen dem Eingangssignal Fi und
dem Gewichtungsfaktor Wi zum Erzeugen eines gewichteten Signals
F'i zur Verwendung bei dem Vergleichsschritt
15. Verfahren nach Anspruch 14, welches des weiteren den
Schritt Einstellen der Generalisierungsgewichtungsfaktoren
während eines Lehrmodus enthält.
16. Verfahren nach Anspruch 11, welches des weiteren den
Schritt Modifizieren der die Größe und den Bereich des
Einflusses (oder: die Größe des Einflußbereichs?) eines jeden
Separatorprototypen während eines Lehrmodus bezeichnenden skalaren
Entfernung enthält.
17. Verfahren nach Anspruch 11, worin jeder
Separatorprototyp des weiteren als in den Speichermitteln gespeicherte
Prototypinformation einen Satz Separatorgewichtungsfaktoren W&sub1;,
W&sub2;...Wi...Wk , je einen für jede entsprechende Komponente F&sub1;,
F&sub2;...Fi...Fk des Eingangssignals F, und das Verfahren des
weiteren den Schritt Multiplizieren einer jeden
Eingangssignalkomponente Fi mit dem betreffenden zugehörigen
Separatorgewichtungsfaktor Wi oder Durchführen eines Bit-Vergleichs zwischen dem
Eingangssignal Fi und dem Gewichtungsfaktor Wi enthält, um eine
gewichtete Signalkomponente F'i zur Verwendung bei dem
Vergleichsschritt zu erzeugen.
18. Verfahren nach Anspruch 17, welches des weiteren den
Schritt Einstellen der Separatorgewichtungsfaktoren während
eines Lehrmodus enthält.
19. Verfahren nach Anspruch 11, welches des weiteren den
Schritt Bestimmen des Paares zu einem jeden Separatorprototyp
gehörender Generalisierungsprototypen enthält.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/156,830 US4958375A (en) | 1988-02-17 | 1988-02-17 | Parallel, multi-unit, adaptive pattern classification system using inter-unit correlations and an intra-unit class separator methodology |
Publications (2)
Publication Number | Publication Date |
---|---|
DE68908910D1 DE68908910D1 (de) | 1993-10-14 |
DE68908910T2 true DE68908910T2 (de) | 1994-04-14 |
Family
ID=22561275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE89100157T Expired - Fee Related DE68908910T2 (de) | 1988-02-17 | 1989-01-05 | Paralleles, mehrere Einheiten umfassendes, anpassungsfähiges Musterklassifizierungssystem, das Korrelationen zwischen den Einheiten und eine Klassentrennungsmethodologie innerhalb der Einheiten benutzt. |
Country Status (4)
Country | Link |
---|---|
US (1) | US4958375A (de) |
EP (1) | EP0328861B1 (de) |
JP (1) | JP2976053B2 (de) |
DE (1) | DE68908910T2 (de) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02109160A (ja) * | 1988-10-18 | 1990-04-20 | Japan Atom Energy Res Inst | ベクトル計算機用演算装置 |
US5257394A (en) * | 1988-10-18 | 1993-10-26 | Japan Atomic Energy Research Institute | Logical expression processing pipeline using pushdown stacks for a vector computer |
US6272241B1 (en) * | 1989-03-22 | 2001-08-07 | British Telecommunications Public Limited Company | Pattern recognition |
JP2940933B2 (ja) * | 1989-05-20 | 1999-08-25 | 株式会社リコー | パターン認識方式 |
US5123057A (en) * | 1989-07-28 | 1992-06-16 | Massachusetts Institute Of Technology | Model based pattern recognition |
US5075896A (en) * | 1989-10-25 | 1991-12-24 | Xerox Corporation | Character and phoneme recognition based on probability clustering |
US5063521A (en) * | 1989-11-03 | 1991-11-05 | Motorola, Inc. | Neuram: neural network with ram |
EP0435660B1 (de) * | 1989-12-29 | 1997-06-04 | Canon Kabushiki Kaisha | Bildverarbeitungsverfahren zur Bewertung von Objekten und Vorrichtung zur Qualitätsprüfung zur Durchführung des Verfahrens |
US5214744A (en) * | 1990-12-14 | 1993-05-25 | Westinghouse Electric Corp. | Method and apparatus for automatically identifying targets in sonar images |
JP3088171B2 (ja) * | 1991-02-12 | 2000-09-18 | 三菱電機株式会社 | 自己組織型パタ−ン分類システム及び分類方法 |
US5239594A (en) * | 1991-02-12 | 1993-08-24 | Mitsubishi Denki Kabushiki Kaisha | Self-organizing pattern classification neural network system |
US5222155A (en) * | 1991-03-26 | 1993-06-22 | Massachusetts Institute Of Technology | Computer apparatus and method for fuzzy template shape matching using a scoring function |
US5337371A (en) * | 1991-08-09 | 1994-08-09 | Matsushita Electric Industrial Co., Ltd. | Pattern classification system |
CA2077324C (en) * | 1991-10-07 | 1997-06-24 | Michael R. Campanelli | Image editing system and method having improved automatic object selection |
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
US6418424B1 (en) | 1991-12-23 | 2002-07-09 | Steven M. Hoffberg | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
US5337370A (en) * | 1992-02-28 | 1994-08-09 | Environmental Research Institute Of Michigan | Character recognition method employing non-character recognizer |
JP3131287B2 (ja) * | 1992-05-27 | 2001-01-31 | 株式会社日立製作所 | パターン認識装置 |
JP3163185B2 (ja) * | 1992-11-27 | 2001-05-08 | 株式会社東芝 | パターン認識装置およびパターン認識方法 |
US5479574A (en) * | 1993-04-01 | 1995-12-26 | Nestor, Inc. | Method and apparatus for adaptive classification |
US5455872A (en) * | 1993-04-26 | 1995-10-03 | International Business Machines Corporation | System and method for enhanced character recogngition accuracy by adaptive probability weighting |
JP2673871B2 (ja) * | 1993-08-26 | 1997-11-05 | 日本アイ・ビー・エム株式会社 | ニューラル・ネットワークによるパターン認識方法及び装置 |
US5522011A (en) * | 1993-09-27 | 1996-05-28 | International Business Machines Corporation | Speech coding apparatus and method using classification rules |
US5875264A (en) * | 1993-12-03 | 1999-02-23 | Kaman Sciences Corporation | Pixel hashing image recognition system |
US6167390A (en) * | 1993-12-08 | 2000-12-26 | 3M Innovative Properties Company | Facet classification neural network |
US5493539A (en) * | 1994-03-11 | 1996-02-20 | Westinghouse Electric Corporation | Two-stage detection and discrimination system for side scan sonar equipment |
US5493619A (en) * | 1994-03-11 | 1996-02-20 | Haley; Paul H. | Normalization method for eliminating false detections in side scan sonar images |
US5519786A (en) * | 1994-08-09 | 1996-05-21 | Trw Inc. | Method and apparatus for implementing a weighted voting scheme for multiple optical character recognition systems |
US5822741A (en) * | 1996-02-05 | 1998-10-13 | Lockheed Martin Corporation | Neural network/conceptual clustering fraud detection architecture |
KR100207426B1 (ko) * | 1996-05-08 | 1999-07-15 | 전주범 | 무늬의 크기와 방향성을 이용한 텍스쳐 분류 장치 |
US6092059A (en) * | 1996-12-27 | 2000-07-18 | Cognex Corporation | Automatic classifier for real time inspection and classification |
US6097834A (en) * | 1997-06-13 | 2000-08-01 | Paystation America Inc. | Financial transaction processing systems and methods |
US7096192B1 (en) * | 1997-07-28 | 2006-08-22 | Cybersource Corporation | Method and system for detecting fraud in a credit card transaction over a computer network |
US7403922B1 (en) | 1997-07-28 | 2008-07-22 | Cybersource Corporation | Method and apparatus for evaluating fraud risk in an electronic commerce transaction |
US6032136A (en) | 1998-11-17 | 2000-02-29 | First Usa Bank, N.A. | Customer activated multi-value (CAM) card |
US6606402B2 (en) | 1998-12-18 | 2003-08-12 | Cognex Corporation | System and method for in-line inspection of stencil aperture blockage |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US6366897B1 (en) | 1999-07-26 | 2002-04-02 | Hnc Software, Inc. | Cortronic neural networks with distributed processing |
US6505168B1 (en) | 1999-08-16 | 2003-01-07 | First Usa Bank, Na | System and method for gathering and standardizing customer purchase information for target marketing |
US6941365B2 (en) * | 2000-07-28 | 2005-09-06 | Lockheed Martin Corporation | Computer resource allocation layout description |
US7831467B1 (en) | 2000-10-17 | 2010-11-09 | Jpmorgan Chase Bank, N.A. | Method and system for retaining customer loyalty |
US6904408B1 (en) * | 2000-10-19 | 2005-06-07 | Mccarthy John | Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators |
US7095875B2 (en) * | 2001-05-15 | 2006-08-22 | Lockheed Martin Corporation | Method and system for address result arbitration |
US7865427B2 (en) | 2001-05-30 | 2011-01-04 | Cybersource Corporation | Method and apparatus for evaluating fraud risk in an electronic commerce transaction |
US8175908B1 (en) | 2003-09-04 | 2012-05-08 | Jpmorgan Chase Bank, N.A. | Systems and methods for constructing and utilizing a merchant database derived from customer purchase transactions data |
US7313158B2 (en) * | 2005-02-08 | 2007-12-25 | Photodigm, Inc. | Integrated high speed modulator for grating-outcoupled surface emitting lasers |
US7729533B2 (en) * | 2006-09-12 | 2010-06-01 | Boston Scientific Scimed, Inc. | Systems and methods for producing classifiers with individuality |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3601802A (en) * | 1966-09-09 | 1971-08-24 | Kokusai Denshin Denwa Co Ltd | Pattern matching character recognition system |
US3950733A (en) * | 1974-06-06 | 1976-04-13 | Nestor Associates | Information processing system |
US4030068A (en) * | 1976-01-12 | 1977-06-14 | Decision Data Computer Corporation | Optical character recognition system |
US4044243A (en) * | 1976-07-23 | 1977-08-23 | Nestor Associates | Information processing system |
US4254474A (en) * | 1979-08-02 | 1981-03-03 | Nestor Associates | Information processing system using threshold passive modification |
US4326259A (en) * | 1980-03-27 | 1982-04-20 | Nestor Associates | Self organizing general pattern class separator and identifier |
US4760604A (en) * | 1985-02-15 | 1988-07-26 | Nestor, Inc. | Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier |
-
1988
- 1988-02-17 US US07/156,830 patent/US4958375A/en not_active Expired - Lifetime
-
1989
- 1989-01-05 EP EP89100157A patent/EP0328861B1/de not_active Expired - Lifetime
- 1989-01-05 DE DE89100157T patent/DE68908910T2/de not_active Expired - Fee Related
- 1989-02-17 JP JP1039180A patent/JP2976053B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2976053B2 (ja) | 1999-11-10 |
DE68908910D1 (de) | 1993-10-14 |
US4958375A (en) | 1990-09-18 |
JPH01315886A (ja) | 1989-12-20 |
EP0328861A2 (de) | 1989-08-23 |
EP0328861A3 (de) | 1992-03-25 |
EP0328861B1 (de) | 1993-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE68908910T2 (de) | Paralleles, mehrere Einheiten umfassendes, anpassungsfähiges Musterklassifizierungssystem, das Korrelationen zwischen den Einheiten und eine Klassentrennungsmethodologie innerhalb der Einheiten benutzt. | |
DE3650446T2 (de) | Paralleler, adaptiver, nichtlinearer Musterklassentrenner und -erkenner in mehreren Einheiten. | |
DE69327716T2 (de) | System und verfahren, um wissen über das typische und aussergewöhnliche aus einer datenbank von vorfallsdaten herauszusuchen. | |
DE60130742T2 (de) | Mustererkennung mit hierarchischen Netzen | |
DE69617515T2 (de) | Automatisches Verfahren zur Erzeugung von thematischen Zusammenfassungen | |
DE3789718T2 (de) | Verfahren zur Konstruktion von baumstrukturierten Klassifikatoren. | |
DE69423228T2 (de) | Unüberwachtes klassifizierungsverfahren mit neuronalem netzwerk mit back propagation | |
DE69333811T2 (de) | Verfahren und Gerät zur Erzeugung und Einstellung eines Neurones | |
DE69732904T2 (de) | Verfahren und gerät zur extraktion gegenstände chakterisierender merkmale | |
DE60307224T2 (de) | Computergestütztes verfahren zur entdeckung von mustern in unbekannten hochdimensionalen daten | |
DE69937530T2 (de) | Verfahren zum automatischen Klassifizieren von Bildern nach Ereignissen | |
DE69126555T2 (de) | Verfahren zur Klassifikation in einem hierarchisierten neuronalen Netzwerk | |
DE112018000349T5 (de) | Visuelles Analysesystem für auf einem konvolutionalen neuronalen Netz basierte Klassifizierer | |
CH631821A5 (de) | Verfahren und automatische vorrichtung zur musterverarbeitung. | |
DE102018128531A1 (de) | System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen | |
DE4232507A1 (de) | Verfahren zum Kennzeichnen, Wiederauffinden und Sortieren von Dokumenten | |
DE4211904C2 (de) | Automatisches Verfahren zum Erstellen einer Liste unterschiedlicher Arten für eine flüssige Probe | |
CH684856A5 (de) | Verfahren zur Klassifizierung eines Musters - insbesondere eines Musters einer Banknote oder einer Münze - und Einrichtung zur Durchführung des Verfahrens. | |
DE69815390T2 (de) | Neuronale netzwerke | |
DE69110538T2 (de) | Neuronales Klassifikationssystem and -verfahren. | |
DE69802372T4 (de) | Klassifizierungssystem und -verfahren mit N-Tuple- oder RAM-basiertem neuronalem Netzwerk | |
DE69811088T2 (de) | Klassifizieranlage und klassifizierverfahren unter verwendung einer kombination von warscheinlichkeitsverfahren und neuronalen netzwerken | |
Nguyen et al. | Rough set approach to sunspot classification problem | |
DE69026668T2 (de) | Genaue Erkennung von Eingabemustern | |
DE3688737T2 (de) | Kontextadressierbarer umlaufspeicher. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |