DE69425166T2

DE69425166T2 - Verfahren und Gerät zur Mustererkennung

Info

Publication number: DE69425166T2
Application number: DE69425166T
Authority: DE
Inventors: Toru Niki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-02-26
Filing date: 1994-02-25
Publication date: 2001-03-15
Anticipated expiration: 2014-02-26
Also published as: EP0613101A3; US5671293A; DE69425166D1; EP0613101A2; EP0613101B1

Description

Die vorliegende Erfindung bezieht sich auf ein Mustererkennungsgerät und -verfahren mit einer derartigen Funktion, dass für einen unbekannten Eingangsvektor durch Ausgeben einer Gruppe von Kategorien, zu der der Eingangsvektor gehört, die Anzahl an Kandidatenkategorien, zu denen der Eingangsvektor gehört, verringert werden kann.
Bei einem herkömmlichen Mustererkennungsgerät wird ein Eingangsvektor in dem Fall, dass die Anzahl an Kategorien als Ziele zur Erkennung sehr groß ist, dieser nicht mit allen Standardmustern als Kandidaten verglichen, sondern Verarbeitungen werden derart ausgeführt, dass eine vorbestimmte arithmetische Operation mit geringem Berechnungsumfang zuerst ausgeführt wird, und eine Gruppe von Kategorien, die als Kategoriegruppe bestimmt werden können, zu der der Eingangsvektor gehört, wird unter Bezugnahme auf eine Tabelle entsprechend den Werten der Ergebnisse der arithmetischen Operationen ausgewählt, und die in der Kategoriegruppe enthaltenen Kategorien werden als Kandidaten ausgegeben. Derartige Verarbeitungen werden allgemein als Einengung oder Klassifizierung der Kandidaten bezeichnet. Da die Anzahl an Kandidatenkategorien durch einen derartigen Klassifizierungsvorgang verringert wird, kann die Gesamtverarbeitungszeit reduziert werden. Nachstehend werden Beispiele einer derartigen Klassifizierung beschrieben. Fig. 8 zeigt einen Aufbau eines herkömmlichen Geräts zur Zeichenerkennung. In der Darstellung bezeichnet das Bezugszeichen 71 eine Eingabeeinheit zur Umwandlung eines Dokumentenbildes als Ziel zur Erkennung in ein elektrisches Signal, 72 einen Merkmalsextrahierer zum Extrahieren eines Merkmals, das besonders für ein Zeichen ist, aus einem Eingangssignal von der Eingabeeinheit 71 bei jedem Zeichen und zur Erzeugung eines Merkmalsvektors, 75 bis 78 Abschnitte zur Ausführung eines Klassifizierungsvorgangs, 76 einen Parameterspeicher, in dem Parameter für den Klassifizie rungsvorgang gespeichert wurden, 75 eine Klassifizierungsverarbeitungseinheit, 78 eine Kategorietabelle, 77 eine Kategorietabellen-Bezugnahmeeinheit zur Bezugnahme auf die Kategorietabelle 78 anhand des Ergebnisses des Klassifizierungsvorgangs, 80 ein Verzeichnis, in dem Standardmuster aller Kandidatenkategorien als Ziele zur Erkennung als Mittelvektoren gespeichert sind, 79 einen Vergleicher zur Auswahl der Kategorie als Erkennungsergebnis, das die kleinste Distanz zwischen dem Standardvektor in dem Verzeichnis 80 und dem Eingangsvektor liefert, und 81 eine Ausgabeeinheit zur Ausgabe der Kandidatenkategorie, die schließlich durch den Vergleicher 79 ausgewählt wurde.
Eine Aufgabe der Klassifizierung besteht in der Verringerung der Anzahl an Kategorien, die die Kandidaten werden können, mittels eines geringen Berechnungsaufwands, der so gering als möglich ist. Allerdings sind im allgemeinen sogar im Fall von Mustern, die zur gleichen Kategorie gehören, diese derart verteilt, dass sie einen gewissen Abweichungsgrad aufweisen. Fig. 9 zeigt eine schematische Darstellung des Zustands jeder Kategorieverteilung im Fall, dass die Anzahl der Dimensionen des Merkmalsvektors auf zwei eingestellt ist. Die Musterdaten sind auf eine Fläche um den Kategoriemittelvektor mit Abweichungen wie C1, C2, ... verteilt.
Zur Einengung der Anzahl an Kategorien wird ein Fall zur Einteilung der Kategorien durch Ebenen in Betracht gezogen, die sich senkrecht in einem Raum in Fig. 9 schneiden (allgemein wird angenommen, dass die Anzahl der Dimensionen des Merkmalsvektors auf N eingestellt ist, N-dimensionale Hyperebene). Bei der Betrachtung des Falls der Einteilung durch die Hyperebene ist es effektiv, die zu einer Richtung senkrechte Ebene derart einzustellen, dass die Abweichung so groß als möglich ist. Daher wird zuerst die Hauptkomponente für den Mittelvektor einer Kategorie analysiert, und die oberen L Eigenvektoren unter den Eigenvektoren, die als Ergebnis der Analyse erhalten werden, werden als Basisvektoren ei (i = 1, 2, ..., L) der Hyperebene eingesetzt. Die vorstehend angeführten Eigenvektoren weisen die gleichen Werte wie die Eigenvektoren einer Zwischenkategorie- Kovarianzmatrix SB auf. Die Definition der Zwischenkategorie- Kovarianzmatrix SB ist durch folgende Gleichung gegeben.
SB = (1/C ( (k) - XT)( (k) - XT)'
(k): Mittelvektor einer Kategorie k
XT: Gesamtmittelvektor aller Muster
Strich('): Transponierwert
In dem Beispiel aus Fig. 9 werden vier Räume E&sub1;, E&sub2;, E&sub3; und E&sub4; durch die oberen zwei Basisvektoren e&sub1; und e&sub2; erhalten (Fig. 10). Der Raum, zu dem jedes Muster gehört, wird zuvor bezüglich aller Lernmuster untersucht. In dem Fall, dass selbst eine kleine Anzahl von Lernmustern in jedem Raum enthalten ist, wird berücksichtigt, dass die Kategorie, zu der die Lernmuster gehören, in einem derartigen Raum enthalten ist, so dass jeder Raum und die Kategorie, zu der die Lernmuster gehören, in einer Tabelle registriert werden.
Bei der Eingabe eines unbekannten Merkmalsvektors X wird eine Skalarproduktoperation mit den Basisvektoren ei durch den Klassifizierungsvorgang in der Klassifizierungsverarbeitungseinheit 75 durchgeführt, der Raum, zu dem X gehört, wird untersucht, und es wird auf die vorstehend angeführte Tabelle Bezug genommen, so dass die Kategorien eingeengt werden können. Lediglich die Kategorien, die eingeengt wurden, werden mit dem Verzeichnis 80 durch den Vergleicher 79 verglichen. Die optimale Kategorie wird durch die Ausgabeeinheit 81 ausgegeben.
Bei dem vorstehend beschriebenen herkömmlichen Verfahren gibt es allerdings Nachteile dahingehend, dass die Innerkategorie- Kovarianzmatrix größer verglichen mit der Zwischenkategorie- Kovarianzmatrix ist und die Anisotropie der Innerkategorie- Kovarianzmatrix stark ist und die Anzahl an in jedem unterteilten Raum enthaltenen Kategorien groß ist, so dass die Anzahl an Kategorien nicht effektiv eingeengt werden kann. Fig. 11 zeigt eine schematische Darstellung eines Beispiels in einem derartigen Fall. Da die Überlappung zwischen den Kategorien groß ist, ist die effektive Trennung dieser Kategorien durch die Hyperebene schwierig.
Der Erfindung liegt die Aufgabe zugrunde, ein Mustererkennungsverfahren und ein Gerät auszugestalten, das die Anzahl an Kategorien selbst in Fällen wie vorstehend beschrieben effektiv einengen kann.
Erfindungsgemäß wird, wie in den Patentansprüchen definiert, ein Merkmalsvektor extrahiert und zur Bewirkung einer Trennung zwischen Kategorien umgewandelt, eine Skalarproduktoperation mit einem vorbestimmten Basisvektor wird ausgeführt und es wird auf eine Kategorietabelle Bezug genommen. Aufgrund dessen können die vorstehend angeführten herkömmlichen Probleme gelöst und selbst in einem Fall wie in Fig. 11 gezeigt die Anzahl an Kategorien effektiv eingeengt werden.
Gemäß einem Ausführungsbeispiel der Erfindung werden nach der Durchführung einer Umwandlung derart, dass eine Mittelverteilungsmatrix Sw jeder Innerkategorie-Kovarianzmatrix eine Einheitsmatrix wird, die Kategorien durch eine Hyperebene getrennt. Daher können lediglich die Kategorien, von denen angenommen wird, dass ein Eingangsvektor zu ihnen gehört, aus einer Anzahl von Kandidatenkategorien effektiv eingeengt werden, so dass sich eine Wirkung dahingehend ergibt, dass ein Muster mit geringerem Berechnungsaufwand erkannt werden kann.

Kurzbeschreibung der Zeichnungen

Fig. 1 zeigt ein Blockschaltbild eines Aufbaus eines Mustererkennungsgeräts gemäß dem ersten Ausführungsbeispiel der Erfindung,
Fig. 2 zeigt ein Ablaufdiagramm für das erste Ausführungsbeispiel der Erfindung,
Fig. 3 zeigt eine Darstellung zur Beschreibung der Normalisierung eines Zeichenbildes,
Fig. 4 zeigt eine Speicherabbildung eines Aufbaus einer Kategorietabelle in Fig. 1,
Fig. 5 zeigt eine schematische Darstellung zur Beschreibung eines Umwandlungszustands bei dem ersten Ausführungsbeispiel,
Fig. 6 zeigt eine schematische Darstellung zur Beschreibung der Kategorientrennung gemäß dem ersten Ausführungsbeispiel,
Fig. 7 zeigt ein schematisches Blockschaltbild des Mustererkennungsgeräts des Ausführungsbeispiels,
Fig. 8 zeigt ein Blockschaltbild eines Aufbaus eines herkömmlichen Mustererkennungsgeräts,
Fig. 9 zeigt eine schematische Darstellung zur Beschreibung der Kategorientrennung bei dem herkömmlichen Gerät,
Fig. 10 zeigt eine schematische Darstellung zur Beschreibung der Kategorientrennung bei dem herkömmlichen Gerät und
Fig. 11 zeigt eine schematische Darstellung eines Beispiels für den Fall, dass die Trennung der Kategorien schwierig ist.

Ausführliche Beschreibung des bevorzugten Ausführungsbeispiels

Nachstehend wird ein Ausführungsbeispiel der Erfindung unter Bezugnahme auf die Zeichnung beschrieben.
Fig. 1 zeigt den Aufbau eines Mustererkennungsgeräts eines Ausführungsbeispiels der Erfindung. In der Darstellung bezeichnet das Bezugszeichen 11 eine Eingabeeinheit zur Umwandlung eines Dokumentenbildes als Ziel zur Erkennung in ein elektrisches Signal, 12 einen Merkmalsextrahierer zur Extraktion eines Merkmals, das besonders für ein Zeichen ist, aus einem Eingangssignal von der Eingabeeinheit 11 für jedes Zeichen und zur Erzeugung eines Merkmalsvektors, 13 eine Umwandlungseinheit, die als vorbestimmte Umwandlungsmatrix bei einem Eingangsvektor dient, der dabei umgewandelt wird, 14 einen Umwandlungsmatrixspeicher zur Speicherung der Umwandlungsmatrix, 15 bis 18 Abschnitte zur Durchführung eines Klassifizierungsvorgangs, 16 einen Parameterspeicher, in dem Parameter für den Klassifizierungsvorgang gespeichert sind, 15 eine Klassifizierungsverarbeitungseinheit, 18 eine Kategorietabelle, 17 eine Kategorietabellen- Bezugnahmeeinheit zur Bezugnahme auf die Kategorietabelle 18 anhand des Ergebnisses des Klassifizierungsvorgangs, 20 ein Verzeichnis, in dem Standardmuster aller Kandidatenkategorien als Erkennungsziele als Mittelvektoren gespeichert sind, 19 einen Vergleicher zur Auswahl der Kategorie, die die kleinste Distanz zwischen dem Standardvektor in dem Verzeichnis 20 und dem Eingangsvektor als Erkennungsergebnis liefert, und 21 eine Ausgabeeinheit zur Ausgabe der Kandidatenkategorie, die schließlich von dem Vergleicher 19 ausgewählt wird.
Zuerst wird ein Verfahren zum Erhalten der Umwandlungsmatrix und von Parametern für einen Klassifizierungsvorgang beschrieben. In einem Fall wie in Fig. 10 gezeigt, ist die Trennung jeder Kategorie durch eine Hyperebene gemäß dem herkömmlichen Verfahren schwierig, da die Innerkategorie-Kovarianzmatrix größer ist verglichen mit der Zwischenkategorie-Kovarianzmatrix und die Anisotropie der Innerkategorie-Kovarianz stark ist. Gemäß dem Ausführungsbeispiel werden daher nach der Durchführung einer Umwandlung derart, dass die Mittelkovarianzmatrix Sw jeder Innerkategorie-Kovarianzmatrix eine Einheitsmatrix geworden ist, die Kategorien unter Verwendung einer Hyperebene getrennt.
Die Verteilung der Kategorie k wird näherungsweise durch eine Kovarianzmatrix folgender Gleichung ausgedrückt.
Sk = (1/n(k) (Xi(k) - (k))(Xi(k) - (k))'
(k): Mittelvektor der Kategorie k
n(k): Anzahl der Lernmuster der Kategorie k
Andererseits ist für eine Kovarianzmatrix Sk (k = 1, ..., C: C bezeichnet die Anzahl der Kategorien) der Kategorie k eine Innermittelkategorie-Kovarianzmatrix Sw durch die folgende Gleichung definiert:
Sw = (1/C) Sk
Nun wird angenommen, dass die Anzahl der Dimensionen von X auf N eingestellt ist, und die folgende Umwandlung wird ausgeführt.
= AX(X RN
[A - Aufgabe der Erfindung]
: N· N) ...(1)
A = UM-1/2 U' (bei diesem Beispiel A' = A)
Punkt (·): Wert nach der Umwandlung
Strich ('): Transponierwert
M und U bezeichnen jeweils eine Eigenwertmatrix und eine Eigenvektormatrix von Sw. Das heißt, unter der Annahme, dass die Eigenwerte der Innermittelkategorie-Kovarianzmatrix Sw auf ul, ..., uN gesetzt sind, und ihre Eigenwerte jeweils auf Φ&sub1;, ..., ΦN gesetzt sind, ist
M = diag(u&sub1;, ..., uN)
M-1/2 = diag(1/ u&sub1;, ..., 1/ uN)
U = (Φ&sub1;, ..., ΦN)
Bei diesem Beispiel ist
M-1/2 = diag(1/ u&sub1;, ..., 1/ uN)
Aus den Definitionen der Eigenwertmatrix und der Eigenvektormatrix wird
Sw = UMU'
erhalten.
Es gilt:
w = A'SwA
UM-1/2U'SwM-1/2U'
= UM-1/2U'UMU'UM-1/2U'
= UM-1/2MM-1/2U'
= UU'
= I
Es ist ersichtlich, dass nach der Umwandlung von (1) die Innermittelkategorie-Kovarianzmatrix zu einer Einheitsmatrix wie in Fig. 5 gezeigt wird.
Fig. 6 zeigt eine schematische Darstellung eines Zustands nach dem Abschluss der Umwandlung durch A. Es ist ersichtlich, dass der Trennungsvorgang durch die Hyperebene effektiver ausgeführt werden kann, da der Gruppierungsgrad jeder Kategorie gut ist. Die Normalisierung der Kovarianzmatrix in die Einheitsmatrix selbst ist ein bekanntes Verfahren, das sogenannte Weißfärbungs- oder "Whitening"-Verfahren (Quellenliteratur: Noriyuki Ohtsu, "The Mathematical Study About the Feature Extraction in the Pattern Recognition", Study Report of The Electric Overall Laboratory, Juli 1981, Gala, B. E. "A data clustering algorithm for feature extraction and unsupervised learning" IEEE Proc, of the Conf. on Computer Graphics Pattern Recognition and Data Structure, 14. Mai 1975, Long Beach, CA, Seiten 323 bis 332).
Die Umwandlungsmatrix A wird in den Umwandlungsmatrixspeicher 14 geschrieben. Nachdem alle Lernmuster durch die Umwandlungsmatrix A umgewandelt wurden, werden der Gesamtmittelvektor T und die Basisvektoren ei, die die Hyperebene zur Einteilung des Raums anzeigen, erhalten. Die Basisvektoren ei werden auf im wesentlichen die gleiche Art und Weise wie bei dem herkömmlichen Verfahren bestimmt. Das heißt, die Hauptkomponente wird für den Mittelvektor jeder Kategorie analysiert, und die oberen L Eigenvektoren unter den Eigenvektoren, die als Ergebnis der Analyse erhalten werden, werden als Basisvektoren ei (i = 1, 2, ..., L) der Hyperebene eingesetzt. Die Einstellung des Werts von L auf einen großen Wert ist zur Reduzierung der Anzahl an Kandidatenkategorien effektiv. Wenn aber der Wert von L groß ist, erhöht sich die Größe einer Kategorietabelle, die nachste hend beschrieben wird. Daher wird L experimentell auf einen geeigneten Wert gesetzt. Als geeigneter Wert von L reicht es bei diesem Beispiel aus, L auf einen Wert in einem Bereich von 1/d bis 1/(d+10) der Anzahl an Dimensionen des Merkmalsvektors zu setzen, wobei d eine beliebige ganze Zahl ist. Die wie vorstehend beschrieben erhaltenen Werte ei und T werden in den Parameterspeicher 16 geschrieben.
Andererseits wird auch zuvor untersucht, zu welchem der unterteilten Räume alle Lernmuster nach der Umwandlung gehören. Selbst im Fall, dass eine kleine Anzahl an Lernmustern in jedem Raum enthalten ist, wird berücksichtigt, dass die Kategorie, zu der die Lernmuster gehören, in einem derartigen Raum enthalten ist. Ein derartiger Bezug wird in der Kategorietabelle 18 registriert.
Fig. 7 zeigt ein schematisches Blockschaltbild eines Mustererkennungsgeräts als Beispiel zur Ausführung der Erfindung.
Das Bezugszeichen 101 bezeichnet eine CPU bzw. Zentraleinheit zur Speicherung der Verarbeitungen des gesamten Geräts. Die CPU 101 führt die Verarbeitungen auf der Grundlage eines in einem ROM 102 gespeicherten Steuerprogramms aus. Das Steuerprogramm des Ablaufdiagramms aus Fig. 2, das Verzeichnis und andere Daten sind in dem ROM 102 gespeichert. Ein RAM 103 wird als Arbeitsspeicher zur Speicherung von Daten während der Ausführung jeder Verarbeitung verwendet. Das Bezugszeichen 104 bezeichnet eine Schnittstelle zur Steuerung der Kommunikation zwischen einem anderen Mustererkennungsgerät und einem Anschluss eines Computers zur Durchführung einer Bildeingabe von einem anderen Gerät, der Ausgabe des Erkennungsergebnisses und dergleichen. Das Bezugszeichen 105 bezeichnet eine Abtasteinrichtung zum optischen Lesen des Originalbildes als Erkennungsziel, 106 eine Eingabeeinheit, wie eine Tastatur oder eine Zeigeeinrichtung oder eine andere Einrichtung, die Befehle zum Start, zur Unterbrechung und Befehle anderer Art zur Verarbeitung eingeben kann, und 107 eine Anzeigeeinrichtung wie eine CRT-Einrichtung oder ein Flüssigkristallanzeigefeld zur Anzeige eines von einer Abtasteinrichtung oder einer anderen Eingabeeinrichtung eingegebenen Bildes, von Erkennungsergebnissen und während des Erkennungsvorgangs ausgegebenen Nachrichten.
Der Verarbeitungsablauf bei dem Ausführungsbeispiel wird nachstehend unter Bezugnahme auf das Ablaufdiagramm in Fig. 2 beschrieben. In Schritt S201 wird das Dokumentenbild durch die Abtasteinrichtung 105 gelesen, und die Bilddaten werden in binäre digitale Bilddaten umgewandelt. In Schritt S202 wird ein Zeichenextrahiervorgang zur Extraktion eines Bereichs jedes Zeichens aus den ausgelesenen Bilddaten ausgeführt. In Schritt S203 werden die Bilddaten eines Zeichens auf eine vorbestimmte Größe normalisiert. Zu diesem Zweck wird ein Pufferspeicher zur Speicherung der normalisierten Bilddaten, bei denen eine vorbestimmte Länge 64 auf eine Seite eingestellt wird, ausgebildet, und die Bilddaten eines Zeichens werden normalisiert und gespeichert. Die Beschreibung wird nachstehend insbesondere anhand Fig. 3 durchgeführt. Die Daten eines Zeichens des Originalbildes werden durch a(i, j) (0 ≤ i < w, 0 ≤ j < h) ausgedrückt. Die Höhe des Zeichens wird auf h und die Breite auf w eingestellt. a(i, j) weist einen Wert 1 für einschwarzes Bildelement und einen Wert 0 für ein weißes Bildelement auf. Nun wird unter der Annahme, dass die Daten nach der Normalisierung auf b(i, j) = (0 ≤ i, j < 64) gesetzt sind, diese berechnet durch
b(i, j) = a(64 · i/w, 64 · j/h)
(für alle Werte von i und j, die die Beziehung (0 ≤ i, j < 64) erfüllen)
Nachdem das Zeichenbild auf ein Quadrat mit der Länge einer Seite von 64 normalisiert wurde, werden die Merkmale gemäß einem vorbestimmten Algorithmus in Schritt S204 extrahiert. Bei dem Ausführungsbeispiel wird das normalisierte Zeichenbild in (8 · 8) kleine Bereiche eingeteilt, die Anzahl der schwarzen Bildelemente wird für jeden kleinen Bereich erfasst, und ein Histogramm wird erhalten. Da die Anzahl der schwarzen Bildele mente für alle 64 kleinen Bereiche berechnet wird, wird der 64- dimensionale Merkmalsvektor X als Ganzes erzeugt.
In Schritt S205 wird die vorstehend beschriebene Umwandlungsmatrix bei dem extrahierten Merkmalsvektor X angewendet, wodurch der umgewandelte Merkmalsvektor erhalten wird.
In Schritt S206 werden durch die Ausführung der folgenden Skalarproduktoperation bei dem Merkmalsvektor nach dem Abschluss der Umwandlung Werte p&sub1;, p&sub2;, ..., pL zum Durchsuchen der Kategorietabelle erhalten
wenn ei ( - T) ≥ 0, pi = 1
wenn ei ( - T) < 0, pi = 0
(i = 1, 2, ..., L)
Der Wert γ zur Bezugnahme auf die Kategorietabelle wird unter Verwendung von pi als Ergebnis der vorstehenden Skalarproduktoperation gemäß folgender Gleichung berechnet.
γ = pi · 2i-1
γ hat die Werte von 0 bis 2L-1, die den Raum anzeigen, zu dem gehört. In Schritt S207 wird die Kategorietabelle unter Verwendung von γ durchsucht. Fig. 4 zeigt einen Speicheraufbau zur Beschreibung der Kategorietabelle 18 in Fig. 1. Anhand des Werts von γ wird zuerst auf eine Adressentabelle AT[γ] Bezug genommen. Anhand des Werts der Adressentabelle AT[γ] wird auf eine Position 41 einer Kategorietabelle CT[0] Bezug genommen, und die nach der Position 41 gespeicherten Kategorien werden als Kandidatenkategorien eingestellt. Eine Anzahl m wird an einer ersten Position 41 gespeichert. Nachfolgend werden (m) Codes, die die Kandidatenkategorien anzeigen, aufeinanderfolgend nach einer Position 42 gespeichert. Die Anzahl (m) ist nicht konstant, sondern in Abhängigkeit von jeder Gruppe verschieden. Bei dem Aufbau in Fig. 1 wird auch die Adressentabelle AT in einem vorbestimmten Bereich in der Kategorietabelle 18 gespei chert. Die in der Kategorietabelle CT enthaltenen Kategorien werden zuvor durch Berechnung des Bezugswerts γ für die Lernmuster und durch Untersuchen des Raums erhalten, zu dem der Wert von γ gehört.
Der Merkmalsvektor wird lediglich für die (m) eingeengten Kandidatenkategorien mit den in dem Verzeichnis gespeicherten Standardmustern in Schritt S208 verglichen. Die Kategorie, die die kleinste Distanz liefert, wird schließlich als Kandidatenkategorie ausgewählt und in Schritt S209 ausgegeben.
Ein zweites Ausführungsbeispiel verwendet ein Verfahren, bei dem lediglich die Elemente einer großen Effizienz zur Klassifizierung unter den Elementen des ursprünglichen Merkmalsvektors als Umwandlungsmatrix verwendet werden. Für den 64- dimensionalen Merkmalsvektor wird, ähnlich wie bei dem ersten Ausführungsbeispiel, ein Grad R(j) einer Alleinklassifizierungseffektivität einer Merkmalsachse j durch die folgende Gleichung definiert.
R(j) = σ /σ
wobei σ und σ jeweils eine Zwischenkategorievarianz lediglich durch die Komponente der Merkmalsachse j und eine Inner-Mittelkategorievarianz bezeichnen.
Ein neuer Merkmalsvektor wird lediglich durch die oberen L Merkmalsgrößen von einem größeren Wert von R(j) gebildet. Der Vorgang zur Berechnung des Skalarprodukts unter Verwendung von und die nachfolgenden Verarbeitungen sind im wesentlichen gleich jenen in dem ersten Ausführungsbeispiel.
Die Erfindung ist als Mittel zur Einengung der Anzahl an möglichen Kategorien zu verstehen, zu denen der Eingangsmerkmalsvektor gehören kann, und ist nicht auf die Art des Eingangsvektors oder der Kategorie beschränkt. Die Erfindung kann daher auf verschiedenen Erkennungsgebieten wie der Zeichen-, Sprach- oder Bilderkennung angewendet werden.

Claims

1. Mustererkennungsgerät (11-21; 101-107) mit

einer Eingabeeinrichtung (11; 104, 105) zur Eingabe von Musterdaten,

einer Merkmalsvektorextraktionseinrichtung (12; 101- 103), die bei den Musterdaten zur Extraktion eines Merkmalsvektors (X) betreibbar ist,

einer Umwandlungseinrichtung (13, 14; 101-103), die bei dem Merkmalsvektor ( ) zur Erzeugung eines umgewandelten Merkmalsvektors (X) betreibbar ist, wobei die Umwandlungseinrichtung eine Umwandlungsmatrix (A) verwendet, die zur Umwandlung einer Innermittel-Kovarianzmatrix (Sw) in eine Einheitsmatrix ( w, I) ausgewählt ist, wobei die Innermittel-Kovarianzmatrix (Sw) aus einer Vielzahl von Kovarianzmatrizen (Sk: k = 1 bis C), die die Kovarianz zwischen den Mustererkennungskandidaten in einer (k) der Vielzahl von Kategorien (1 bis C) von Mustererkennungskandidaten darstellen, und einem Mittelvektor ( (k)) für diese Kategorie (k) bestimmt wird,

einer Klassifizierungsverarbeitungseinrichtung (15, 16; 101-103) zur Bestimmung der Skalarprodukte (ei· : i = 1 bis L) zwischen dem umgewandelten Merkmalsvektor ( ) und einer Vielzahl von Basisvektoren (ei: i = 1 bis L), wobei die Basisvektoren Eigenvektoren (Φ&sub1;, ..., ΦL) der Innermittel- Kovarianzmatrix (Sw) sind, die beim Auswählen der Umwandlungsmatrix (A) bestimmt werden, und

einer Kategorieauswahleinrichtung (17, 18; 101-103), die eine Kategorietabelle (18) zur Auswahl zumindest einer Kategorie von Mustererkennungskandidaten aus der Kategorie tabelle (18) auf der Grundlage (γ, pi : 1 = 1 bis L) der bestimmten Skalarprodukte (ei· : i = 1 bis L) enthält, wobei die Kategorietabelle (18) anzeigt, welche Bereiche (E&sub1;, ..., EN) des Hyperraums, der durch durch die Basisvektoren (ei) definierte Hyperebenen unterteilt wird, auf durch die Umwandlungsmatrix (A) umgewandelten Kategorien überlappen.

2. Gerät nach Anspruch 1, ferner mit

einer Vergleichereinrichtung (19, 20; 101-103) mit einem Musterverzeichnis (20) von Mustererkennungskandidaten zum Vergleich des Merkmalsvektors (X) mit jenen Kandidaten der zumindest einen durch die Kategorieauswahleinrichtung ausgewählten Kategorie und zum Erkennen des durch den Merkmalsvektor dargestellten Eingabemusters und

einer Ausgabeeinrichtung (21; 104, 107) zur Ausgabe des Ergebnisses des durch die Vergleichereinrichtung (19, 20) durchgeführten Vergleichs.

3. Gerät nach Anspruch 1 oder 2, wobei die Eingabeeinrichtung (11; 105) eine Abtasteinrichtung (105) zur Eingabe von Zeichentext oder Bildmusterdaten umfasst.

4. Gerät nach einem der Ansprüche 1 bis 3, wobei die Eingabeeinrichtung (11; 104) eine Einrichtung (104) zur Eingabe von Sprachmusterdaten umfasst.

5. Gerät nach einem der vorhergehenden Ansprüche, wobei die Merkmalsvektorextraktionseinrichtung (12), die Umwandlungseinrichtung (13, 14), die Klassifizierungsverarbeitungseinrichtung (15, 16) und die Kategorieauswahleinrichtung (17, 18) alle mittels eines programmierten Mikrocomputers (101-103) implementiert sind.

6. Mustererkennungsverfahren mit den Schritten Eingeben von Musterdaten,

Extrahieren eines Merkmalsvektors (X) aus den Musterdaten,

Umwandeln des Merkmalsvektors (X) in einen umgewandelten Merkmalsvektor ( ) durch eine Matrixumwandlung unter Verwendung einer zur Umwandlung einer Innenmittel- Kovarianzmatrix (Sw) in eine Einheitsmatrix ( w, I) ausgewählten Umwandlungsmatrix (A), wobei die Innenmittel- Umwandlungsmatrix (Sw) aus einer Vielzahl von Kovarianzmatrizen (Sk:k = 1 bis C), die die Kovarianz zwischen den Mustererkennungskandidaten in einer (k) der Vielzahl von Kategorien (1 bis C) der Mustererkennungskandidaten darstellen, und einem Mittelvektor ( (k)) für diese Kategorie (k) bestimmt wird,

Klassifizieren des Merkmalsvektors (X) durch Bestimmen der Skalarprodukte (ei· : i = 1 bis L) zwischen dem umgewandelten Merkmalsvektor ( ) und einer Vielzahl von Basisvektoren (ei: 1 = 1 bis L), wobei die Basisvektoren Eigenvektoren (Φ&sub1;, ..., ΦL) der Innenmittel-Kovarianzmatrix (Sw) sind, die beim Auswählen der Umwandlungsmatrix (A) bestimmt werden, und

Auswählen zumindest einer Kategorie der Mustererkennungskandidaten aus einer Kategorietabelle (18) auf der Grundlage der bestimmten Skalarprodukte, wobei die Kategorietabelle anzeigt, welche Bereiche (E&sub1;, E&sub2;, ...) des Hyperraums, der durch durch die Basisvektoren (ei) definierte Hyperebenen eingeteilt wird, auf durch die Umwandlungsmatrix (A) umgewandelten Kategorien überlappen.

7. Verfahren nach Anspruch 6, ferner mit dem Schritt zum Vergleichen des extrahierten Merkmalsvektors (X) mit in einem Musterverzeichnis (20) gespeicherten Standardmusterkandidaten für jene Kandidaten der zumindest einen ausgewählten Kategorie, die auf der Grundlage der bestimmten Skalarprodukte ausgewählt wird.

8. Verfahren nach Anspruch 6 oder 7, wobei der Schritt zur Eingabe von Musterdaten durch optisches Lesen von Zeichen text oder eines Bildes unter Verwendung einer Abtasteinrichtung durchgeführt wird.

9. Verfahren nach Anspruch 6 oder 7, wobei der Schritt zur Eingabe von Musterdaten durch die Eingabe von Sprachmusterdaten durchgeführt wird.

10. Verfahren nach einem der Ansprüche 6 bis 9, wobei die Schritte zur Extraktion des Merkmalsvektors, zur Umwandlung des Merkmalsvektors, zur Klassifizierung des Merkmalsvektors und zur Auswahl der zumindest einen Kategorie der Mustererkennungskandidaten durch den Ablauf eines Programms auf einem programmierten Mikrocomputer (101-103) mit einem Mikroprozessor (101) und einem Nur-Lese-Speichermedium (102) durchgeführt werden.

11. Speichermedium (102) zur Speicherung von Befehlen zur Steuerung eines Mikroprozessors (101) zur Ausführung des Verfahrens nach Anspruch 10.