-
Hintergrund
der Erfindung
-
Die
vorliegende Erfindung betrifft eine Datenklassifikationsvorrichtung
und hierfür
ein automatisches Verfahren zur Datenklassifikation, die/das ein
universelles Konfidenzmaß in
der vorhergesagten Klassifikation für jede unbekannte Eingabe bereitstellt.
Insbesondere, jedoch nicht ausschließlich, ist die vorliegende
Erfindung zur Mustererkennung geeignet, z. B. optische Zeichenerkennung.
-
Um
eine Datenklassifikation wie z. B. eine Mustererkennung zu automatisieren,
muß die
Vorrichtung, üblicherweise
in Form eines Computers, in der Lage sein, aus bekannten Beispielen
zu lernen und zu extrapolieren, um eine Klassifikation für neue unbekannte
Beispiele vorherzusagen. Verschiedene Techniken wurden über die
Jahre entwickelt, um Computer in die Lage zu versetzen, diese Funktion
auszuführen,
inklusive, unter anderem, Diskriminatenanalyse, neuronale Netzwerke,
genetische Algorithmen und Supportvektor-Maschinen. Diese Techniken
entspringen gewöhnlich
zwei Feldern: Maschinenlernen und Statistik.
-
Lernende
Maschinen, die gemäß der Theorie
des Maschinenlernens entwickelt wurden, arbeiten oft sehr gut für einen
großen
Bereich von Anwendungen, ohne parametrische statistische Annahmen über die
Datenquelle zu benötigen
(anders als traditionelle statistische Techniken), wobei die einzige
Annahme, die gemacht wird, die IID-Annahme ist (die Beispiele werden
von der gleichen Wahrscheinlichkeitsverteilung unabhängig voneinander
erzeugt). Ein neuer Ansatz des Maschinenlernens ist in
US 5640492 beschrieben, worin zur
Klassifikation neuer Beispiele mathematische Optimierungstechniken
verwendet werden. Der Vorteil der in
US
5640492 beschriebenen lernenden Maschine ist, daß sie verwendet
werden kann, um außerordentlich hoch-dimensionale
Probleme zu lösen,
die für
die vorher bekannten lernenden Maschinen nicht beherrschbar sind.
-
Ein
typischer Nachteil solcher Techniken ist, daß die Techniken kein Konfidenzmaß in der
vorhergesagten Klassifikation bereitstellen, die von der Vorrichtung
ausgegeben wird. Ein typischer Benutzer einer solchen Datenklassifikationsvorrichtung
hofft lediglich, daß die
Genauigkeit der Resultate von vorhergehenden Analysen unter Verwendung
von Benchmark-Datenmengen repräsentativ
für die
Resultate ist, die von der Analyse von zukünftigen Datenmengen erhalten
werden.
-
Andere
Optionen für
den Benutzer, der neuen unklassifizierten Beispielen ein Konfidenzmaß zuordnen möchte, umfassen
ein Durchführen
von Experimenten auf einer Validierungsmenge unter Verwendung einer der
bekannten Kreuz-Validierungsprozeduren, und Anwenden eines der theoretischen
Resultate über
die zukünftige
Leistung von verschiedenen lernenden Maschinen, bei gegebener Leistung
der Vergangenheit. Keine dieser Konfidenzschätzprozeduren stellt also ein
praktikables Mittel zum Beurteilen der Konfidenz der vorhergesagten
Klassifikation für
ein individuelles neues Beispiel bereit. Bekannte Konfidenzschätzprozeduren,
die das Problem des Beurteilens der Konfidenz einer vorhergesagten
Klassifikation für
ein individuelles neues Beispiel behandeln, sind ad hoc und erlauben
keine Interpretation im strikten Sinne der mathematischen Wahrscheinlichkeitstheorie.
-
Konfidenzschätzung ist
ein gut erforschtes Gebiet sowohl der parametrischen als auch der
nicht-parametrischen Statistik. In einigen Teilen der Statistik
ist das Ziel eher die Klassifikation von zukünftigen Beispielen als von
Parametern des Modells, das relevant für das Erfordernis ist, das
von diese Erfindung behandelt wird. In der Statistik wurden jedoch
nur Konfidenzschätzprozeduren
entwickelt, die für
nieder-dimensionale Probleme geeignet sind. Deshalb wurde eine mathematisch
strikte Konfidenzbeurteilung bisher nicht für hoch-dimensionale Datenklassifikation
durchgeführt.
-
Zusammenfassung
der Erfindung
-
Die
vorliegende Erfindung stellt eine neue Datenklassifikationsvorrichtung
und ein neues Datenklassifikationsverfahren bereit, daß mit hoch-dimensionalen
Klassifikationsproblemen umgehen kann, und daß ein universelles Konfidenzmaß bereitstellt,
das unter der IID-Annahme für
jede einzelne Klassifikationsvorhersage gültig ist, die durch die neue
Datenklassifikationsvorrichtung bzw. durch das neue Datenklassifikationsverfahren
gemacht wird.
-
Die
vorliegende Erfindung stellt eine Datenklassifikationsvorrichtung
bereit, wie sie in den Ansprüchen definiert
ist.
-
Mit
der vorliegenden Erfindung wird die konventionelle Datenklassifikationstechnik
des induktiven Lernens und dann Deduktion neuer unbekannter Datenvektoren
durch eine neue Transduktionstechnik ersetzt, die das Erfordernis
vermeidet, eine alles einbeziehende generelle Regel zu identifizieren.
Mit der vorliegenden Erfindung wird also keine multidimensionale
Hyperebene oder Grenze identifiziert. Die Trainingsdatenvektoren werden
direkt verwendet, um eine vorhergesagte Klassifikation für unbekannte
Datenvektoren bereitzustellen. Mit anderen Worten bestimmen die
Trainingsdatenvektoren implizit eine Klassifikationsvor hersage für einen unbekannten
Datenvektor.
-
Es
ist wichtig anzumerken, daß mit
der vorliegenden Erfindung das Konfidenzmaß unter der generellen IID-Annahme
gültig
ist, und daß die
vorliegende Erfindung in der Lage ist, Konfidenzmaße sogar
für sehr hoch-dimensionale
Probleme bereitzustellen.
-
Des
weiteren kann mit der vorliegenden Erfindung mehr als ein unbekannter
Datenvektor klassifiziert und gleichzeitig ein Konfidenzmaß erzeugt
werden.
-
Bei
einem weiteren Aspekt stellt die vorliegende Erfindung ein Datenklassifikationsverfahren
bereit, wie es in den Ansprüchen
definiert ist.
-
Selbstverständlich wird
man anerkennen, daß das
obige Verfahren und die obige Vorrichtung mittels eines Datenträgers implementiert
werden können,
auf dem ein Klassifikationsprogramm gespeichert ist.
-
Kurze Beschreibung
der Zeichnungen
-
Eine
Ausführungsform
der vorliegenden Erfindung wird nun im Wege des Beispiels nur mit
Bezug auf die beiliegenden Zeichnungen beschrieben, in welchen:
-
1 ein
schematisches Diagramm einer Datenklassifikationsvorrichtung gemäß der vorliegenden Erfindung
ist;
-
2 ein
schematisches Diagramm des Betriebs einer Datenklassifikationsvorrichtung
nach 1 ist;
-
3 eine
Tabelle ist, die eine Menge von Trainingsbeispielen und unklassifizierten
Beispielen zur Verwendung mit einem Datenklassifizierer gemäß der vorliegenden
Erfindung zeigt; und
-
4 eine
Tabelle von experimentellen Resultaten ist, wobei ein Datenklassifizierer
gemäß der vorliegenden
Erfindung zur Zeichenerkennung verwendet wurde.
-
Beschreibung
einer bevorzugten Ausführungsform
-
In 1 ist
ein Datenklassifizierer 10 gezeigt, der generell ein Eingabegerät 11,
einen Prozessor 12, einen Speicher 13, einen ROM 14,
der eine Zusammenstellung von Programmen enthält, die durch den Prozessor 12 ausführbar sind,
und ein Ausgabeterminal 15 umfaßt. Das Eingabegerät 11 umfaßt vorzugsweise eine
Benutzerschnittstelle 16, wie z. B. eine Tastatur oder
andere konventionelle Mittel zum Kommunizieren mit und zur Dateneingabe
in den Prozessor 12, und das Ausgabeterminal 15 kann
in der Form eines Anzeigemonitors oder anderer konventioneller Mittel
zum Anzeigen von Information für
einen Benutzer sein. Das Ausgabeterminal 15 umfaßt vorzugsweise
einen oder mehrere Ausgabeanschlüsse,
zum Anschließen
eines Druckers oder anderer Netzwerkgeräte. Der Datenklassifizierer 10 kann
in einem anwendungsspezifischen integrierten Schaltkreis (ASIC)
mit zusätzlichen
RAM-Chips verkörpert
sein. Idealerweise umfaßt
der ASIC eine schnelle RISC-CPU mit einer geeigneten Fließkomma-Einheit.
-
Um
ein Verstehen des Betriebs des Datenklassifizierers 10 zur
Bereitstellung einer Vorhersage einer Klassifikation für unklassifizierte
(unbekannte) Beispiele zu unterstützen, wird im folgenden die
seinem Betrieb zugrundeliegende mathematischen Theorie erklärt.
-
Mengen
von Beispielen (Datenvektoren) sind gegeben: die Trainingsmenge
besteht aus Beispielen mit ihren bekannten Klassifikationen (oder
Klassen) und eine aus unklassifizierten Beispielen bestehende Testmenge.
In 3 ist eine Trainingsmenge aus fünf Beispielen
und zwei Testbeispielen gezeigt, wobei die unklassifizierten Beispiele
Bilder von Ziffern sind und die Klassifikation entweder 1 oder 7
ist.
-
Die
Notation für
die Größe der Trainingsmenge
ist l und der Einfachheit halber wird angenommen, daß die Testmenge
der Beispiele nur ein unklassifiziertes Beispiel enthält. Sei
(X, A) der meßbare
Raum aller möglichen
unklassifizierten Beispiele (in dem Fall der 3 kann X
die Menge aller 16 × 16
Grauwertbilder sein), und sei (Y, B) der meßbare Raum der Klassen (in
dem Fall der 3 kann Y die zwei-elementige
Menge {1, 7} sein). Y ist typischerweise endlich.
-
Die
Konfidenzvorhersageprozedur ist eine Familie {fβ : β ∈ (0, 1)}
von meßbaren
Abbildungen fβ :
(X × Y)' × X → B, so daß:
- 1.
Für ein
beliebiges Konfidenzniveau β (in
einer Datenklassifikation sind wir typischerweise an einem β nahe an
1 interessiert) und einer Wahrscheinlichkeitsverteilung P in X × Y ist
die Wahrscheinlichkeit, daß yl+1 ∈ fβ(x1, y1, ..., xl, yl, xl+1)wenigstens β, wobei (x1, y1), ..., (xl, yl), (xl+1, yl+1) unabhängig von
P erzeugt werden.
- 2. Falls β1 < β2 ist,
dann gilt für
alle (x1, y1, ...,
xl, yl, xl+1) ∈ (X × Y)' × X
-
Die
implizite Behauptung der Vorhersage
(x
1, y
1, ..., x
l, y
l, x
l+1)
ist, daß das
wahre Label y
l+1 zu
(x
1, y
1, ..., x
l, y
l, x
l+1)
gehört.
Punkt 1 erfordert, daß die durch
f
β gegebene
Vorhersage mit einer Wahrscheinlichkeit von wenigstens β korrekt
sein sollte, und Punkt 2 erfordert, daß die Familie {f
β} konsistent
sein sollte: Falls irgendein Label Y für das (l + 1)-te Beispiel bei
einem Konfidenzniveau β
1 erlaubt ist, sollte es auch bei jedem Konfidenzniveau β
2 < β
1 erlaubt
sein.
-
Ein
typischer Benutzungsmodus dieser Definition ist, daß ein konventioneller
Wert von β,
wie z. B. 95% oder 99%, im voraus ausgewählt wird, nach dem die Funktion
fβ zur
Vorhersage verwendet wird. Idealerweise wird die Vorhersageregion,
die durch fβ ausgegeben
wird, nur eine Klassifikation enthalten.
-
Ein
wichtiges Merkmal der Datenklassifikationsvorrichtung definiert
f
β im
Hinblick auf Lösungen
a
i, i = 1, ..., i + 1 für Hilfs-Optimierungsprobleme
der Art, wie sie in
US 5640492 dargestellt
sind. Insbesondere berücksichtigen
wir |Y| Vervollständigungen
unserer Daten
(x1, y1), ..., (xl, yl), xl+1 wobei
die Vervollständigung
y, y ∈ Y
(x1, y1),
..., (xl, yl), (xl+1, y)ist (also wird bei allen Vervollständigungen
jedes Beispiel klassifiziert).
-
Jeder
Vervollständigung
(x1, y1),
..., (xl, yl), (xl+1, yl+1)(für notationelle
Vereinfachung schreiben wir hier y
l+1 anstelle
von y) wird das Optimierungsproblem
(wobei C eine feste positive
Konstante ist) zugeordnet, das der Nebenbedingung
yi((xi·w)
+ b) ≥ ξi,
i = 1, ..., i + 1 (2)unterliegt.
-
Dieses
Problem schließt
nicht-negative Variablen ξi ≥ 0
ein, die lockere Variablen genannt werden. Falls die Konstante C
zu groß gewählt wird,
kann die Lösungsgenauigkeit
inakzeptabel gering werden; C sollte in dem Bereich, in dem die
numerische Lösungsgenauigkeit
vernünftig
bleibt, so groß wie
möglich
gewählt
werden. (Wenn die Daten linear separierbar sind, ist es sogar möglich C
auf unendlich zu setzen, aber da es selten, wenn überhaupt
jemals, möglich
ist, im voraus zu sagen, daß alle
Vervollständigungen
linear separierbar sein werden, sollte C groß aber endlich gewählt werden.)
-
Das
Optimierungsproblem wird über
die Einführung
von Lagrange Faktoren a
i, i = 1, ..., l
+ 1 in ein duales Problem transformiert: Finde a
i in
unter
der "Box"-Nebenbedingung
0 ≤ aj ≤ C, i = 1,
2, ..., l + 1. (4) -
Die
unklassifizierten Beispiele werden repräsentiert, so wird angenommen,
als die Werte, die durch n numerische Attribute genommen werden,
und somit ist X = Rn.
-
Dieses
quadratische Optimierungsproblem wird nicht auf die Attributvektoren
xi selbst angewandt, sondern auf ihre Bilder
V(xi) unter einer vorgegebenen Funktion
V : X → H,
die Werte in einem Hilbert-Raum annimmt, was zum Ersetzen des Punktproduktes
xi·xi in dem Optimierungsproblem (3)–(4) durch
die Kernfunktion K(xi,
xj) = V(xi)·V(xj)führt.
-
Das
abschließende
Optimierungsproblem ist deshalb
unter der "Box"-Nebenbedingung
0 ≤ aj ≤ C,
i = 1, 2, ..., l + 1,wobei dieses quadratische Optimierungsproblem
durch Verwendung von Standardpaketen gelöst werden kann.
-
Der
Lagrange-Faktor ai, i ∈ {1, ..., l + 1} spiegelt
die "Fremdheit" des Beispiels (xi, yi) wieder, wobei
wir annehmen, daß ai + 1 bei falschen Vervollständigungen
große
sein wird.
-
Für y ∈ Y wird
definiert, weshalb d(y) der
p-Wert ist, der der Vervollständigung
y zugeordnet wird (y ist eine alternative Notation für y
i+1). Die Konfidenzvorhersagefunktion f,
die im Kern dieser Erfindung liegt, kann als
fβ(x1, y1, ..., xl, yl, xl+1)
:= {y : d(y) > 1 – β}ausgedrückt werden.
-
Der
interessanteste Fall ist der, bei dem die durch fβ gegebene
Vorhersagemenge eine einelementige Menge ist; deshalb sind die wichtigsten
Merkmale der Konfidenzvorhersageprozedur {fβ} bei
den Daten (x1, y1), ...,
(xl, yl), xl+1:
- • das größte β = β0,
für das
fβ((x1, y1), ..., (xl, yl), xl+1) eine einelementige Menge ist (vorausgesetzt,
ein solches β existiert);
- • die
Klassifikation F((x1, y1),
..., (xl, yl), xl+1), die definiert ist, das y ∈ Y zu sein,
für das ((x1, y1), ..., (xl, yl), xl+1){y} ist.
-
Ein
in dieser Weise definiertes F((x1, y1), ..., (xl, yl), xl+1) wird als
f-optimaler Vorhersagealgorithmus bezeichnet, wobei das korrespondierende β0 als
das Konfidenzniveau bezeichnet wird, das F zugeordnet wird.
-
Ein
weiteres wichtiges Merkmal der Konfidenzschätzfunktion {fβ} auf
den Daten (x1, y1),
..., (xl, yl), xl+1 ist das größte β = β*, für das fβ((x1, y1), ..., (xl, yl), xl+1) eine leere Menge ist. Wir bezeichnen
1 – β* die
Glaubwürdigkeit
der Datenmenge (x1, y1),
..., (xl, yl), xl+1, wobei es der p-Wert eines Tests zum Überprüfen der
IID-Annahme ist. Dort wo die Glaubwürdigkeit sehr klein ist, ist
entweder die Trainingsmenge (x1, y1), ..., (xl, yl) oder das neue unklassifizierte Beispiel
xl+1 untypisch, was die Vorhersage unzuverlässig macht,
es sei denn, der Konfidenzwert ist viel näher an 1 als an 1 – β*.
Grundsätzlich
liegt die Summe der Konfidenz und der Glaubwürdigkeit zwischen 1 und 2,
wobei der Erfolg der Vorhersage dadurch gemessen wird, wie nahe
diese Summe an der 2 ist.
-
Mit
dem wie oben beschrieben betriebenen Datenklassifizierer der vorliegenden
Erfindung können
einem Benutzer die folgenden Menüs
oder Wahlmöglichkeiten
angeboten werden:
- 1. Vorhersage und Konfidenz
- 2. Glaubwürdigkeit
- 3. Details
-
Eine
typische Antwort auf die Auswahl der Wahlmöglichkeit 1 durch einen Benutzer
könnte
sein Vorhersage: 4, Konfidenz: 99%, was bedeutet, daß 4 die
Vorhersageausgabe des f-optimalen F sein wird und 99% das Konfidenzniveau
dieser Vorhersage ist. Eine typische Antwort auf Auswahlmöglichkeit
1 könnte
sein Glaubwürdigkeit:
100%, was den berechnenden Glaubwürdigkeitswert angibt. Eine
typische Antwort auf Auswahlmöglichkeit
3 könnte
sein:
die vollständige Menge
der p-Werte aller möglichen
Vervollständigungen.
Die letztgenannte Auswahlmöglichkeit
umfaßt
die Information über
F((x
1, y
1), ...,
(x
l, y
l), x
l+1) (das Zeichen, das mit dem größten p-Wert
korrespondiert), das Konfidenzniveau (eins minus dem zweitgrößten p-Wert)
und die Glaubwürdigkeit
(der größte p-Wert).
-
Dieser
Benutzungsmodus der Konfidenzvorhersagefunktion von f ist nicht
der einzig mögliche
Modus: Prinzipiell kann er mit jedem Vorhersagealgorithmus kombiniert
werden. Falls G ein Vorhersagealgorithmus ist, können wir seinen Vorhersagen
y := G((x1, y1),
..., (xl, yl), xl+1) den folgenden Konfidenzwert zuordnen: c(y) := max{β :
fβ(x1, y1, ..., xl, yl, xl+1) ≽ {y}}
-
Der
oben beschriebene Vorhersagealgorithmus F ist derjenige, der dieses
Konfidenzmaß optimiert.
-
Die
in 4 gezeigte Tabelle umfaßt die Resultate eines Experiments
in der Zeichenerkennung unter Verwendung des Datenklassifizierers
der vorliegenden Erfindung. Die Tabelle zeigt die Resultate für eine Testmenge
der Größe 10 unter
Verwendung einer Trainingsmenge der Größe 20 (nicht abgebildet). Der
verwendete Kern war K(x, y) = (x·y)3/256.
-
Es
wird in Betracht gezogen, daß einige
Modifikationen des Optimierungsproblems, daß in den Gleichungen (1) und
(2) angegeben ist, bestimmte Vorteile haben könnte, z. B.
das Gegenstand der Nebenbedingung
yi((xi·w) + b)
= 1 – ξ, i = 1,
..., l + 1ist.
-
Es
wird des weiteren in Betracht gezogen, daß der oben beschriebene Datenklassifizierer
besonders nützlich
für eine
simultane Vorhersage der Klassifikation von mehr als einem Beispiel
sein kann, wobei die zur Berechnung der p-Werte verwendete Teststatistik,
die mit verschiedenen Vervollständigungen
korrespondiert, die Summe der Ränge
der a's sein kann,
die mit den neuen Beispielen korrespondieren (so wie in dem Wilcoxon
Rangsummentest).
-
Wie
in 2 gezeigt, wird in der Praxis eine Trainingsdatenmenge
in den Datenklassifizierer eingegeben 20. Die Trainingsdatenmenge
umfaßt
eine Vielzahl von Datenvektoren, von denen jeder eine zugeordnete bekannte
Klassifikation hat, die aus einer Menge von Klassifikationen zugewiesen
wurde. Z. B. kann bei der numerischen Zeichenerkennung die Menge
der Klassifikationen die numerische Reihe 0 bis 9 sein. Die Menge der
Klassifikationen kann separat dem Datenklassifizierer eingegeben 21 werden
oder sie kann in dem ROM 14 gespeichert werden. Zusätzlich können einige
konstruktive Repräsentationen
des meßbaren
Raums der Datenvektoren in den Datenklassifizierer eingegeben 22 werden,
oder sie können
wieder in dem ROM 14 gespeichert werden. Z. B. kann im
Fall der numerischen Zeichenerkennung der meßbare Raum aus 16 × 16 gepixelten
Grauwertbildern bestehen. Dort, wo der meßbare Raum bereits in dem ROM 14 des
Datenklassifizierers gespeichert ist, kann die Schnittstelle 16 Eingabemittel
(nicht abgebildet) umfassen, um einen Benutzer in die Lage zu versetzen,
Anpassungen für
den gespeicherten meßbaren
Raum einzugeben. Z. B. kann eine größere Definition eines Bildes
benötigt
werden, in welchem Fall die Pixelung des meßbaren Raums vergrößert werden
könnte.
-
Ein
oder mehrere Datenvektoren, für
die keine Klassifikation bekannt ist, werden ebenso in den Datenklassifizierer
eingegeben 23. Die Trainingsdatenmenge und die unklassifizierten
Datenvektoren werden dann zusammen mit jeder zusätzlichen Information, die durch
den Benutzer eingegeben wird, vom Eingabegerät 11 in den Prozessor 12 eingespeist.
-
Zunächst wird
jede einzelne der einen oder mehreren unklassifizierten Datenvektoren
provisorisch individuell einer Klassifikation aus der Menge der
Klassifikationen zugewiesen 24. Ein individueller Fremdheitswert
ai wird dann für jeden der Datenvektoren in
der Trainingsmenge und für
jeden der unklassifizierten Datenvektoren ermittelt 25,
für die
eine provisorische Klassifikationszuweisung durchgeführt wurde.
Es wird also eine Klassifikationsmenge erzeugt, die jeden der Datenvektoren
in der Trainingsmenge und die einen oder mehreren unklassifizierten
Datenvektoren mit ihren zugewiesenen provisorischen Klassifikationen
und den individuellen Fremdheitswerten ai für jeden
Datenvektor umfaßt.
Eine Vielfalt von solchen Klassifikationsmengen wird dann erzeugt,
wobei die zugewiesenen provisorischen Klassifikationen der unklassifizierten
Datenvektoren für jede
Klassifikationsmenge unterschiedlich sind.
-
Eine
Berechnung eines einzelnen Fremdheitswertes, des p-Wertes, für jede Klassifikationsmenge,
die die vollständige
Menge der Trainiggsdatenvektoren und unklassifizierten Vektoren
mit ihren gegenwärtig
zugewiesenen Klassifikationen umfaßt, wird dann auf der Basis
des im vorhergehenden Schritt ermittelten individuellen Fremdheitswertes
ai durchgeführt 26. Dieser p-Wert
und die zugeordnete Menge der Klassifikationen wird in den Speicher 13 für zukünftiges
Vergleichen übertragen,
während
jeder der einen oder mehreren unklassifizierten Datenvektoren provisorisch
individuell der gleichen oder einer verschiedenen Klassifikation
zugeordnet wird. Die Schritte der Berechnung individueller Fremdheitswerte 25 und
der Ermittlung eines p-Wertes 26 werden in jeder Iteration
für die
vollständige
Menge der Trainingsdatenvektoren und der unklassifizierten Datenvektoren
unter Verwendung von jedesmal verschiedenen Klassifikationszuordnungen
für die
unklassifizierten Datenvektoren wiederholt. Dies resultiert in einer
Folge von p-Werten,
die in dem Speicher 13 gespeichert werden, wobei jeder
die Fremdheit der vollständigen
Menge der Datenvektoren in Bezug auf einzigartige Klassifikationszuordnungen
für die
einen oder mehreren unklassifizierten Datenvektoren repräsentiert.
-
Die
in dem Speicher gespeicherten p-Werte werden dann verglichen 27,
um den maximalen p-Wert und den nächstgrößeren p-Wert zu identifizieren.
Schließlich
wird die Klassifikationsmenge der Datenvektoren, die den maximalen
p-Wert haben, dem Ausgabeterminal 15 zugeführt 28.
Die dem Ausgabeterminal zugeführten
Daten können
allein aus der/den Klassifikationen) bestehen, die dem/den unklassifizierten
Datenvektor(en) zugewiesen wurde(n), die nun die vorhergesagte Klassifikation
repräsentiert/repräsentieren,
von der Klassifikationsmenge der Datenvektoren, die den maximalen
p-Wert haben.
-
Des
weiteren wird ein Konfidenzwert für die vorhergesagte Klassifikation
erzeugt 29. Der Konfidenzwert wird auf der Basis der Subtraktion
des nächstgrößeren p-Wertes
von 1 ermittelt. Falls der nächstgrößere p-Wert
groß ist,
ist deshalb die Konfidenz der vorhergesagten Klassifikation klein,
und falls der nächstgrößere p-Wert
klein ist, ist der Konfidenzwert groß. Die vorher erwähnte Auswahlmöglichkeit
1 stellt einem Benutzer vorhergesagte Klassifikationen für die einen
oder mehreren unbekannten Datenvektoren und die Konfidenzwerte zur
Verfügung.
-
Dort,
wo ein alternativer Vorhersagealgorithmus zu benutzen ist, wird
der Konfidenzwert durch Subtrahieren des größten p-Wertes von 1 für die Mengen
der Trainingsdatenvektoren und neuen Vektoren berechnet, die unterschiedlich
zu der vorhergesagten (durch die alternative Methode) Klassifikation
klassifiziert wurden.
-
Zusätzliche
Information in der Form der p-Werte für jede der Menge der Datenvektoren
bezüglich
der individuell zugeordneten Klassifikationen können ebenfalls zugeführt werden
(Auswahl 3) oder einfach die p-Werte für die vorgesagten Klas sifikationen
(Auswahlmöglichkeit
2).
-
Mit
dem oben beschriebenen Datenklassifizierer und dem Verfahren zur
Datenklassifikation wird ein universelles Konfidenzmaß für jede vorhergesagte
Klassifikation eines oder mehrerer unbekannter Datenvektoren bereitgestellt.
Darüber
hinaus wird an keinem Punkt eine generelle Regel oder multidimensionale
Hyperebene aus der Trainingsmenge der Datenvektoren extrahiert.
Statt dessen werden die Datenvektoren direkt verwendet, um die Fremdheit
(einer) provisorisch zugewiesener/zugewiesenen Klassifikationen)
für einen
oder mehrere unbekannte Datenvektoren zu berechnen.
-
Während die
Datenklassifikationsvorrichtung und das Datenklassifikationsverfahren
mit speziellem Bezug auf die obige bevorzugte Ausführungsform
gezeigt und beschrieben wurde, wird es für einen Fachmann offensichtlich
sein, daß darin
verschiedene Modifikationen in Form und Details gemacht werden können, ohne von
dem Umfang der Erfindung abzuweichen, wie er durch die beiliegenden
Ansprüche
definiert wird. Dementsprechend müssen Modifikationen, wie z.
B. die oben vorgeschlagenen, jedoch darauf nicht beschränkt, im Umfang
der Erfindung berücksichtigt
werden.
(x1, y1, ..., xl, yl, xl+1) gehört. Punkt 1 erfordert, daß die durch fβ gegebene Vorhersage mit einer Wahrscheinlichkeit von wenigstens β korrekt sein sollte, und Punkt 2 erfordert, daß die Familie {fβ} konsistent sein sollte: Falls irgendein Label Y für das (l + 1)-te Beispiel bei einem Konfidenzniveau β1 erlaubt ist, sollte es auch bei jedem Konfidenzniveau β2 < β1 erlaubt sein.
