DE102005028252A1

DE102005028252A1 - Verfahren zur rechnergestützten Verarbeitung von digitalen Daten

Info

Publication number: DE102005028252A1
Application number: DE102005028252A
Authority: DE
Inventors: Volker Dr. Tresp; Kai Yu; Shipeng Yu
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-06-17
Filing date: 2005-06-17
Publication date: 2006-12-28
Also published as: WO2006134011A1

Abstract

Die Erfindung betrifft ein Verfahren zur rechnergestützten Verarbeitung von digitalen Daten, insbesondere zur Verwendung in einem Verfahren zum maschinellen Lernen, wobei die digitalen Daten eine Anzahl von Objekten beinhalten, wobei jedes Objekt einen mehrdimensionalen Merkmalsvektor (x¶i¶) mit digitalen Dateneinträgen umfasst und wobei jedem Merkmalsvektor (X¶i¶) wenigstens ein ein- oder mehrdimensionaler Ausgabevektor (y¶i¶) mit digitalen Dateneinträgen zugeordnet ist, bei dem: DOLLAR A a) eine Projektion berechnet wird, mit der die Merkmalsvektoren (x¶i¶) und die Ausgabevektoren (y¶i¶) in einen latenten Vektorraum projiziert werden, wobei die Projektion ein Rekonstruktionsfehlermaß optimiert, welches von dem Unterschied zwischen den Ausgabevektoren (y¶i¶) und den mit der Projektion projizierten und anschließend rekonstruierten Ausgabevektoren abhängt; DOLLAR A b) mit der in Schritt a) berechneten Projektion Merkmalsvektoren (x¶i¶) in den latenten Vektorraum projiziert werden, wodurch modifizierte digitale Daten erhalten werden.

Description

Die Erfindung betrifft ein Verfahren zur rechnergestützten Verarbeitung von digitalen Daten, welches insbesondere zur Verwendung in einem Verfahren zum maschinellen Lernen dient.

Auf dem Gebiet der Informationstechnologie gibt es eine Vielzahl von Verfahren zum maschinellen Lernen, mit denen rechnergestützt ein System aus Objekten, welche in der Form von digitalen Daten vorliegen, verarbeitet wird, um hierdurch Gesetzmäßigkeiten in den Objekten zu erkennen, so dass auch die Eigenschaften neuer Objekte in dem System beurteilt werden können. Ein typischer Anwendungsbereich des maschinellen Lernens ist die Mustererkennung in digitalen Daten, beispielsweise die Extraktion von Merkmalen aus digitalisierten Dokumenten oder Bildern.

Maschinelle Lernverfahren werden üblicherweise mit Trainingsdaten trainiert, welche die durch Merkmalsvektoren charakterisierten Objekte umfassen, denen wiederum Ausgabevektoren zugeordnet sind. Ein trainiertes Verfahren kann dann Ausgabevektoren von neuen Objekten oder fehlende Dateneinträge in Ausgabevektoren von bekannten Objekten vorhersagen.

In maschinellen Lernverfahren werden meist in einem Vorverarbeitungsschritt die Merkmalsvektoren der Objekte in einen neuen Raum projiziert, der kompakt, rauschfrei und aussagekräftig sein sollte. Dieser Raum wird im folgenden als latenter Vektorraum bezeichnet. Beispiele von Verfahren, mit denen eine solche Projektion durchgeführt wird, sind das PCA-Verfahren (PCA = Principal Component Analysis), das LDA-Verfahren (LDA = Linear Discriminant Analysis), das CCA-Verfahren (CCA = Canonical Correlation Analysis) und das PLS-Verfahren (PLS = Partial Least Squares).

Aufgabe der Erfindung ist es, ein verbessertes Projektionsverfahren für die Merkmalsvektoren von Objekten zu schaffen, welches eine höhere Genauigkeit bei der Vorhersage von Objekteigenschaften ermöglicht.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

In dem erfindungsgemäßen Verfahren wird eine Projektion in einen latenten Vektorraum berechnet, die ein Rekonstruktionsfehlermaß optimiert, das von dem Unterschied zwischen den Ausgabevektoren und den mit der Projektion projizierten und anschließend rekonstruierten Ausgabevektoren abhängt. Mithilfe der berechneten Projektion projiziert das Verfahren anschließend Merkmalsvektoren von bekannten und/oder neuen Objekten in den latenten Vektorraum, der die Abhängigkeiten der Ausgabevektoren berücksichtigt. Wie Tests gezeigt haben, können hierdurch Vorhersagen mit sehr hoher Genauigkeit erreicht werden.

In einer bevorzugten Ausführungsform berücksichtigt das Rekonstruktionsfehlermaß zur Berechnung der Projektion nicht nur den Unterschied zwischen den Ausgabevektoren und den mit der Projektion projizierten und anschließend rekonstruierten Ausgabevektoren, sondern auch den Unterschied zwischen den Merkmalsvektoren und den mit der Projektion projizierten und anschließend rekonstruierten Merkmalsvektoren.

Vorzugsweise ist in dem erfindungsgemäßen Verfahren die Dimension des latenten Vektorraums kleiner als die Dimension des Vektorraums der Merkmalsvektoren und/oder die Anzahl von Objekten.

In einer weiteren bevorzugten Variante der Erfindung wird zur Berechnung der Projektion folgendes Optimierungsproblem gelöst:

wobei V ∈

, X ∈

, A ∈

, Y ∈

, B ∈

wobei V^TV = I (I ist die Einheitsmatrix);
wobei X = [x₁; ...; x_N]^T;
wobei x_i der i-te Merkmalsvektor mit der Dimension M ist;
wobei Y = [y₁; ...; y_N]^T;
wobei y_i der i-te Ausgabevektor mit der Dimension L ist;
wobei A, B die Ladungsmatrizen für X bzw. Y sind;
wobei N die Anzahl an Objekten ist;
wobei K die Dimension des latenten Vektorraums ist; und
wobei β eine positive reelle Zahl kleiner oder gleich 1 ist, insbesondere β = 0,5 oder β = 0,96 oder β = 1.

Dieses Optimierungsproblem wird in einer weiteren Variante der Erfindung in folgendes Optimierungsproblem umgewandelt:

wobei V^TV = 1,
wobei K = (1 – β)XX^T + βYY^T,
wobei die Lösung dieser Optimierung gegeben ist durch V = [v1, ..., vK], A = VTX, B = VTYwobei v₁ bis v_K die Eigenvektoren von K mit entsprechenden, in absteigender Reihenfolge sortierten Eigenwerten sind, wobei die Optimierung rekursiv für jedes v_j durch Maximieren des Ausdrucks v^TKv mit der Einschränkung v^Tv = 1 und v ⊥ span{v₁, ..., v_j–1} gelöst wird.

Um die Ausgabevektoren von neuen, im System noch unbekannten Objekten vorherzusagen, wird in einer bevorzugten Ausführungsform der Erfindung für die Projektion eine Abbildungsfunktion verwendet, welche die digitalen Dateneinträge der Merkmalsvektoren als Variablen enthält, wobei diese Variablen durch die Abbildungsfunktion in den latenten Vektorraum projiziert werden. Die Abbildungsfunktion kann wie folgt lauten oder von folgendem Ausdruck abhängen: Ψj(x) = √λjwTj x j = 1, ..., Kwobei w₁, ..., w_k ∈

die Eigenvektoren mit den größten K Eigenwerten λ₁ ≥ ... ≥ λ_K des folgenden Eigenwertproblems sind: XTXw = λ[XTK–1X + γI]wwobei K =(1 – β)XX^T+ YY^Tund γ ≥ 0, insbesondere γ = 1, gilt.

Alternativ kann die Abbildungsfunktion über Kernel-Funktionen definiert werden, die im Bereich des maschinellen Lernens hinlänglich bekannt sind. Die Abbildungsfunktion lautet dann bzw. hängt dann von folgendem Ausdruck ab: Ψj(x) = √λjΣNi=1 (αj)ikx(xi, x) J = 1, ..., K wobei gilt (K_x)_i,j = k_x(x_i, x_j) und (K_y)_i,j = k_y(y_i, y_j);
wobei (K_x)_i,j eine N × N Kernel-Matrix für eine Kernel-Funktion k_x(x_i, x_j) ist und (K_x)_i,j eine N × N Kernel-Matrix für eine Kernel-Funktion k_y(y_i, y_j) ist;
wobei K = (1 – β)K_x + βK_y
wobei α₁, ..., α_k ∈

die Eigenvektoren mit den größten K Eigenwerten λ₁ ≥ ... ≥ λ_K des folgenden Eigenwertproblem sind: K2x α = λ[KxK–1Kx + γKx]αwobei γ ≥ 0, insbesondere γ = 1, gilt.

Als Kernel-Funktionen können z.B. Gaußsche RBF-Kernels verwendet werden, welche wie folgt definiert sind: kx(xi, xj) = exp(–∥⁣xi – xj∥⁣2/2σ2) ky(yi, yj) = exp(–∥⁣yi – yj∥⁣2/2σ2)

Die Abbildungsfunktion kann eine lineare oder eine nichtlineare Abbildung der Merkmalsvektoren sein.

Das erfindungsgemäße Verfahren kann ggf. auch auf Merkmalsvektoren angewandt werden, denen jeweils mehrere Typen von Ausgabevektoren zugeordnet sind. In diesem Fall berücksichtigt das Rekonstruktionsfehlermaß den Unterschied zwischen den Ausgabevektoren und den mit der Projektion projizierten und anschließend rekonstruierten Ausgabevektoren von jedem Typ von Ausgabevektoren.

Das erfindungsgemäße Verfahren wird vorzugsweise in einem Verfahren zum maschinellen Lernen eingesetzt, bei dem:

i) mit dem erfindungsgemäßen Verfahren die Merkmalsvektoren in einen latenten Vektorraum projiziert werden;
ii) auf der Basis der in Schritt i) ermittelten projizierten Merkmalsvektoren ein maschinelles Lernverfahren trainiert wird, um anschließend Vorhersagen über Ausgabevektoren von bekannten und/oder neuen Objekten zu ermitteln.

Das maschinelle Lernverfahren basiert vorzugsweise auf Support-Vektor-Maschinen und dient insbesondere zur Mustererkennung und/oder Datenextraktion, insbesondere zur Extraktion von Datenkategorien, in den Objekten. Ein weiterer Anwendungsfall des erfindungsgemäßen Verfahrens ist seine Verwendung in einem Verfahren zum kollaborativen Filtern (engl. "Collaborative Filtering"). Bei diesem hinlänglich aus dem Stand der Technik bekannten Verfahren wird die Bewertung eines bekannten Objekts durch einen Benutzer auf der Basis von Bewertungen von anderen Nutzern vorhergesagt.

Neben den erfindungsgemäßen Verfahren umfasst die Erfindung auch ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung der erfindungsgemäßen Verfahren, wenn das Programmprodukt auf einem Rechner abläuft.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren erläutert.
Es zeigen:
1 den Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens;
2 den Ablauf einer anderen Ausführungsform des erfindungsgemäßen Verfahrens.
3 Diagramme, welche die Vorhersagequalität eines maschinellen Lernverfahrens unter Verwendung des erfindungsgemäßen Verfahrens zeigen, wobei das Lernverfahren zur Vorhersage von Benutzerpräferenzen verwendet wird; und
4 Diagramme, welche die Vorhersagequalität eines maschinellen Lernverfahrens unter Verwendung des erfindungsgemäßen Verfahrens zeigen, wobei das Lernverfahren zur Vorhersage von Kategorien von Dokumenten und Bildern verwendet wird.
Bevor auf die detaillierte Beschreibung von bevorzugten Ausführungsformen eingegangen wird, werden zunächst folgende Notationen festgelegt, die für die nachfolgende Beschreibung und auch für die Ansprüche gültig sind:
Es werden digitale Daten betrachtet, die N Objekte umfassen. Für i = 1, ..., N wird jedes Objekt i durch einen M-dimensionalen Merkmalsvektor x_i ∈
beschrieben, wobei jedem Merkmalsvektor ein L-dimensionaler Ausgabevektor y_i ∈
zugeordnet ist. Die digitalen Dateneinträge der Merkmalsvektoren werden als Matrix X = [x₁; ...; x_N]^T ∈
dargestellt und die digitalen Dateneinträge der Ausgabevektoren werden als Matrix Y = [y₁; ...; y_N]^T ∈
dargestellt, wobei [·]^T das Transponierte der Matrix darstellt.
Die nachfolgend beschriebenen Verfahren werden zur Lösung von Vorhersage-Problemen verwendet, bei denen für bekannte oder neue Objekte deren entsprechende Ausgabevektoren vorhergesagt werden sollen. Die erfindungsgemäßen Verfahren werden hierbei als Vorverarbeitungsschritt eingesetzt, in dem die Merkmalsvektoren zunächst in einen latenten K-dimensionalen Vektorraum projiziert werden, wobei dieser Vektorraum ein Hilfsvektorraum ist, dessen Dimension vorzugsweise kleiner als die des Vektorraums der Merkmalsvektoren ist. Nach der Projektion können die in den latenten Vektorraum projizierten Daten als Trainingsdaten eines maschinellen Lernverfahrens eingesetzt werden und schließlich können mit dem trainierten Verfahren Vorhersagen getroffen werden.
Im folgenden bezeichnen fettgedruckte kleine lateinische Buchstaben Spaltenvektoren und fettgedruckte große lateinische Buchstaben bezeichnen Matrizen. Der Ausdruck ∥⁣·∥⁣ bezeichnet die Frobeniusnorm für Matrizen und die 2-Norm für Vektoren. Ferner bezeichnet Tr[·] die Spur für Matrizen.
Die im folgenden beschriebenen Ausführungsformen der Erfindung haben gemeinsam, dass sie eine sogenannte überwachte Projektion (supervised projection) in den latenten Vektorraum durchführen, wobei bei einer überwachten Projektion die Dateneinträge der Ausgabevektoren berücksichtigt werden. Demgegenüber wird bei bekannten Projektionsverfahren, wie z.B. dem PCA-Algorithmus (PCA = Principal Component Analysis), nur eine sog. unüberwachte Projektion durchgeführt (unsupervised projection), bei der nur die Dateneinträge der Merkmalsvektoren berücksichtigt werden.
Zur Durchführung der überwachten Projektion wird in allen Ausführungsformen des erfindungsgemäßen Verfahrens eine Optimierung des Rekonstruktionsfehlers durchgeführt, wobei der Rekonstruktionsfehler derart definiert ist, dass er die Abweichung der rekonstruierten projizierten Ausgabevektoren von den ursprünglichen Ausgabevektoren berücksichtigt.
Mathematisch lässt sich das durch die nachfolgend beschriebenen Ausführungsformen gelöste Optimierungsproblem wie folgt formulieren:
mit V^TV = I,
wobei V ∈
die K-dimensionalen Projektionen sowohl der Merkmalsvektoren X ∈
als auch der Ausgabevektoren Y ∈
darstellen und A ∈
, B ∈
die Ladungsmatrizen sind. 0 < β ≤ 1 ist ein Einstellparameter, der bestimmt, wie stark die Projektionen durch die Ausgabevektoren beeinflusst werden sollen. Durch die Bedingung V^TV = I wird sichergestellt, dass die Variablen im latenten Vektorraum linear unabhängig sind.
Zur Berechnung des obigen Optimierungsproblems (1) macht man sich folgenden Satz 1 zunutze, der von den Erfindern bewiesen wurde:
Satz 1: Falls V, A und B die optimalen Lösungen des Optimierungsproblems (1) sind und falls K = (1 – β)XX^T + βYY^T, dann gilt:

(i) A =V^TX, B = V^TY;
(ii) Beim Optimum entspricht die Optimierungsfunktion gemäß Gleichung (1) Tr[K] – Tr[V^TKV].

Da der Ausdruck Tr[K] fest ist, kann gemäß Satz 1 das Optimierungsproblem laut (1) als ein Optimierungsproblem nur in Bezug auf V betrachtet werden:
wobei V^TV = I.
Aus den Gleichungen (1) und (2) ergibt sich die Unbestimmtheit, dass, falls V eine Lösung ist, auch Ṽ = VR eine Lösung ist, wobei R eine beliebige Rotationsmatrix ist. Der folgende Satz 2, der von den Erfindern bewiesen wurde, trägt diesem Umstand Rechnung:
Satz 2: Es wird angenommen, dass [v₁, ..., v_N] die Eigenvektoren der Matrix K sind und λ₁ ≥ ... ≥ λ_N die entsprechenden Eigenwerte. Falls Ṽ die Gleichung (2) löst, gilt:

(i) Ṽ = [v₁, ..., v_N]R, wobei R eine beliebige K × K orthogonale Rotationsmatrix ist;
(ii) Das Maximum der Optimierungsfunktion gemäß Gleichung (2) ist Σ K / i=1λ_i.

Dieser Satz sagt aus, dass die Eigenvektoren von K eine Lösung des Optimierungsproblems (1) darstellen und jede beliebige Rotation das Optimum nicht verändert. Um die o. g. Unbestimmtheit zu entfernern, werden Lösungen betrachtet, welche den Eigenvektoren von K entsprechen, d. h. V = [v₁, ..., v_K].
Deshalb kann das Optimierungsproblem gemäß Gleichung (1) auch wie folgt formuliert werden:
wobei V^TV = 1.
Es sei hierbei angemerkt, das die Lösung des Problems (3) nur den Eigenvektor v_l von K liefert. Das volle Optimierungsproblem wird durch rekursive Berechnung von v_j durch Maximieren des Ausdrucks v^TKv mit der Einschränkung v^Tv = 1 und v ⊥ span{v₁, ..., v_j–1} gelöst. Die Gleichung (3) wurde aus Vereinfachungsgründen genannt und weil ihr Lagrange-Formalismus direkt zu dem Eigenwertproblem führt.
Indem die Lagrange-Ableitung auf Null gesetzt wird, erhält man das Eigenwertproblem KV = λv. Es wird angenommen, dass v₁, ..., v_N die Eigenvektoren von K mit in absteigender Reihenfolge sortierten Eigenwerten sind. Unter der Verwendung der ersten K Eigenvektoren wird das Optimierungsproblem (1) ge löst durch: V = [v1, ...., vk], A = VTX und B = VTY.
Die Lösung des Problems (3) mithilfe der Eigenwertbestimmung von K stellt eine Ausführungsform der Erfindung dar, welche immer dann eingesetzt werden kann, wenn für bekannte Objekte Vorhersagen über Dateneinträge des entsprechenden Ausgabevektors in Abhängigkeit von Dateneinträgen von Ausgabevektoren von anderen bekannten Objekten getroffen werden sollen. Ein derartige Problemstellung wird auch bei dem kollaborativen Filtern (engl. "Collaborative Filtering") gelöst.
Um die vorliegende Erfindung auch zur Vorhersage von Ausgabevektoren von neuen Objekten zu verwenden, wird gemäß einer bevorzugten Ausführungsform der Erfindung eine lineare Abbildungsfunktion Ψ(x) für die Projektion vom Vektorraum der Merkmalsvektoren in den latenten Vektorraum verwendet, wobei x einen Merkmalsvektor mit den Dateneinträgen als Variablen darstellt.
Es wird hierbei folgende lineare Abbildung definiert: V = XW
Somit gilt v_i = Xw_i für i = 1, ..., K mit W = [w₁, ..., w_k] ∈
. Durch Einsetzen von v = Xw in Gleichung (3) erhält man folgendes Optimierungsproblem für w:
wobei W^TX^TXW = 1
Indem die Ableitung des Lagrange-Formalismus in Bezug auf w auf Null gesetzt wird, erhält man folgendes verallgemeinertes Eigenwertproblem: XTKXw = λXTXw (5)
Hierdurch werden M verallgemeinerte Eigenvektoren w₁, ..., w_M sowie die Eigenwerte λ₁≥ .... ≥ λ_Mermittelt. Die ersten K Eigenvektoren werden zur Bildung der folgenden Abbildungsfunktion verwendet: Ψj(x) = √λjwTj x j = 1, ..., K (6)
Somit erhält man als Ergebnis Ψ(x)) = [Ψ₁(x), ..., Ψ_k(x)]^T, wodurch x in den K-dimensionalen latenten Vektorraum abgebildet wird.
Jedoch können – ähnlich wie bei anderen linearen Systemen – die gelernten Abbildungen instabil sein, wenn span{x₁, ..., x_N} aufgrund einer geringen Anzahl von Objekten oder einer Abhängigkeit der Dateneinträge der Merkmalsvektoren einen geringeren Rang als
aufweist. Folglich ändert eine Störung von w mit einem beliebigen w* ⊥ span{x₁, ..., x_N} nicht die Optimierungsfunktion gemäß Gleichung (6), da (w + w*)^Tx_i = w^Tx_i. Jedoch kann diese Störung erheblichen Einfluss auf die Projektionen von Merkmalsvektoren außerhalb von span{x₁, ..., x_N} haben. Um die Stabilität zu verbessern, wird w beschränkt.
Unter der Annahme, dass rang(K) = N, ist die Gleichung (3) äquivalent zur Minimierung des Ausdrucks v^TK^–1v. Durch Einführung der aus dem Stand der Technik bekannten Tikhonov-Regularisierung in das Problem gemäß Gleichung (4) erhält man:
mit w^TX^TXw = 1.
Hierbei ist ∥⁣w∥⁣²= w^Tw ein Strafterm, der in der aus dem Stand der Technik bekannten Ridge-Regression verwendet wurde, und γ ist ein Einstellparameter.
Das entsprechende verallgemeinerte Eigenwertproblem lautet dann wie folgt: [XTK–1X + γI]w = λ ~XTXw (8)
Hierdurch erhält man verallgemeinerte Eigenvektoren w₁, ..., w_M mit Eigenwerten λ ~₁ ≤ ... ≤ λ ~_M. Diese Eigenwerte sind in aufsteigender Reihenfolge sortiert, da für die Abbildungsfunktion die K Eigenvektoren mit den kleinsten Eigenwerten verwendet werden.
Der folgende, von den Erfindern bewiesene Satz 3 zeigt, dass der Regularisierungsterm ∥⁣w∥⁣²die Unbestimmtheit der Abbildungsfunktionen entfernt, indem w auf den Raum span{x₁, ..., x_N} eingeschränkt wird und hierdurch die Stabilität der Abbildungsfunktionen verbessert wird.
Satz 3: Falls w ein Eigenvektor des verallgemeinerten Eigenwertproblems gemäß Gleichung (8) ist, muss w eine Linearkombination aus x_i, i = 1, ....N, sein, nämlich
wobei α ∈
.
In dem Problem (8) wird nach Eigenvektoren mit den kleinsten Eigenwerten gesucht, wobei deren Berechnung der instabilste Teil der Lösung des Eigenwertproblems ist. Deshalb wird das Problem (8) in folgendes Problem umformuliert, wobei λ = 1/λ ~: XTXw = λ[XTK–1X + γI]w (9)
Es wird somit nach den K Eigenvektoren mit den größten Eigenwerten gesucht.
1 zeigt zusammenfassend den Ablauf des soeben beschriebenen Verfahrens, bei dem die Projektion in den latenten Vektorraum mithilfe einer Abbildungsfunktion erfolgt, welche eine lineare Abbildung der Merkmalsvektoren ist.
Zunächst wird in Schritt S1 für vorgegebene Merkmalsvektoren und Ausgabevektoren X ∈
und Y ∈
die Dimension K des latenten Vektorraums sowie ein Wert für β (der größer als 0 und kleiner bzw. gleich 1 ist) sowie ein Wert für γ (der größer bzw. gleich 0 ist) festgelegt.
In Schritt S2 wird dann die Matrix K wie folgt berechnet: K = (1 – β)XXT + βYYT
Schließlich wird im Schritt S3 folgendes verallgemeinerte Eigenwertproblem gelöst: XTXw = λ[XTK–1X + γI]w
Hierdurch werden Eigenvektoren w₁, ..., w_K mit den größten K Eigenwerten λ₁ ≥ ... ≥ λ_K erhalten.
Hieraus wird dann im Schritt S4 die Projektionsfunktion in den latenten Vektorraum wie folgt ermittelt: Ψj(x) = √λjwTj x.
Im Vorangegangenen wurden lineare Abbildungsfunktionen betrachtet, um die Merkmalsvektoren x in einen latenten Vektorraum zu projizieren. Jedoch impliziert der Satz 3 auch die Verwendung einer nicht-linearen Abbildungsfunktion.
Hierzu werden sog. Kernels betrachtet. Hierbei handelt es sich um eine auf dem Gebiet des maschinellen Lernens hinlänglich bekannte Gruppe von Funktionen, welche ein Skalarprodukt in einem hochdimensionalen Raum darstellen und auf einer Datenmenge eine positiv-semidefinite Kernel-Matrix mit Eigenwerten größer bzw. gleich 0 erzeugen.
Im folgenden wird eine Kernel-Funktion k_x(·,·) betrachtet, welche das innere Produkt im Vektorraum der Merkmalsvektoren ist, d.h. k_x(x_i, x_j) = 〈x_i, x_j〉 = x T / ix_j.
Mithilfe von Satz 3 ergibt sich dann: v = Xw = XXTα = Kxαwobei K_x die N × N Kernel-Matrix ist, welche folgende Bedingung erfüllt: (Kx)i,j = kx(xi, xj)∥⁣w∥⁣² kann mit der Kernel-Matrix wie folgt berechnet werden: ∥⁣w∥⁣2 = wTw = αTXXTα = αTKxα.
Analog kann eine Kernel-Funktion für das innere Produkt im Vektorraum der Ausgabevektoren mit entsprechender Kernel-Matrix K_y= YY^Tdefiniert werden. Die Matrix K kann somit unter Verwendung von Kernels definiert werden: K = (1 – β)Kx + βKy (10)
Die Gleichung (7) kann somit wie folgt formuliert werden:
wobei α^TK 2 / xα = 1
Hieraus ergibt sich folgendes verallgemeinertes Eigenwertproblem: [KxK–1Kx + γKx]α = λ ~K2x α (12)
Die Gleichung (12) kann wie folgt umgeschrieben werden, wobei λ = 1/λ ~ gilt: K2x α = λ[KxK–1Kx + γKx]α (13)
Die ersten K Eigenvektoren werden zur Erzeugung der Abbildungsfunktionen verwendet. Die j-te Abbildungsfunktion (j = 1, ..., K) lautet dann wie folgt:
wobei α₁, ..., α_K die K Eigenvektoren mit den größten Eigenwerten λ₁ ≥ ... ≥ λ_K sind.
Bis hierhin wurde die zuvor beschriebene Lösung des Optimierungsproblems mit einer linearen Abbildungsfunktion lediglich umformuliert. Durch eine Verallgemeinerung der Kernel-Funktionen auf nicht-lineare Abbildungen kann jedoch auch eine nicht-lineare Abbildungsfunktion zur Projektion in den latenten Vektorraum erhalten werden. Hierzu wird die nicht lineare Abbildung ϕ : x ∈
→ ϕ(x) ∈ F definiert, welche einen Merkmalsvektor x in einen hochdimensionalen oder sogar unendlich-dimensionalen Vektorraum F abbildet. Die Matrix X wird gewählt als [ϕ (x₁), ..., ϕ (x_N)]^T. Somit wird die Kernel-Funktion definiert als: kx(xi, xj) = 〈ϕ(xi), ϕ(xj)〉
Da weiterhin K_x= XX^T gilt, können direkt die Kernel-Funktionen k_x(x_i, x_j) verwendet werden, ohne dass ϕ(·) explizit bekannt ist. Beispielsweise können die in Anspruch 10 definierten Gaußschen RBF-Kernels verwendet werden.
Eine Kernel-Matrix K_y für den Vektorraum der Ausgabevektoren kann analog zu K_x durch eine nicht-lineare Abbildung ϕ(·) definiert werden.
2 zeigt zusammenfassend den Ablauf des soeben beschriebenen Verfahrens, bei dem die Projektion in den latenten Vektorraum mithilfe von Kernel-Funktionen erfolgt, um insbesondere eine nicht-lineare Abbildung der Merkmalsvektoren in den latenten Vektorraum zu ermöglichen.
Zunächst wird in Schritt S1' für vorgegebene Merkmalsvektoren und Ausgabevektoren X ∈
und Y ∈
die Dimension K des latenten Vektorraums sowie ein Wert für β (der größer als 0 und kleiner bzw. gleich 1 ist) sowie ein Wert für y (der größer bzw. gleich 0 ist) festgelegt.
In Schritt S2' werden die Kernel-Matrizen (K_x)_i,j und (K_y)_i,j zu vorgegebenen Kernel-Funktionen k_x(x_i, x_j) bzw. k_y(y_i, y_j) bestimmt und anschließend wird die Matrix K wie folgt berechnet: K = (1 – β)Kx + βKy
Sollten Dateneinträge in der Matrix Y fehlen, wird die Matrix K_y wie folgt approximiert:
wobei N_l die Anzahl von nicht fehlenden Einträgen in der l-ten Spalte von Y ist und Y_l die l-te Spalte von Y ist, wobei die fehlenden Einträge mit 0 aufgefüllt wurden.
Schließlich wird im Schritt S3' folgendes verallgemeinerte Eigenwertproblem gelöst: K2x α = λ[KxK–1Kx + γKx]α
Hierdurch werden die Eigenvektoren α₁, ..., α_K mit den größten K Eigenwerten λ₁ ≥ ... ≥ λ_K erhalten.
Hieraus wird dann im Schritt S4' die Projektionsfunktion in den latenten Vektorraum wie folgt ermittelt:
Nachfolgend werden zwei Beispiele erläutert, in denen das erfindungsgemäße Verfahren in einem Verfahren zum maschinellen Lernen eingesetzt wird. Das erfindungsgemäße Verfahren wird nachfolgend als MORP-Verfahren (MORP = Multi-Output Regularized Projection) bezeichnet.
Das erste Beispiel betrifft ein Experiment zur Vorhersage der Präferenzen von Benutzern. Es wurden hierbei Gemälde betrachtet, wobei jedes Gemälde durch einen 491-dimensionalen Merkmalsvektor charakterisiert ist. Die Merkmalsvektoren umfassen hierbei jeweils ein Farb-Histogramm (216-dimensional), ein Korrelogramm (256-dimensional), erste und zweite Farb-Momente (9-dimensional) und eine Pyramiden-Wavelet-Struktur (10-dimensional). Es wurden die Beurteilungen von insgesamt 190 Benutzern für 642 Gemälde gesammelt. Jeder Benutzer konnte zwischen den beiden Beurteilungen "Gefallen" und "Nichtgefallen" für eine Anzahl von zufällig ausgewählten Gemälden wählen. Die 190 Beurteilungen von jedem Benutzer stellen somit die Dateneinträge von Ausgabevektoren dar, wobei jeder Ausgabevektor einem Merkmalsvektor (d. h. Gemälde) zugeordnet ist. Durchschnittlich hatte jeder Benutzer 89 Gemälde beurteilt, so dass Dateneinträge in den Ausgabevektoren fehlen. Es handelt sich somit um ein typisches Klassifikationsproblem mit mehreren Ausgaben, da für jedes Gemälde eine Vielzahl von Beurteilungen der Benutzer vorhergesagt werden muss.
Zur Lösung dieses Problems wurde eine maschinelle Lernmethode basierend auf Support-Vektor-Maschinen (SVM) verwendet, wobei in einem Vorverarbeitungsschritt mittels des MORP-Verfahrens die 491-dimensionalen Merkmalsvektoren in einen 20-dimensionalen latenten Vektorraum projiziert wurden. Es wurde hierbei eine Ausführungsform des MORP-Verfahrens eingesetzt, welche eine RBF-Kernel-Funktion für K_x und eine lineare Kernel-Funktion für K_y verwendet. Es wurde β = 0,5 und γ = 0,001 gewählt. Der Wert von y ist für das Verfahren unkritisch, solange er sehr klein ist. Das MORP-Verfahren wurde hierbei mit einem Kernel-PCA-Verfahren, einem Kernel-CCA-Verfahren sowie einem Verfahren, das die ursprünglichen Merkmalsvektoren verwendet, verglichen.
Zum Trainieren des SVM-Verfahrens wurden für eine Anzahl von Test-Nutzer jeweils 20 Beurteilungen verwendet und anschließend wurden die restlichen Beurteilungen vorhergesagt. Im MORP- und CCA-Verfahren wurden zur Berechnung der Projektion die 190-dimensionalean Ausgabevektoren verwendet, wobei fehlende Einträge mit Nullen aufgefüllt wurden.
Als erste Metrik zur Beurteilung der Vorhersagequalität wurde die sog. Top-N-Genauigkeit verwendet, welche das Verhältnis der tatsächlich in die Kategorie „Gefallen" eingestuften Gemälde zu den N am besten bewerteten Gemälden wiedergibt. Da im Vektorraum der Ausgabevektoren Dateneinträge fehlen, wurde nur der Anteil an bekannten, in der Kategorie „Gefallen" eingestuften Gemälden gezählt. Diese Größe ist kleiner als die tatsächliche Top-N-Genauigkeit. Im vorliegenden Experiment ist die Auswahl der Gemälde, die den Benutzern vorgestellt wurden, zufällig, so dass die Verteilungen von beurteilten/nicht beurteilten Gemälden auch zufällig ist. Die zufällige Auswahl verändert nicht die Verhaltensweisen der betrachteten Verfahren.
Die zweite Metrik ist die sog. ROC-Kurve, bei der in Abhängigkeit von einem festgelegten Einstufungskriterium, ob ein Gemälde als gut oder schlecht angesehen wird (dieses Kriterium kann darüber festgelegt werden, wie viele der am besten bewerteten Gemälde der Kategorie „gutes Gemälde" zugeordnet werden), die Sensitivität (d.h. dass ein gutes Gemälde durch das System empfohlen wird) gegen (1-Spezifität) aufgetragen ist, wobei die Spezifität die Wahrscheinlichkeit wiedergibt, dass ein schlechtes Gemälde vom System zurückgewiesen wird. Je größer die Fläche unter der ROC-Kurve, desto besser ist die Qualität des Algorithmus.
3 zeigt im linken Diagramm den Vergleich der Top-N-Genauigkeiten des MORP-Verfahrens und der o.g. Vergleichsverfahren. Man erkennt, dass das MORP-Verfahren wesentlich bessere Genauigkeiten als die anderen Verfahren liefert. Das rechte Diagramm zeigt die ROC-Kurven für das MORP-Verfahren und die o.g. Vergleichsverfahren. Auch hier erkennt man, dass der MORP-Algorithmus die besten Ergebnisse liefert, da seine Fläche unter der ROC-Kurve am größten ist.
Das zweite Beispiel betrifft die Klassifikation von Objekten, wobei zwei Objektdatensätze verwendet wurden. Der erste Datensatz betrifft Dokumente aus der Textsammlung Reuters-21578, die Fachleuten hinlänglich bekannt ist und in der den Dokumenten eine Vielzahl von Kategorien zugewiesen sind. Der zweite Datensatz betrifft Bilder aus der Corel-Image-Datenbank, die Fachleuten ebenfalls bekannt ist. Den Bildern wurden hierbei manuell Kategorien zugewiesen. In diesem zweiten Beispiel wurde wiederum das SVM-Lernverfahren mit dem MORP-Verfahren sowie mit Vergleichsverfahren (Kernel-PCA und dem Verfahren mit den ursprünglichen Merkmalsvektoren) kombiniert. Die Objekte (d.h. die Dokumente bzw. die Bilder) wurden in zwei Datengruppen S1 und S2 aufgeteilt, wobei die Objekte in S2 bei der Berechnung der Projektion im MORP-Verfahren nicht verwendet wurden. Ferner wurde das MORP-Verfahren für β = 0,96 und β = 1 getestet. Im MORP-Verfahren wurde im Falle der Dokumente der Textsammlung eine lineare Kernel-Funktion verwendet, wohingegen bei den Bildern der Corel-Image-Datenbank eine RBF-Kernel-Funktion (mit σ = 25) eingesetzt wurde. Ferner wurde in den MORP-Verfahren in einem 50-dimensionalen latenten Vektorraum projiziert und γ wurde auf 1 gesetzt.
4 zeigt vier Diagramme, welche die Genauigkeiten der mit den Verfahren vorhergesagten Klassifikationen in Abhängigkeit von der Anzahl der Trainigsdaten wiedergeben. Hierbei betreffen die oberen beiden Diagramme die Ergebnisse für die Reuters-Dokumente und die unteren Diagramme zeigen die Resultate für die Corel-Image-Datenbank. Ferner beziehen sich die beiden linken Diagramme auf die Datengruppe S1 und die rechten Diagramme betreffen die Datengruppe S2. Man erkennt, dass das MORP-Verfahrn in vielen Fällen bessere Ergebnisse als die anderen Verfahren liefert, insbesondere für die Bilder der Corel-Image-Datenbank.

Claims

Verfahren zur rechnergestützten Verarbeitung von digitalen Daten, insbesondere zur Verwendung in einem Verfahren zum maschinellen Lernen, wobei die digitalen Daten eine Anzahl von Objekten beinhalten, wobei jedes Objekt einen mehrdimensionalen Merkmalsvektor (x_i) mit digitalen Dateneinträgen umfasst und wobei jedem Merkmalsvektor (x_i) wenigstens ein ein- oder mehrdimensionaler Ausgabevektor (y_i) mit digitalen Dateneinträgen zugeordnet ist, bei dem: a) eine Projektion berechnet wird, mit der die Merkmalsvektoren (x_i) und die Ausgabevektoren (y_i) in einen latenten Vektorraum projiziert werden, wobei die Projektion ein Rekonstruktionsfehlermaß optimiert und insbesondere minimiert, welches von dem Unterschied zwischen den Ausgabevektoren (y_i) und den mit der Projektion projizierten und anschließend rekonstruierten Ausgabevektoren abhängt; b) mit der in Schritt a) berechneten Projektion Merkmalsvektoren (x_i) von neuen und/oder bekannten Objekten in den latenten Vektorraum projiziert werden, wodurch modifizierte digitale Daten erhalten werden.
Verfahren nach Anspruch 1, bei dem das Rekonstruktionsfehlermaß ferner von dem Unterschied zwischen den Merkmalsvektoren (x_i) und den mit der Projektion projizierten und anschließend rekonstruierten Merkmalsvektoren abhängt.
Verfahren nach Anspruch 1 oder 2, bei dem die Dimension des latenten Vektorraums kleiner als die Dimension des Vektorraums der Merkmalsvektoren (x_i) und/oder die Anzahl von Objekten.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Optimierung des Rekonstruktionsfehlermaßes zur Berechnung der Projektion wie folgt lautet:
wobei V ∈
, X ∈
, A ∈
, Y ∈
, B ∈
wobei V^TV = I; wobei X = [x₁; ...; x_N]^T; wobei x_i der i-te Merkmalsvektor mit der Dimension M ist; wobei Y = [y₁; ...; y_N]^T wobei y_i der i-te Ausgabevektor mit der Dimension L ist; wobei A, B die Ladungsmatrizen für X bzw. Y sind; wobei N die Anzahl an Objekten ist; wobei K die Dimension des latenten Vektorraums ist; und wobei β eine positive reelle Zahl kleiner oder gleich 1 ist, insbesondere β = 0,5 oder β = 0,96 oder β = 1.
Verfahren nach Anspruch 4, bei dem die Optimierung des Rekonstruktionsfehlermaßes in folgende Optimierung umgewandelt wird:
wobei V^TV = 1, wobei K = (1 – β)XX^T + βYY^T, wobei die Lösung dieser Optimierung gegeben ist durch V = [v1, ..., VK], A = VTX, B = VTY wobei v₁ bis v_K die Eigenvektoren von K mit entsprechenden, in absteigender Reihenfolge sortierten Eigenwerten sind, wobei die Optimierung rekursiv für jedes v_j durch Maximieren des Ausdrucks v^TKv mit der Einschränkung v^Tv = 1 und v ⊥ span{x₁, ..., x_j–1} gelöst wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Abbildungsfunktion (Ψ_j(x)) für die Projektion verwendet wird, welche die digitalen Dateneinträge der Merkmalsvektoren als Variablen enthält, wobei diese Variablen durch die Abbildungsfunktion in den latenten Vektorraum projiziert werden.
Verfahren nach Anspruch 6 in Kombination mit Anspruch 4 oder 5, bei dem die Abbildungsfunktion (Ψ_j(x)) wie folgt lautet oder von folgendem Ausdruck abhängt: Ψj(x) = √λjwTj x j = 1, ..., Kwobei w₁, ..., w_k ∈
die Eigenvektoren mit den größten K Eigenwerten λ₁ ≥ ... ≥ λ_K des folgenden Eigenwertproblems sind: XTXw = λ[XTK–1X + γI]wwobei K = (1– β)XX^T + βYY^T und γ ≥ 0, insbesondere γ = 1, gilt.
Verfahren nach Anspruch 6 in Kombination mit Anspruch 4 oder 5, bei dem die Abbildungsfunktion (Ψ_j(x)) wie folgt lautet oder von folgendem Ausdruck abhängt: Ψj(x) = √λjΣNi=1 (αj)ikx(xi, x) j = 1, ..., K wobei gilt (K_x)_i,j = k_x(x_i, x_j) und (K_y)_i,j = k_y(y_i, y_j); wobei (K_x)_i,j eine N × N Kernel-Matrix für eine Kernel-Funktion k_x(x_i, x_j) ist und (K_y)_i,j eine N × N Kernel-Matrix für eine Kernel-Funktion k_y(y_i, y_j) ist; wobei K = (1 – β)K_x + βK_y wobei α₁, ..., α_k ∈
die Eigenvektoren mit den größten K Eigenwerten λ₁ ≥ ... ≥ λ_K des folgenden Eigenwertproblem sind: K2x α = λ[KxK–1Kx + γKx]αwobei γ ≥ 0, insbesondere γ = 1, gilt.
Verfahren nach Anspruch 8, bei dem die Kernel-Funktionen k_x(x_i, x_j) und k_y(y_i, y_j) Gaußsche RBF-Kernels sind, welche wie folgt definiert sind: kx(xi, xj) = exp(–∥⁣xi – xj∥⁣2/2σ2) ky(yi, yj) = exp(–∥⁣yi – yj∥⁣2/2σ2)
Verfahren nach Anspruch 6 oder 7, bei dem die Abbildungsfunktion (Ψ_j(x)) eine lineare Abbildung der Merkmalsvektoren (x_i) ist.
Verfahren nach Anspruch 8 oder 9, bei dem die Abbildungsfunktion (Ψ_j(x)) eine nichtlineare Abbildung der Merkmalsvektoren (x_i) ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem jedem Merkmalsvektor (x_i) mehrere Typen von Ausgabevektoren (y_i) zugeordnet sind, wobei das Rekonstruktionsfehlermaß den Unterschied zwischen den Ausgabevektoren (y_i) und den mit der Projektion projizierten und anschließend rekonstruierten Ausgabevektoren von jedem Typ von Ausgabevektoren (y_i) berücksichtigt.
Verfahren zum maschinellen Lernen auf der Basis von digitalen Daten, wobei die digitalen Daten eine Anzahl von Objekten beinhalten, wobei jedes Objekt einen mehrdimensionalen Merkmalsvektor (x_i) mit digitalen Dateneinträgen umfasst und wobei jedem Merkmalsvektor (x_i) wenigstens ein ein- oder mehrdimensionaler Ausgabevektor (y_i) mit digitalen Dateneinträgen zugeordnet ist, bei dem: i) mit einem Verfahren nach einem der vorhergehenden Ansprüche die Merkmalsvektoren (x_i) in einen latenten Vektorraum projiziert werden; ii) auf der Basis der in Schritt i) ermittelten projizierten Merkmalsvektoren (x_i) ein maschinelles Lernverfahren trainiert wird, um anschließend Vorhersagen über Ausgabevektoren (y_i) von bekannten und/oder neuen Objekten zu ermitteln.
Verfahren nach Anspruch 13, bei dem das maschinelle Lernverfahren auf Support-Vektor-Maschinen basiert.
Verfahren nach Anspruch 13 oder 14, wobei das Verfahren zur Mustererkennung und/oder Datenextraktion, insbesondere zur Extraktion von Datenkategorien, in den Objekten eingesetzt wird.
Verfahren nach Anspruch 13 oder 14, wobei das Verfahren zum kollaborativen Filtern eingesetzt wird.
Computerprogrammprodukt, mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Programmprodukt auf einem Rechner abläuft.