DE19721067C1

DE19721067C1 - Stochastischer Schätzer, insbesondere zur Analyse von Kundenverhalten

Info

Publication number: DE19721067C1
Application number: DE19721067A
Authority: DE
Inventors: Juergen Herr
Original assignee: Siemens Nixdorf Advanced Technologies GmbH
Current assignee: Wincor Nixdorf International GmbH
Priority date: 1997-05-20
Filing date: 1997-05-20
Publication date: 1998-09-17
Anticipated expiration: 2017-05-21

Description

Die Erfindung betrifft stochastische Schätzer, insbesondere zur Analyse von Kundenverhalten.

Zur Approximation, d. h. Modellierung komplexer, mehrdimensionaler Zusammenhänge zwischen Eingangsgrößen und mindestens einem nicht explizit bekannten Ausgangswert werden zur nichtlinearen Approximation der Funktionen häufig stochastische Schätzer eingesetzt.

Im weiteren sind unter statistischen Schätzern beispielsweise neuronale Netze oder auch andere rechnergestützte Schätzer zu verstehen, die in [1] beschrieben sind.

Stochastische Schätzer werden im allgemeinen durch ein iteratives Gradientenabstiegsverfahren trainiert, z. B. durch ein iteratives Back-Propagation-Verfahren.

Dabei ist es aus [2] bekannt, alle Trainingsdaten eines Trainingsdatensatzes in zufälliger Reihenfolge bzw. Auswahl zum Trainieren des stochastischen Schätzers zu verwenden. Aus [2] ist ferner bekannt, den stochastischen Schätzer mehrfach mit dem Trainingsdatensatz bzw. mit den Trainingsdaten des Trainingsdatensatzes zu trainieren.

Aus [3] ist ein Verfahren zur Ermittlung einer Bewertungsvariablen eines Bayesianischen Netzwerkgraphen bekannt. Dabei wird durch Kreuzvalidierung oder Leave-one out-Kreuzvalidierung eine Varianz einer Basis- Wahrscheinlichkeitsdichteverteilung eines Teils eines Bayesianischen Netzwerkgraphen bestimmt. Zum Modellieren der bedingten Wahrscheinlichkeitsdichteverteilungen wird die Technik der Parzen-Fenster eingesetzt.

Aus [4] ist ein Verfahren zur rechnergestützen Kombination statistischer Schätzer bekannt. Dabei werden Ausgangssignale einzelner statistischer Schätzer gewichtet und einem Gesamtschätzer zugeführt, wobei die Gewichtung unter Berücksichtigung von Gewichtsfunktionen erfolgt. Die Gewichtsfunktionen hängen von den in einer Trainingsphase verwendeten Trainingsdaten ab.

Jeweils ein "Durchlauf", d. h. jeweils eine vollständige Auswahl aller Trainingsdaten eines Trainingsdatensatzes wird als eine Epoche des Trainings bezeichnet.

Das aus [2] bekannte Verfahren zur Auswahl von Trainingsdaten zum Trainieren eines stochastischen Schätzers weist einige erhebliche Nachteile auf. Vor allem bei Segmentierungsproblemen mit einem sehr großen Trainingsdatensatz, d. h. mit einer großen Anzahl von Trainingsdaten (einige 10 000 bis über 100 000 Trainingsdaten) und mit einer ungleichen Verteilung der Trainingsdaten zu den zu segmentierenden Klassen treten bei dem aus [2] bekannten Verfahren Probleme beim Erkennen der nichtlinearen Zusammenhänge, die durch die Trainingsdaten repräsentiert werden, auf. Dies führt dazu, daß ein mit dem aus [2] bekannten Verfahren trainierter stochastischer Schät zer sehr viele Trainingsdaten immer wieder im Training reprä sentiert bekommt und zur Adaption der Gewichte des stochasti schen Schätzers berücksichtigt, an die der stochastische Schätzer ohnehin schon gut adaptiert ist. Dies erhöht nicht nur den für das Training erforderlichen Rechenaufwand, son dern verhindert außerdem noch, daß sich der stochastische Schätzer auf die seltenen, eigentlich interessanten Fälle für solche speziellen Segmentierungsprobleme, die noch nicht aus reichend genug von dem stochastischen Schätzer "gelernt" wur den, konzentriert.

Der Erfindung liegt das Problem zugrunde, einen durch ausge wählte Trainingsdaten trainierbaren stochastischen Schätzer an zugeben, der an die Trainingsdaten besser adaptiert ist als ein stochastischer Schätzer, der nach den bekannten Verfahren trainiert wird.

Das Problem wird durch den stochastischen Schätzer gemäß Pa tentanspruch 1 gelöst. Eine bevorzugte Verwendung ist im Patentanspruch 9 angegeben.

Der stochastische Schätzer gemäß Patentanspruch 1 ist durch ausgewählte Trainingsdaten eines Trainingsdatensatzes trainier bar. Die Trainingsdaten sind abhängig von den Auswahlwahr scheinlichkeiten auswählbar, die zuvor für jedes Trainingsdatum ermittelt worden sind.

Durch die Auswahl der Trainingsdaten abhängig von den indivi duellen, den Trainingsdaten zugeordneten Auswahlwahrschein lichkeiten wird es möglich, eine individuelle, an die Eigen schaften der Trainingsdaten angepaßte Auswahl der Trainings daten für das Training zu erreichen und somit das Training des stochastischen Schätzers und auch den adaptierten stocha stischen Schätzer gegenüber bekannten Verfahren erheblich zu verbessern.

Der stochastische Schätzer kann sehr vorteilhaft zur Analyse von Kundenverhalten eingesetzt werden.

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Eine Verbesserung der erzielbaren Ergebnisse, d. h. der Adap tion des stochastischen Schätzers an die Trainingsdaten wird in einer Ausgestaltung der Erfindung dadurch erreicht, daß die Auswahlwahrscheinlichkeiten abhängig von jeweils einem Trainingsfehler ermittelt werden, der durch das jeweilige Trainingsdatum verursacht wird.

Dabei ist es zur weiteren Verbesserung der erzielbaren Ergeb nisse in einer Ausgestaltung vorteilhaft, daß die Auswahl wahrscheinlichkeit wächst mit wachsendem Trainingsfehler, der durch das jeweilige Trainingsdatum verursacht wird.

Durch eine Weiterbildung, bei der ein Trainingsdatum immer ausgewählt wird, wenn der Trainingsfehler des Trainingsdatums größer ist als ein vorgebbarer Schwellenwert wird erreicht, daß sehr schlecht "gelernte" Trainingsdaten, d. h. Trainings daten, an die der stochastische Schätzer bisher schlecht ad aptiert wurde, auf jeden Fall zum Training des stochastischen Schätzers verwendet werden. Dadurch wird eine weitere Verbesse rung der Adaption des stochastischen Schätzers an die mögli cherweise ungleiche Verteilung der Trainingsdaten zu einzel nen Klassen, denen die Trainingsdaten zugeordnet wurden, er reicht.

Ferner ist es vorteilhaft, in einer Epoche die Trainingsdaten mehrfach auszuwählen, um somit den Effekt der Auswahl der Trainingsdaten abhängig von den Auswahlwahrscheinlichkeiten weiter zu verstärken.

In den Figuren ist ein Ausführungsbeispiel der Erfindung dargestellt, welches im weiteren näher erläutert wird. In dem Ausführungsbeispiel wird ohne Einschränkung der Allgemeingültigkeit zur einfacheren Darstellung nur eine Epoche beschrieben, d. h. die Auswahl von n Trainingsdaten aus dem Trainingsdatensatz.

Es zeigen

Fig. 1 eine Rechneranordnung, in der symbolisch ein Trainingsdatensatz mit Trainingsdaten und ein neuronales Netz als stochastischer Schätzer dargestellt ist, dessen Gewichte an die Trainingsdaten adaptiert werden;

Fig. 2 eine Tabelle, in der einzelne Auswahlwahr scheinlichkeiten zu Trainingsdatensätzen, deren Auswahl und die Veränderung der Auswahlwahr scheinlichkeiten im Verlauf des Trainings in einer Epoche dargestellt sind.

In Fig. 1 ist ein Rechner R mit einem Prozessor und einem Speicher dargestellt. Der Rechner R ist mit einem Meßgerät MG verbunden. Unter Verwendung des Prozessors wird ein neuronales Netz NN gebildet und trainiert.

Mit dem Meßgerät MG werden Meßwerte aufgenommen und dem Rechner R zugeführt. Die Meßwerte werden als Trainingsdaten Di (i = 1 . . n) in dem Speicher des Rechners R gespeichert. Die gespeicherten Trainingsdaten Di bilden insgesamt einen Trainingsdatensatz TDS.

Mit den Trainingsdaten Di wird ein neuronales Netz NN mit Eingangsneuronen EN, versteckten Neuronen VN und Ausgangsneuronen AN trainiert. Verbindungen zwischen einzelnen Neuronen EN, VN, AN sind jeweils mit einem Gewichtswert w_ij gewichtet. Das Ausgangssignal eines Neurons EN, VN wird jeweils, gewichtet mit dem Gewichtswert w_ij, welches der jeweiligen Verbindung zugeordnet ist, über die jeweilige Verbindung als Ein gangssignal einem weiteren Neuron VN, AN zugeführt.

Die gesamte Trainingsphase des neuronalen Netzes NN wird üb licherweise in mehreren Epochen durchgeführt, wobei in jeder Epoche n Trainingsdaten Di aus dem Trainingsdatensatz TDS ausgewählt werden und mit diesen Trainingsdaten Di das neuro nale Netz NN trainiert wird. Mit n wird die Anzahl der in dem Trainingsdatensatz TDS enthaltenen Trainingsdaten Di bezeich net.

In Fig. 2 sind 14 Trainingsdaten Di dargestellt, die jeweils durch eine natürliche Zahl eindeutig gekennzeichnet sind. Je dem Trainingsdatum Di ist eine Auswahlwahrscheinlichkeit P(Di) zugeordnet. Abhängig von der Auswahlwahrscheinlichkeit P(Di) werden die Trainingsdaten Di zum Trainieren des neuro nalen Netzes NN ausgewählt.

Trainingsdaten Di, deren Auswahlwahrscheinlichkeit P(Di) grö ßer gleich 1 ist, werden auf jeden Fall ausgewählt. Die Aus wahl erfolgt in mehreren Iterationen, in diesem Fall werden in einer ersten Iteration I1 und in einer zweiten Iteration I2 diejenigen Trainingsdaten Di ausgewählt, denen eine Aus wahlwahrscheinlichkeit P(Di) zugeordnet ist, die größer gleich 1 ist.

Die Auswahlwahrscheinlichkeit P(Di) wird für jedes Trainings datum Di nach folgender Vorschrift ermittelt:

wobei mit

- P(Di) die Auswahlwahrscheinlichkeit,
- E(Di) der durch das Trainingsdatum Di verursachte Trai ningsfehler,
- E ein Durchschnittsfehler der durch alle Trainingsdaten Di verursacht wird,

bezeichnet wird.

Zu Beginn des Trainings weisen in diesem Fall folgende Trai ningsdaten Di eine Auswahlwahrscheinlichkeit P(Di) ≧ 1 auf: D4, D5, D6, D7, DB, D11, D12.

Diese sieben Trainingsdaten Di werden in einer ersten Itera tion I1 ausgewählt. Die Auswahlwahrscheinlichkeiten P(Di) der ausgewählten Trainingsdaten Di der ersten Iteration I1 werden für die zweite Iteration I2 um den Wert 1 erniedrigt. So weist z. B. das vierte Trainingsdatum D4 vor der Auswahl in der ersten Iteration eine Auswahlwahrscheinlichkeit P(Di) = 1,7 auf und nach der Auswahl eine Auswahlwahrschein lichkeit P(Di) = 0,7, die nunmehr bei der Auswahl in der zweiten Iteration I2 berücksichtigt wird.

In der zweiten Iteration I2 weist lediglich das 12. Trai ningsdatum D12 eine Auswahlwahrscheinlichkeit P(Di) auf, des sen Wert größer ist als 1, nämlich 1,3.

Somit wird in der zweiten Iteration I2 lediglich ein Trai ningsdatum Di ausgewählt, nämlich das 12. Trainingsdatum D12.

Wiederum wird für das 12. Trainingsdatum D12, welches nun in der Epoche 2x ausgewählt wurde, die Auswahlwahrscheinlichkeit P(Di) um den Wert 1 erniedrigt. Für die dritte Iteration I3 weist die Auswahlwahrscheinlichkeit P(Di) des 12. Trainings datums D12 den Wert 0,3 auf.

Um nun 14 Trainingsdaten in der Epoche tatsächlich auszuwäh len, werden in der dritten Iteration I3 die restlichen 6 Trainingsdaten Di ausgewählt. Diese werden abhängig von der Auswahlwahrscheinlichkeit P(Di) mit der jeweiligen Auswahl wahrscheinlichkeit P(Di) ausgewählt.

Diese Vorgehensweise kann anschaulich als ein zufälliges Aus wählen von Trainingsdaten abhängig von den Auswahlwahrschein lichkeiten P(Di) als ein "Ziehen einer Kugel aus einer Urne mit Zurücklegen" angesehen werden, wobei vor dem Zurücklegen für das ausgewählte Trainingsdatum Di die Auswahlwahrschein lichkeit P(Di) verändert wird.

In Fig. 2 ist dargestellt, daß in der dritten Iteration I3 folgende 6 Trainingsdaten Di ausgewählt werden: D1, D6, D8, D9, D10, D14.

Die ausgewählten Trainingsdaten der ersten Iteration I1, der zweiten Iteration I2 und der dritten Iteration I3 werden zum Trainieren des neuronalen Netzes NN verwendet.

Das Training erfolgt nach dem bekannten Back-Propagation- Verfahren unter Verwendung der ausgewählten Trainingsdaten Di.

Im weiteren werden einige Alternativen zu dem oben beschrie benen Ausführungsbeispiel aufgezeigt.

Allgemein ist die Anzahl der in dem Trainingsdatensatz TDS enthaltenen Trainingsdaten Di beliebig. Auch der Schwellen wert, ab dem ein Trainingsdatum Di auf jeden Fall ausgewählt wird, ist beliebig vorgebbar. Ferner ist es nicht unbedingt erforderlich, überhaupt einen Schwellenwert vorzusehen.

Auch ist das Meßgerät MG zur Ermittlung der Trainingsdaten nicht unbedingt erforderlich.

Als Trainingsdaten Di können beispielsweise auch Informatio nen enthalten, die eine Analyse potentieller Kunden eines Ge schäfts in einem vorgebbaren Kundensegment enthalten. In die sem Fall kann beispielsweise ein Trainingsdatum Di folgende Informationen über eine Person enthalten, die in dem Trai ningsdatum Di gespeichert werden:

- Geschlecht,
- Familienstand,
- Information, ob es sich um einen neuen Kunden oder um einen "Altkunden" handelt,
- Art der Kundenwerbung (z. B. geworben über Zeitungsanzeige, Empfehlung, Fernsehwerbung, Radiowerbung,
- Information, ob der Kunde zuvor bereits das Produkt gekauft hat,
- SCHUFA-Auskunft,
- Information, ob der Kunde eine Eigentumswohnung oder ein eigenes Haus besitzt,
- Kfz-Typenklasse, etc.

Der trainierte stochastische Schätzer (NN) kann vorteilhaft zur Analyse von Kundenverhalten eingesetzt werden. Unter Kun denverhalten ist beispielsweise eine Kaufwahrscheinlichkeit, eine Stornoprüfung oder auch Bonitätsprüfung des Kunden zu verstehen.

Die Art der Information, die in dem Trainingsdatum Di enthal ten ist, ist stark abhängig von der jeweiligen Anwendung.

Es ist auch nicht unbedingt erforderlich, genau n Trainings daten aus dem Trainingsdatensatz TDS in einer Epoche aus zu wählen. Allgemein kann eine beliebig vorgebbare Anzahl von Trainingsdaten Di in einer Epoche ausgewählt werden.

Die Anpassung der Gewichtswerte w_ij kann nach einer vorgebba ren Anzahl berücksichtigter Trainingsdaten Di erfolgen. Somit muß nicht eine ganze Epoche dem neuronalen Netz NN zugeführt werden.

Im weiteren ist der Quellcode einer Realisierung des Verfah rens in der Programmiersprache C++ angegeben:

Im Rahmen dieses Dokuments wurden folgende Veröffentlichungen zitiert:
[1] J. Hartung et al, Statistik, Oldenbourg Verlag, München, 9. Auflage, ISBN 3-486-220551, S. 123-142, 1993
[2] H. Corsten et al, Neuronale Netze in der Betriebswirt schaft, Gabler GmbH, Wiesbaden, 1. Auflage, ISBN 3-409-12610-4, 1996
[3] DE 195 49 300 C1
[4] DE 195 26 954 C1

Claims

1. Stochastischer Schätzer, der durch ausgewählte Trainingsda ten (Di, i = 1 . . n) eines Trainingsdatensatzes (TDS) trai nierbar ist,

- bei dem die Trainingsdaten (Di, i = 1 . . n) abhängig von den Auswahlwahrscheinlichkeiten (P(Di)) auswählbar sind, die zu vor für jedes Trainingsdatum (Di) ermittelt worden sind.

2. Stochastischer Schätzer nach Anspruch 1, bei dem jeweils die Auswahlwahrscheinlichkeit (P(Di)) abhän gig von einem Trainingsfehler (E(Di)) ermittelt wird, der durch das Trainingsdatum (Di) verursacht wird.

3. Stochastischer Schätzer nach Anspruch 2, bei dem die Auswahlwahrscheinlichkeit (P(Di)) größer wird mit wachsendem Trainingsfehler (E(Di)).

4. Stochastischer Schätzer nach Anspruch 2 oder 3, bei dem ein Trainingsdatum (Di) immer ausgewählt wird, wenn der Trainingsfehler (E(Di)) größer ist als ein vorgebbarer Schwellenwert.

5. Stochastischer Schätzer nach einem der Ansprüche 1 bis 4, bei dem der stochastische Schätzer ein neuronales Netz ist.

6. Stochastischer Schätzer nach einem der Ansprüche 1 bis 5, bei dem jeweils die Auswahlwahrscheinlichkeit (P(Di)) nach folgender Vorschrift ermittelt wird:
wobei mit

bezeichnet wird.

7. Stochastischer Schätzer nach einem der-Ansprüche 1 bis 6, bei dem ein Trainingsdatum (Di) mehrfach ausgewählt wird.

8. Stochastischer Schätzer nach einem der Ansprüche 1 bis 7,

- bei dem der Trainingsdatensatz (TDS) mehrfach zum Trainie ren des stochastischen Schätzers (NN) verwendet wird, und
- bei dem, nachdem eine vorgebbare Anzahl Trainingsdaten (Di, i = 1 . . . n) zum Trainieren des stochastischen Schätzers (NN) verwendet wurden, die Auswahlwahrscheinlichkeiten (P(Di)) neu ermittelt werden.

9. Verwendung eines stochastischen Schätzers nach einem der Ansprüche 1 bis 8 zur Analyse von Kundenverhalten.