DE102020129018A1

DE102020129018A1 - Tiefe benutzermodellierung durch verhalten

Info

Publication number: DE102020129018A1
Application number: DE102020129018.7A
Authority: DE
Inventors: Wangsu HU; Jilei Tian
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-01-23
Filing date: 2020-11-04
Publication date: 2021-07-29
Also published as: US20210231449A1

Abstract

Es werden ein System, ein Verfahren und ein nichtflüchtiges computerlesbares Medium zur tiefen Benutzermodellierung des Benutzerverhaltens bereitgestellt. Gemäß der tiefen Benutzermodellierung werden Benutzerverhaltensvektoren bestimmt, die historische Benutzerverhaltensweisen eines Benutzers repräsentieren. Auf der Grundlage einer Verkettung der Benutzerverhaltensvektoren wird eine Benutzerverhaltensmatrix veränderlicher Länge bestimmt. Die Benutzerverhaltensmatrix veränderlicher Länge wird durch ein Long-Short-Term-Memory-Netz in einen Einbettungsvektor fester Länge umgewandelt, und der Einbettungsvektor fester Länge wird als vorhergesagtes Zielverhalten an den Benutzer ausgegeben.

Description

HINTERGRUND UND KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung betrifft ein System, ein Verfahren und ein nichtflüchtiges computerlesbares Medium zur Modellierung des Benutzerverhaltens auf der Grundlage vom Benutzer beobachtbarer Verhaltenssequenzdaten.
Die Benutzerprofilierung spielt eine zentrale Rolle bei der Anbietung eines personalisierten Dienstes, einem tieferen Benutzerverständnis und einer tieferen Benutzermodellierung und eines besseren Dienstes und einer besseren Benutzererfahrung. Wir schlagen ein vereinheitlichtes algorithmisches Framework zur Behandlung des Problems des Lernens von Benutzerprofilen vor, welches anstrebt, die Verhaltensobjekte in als „Benutzereinbettung“ bezeichnete Vektoren reeller Zahlen abzubilden. Diese Abbildung wird durch in die Tiefe gehendes Maschinenlernen zur Optimierung der Vorhersageaufgabe erzeugt.
Das Benutzerprofillernen kann anhand der Leistungsfähigkeit nachgeschalteter Aufgaben gemessen werden. Für nachgeschaltete Aufgaben in der Art einer Rangeinstufung in einem Empfehlungssystem kann ein gutes gelerntes Benutzerprofil die Vorhersagegenauigkeit erheblich verbessern, wenn künftige Benutzeraktionen vorhergesagt werden, weil es die Benutzergruppe genau kennzeichnet, um die personalisierte Empfehlung anzureichern.
Das Benutzerprofillernen muss auch anhand der Konsistenz zwischen der erzeugten Einbettung und empirischem Wissen gemessen werden. Die Einbettung strebt an, semantische Ähnlichkeiten zwischen Objekten, wie vernünftig die gelernte Einbettung die Objekte, beispielsweise im Semantikraum, kennzeichnen kann, Benutzerverhaltensweisen, die ihrem Heim etwas ähneln, auch wenn sich ihr Heim in anderen Staaten oder Ländern mit einer großen geographischen Entfernung befinden kann, zu quantifizieren und zu kategorisieren.
Eine wirksame und effiziente Benutzerverhaltensmodellierung muss in Bezug auf den umfangreichen dynamischen Datensatz robust und semantisch reich sein. Dies ist sowohl für die Forschung als auch für die Produktion noch immer eine Herausforderung. Die nachgeschaltete Leistungsfähigkeit sollte beibehalten und gelernt werden, und die Einbettung sollte noch vergleichbar sein, nachdem das Modelltraining verteilt wurde.
Gemäß der vorliegenden Erfindung schlagen wir ein vereinheitlichtes algorithmisches Framework zur Benutzermodellierung anhand Benutzerverhaltens-Sequenzdaten vor. Es kann mit einer geeigneten Modellierungsleistungsmessung erhebliche Vorteile bieten, einschließlich einer verbesserten persönlichen und kontextuellen Benutzererfahrung, einer besseren Benutzersegmentierung und -analytik und eines besseren Verständnisses einer Benutzerbasis, um das Produkt, den Dienst, das Benutzerengagement, Werbungen für Benutzer und dergleichen zu verbessern.
Traditionelle Wege zur Repräsentation eines Benutzerverhaltens bestehen darin, alle Arten von Hand erstellter Merkmale, die über verschiedene Typen von Benutzerverhaltensweisen aggregiert wurden, zu extrahieren. Diese Merkmalsauslegungsprozedur, die durch menschlichen Instinkt angeleitet wird, kann möglicherweise nicht in der Lage sein, die Daten selbst vollständig zu repräsentieren, und sie erfordert zu viel Arbeit. Beispielsweise sind bei einer Fahrtmustervorhersage zwei der grundlegenden Verhaltensobjekte der Ort und die Zeit. Der Ort kann auf der Grundlage des Landverwendungstyps ein aggregiertes kategorisches Merkmal in der Art von „Wohngebiet“ oder „Geschäftsbezirk“ sein und dann indexiert werden, um der nachgeschalteten Modellierung zugeführt zu werden. Diese Aggregierung kann jedoch Informationen verlieren, die präzise in Bezug zum Objekt gesetzt werden könnten, das in der nachgeschalteten Anwendung vorhergesagt werden muss. Beispielsweise könnte ein Gebiet eine Mischung verschiedener Landverwendungstypen sein, welche die Motivation verschiedener Verhaltensweisen zu verschiedenen Tageszeiten werden.
Ein weiterer wichtiger Gesichtspunkt besteht darin, dass die Benutzerverhaltensweisen natürlich kontextsensitiv, sehr flexibel und zeitlich sequenziell und damit schwer zu modellieren sind. Es könnte eine mögliche Verhaltensdrift auftreten, die zu einer Änderung in einem Benutzerprofil führt. Auch ist es schwierig, explizite Überwachungen in der Art von Abbildungen oder Ableitungen zwischen jeglichen Paaren verschiedener Verhaltensweisen zu erhalten, die dabei helfen könnten, die neuen individuellen Repräsentationen zu bilden. Beispielsweise könnte der Benutzer während einer bestimmten Zeit einen Urlaub außerhalb seiner Stadt machen, das vorhergehende wiederkehrende Verhalten kann jedoch nicht auftreten, bevor der Benutzer wieder zur Arbeit zurückkehrt. Dies erfordert eine geeignete Messung zur Aktualisierung des Benutzerprofils auf der Grundlage sowohl der Beobachtung des aktuellen Verhaltens des Benutzers als auch einer Vorhersage des künftigen Benutzerverhaltens auf der Grundlage historischer Benutzerverhaltensweisen.
Der Skalierbarkeits- und Übertragungslerngesichtspunkt ist ein weiterer zu adressierender kritischer Gesichtspunkt. Sobald sie in einem Produktionssystem implementiert wurde, wird häufig eine verteilte Trainingsstrategie auf die Adressierung umfangreicher dynamischer Daten angewendet. Das Ergebnis des Verhaltenslernens muss konsistent sein.
Um dies zu erreichen, schlagen wir ein vereinheitlichtes algorithmisches Framework zur Benutzermodellierung vor, das anhand der Daten ohne manuelle Annotation selbstständig trainiert wird. Eine gewünschte Vorhersageaufgabe wird verwendet, um die Leistungsfähigkeit zu optimieren. Es wird erwartet, dass das vorgeschlagene System nicht nur eine genaue Vorhersage erreicht, sondern auch ein umfangreiches Repräsentationslernen für Benutzer ermöglicht. Das Benutzerprofil-Lern-Framework kann eine semantische Modellierung flexibel einführen und sie durch Einführen des Repräsentationslernens sequenzieller Benutzerverhaltensdaten verstärken.
Ein Benutzerprofil kann als Verhaltensdatensätze des Benutzers repräsentiert werden, welche angeben, was der Benutzer während des Verlaufs der Aktionen des Benutzers getan hat. Das existierende Verfahren zur Erzeugung eines Benutzerprofils besteht darin, ein Schlüssel-Wert-Paar zu einem Wörterbuch auf der Grundlage eines demographischen Merkmals oder eines Benutzeraktivitäts-Datensatzes zu erfüllen. Beispielsweise kann ein Profil elektronischer Käufe für einen Benutzer i {„Geschlecht“: „männlich‟, „Alltag“:30, „am häufigsten gekaufter Gegenstand“:„Elektronik‟, ...} sein. Diese Abbildung und Modellierung lässt sich jedoch infolge des diskreten Werts von Daten und des Fehlens einer optimalen Formulierung des Problems nur sehr schwer für die Charakterisierung des Benutzers optimal und quantitativ verarbeiten.
Die Benutzereinbettung wurde gut untersucht, beispielsweise im Empfehlungssystem, um die Benutzer-Gegenstand-Bewertungs-Vorhersage zu optimieren. Sie weist jedoch infolge der Linearität bei der Modellierung Leistungs- und Geltungsbereichsbegrenzungen auf, und es fehlt ihr an einer leistungsfähigen sequenziellen Modellierungsfähigkeit in der Art von Benutzerverhalten und -kontext.
Ein Benutzerprofil ist ein Satz durch verschiedene Objekte in der Art von Ort, Zeit, Gegenstand usw. aufgezeichneter Benutzerverhaltensweisen. Um eine quantitative Analyse von Objekten zu erhalten, wird ein Repräsentationslernen angewendet, um einen „Einbettungsvektor“ für verschiedene Objekte zu erzeugen. Eine Einbettung ist eine Abbildung einer diskreten kategorischen Variable auf einen Vektor kontinuierlicher Zahlen. Sie kann dabei helfen, den Abstand oder die Ähnlichkeit zwischen verschiedenen Objekten in der Art von zwei Orten, zwei Benutzern oder sogar zwei Zeitstempeln zu berechnen. Normalerweise kann eine Einbettung in einem datengetriebenen Framework trainiert werden, um die semantische Bedeutung von Objekten anzureichern.
In Bezug auf das Repräsentationslernverfahren kann ein Benutzerprofil als eine Sequenz durch Zeitstempel t geordneter Benutzerverhaltens-Datensätze durch ein Sequenzmodellierungsverfahren in der Art eines Attention-basierten Frameworks erzeugt werden. Siehe beispielsweise https://arxiv.org/pdf/1711.06632.pdf. Ein Problem, das bei diesem Verfahren auftritt, besteht jedoch darin, dass die Ausgabe des Benutzerprofils noch aus sequenziellen Daten veränderlicher Länge besteht. Eine solche Struktur macht es schwierig, zwischen verschiedenen Benutzermerkmalen des Benutzers zu vergleichen, um andere nachgeschaltete Aufgaben in der Art einer Benutzersegmentierung zu unterstützen.
Wir haben eine sequenzielle Modellierung auf das Umwandeln sequenzieller Daten in einen Vektor fester Länge, der das Benutzerprofil repräsentiert, angewendet. Ein kritischer Gesichtspunkt der meisten sequenziellen Modellierungsverfahren sind jedoch die Rechenkosten infolge der nicht parallelisierten Natur, insbesondere in Bezug auf einen umfangreichen dynamischen Datensatz. Wenngleich es einige bekannte Techniken des Benutzerprofillernens gibt, besteht der Hauptunterschied darin, dass wir das algorithmische Framework zur sequenziellen Modellierung vorgeschlagen haben, das anstrebt, eine Benutzerprofileinbettung fester Länge unter Berücksichtigung sowohl der nachgeschalteten Leistungsfähigkeit als auch der Modellskalierbarkeit zu erzeugen. Mit dem Benutzerprofillernen ist das System in der Lage, den Kontext und das Verhalten des Benutzers besser zu verstehen und die kontextuelle und persönliche Erfahrung bereitzustellen und zu verbessern, wie Empfehlung, Vorhersage, Benutzersegmentierung und dergleichen.
Alle Benutzer sind verschieden, wie durch Benutzermodellierung gekennzeichnet, wodurch der Bedarf an einem personalisierten Dienst adressiert wird. Das Benutzerprofil weist mehrere Facetten auf, einschließlich Präferenz, Interesse, Gewohnheit, Musik, Waren, Lesegewohnheiten, Mobilität, Einkäufe und dergleichen. Es wird in hohem Maße erwartet, eine holistische Benutzermodellierung bereitzustellen, es besteht jedoch eine Herausforderung darin, dadurch das mehrere Facetten aufweisende Verhalten zu adressieren.
Wir nehmen an, dass das Benutzerverhalten durch persönliche Eigenschaften, die verborgen sind, jedoch existieren, getrieben und transformiert wird. Wir sind in der Lage, das Verhalten qualitativ wahrzunehmen, aber nicht rechnerisch. Das Benutzerverhalten erzeugt die beobachtbaren Daten, die gesammelt werden können, wie die Fahrtstrecke, ein Einkaufsprotokoll und dergleichen. Falls uns ein gutes trainierbares Framework zur Transformation von Benutzerverhaltensweisen zur Verfügung steht, können wir die Benutzermodellierung durch Schätzen der Transformation formulieren.
Gemäß der vorliegenden Erfindung führen wir ein modifiziertes Attention-basiertes Framework für eine erste Transformation (Transformation 1) und ein auf einer modifizierten Sequenz beruhendes Long-Short-Term-Memory(LSTM)-Netz für eine zweite Transformation (Transformation 2), die ein Deep Learning von durch eine Einbettung repräsentierten Benutzereigenschaften ermöglicht, ein. Anhand der gesammelten Daten als Beobachtung können wir die Modellierung schätzen, um den Verlust zwischen dem Ziel und der Vorhersage zu minimieren. In der Datensammlung können wir jegliche Daten als Ziel nehmen und die Vorgeschichte als Eingabe ausnutzen, so dass das Framework überwacht ist, es ist jedoch keine Annotation oder ein Labeling erforderlich, so dass sich die Möglichkeit eines Selbstlernens ausschließlich anhand der Daten ergibt.
Andere Aufgaben, Vorteile und neuartige Merkmale der vorliegenden Erfindung werden anhand der folgenden detaillierten Beschreibung einer oder mehrerer bevorzugter Ausführungsformen, wenn in Zusammenhang mit den anliegenden Zeichnungen betrachtet, verständlich werden.
Figurenliste
Es zeigen:

1 ein Flussdiagramm gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung,
2 ein allgemeines Benutzerprofil-Lernsystem gemäß der vorliegenden Erfindung,
3 ein unter einer nachgeschalteten Vorhersageaufgabe trainiertes Standard-Long-Short-Term-Memory(LSTM)-Netz gemäß der vorliegenden Erfindung,
4 eine beispielhafte Verbreiterung von Datenpunkten für Benutzer i, j und k, wobei Benutzer j Benutzer i am ähnlichsten ist und Benutzer k Benutzer i am wenigsten ähnlich ist,
5 das Rohaktivitätsprotokoll für die Benutzer i, j und k entsprechend 4,
6 eine beispielhafte Ausführungsform eines Verfahrens gemäß der vorliegenden Erfindung und
7 ein schematisches Blockdiagramm eines Systems gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Flussdiagramm gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Wie in 1 dargestellt ist, werden beim Prozess 100 in Schritt 101 Benutzereigenschaften erhalten, werden in Schritt 102 die Benutzereigenschaften unter Verwendung eines Attention-basierten Frameworks transformiert und wird in Schritt 103 ein Benutzerverhaltens-Datensatz erzeugt. In Schritt 104 wird der Benutzerverhaltens-Datensatz unter Verwendung eines modifizierten sequenzbasierten LSTM-Netzes transformiert, wodurch in Schritt 105 eine Beobachtungsmatrix erzeugt wird. LSTM-Netze sind künstliche Rekurrentes-neuronales-Netz(RNN)-Architekturen, die auf dem Deep-Learning-Gebiet verwendet werden. Dies ermöglicht das Deep Learning von durch eine Embedding repräsentierten Benutzereigenschaften. Anhand der gesammelten Daten als Beobachtung können wir die Modellierung schätzen, um den Verlust zwischen dem Ziel und der Vorhersage zu minimieren, wobei die Verlustfunktion definiert ist. In der Datensammlung können wir jegliche Daten als Ziel nehmen und die Vorgeschichte als Eingabe ausnutzen, so dass das Framework überwacht ist, es ist jedoch keine Annotation oder ein Labeling erforderlich, so dass sich die Möglichkeit eines Selbstlernens ausschließlich anhand der Daten ergibt.
2 zeigt ein allgemeines Benutzerprofil-Lernsystem gemäß der vorliegenden Erfindung. Gemäß diesem System nimmt der Algorithmus einen Verhaltensdatensatz als Ziel 201 und historische Verhaltensweisen 206 als Eingabe für die Sequenzmodellierung 204. Die historischen Daten werden für das Trainieren des Modells verwendet. Anhand dieser Informationen wird eine Transformation zur Ähnlichkeitsmessung ausgeführt 202 und wird die Wahrscheinlichkeit zwischen der Vorhersage und dem Ziel ausgegeben 203, wobei die Verlustfunktion als die Wahrscheinlichkeit zwischen der Vorhersage und dem Ziel als Ground Truth definiert ist, wie die Kreuzentropie. Ein einzigartiger Aspekt dieses Systems besteht darin, dass der Algorithmus als überwacht organisiert ist, dass jedoch keine manuelle Annotation oder kein manuelles Labeling erforderlich ist. Nachdem die Sequenzmodellierung auf der Grundlage des Lernens historischen Verhaltens ausgeführt wurde 204, wird die Benutzermodellierung/das Embedding 205 ausgeführt.
Gemäß dem vorgeschlagenen Algorithmus werden Benutzerverhaltensweisen eingegeben und ist die Ausgabe eine Vorhersage der Möglichkeit, dass ein Zielverhalten auftritt, und eine Ableitung eines Benutzerprofils. Der Algorithmus weist eine semantische Modellierung auf, bei der Objekte (beispielsweise Benutzerinteraktion I, Inhalt O und Kontext C) in einen Semantikraum transformiert werden. Es wird eine Transformation ausgeführt, um ein Ähnlichkeitsmaß zwischen historischen Verhaltensweisen und dem Zielverhalten bereitzustellen. Die möglichen Verhaltensweisen werden mit einer Rangeinstufung versehen, und das am besten mögliche Verhalten, das die höchste Ähnlichkeit in Bezug auf die historischen Verhaltensweisen aufweist, wird als das Zielverhalten ausgewählt. Gemäß dem Algorithmus beruht die Benutzermodellierung auf dem Lernen historischen Verhaltens, und es wird eine Beurteilung unter Verwendung einer N-Best-Übereinstimmung ausgeführt (genaue Übereinstimmung: 1-Best). Der Algorithmus gemäß der vorliegenden Erfindung stellt eine reiche semantische Modellierung unter Verwendung eines diskriminativen Trainings mit einem kleinen Ähnlichkeitsmodell und einer Online-Lernfähigkeit bereit.
Wir führen das Übertragungslernverfahren zur Ausnutzung eines vorhergehenden Lernens anhand eines vortrainierten Modells ein und vermeiden es, für das Lernen des Benutzerprofils ganz vom Anfang zu beginnen. Das vortrainierte Modell beruht auf einem Verhaltenslernmodell, das überwacht ist und auf der Grundlage des durch eine Vorhersageaufgabe, beispielsweise eine Zielempfehlung, definierten Verlusts trainiert ist. Benutzerverhalten ist als das Ausführen einer bestimmten Aktion an einem bestimmten Inhalt beim gegebenen Kontext definiert. Die gesamte Benutzerinteraktion I, der gesamte Inhalt O und der gesamte Kontext C werden modelliert, um die aus der Roheingabe bestehende Merkmalsmodellierungsschicht zu bilden. Abgesehen vom endgültigen Vorhersageergebnis wird die Einbettung von Objekten trainiert, um die folgende Matrix zu erhalten: $E ({I}) = [[I_{1,1}, I_{1,2}, \dots, I_{1, H}], \dots, [I_{Q,1}, I_{Q,2}, \dots, I_{Q,H}]]$
$E ({O}) = [[O_{1,1}, O_{1,2}, \dots O_{1, H}], \dots, [O_{K,1}, O_{K,2}, \dots, O_{K,H}]]$
$E ({C}) = [[C_{1,1}, C_{1,2}, \dots, C_{1, H}], \dots, [C_{P,1}, C_{P,2}, \dots, C_{P,H}]]$
$r = {Verkettung}_{Achse = 1} (E (I_{q}),E (O_{k}),E (C_{p})) \times w + b$
wobei H die vordefinierte Merkmalsgröße des Einbettungsvektors ist, Q, K, P die Größe der Benutzerinteraktion, des Inhalts bzw. des Kontexts ist, w und b auch die Vortrainierparameter sind und r einen Verhaltensdatensatz auf der Grundlage einer Benutzerinteraktion I_q, eines Inhalts O_k und eines Kontexts C_p repräsentiert.
In der Praxis kann das vortrainierte Modell dabei helfen, das zuvor gelernte Wissen zu übertragen und die Rechenzeit stark zu verringern. Das Training kann offline geschehen, und die gelernten Einbettungen werden dann als Merkmale eingesetzt, um sie dem vorgeschlagenen Benutzerprofil-Lern-Framework zuzuführen.
3 zeigt ein unter einer nachgeschalteten Vorhersageaufgabe gemäß der vorliegenden Erfindung trainiertes Standard-Long-Short-Term-Memory(LSTM)-Netz. Unter der Voraussetzung, dass ein Benutzerverhalten aus einer Sequenz durch Zeitstempel geordneter Benutzerverhaltens-Datensätze besteht, wird angenommen, dass der Benutzer eine Anzahl T von Verhaltensdatensätzen aufweist, und wir verketten alle Verhaltensdatensätze r entlang der Achse t, um eine Matrix R = (r₁r₂ ...... r_T)t mit einer (H, T)-Größe zu erzeugen, wobei H und T beispielsweise 30 bzw. 128 Dimensionen sein können. An Stelle der Verwendung der Benutzerverhaltensmatrix R zur Repräsentation des Benutzers haben wir eine Sequenzmodellierung angewendet, um die Matrix veränderlicher Länge in einen Einbettungsvektor fester Länge umzuwandeln. Hier haben wir ein unter einer nachgeschalteten Vorhersageaufgabe trainiertes Standard-Long-Short-Term-Memory(LSTM)-Netz implementiert, wie in 3 dargestellt, wobei das Element A eine LSTM-Einheit repräsentiert.
Wie in 3 dargestellt ist, werden das Zielverhalten r_T und die Verhaltensmatrix R in das Sequenzmodell eingegeben. In 3 repräsentieren x_t den Eingangsvektor der LSTM-Einheit, ht den Ausgangsvektor der ASTM-Einheit und Y die Ausgabe einschließlich des Einbettungsvektors fester Länge.
Weil ein Benutzerverhalten infolge entweder eines nicht wiederkehrenden Ereignisses in der Art eines Urlaubs oder eines periodischen Ereignisses in der Art von Wochentagsroutinen/Wochenendroutinen zeitlich driften könnte, schlagen wir eine rekursive Repräsentation der Benutzereinbettung durch Berücksichtigen der Verzögerung der früheren Verhaltensweisen und der beobachteten aktuellen Verhaltensweisen vor. Es sei Ut die auf der Grundlage historischer Benutzerverhaltensweisen R_t:t0~t0+Δt ausgehend vom Zeitstempel t₀ bis t berechnete Benutzereinbettung. Die vorhergesagte Benutzereinbettung zur Zeit t+Δt kann folgendermaßen berechnet werden: $U_{t + Δ t}^{*} = α * U_{t}^{*} + (1 - α) * U_{t + Δ t}$
wobei $U_{t}^{*}$
der Vorhersagewert ist und U_t+Δt der Beobachtungswert ist.
Wir haben in einem Experiment den Einsatz des vorgeschlagenen Modells für eine Fahrtmuster-Vorhersageaufgabe untersucht, welche vorhersagt, welchen Ort ein Benutzer angesichts seiner Fahrtvorgeschichte zu einer bestimmten Zeit besuchen wird. Der Datensatz weist eine Benutzerortverfolgung einschließlich des Fahrens auf. Rohmerkmale des Experiments weisen beispielsweise <Benutzerkennung, Orts_GPS_Gitter_Kennung, Zeitstempel>, 100 Benutzer, 1578 Orte über ein 200 m × 200 m-Gitter durch Kartensegmentierung über einen 6-Monats-Zeitraum auf. Für die Aufgabe nehmen wir an, dass eine Benutzerinteraktion für den Benutzer u die Folgende ist:
I_u = { (Besuchen des Orts i₀ zur Zeit t₀) ,..., (Besuchen des Orts i_T zur Zeit t_T)}, wobei wir die ersten k von I_u verwenden, um den k+1-ten Besuch im Trainingssatz vorherzusagen, wobei die Daten sowohl Ortsinformationen i als auch Zeitstempelinformationen t für den Besuch enthalten, und die ersten n-1 Besuche verwenden, um den letzten des Testsatzes vorherzusagen. Wir haben die Top-1-Best-Übereinstimmungsgenauigkeit angewendet, die weit verbreitet in Empfehlungssystemen für die Messung der Leistungsfähigkeit verwendet wird. Demgegenüber wurden die Parameteranzahl und die Antwortzeit mitgeteilt, um die Skalierbarkeit anzugeben. Wir haben unser Modell auch im Online-Lernfall für die Zwecke eines verteilten Trainings beurteilt.

Wir haben die Modellleistungsfähigkeit auf der Grundlage verschiedener Trainingsszenarien (online oder offline) mit Vergleichswerten beurteilt und beurteilt, ob ein Übertragungslernen möglich ist. Die Vorhersagegenauigkeit und die Antwortzeit werden beide am selben Testsatz über alle indexierten Modelle beurteilt. Die Ergebnisse sind in der folgenden Tabelle 1 dargestellt. Tabelle 1

Index	Online-Lernen	Übertragungslernen	Trainingsdaten	Modell	Vorhersagegenauigkeit (Top-1-Matching)	Trainierbare Parameter	Antwortzeit (Sekunde /100 Benutzer)
1	N	N	6-Monats-Daten	Baseline	0,81	324590	2,445
2	N	J	6-Monats-Daten	Vortrainierte Baseline + LSTM	0,83	456174	0,309
3	J	J	Erste 5-	Vor-	0,85	456174	0,309
			Monats-Daten für Offline-Training, Letzte 1-Monats-Daten für Online-Training	trainierte Baseline + LSTM
4	N	J	Letzte 1-Monats-Daten	Vortrainierte Baseline + LSTM	0,78	456174	0,309

Wie in Tabelle 1 dargestellt ist, zeigt das Ergebnis des Index 3, wenn sowohl ein Online-Lernen als auch ein Übertragungslernen ermöglicht sind, dass unser vorgeschlagener Algorithmus die Vorhersage verbessert und die Antwortzeit stark verringert.
4 zeigt eine beispielhafte Verbreiterung von Datenpunkten für Benutzer i, j und k, wobei Benutzer j Benutzer i am ähnlichsten ist und Benutzer k Benutzer i am wenigsten ähnlich ist. Wir haben die gelernte Einbettung von 100 Benutzern untersucht. Zuerst haben wir die paarweise Ähnlichkeit d zwischen Benutzern durch Messung des euklidischen Abstands berechnet. Als zweites haben wir die 100 Einbettungsvektoren durch eine Dimensionsverringerung durch Hauptkomponentenanalyse visualisiert. Wir haben den i-ten Benutzer als Beispiel für die Darstellung ausgewählt. Für Benutzer i haben wir auf der Grundlage der folgenden Gleichung den Benutzer j, der den ähnlichsten Benutzer repräsentiert, und den Benutzer k, der den am stärksten verschiedenen Benutzer repräsentiert, herausgefunden: $j = \underset{j}{a r g m i n (d_{i j})}; k = \underset{k}{a r g m a x (d_{i k})},$
wobei die Datenpunkte der Benutzer i, j und k in 4 dargestellt sind. Die Verteilung von Punkten ist mit der Abstandsmessung konsistent, bei der sich Benutzer i und Benutzer j am stärksten überlappen, während sich Benutzer k in einem fernen Bereich befindet.
5 zeigt das Rohaktivitätsprotokoll für die Benutzer i, j und k entsprechend 4. Die x-Achse repräsentiert den Fahrtzeitstempel, während die y-Achse die besuchten Orte zeigt, die zur Veranschaulichung auf 0 und 1 reindexiert worden sind. Sobald der Benutzer den Ort geändert hat, wechselte der Index vom aktuellen zu einem anderen. Dies zeigt, dass die Benutzereinbettung mit der Beobachtung der Benutzerähnlichkeit konsistent ist.
6 zeigt eine beispielhafte Ausführungsform eines Verfahrens gemäß der vorliegenden Erfindung. In Schritt S601 werden eine Benutzerverhaltensmatrix veränderlicher Länge und ein Zielverhaltensvektor empfangen. In Schritt S602 wird die Benutzerverhaltensmatrix veränderlicher Länge in einen Einbettungsvektor fester Länge umgewandelt. Die Benutzereinbettung wird in Schritt S603 auf der Grundlage des Einbettungsvektors fester Länge vorhergesagt, und in Schritt S604 wird das Zielverhalten mit dem tatsächlichen Verhalten verglichen, um den Verlust (Fehler) in der Vorhersage zu bestimmen. Das Zielverhalten kann dann in Schritt S605 an den Benutzer ausgegeben werden und/oder rekursiv erneut bestimmt werden.
7 zeigt ein schematisches Blockdiagramm eines Systems gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Das System kann beispielsweise ein Fahrzeug 700, einen Modellierungsserver 710, eine mobile Vorrichtung 720 und einen Cloudspeicher 730 aufweisen. Jede dieser Vorrichtungen hat ihren eigenen Prozessor und ihren eigenen Speicher und eine oder mehrere Kommunikationsschnittstellen, wobei die Prozessoren spezifisch programmiert werden, um die hier beschriebenen Funktionen auszuführen. Telemetriedaten und dergleichen können vom Fahrzeug 700 und von der mobilen Vorrichtung 720 empfangen werden. Die mobile Vorrichtung 720 kann ein Smartphone, ein Tabletcomputer oder dergleichen sein. Die Kommunikation zwischen dem Modellierungsserver und dem Fahrzeug/der mobilen Vorrichtung kann durch ein zellenbasiertes Netz, WiFi, Bluetooth oder dergleichen geschehen. Vom Fahrzeug 700 und von der mobilen Vorrichtung 720 gesammelte Daten können zum Modellierungsserver 710 oder direkt zum Cloudspeicher 730 gesendet werden.
Gemäß einer anderen beispielhaften Ausführungsform der vorliegenden Erfindung wird ein nichtflüchtiges computerlesbares Medium mit einem Computerprogramm codiert, das das vorstehend beschriebene Verfahren ausführt. Übliche Formen nichtflüchtiger computerlesbarer Medien umfassen beispielsweise eine Diskette, eine flexible Scheibe, eine Festplatte, ein Magnetband oder ein anderes magnetisches Medium, eine CD-ROM, ein anderes optisches Medium, Lochkarten, Papierband, ein anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen Flash-EPROM, einen anderen Speicherchip oder eine andere Kassette oder ein anderes Medium, von dem ein Computer lesen kann.
Die vorliegende Erfindung stellt eine Anzahl erheblicher Vorteile gegenüber herkömmlichen Systemen und Verfahren bereit. Insbesondere stellt die vorliegende Erfindung ein vereinheitlichtes algorithmisches Framework für die Benutzermodellierung auf der Grundlage des Benutzerverhaltens bereit, das erweitert werden kann, so dass es Merkmale in Bezug auf verschiedene Dienste annehmen kann. Der Benutzer kann flexibel für verschiedene durch das Benutzerverhalten getriebene Aufgaben trainiert werden, beispielsweise auf ein durch das Mobilitätsverhalten getriebenes vorhergesagtes Ziel, ein durch das App-Verwendungsverhalten empfohlenes Merkmal usw. Die Semantiken werden für Benutzer angereichert, was eine Berechnung zwischen Benutzern ermöglicht, beispielsweise Benutzersegmentierung, Benutzerähnlichkeit auf der Grundlage von Empfehlungen und Vorhersagemodellierung.
Auch weisen das System und das Verfahren gemäß der vorliegenden Erfindung eine geringe Komplexität auf, wodurch die Dienst-Online-Berechnung infolge einer kompakten Benutzermodellierung verbessert wird und die Benutzererfahrung durch Ausnutzen persönlichen Kontexts, um eine bessere Vorhersageleistung zu erzielen, verbessert wird. Die vorliegende Erfindung stellt auch eine Lösung für die Datenknappheit bereit. Zusätzlich ermöglicht die vorliegende Erfindung ein Übertragungslernen und ein Online-Lernen. Das vortrainierte Modell kann dabei helfen, das zuvor gelernte Wissen zu übertragen und die Rechenzeit stark zu verringern. Demgegenüber ermöglicht das Online-Lernen, dass das verteilte Training die Rechenskalierbarkeit behandelt, um den Datensatz großen Umfangs in realen Anwendungen zu adressieren.
Die vorstehende Offenbarung wurde lediglich dargelegt, um die Erfindung zu erläutern, und sie ist nicht als einschränkend auszulegen. Weil Fachleuten Modifikationen der offenbarten Ausführungsformen einfallen können, welche den Grundgedanken und die Substanz der Erfindung aufweisen, sollte die Erfindung als alles einschließend ausgelegt werden, das innerhalb des Schutzumfangs der anliegenden Ansprüche und gleichwertiger Ausgestaltungen davon liegt.

Claims

Verfahren zur Ausführung einer tiefen Benutzermodellierung, welches Folgendes umfasst: Bestimmen von Benutzerverhaltensvektoren, die historische Benutzerverhaltensweisen eines Benutzers repräsentieren, Bestimmen einer Benutzerverhaltensmatrix veränderlicher Länge auf der Grundlage einer Verkettung der Benutzerverhaltensvektoren, Umwandeln der Benutzerverhaltensmatrix veränderlicher Länge in einen Einbettungsvektor fester Länge durch ein Long-Short-Term-Memory-Netz und Ausgeben des Einbettungsvektors fester Länge an den Benutzer als vorhergesagtes Zielverhalten.
Verfahren nach Anspruch 1, welches ferner Folgendes umfasst: Aktualisieren der Benutzerverhaltensmatrix veränderlicher Länge auf der Grundlage des vorhergesagten Zielverhaltens.
Verfahren nach Anspruch 1, welches ferner Folgendes umfasst: Leiten des Benutzers zu einem vorhergesagten Bestimmungsort in einem Fahrzeug auf der Grundlage des vorhergesagten Zielverhaltens.
Verfahren nach Anspruch 1, wobei der Einbettungsvektor fester Länge ein Benutzerprofil repräsentiert.
Verfahren nach Anspruch 1, welches ferner Folgendes umfasst: Bestimmen eines Fehlers zwischen dem vorhergesagten Zielverhalten und einem tatsächlichen Benutzerverhalten.
Verfahren nach Anspruch 5, welches ferner Folgendes umfasst: Aktualisieren der Benutzerverhaltensvektoren auf der Grundlage des Fehlers.
Verfahren zur Modellierung des Verhaltens eines Benutzers, welches Folgendes umfasst: Empfangen von Benutzereigenschaftsdaten eines Benutzers, Transformieren der Benutzereigenschaftsdaten in Benutzerverhaltensdaten auf der Grundlage eines Attention-basierten Frameworks, Transformieren der Benutzerverhaltensdaten in ein vorhergesagtes Ziel des Benutzerverhaltens auf der Grundlage einer Long-Short-Term-Memory-Verarbeitung der Benutzerverhaltensdaten und Ausgeben des vorhergesagten Ziels an eine mobile Vorrichtung oder ein Fahrzeug des Benutzers.
Verfahren nach Anspruch 7, welches ferner Folgendes umfasst: Bestimmen eines Fehlers zwischen dem vorhergesagten Ziel und einem tatsächlichen Benutzerverhalten.
Verfahren nach Anspruch 8, welches ferner Folgendes umfasst: Aktualisieren der Benutzerverhaltensdaten auf der Grundlage des Fehlers.
Nichtflüchtiges computerlesbares Medium, das ein Programm speichert, das, wenn es durch einen Prozessor ausgeführt wird, den Prozessor veranlasst, ein Verfahren auszuführen, welches Folgendes umfasst: Bestimmen von Benutzerverhaltensvektoren, die historische Benutzerverhaltensweisen eines Benutzers repräsentieren, Bestimmen einer Benutzerverhaltensmatrix veränderlicher Länge auf der Grundlage einer Verkettung der Benutzerverhaltensvektoren, Umwandeln der Benutzerverhaltensmatrix veränderlicher Länge in einen Einbettungsvektor fester Länge durch ein Long-Short-Term-Memory-Netz und Ausgeben des Einbettungsvektors fester Länge an den Benutzer als vorhergesagtes Zielverhalten.
Nichtflüchtiges computerlesbares Medium nach Anspruch 10, welches ferner Folgendes umfasst: Aktualisieren der Benutzerverhaltensmatrix veränderlicher Länge auf der Grundlage des vorhergesagten Zielverhaltens.
Nichtflüchtiges computerlesbares Medium nach Anspruch 10, welches ferner Folgendes umfasst: Leiten des Benutzers zu einem vorhergesagten Bestimmungsort in einem Fahrzeug auf der Grundlage des vorhergesagten Zielverhaltens.
Nichtflüchtiges computerlesbares Medium nach Anspruch 10, wobei der Einbettungsvektor fester Länge ein Benutzerprofil repräsentiert.
Nichtflüchtiges computerlesbares Medium nach Anspruch 10, welches ferner Folgendes umfasst: Bestimmen eines Fehlers zwischen dem vorhergesagten Zielverhalten und einem tatsächlichen Benutzerverhalten.
Nichtflüchtiges computerlesbares Medium nach Anspruch 14, welches ferner Folgendes umfasst: Aktualisieren der Benutzerverhaltensvektoren auf der Grundlage des Fehlers.