DE112020003033T5 - Verfahren und Vorrichtung zum Verbessern einer Geolokalisierungsdatenbank - Google Patents

Verfahren und Vorrichtung zum Verbessern einer Geolokalisierungsdatenbank Download PDF

Info

Publication number
DE112020003033T5
DE112020003033T5 DE112020003033.4T DE112020003033T DE112020003033T5 DE 112020003033 T5 DE112020003033 T5 DE 112020003033T5 DE 112020003033 T DE112020003033 T DE 112020003033T DE 112020003033 T5 DE112020003033 T5 DE 112020003033T5
Authority
DE
Germany
Prior art keywords
user
interest
geolocation database
location
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020003033.4T
Other languages
English (en)
Inventor
Nils Lenke
Mohammad Mehdi Moniri
Reimund Schmald
Daniel Kindermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cerence Operating Co
Original Assignee
Cerence Operating Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cerence Operating Co filed Critical Cerence Operating Co
Publication of DE112020003033T5 publication Critical patent/DE112020003033T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map

Abstract

Zusammenfassung: Während aktuelle Sprachassistenten auf Sprachanfragen antworten können, ist es wünschenswert, intelligentere Assistenten zu bilden, die Standort, vergangene Anfragen und Benutzerdaten nutzen, um Antworten auf zukünftige Anfragen zu erweitern und robuste Daten über Standorte bereitzustellen. Ein Verfahren zum Verbessern einer Geolokalisierungsdatenbank („Datenbank‟) assoziiert ein benutzereingeleitetes Auslöseereignis mit einem Standort in einer Datenbank, indem die Position und Orientierung des Benutzers innerhalb des Fahrzeugs und eine Position und Orientierung des Fahrzeugs erfasst werden. Das Auslöseereignis wird von innerhalb eines Fahrzeugs bezüglich des Benutzers angeordneten Sensoren erkannt. Das Verfahren bestimmt einen Ort von Interesse („POI“) in der Nähe des Standorts basierend auf dem benutzereingeleiteten Auslöseereignis. Als Reaktion auf das benutzereingeleitete Auslöseereignis aktualisiert das Verfahren die Datenbank basierend auf Informationen bezüglich des benutzereingeleiteten Auslöseereignisses an einem Eintrag der Datenbank, der mit dem POI assoziiert ist. Die Datenbank und die Sprachassistenten können die verbesserten Daten zum POI für zukünftige Anfragen nutzen.

Description

  • HINTERGRUND
  • Sprachbasierte computerimplementierte Assistenten existieren derzeit in vielen Verbraucher-Smartphones, und viele Fahrzeuge sind entweder mit einem unabhängigen sprachbasierten Assistenten ausgestattet oder verbinden sich mit dem integrierten sprachbasierten Assistenten des Smartphones. Diese sprachbasierten Assistenten können eine Sprachanfrage des Benutzers aufzeichnen, die Anfrage mit natürlichem Sprachverständnis verarbeiten und eine Antwort bereitstellen, wie einen Telefonanruf einleiten oder eine Textnachricht transkribieren und senden. Smartphone-Sprachassistenten können ferner Internetsuchen durchführen, Anwendungen starten und bestimmte vom Sprachassistenten zugelassene Aufgaben starten.
  • ZUSAMMENFASSUNG
  • In einer Ausführungsform beinhaltet ein computerimplementiertes Verfahren zum Verbessern einer Geolokalisierungsdatenbank das Assoziieren eines benutzereingeleiteten Auslöseereignisses mit einem Standort in einer Geolokalisierungsdatenbank durch Erfassen einer Position und Orientierung (oder Ausrichtung) des Benutzers innerhalb des Transportfahrzeugs und einer Position und Orientierung des Transportfahrzeugs. Das Auslöseereignis wird von einem oder mehreren Sensoren erkannt, die innerhalb eines Transportfahrzeugs bezüglich des Benutzers angeordnet sind. Das Verfahren beinhaltet ferner das Bestimmen eines Orts von Interesse, wobei der Ort von Interesse aus mehreren Darstellungen von Orten von Interesse besteht, die in einer Geolokalisierungsdatenbank in der Nähe des Standorts basierend auf dem benutzereingeleiteten Auslöseereignis gespeichert sind. Das Verfahren beinhaltet ferner als Reaktion auf das benutzereingeleitete Auslöseereignis das Aktualisieren der Geolokalisierungsdatenbank basierend auf Informationen in Bezug auf das benutzereingeleitete Auslöseereignis am Eintrag der Geolokalisierungsdatenbank, die mit dem Ort von Interesse assoziiert ist.
  • In einer Ausführungsform beinhaltet das Verfahren ferner das Erkennen des benutzereingeleiteten Auslöseereignisses durch das Transportfahrzeug durch das Erkennen einer Benutzeremotion, eines Benutzerblicks, einer Benutzeranfrage, eines Benutzerbesuchs an dem Standort oder einer Benutzerhintergrundsprache. In einer weiteren Ausführungsform beinhaltet das Verfahren als Reaktion auf das Erkennen des benutzereingeleiteten Auslöseereignisses durch das Erkennen des Benutzerbesuchs an dem Standort das Erkennen eines Abschlusses des Benutzerbesuchs und das Anfordern von Benutzerrückmeldung über den Ort von Interesse nach dem Benutzerbesuch. Das Aktualisieren der Geolokalisierungsdatenbank kann das Hinzufügen der Rückmeldung des Benutzers zum Eintrag beinhalten. In einer weiteren Ausführungsform beinhaltet das Verfahren das Korrelieren einer Richtung des Benutzerblicks mit dem Ort von Interesse in der Nähe des Standorts und das Aktualisieren eines Eintrags der Geolokalisierungsdatenbank durch Hinzufügen einer Angabe, dass der Benutzer den Ort von Interesse betrachtet hat. In noch einer anderen Ausführungsform beinhaltet das Verfahren das Assoziieren einer emotionalen Kategorie basierend auf der erkannten Hintergrundsprache des Benutzers mit dem Standort, In einer noch weiteren Ausführungsform beinhaltet das Verfahren das Assoziieren der Benutzeranfrage mit dem Ort von Interesse.
  • In einer Ausführungsform beinhaltet das Verfahren das Empfehlen eines Orts von Interesse unter Verwendung der aktualisierten Geolokalisierungsdatenbank.
  • In einer Ausführungsform beinhaltet das Verfahren ferner das Empfehlen einer Route an den Benutzer unter Verwendung der aktualisierten Standortdatenbank. In einer weiteren Ausführungsform beinhaltet das Verfahren das Assoziieren mehrerer benutzereingeleiteten Auslöseereignisse, die von mehreren anderen Transportfahrzeugen erkannt wurden, mit jeweiligen Standorten in einer Geolokalisierungsdatenbank. Das Verfahren beinhaltet ferner das Aktualisieren der Geolokalisierungsdatenbank, das das Aktualisieren von Echtzeitstandorten von Objekten beinhaltet, die mit den mehreren anderen Transportfahrzeugen assoziiert sind. In noch einer weiteren Ausführungsform beinhaltet das Verfahren, dass das Empfehlen der Route an den Benutzer ferner das Abfragen der aktualisierten Standortdatenbank in Echtzeit und das Bestimmen von Geschwindigkeiten von Objekten beinhaltet, die mit den mehreren anderen Transportfahrzeugen assoziiert sind, die in der Geolokalisierungsdatenbank gemeldet sind.
  • In einer Ausführungsform beinhaltet ein System zum Verbessern einer Geolokalisierungsdatenbank einen oder mehrere Sensoren, die innerhalb eines Transportfahrzeugs in Bezug auf einen Benutzer des Transportfahrzeugs angeordnet sind. Das System beinhaltet ferner einen Prozessor und einen Speicher mit darauf gespeicherten Anweisungen, sodass, wenn die Anweisungen durch den Prozessor ausgeführt werden, der Prozessor die folgenden Aktionen durchführt. Der Prozessor assoziiert ein durch den einen oder die mehreren Sensoren erkanntes benutzereingeleitetes Auslöseereignis mit einer Darstellung eines geografischen Standorts in einem Eintrag einer Geolokalisierungsdatenbank, indem er eine Position und Orientierung des Benutzers innerhalb des Transportfahrzeugs und eine Position und Orientierung des Transportfahrzeugs erfasst. Der Prozessor bestimmt einen Ort von Interesse, wobei der Ort von Interesse aus mehreren Darstellungen von Orten von Interesse besteht, die in der Geolokalisierungsdatenbank in der Nähe des Standorts basierend auf dem benutzereingeleiteten Auslöseereignis gespeichert sind. Der Prozessor aktualisiert als Reaktion auf das benutzereingeleitete Auslöseereignis die Geolokalisierungsdatenbank basierend auf Informationen in Bezug auf das benutzereingeleitete Auslöseereignis am Eintrag der Geolokalisierungsdatenbank, die mit dem Ort von Interesse assoziiert ist.
  • In einer Ausführungsform können Schlüssel für die Geolokalisierungsdatenbank das benutzereingeleitete Auslöseereignis, einen Standort, eine Position des Benutzers, eine Orientierung des Benutzers, eine kombinierte Position und Orientierung eines Benutzers oder mehrerer Benutzer beinhalten.
  • In einer Ausführungsform aktualisiert ein nachfolgendes benutzereingeleitetes Auslöseereignis die Geolokalisierungsdatenbank weiter, indem Informationen bezüglich des nachfolgenden benutzereingeleiteten Auslöseereignisses an den Eintrag der Geolokalisierungsdatenbank angehängt werden.
  • Figurenliste
  • Das Vorstehende wird aus der folgenden bestimmteren Beschreibung beispielhafter Ausführungsformen, wie in den beigefügten Zeichnungen veranschaulicht, in denen sich gleiche Bezugszeichen in allen unterschiedlichen Ansichten auf dieselben Teile beziehen, ersichtlich. Die Zeichnungen sind nicht notwendigerweise maßstabsgetreu, stattdessen liegt der Schwerpunkt auf der Veranschaulichung von Ausführungsformen.
    • 1A ist eine grafische Darstellung auf hoher Ebene, die eine Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • 1B ist eine grafische Darstellung, die eine beispielhafte Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • 2 ist eine grafische Darstellung, die eine beispielhafte Ausführungsform eines Fahrzeugs veranschaulicht, das in Ausführungsformen der vorliegenden Offenbarung verwendet wird.
    • 3 ist ein Blockdiagramm, das eine beispielhafte Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • 4 ist ein Flussdiagramm, das eine beispielhafte Ausführungsform eines Verfahrens veranschaulicht, das von der vorliegenden Offenbarung eingesetzt wird.
    • 5 ist eine grafische Darstellung, die eine durch eine beispielhafte Ausführungsform der vorliegenden Offenbarung erzeugte Wärmekarte veranschaulicht.
    • 6 veranschaulicht ein Computernetzwerk oder eine ähnliche digitale Verarbeitungsumgebung, in der Ausführungsformen der vorliegenden Erfindung implementiert werden können.
    • 7 ist eine grafische Darstellung einer beispielhaften internen Struktur eines Computers (z. B. Client-Prozessor/Vorrichtung oder Server-Computer) in dem Computersystem von 6.
  • DETAILLIERTE BESCHREIBUNG
  • Es folgt eine Beschreibung von beispielhaften Ausführungsformen.
  • Mit der weit verbreiteten Akzeptanz sprachbasierter Assistenten in Telefonen, Fahrzeugen und anderen Vorrichtungen sprechen die Menschen zunehmend mit diesen sprachbasierten Assistenten. Während aktuelle Sprachassistenten für einige Abfragen auf Geolokalisierung angewiesen sind, können sowohl sprachbasierte Assistenten als auch Geolokalisierungsdatenbanken verbessert werden, indem verfügbare Informationen des Benutzers wie der Sprachton und -inhalt des Benutzers, der emotionale Zustand des Benutzers und sogar die Richtung, in die der Benutzer in Verbindung mit dem Ort von Interesse schaut, besser genutzt werden. In einer Ausführungsform beschreibt die vorliegende Offenbarung computerimplementierte Verfahren und Systeme zum Verwenden von Sprach- und anderen Fahrzeugsensoren, um Daten über die Umgebung zu lernen.
  • 1A ist eine grafische Darstellung 100 auf hoher Ebene, die eine Ausführungsform der vorliegenden Offenbarung veranschaulicht. Ein Fahrzeug 102 ist dazu konfiguriert, ein Auslöseereignis 108 zu erkennen, das an eine Geolokalisierungsdatenbank 114 gemeldet wird. Das Auslöseereignis 108 beinhaltet eine Fahrzeuggeolokalisierung und -orientierung 110, eine Benutzerposition und -orientierung 112 und andere Benutzerinformationen 111. Das Auslöseereignis 108 ist eine erkannte Änderung in Bezug auf das Fahrzeug, seine Insassen oder beides, die, wenn sie aufgezeichnet wird, eine Geolokalisierungsdatenbank verbessern kann. Auslöseereignisse können eine Sprachabfrage, eine Sprachabfrage mit Emotion, einen Blick eines Benutzers, eine Geste eines Benutzers, eine visuelle Emotion eines Benutzers, Fahrzeuggeschwindigkeits- und Orientierungsinformationen und erkannte Standorte, Geschwindigkeiten, Orientierung und Vektoren anderer Fahrzeuge beinhalten.
  • Die Fahrzeuggeolokalisierung und -orientierung 110 beinhaltet zunächst den Standort des Fahrzeugs, wie er durch ein globales Positionierungssystem (GPS) oder ein anderes Standortbestimmungssystem (z. B. Landmarkenerkennung, Trägheitspositionserkennung usw.) bestimmt wird. Die Orientierung des Fahrzeugs kann beispielsweise durch einen Verlauf von Fahrzeugstandorten, eine Trägheitsmesseinheit (IMU), einen Kompass oder andere Verfahren bestimmt werden. Die Benutzerposition und -orientierung 112 misst ferner die Position des Benutzers im Fahrzeug und die Orientierung des Benutzers relativ zur Richtung des Fahrzeugs unter Verwendung von Kameras (z. B. herkömmliche Kameras oder Stereokameras). In einer Ausführungsform kann eine standort- und orientierungsfähige Kamera zur Blickerkennung dazu verwendet werden, zu sehen, auf welchen Ort von Interesse die Personen entweder innerhalb oder außerhalb des Fahrzeugs achten. In einer Ausführungsform können Blickinformationen auf einen nahegelegenen Standort angewendet werden. Der Blick kann aus der Benutzerposition und - orientierung 112 und der Fahrzeuggeolokalisierung und -orientierung 110 des Auslöseereignisses 108 bestimmt werden. In Ausführungsformen kann die Benutzerposition als eine Position innerhalb des Autos ausgedrückt werden, wie ein Sitz innerhalb des Autos, oder sogar eine spezifische planare (z. B. X-Y) Position oder dreidimensionale Position (z. B. X-Y-Z). Die Orientierungsinformationen können eine Neigung des Körpers und des Kopfes des Benutzers ausdrücken. Blickinformationen können mit derartigen Orientierungsinformationen kombiniert werden, um einen Sichtlinienwinkel für jeden einzelnen Fahrgast relativ zum Fahrzeug bereitzustellen. Das Kombinieren eines derartigen Winkels und einer derartigen Position des Benutzers innerhalb des Autos mit der Fahrzeuggeolokalisierung und -orientierung 110 und einem 2D- oder 3D-Modell der Umgebung kann dazu verwendet werden, das Objekt oder die Objekte zu bestimmen, auf die der Benutzer schaut.
  • Bei der Interaktion mit sprachbasierten Assistenten geben Benutzer über ihr Denken und ihren emotionalen Zustand Auskunft. Benutzer stellen ebenso Informationen über den Zustand der sie umgebenden Welt bereit wie etwa Orte von Interesse (POI), Objekte, Orientierungspunkte oder Verkehr in der Nähe des Benutzers oder des Benutzerfahrzeugs 102. Derartige Informationen können als andere Benutzerinformationen 111 eines Auslöseereignisses 108 enthalten sein. Wenn beispielsweise ein Benutzer, der ein Fahrzeug fährt, den sprachbasierten Assistenten nach Restaurants in der Nähe des Fahrzeugs fragt, präsentiert der sprachbasierte Assistent eine Liste von Restaurantoptionen. Wenn der Benutzer dann eine Option aus der Liste auswählt, enthält diese Auswahl implizite Informationen über die Präferenz des Benutzers für seine oder ihre Auswahl gegenüber den anderen Optionen in der Liste. Ferner kann der Benutzer nach dem Besuch eine explizite Bewertung des Restaurants bereitstellen und explizite Aussagen zu dessen Qualität machen usw. Der sprachbasierte Assistent kann den Benutzer proaktiv einladen, eine derartige Bewertung bereitzustellen. Ein Ort von Interesse ist ein Standort, den ein Benutzer nützlich finden kann oder den eine Geolokalisierungsdatenbank hervorheben kann. Eine nicht einschränkende Liste von Beispielen für Orten von Interesse sind ein Geschäft (z. B. Tankstelle, Restaurant oder Firmengebäude), ein Wohngebäude, ein Orientierungspunkt, eine Straße, Autobahn, Kreuzung, ein Baugebiet, eine Naturlandschaft (z. B. das Feld mit den gelben Blumen) oder ein geografischer Orientierungspunkt (z. B. Berg, Fluss, Weg usw.).
  • Ferner kann die Emotionserkennungstechnologie Emotionen aus Sprachsignalen, aus visuellen Informationen (z. B. Bildern oder Videos) des Gesichts eines Benutzers oder aus anderen Sensordaten erkennen. Emotionen können aus Sprachsignalen oder Sprache basierend auf der Art (z. B. Ton, Lautstärke, verwendete Wörter) der Sprache des/der aufgezeichneten Benutzer(s) erkannt werden. Eine Kamera kann Emotionen aus aufgezeichneten Gesichtsausdrücken erkennen. Wenn das System und das Verfahren des Anmelders eine Benutzeremotion bestimmen, kann das System die Emotion auf einen relevanten Standort in der Nähe anwenden (z. B. Orientierungspunkt, Ort von Interesse oder GPS-Standort/-Reichweite). Emotionsinformationen können ebenso als andere Benutzerinformationen 111 des Auslöseereignisses 108 enthalten sein.
  • In der Ausführungsform, bei der sich ein Benutzer in einem Fahrzeug befindet, können die gesammelten Informationen über den Benutzer mit Objekten in der Nähe des Fahrzeugs verknüpft werden, da Fahrzeugstandorte über globale Positionierungssysteme (GPS) und Navigationssysteme bekannt sein können. Das Fahrzeug kann ferner über Direktverbindungen oder über Tethering mit dem Mobiltelefon eines Benutzers mit dem Internet verbunden werden. Daher kann eine auf Geolokalisierung basierende Datenbank eines Gebiets mit den Informationen verbessert werden, die von einem oder mehreren Fahrzeugen/Benutzern empfangen werden. Das erweiterte und verbesserte Geolokalisierungsmodell kann dann dazu verwendet werden, der Gruppe von Benutzern eine bessere Dienstleistung bereitzustellen. In einem anderen Beispiel kann das Sammeln von Informationen über Fahrer, die an bestimmten Straßenpassagen häufiger mit dem Fahrzeuginfotainmentsystem interagieren, darauf hinweisen, dass auf diesen Straßenpassagen weniger Attraktionen zu sehen sind. In einem anderen Beispiel kann ein Benutzer, der Fahrzeug- oder andere Vorrichtungssteuerungen einstellt, rote Ampeln mit einer langen Wartezeit anzeigen.
  • In einer Ausführungsform bestimmt ein Sprachassistent des Fahrzeugs 102, dass der Fahrer gerade einen Ort von Interesse (POI) wie ein Restaurant (z. B. ein Restaurant) besucht hat, weil der Benutzer zuvor nach diesem POI gefragt hatte und das Fahrzeug in der Umgebung (z. B. einem variablen Radius basierend auf Bevölkerungsdichte/erkanntem Verkehr/Parkplatzverfügbarkeit) des POI für eine Zeitdauer über einer Schwelle (z. B. einer vorhergesagten Zeit zum Besuch des POI) geparkt war. Eine derartige Sequenz kann ein Auslöseereignis 108 sein. Der Sprachassistent des Fahrzeugs beginnt proaktiv ein Gespräch, in dem er um eine Bewertung und weitere Informationen zu diesem POI bittet. Der Sprachassistent kann entweder eine strukturierte Liste von Feldern (z. B. einen Formularausfülldialog) für Felder wie Gesamteindruck, Qualität des Essens, Service usw. anfordern und die Antworten in eine objektive Bewertung (z. B. 1-5 Sterne) übersetzen. Der Sprachassistent kann ebenso eine Beschreibung der Erfahrung in freier Form anfordern und diese unter Verwendung von Empfindungserkennung aus der Sprache (z. B. basierend auf Inhalten) in ein Gefühl übersetzen. Der Sprachassistent kann ebenso die gesamte Beschreibung als Text- oder als Sprachdatei speichern, um sie anderen als eine Bewertung vorzulesen/vorzuspielen. Die Informationen der Umfrage können als andere Benutzerinformationen 111 des Auslöseereignisses 108 enthalten sein.
  • Die bereitgestellten Informationen (z. B. andere Benutzerinformationen 111) werden über die Datenverbindung an die verbesserte Geolokalisierungsdatenbank weitergeleitet und mit dem POI in der verbesserten Geolokalisierungsdatenbank verknüpft. Die verbesserte Geolokalisierungsdatenbank aggregiert Bewertungsinformationen. Individuelle Kommentare (z. B. Textkommentare oder Sprachkommentare) werden unverändert gespeichert und für andere Benutzer abgerufen (z. B. von den neuesten, hilfreichsten usw.).
  • Wenn ein Benutzer eine Frage zu einem Ort von Interesse stellt, kann das System diese Frage/Abfrage als einen Faktor verwenden, dass der POI für den Benutzer interessant ist. Das System empfängt jede Anfrage als andere Benutzerinformation 111 eines Auslöseereignisses. Das System kann diese Abfragen aus den Auslöseereignissen 108 in der Geolokalisierungsdatenbank 114 in der Cloud zusammenfassen und Ränge von POI 106a-c durch Vergleichen der Anzahl von Fragen/Abfragen, die dazu gestellt wurden, erzeugen.
  • In einer Ausführungsform können alle durch die vorstehend beschriebenen Verfahren gesammelten und aggregierten Informationen dann dazu verwendet werden, Fahrer und Benutzer durch (a) Empfehlen von POI 106a-c basierend auf Bewertungen, die aus Stimmungen erzeugt wurden, (b) Empfehlen von interessanten Routen oder Routen durch Orte, die positive Gefühle erzeugen und stressige Orte vermeiden, zu unterstützen und (c) vor Verkehrsproblemen zu warnen und über interessante neue Funktionen zu informieren, die von anderen gemeldet wurden.
  • Das Auslöseereignis 108 wird in einer Geolokalisierungsdatenbank 114 gespeichert und durch den Fahrzeugstandort 104 indiziert. Auf diese Weise können andere Informationen, die in dem Auslöseereignis 108 108 enthalten sind, mit dem Fahrzeugstandort 104 assoziiert werden. Beispielsweise können die Stimmung eines Benutzers, die Blickposition, die Identifizierung eines Benutzers, der Sprachinhalt des Benutzers oder andere Benutzerinformationen 111 mit der Geolokalisierung in der Datenbank 114 assoziiert werden. Dies verbessert herkömmliche Geolokalisierungsdatenbanken, indem Standorte in Echtzeit mit Informationen assoziiert werden, die normalerweise nicht mit Geolokalisierungstags erfasst werden.
  • Typische Geolokalisierungsdatenbanken können Orte von Interesse, spezifische Arten von Vorfallberichten und Bewertungen von Orten von Interesse speichern. Derartige Datenbanken werden typischerweise nicht mit Echtzeitdaten ergänzt, die die Positionen des Benutzers in einem Fahrzeug, die physische Orientierung, Blickinformationen und Stimmungsinformationen darstellen, während der Benutzer durch verschiedene Standorte fährt. Derartige Daten, insbesondere in ihrer Gesamtheit, können besonders wertvoll sein, wenn sie in einer Geolokalisierungsdatenbank gespeichert werden, und können die Benutzererfahrung verbessern.
  • In einer Ausführungsform wird die verbesserte Geolokalisierungsdatenbank des Anmelders befähigt, um mehrere gleichzeitige Funktionen bereitzustellen. Die verbesserte Geolokalisierungsdatenbank ist ein Datenbanksystem, das verbesserte Metriken bereitstellt, die mit geografischen Standorten und Orten von Interesse assoziiert sind. Eine derartige Datenbank ermöglicht den Zugriff auf die Datenbank über das Nachschlagen von Standorten und Orten von Interesse als Schlüssel zum Anzeigen verbesserter Metriken, ermöglicht jedoch ebenso das Nachschlagen von Metriken, um Standorte zu bestimmen, die mit diesen Metriken übereinstimmen. Eine andere Anwendung der vorliegenden Offenbarung ist das Anpassen und Abrufen einer angepassten Datenbank (z. B. der verbesserten Datenbank) durch Erzählen und Durchführen eines Abrufens basierend auf benutzereingeleiteten Auslöseereignisinformationen. Die verbesserte Geolokalisierungsdatenbank des Anmelders löst das technische Problem der Erfassung von Metriken, die in Echtzeit auf die Geolokalisierung abgestimmt sind, und ermöglicht ebenso den Zugriff auf die aktualisierte Geolokalisierungsdatenbank in Echtzeit.
  • Ein Durchschnittsfachmann kann ferner erkennen, dass nach bestimmten Auslöseereignissen Metriken vom Transportfahrzeug erfasst werden können, um die Datenmenge, die übertragen wird, zu reduzieren. Beispielsweise kann das Transportfahrzeug Metriken senden, wenn die Pose des Benutzers (z. B. Position und Orientierung) bestimmte Kriterien erfüllt (z. B. eine Orientierung von mehr als 25 Grad von der Mitte). Durch das Filtern von Auslöseereignissen am Transportfahrzeug kann der Verkehr zur Geolokalisierungsdatenbank reduziert und die Leistung gesteigert werden. Ein Durchschnittsfachmann kann die gleichen Filterprinzipien auf Blickerkennung, Emotionserkennung, Fahrzeuggeschwindigkeitserkennung und andere hierin offenbarte Konzepte anwenden, um den Verkehr weiter zu filtern und die Leistung der Datenbank zu verbessern.
  • 1B ist eine grafische Darstellung 120, die eine beispielhafte Ausführungsform der vorliegenden Offenbarung veranschaulicht. Die Blickerkennung kann bestimmen, welche Objekte und POI außerhalb des Fahrzeugs die Aufmerksamkeit von Fahrer und Fahrgästen auf sich ziehen. Das System sendet Informationen über einen erkannten Blick 122 an die Cloud, wo sie in einer Geolokalisierungsdatenbank (z. B. der Geolokalisierungsdatenbank von 1A) aggregiert und verarbeitet werden. Das System kann ein Basislinienmodell der Richtungen relativ zum Fahrzeug erzeugen, in die Fahrer und Fahrgäste typischerweise schauen, während sie durch einen generisches Gebiet fahren (z. B. häufiger nach vorne als 90 Grad nach rechts) oder es setzt historische Daten für das fragliche Gebiet ein und berechnet, ob die Blickereignisse in einem bestimmten Zeitraum (z. B. letzter Tag oder letzte Woche) von diesem Modell oder historischen Daten abweichen. Das System kann dies dann einem bestimmten Objekt zuordnen (z. B. einer Ladenfront 124a-e, einer neuen Reklametafel 126 oder einer PR-Kampagne, die auf der Reklametafel 126 angezeigt wird). Die Blickerkennung kann ferner das Objekt des Blicks des Benutzers basierend auf dem GPS-Standort des Fahrzeugs, der Richtung des Fahrzeugs und der Richtung des erkannten Blicks des Benutzers triangulieren.
  • Wenn der Sprachassistent des Fahrzeugs bestimmt, dass der Fahrer einen POI (z. B. ein Restaurant) besucht, vergleicht der Assistent die Emotionserkennungsergebnisse von Fahrer- oder Fahrgastäußerungen zu einem beliebigen Thema, basierend auf der Sprechweise, vor und nach dem Besuch des POI und bestimmt eine Veränderung der Stimmung oder Emotion, entweder negativ oder positiv (z. B. durch Mitteln der Ergebnisse über eine konfigurierbare Zeitspanne). Mit anderen Worten kann das System die Stimmungsänderung der Insassen des Autos vor und nach einem Besuch eines POI berechnen.
  • In einer anderen Ausführungsform kann die Emotionsänderung basierend auf Gesichtsausdrücken erkannt werden. Die Emotionsänderung wird in der verbesserten Geolokalisierungsdatenbank über die Datenverbindung des Fahrzeugs als ein Indikator für positive oder negative Erfahrungen am POI erfasst. Die verbesserte Geolokalisierungsdatenbank aggregiert mehrere Änderungen der emotionalen Rückmeldung in einem Profil des POI, beispielsweise durch Vergleichen des Verhältnisses positiver und negativer Bewertungen mit dem durchschnittlichen Verhältnis positiver und negativer Änderungen über alle POI oder durch Erzeugen einer Bewertungsmetrik (z. 1-5 Sterne) basierend auf der aggregierten emotionalen Änderung. Durch die Verwendung großer Datensätze kann die verbesserte Geolokalisierungsdatenbank dazu verwendet werden, aufkommende Trends zu erkennen, und können zufällige Stimmungsschwankungen einzelner Fahrer bei isolierten Ereignissen statistisch verringert werden.
  • In einer Ausführungsform überwacht das Fahrzeug 102 die Position und Blickinformationen eines Benutzers und bestimmt den erkannten Blick 122. In Kombination mit GPS-Informationen identifiziert das System die Aufmerksamkeit des Benutzers, die der Ladenfront 124b aller Ladenfronten 124a-e in der Nähe des Fahrzeugs 102 geschenkt wird. Das System kann diese Informationen in der Geolokalisierungsdatenbank (in 1A gezeigt) speichern. In anderen Ausführungsformen kann das System den POI schätzen, den der Benutzer nach dem Parken des Fahrzeugs 102 besucht hat, und eine Änderung der Stimmung oder Einstellung basierend auf Emotionen schätzen, die durch visuelle oder akustische Mittel erkannt wurden.
  • 2 ist eine grafische Darstellung 200, die eine beispielhafte Ausführungsform eines Fahrzeugs 202 veranschaulicht, das in Ausführungsformen der vorliegenden Offenbarung verwendet wird. Wenn Kopfhaltungs- oder Blickerkennungsinformationen gleichzeitig mit den Sprachdaten verfolgt werden, können sprachlich oder visuell erkannte Emotionen POI zugeordnet werden. Das Fahrzeug 202 beinhaltet Kameras 204 und 208 (z. B. normale Kameras oder Stereokameras) und ein Mikrofonarray 206 und 210. Ein Durchschnittsfachmann kann erkennen, dass die Kameras 204 und 208 an verschiedenen Stellen innerhalb des Fahrzeugs 202 platziert werden können und nicht unbedingt wie in 2 gezeigt platziert werden müssen. Auf ähnliche Weise kann ein Durchschnittsfachmann erkennen, dass die Mikrofone 206 und 210 an verschiedenen Stellen innerhalb des Fahrzeugs 202 platziert werden können und nicht notwendigerweise wie in 2 gezeigt platziert werden müssen. Ein Durchschnittsfachmann kann ferner erkennen, dass in einer anderen Ausführungsform (nicht gezeigt) nur eine Kamera 204 oder 208 oder nur ein Mikrofon 206 und 210 vorhanden sein kann. Ein Durchschnittsfachmann kann ferner erkennen, dass mehr als zwei Kameras 204 oder 208 oder Mikrofone 206 oder 210 innerhalb des Fahrzeugs positioniert sein können (z. B. ein Array von Kameras beziehungsweise Mikrofonen).
  • Fahrgast 1 212 und Fahrgast 2 214 sitzen an entsprechenden Positionen innerhalb des Fahrzeugs 202. Die Kameras 204 und 204 sind dazu konfiguriert, die Benutzerposition, - orientierung und den Benutzerblick von Fahrgast 1 212 beziehungsweise Fahrgast 2 214 zu überwachen. Bei gegebener Benutzerposition, Orientierung und Blick jedes Fahrgastes 212 und 214 kann ein System die Blickrichtung relativ zum Fahrzeug berechnen. Das Kombinieren dieser Informationen mit Standortinformationen von einem GPS und einem 2D- oder 3D-Modell der Umgebung kann eine Schätzung bereitstellen, auf welchen Ort von Interesse der Benutzer blickt. In anderen Ausführungsformen kann die Stimmung des Benutzers visuell (z. B. bildbasierte Emotionserkennung) oder hörbar (z. B. Stimmungserkennung von Audioaufzeichnungen, Analyse des Inhalts der Sprache des Benutzers auf Stimmung) erkannt werden.
  • 3 ist ein Blockdiagramm 300, das eine beispielhafte Ausführungsform der vorliegenden Offenbarung veranschaulicht. Ein Aufforderungsplanermodul 302 ist dazu konfiguriert, Aufforderungen an den Benutzer basierend auf erkannten Informationen im Fahrzeug gemäß den in meinem Diagramm 300 gezeigten Modulen zu planen. Die nachstehend beschriebenen Zusatzmodule unterstützen den Aufforderungsplaner 302 bei der Bestimmung, wann eine Aufforderung ausgegeben werden soll und welche Aufforderung ausgegeben werden soll.
  • Ein Audioverarbeitungsmodul 308 ist dazu konfiguriert, Sprachaktivität zu erkennen und die Sprachaktivität basierend darauf, wo sich die Sprecher im Fahrzeug befinden, in verschiedene Quellsprecher (z. B. menschliche Benutzer) zu isolieren. Das Audioverarbeitungsmodul 308 zeichnet Audio von einem Array von fahrzeuginternen Mikrofonen auf, und das Audioverarbeitungsmodul 308 kann ferner basierend auf dem bekannten Standort jedes Mikrofons des Arrays und dem Rohaudio, das jedes empfängt (z. B. durch Ankunftszeitdistanzanalyse (time distance of arrival - TDOA) oder andere Verfahren) einen Standort ableiten.
  • Wenn Sprachdaten von verschiedenen Personen im Fahrzeug stammen, kann Sprachbiometrie dazu verwendet werden, zwischen verschiedenen Sprechern zu unterscheiden. Die Sprachbiometrie kann eine oder mehrere Kategorien von Benutzern berücksichtigen, wie Geschlecht und Alter, wodurch weiter Wärmekarten erzeugt werden können, die basierend auf diesen Kategorien gefiltert werden können. Beispielsweise können POI, die für Kinder interessant sein können, für Erwachsene nicht interessant sein, usw. Ein Durchschnittsfachmann kann andere demografische Aufteilungen erkennen und kann die Aufteilung des Dialogs von der Stimmbiometrie nutzen. Eine erzeugte Wärmekarate, die in Bezug auf 5 näher erläutert wird, kann Unterschiede in den Emotionen zwischen verschiedener Demografie und verschiedenen Bevölkerungsgruppen widerspiegeln.
  • In Bezug auf 3 kann ein visuelles Sprachaktivitätserkennungsmodul 304 dazu konfiguriert sein, einen Fahrgast mit Sprachaktivität basierend auf einem Video von einer Kamera 304 oder einem Array von Kameras zu erkennen. Die Ausgabe der visuellen Sprachaktivitätserkennung 304 kann eine Identifizierung eines Fahrgasts innerhalb des Fahrzeugs sein. Die Ausgabe des visuellen Sprachaktivitätserkennungsmoduls 304 kann ferner durch Lippenbewegungen erkannte Sprache oder eine Erkennung von Ton und Emotion eines gegebenen Sprachsegments sein.
  • Ein Dialogerkennungsmodul 306 kann dazu konfiguriert sein, einen Dialog zwischen Fahrgästen des Fahrzeugs basierend auf der Ausgabe des Audioverarbeitungsmoduls 308 und der visuellen Sprachaktivitätserkennung 304 auszugeben.
  • Das Audioverarbeitungsmodul 308 kann ferner dazu konfiguriert sein, das Audio mit bekannten Verfahren zu verbessern und ein verbessertes Audiosignal bereitzustellen. Mehrere Module nutzen das verbesserte Sprachsignal. Beispielsweise bestimmt ein Sprachbiometriemodul 310 eine Identität jedes jeweiligen Sprechers anhand des verbesserten Sprachsignals. Außerdem führt ein Spracherkennungsmodul 312 eine automatisierte Spracherkennung (automated speech recognition - ASR) oder ein natürliches Sprachverständnis (natural language understanding - NLU) durch, um das Sprachsignal in eine Textausgabe umzuwandeln. Ein Prosodieanalysemodul 314 ist dazu konfiguriert, ein Rhythmusmuster des Dialogs in dem verbesserten Sprachsignal zu bestimmen und auszugeben. Ein syntaktisches Analysemodul 316 ist dazu konfiguriert, den Dialog zu analysieren und die Syntax des Dialogs auszugeben. In einer Ausführungsform kann das syntaktische Analysemodul 316 eine Ausgabe des Spracherkennungsmoduls 312 zusätzlich zu dem verbesserten Sprachsignal oder an dessen Stelle empfangen.
  • Die Textausgabe des Spracherkennungsmoduls 312, das Rhythmusmuster der Dialogausgabe durch die Prosodieanalyse 314 und die Syntaxausgabe durch die syntaktische Analyse 316 werden an ein Pausenvorhersagemodul 326 weitergeleitet, das eine Vorhersage erzeugt, wann die Fahrgastunterhaltung voraussichtlich pausieren wird.
  • Ein Modul zur Beteiligung des Adressatendialogs bestimmt den Grad, in dem jeder einzelne Fahrgast an der Unterhaltung beteiligt ist, basierend auf der Ausgabe des Dialogerkennungsmoduls 306 und der Ausgabe des Sprachbiometriemoduls 310. Die Ausgabe 310 des Sprachbiometriemoduls identifiziert, welcher Sprecher den jeweiligen Abschnitt des Dialogs geäußert hat. Daher kann das Modul 318 zur Beteiligung des Adressatendialogs die Beteiligung jedes Sprechers basierend auf ihren biometrisch identifizierten Beiträgen zu der Unterhaltung bestimmen.
  • Ein Unterbrechungsunhöflichkeitsmodul 320 kann aus den Pausenvorhersagen eines Dialogs und der Beteiligung des Adressatendialogs 318 bestimmen, ob eine Unterbrechung unhöflich war. Wenn beispielsweise nach einer 14-sekündigen Pause eine Unterbrechung im Dialog aufgetreten ist, das Pausenvorhersagemodul 326 jedoch eine 1 ,5-sekündige Pause vorhergesagt hat, bestimmt das Modul 320 die Unterbrechung als unhöflich. Falls andererseits das Pausenvorhersagemodul 326 eine 2-sekündige Pause vorhersagt und eine 3-sekündige Pause in dem Dialog auftritt, bestimmt das Modul 320 die Unterbrechung als nicht unhöflich. In Ausführungsformen kann das Modul 320 einen Unhöflichkeitsfaktor auf einer Unhöflichkeitsskala bestimmen und kann ebenso eine binäre Ausgabe von Unhöflichkeit erzeugen (z. B. unhöflich und nicht unhöflich).
  • Ein Kompromissmodul 324 vergleicht eine Dringlichkeit der Aufforderung 322, die vom Aufforderungsplaner erzeugt wird, mit der Ausgabe des Unterbrechungsunhöflichkeitsmoduls 320. Wenn die Dringlichkeit der Aufforderung 322 die Unterbrechungsunhöflichkeit 320 überwiegt, kann das Kompromissmodul 324 einem Auslöseraufforderungsmodul 328 signalisieren, eine Aufforderung auszugeben. Die Auslöseraufforderung 328 kann die Aufforderung ausgeben, wenn das Pausenvorhersagemodul 326 anzeigt, dass eine vorhergesagte Pause Zeit für die Ausgabe der Aufforderung an den Benutzer lässt.
  • Die Pausenvorhersage kann von einem Aufforderungsauslösemodul 328 dazu verwendet werden, eine Aufforderung 330 an den Benutzer auszulösen (z. B. über die Sprachschnittstelle des Fahrzeugs oder eine andere Benutzervorrichtung). Die Pausenvorhersage von dem Pausenvorhersagemodul 326 kann ferner dazu verwendet werden, eine Unterbrechungsunhöflichkeit durch ein Unhöflichkeitsmodul 320 zu bestimmen.
  • 4 ist ein Flussdiagramm 400, das eine beispielhafte Ausführungsform eines Verfahrens veranschaulicht, das von der vorliegenden Offenbarung eingesetzt wird. Das Verfahren erkennt ein Auslöseereignis mit Sensoren (z. B. Kameras, GPS usw.), die die Position und Orientierung des Benutzers und eines Fahrzeugs erkennen. Dann assoziiert das Verfahren das Auslöseereignis mit einem Standort (z. B. vom GPS erkannt) (404). Dann bestimmt das Verfahren einen Ort von Interesse in der Nähe des Standortes (406). Der Ort von Interesse kann eine Ladenfront, einen Orientierungspunkt, eine Adresse, eine Kreuzung, eine Straße oder ein anderes Merkmal einer Karte beinhalten. Dann aktualisiert das Verfahren eine Geolokalisierungsdatenbank basierend auf Informationen bezüglich des Auslöseereignisses (408).
  • 5 ist eine grafische Darstellung 500, die eine durch eine beispielhafte Ausführungsform der vorliegenden Offenbarung erzeugte Wärmekarte 502 veranschaulicht.
  • Sprachdaten können temporär in einem Cloud-Server gespeichert und von diesem verarbeitet werden, um eine sprachbasierte „Wärmekarte“ für bestimmte Emotionen zu erzeugen. Dazu werden alle Sprachäußerungen, die mit einer Geolokalisierung assoziiert sind, die Audio-Metadaten, mit Emotionserkennungsverfahren verarbeitet. „Treffer“ für bestimmte Emotionen (z. B. Stress, Wut, Freude) werden mit dem Standort, der Zeit, einer anderen Variablen (z. B. dem Wetter) oder einer Kombination von Variablen assoziiert. Mit vielen derartigen Datenpunkten kann das System das Verhältnis jeder erkannten Emotion im Vergleich zu anderen erkannten Emotionen an diesem Standort bestimmen und eine farbcodierte Karte erzeugen, die eine Häufigkeit jeder Emotion pro Standort veranschaulicht. Dadurch können beispielsweise mehrere Wärmekarten erzeugt werden, die jeweils isoliert sind. Darüber hinaus kann eine kombinierte oder differenzielle Wärmekarte erzeugt werden, die an bestimmten Stellen Unterschiede zwischen Emotionen anzeigt. Beispielsweise können an einigen Orten alle Emptionen erhöht werden, während an anderen Orten nur ausgewählte Orte erhöht werden können, was bedeutender sein kann.
  • Der Assistent kann es dem Benutzer ermöglichen, proaktiv relevante Ereignisse oder Zustände an einem bestimmten Standort, wie Unfälle, Straßensperren, schlechte Wetterbedingungen, verfügbare Parkplätze, neu eröffnete Restaurants oder Geschäfte, zu melden, und der Assistent kann dies in relevante Aktualisierungen entweder für ein kurzfristiges Modell (z. B. Verkehrslage) oder eine Langzeitdatenbank von POI (z. B. neue Geschäfte) übersetzen, die sich beide in der Cloud befinden. Durch das Sammeln dieser Informationen ergänzt der Assistent Systeme, die derartige Informationen durch Sensoren sammeln, und stellt einen Vorteil bereit, wenn eine semantische Interpretation durch die Sprache des Benutzers Informationen mit einem höheren Wert im Vergleich zu den von Sensoren erzeugten bildet.
  • Unter Verwendung der gesammelten Daten über einen kurzen Zeitraum können die extrahierten Informationen live an andere Verkehrsteilnehmer verteilt werden, unabhängig davon, ob das empfangende Fahrzeug die vorstehend beschriebenen Sensoren oder Funktionen beinhaltet. Diese Funktion trägt zu einer Live-Wärmekarte der Stadt über mehrere Ebenen und Funktionen bei. In diesem Fall können beispielsweise mehrere Fahrzeuge mit Fußgängererkennung überquerende Fußgänger an einer bestimmten Geolokalisierung der Stadt erkennen. Diese Informationen werden an die Fahrzeuge weitergeleitet, die diesen Sensor oder diese Funktionalität nicht besitzen, jedoch eine GPS-Vorrichtung zur Positionierung besitzen. Dieses Verhalten kann dahingehend erweitert werden, dass verschiedene vorstehend beschriebene Wärmekartenebenen abgedeckt sind. Wenn das „Wärmeniveau“ einen bestimmten Grad erreicht, werden die Informationen an die Verkehrsteilnehmer weitergegeben, die sie am meisten benötigen. Wenn ein Fahrzeug beispielsweise an einer Kreuzung erkennt, dass ein Objekt die Kreuzung mit einer hoher Geschwindigkeitsrate erreicht, kann es eine Benachrichtigung an andere Verkehrsteilnehmer senden, die das sich schnell bewegende Objekt aufgrund einer gewissen Okklusion möglicherweise nicht sehen.
  • Die vorstehend genannten Funktionen können auf anonyme Weise Live-Informationen für eine Region mit allen menschlichen Emotionen, dem Fokus des Fahrers und Live-Verkehrsgefahren erkennen. Diese Informationen können von anderen Verkehrsteilnehmern oder der Regierung dazu verwendet werden, je nach Bedarf und Dringlichkeit oder Häufigkeit der Gefahren und Ereignisse zu suchen und zu regulieren.
  • In diesem Beispiel veranschaulicht die Wärmekarte 502 drei Orte von Interesse (POI), POI 1 504a, POI 2 504b und POI 3 504c. Jeder POI 504a-c ist mit Daten assoziiert, die an den jeweiligen Standorten gesammelt wurden. Beispielsweise kann jeder POI 504a-c mit Stimmungsdaten, Verkehrsdaten, Parkdaten und Informationen über ansprechende Schilder/Landenfront assoziiert werden. POI 1 504a ist mit 95 % positiver Stimmung assoziiert, weist wenig erkannten Verkehr und eine ansprechende Ladenfront auf. POI 2 504b ist mit 55 % positiver Stimmung assoziiert, weist mittleren erkannten Verkehr und eine nicht ansprechende Ladenfront auf. POI 3 ist mit 75 % positiver Stimmung, wenig verfügbaren Parkplätzen und einer wenig ansprechenden Ladenfront assoziiert.
  • Aus diesen Daten kann ein Benutzer eine Metrik über die Karte auswählen, wie positive Stimmungen, und eine Wärmekartenüberlagerung auf der Karte sehen, wo die Stimmungen am positivsten und am negativsten sind. Beispielsweise können Kartenbereiche mit den meisten positiven Stimmungen grün schattiert werden und Kartenbereiche mit den meisten negativen Stimmungen rot schattiert werden. Zwischenstimmungen können schattierte Farben entlang einer Rot-Grün-Farbskala sein. In anderen Ausführungsformen können ansprechende oder nicht ansprechende Ladenfronten von einem Benutzer ausgewählt und hervorgehoben werden. In einer weiteren Ausführungsform können die Straßen einer Karte mit niedrigem, mittlerem und hohem Verkehr überlagert und in Farben angezeigt werden, die den Verkehrsbuchstaben angeben.
  • Tages- und Jahreszeit (z. B. Datum, Jahreszeit usw.) können ebenso verfügbar sein und dazu verwendet werden, Wärmekarten von Emotionen zu erzeugen, die diese Faktoren als eine Variable aufweisen. Die Tageszeit kann sich ähnlich wie die Jahreszeit auf die Lichtverhältnisse und die Interessen der Menschen auswirken. Auf ähnliche Weise können ebenso Wetterbedingungen bei der Erzeugung der Wärmekarte berücksichtigt werden, bei denen Schnee, Eis oder Regen die Sichtbarkeit, den Verkehr und die Erreichbarkeit von POI beeinträchtigen können. Skigebiete werden beispielsweise in den Wintermonaten stark besucht, im Sommer jedoch selten. Das System könnte in einem derartigen Szenario nach den nützlichsten Daten filtern, wie wenn nur in den Wintermonaten die emotionale Wärmekarte eines Skigebiets betrachtet wird.
  • 6 veranschaulicht ein Computernetzwerk oder eine ähnliche digitale Verarbeitungsumgebung, in der Ausführungsformen der vorliegenden Erfindung implementiert werden können.
  • Client-Computer/-Vorrichtungen 50 und Server-Computer 60 stellen Verarbeitungs-, Speicher- und Eingabe-/Ausgabevorrichtungen bereit, die Anwendungsprogramme und dergleichen ausführen. Die Client-Computer/-Vorrichtungen 50 können ebenso über das Kommunikationsnetzwerk 70 mit anderen Rechenvorrichtungen verbunden sein, einschließlich anderer Client-Vorrichtungen/-Prozesse 50 und Server-Computer 60. Das Kommunikationsnetzwerk 70 kann Teil eines Fernzugriffsnetzwerkes, eines globalen Netzwerkes (z. B. des Internets), einer weltweiten Sammlung von Computern, lokalen oder Weitverkehrsnetzwerken und Gateways sein, die derzeit jeweilige Protokolle (TCP/IP, Bluetooth®, usw.) verwenden, um miteinander zu kommunizieren. Auch andere elektronische Vorrichtungs-/Computernetzwerkarchitekturen sind geeignet.
  • 7 ist eine grafische Darstellung einer beispielhaften internen Struktur eines Computers (z. B. Client-Prozessor/Vorrichtung 50 oder Server-Computer 60) in dem Computersystem von 6. Jeder Computer 50, 60 enthält einen Systembus 79, wobei ein Bus ein Satz von Hardwareleitungen ist, die für die Datenübertragung zwischen den Komponenten eines Computers oder Verarbeitungssystems verwendet werden. Der Systembus 79 ist im Wesentlichen eine gemeinsam genutzte Leitung, die verschiedene Elemente eines Computersystems (z. B. Prozessor, Plattenspeicher, Speicher, Eingabe-/Ausgabeports, Netzwerkports usw.) verbindet, die die Übertragung von Informationen zwischen den Elementen ermöglicht. An den Systembus 79 ist eine E/A-Vorrichtungsschnittstelle 82 zum Verbinden verschiedener Eingabe- und Ausgabevorrichtungen (z. B. Tastatur, Maus, Anzeigen, Drucker, Lautsprecher usw.) an den Computer 50, 60 angeschlossen. Eine Netzwerkschnittstelle 86 ermöglicht es dem Computer, sich mit verschiedenen anderen Vorrichtungen zu verbinden, die an ein Netzwerk angeschlossen sind (z. B. Netzwerk 70 von 6). Der Speicher 90 stellt einen flüchtigen Speicher für Computersoftwareanweisungen 92 und Daten 94 bereit, die dazu verwendet werden, eine Ausführungsform der vorliegenden Erfindung zu implementieren (z. B. Aufforderungsplanermodul, Audioverarbeitungsmodul, visuelles Sprachaktivitätserkennungsmodul, Sprachbiometriemodul, Spracherkennungsmodul, Prosodieanalysemodul, syntaktisches Analysemodul, Pausenvorhersagemodul, Unterbrechungsunhöflichkeitsmodul, Kompromissmodul, Auslöseraufforderungsmodul und Blickerkennungsmodulcode wie vorstehend beschrieben). Der Plattenspeicher 95 stellt einen nichtflüchtigen Speicher für Computersoftwareanweisungen 92 und Daten 94 bereit, die dazu verwendet werden, eine Ausführungsform der vorliegenden Erfindung zu implementieren. Eine zentrale Prozessoreinheit 84 ist ebenso an den Systembus 79 angeschlossen und sorgt für die Ausführung von Computeranweisungen.
  • In einer Ausführungsform sind die Prozessorroutinen 92 und die Daten 94 ein Computerprogrammprodukt (allgemein mit 92 bezeichnet), einschließlich eines nichtflüchtigen computerlesbaren Mediums (z. B. ein entfernbares Speichermedium wie eine oder mehrere DVD-ROMs, CD-ROMs, Disketten, Bänder usw.), die wenigstens einen Abschnitt der Softwareanweisungen für das Erfindungssystem bereitstellen. Das Computerprogrammprodukt 92 kann durch jede geeignete Softwareinstallationsprozedur installiert werden, wie im Stand der Technik hinlänglich bekannt ist. In einer anderen Ausführungsform kann wenigstens ein Abschnitt der Softwareanweisungen ebenso über eine Kabelkommunikation und/oder eine drahtlose Verbindung heruntergeladen werden. In anderen Ausführungsformen sind die Erfindungsprogramme ein durch ein Computerprogramm ausgebreitetes Signalprodukt, das auf einem ausgebreiteten Signal auf einem Ausbreitungsmedium (z. B. einer Funkwelle, einer Infrarotwelle, einer Laserwelle, einer Schallwelle oder einer elektrischen Welle, die sich über ein globales Netzwerk wie das Internet oder andere Netzwerke ausbreitet) ausgeführt ist. Derartige Trägermedien oder Signale können dazu eingesetzt werden, wenigstens einen Abschnitt der Softwareanweisungen für die Routinen/das Programm 92 der vorliegenden Erfindung bereitzustellen.
  • Während beispielhafte Ausführungsformen im Besonderen gezeigt und beschrieben worden sind, verstehen Fachleute, dass verschiedene Änderungen der Form und der Einzelheiten daran vorgenommen werden können, ohne vom Schutzumfang der in den beigefügten Patentansprüchen eingeschlossenen Ausführungsformen abzuweichen.

Claims (20)

  1. Ein computerimplementiertes Verfahren zum Verbessern einer Geolokalisierungsdatenbank, wobei das Verfahren Folgendes umfasst: Assoziieren eines benutzereingeleiteten Auslöseereignisses, das von wenigstens einem innerhalb eines Transportfahrzeugs angeordneten Sensor in Bezug auf einen Benutzer erkannt wird, mit einer Darstellung eines geografischen Standorts in einem Eintrag einer Geolokalisierungsdatenbank in Abhängigkeit von einer erfassten Position und Orientierung des Benutzer innerhalb des Transportfahrzeugs und einer Position und Orientierung des Transportfahrzeugs; Bestimmen eines Ortes von Interesse, wobei der Ort von Interesse aus mehreren Darstellungen von Orten von Interesse besteht, die in der Geolokalisierungsdatenbank in der Nähe des Standorts basierend auf dem benutzereingeleiteten Auslöseereignis gespeichert sind; und als Reaktion auf das benutzereingeleitete Auslöseereignis das Aktualisieren der Geolokalisierungsdatenbank basierend auf Informationen in Bezug auf das benutzereingeleitete Auslöseereignis am Eintrag der Geolokalisierungsdatenbank, die mit dem Ort von Interesse assoziiert ist.
  2. Das Verfahren nach Anspruch 1, ferner umfassend: Erkennen des benutzereingeleiteten Auslöseereignisses durch das Transportfahrzeug durch das Erkennen einer Benutzeremotion, eines Benutzerblicks, einer Benutzeranfrage, eines Benutzerbesuchs an dem Standort und/oder einer Benutzerhintergrundsprache.
  3. Das Verfahren nach Anspruch 2, ferner umfassend: als Reaktion auf das Erkennen des benutzereingeleiteten Auslöseereignisses durch das Erkennen des Benutzerbesuchs an dem Standort, das Erkennen eines Abschlusses des Benutzerbesuchs und das Anfordern von Benutzerrückmeldung über den Ort von Interesse nach dem Benutzerbesuch; wobei das Aktualisieren der Geolokalisierungsdatenbank das Hinzufügen der Rückmeldung des Benutzers zum Eintrag beinhaltet.
  4. Das Verfahren nach Anspruch 2, ferner umfassend: Korrelieren einer Richtung des Benutzerblicks mit dem Ort von Interesse in der Nähe des Standorts; Aktualisieren eines Eintrags der Geolokalisierungsdatenbank durch Hinzufügen einer Angabe, dass der Benutzer den Ort von Interesse betrachtet hat.
  5. Das Verfahren nach Anspruch 2, ferner umfassend: Assoziieren einer emotionalen Kategorie basierend auf der erkannten Hintergrundsprache des Benutzers mit dem Standort.
  6. Das Verfahren nach Anspruch 2, ferner umfassend das Assoziieren der Benutzerabfrage mit dem Ort von Interesse.
  7. Das Verfahren nach Anspruch 1, ferner umfassend das Empfehlen eines Orts von Interesse unter Verwendung der aktualisierten Geolokalisierungsdatenbank.
  8. Das Verfahren nach Anspruch 1, ferner umfassend das Empfehlen einer Route an den Benutzer unter Verwendung der aktualisierten Standortdatenbank.
  9. Das Verfahren nach Anspruch 6, ferner umfassend: Assoziieren mehrerer benutzereingeleiteter Auslöseereignisse, die von mehreren anderen Transportfahrzeugen erkannt wurden, mit jeweiligen Standorten in einer Geolokalisierungsdatenbank; wobei das Aktualisieren der Geolokalisierungsdatenbank das Aktualisieren von Echtzeitstandorten von Objekten beinhaltet, die mit den mehreren anderen Transportfahrzeugen assoziiert sind; das Empfehlen der Route an den Benutzer ferner das Abfragen der aktualisierten Standortdatenbank in Echtzeit und das Bestimmen von Geschwindigkeiten von Objekten beinhaltet, die mit den mehreren anderen Transportfahrzeugen assoziiert sind, die in der Geolokalisierungsdatenbank gemeldet sind.
  10. Das Verfahren nach Anspruch 1, ferner umfassend: Filtern des benutzereingeleiteten Auslöseereignisses durch Bestimmen, ob das benutzereingeleitete Auslöseereignis eine gegebene Schwelle überschreitet; wobei das Assoziieren des benutzereingeleiteten Auslöseereignisses mit dem Standort in einer Geolokalisierungsdatenbank das Assoziieren nur der benutzereingeleiteten Auslöseereignisse umfasst, von denen bestimmt wurde, dass sie die gegebene Schwelle überschreiten.
  11. Ein System zum Verbessern einer Geolokalisierungsdatenbank, wobei das System Folgendes umfasst: wenigstens einen Sensor, der innerhalb eines Transportfahrzeugs in Bezug auf einen Benutzer des Transportfahrzeugs angeordnet ist; einen Prozessor; und einen Speicher mit darauf gespeicherten Anweisungen, sodass der Prozessor, wenn die Anweisungen vom Prozessor ausgeführt werden, Folgendes durchführt: Assoziieren eines benutzereingeleiteten Auslöseereignisses, das von dem wenigstens einem Sensor in Bezug auf einen Benutzer erkannt wird, mit einer Darstellung eines geografischen Standorts in einem Eintrag einer Geolokalisierungsdatenbank in Abhängigkeit von einer erfassten Position und Orientierung des Benutzer innerhalb des Transportfahrzeugs und einer Position und Orientierung des Transportfahrzeugs; Bestimmen eines Ortes von Interesse, wobei der Ort von Interesse aus mehreren Darstellungen von Orten von Interesse besteht, die in der Geolokalisierungsdatenbank in der Nähe des Standorts basierend auf dem benutzereingeleiteten Auslöseereignis gespeichert sind; und als Reaktion auf das benutzereingeleitete Auslöseereignis Aktualisieren der Geolokalisierungsdatenbank basierend auf Informationen in Bezug auf das benutzereingeleitete Auslöseereignis am Eintrag der Geolokalisierungsdatenbank, der mit dem Ort von Interesse assoziiert ist.
  12. Das System nach Anspruch 11, wobei der Prozessor ferner konfiguriert ist zum: Erkennen des benutzereingeleiteten Auslöseereignisses durch das Transportfahrzeug durch das Erkennen einer Benutzeremotion, eines Benutzerblicks, einer Benutzeranfrage, eines Benutzerbesuchs an dem Standort und/oder einer Benutzerhintergrundsprache.
  13. Das System nach Anspruch 12, wobei der Prozessor ferner konfiguriert ist zum: als Reaktion auf das Erkennen des benutzereingeleiteten Auslöseereignisses durch das Erkennen des Benutzerbesuchs an dem Standort Erkennen eines Abschlusses des Benutzerbesuchs und Anfordern von Benutzerrückmeldung über den Ort von Interesse nach dem Benutzerbesuch; wobei das Aktualisieren der Geolokalisierungsdatenbank das Hinzufügen der Rückmeldung des Benutzers zum Eintrag beinhaltet.
  14. Das System nach Anspruch 12, wobei der Prozessor ferner konfiguriert ist zum: Korrelieren einer Richtung des Benutzerblicks mit dem Ort von Interesse in der Nähe des Standorts; Aktualisieren eines Eintrags der Geolokalisierungsdatenbank durch Hinzufügen einer Angabe, dass der Benutzer den Ort von Interesse betrachtet hat.
  15. Das System nach Anspruch 12, wobei der Prozessor ferner ist, eine emotionale Kategorie basierend auf der erkannten Hintergrundsprache des Benutzers mit dem Standort zu assoziieren.
  16. Das System nach Anspruch 12, wobei der Prozessor ferner dazu konfiguriert ist, die Benutzerabfrage mit dem Ort von Interesse zu assoziieren.
  17. Das System nach Anspruch 11, wobei der Prozessor ferner dazu konfiguriert ist, einen Ort von Interesse unter Verwendung der aktualisierten Geolokalisierungsdatenbank zu empfehlen.
  18. Das System nach Anspruch 11, wobei der Prozessor ferner dazu konfiguriert ist, dem Benutzer eine Route unter Verwendung der aktualisierten Standortdatenbank zu empfehlen.
  19. Das System nach Anspruch 18, wobei der Prozessor ferner für Folgendes konfiguriert ist: Assoziieren mehrerer benutzereingeleiteten Auslöseereignisse, die von mehreren anderen Transportfahrzeugen erkannt wurden, mit jeweiligen Standorten in einer Geolokalisierungsdatenbank; wobei das Aktualisieren der Geolokalisierungsdatenbank das Aktualisieren von Echtzeitstandorten von Objekten beinhaltet, die mit den mehreren anderen Transportfahrzeugen assoziiert sind; das Empfehlen der Route an den Benutzer ferner das Abfragen der aktualisierten Standortdatenbank in Echtzeit und das Bestimmen von Geschwindigkeiten von Objekten beinhaltet, die mit den mehreren anderen Transportfahrzeugen assoziiert sind, die in der Geolokalisierungsdatenbank gemeldet sind.
  20. Das System nach Anspruch 11, wobei der Prozessor ferner konfiguriert ist zum: Filtern des benutzereingeleiteten Auslöseereignisses durch Bestimmen, ob das benutzereingeleitete Auslöseereignis eine gegebene Schwelle überschreitet; wobei das Assoziieren des benutzereingeleiteten Auslöseereignisses mit dem Standort in einer Geolokalisierungsdatenbank das Assoziieren nur der benutzereingeleiteten Auslöseereignisse umfasst, von denen bestimmt wurde, dass sie die gegebene Schwelle überschreiten.
DE112020003033.4T 2019-06-27 2020-06-15 Verfahren und Vorrichtung zum Verbessern einer Geolokalisierungsdatenbank Pending DE112020003033T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/455,255 2019-06-27
US16/455,255 US11308175B2 (en) 2019-06-27 2019-06-27 Method and apparatus for enhancing a geolocation database
PCT/US2020/037724 WO2020263608A1 (en) 2019-06-27 2020-06-15 Method and apparatus for enhancing a geolocation database

Publications (1)

Publication Number Publication Date
DE112020003033T5 true DE112020003033T5 (de) 2022-03-31

Family

ID=71515183

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020003033.4T Pending DE112020003033T5 (de) 2019-06-27 2020-06-15 Verfahren und Vorrichtung zum Verbessern einer Geolokalisierungsdatenbank

Country Status (3)

Country Link
US (2) US11308175B2 (de)
DE (1) DE112020003033T5 (de)
WO (1) WO2020263608A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308175B2 (en) * 2019-06-27 2022-04-19 Cerence Operating Company Method and apparatus for enhancing a geolocation database
US11838619B2 (en) * 2021-05-17 2023-12-05 Gm Cruise Holdings Llc Identifying photogenic locations on autonomous vehicle routes
FR3127736A1 (fr) * 2021-10-06 2023-04-07 Psa Automobiles Sa Procédé et dispositif de détermination d’une carte de fréquentation tridimensionnelle pour véhicule

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090005076A1 (en) * 2007-06-28 2009-01-01 Scott Forstall Location-Based Information Services
US8231047B2 (en) 2008-08-13 2012-07-31 Disney Enterprises, Inc. System and method for distributed and real-time collection of customer satisfaction feedback
US9301099B2 (en) * 2009-10-29 2016-03-29 Tomtom North America, Inc. Method of analyzing points of interest with probe data
US20150127576A1 (en) * 2011-09-06 2015-05-07 Google Inc. Recommendations as an incentive to rate
US20140301645A1 (en) * 2013-04-03 2014-10-09 Nokia Corporation Method and apparatus for mapping a point of interest based on user-captured images
US9286029B2 (en) * 2013-06-06 2016-03-15 Honda Motor Co., Ltd. System and method for multimodal human-vehicle interaction and belief tracking
US9739631B2 (en) * 2014-04-01 2017-08-22 Mapquest, Inc. Methods and systems for automatically providing point of interest information based on user interaction
EP3593315A1 (de) * 2017-03-08 2020-01-15 Visa International Service Association System und verfahren zur erzeugung und anzeige von bewertungen für interessenpunkte
US10552680B2 (en) * 2017-08-08 2020-02-04 Here Global B.V. Method, apparatus and computer program product for disambiguation of points of-interest in a field of view
US11308175B2 (en) * 2019-06-27 2022-04-19 Cerence Operating Company Method and apparatus for enhancing a geolocation database

Also Published As

Publication number Publication date
WO2020263608A1 (en) 2020-12-30
US20220365991A1 (en) 2022-11-17
US20200410019A1 (en) 2020-12-31
US11308175B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
US11535262B2 (en) Method and apparatus for using a passenger-based driving profile
US11664043B2 (en) Real-time verbal harassment detection system
US10875525B2 (en) Ability enhancement
RU2683902C2 (ru) Транспортное средство, способ и система для планирования режимов транспортного средства с использованием изученных предпочтений пользователя
DE102016125649A1 (de) Verwalten von nachrichten in fahrzeugen
DE112013006503B4 (de) Bewegungsassistenzvorrichtung und Bewegungsassistenzverfahren
US11358605B2 (en) Method and apparatus for generating a passenger-based driving profile
DE112018001422T5 (de) Anzeigesteuersystem und verfahren zum erzeugen einer virtuellen umgebung in einem fahrzeug
DE112011104739B4 (de) Informationsverwaltungsvorrichtung und Informationsverwaltungssystem für mobile Informationsendgeräte
DE112020003033T5 (de) Verfahren und Vorrichtung zum Verbessern einer Geolokalisierungsdatenbank
DE102014203724A1 (de) Verfahren und System zum Auswählen von Navigationsrouten und Bereitstellen von Werbung auf der Route
DE112020000110T5 (de) Nutzung von in fahrzeugen erfassten fahrgastaufmerksamkeitsdaten fürlokalisierungs- und standortbezogene dienste
EP3620972A1 (de) Verfahren und vorrichtung zur bereitstellung einer benutzerreaktionsbenutzerschnittstelle zum erzeugen eines fahrgastbasierten fahrprofils
EP3621007A1 (de) Verfahren und vorrichtung zur auswahl eines fahrzeugs mit einem fahrprofil auf fahrgastbasis
CN107194762A (zh) 交通工具推荐方法、系统及其设备
DE102014201457A1 (de) Verfahren und vorrichtung für soziales netzwerken in fahrzeugen
CN111859178B (zh) 一种推荐上车点的方法和系统
DE112015006585T5 (de) Fahr-Assistenzvorrichtung, Fahr-Assistenzserver und Fahr-Assistenzsystem
DE102014204556A1 (de) Verfahren und vorrichtung zur bereitstellung von intelligenter strassenbeleuchtungswerbung
WO2017021318A1 (de) Vorrichtung, fahrzeug, verfahren und computerprogramm zur berechnung zumindest eines video- oder steuersignals
DE102007056401A1 (de) Vorrichtung zur Mitteilung der Wetterinformation und Programm dafür
US20210201893A1 (en) Pattern-based adaptation model for detecting contact information requests in a vehicle
WO2015007362A1 (de) Verfahren zum betrieb einer navigationseinrichtung, navigationseinrichtung und kraftfahrzeug
DE102019124907A1 (de) Fahrzeugwerbung
CN106101168A (zh) 车载终端、云服务设备、车载系统及信息处理方法和装置