DE102020100497A1

DE102020100497A1 - Systeme und verfahren von fahrzeugbasierter echtzeitanalyse und verwendungen davon

Info

Publication number: DE102020100497A1
Application number: DE102020100497.4A
Authority: DE
Inventors: Jason Miller; Karl Nathan Clark; Brandon Johnson; Vijayababu Jayaraman
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-01-14
Filing date: 2020-01-10
Publication date: 2020-07-16
Also published as: US11133002B2; CN111435456A; US20200227036A1

Abstract

Diese Offenbarung stellt Systeme und Verfahren von fahrzeugbasierter Echtzeitanalyse und Verwendungen davon bereit.Hierin werden Systeme und Verfahren zur fahrzeugbasierten Echtzeitanalyse bereitgestellt. Ein beispielhaftes Verfahren beinhaltet Sammeln von zumindest einem von Bildern, Videos oder Audios eines Benutzers, wenn ein Fahrzeug betrieben wird; Analysieren des zumindest einen der Bilder, Videos oder Audios, um eine Emotion oder ein Gefühl des Benutzers zu bestimmen, wenn mit einem oder mehreren Merkmalen des Fahrzeugs interagiert wird; Identifizieren von Benutzeraktionen, die einem Zeitpunkt vorangehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, wobei sich die Benutzeraktionen auf das eine oder die mehreren Fahrzeugmerkmale beziehen; Einstufen von zumindest einer der Benutzeraktionen und des einen oder der mehreren Fahrzeugmerkmale mit der Emotion oder dem Gefühl; und Speichern der Benutzeraktionen, des einen oder der mehreren Fahrzeugmerkmale und der Emotion oder des Gefühls.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft Systeme und Verfahren, die fahrzeugbasierte Echtzeitanalyse in Bezug Fahrzeugbetrieb und Benutzerinteraktionen mit einem Fahrzeug sowie automatische Merkmalsaktualisierung für das Fahrzeug vorsehen.
ALLGEMEINER STAND DER TECHNIK
Benutzer, wie Fahrer oder Insassen in einem Fahrzeug, können an verschiedenen Arten von Interaktionen mit Fahrzeugsystemen und -merkmalen teilnehmen. Beispielsweise kann ein Benutzer Navigationsfunktionen, Unterhaltungsmerkmale, Klimasteuerung usw. verwenden, die in dem Fahrzeug verfügbar sind. Der Benutzer kann auch mit verschiedenen physischen Komponenten wie etwa elektrischen und/oder mechanischen Steuerungen des Fahrzeugs wie etwa Lenken, Bremsen, Gasgeben usw. interagieren. Während Benutzer häufig hinsichtlich ihrer Meinung zu Fahrzeugattributen oder -parametern befragt werden, werden diese Befragungen häufig post hoc in Bezug auf die Verwendung von Fahrzeugmerkmalen durchgeführt. Diese Umfragen beruhen auch auf geäußerten Meinungen und möglicherweise fehlerhaften Erinnerungen der Benutzer und sind daher häufig von begrenztem Wert. Beispielsweise kann eine Umfrage möglicherweise keine Antworten auf Fragen liefern, die zur Beurteilung der tatsächlichen Meinungen der Benutzer erforderlich sind.
KURZDARSTELLUNG
Hierin werden Systeme und Verfahren zur fahrzeugbasierten Echtzeitanalyse bereitgestellt. Ein beispielhaftes Verfahren beinhaltet Sammeln von zumindest einem von Bildern, Videos oder Audios eines Benutzers, wenn ein Fahrzeug betrieben wird; Analysieren des zumindest einen der Bilder, Videos oder Audios, um eine Emotion oder ein Gefühl des Benutzers zu bestimmen, wenn mit einem oder mehreren Merkmalen des Fahrzeugs interagiert wird; Identifizieren von Benutzeraktionen, die einem Zeitpunkt vorangehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, wobei sich die Benutzeraktionen auf das eine oder die mehreren Fahrzeugmerkmale beziehen; Einstufen von zumindest einer der Benutzeraktionen und des einen oder der mehreren Fahrzeugmerkmale mit der Emotion oder dem Gefühl; und Speichern der Benutzeraktionen, des einen oder der mehreren Fahrzeugmerkmale und der Emotion oder des Gefühls.
Figurenliste
Die detaillierte Beschreibung wird unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung gleicher Bezugszeichen kann ähnliche oder identische Elemente angeben. Verschiedene Ausführungsformen können andere Elemente und/oder Komponenten nutzen als jene, die in den Zeichnungen veranschaulicht sind, und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext austauschbar verwendet werden können.

1 stellt eine veranschaulichende Architektur dar, in der Techniken und Strukturen zum Bereitstellen der in dieser Schrift offenbarten Systeme und Verfahren umgesetzt sein können.
2 ist ein Ablaufdiagramm eines beispielhaften Verfahrens der vorliegenden Offenbarung.
3 ist ein Ablaufdiagramm eines beispielhaften Verfahrens der vorliegenden Offenbarung.

DETAILLIERTE BESCHREIBUNG
Überblick
Allgemein beschrieben richtet sich die vorliegende Offenbarung in einigen Ausführungsformen auf Systeme und Verfahren, die fahrzeugbasierte Echtzeitanalyse in Bezug Fahrzeugbetrieb und Benutzerinteraktionen mit einem Fahrzeug bereitstellen. In einigen Ausführungsformen nutzen die hierin offenbarten Systeme und Verfahren eine Vielzahl von Systemen oder Komponenten, um Benutzeraktionen/-interaktionen mit Fahrzeugfunktionen sowie Benutzerdaten wie etwa Audio- und/oder Videodaten zu sammeln. Diese Audio- und/oder Videodaten werden auf Gesichtsausdrücke und/oder verbale Äußerungen des Benutzers ausgewertet. Die Gesichtsausdrücke und/oder verbalen Äußerungen des Benutzers können analysiert werden, um Benutzeremotionen und/oder -gefühle zu erkennen, wie etwa Glück, Trauer, Wut, Hochstimmung, Frustration usw. Diese Systeme und Verfahren verfolgen auch kontinuierlich oder periodisch Benutzeraktionen/-interaktionen mit Fahrzeugmerkmalen/-komponenten und korrelieren diese Informationen mit beliebigen erkannten Emotionen und/oder Gefühlen. Dies ermöglicht es den Systemen und Verfahren, Benutzerinteraktionen zu identifizieren, die eine Emotion oder ein Gefühl des Benutzers hervorrufen. Wenn diese Emotionen oder Gefühle negativer Art sind, werden ihre korrelierten Benutzerinteraktionen von Fahrzeugdesignern als potenzielle Bereiche für Fahrzeugverbesserungen identifiziert.
In einigen Ausführungsformen nutzt die vorliegende Offenbarung eine Emotionserfassung, und bestimmte Ausführungsformen können Echtzeit-Emotionserkennung durch Analysieren von Audio- und/oder Videodaten (z. B. Bildern), die unter Verwendung verschiedener Mitteln aufgenommen wurden, nutzen. Zum Beispiel kann eine Videokamera und/oder ein Mikrofon eines Sprachbefehlssystems in einem Fahrzeug dazu verwendet werden, Audio- und/oder Videodaten zu sammeln, die dann Emotionserkennungsanalysen unterzogen werden.
In einer oder mehreren Ausführungsformen können diese Systeme und Verfahren dazu genutzt werden, spezifische Benutzerinteraktionen mit dem Fahrzeug zu identifizieren. In verschiedenen Ausführungsformen werden Benutzeraktionen/-interaktionen und entsprechende Emotionen und/oder Gefühle erkannt. Das heißt, wenn die Systeme und Verfahren Emotionen und/oder Gefühle erkennen, die durch einen Benutzer ausgedrückt werden, analysieren dann die Systeme und Verfahren die Benutzeraktionen, um ein oder mehrere Fahrzeugmerkmale zu identifizieren, die die Emotionen und/oder Gefühle verursacht oder dazu beigetragen haben. Anders ausgedrückt können die Systeme und Verfahren hierin Bilder, Video oder Audio analysieren, um eine Emotion oder ein Gefühl des Benutzers zu bestimmen, wenn dieser mit einem oder mehreren Merkmalen des Fahrzeugs interagiert. Diese Systeme und Verfahren identifizieren Benutzeraktionen, die mit der Emotion oder dem Gefühl des Benutzers übereinstimmen, und die Benutzeraktionen beziehen sich auf das eine oder die mehreren Fahrzeugmerkmale. In einigen Ausführungsformen stimmen die Benutzeraktionen mit einer Emotion oder einem Gefühl überein, wenn sie mit ausreichender Gleichzeitigkeit erfolgen. Das heißt, wenn der Benutzer mit Merkmalen des Fahrzeugs interagiert und der Benutzer innerhalb eines vorgegebenen Zeitrahmens nach dem Interagieren mit den Merkmalen eine emotionale Reaktion hat, ist es plausibel, die Merkmale des Fahrzeugs mit der emotionalen Reaktion des Benutzers zu verknüpfen.
In verschiedenen Ausführungsformen können sich die Benutzeraktionen auf die Verwendung einer Mensch-Maschine-Schnittstelle (human machine interface - HMI) eines Fahrzeugs beziehen. Die Analyse dieser Benutzeraktionen kann dazu verwendet werden, die Kundenzufriedenheit zu bestimmen und Verbesserungsbereiche in Bezug auf die HMI zu identifizieren.
In einigen Ausführungsformen stellen diese Systeme und Verfahren die Erkennung und Einstufung von Emotionen basierend auf Sprachbefehlen und der Zuordnung zu der bestimmten Aktivität bereit, wie etwa Ändern eines Radiosenders, Festlegen eines Navigationsziels, Anrufen einer Person usw. In einigen Fällen beinhalten diese Prozesse das Analysieren von Audio vor der Aktion und/oder nach der Aktion mit Zustimmung des Kunden, wenn eine bestimmte HMI-Aktion ausgeführt wird, wie etwa das Navigieren durch Optionen auf einem Touchscreen-Display, um so die Zufriedenheit oder Unzufriedenheit des Benutzers mit der Aktion zu messen.
Einige Ausführungsformen erfassen und analysieren Video oder Standbilder des Fahrers oder Beifahrers vor der Aktion und/oder nach der Aktion, wenn diese eine HMI-Aktion ausführen, wie etwa Navigieren durch Optionen auf dem Touchscreen oder beim Verwenden von Sprachbefehlen. Diese Analysen werden dazu verwendet, den Grad der Zufriedenheit oder Unzufriedenheit des Benutzers oder Passagiers mit der Aktion zu messen.
In verschiedenen Ausführungsformen können Videos und/oder Bilder automatisch für einen Zeitraum vor und nach jeder HMI-Interaktion analysiert werden und die Erzeugung von Protokollen auslösen, wenn eine erkannte Emotion eine Änderung zu Frustration/Trauer/Wut oder zu Glück/Uberraschung anzeigt. In anderen Ausführungsformen können Protokolle kontinuierlich erzeugt werden und dann auf eine Weise nach der Aktion verwendet werden.
In anderen Beispielen können Sprachbefehle, die zu Frustration führen, für die Offline-Analyse gespeichert und bei zukünftigen HMI-Tastendrücken gespeichert werden, um genauer und konkret zu bestimmen, welche Aktion der Benutzer ausführen wollte.
In einigen Ausführungsformen können Daten anonymisiert werden, um die Privatsphäre zu schützen, während wichtige Fahrzeugattribute wie Jahr, Modell und relevanter Optionsinhalt und Software-/Hardware-Versionen trotzdem beibehalten werden.
Diese Systeme und Verfahren ermöglichen ein robusteres und empirischeres Verständnis der tatsächlichen Benutzererfahrung, indem bestimmt wird, welche Aktionen tatsächlich Glück, Überraschung und Freude auslösen oder, was vielleicht noch wichtiger ist, Wut und Frustration auslösen.
In verschiedenen Ausführungsformen können Benutzererfahrungsdaten zurück in die Cloud hochgeladen werden, sodass Ingenieure besser verstehen können, welche Sprachbefehle und welche HMI-Aktionen für den Kunden am frustrierendsten sind. Änderungen an diesen Merkmalen können dann entwickelt und über eine Over-the-Air (OTA)-Aktualisierung an das Fahrzeug übertragen werden, wobei das Kundenerlebnis weiter analysiert werden kann.
Zusätzlich zur Analyse von Benutzer-HMI-Aktionen und den damit assoziierten Emotionen können die hierin beschriebenen Systeme und Verfahren dazu verwenden werden, Benutzerdaten (Video/Audio) zu analysieren, um Benutzeremotion(en) zu bewerten und diese Emotion(en) mit anderen Benutzeraktionen im Bezug auf anderen Arten von Fahrzeuginteraktionen zu verknüpfen. Zum Beispiel verknüpfen die Systeme und Verfahren hierin Benutzeremotionen mit Fahrzeuginteraktionen wie etwa Bremsen, Beschleunigen, Identifizierung des toten Winkels und anderen mechanischen und/oder elektrischen Komponenten des Fahrzeugs, wie etwa Schalthebel oder Schaltwippen, Blinker, Scheibenwischer, Scheinwerfer usw. Diese und andere Aspekte und Vorteile der vorliegenden Offenbarung werden hierin unter Bezugnahme auf sämtliche Zeichnungen ausführlicher beschrieben.
Veranschaulichende Architektur
Unter nunmehriger Bezugnahme auf die Zeichnungen stellt 1 eine veranschaulichende Architektur 100 dar, in der Techniken und Strukturen der vorliegenden Offenbarung umgesetzt sein können. Die veranschaulichende Architektur 100 kann ein Fahrzeug 102 mit einer Mensch-Maschine-Schnittstelle (HMI) 104, einem Sprachbefehlssystem 106, einer Kamera 108 und einem Echtzeit-Benutzerinteraktionsanalysesystem (System 110) beinhalten. Das System 110 ist schematisch zusammen mit relevanten Komponenten des Fahrzeugs 102 dargestellt, die alle nachfolgend detaillierter offenbart sind. Zumindest ein Benutzer 112 ist in dem Fahrzeug 102 vorhanden, und Fahrzeuginteraktionen treten auf, wenn der Benutzer 112 Benutzeraktionen in dem Fahrzeug 102 ausführt. Um sicherzugehen, interagiert der Benutzer 112 mit Fahrzeugmerkmalen, wie beispielsweise der HMI 104. In einigen Ausführungsformen ist eine Analysecloud 113 umgesetzt, um verschiedene Aspekte der vorliegenden Offenbarung durchzuführen, und wird im Folgenden auch ausführlicher erörtert.
In einigen Ausführungsformen kann das HMI 104 ein beliebiges System innerhalb des Fahrzeugs 102, das eine interaktive Eingabe vom Benutzer 112 empfängt, beinhalten. Beispielsweise könnte das HMI 104 ein Infotainmentsystem wie dargestellt, eine Heads-up-Anzeige, ein Navigationscluster, ein Klimasteuersystem oder eine andere ähnliche Schnittstelle innerhalb des Fahrzeugs 102 beinhalten. In verschiedenen Ausführungsformen kann die Kamera 108 ein beliebiges Gerät beinhalten, das Bilder oder Video des Benutzers 112 aufzeichnen kann. In einigen Ausführungsformen können mehr Kameras als die veranschaulichte einzelne Kamera verwendet werden.
Auf ähnliche Weise kann das Sprachbefehlssystem 106 eine beliebige Vorrichtung beinhalten, die in der Lage ist, Audio von dem Benutzer 112 zu empfangen, wie etwa gesprochene Wörter, Phrasen und/oder Geräusche. In einigen Ausführungsformen ist das Sprachbefehlssystem 106 in der Lage, natürliche Sprachbefehle des Benutzers 112 zu empfangen und zu interpretieren, jedoch können auch andere vom Benutzer 112 gemachte Geräusche wie Seufzer, Schreie usw. empfangen und verarbeitet werden. In verschiedenen Ausführungsformen zeichnet das Sprachbefehlssystem 106 kontinuierlich Audio innerhalb des Fahrzeugs 102 auf.
Gemäß einigen Ausführungsformen ist das Sprachbefehlssystem 106 speziell dazu konfiguriert, detaillierte Analysen von aufgezeichnetem Audio von Benutzern innerhalb des Fahrzeugs 102 durchzuführen, um Emotionen aus dem aufgezeichneten Audio zu bestimmen. In diesen Ausführungsformen ist das Sprachbefehlssystem 106 dazu konfiguriert, diese Audiodaten zu analysieren, um Tonänderungen oder Muster in Sprachmustern zu identifizieren, die Emotionen wie Glück, Frustration, Wut usw. anzeigen. In einigen Fällen werden diese Daten unter Verwendung von maschinellem Lernen oder künstlicher Intelligenz, die erfasstes Audio vom Fahrzeug 102 mit modelliertem Audio, das Emotionen anzeigt, abgleicht, analysiert. Insgesamt kann das Sprachbefehlssystem 106 auf bestimmte Audiomuster trainiert werden und ähnliche Audiomuster in dem aufgezeichneten Audio identifizieren.
Zusammen liefern die Kamera 108 und das Sprachbefehlssystem 106 eine Vielzahl von Eingaben an das System 110, die auf eine Emotion und/oder ein Gefühl des Benutzers 112 analysiert werden können.
Allgemein beschrieben ist das System 110 ein Rechensystem für spezielle Zwecke, das einen Prozessor 114 und einen Speicher 116 umfassen kann. Im Allgemeinen führt der Prozessor 114 Anweisungen in dem Speicher 116 aus, um Funktionalitäten in Bezug auf eine Emotions- oder Gefühlserkennung eines Benutzers und Identifizierung von Benutzeraktionen, die mit der Emotions- oder Gefühlserkennung des Benutzers korrelieren, sowie Fahrzeugmerkmale, die mit den Benutzeraktionen assoziiert sind, bereitzustellen. In einigen Ausführungsformen wird die Emotion oder das Gefühl des Benutzers zuerst durch das System 110 anhand von Audio und/oder Video erkannt. In verschiedenen Ausführungsformen ist das Audio und/oder Video, das von dem System 110 analysiert wird, mit Zeitinformationen assoziiert.
Das System 110 kann dann Benutzerinteraktionen, die von verschiedenen Komponenten des Fahrzeugs 102 verfolgt werden, auswerten. Beispielsweise kann das HMI 104 Benutzeraktionen verfolgen und diese Benutzeraktionen in Bezug auf die Zeit aufzeichnen. Somit können, wenn eine Emotion und/oder ein Gefühl von Interesse durch das System 110 erkannt wird, relevante Benutzerinteraktionen basierend auf einer zeitlichen Entsprechung identifiziert werden. Das heißt, da sowohl die identifizierten Emotionen als auch die Benutzeraktionen in Bezug auf die Zeit verfolgt werden, kann gefolgert werden, dass Benutzeraktionen, die gleichzeitig mit den erfassten Emotionen auftreten, die Ursache für die Emotionen des Benutzers sind. In einigen Ausführungsformen sind Benutzeraktionen sowohl unmittelbar vor als auch unmittelbar nach dem Ausdrücken einer Emotion durch einen Benutzer relevant und werden für die weitere Analyse identifiziert.
In einigen Ausführungsformen ist das System 110 umfassend dazu konfiguriert, Bilder, Video und/oder Audio zu analysieren, um eine Emotion oder ein Gefühl des Benutzers zu bestimmen, wenn dieser mit einem oder mehreren Merkmalen des Fahrzeugs interagiert. Das System 110 kann auch Benutzeraktionen identifizieren, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde. Um sicherzugehen, beziehen sich die Benutzeraktionen auf das eine oder die mehreren Fahrzeugmerkmale. Das System 110 kann dann zumindest eine der Benutzeraktionen und ein oder mehrere Fahrzeugmerkmale mit der Emotion oder dem Gefühl einstufen sowie die Benutzeraktionen, das eine oder die mehreren Fahrzeugmerkmale und die Emotion oder das Gefühl speichern.
Genauer ist der Speicher 116 des Systems 110 mit spezifischen Modulen konfiguriert, die gemeinsam die hierin offenbarten Funktionalitäten bereitstellen. Beispielsweise kann der Speicher 116 ein Audioanalysemodul 118, ein Video-/Bildanalysemodul 120, ein Emotionserkennungs- und -einstufungsmodul 122, ein Ereignissammlungs- und - analysemodul 124 und ein Ereigniskorrelationsmodul 126 umfassen. Um sicherzugehen, können diese Module in einigen Fällen miteinander kombiniert werden. Beispielsweise könnten das Emotionserkennungs- und -einstufungsmodul 122, das Ereignissammlungs- und - analysemodul 124 und das Ereigniskorrelationsmodul 126 zu einem einzigen Modul kombiniert werden.
In verschiedenen Ausführungsformen kann der Prozessor 114 das Sprachbefehlssystem 106 veranlassen, akustische Daten aus dem Fahrzeug 102 unter Verwendung des Audioanalysemoduls 118 zu sammeln. In einigen Ausführungsformen kann der Prozessor 114 die Kamera 108 veranlassen, Bild- oder Videodaten aus dem Fahrzeug 102 unter Verwendung des Video-/Bildanalysemoduls 120 zu sammeln. In einer oder mehreren Ausführungsformen werden Video- und/oder Audiodaten vom Benutzer 112 mit ausdrücklicher Benutzererlaubnis gesammelt. Gemäß einigen Ausführungsformen werden die Video- und/oder Audiodaten auf eine kontinuierliche Weise gesammelt, wenn sich der Benutzer 112 in dem Fahrzeug 102 befindet.
Wie vorstehend erwähnt, können das Audio und/oder das Video aufgenommen und mit einem Zeitstempel versehen werden. In einigen Fällen kann das Audio und/oder das Video zur Analyse in dem Speicher 116 gespeichert werden. Einige Ausführungsformen nutzen eher einen temporären Cache-Speicher als eine langfristige oder dauerhafte Speicherung. In anderen Fällen können das Audio und/oder das Video zur Verarbeitung an die Analysecloud 113 übertragen werden, wie nachfolgend detaillierter erörtert. In anderen Ausführungsformen werden die Audio- und/oder Videodaten vom System 110 on-the-fly oder in Echtzeit ausgewertet. Entsprechende Benutzeraktionen und Fahrzeugmerkmale, die in die Benutzeraktionen einbezogen sind, werden in einigen Fällen ebenfalls in Echtzeit identifiziert. Ein beispielhaftes Echtzeitverfahren ist unter Bezugnahme auf 3 veranschaulicht und beschrieben.
In einer oder mehreren Ausführungsformen kann das Emotionserkennungs- und - einstufungsmodul 122 ausgeführt werden, um die Audio- und/oder Videodaten für Emotionen, die vom Benutzer 112 ausgedrückt werden, auszuwerten. In Bezug auf die Audiodaten kann das Emotionserkennungs- und -einstufungsmodul 122 jeden geeigneten Prozess zum Auswerten der Audiodaten für Emotionen nutzen. Dies kann die Verwendung einer Verarbeitung in natürlicher Sprache beinhalten, um Schlüsselwörter oder Phrasen zu identifizieren, die auf eine Emotion hinweisen. Wenn der Benutzer 112 beispielsweise die Phrase „Wow, dieses Programm ist einfach schrecklich“ sagt, kann das Emotionserkennungs- und -einstufungsmodul 122 das Wort „schrecklich“ identifizieren und daraus schließen, dass der Benutzer 112 unzufrieden ist. Das Wort „Programm“ kann auch dazu verwendet werden, zu identifizieren, dass sich die Emotion auf eine Anwendung und nicht auf Hardware bezieht.
In Bezug auf Video kann das Emotionserkennungs- und -einstufungsmodul 122 ein Video oder Bilder auswerten, die von einem Gesicht des Benutzers 112 erhalten wurden, und Gesichtserkennung verwenden, um emotionale Gesichtsausdrücke des Benutzers 112 zu identifizieren. Diese Videodaten können unabhängig von oder zusammen mit den Audiodaten verwendet werden. In einigen Ausführungsformen kann ein Datentyp als eine Überprüfung oder Verifizierung eines anderen Datentyps verwendet werden. In diesem Beispiel zeigt die Analyse des Videos an, dass der Benutzer 112 einen unzufriedenen Gesichtsausdruck aufweist, während der Satz „Wow, dieses Programm ist einfach schrecklich“ gesagt wurde. Somit bestätigen die Videodaten die aus den Audiodaten abgeleitete Emotion.
Wenn Audio- und/oder Videodaten gesammelt werden, kann das Ereignissammlungs- und - analysemodul 124 dazu verwendet werden, Benutzeraktionen, die innerhalb des Fahrzeugs 102 stattfinden, zu verfolgen und mit einem Zeitstempel zu versehen. In einigen Ausführungsformen beinhalten diese Benutzeraktionen Interaktionen mit der HMI 104. In anderen Fällen treten die Benutzeraktionen in Bezug auf andere Fahrzeugmerkmale auf, wie etwa Gasgeben, Bremsen, Richtung anzeigen usw. Somit kann, um diese Benutzeraktionen zu verfolgen, das Ereignissammlungs- und -analysemodul 124 mit anderen Steuermodulen des Fahrzeugs 102, die derartige Daten verfolgen, kommunizieren. Beispielsweise kann das Ereignissammlungs- und -analysemodul 124 mit einem elektronischen Steuermodul (electronic control module - ECM) 130 des Fahrzeugs 102, das Benutzermerkmale wie Gasgeben, Bremsen, Richtung anzeigen usw. erfasst oder vermittelt, kommunizieren.
Wie bei anderen Daten, wie etwa den Audio-/Videodaten, können die Benutzeraktions- und/oder -interaktionsdaten in Echtzeit verarbeitet werden. In anderen Ausführungsformen können die Benutzeraktions- und/oder -interaktionsdaten zeitgestempelt und zur späteren Analyse gespeichert sein.
Sobald eine Emotion durch das Emotionserkennungs- und -einstufungsmodul 122 identifiziert und eingestuft wurde und Benutzeraktionen durch das Ereignissammlungs- und -analysemodul 124 basierend auf der zeitlichen Korrespondenz identifiziert wurden, wird das Ereigniskorrelationsmodul 126 durch den Prozessor 114 ausgeführt. In einigen Ausführungsformen kann das Ereigniskorrelationsmodul 126 Benutzeraktionen und entsprechende Fahrzeugmerkmale, die mit der identifizierten Emotion korreliert sind, identifizieren. Beispielsweise, wenn die Audio- und/oder Videodaten anzeigen, dass der Benutzer 112 unzufrieden ist, kann das Ereigniskorrelationsmodul 126 nach Benutzeraktionen suchen, die vom Benutzer 112 unmittelbar vor dem Ausdrücken der Emotion durch den Benutzer 112 ausgeführt wurden. In einem beispielhaften Anwendungsfall werden die Benutzeraktionen relativ zur HMI 104 ausgeführt. Wenn somit der Benutzer 112 die HMI 104 zur gleichen Zeit verwendet, zu der der Benutzer Unzufriedenheit ausdrückt, kann das Ereigniskorrelationsmodul 126 identifizieren, dass die Benutzeraktionen relativ zu etwas, das auf der HMI 104 erfolgt, ausgeführt wurden. In einem Beispiel versucht der Benutzer 112, ein über die HMI 104 bereitgestelltes Navigationsprogramm unmittelbar vor dem Ausdrücken von Unzufriedenheit durch den Benutzer zu nutzen. Diese Zeitkorrelationen werden erneut ermöglicht, indem Benutzeraktionen innerhalb des Fahrzeugs 102 in Bezug auf die Zeit verfolgt werden. In diesem Beispiel verwendete der Benutzer 112 das Navigationsprogramm, das durch die HMI 104 bereitgestellt wurde, wie aus der Analyse der Benutzerdaten, die durch das Ereignissammlungs- und -analysemodul 124 gesammelt wurden, identifiziert.
Das System 110 kann diese korrelierten Daten zum Zwecke der Berichterstattung zusammen speichern. Beispielsweise speichert das System 110 die Emotionen/Gefühle in Kombination mit den Benutzeraktionen und Fahrzeugmerkmalen, die als mit den Emotionen/Gefühlen assoziiert identifiziert wurden. In einer Ausführungsform kann eine Protokolldatei zum Verfolgen von Benutzeraktionen in Bezug auf Fahrzeugmerkmale mit Informationen, die Emotionen/Gefühle angeben, modifiziert oder erweitert werden. In einem beispielhaften Anwendungsfall kann eine Protokolldatei, in der Benutzeraktionen in Bezug auf die HMI 104 gespeichert sind, um Metadaten erweitert werden. In diesem Beispiel interagiert ein Benutzer mit einem auf der HMI 104 angezeigten Programm. Wenn der Benutzer mit diesem Fahrzeugmerkmal interagiert, wird eine Protokolldatei erstellt, die Ereignisse wie das Öffnen des Programms durch den Benutzer, welche Eingabe während der Programmausführung empfangen wird und das Programmverhalten, um nur einige zu nennen, protokolliert Wenn eine Benutzeraktion zum Öffnen oder Starten des Programms mit einer negativen Emotion verknüpft ist, kann die Protokolldatei mit Metadaten erweitert werden, die angeben, dass die Benutzeraktion mit einer negativen Emotion verknüpft war.
Wie vorstehend erwähnt, können die Funktionalitäten des Systems 110 in Bezug auf die Verarbeitung von Audio und/oder Video für eine Emotion oder ein Gefühl durch die Analysecloud 113 umgesetzt werden. Das heißt, die Analysecloud 113 kann mit den vorstehend in Bezug auf das Emotionserkennungs- und -einstufungsmodul 122, das Ereignissammlungs- und -analysemodul 124 und das Ereigniskorrelationsmodul 126 offenbarten Funktionalitäten umgesetzt werden. In diesen Ausführungsformen kann das System 110 die Fähigkeit beibehalten, Audio- und/oder Videodaten zu empfangen. Das System 110 kann diese Daten dann zur Analyse und Einstufung über ein Netzwerk 134 an die Analysecloud 113 übertragen. Im Allgemeinen ermöglicht es das Netzwerk 134 Komponenten innerhalb der Architektur 100, miteinander zu kommunizieren. Das Netzwerk 134 kann eine beliebige oder eine Kombination aus mehreren verschiedenen Arten von Netzwerken, wie etwa Kabelnetzwerke, das Internet, Mobilfunknetze, drahtlose Netzwerke und andere private und/oder öffentliche Netzwerke, beinhalten. In einigen Fällen kann das Netzwerk 134 Mobilfunk, WiFi oder WiFi direct beinhalten.
In verschiedenen Ausführungsformen können Ingenieure diese erweiterten Protokolldateien verwenden, um Verbesserungen oder Änderungen an Merkmalen des Fahrzeugs 102 zu bestimmen. Wie bereits erwähnt, können diese Protokolldateien anonymisiert werden, um die Identität eines Benutzers zu schützen.
Wenn die Änderungen in Softwaremodulen des Fahrzeugs 102 auftreten, können die Verbesserungen zur Installation über das Netzwerk 134 an das Fahrzeug 102 übertragen werden. In dem vorstehenden Beispiel können Änderungen an dem Programm, die ein Problem mit dem Programm beheben, an das Fahrzeug 102 übertragen werden. Das Programm kann dann automatisch aktualisiert werden. Somit ist in einigen Ausführungsformen das System 110 dazu konfiguriert, eine beliebige Firmware und/oder Hardware des Fahrzeugs als Reaktion auf das Empfangen einer Aktualisierung basierend auf den Aktionen und dem einen oder den mehreren Fahrzeugmerkmalen, die mit der Emotion oder dem Gefühl eingestuft wurden, direkt oder indirekt zu aktualisieren. In einem beispielhaften Anwendungsfall kann, wenn festgestellt wird, dass der Benutzer eine negative Emotion als Reaktion auf die Verwendung eines Navigationsprogramms aufweist, ein Fahrzeugdesigner feststellen, dass der Benutzer mit einer Funktionalität des Navigationsprogramms, die eine ungenaue Navigation erzeugt hat, unzufrieden war. Anschließend wird eine Aktualisierung des Navigationsprogramms erstellt und an das Fahrzeug übertragen. Das System 110 kann das Navigationsprogramm auf eine automatisierte Weise, die für den Benutzer transparent ist, aktualisieren.
Veranschaulichende Verfahren und Vorgänge
Die folgenden Beschreibungen stellen zusätzliche Details zu Funktions- und methodischen Aspekten der vorliegenden Offenbarung bereit, die durch die vorstehend offenbarten Architekturen und/oder Systeme bereitgestellt werden. 2 ist ein Ablaufdiagramm eines beispielhaften Verfahrens der vorliegenden Offenbarung. Das Verfahren umfasst im Allgemeinen einen Schritt 202 zum Sammeln von zumindest einem von Bildern, Video oder Audio eines Benutzers, wenn ein Fahrzeug betrieben wird. Wie vorstehend dargelegt, kann die Sammlung von Audio und/oder Bildern unter Verwendung einer Bordkamera und/oder eines Sprachbefehlssystems erreicht werden. In einem anderen Beispiel kann das Audio und/oder Video (z. B. Bilder) von einer mobilen Vorrichtung eines Insassen innerhalb des Fahrzeugs erhalten werden (was die mobile Vorrichtung des Benutzers oder die mobile Vorrichtung einer anderen Person in dem Fahrzeug beinhalten kann). Sobald das Audio und/oder die Bilder gesammelt wurden, beinhaltet das Verfahren einen Schritt 204 zum Analysieren des zumindest einen von Bildern, Video oder Audio, um eine Emotion oder ein Gefühl des Benutzers zu bestimmen, wenn dieser mit einem oder mehreren Fahrzeugmerkmalen interagiert. Um sicherzugehen, kann die Identifizieren von Schlüsselwörtern oder Phrasen beinhalten, die Emotionen anzeigen, sowie Änderungen des Dezibelpegels oder andere akustische Geräusche, die von einem Benutzer erzeugt werden, wie etwa ein Keuchen oder ein Schrei. Gesichtserkennung kann dazu verwendet werden, Gesichtsausdrücke zu identifizieren, die Emotionen anzeigen.
In einer Ausführungsform umfasst das Analysieren von Bildern, Video oder Audio ferner kontinuierliches Aufzeichnen und/oder Analysieren der gesprochenen Wörter des Benutzers und kontinuierliches Erhalten und/oder Analysieren von Video des Gesichts des Benutzers. In einigen Fällen umfasst das Analysieren des zumindest einen von Bildern, Video oder Audio ein beliebiges von Auswerten der gesprochenen Wörter für Schlüsselwörter oder Phrasen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen, und/oder Anwenden von Gesichtserkennung, um Gesichtsausdrücke in dem Video zu bestimmen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen.
In einigen Ausführungsformen beinhaltet das Verfahren einen Schritt 206 zum Identifizieren von Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde. Dies kann das Identifizieren von Informationen in einer Protokolldatei basierend auf einem Zeitrahmen, der in dem Audio und/oder Video identifiziert wurde, beinhalten. Wenn beispielsweise Audio mit einem Zeitstempel assoziiert ist, können Benutzeraktionen, die diesem Zeitstempel vorausgehen (z. B. Zeitpunkt), bestimmt werden. Erneut können die Benutzeraktionen eine Benutzereingabe, die in eine Mensch-Maschine-Schnittstelle des Fahrzeugs bereitgestellt wird, oder Nutzung einer physischen Komponente des Fahrzeugs durch den Benutzer umfassen. Beispielsweise kann der Benutzer ein Spiegelsteuersystem oder ein Klimasteuersystem des Fahrzeugs nutzen.
Wenn das Verfahren in Echtzeit oder nahezu in Echtzeit ausgeführt wird (wie etwa in dem Verfahren aus 3), muss sich dieser Prozess nicht unbedingt auf die Zeitstempel stützen.
Wenn jedoch bestimmt wurde, dass eine Emotion oder ein Gefühl erkannt wurde, können alle Benutzeraktionen, die dieser Emotion oder diesem Gefühl vorausgehen, für einen Zeitrahmen, der vor der Emotion liegt, identifiziert werden. Beispielsweise kann das Verfahren Überprüfen von Benutzeraktionen, die der Emotion oder dem Gefühl um 30 Sekunden vorausgehen, beinhalten. Andere Zeitrahmen als 30 Sekunden können ebenfalls verwendet werden. Wenn somit eine Emotion durch den Benutzer ausgedrückt wird, werden Benutzeraktionen, die irgendwo im Fahrzeug auftreten, für einen Zeitrahmen, der der Emotion vorausgeht, analysiert. Wie bereits erwähnt, beziehen sich die Benutzeraktionen auf das eine oder die mehreren F ahrzeugmerkmal e.
Danach beinhaltet das Verfahren einen Schritt 208 zum Einstufen von zumindest einer der Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen mit der Emotion oder dem Gefühl. Danach kann das Verfahren einen Schritt 210 zum Speichern der Benutzeraktionen, des einen oder der mehreren Fahrzeugmerkmale und der Emotion oder des Gefühls beinhalten.
In einigen Ausführungsformen kann das Verfahren einen optionalen Schritt 212 zum automatischen Aktualisieren von Firmware und/oder Hardware des Fahrzeugs als Reaktion auf das Empfangen einer Aktualisierung basierend auf den Aktionen und dem einen oder den mehreren Fahrzeugmerkmalen, die mit der Emotion oder dem Gefühl eingestuft wurden, beinhalten. Wie vorstehend dargelegt, können diese Aktualisierungen von Fahrzeugingenieuren und/oder anderen Fahrzeugdesignern vorbereitet werden und über eine Netzwerkverbindung an das Fahrzeug übertragen werden.
3 veranschaulicht ein weiteres beispielhaftes Verfahren der vorliegenden Offenbarung. Das Verfahren aus 3 ist mit einer Umsetzung in Echtzeit oder nahezu in Echtzeit assoziiert. Das Verfahren kann einen Schritt 302 zum Sammeln, in Echtzeit, von Bildern, Video oder Audio eines Benutzers in Bezug auf das eine oder die mehreren Fahrzeugmerkmale eines Fahrzeugs umfassen. Danach beinhaltet das Verfahren einen Schritt 304 zum Identifizieren, in Echtzeit, von positiven oder negativen Emotionen oder Gefühlen des Benutzers in Bezug auf das eine oder die mehreren Fahrzeugmerkmale und Verwendung des Bildes, Videos oder Audios.
In verschiedenen Ausführungsformen kann das Verfahren einen Schritt 306 zum Identifizieren, in Echtzeit, von Benutzeraktionen, die mit dem einen oder den mehreren Fahrzeugmerkmalen des Fahrzeugs assoziiert sind, die mit den positiven oder negativen Emotionen oder Gefühlen assoziiert sind, sowie einen Schritt 308 zum Speichern eines Teils der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios mit den Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen beinhalten. Wie vorstehende dargelegt, können Benutzeraktionen, die innerhalb eines Zeitrahmens auftreten, der der identifizierten Emotion unmittelbar vorausgeht, analysiert werden.
Um sicherzugehen, kann das Verfahren Einstufen von Sprachbefehlen aus dem gesammelten Audio als mit einer positiven oder negativen Emotion assoziiert beinhalten. Zusätzlich, wenn die Benutzeraktion mit einer negativen Emotion oder einem negativen Gefühl assoziiert ist, wird die Benutzererfahrung zur Prüfung und Verbesserung markiert.
In verschiedenen Ausführungsformen kann das Verfahren einen Schritt 310 zum Anonymisieren eines beliebiges der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios mit den Benutzeraktionen, um die Privatsphäre des Benutzers zu schützen, beinhalten. Somit können die Daten, die gespeichert und/oder übertragen werden, anonymisiert werden, während wichtige Fahrzeugattribute wie Jahr, Modell und relevanter Optionsinhalt und Software-/Hardware-Versionen trotzdem beibehalten werden.
Beispiele
In einigen Fällen können die folgenden Beispiele zusammen oder separat durch die in dieser Schrift beschriebenen Systeme und Verfahren umgesetzt werden.
Beispiel 1 kann ein Verfahren beinhalten, umfassend: Empfangen, durch einen Computer, der zumindest einen Prozessor umfasst, der mit zumindest einem Speicher in Kommunikation steht, von zumindest einem Bild, Video oder Audio eines Benutzers, wenn ein Fahrzeug betrieben wird; Bestimmen, durch den Computer und basierend auf dem zumindest einen Bild, Video oder Audio, einer Emotion oder eines Gefühls des Benutzers, wenn dieser mit einem oder mehreren Fahrzeugmerkmalen interagiert; Bestimmen, durch den Computer, von Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, wobei sich die Benutzeraktionen auf ein oder mehrere Fahrzeugmerkmale beziehen; und Bestimmen, durch den Computer, eines Zusammenhangs zwischen zumindest einer der Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen mit der Emotion oder dem Gefühl.
Beispiel 2 kann das Verfahren nach Anspruch 1 beinhalten, ferner umfassend Speichern der Benutzeraktionen, des einen oder der mehreren Fahrzeugmerkmale und der Emotion oder des Gefühls.
Beispiel 3 kann das Verfahren nach Anspruch 1 und/oder einigen anderen Beispielen hierin beinhalten, wobei das Sammeln von zumindest einem Bild, Video oder Audio kontinuierliches Aufzeichnen von gesprochenen Wörtern des Benutzers und kontinuierliches Erhalten von Video des Benutzers umfasst.
Beispiel 4 kann das Verfahren nach Anspruch 3 und/oder einigen anderen Beispielen hierin beinhalten, wobei das Analysieren des zumindest einen Bildes, Videos oder Audios ein beliebiges der Folgenden umfasst: Bewerten der gesprochenen Wörter auf Schlüsselwörter oder Phrasen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen; oder Anwenden von Gesichtserkennung, um Gesichtsausdrücke in dem Video zu bestimmen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen.
Beispiel 5 kann das Verfahren nach Anspruch 1 und/oder einigen anderen Beispielen hierin beinhalten, wobei die Benutzeraktionen ein beliebiges von Benutzereingabe, die in eine Mensch-Maschine-Schnittstelle des Fahrzeugs bereitgestellt wird, oder Nutzung einer physischen Komponente des Fahrzeugs durch den Benutzer umfasst.
Beispiel 6 kann das Verfahren nach Anspruch 1 und/oder einigen anderen Beispielen hierin beinhalten, ferner umfassend Identifizieren der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Beispiel 7 kann das Verfahren nach Anspruch 6 und/oder einigen anderen Beispielen hierin beinhalten, ferner umfassend Speichern der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Beispiel 8 kann ein Verfahren beinhalten, umfassend: Sammeln, in Echtzeit, von Bildern, Video oder Audio eines Benutzers in Bezug auf das eine oder die mehreren Merkmale eines Fahrzeugs; Identifizieren, in Echtzeit, von positiven oder negativen Emotionen oder Gefühlen des Benutzers in Bezug auf das eine oder die mehreren Fahrzeugmerkmale und Verwendung des Bildes, Videos oder Audios; Identifizieren, in Echtzeit, von Benutzeraktionen, die mit dem einen oder den mehreren Fahrzeugmerkmalen des Fahrzeugs assoziiert sind, die mit den positiven oder negativen Emotionen oder Gefühlen assoziiert sind; und Speichern eines Teils der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios mit den Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen.
Beispiel 9 kann das Verfahren nach Anspruch 8 beinhalten, ferner umfassend Einstufen von Sprachbefehlen aus dem gesammelten Audio als mit einer positiven oder negativen Emotion assoziiert.
Beispiel 10 kann das Verfahren nach Anspruch 9 und/oder einigen anderen Beispielen hierin beinhalten, wobei, wenn die Benutzeraktion mit einer negativen Emotion oder einem negativen Gefühl assoziiert ist, das eine oder die mehreren Fahrzeugmerkmale, die mit der Benutzeraktion assoziiert sind, zur Prüfung und Verbesserung markiert werden.
Beispiel 11 kann das Verfahren nach Anspruch 8 und/oder einigen anderen Beispielen hierin beinhalten, wobei die Aktionen eine Benutzereingabe, die durch eine Mensch-Maschine-Schnittstelle des Fahrzeugs empfangen wird, umfassen.
Beispiel 12 kann das Verfahren nach Anspruch 8 und/oder einigen anderen Beispielen hierin beinhalten, wobei der Teil der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios für einen Zeitraum vor und nach einem Zeitpunkt, der mit den Benutzeraktionen assoziiert ist, erhalten wird.
Beispiel 13 kann ein System beinhalten, umfassend: eine Mensch-Maschine-Schnittstelle eines Fahrzeugs, die dazu konfiguriert ist, eine Benutzereingabe zu empfangen, während das Fahrzeug betrieben wird; ein Sprachbefehlssystem, das dazu konfiguriert ist, Benutzeraudio des Benutzers zu empfangen, während das Fahrzeug betrieben wird; eine Kamera, die dazu konfiguriert ist, Bilder des Benutzers zu erhalten, während das Fahrzeug betrieben wird; und ein Echtzeit-Benutzerinteraktionsanalysesystem mit einem Prozessor und einem Speicher, wobei der Prozessor Anweisungen, die in dem Speicher gespeichert sind, für Folgendes ausführt: ein beliebiges von dem Benutzeraudio oder den Bildern des Benutzers, das mit einer Emotion oder einem Gefühl assoziiert ist, zu identifizieren; die Benutzeraktionen, die mit dem Benutzeraudio oder den Bildern des Benutzers assoziiert sind, zu identifizieren, und die Benutzereingabe zusammen mit dem Benutzeraudio oder den Bildern des Benutzers und der Emotion oder dem Gefühl zu speichern.
Beispiel 14 kann das System nach Anspruch 13 beinhalten, wobei der Prozessor ferner die Anweisungen für Folgendes ausführt: eine beliebige der Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers identifiziert wurde, zu identifizieren; und die Benutzeraktionen, die dem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zu speichern.
Beispiel 15 kann das System nach Anspruch 13 und/oder einigen anderen Beispielen hierin beinhalten, wobei der Prozessor die Anweisungen ausführt, um das Benutzeraudio zu analysieren, um gesprochene Wörter des Benutzers, die mit einer Emotion oder einem Gefühl assoziiert sind, zu identifizieren.
Beispiel 16 kann das System nach Anspruch 15 und/oder einigen anderen Beispielen hierin beinhalten, wobei der Prozessor ferner die Anweisungen ausführt, um die Bilder zu analysieren, um Gesichtsausdrücke des Benutzers, die mit einer Emotion oder einem Gefühl assoziiert sind, zu identifizieren.
Beispiel 17 kann das System nach Anspruch 16 und/oder einigen anderen Beispielen hierin beinhalten, wobei der Prozessor ferner die Anweisungen ausführt, um die Benutzereingabe, die mit der Emotion oder dem Gefühl assoziiert ist, durch Analysieren der gesprochenen Wörter des Benutzers oder der Gesichtsausdrücke des Benutzers, gleichzeitig mit der Benutzereingabe ausgeführt werden, die durch die Mensch-Maschine-Schnittstelle empfangen wird, zu identifizieren.
Beispiel 18 kann das System nach Anspruch 13 und/oder einigen anderen Beispielen hierin beinhalten, wobei die Benutzeraktionen ein beliebiges von Benutzereingabe, die in eine Mensch-Maschine-Schnittstelle des Fahrzeugs bereitgestellt wird, oder Nutzung einer physischen Komponente des Fahrzeugs durch den Benutzer umfasst.
Beispiel 19 kann das System nach Anspruch 13 und/oder einigen anderen Beispielen hierin beinhalten, ferner umfassend Identifizieren der Benutzeraktionen, die nach einem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Beispiel 20 kann das System nach Anspruch 19 und/oder einigen anderen Beispielen hierin beinhalten, ferner umfassend Speichern der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zusammen mit den Benutzeraktionen, die vor dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zusammen mit der Emotion oder dem Gefühl.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Bestandteil davon bilden und konkrete Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung praktisch umgesetzt werden kann. Es versteht sich, dass auch andere Umsetzungen verwendet und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Eigenschaft, Struktur oder Merkmal aufweisen kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Charakteristikum aufweisen muss. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Wenn ein(e) bestimmte(s) Eigenschaft, Struktur oder Merkmal in Verbindung mit einer Ausführungsform beschrieben ist, wird der Fachmann ein(e) derartige(s) Eigenschaft, Struktur oder Merkmal in Verbindung mit anderen Ausführungsformen erkennen, ob diese nun ausdrücklich beschrieben sind oder nicht.
Umsetzungen der in dieser Schrift offenbarten Systeme, Anordnungen, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie sie in dieser Schrift erörtert sind. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können außerdem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, in denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Somit können Umsetzungen der vorliegenden Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Zu Computerspeichermedien (-vorrichtungen) zählen RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (Solid State Drives - SSDs) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenwechselspeicher (Phase-Change Memory - PCM), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das dazu verwendet werden kann, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine beliebige Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien eingeschlossen sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung auf einem Prozessor bewirken, dass ein Universalcomputer, ein Spezialcomputer oder eine Spezialverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Bei den computerausführbaren Anweisungen kann es sich beispielsweise um Binärdateien, Anweisungen in einem Zwischenformat, wie etwa Assemblersprache, oder auch um Quellcode handeln. Der Gegenstand wurde zwar in für Strukturmerkmale und/oder methodische Maßnahmen spezifischer Sprache beschrieben, doch versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Maßnahmen beschränkt ist. Die beschriebenen Merkmale und Maßnahmen sind vielmehr als beispielhafte Umsetzungsformen der Ansprüche offenbart.
Der Fachmann wird erkennen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, einschließlich Armaturenbrett-Fahrzeugcomputern, PCs, Desktop-Computern, Laptopcomputern, Nachrichtenprozessoren, Handheld-Vorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedener Speichervorrichtungen und dergleichen. Die Offenbarung kann zudem in verteilten Systemumgebungen umgesetzt werden, in denen sowohl lokale Computersysteme als auch Remote-Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer verteilten Systemumgebung können sich Programmmodule sowohl in den lokalen Speichervorrichtungen als auch den Remote-Speichervorrichtungen befinden.
Ferner können die in hierin beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der hierin beschriebenen Systeme und Prozesse ausführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Ansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird verstehen, dass auf Komponenten mit unterschiedlichen Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch der Funktion nach.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um zumindest einen Teil ihrer Funktionen auszuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann Hardware-Logikschaltungen/elektrische Schaltungen beinhalten, die durch den Computercode gesteuert werden. Diese beispielhaften Vorrichtungen sind in dieser Schrift zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können auch in anderweitigen Vorrichtungsarten umgesetzt werden, wie es dem Fachmann auf dem bzw. den einschlägigen Gebiet(en) bekannt ist.
Zumindest einige Ausführungsformen der vorliegenden Offenbarung sind auf Computerprogrammprodukte ausgerichtet, die eine derartige Logik (z. B. in Form von Software) umfassen, die in einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software bewirkt bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen, dass eine Vorrichtung wie in dieser Schrift beschrieben betrieben wird.
Während vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele und nicht als Einschränkung dienen. Der Fachmann auf dem einschlägigen Gebiet wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten Breite und Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt, sondern lediglich gemäß den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die vorstehende Beschreibung ist zum Zwecke der Veranschaulichung und Beschreibung dargelegt worden. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die genaue offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehre möglich. Ferner ist anzumerken, dass beliebige oder alle der vorstehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybrid-Umsetzungen der vorliegenden Offenbarung zu bilden. Beispielsweise können alle Funktionen, die in Bezug auf eine bestimmte Vorrichtung oder Komponente beschrieben wurden, von anderen Vorrichtung oder Komponenten durchgeführt werden. Des Weiteren wurden zwar konkrete Vorrichtungseigenschaften beschrieben, doch können sich Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Des Weiteren wurden Ausführungsformen zwar in für Strukturmerkmale und/oder methodische Maßnahmen spezifischer Sprache beschrieben, doch versteht es sich, dass die Offenbarung nicht notwendigerweise auf die konkreten Merkmale oder Maßnahmen beschränkt ist. Stattdessen sind die konkreten Merkmale und Handlungen als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart. Sprache, die konditionale Zusammenhänge ausdrückt, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermitteln, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Umsetzungen diese nicht beinhalten können, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit ist eine Sprache, die konditionale Zusammenhänge ausdrückt, nicht so gemeint, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Empfangen, durch einen Computer, der zumindest einen Prozessor umfasst, der mit zumindest einem Speicher in Kommunikation steht, von zumindest einem Bild, Video oder Audio eines Benutzers, wenn ein Fahrzeug betrieben wird; Bestimmen, durch den Computer und basierend auf dem zumindest einen Bild, Video oder Audio, einer Emotion oder eines Gefühls des Benutzers, wenn dieser mit einem oder mehreren Fahrzeugmerkmalen interagiert; Bestimmen, durch den Computer, von Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, wobei sich die Benutzeraktionen auf ein oder mehrere Fahrzeugmerkmale beziehen; und Bestimmen, durch den Computer, eines Zusammenhangs zwischen zumindest einer der Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen mit der Emotion oder dem Gefühl.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Speichern der Benutzeraktionen, des einen oder der mehreren Fahrzeugmerkmale und der Emotion oder des Gefühls.
Gemäß einer Ausführungsform umfasst das Sammeln von zumindest einem Bild, Video oder Audio kontinuierliches Aufzeichnen von gesprochenen Wörtern des Benutzers und kontinuierliches Erhalten von Video des Benutzers.
Gemäß einer Ausführungsform umfasst das Analysieren des zumindest einen Bildes, Videos oder Audios ein beliebiges der Folgenden: Bewerten der gesprochenen Wörter auf Schlüsselwörter oder Phrasen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen; oder Anwenden von Gesichtserkennung, um Gesichtsausdrücke in dem Video zu bestimmen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen.
Gemäß einer Ausführungsform umfassen die Benutzeraktionen ein beliebiges von Benutzereingabe, die in eine Mensch-Maschine-Schnittstelle des Fahrzeugs bereitgestellt wird, oder Nutzung einer physischen Komponente des Fahrzeugs durch den Benutzer.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Identifizieren der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Speichern der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Sammeln, in Echtzeit, von Bildern, Video oder Audio eines Benutzers in Bezug auf das eine oder die mehreren Merkmale eines Fahrzeugs; Identifizieren, in Echtzeit, von positiven oder negativen Emotionen oder Gefühlen des Benutzers in Bezug auf das eine oder die mehreren Fahrzeugmerkmale und Verwendung des Bildes, Videos oder Audios; Identifizieren, in Echtzeit, von Benutzeraktionen, die mit dem einen oder den mehreren Fahrzeugmerkmalen des Fahrzeugs assoziiert sind, die mit den positiven oder negativen Emotionen oder Gefühlen assoziiert sind; und Speichern eines Teils der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios mit den Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Einstufen von Sprachbefehlen aus dem gesammelten Audio als mit einer positiven oder negativen Emotion assoziiert.
Gemäß einer Ausführungsform werden, wenn die Benutzeraktion mit einer negativen Emotion oder einem negativen Gefühl assoziiert ist, das eine oder die mehreren Fahrzeugmerkmale, die mit der Benutzeraktion assoziiert sind, zur Prüfung und Verbesserung markiert.
Gemäß einer Ausführungsform umfassen die Aktionen eine Benutzereingabe, die durch eine Mensch-Maschine-Schnittstelle des Fahrzeugs empfangen wird.
Gemäß einer Ausführungsform wird der Teil der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios für einen Zeitraum vor und nach einem Zeitpunkt, der mit den Benutzeraktionen assoziiert ist, erhalten.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, aufweisend eine Mensch-Maschine-Schnittstelle eines Fahrzeugs, die dazu konfiguriert ist, eine Benutzereingabe zu empfangen, während das Fahrzeug betrieben wird; ein Sprachbefehlssystem, das dazu konfiguriert ist, Benutzeraudio des Benutzers zu empfangen, während das Fahrzeug betrieben wird; eine Kamera, die dazu konfiguriert ist, Bilder des Benutzers zu erhalten, während das Fahrzeug betrieben wird; und ein Echtzeit-Benutzerinteraktionsanalysesystem mit einem Prozessor und einem Speicher, wobei der Prozessor Anweisungen, die in dem Speicher gespeichert sind, für Folgendes ausführt: ein beliebiges von dem Benutzeraudio oder den Bildern des Benutzers, das mit einer Emotion oder einem Gefühl assoziiert ist, zu identifizieren; die Benutzeraktionen, die mit dem Benutzeraudio oder den Bildern des Benutzers assoziiert sind, zu identifizieren; und die Benutzereingabe zusammen mit dem Benutzeraudio oder den Bildern des Benutzers und der Emotion oder dem Gefühl zu speichern.
Gemäß einer Ausführungsform führt der Prozessor ferner die Anweisungen für Folgendes aus: eine beliebige der Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers identifiziert wurde, zu identifizieren; und die Benutzeraktionen, die dem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zu speichern.
Gemäß einer Ausführungsform führt der Prozessor die Anweisungen aus, um das Benutzeraudio zu analysieren, um gesprochene Wörter des Benutzers, die mit einer Emotion oder einem Gefühl assoziiert sind, zu identifizieren.
Gemäß einer Ausführungsform führt der Prozessor ferner die Anweisungen aus, um die Bilder zu analysieren, um Gesichtsausdrücke des Benutzers, die mit einer Emotion oder einem Gefühl assoziiert sind, zu identifizieren.
Gemäß einer Ausführungsform führt der Prozessor ferner die Anweisungen aus, um die Benutzereingabe, die mit der Emotion oder dem Gefühl assoziiert ist, durch Analysieren der gesprochenen Wörter des Benutzers oder der Gesichtsausdrücke des Benutzers, gleichzeitig mit der Benutzereingabe ausgeführt werden, die durch die Mensch-Maschine-Schnittstelle empfangen wird, zu identifizieren.
Gemäß einer Ausführungsform umfassen die Benutzeraktionen ein beliebiges von Benutzereingabe, die in eine Mensch-Maschine-Schnittstelle des Fahrzeugs bereitgestellt wird, oder Nutzung einer physischen Komponente des Fahrzeugs durch den Benutzer.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Identifizieren der Benutzeraktionen, die nach einem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Speichern der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zusammen mit den Benutzeraktionen, die vor dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zusammen mit der Emotion oder dem Gefühl.

Claims

Verfahren, umfassend: Empfangen, durch einen Computer, der zumindest einen Prozessor umfasst, der mit zumindest einem Speicher in Kommunikation steht, von zumindest einem Bild, Video oder Audio eines Benutzers, wenn ein Fahrzeug betrieben wird; Bestimmen, durch den Computer und basierend auf dem zumindest einen Bild, Video oder Audio, einer Emotion oder eines Gefühls des Benutzers, wenn dieser mit einem oder mehreren Fahrzeugmerkmalen interagiert; Bestimmen, durch den Computer, von Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, wobei sich die Benutzeraktionen auf ein oder mehrere Fahrzeugmerkmale beziehen; und Bestimmen, durch den Computer, eines Zusammenhangs zwischen zumindest einer der Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen mit der Emotion oder dem Gefühl.
Verfahren nach Anspruch 1, ferner umfassend Speichern der Benutzeraktionen, des einen oder der mehreren Fahrzeugmerkmale und der Emotion oder des Gefühls.
Verfahren nach Anspruch 1, wobei das Sammeln von zumindest einem Bild, Video oder Audio kontinuierliches Aufzeichnen von gesprochenen Wörtern des Benutzers und kontinuierliches Erhalten von Video des Benutzers umfasst.
Verfahren nach Anspruch 3, wobei das Analysieren des zumindest einen Bildes, Videos oder Audios beliebige der Folgenden umfasst: Bewerten der gesprochenen Wörter auf Schlüsselwörter oder Phrasen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen; oder Anwenden von Gesichtserkennung, um Gesichtsausdrücke in dem Video zu bestimmen, die eine positive oder negative Emotion in Bezug auf das eine oder die mehreren Fahrzeugmerkmale anzeigen.
Verfahren nach Anspruch 1, wobei die Benutzeraktionen ein beliebiges von Benutzereingabe, die in eine Mensch-Maschine-Schnittstelle des Fahrzeugs bereitgestellt wird, oder Nutzung einer physischen Komponente des Fahrzeugs durch den Benutzer umfasst.
Verfahren nach Anspruch 1, ferner umfassend Identifizieren der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Verfahren nach Anspruch 6, ferner umfassend Speichern der Benutzeraktionen, die nach dem Zeitpunkt erfolgen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde.
Verfahren, umfassend: Sammeln, in Echtzeit, von Bildern, Video oder Audio eines Benutzers in Bezug auf das eine oder die mehreren Merkmale eines Fahrzeugs; Identifizieren, in Echtzeit, von positiven oder negativen Emotionen oder Gefühlen des Benutzers in Bezug auf das eine oder die mehreren Fahrzeugmerkmale und Verwendung des Bildes, Videos oder Audios; Identifizieren, in Echtzeit, von Benutzeraktionen, die mit dem einen oder den mehreren Fahrzeugmerkmalen des Fahrzeugs assoziiert sind, die mit den positiven oder negativen Emotionen oder Gefühlen assoziiert sind; und Speichern eines Teils der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios mit den Benutzeraktionen und dem einen oder den mehreren Fahrzeugmerkmalen.
Verfahren nach Anspruch 8, ferner umfassend Einstufen von Sprachbefehlen aus dem gesammelten Audio als mit einer positiven oder negativen Emotion assoziiert.
Verfahren nach Anspruch 9, wobei, wenn die Benutzeraktion mit einer negativen Emotion oder einem negativen Gefühl assoziiert ist, das eine oder die mehreren Fahrzeugmerkmale, die mit der Benutzeraktion assoziiert sind, zur Prüfung und Verbesserung markiert werden.
Verfahren nach Anspruch 8, wobei die Aktionen eine Benutzereingabe, die durch eine Mensch-Maschine-Schnittstelle des Fahrzeugs empfangen wird, umfassen.
Verfahren nach Anspruch 8, wobei der Teil der Echtzeitbilder, des Echtzeitvideos oder des Echtzeitaudios für einen Zeitraum vor und nach einem Zeitpunkt, der mit den Benutzeraktionen assoziiert ist, erhalten wird.
System, umfassend: eine Mensch-Maschine-Schnittstelle eines Fahrzeugs, die dazu konfiguriert ist, eine Benutzereingabe zu empfangen, während das Fahrzeug betrieben wird; ein Sprachbefehlssystem, das dazu konfiguriert ist, Benutzeraudio des Benutzers zu empfangen, während das Fahrzeug betrieben wird; eine Kamera, die dazu konfiguriert ist, Bilder des Benutzers zu erhalten, während das Fahrzeug betrieben wird; und ein Echtzeit-Benutzerinteraktionsanalysesystem mit einem Prozessor und einem Speicher, wobei der Prozessor Anweisungen, die in dem Speicher gespeichert sind, für Folgendes ausführt: ein beliebiges von dem Benutzeraudio oder den Bildern des Benutzers, das mit einer Emotion oder einem Gefühl assoziiert ist, zu identifizieren; die Benutzeraktionen, die mit dem Benutzeraudio oder den Bildern des Benutzers assoziiert sind, zu identifizieren, und die Benutzereingabe zusammen mit dem Benutzeraudio oder den Bildern des Benutzers und der Emotion oder dem Gefühl zu speichern.
System nach Anspruch 13, wobei der Prozessor die Anweisungen ferner für Folgendes ausführt: eine beliebige der Benutzeraktionen, die einem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers identifiziert wurde, zu identifizieren; und die Benutzeraktionen, die dem Zeitpunkt vorausgehen, an dem die Emotion oder das Gefühl des Benutzers erkannt wurde, zu speichern.
System nach Anspruch 13, wobei der Prozessor die Anweisungen ausführt, um das Benutzeraudio zu analysieren, um gesprochene Wörter des Benutzers, die mit einer Emotion oder einem Gefühl assoziiert sind, zu identifizieren.