DE102019128797A1

DE102019128797A1 - Authentifizierung für einen fahrzeuginternen digitalen assistenten

Info

Publication number: DE102019128797A1
Application number: DE102019128797.9A
Authority: DE
Inventors: Nevrus Kaja; Glen Munro Green
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2018-10-26
Filing date: 2019-10-24
Publication date: 2020-04-30
Also published as: US20200135190A1; CN111098859A; US10861457B2

Abstract

Die vorliegende Offenbarung stellt eine Authentifizierung für einen fahrzeuginternen digitalen Assistenten bereit. Ein Fahrzeug beinhaltet eine Steuerung, die dazu programmiert ist, als Reaktion auf das Erfassen eines Sprachbefehls von einem Benutzer und eines Orts des Benutzers in dem Fahrzeug über ein Mikrofon eine Identität des Benutzers unter Verwendung von Gesichtserkennung auf einem mit einer Kamera aufgenommenen Bild des Orts des Benutzers zu authentifizieren; und als Reaktion auf eine erfolgreiche Authentifizierung den Sprachbefehl auszuführen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft im Allgemeinen ein Fahrzeugauthentifizierungssystem. Insbesondere betrifft die vorliegende Offenbarung ein Fahrzeugauthentifizierungssystem für Sprachbefehle.
ALLGEMEINER STAND DER TECHNIK
Viele Fahrzeuge sind mit Infotainmentsystemen bereitgestellt, die Sprachbefehlseingabe unterstützen. Ein Fahrzeugbenutzer kann verschiedene Funktionen unter Verwendung von Sprachbefehlen ausführen, wie z. B. das Einstellen eines Navigationsziels und das Einstellen von Temperaturen. Derzeit gibt es viele Sprachbefehlssysteme, die keine Authentifizierungen der Identität eines Benutzers unterstützen. Verschiedenen Benutzern (z. B. einem Fahrzeughalter und einem Insassen) wurde die gleiche Berechtigung für Sprachbefehle erteilt.
KURZDARSTELLUNG
In einer oder mehreren veranschaulichenden Ausführungsformen der vorliegenden Offenbarung beinhaltet ein Fahrzeug eine Steuerung, die dazu programmiert ist, als Reaktion auf das Erfassen eines Sprachbefehls von einem Benutzer und eines Orts des Benutzers in dem Fahrzeug über ein Mikrofon eine Identität des Benutzers unter Verwendung von Gesichtserkennung auf einem mit einer Kamera aufgenommenen Bild des Orts des Benutzers zu authentifizieren; und als Reaktion auf eine erfolgreiche Authentifizierung den Sprachbefehl auszuführen.
In einer oder mehreren veranschaulichenden Ausführungsformen der vorliegenden Offenbarung beinhaltet ein Fahrzeug eine Steuerung, die dazu programmiert ist, als Reaktion auf das Erfassen eines Türöffnungs- oder -schließereignisses eine Belegung des Fahrzeugs über eine Kamera zu erfassen und eine Identität eines ersten Benutzers und eine Identität eines zweiten Benutzers über Gesichtserkennung auf einem über die Kamera aufgenommenen Bild zu authentifizieren; als Reaktion auf das Empfangen eines Sprachbefehls von einem ersten Benutzer über ein Mikrofon den Sprachbefehl zu analysieren, um zu erfassen, ob der Sprachbefehl auf Grundlage von vordefinierten Regeln belegungsabhängig ist; und als Reaktion auf das Erfassen, dass der Sprachbefehl belegungsabhängig ist, zu überprüfen, ob eine vordefinierte belegungsabhängige Bedingung durch die Identität des zweiten Benutzers erfüllt ist.
In einer oder mehreren veranschaulichenden Ausführungsformen der vorliegenden Offenbarung beinhaltet ein Verfahren für ein Fahrzeug als Reaktion auf das Empfangen einer Eingabe, die einen bevorstehenden Sprachbefehl anzeigt, Aktivieren eines omnidirektionalen Mikrofons und einer Kamera; Empfangen eines Sprachbefehls von einem Benutzer über das Mikrofon; Erfassen einer Richtung, aus der der Sprachbefehl über das Mikrofon empfangen wird; Aufnehmen eines Bildes in einer Fahrzeugkabine über die Kamera; Authentifizieren einer Identität des Benutzers durch Gesichtserkennung auf dem Bild auf Grundlage von der von dem Mikrofon empfangenen Richtung; und als Reaktion auf eine erfolgreiche Authentifizierung Ausführen des Sprachbefehls.
Figurenliste
Für ein besseres Verständnis der Erfindung und um zu zeigen, wie sie durchgeführt werden kann, werden nun Ausführungsformen davon ausschließlich als nicht einschränkende Beispiele beschrieben, wobei auf die beigefügten Zeichnungen verwiesen wird, in denen:

1 eine beispielhafte Blocktopologie eines Fahrzeugsystems einer Ausführungsform der vorliegenden Offenbarung veranschaulicht;
2 ein beispielhaftes Flussdiagramm für einen Prozess einer Ausführungsform der vorliegenden Offenbarung veranschaulicht; und
3 ein beispielhaftes Flussdiagramm für einen Prozess einer anderen Ausführungsform der vorliegenden Offenbarung veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Detaillierte Ausführungsformen der vorliegenden Erfindung werden hierin nach Bedarf offenbart; dabei versteht es sich jedoch, dass die offenbarten Ausführungsformen für die Erfindung, die in verschiedenen und alternativen Formen ausgeführt sein kann, lediglich beispielhaft sind. Die Figuren sind nicht zwingend maßstabsgetreu; einige Merkmale können vergrößert oder verkleinert dargestellt sein, um Details bestimmter Komponenten zu zeigen. Daher sollen hier offenbarte konkrete strukturelle und funktionale Details nicht als einschränkend ausgelegt werden, sondern lediglich als repräsentative Grundlage der Lehre für den Fachmann, die vorliegende Erfindung auf unterschiedliche Weise einzusetzen.
Die vorliegende Offenbarung stellt im Allgemeinen eine Vielzahl von Schaltungen oder anderen elektrischen Vorrichtungen bereit. Alle Verweise auf die Schaltungen und andere elektrische Vorrichtungen und die von ihnen bereitgestellten Funktionen sollen nicht darauf beschränkt sein, nur das einzuschließen, was hier dargestellt und beschrieben ist. Während bestimmte Bezeichnungen den verschiedenen Schaltungen oder anderen elektrischen Vorrichtungen zugewiesen sein können, können derartige Schaltungen und andere elektrische Vorrichtungen auf Grundlage der bestimmten Art der gewünschten elektrischen Umsetzung miteinander kombiniert und/oder auf beliebige Weise getrennt werden. Es liegt auf der Hand, dass eine beliebige hier offenbarte Schaltung oder andere elektrische Vorrichtung eine beliebige Anzahl von Mikroprozessoren, integrierten Schaltungen, Speichervorrichtungen (z. B. FLASH, Direktzugriffsspeicher (random access memory - RAM), Festwertspeicher (read only memory - ROM), elektrisch programmierbaren Festwertspeicher (electrically programmable read only memory - EPROM), elektrisch löschbaren programmierbaren Festwertspeicher (electrically erasable programmable read only memory - EEPROM) oder andere geeignete Varianten davon) und Software beinhalten kann, die miteinander zusammenwirken, um den/die hier offenbarten Vorgang/Vorgänge durchzuführen. Zusätzlich kann eine beliebige oder können mehrere beliebige der elektrischen Vorrichtungen dazu ausgelegt sein, ein Computerprogramm auszuführen, das in einem nicht transitorischen computerlesbaren Medium umgesetzt ist, das dazu programmiert ist, eine beliebige Anzahl der Funktionen wie offenbart durchzuführen.
Die vorliegende Offenbarung schlägt unter anderem ein Sprachbefehlsberechtigungssystem für ein Fahrzeug vor. Insbesondere schlägt die vorliegende Offenbarung ein Sprachbefehlsberechtigungssystem für ein Fahrzeug vor, das Bilderkennungstechnologien verwendet.
Unter Bezugnahme auf 1 ist eine beispielhafte Blocktopologie eines Fahrzeugsystems 100 einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. Das Fahrzeug 102 kann verschiedene Arten von Automobilen, Softroadern (crossover utility vehicle - CUV), Geländelimousinen (sport utility vehicle - SUV), Trucks, Wohnmobilen (recreational vehicle - RV), Booten, Flugzeugen oder anderen Bewegungsmaschinen zum Befördern von Personen oder Transportieren von Gütern beinhalten. In vielen Fällen kann das Fahrzeug 102 durch eine Brennkraftmaschine angetrieben werden. Als eine andere Möglichkeit kann das Fahrzeug 102 ein Batterieelektrofahrzeug (battery electric vehicle - BEV), ein Hybridelektrofahrzeug (hybrid electric vehicle - HEV), das sowohl von einer Brennkraftmaschine als auch von einem oder mehreren Elektromotoren angetrieben wird, wie beispielsweise ein Serien-Hybrid-Elektrofahrzeug (series hybrid elektric vehicle - SHEV), ein Parallel-Hybrid-Elektrofahrzeug (parallel hybrid electric vehicle - PHEV) oder ein Parallel-/Serien-Hybridelektrofahrzeug (parallel/series hybrid vehicle - PSHEV), ein Boot, ein Flugzeug oder eine andere Bewegungsmaschine zum Transport von Personen oder Gütern sein. Als ein Beispiel kann das System 100 das SYNC-System beinhalten, das durch die Ford Motor Company in Dearborn, Michigan, hergestellt wird. Es ist anzumerken, dass es sich bei dem veranschaulichten System 100 lediglich um ein Beispiel handelt und mehr, weniger und/oder anders angeordnete Elemente verwendet werden können.
Wie in 1 veranschaulicht, kann eine Rechenplattform 104 einen oder mehrere Prozessoren 112 beinhalten, die dazu ausgelegt sind, Anweisungen, Befehle und andere Routinen durchzuführen, um die hier beschriebenen Prozesse zu unterstützen. Zum Beispiel kann die Rechenplattform 104 dazu ausgelegt sein, Anweisungen von Fahrzeuganwendungen 108 auszuführen, um Merkmale wie etwa Navigation, Alarm und drahtlose Kommunikationen bereitzustellen. Derartige Anweisungen und andere Daten können nichtflüchtig unter Verwendung vielfältiger Arten computerlesbarer Speichermedien 106 aufbewahrt werden. Das computerlesbare Medium 106 (auch als prozessorlesbares Medium oder Speicher bezeichnet) beinhaltet ein beliebiges nichtflüchtiges Medium (z. B. materielles Medium), das an der Bereitstellung von Anweisungen oder anderen Daten, die durch den Prozessor 112 der Rechenplattform 104 gelesen werden können, beteiligt ist. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -technologien erstellt werden, einschließlich jedoch nicht beschränkt auf und entweder für sich oder in Kombination Java, C, C++, C#, Objective C, Fortran, Pascal, Java Script, Python, Perl und PL/SQL.
Die Rechenplattform 104 kann mit verschiedenen Merkmalen bereitgestellt sein, die es Fahrzeuginsassen/-benutzern ermöglicht, über eine Schnittstelle mit der Rechenplattform 104 zu interagieren. Die Rechenplattform 104 kann zum Beispiel Eingaben von Steuerungen 120 einer Mensch-Maschine-Schnittstelle (human-machine interface - HMI) empfangen, die dazu ausgelegt sind, eine Interaktion zwischen Insassen und dem Fahrzeug 102 bereitzustellen. Als ein Beispiel kann die Rechenplattform 104 mit einer oder mehreren Tasten (nicht gezeigt) oder anderen HMI-Steuerungen, die dazu ausgelegt sind, Funktionen auf der Rechenplattform 104 aufzurufen (z. B. Lenkradaudiotasten, einer Push-to-Talk-Taste, Armaturenbrettsteuerungen usw.), eine Schnittstelle herstellen.
Die Rechenplattform 104 kann zudem eine oder mehrere Anzeigen 116 ansteuern oder anderweitig damit kommunizieren, die dazu konfiguriert sind, Fahrzeuginsassen über eine Videosteuerung 114 eine visuelle Ausgabe bereitzustellen. In einigen Fällen kann die Anzeige 116 ein Touchscreen sein, der ferner dazu ausgelegt ist, berührungsbasierte Eingaben des Benutzers über die Videosteuerung 114 zu empfangen, wohingegen die Anzeige 116 in anderen Fällen lediglich eine Anzeige ohne berührungsbasierte Eingabefähigkeiten sein kann. Die Rechenplattform 104 kann ferner eine oder mehrere Innenkameras 118, die dazu ausgelegt sind, Videobilder von Fahrzeuginsassen in der Kabine mittels der Videosteuerung 114 aufzunehmen, ansteuern oder auf andere Weise mit diesen kommunizieren. Zum Beispiel kann sich die Innenkamera 118 an der Windschutzscheibe befinden und nach hinten gerichtet sein, um Gesichtsbilder der Insassen des Fahrzeugs 102 aufzunehmen. Die Kamera 118 kann ferner mit einem über einen Motor beweglichen Merkmal oder dergleichen bereitgestellt sein, das dazu ausgelegt ist, der Kamera 118 zu ermöglichen, sich zu bewegen/drehen und auf einen bestimmten Abschnitt der Fahrzeugkabine zu fokussieren. Zusätzlich oder alternativ können in dem Fall, dass das Fahrzeug 102 ein großes Fahrzeug, wie etwa ein SUV mit drei Sitzreihen, ist, mehrere Kameras verwendet werden, um Gesichtsbilder von Insassen in verschiedenen Reihen aufzunehmen.
Die Rechenplattform 104 kann außerdem einen oder mehrere Lautsprecher 124 und Mikrofone 126, die dazu ausgelegt sind, über eine Audiosteuerung 122 Audioausgaben und -eingaben an und von Fahrzeuginsassen bereitzustellen, ansteuern oder auf andere Weise mit diesen kommunizieren. Das Mikrofon 126 kann mit Richtungserfassungsmerkmalen bereitgestellt sein, um die Richtung und/oder den Ort der Audioeingabe zu erfassen. Beispielsweise kann das Richtungserfassungsmerkmal über mehrere Schallsensoren umgesetzt sein, die in einer oder mehreren Mikrofonanordnungen angeordnet sind, die dazu ausgelegt sind, die Richtung einer Schallquelle unter Verwendung von Lautstärkendifferenzen und Zeitverzögerungen zu berechnen. Zum Beispiel wird als Reaktion auf das Erfassen, dass ein Benutzer einen Sprachbefehl über das Mikrofon 126 an die Rechenplattform 104 erteilt, ein Richtungssignal erzeugt, das an die Rechenplattform 104 gesendet wird, um den Ort des Benutzers innerhalb der Fahrzeugkabine (z. B. einen Fahrersitz, einen Beifahrersitz hinten rechts oder dergleichen) zu bestimmen. Das Mikrofon 126 kann eine einzelne Mikrofonanordnung sein, die sich in der Fahrzeugkabine, wie etwa dem mittleren Abschnitt der Fahrzeugkabine, befindet, um die Richtung des Sprachbefehls besser zu erfassen. Alternativ kann das Mikrofon 126 mehrere Eingabesensoren von Mikrofonanordnungen beinhalten, die an verschiedenen Stellen in der Fahrzeugkabine angeordnet sind. In diesem Fall kann die Audiosteuerung 122 ferner dazu ausgelegt sein, die Spracheingabe von mehreren Sensoren zu verarbeiten und die Richtung oder den Ort der Quelle wie etwa über Lautstärke oder dergleichen zu berechnen.
Die Rechenplattform 104 kann dazu ausgelegt sein, mit einer mobilen Vorrichtung 140 der Fahrzeugbenutzer/-insassen über eine drahtlose Verbindung 190 drahtlos zu kommunizieren. Bei der mobilen Vorrichtung 140 kann es sich um beliebige verschiedener Arten von tragbaren Rechenvorrichtungen handeln, wie etwa Mobiltelefone, Tablet-Computer, tragbare Vorrichtungen, Smartwatches, Laptop-Computer, tragbare Musikwiedergabevorrichtungen oder andere Vorrichtungen, die zur Kommunikation mit der Rechenplattform 104 in der Lage sind. Der drahtlose Sendeempfänger 132 kann in Kommunikation mit einer WiFi-Steuerung 128, einer Bluetooth-Steuerung 130, einer Funkfrequenzidentifikationssteuerung (radiofrequency identification controller - RFID-Steuerung) 134, einer Nahfeldkommunikationssteuerung (near-field communication controller - NFC-Steuerung) 136 und anderen Steuerungen, wie etwa einem Zigbee-Sendeempfänger, einem IrDA-Sendeempfänger (nicht gezeigt), in Kommunikation stehen, die dazu ausgelegt sind, mit einem kompatiblen drahtlosen Sendeempfänger 152 der mobilen Vorrichtung 140 zu kommunizieren.
Die mobile Vorrichtung 140 kann mit einem Prozessor 148 bereitgestellt sein, der zum Durchführen von Anweisungen, Befehlen und anderen Routinen zur Unterstützung der Prozesse wie Navigation, Telefon, drahtlose Kommunikation und Multimedia-Verarbeitung konfiguriert ist. Die mobile Vorrichtung 140 kann mit einem drahtlosen Sendeempfänger 152 in Kommunikation mit einer WiFi-Steuerung 150, einer Bluetooth-Steuerung 154, einer RFID-Steuerung 156, einer NFC-Steuerung 158 und anderen Steuerungen (nicht gezeigt) bereitgestellt sein, die dazu ausgelegt sind, mit dem drahtlosen Sendeempfänger 132 der Rechenplattform 104 zu kommunizieren.
Die Rechenplattform 104 kann ferner dazu ausgelegt sein, über ein oder mehrere fahrzeuginterne Netzwerke 170 mit verschiedenen Fahrzeugkomponenten zu kommunizieren. Das fahrzeuginterne Netzwerk 170 kann beispielsweise eines oder mehrere von einem Controller Area Network (CAN), einem Ethernet-Netzwerk und einer medienorientierten Systemübertragung (media oriented system transport - MOST) beinhalten, ist jedoch nicht darauf beschränkt.
Die Rechenplattform 104 kann dazu ausgelegt sein, mit einer Telematiksteuereinheit (telematics control unit - TCU) 174 zu kommunizieren, die dazu ausgelegt ist, die Telekommunikation zwischen dem Fahrzeug 102 und einem Kommunikationsnetzwerk 188 über eine drahtlose Verbindung 192 unter Verwendung eines Modems 172 zu steuern. Das Kommunikationsnetzwerk 188 kann eine beliebige Art von drahtlosem Netzwerk sein, wie etwa ein Mobilfunknetzwerk, das die Kommunikation zwischen einem entfernten Server 186 und der Rechenplattform 104 ermöglicht. Es ist anzumerken, dass der entfernte Server 186 in der gesamten vorliegenden Offenbarung als allgemeiner Ausdruck verwendet wird und sich auf alle cloudbasierten Dienste, die mehrere Server, Computer, Vorrichtungen beinhalten, und dergleichen beziehen kann. Die Rechenplattform 104 kann ferner dazu ausgelegt sein, mit einem oder mehreren Sitzsensoren 176 zu kommunizieren, die dazu ausgelegt sind, die Belegung eines oder mehrerer Fahrzeugsitze zu erfassen und zu messen. Der Sitzsensor 176 kann mit Gewichtsmessmerkmalen bereitgestellt sein, die es der Rechenplattform 104 ermöglichen, die Art der Insassen auf dem Sitz (z. B. Kind oder Erwachsener) zu bestimmen oder zu schätzen. Der Sitzsensor 176 kann zusätzlich Sicherheitsgurtinformationen empfangen, wie etwa, ob ein Sicherheitsgurt angelegt ist oder eine Auszugslänge des Sicherheitsgurts. Der Sitzsensor 176 kann außerdem Informationen empfangen, die anzeigen, ob ein Autositz an LATCH-Clips angebracht ist, oder andere Informationen, die die Platzierung eines Kinderautositzes auf einem Sitzplatz anzeigen. Zusätzlich oder alternativ kann der Sitzsensor 176 über beliebige elektronisch/mechanische Sensoren umgesetzt sein, die dazu ausgelegt sind, die Anwesenheit eines oder mehrerer Fahrzeugbenutzer innerhalb oder in einer Nähe des Fahrzeugs 102 ohne Nutzung eines Sitzes zu erfassen (z. B. für stehende Insassen eines Busses).
Unter Bezugnahme auf 2 ist ein Flussdiagramm für einen Prozess 200 einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. Unter weiterer Bezugnahme auf 1 erfasst die Rechenplattform 104 bei Vorgang 202 eine Eingabe, die einen von einem Benutzer eingegebenen Sprachbefehl anzeigt. Die Eingabe kann über eine oder mehrere Tasten (nicht gezeigt) in Verbindung mit den HMI-Steuerungen 120 empfangen werden. Zusätzlich oder alternativ kann die Eingabe ein vordefinierter Ausdruck sein, wie etwa „Sprachbefehl“, und aktiv über das Mikrofon 126 unter Verwendung von Spracherkennungstechnologien empfangen werden. In Reaktion auf das Empfangen der Eingabe aktiviert die Rechenplattform 104 bei Vorgang 204 die Innenkamera 118 und das Mikrofon 126, um Audio- und Videoeingaben von dem Benutzer zu empfangen. Bei Vorgang 206 empfängt die Rechenplattform 104 einen von dem Benutzer erteilten Sprachbefehl und nimmt ein oder mehrere Bilder der Kabine des Fahrzeugs 102 auf. Wie vorstehend erörtert, kann das Mikrofon 126 mit einem Richtungserfassungsmerkmal bereitgestellt sein, und bei Vorgang 208 erfasst und bestimmt die Rechenplattform 104 die Richtung oder den Ort, an dem der Sprachbefehl erteilt wird, unter Verwendung der Richtungsinformationen von dem Mikrofon 126 und/oder der Audiosteuerung 122. In dem Fall, dass die Kamera 118 beweglich ist, kann die Rechenplattform die Kamera 118 weiter in die Richtung des Orts der Sprachbefehlsquelle bewegen oder auf diesen fokussieren, um ein Bild aufzunehmen.
In Reaktion auf das Erfassen des Orts/der Richtung der Quelle des Sprachbefehls führt die Rechenplattform 104 bei Vorgang 210 eine Gesichtserkennung auf dem in der Fahrzeugkabine aufgenommenen Bild unter Verwendung des Orts/der Richtung der Quelle durch. Die Kamera kann als Reaktion auf das Erfassen des Sprachbefehls ein oder mehrere Bilder innerhalb der Fahrzeugkabine von mehreren Benutzern/Insassen des Fahrzeugs aufnehmen. Unter Verwendung des Orts/der Richtung der Quelle des Sprachbefehls kann die Rechenplattform 104 in der Lage sein, auf einen bestimmten Ort der Fahrzeugkabine zu fokussieren, um die Gesichtserkennung durchzuführen. Gesichtsbilder von berechtigten Benutzern können zuvor aufgezeichnet und in dem Speicher 106 gespeichert werden, z. B. als Teil der Fahrzeugdaten 110. Durch Vergleichen des über die Innenkamera 118 aufgenommenen Gesichtsbildes mit den zuvor gespeicherten Bildern unter Verwendung von Bildverarbeitungs- und Gesichtserkennungstechnologien kann die Rechenplattform 104 bestimmen, ob der Benutzer, der den Sprachbefehl erteilt, berechtigt ist. Zusätzlich oder alternativ führt die Rechenplattform 104 ferner eine Stimmprofilerkennungsanalyse auf dem über das Mikrofon 126 empfangenen Sprachbefehl durch, um bei Vorgang 212 die Identität des Benutzers weiter zu bestimmen. Das Stimmprofil des autorisierten Benutzers kann vorab aufgezeichnet und in dem Speicher 106 gespeichert werden. Wenn die Rechenplattform 104 durch die Gesichtserkennung und/oder das Stimmprofil bei Vorgang 214 bestimmt, dass der Sprachbefehl von einem nicht berechtigten Benutzer stammt, geht der Prozess zu Vorgang 216 über und die Rechenplattform lehnt den Sprachbefehl ab. Dem Fahrzeugbenutzer kann eine Rückmeldung bereitgestellt werden, die die Ablehnung des Sprachbefehls mitteilt. Andernfalls, wenn die Rechenplattform 104 erfasst, dass der Sprachbefehl von einem berechtigten Benutzer stammt, wie etwa einem zuvor registrierten Fahrzeughalter, geht der Prozess zu Vorgang 218 über und die Rechenplattform 104 führt den Sprachbefehl aus und stellt dem Benutzer eine Rückmeldung bereit.
Die Vorgänge des Prozesses 200 können auf verschiedene Situationen angewendet werden. Zum Beispiel können sich mehrere Insassen/Benutzer eine Fahrt in dem Fahrzeug 102 teilen. Unter diesen Benutzern kann ein Fahrer, der auf dem Fahrersitz sitzt, ein berechtigter Benutzer für bestimmte Sprachbefehle, wie etwa das Abspielen von Nachrichten oder das Laden von EMails, sein, und ein Insasse, der auf dem hinteren rechten Sitz sitzt, ist ein nicht berechtigter Benutzer für derartige Befehle. Wenn zum Beispiel die Rechenplattform 104 einen Sprachbefehl wie „Meine Nachricht abspielen“ erfasst, ist es aus Datenschutz- und Sicherheitsgründen wichtig, die Quelle/Identität des Benutzers zu bestimmen, der einen derartigen Befehl erteilt hat, und zu überprüfen, ob der Benutzer dazu berechtigt ist, bevor er ausgeführt wird.
Wenn sich mehrere Benutzer in der Fahrzeugkabine befinden, kann die Gesichtserkennung allein für Identifizierungszwecke unzureichend sein, da es immer noch unklar sein kann, welcher Benutzer den Sprachbefehl erteilt hat. Daher kann es in dieser Situation hilfreich sein, den Ort des Benutzers, der den Sprachbefehl erteilt hat, zu kennen. Als Reaktion auf das Bestimmen, wo der Benutzer, der den Sprachbefehl erteilt hat, in der Fahrzeugkabine sitzt, kann die Rechenplattform 104 auf diesen bestimmten Ort fokussieren, um eine Gesichtserkennung durchzuführen. Wenn zum Beispiel der Sprachbefehl „Meine Nachricht abspielen“ von dem nicht berechtigten Insassen, der auf dem hinteren rechten Sitz sitzt, erteilt wird, kann die Rechenplattform 104 seinen/ihren Standort über das Mikrofon 126 erfassen und nur eine Gesichtserkennung auf dem Bild für den Insassen auf dem hinteren rechten Sitz durchführen. In diesem Fall kann die Rechenplattform 104 als Reaktion auf das Fehlschlagen der Authentifizierung ablehnen, den Sprachbefehl auszuführen, selbst wenn sich der berechtigte Fahrer für einen derartigen Sprachbefehl ebenfalls in dem über die Kamera 118 aufgenommenen Bild befindet. Wenn der Befehl jedoch von dem Fahrer erteilt wird, ist die Authentifizierung nach demselben Prinzip erfolgreich und die Rechenplattform 104 kann dazu übergehen, den Sprachbefehl auszuführen.
Zusätzlich oder alternativ kann der Prozess 200 nach demselben Prinzip auf verschiedene Szenarien angewendet werden. Zum Beispiel kann das Fahrzeug 102 mit einem Mehrzonen-Heizungs-, -Lüftungs- und -Klimatisierungssystem (HLK-System) bereitgestellt sein, das dazu ausgelegt ist, Benutzern auf verschiedenen Sitzen zu ermöglichen, Temperaturen individuell einzustellen. Als Reaktion auf das Empfangen eines Sprachbefehls, wie etwa „Temperatur auf 70 einstellen“, kann die Rechenplattform 104 identifizieren, welcher Benutzer einen derartigen Sprachbefehl erteilt hat, und als Reaktion auf eine erfolgreiche Authentifizierung nur die Temperatur für die spezifische Temperaturzone einstellen, in der sich dieser Benutzer befindet. Dieses Merkmal kann insbesondere in Situationen nützlich sein, in denen ein Elternteil einem mitfahrenden Kind möglicherweise nicht erlaubt, eine Temperatur unter einem bestimmten Grad (z. B. 70 Grad Fahrenheit) einzustellen. Der Elternteil kann die Rechenplattform 104 vorkonfigurieren, um die Mindesttemperatur dem mitfahrenden Kind zuzuordnen, unabhängig davon, auf welchem Sitz sich das Kind befindet. Daher kann die Rechenplattform 104 das Kind auch dann identifizieren und die Temperatureinstellungen entsprechend steuern, wenn das mitfahrende Kind im Laufe der Fahrt den Sitz wechselt und den Sprachbefehl erteilen würde.
Unter Bezugnahme auf 3 ist ein Prozess 300 einer weiteren Ausführungsform der vorliegenden Offenbarung veranschaulicht. Bei Vorgang 302 erfasst die Rechenplattform 104 die Belegung des Fahrzeugs 102, einschließlich Informationen darüber, wie viele Insassen sich in dem Fahrzeug befinden, und den Standort jedes Insassen. Dieser Vorgang kann jedes Mal durchgeführt werden, wenn ein oder mehrere Insassen in das Fahrzeug 102 einsteigen oder daraus aussteigen und/oder das Fahrzeug 102 zu fahren beginnt. Die Erfassung kann über verschiedene Mittel durchgeführt werden, einschließlich, aber nicht beschränkt auf Signale von einem oder mehreren Sitzsensoren 176, Sprachrichtungssignale von dem Mikrofon 126 und/oder Bilder, die über die Innenkamera 118 aufgenommen wurden. Als Reaktion auf das Erfassen der Belegung des Fahrzeugs 102 identifiziert die Rechenplattform 104 bei Vorgang 304 jeden in der Kabine des Fahrzeugs 102 erfassten Insassen. Die Identifizierung kann über das von der Innenkamera 118 mit Gesichtserkennungstechnologie aufgenommene Bild erfolgen. Zusätzlich kann die Rechenplattform 104 einen oder mehrere Insassen des Fahrzeugs 102 über ein Benutzerprofil identifizieren, das der mobilen Vorrichtung 140 zugeordnet ist, die über die drahtlose Verbindung 190 mit der Rechenplattform 104 verbunden ist. Die mobile Vorrichtung 140 kann, wie vorstehend erörtert, mit der Rechenplattform 104 registriert werden, wobei sie einem bestimmten Benutzer zugeordnet wird, der ein Benutzerprofil erstellt, das in dem Speicher 106 und/oder dem mobilen Speicher 142 gespeichert ist, z. B. als Teil der Fahrzeugdaten 110 bzw. der mobilen Daten 146. Zusätzlich oder alternativ kann die Identifizierung durch Senden von Benutzerinformationen (z. B. eines Benutzergesichtsbildes und/oder eines Benutzerprofils) an den Server 186 und Empfangen von Identifizierungsinformationen von dem Server 186 durchgeführt werden.
Bei Vorgang 306 empfängt die Rechenplattform 104 einen Sprachbefehl von einem Benutzer des Fahrzeugs 102 über das Mikrofon 126. Als Reaktion darauf analysiert die Rechenplattform 104 bei Vorgang 308 den Sprachbefehl, um verschiedene Informationen zu erhalten, wie etwa den Ort/die Richtung der Quelle des Befehls, den Inhalt des Sprachbefehls, ob der Sprachbefehl eine Berechtigung erfordert und/oder ob der Sprachbefehl belegungsabhängig ist. Zusätzlich kann die Rechenplattform 104 ferner das Stimmprofil der Quelle des Sprachbefehls analysieren, um die Authentizität der Quelle zu bestimmen. Zum Beispiel kann die Rechenplattform 104 dazu ausgelegt sein, verschiedene Berechtigungsstufen für verschiedene Sprachbefehle zu ermöglichen. Ein Sprachbefehl wie etwa „was ist die aktuelle Uhrzeit“ kann auf eine universelle Berechtigungsstufe eingestellt werden, sodass keine Berechtigung erforderlich ist. Andererseits kann ein Sprachbefehl wie etwa „Nachrichten abspielen“, wie vorstehend erörtert, eine bestimmte Berechtigungsstufe erfordern.
Bei Vorgang 310 geht der Prozess als Reaktion auf das Erfassen, dass eine Berechtigung für den Sprachbefehl erforderlich ist, zu Vorgang 312 über. Andernfalls, wenn die Berechtigung nicht erforderlich ist, geht der Prozess zu Vorgang 320 über, um den Sprachbefehl direkt auszuführen. Bei Vorgang 312 bestimmt die Rechenplattform 104 unter Verwendung des Identifizierungsergebnisses von Vorgang 304, ob der Benutzer, der den Sprachbefehl erteilt hat, zu einem derartigen bestimmten Sprachbefehl berechtigt ist. Wenn der Benutzer nicht berechtigt ist, geht der Prozess zu Vorgang 318 über und die Rechenplattform 104 lehnt den Sprachbefehl ab. Andernfalls, wenn der Benutzer berechtigt ist, geht der Prozess von Vorgang 312 zu Vorgang 314 über, um weiter zu bestimmen, ob der bestimmte Befehl für diesen bestimmten berechtigten Benutzer belegungsabhängig ist. Beispielsweise kann ein Elternteil als Fahrzeughalter ein mitfahrendes Kind nur dazu berechtigen, bestimmte Radiosender zu hören oder vordefinierte Video-/Audioinhalte abzuspielen, wenn sich der Elternteil in dem Fahrzeug befindet. Und der Elternteil kann die Rechenplattform 104 auf diese Weise vorkonfigurieren. In diesem Fall wird Vorgang 314 nützlich, um eine solche Bestimmung vorzunehmen. Wenn die Antwort für Vorgang 314 Nein lautet, geht der Prozess zu Vorgang 320 über. Andernfalls geht der Prozess als Reaktion auf das Erfassen, dass der Sprachbefehl für den Benutzer belegungsabhängig ist, zu Vorgang 316 über und die Rechenplattform 104 erfasst, ob die Belegungsbedingung für den Sprachbefehl erfüllt ist. Nach dem vorstehenden Beispiel ist die Belegungsbedingung erfüllt, wenn die Rechenplattform 104 erfasst, dass sich der Elternteil im Fahrzeug 102 befindet, und der Prozess geht zur Ausführung zu Vorgang 320 über. Andernfalls geht der Prozess zu Vorgang 318 über, um den Sprachbefehl abzulehnen.
Wenngleich vorstehend beispielhafte Ausführungsformen beschrieben sind, sollen diese Ausführungsformen nicht alle möglichen Formen der Erfindung beschreiben. Vielmehr sind die in der Beschreibung verwendeten Ausdrücke beschreibende und nicht einschränkende Ausdrücke, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Wesen und Schutzumfang der Offenbarung abzuweichen. Darüber hinaus können die Merkmale verschiedener umsetzender Ausführungsformen miteinander kombiniert werden, um weitere erfindungsgemäße Ausführungsformen zu bilden.
Gemäß einer Ausführungsform der Erfindung ist die Steuerung ferner dazu programmiert, eine oder mehrere Kameras zu steuern, um ein oder mehrere Bilder einer Fahrzeugkabine aufzunehmen; und die Identität des zweiten Fahrzeugbenutzers mit Gesichtserkennung auf dem einen oder den mehreren Bildern, die von der einen oder den mehreren Kameras aufgenommen wurden, zu authentifizieren.
Gemäß einer Ausführungsform ist die Steuerung ferner dazu programmiert, die Identität des zweiten Fahrzeugbenutzers durch Senden eines Benutzerprofils des zweiten Fahrzeugbenutzers an einen Server über eine TCU zu authentifizieren.
Gemäß einer Ausführungsform ist die Steuerung ferner dazu programmiert, die Identität des zweiten Benutzers durch Senden des Benutzerprofils an einen Server über eine TCU und Empfangen einer Authentifizierung von dem Server zu authentifizieren.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Folgendes gekennzeichnet: Authentifizieren einer Identität eines zweiten Benutzers durch Gesichtserkennung auf dem Bild als Reaktion auf das Erfassen, dass der Sprachbefehl auf Grundlage vordefinierter Regeln belegungsabhängig ist; und Ausführen des Sprachbefehls.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch Authentifizieren der Identität des Benutzers durch Stimmprofilanalyse auf dem empfangenen Sprachbefehl gekennzeichnet.

Claims

Fahrzeug, umfassend: eine Steuerung, die dazu programmiert ist, als Reaktion auf das Erfassen eines Sprachbefehls von einem Benutzer und eines Orts des Benutzers in dem Fahrzeug über ein Mikrofon eine Identität des Benutzers unter Verwendung von Gesichtserkennung auf einem von einer Kamera aufgenommenen Bild des Orts des Benutzers zu authentifizieren, und als Reaktion auf eine erfolgreiche Authentifizierung den Sprachbefehl auszuführen.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, die Identität des Benutzers unter Verwendung einer Stimmprofilanalyse auf dem empfangenen Sprachbefehl zu authentifizieren.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, den Ort des Benutzers unter Verwendung eines Signals von einem Sitzsensor zu erfassen.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, die Identität des Benutzers über eine mobile Vorrichtung, die drahtlos mit dem Fahrzeug verbunden ist und ein Benutzerprofil des Benutzers aufweist, zu authentifizieren.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, das Bild des Benutzers über ein Kommunikationsnetz über eine Telematiksteuereinheit (telematics control unit - TCU) an einen Server zu senden und als Antwort eine Authentifizierung des Benutzers von dem Server zu empfangen.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, den Sprachbefehl zu analysieren, um zu erfassen, ob eine Authentifizierung erforderlich ist.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, auf Grundlage des Sprachbefehls und der Identität des Benutzers zu erfassen, ob der Sprachbefehl belegungsabhängig ist.
Fahrzeug nach Anspruch 7, wobei die Steuerung ferner dazu programmiert, als Reaktion auf das Erfassen, dass der Sprachbefehl belegungsabhängig ist, eine Identität eines zweiten Fahrzeugbenutzers zu authentifizieren, um zu bestätigen, dass der Sprachbefehl ausgeführt werden kann; eine oder mehrere Kameras zu steuern, um ein oder mehrere Bilder einer Fahrzeugkabine aufzunehmen; die Identität des zweiten Fahrzeugbenutzers mit Gesichtserkennung auf dem einen oder den mehreren Bildern, die von der einen oder den mehreren Kameras aufgenommen wurden, zu authentifizieren; und die Identität des zweiten Fahrzeugbenutzers durch Senden eines Benutzerprofils des zweiten Fahrzeugbenutzers an einen Server über eine TCU zu authentifizieren.
Fahrzeug nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, die Kamera zu dem Ort des Benutzers, von dem der Sprachbefehl erteilt wird, zu bewegen.
Fahrzeug, umfassend: eine Steuerung, die dazu programmiert ist, als Reaktion auf das Erfassen eines Türöffnungs- oder -schließereignisses eine Belegung des Fahrzeugs über eine Kamera zu erfassen und eine Identität eines ersten Benutzers und eine Identität eines zweiten Benutzers über Gesichtserkennung auf einem über die Kamera aufgenommenen Bild zu authentifizieren; als Reaktion auf das Empfangen eines Sprachbefehls von einem ersten Benutzer über ein Mikrofon den Sprachbefehl zu analysieren, um zu erfassen, ob der Sprachbefehl auf Grundlage von vordefinierten Regeln belegungsabhängig ist; und als Reaktion auf das Erfassen, dass der Sprachbefehl belegungsabhängig ist, zu überprüfen, ob eine vordefinierte belegungsabhängige Bedingung durch die Identität des zweiten Benutzers erfüllt ist.
Fahrzeug nach Anspruch 10, wobei die Steuerung ferner dazu programmiert ist, die Belegung des Fahrzeugs über einen Sitzsensor zu erfassen.
Fahrzeug nach Anspruch 10, wobei die Steuerung ferner dazu programmiert ist, die Identität des zweiten Benutzers über eine mobile Vorrichtung mit einem Benutzerprofil, die drahtlos mit dem Fahrzeug verbunden ist, zu authentifizieren; und die Identität des zweiten Benutzers durch Senden des Benutzerprofils an einen Server über eine TCU und Empfangen einer Authentifizierung von dem Server zu authentifizieren.
Fahrzeug nach Anspruch 10, wobei die Steuerung ferner dazu programmiert ist, über ein Positionssignal, das von dem mit einem Omnidirektionalitätsmerkmal bereitgestellten Mikrofon gesendet wurde, unter dem ersten Benutzer und dem zweiten Benutzer einen Quellenbenutzer zu identifizieren, der den Sprachbefehl erteilt hat.
Verfahren für ein Fahrzeug, umfassend: als Reaktion auf das Empfangen einer Eingabe, die einen bevorstehenden Sprachbefehl anzeigt, Aktivieren eines omnidirektionalen Mikrofons und einer Kamera; Empfangen eines Sprachbefehls von einem Benutzer über das Mikrofon; Erfassen einer Richtung, aus der der Sprachbefehl über das Mikrofon empfangen wird; Aufnehmen eines Bildes in einer Fahrzeugkabine über die Kamera; Authentifizieren einer Identität des Benutzers durch Gesichtserkennung auf dem Bild auf Grundlage von der von dem Mikrofon empfangenen Richtung, und als Reaktion auf eine erfolgreiche Authentifizierung Ausführen des Sprachbefehls.
Verfahren nach Anspruch 14, ferner umfassend: Drehen der Kamera, um auf die von dem Mikrofon empfangene Richtung zu fokussieren; Authentifizieren einer Identität eines zweiten Benutzers durch Gesichtserkennung auf dem Bild als Reaktion auf das Erfassen, dass der Sprachbefehl auf Grundlage vordefinierter Regeln belegungsabhängig ist; Authentifizieren der Identität des Benutzers durch Stimmprofilanalyse auf dem empfangenen Sprachbefehl; und Ausführen des Sprachbefehls.