-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft eine Insassenauthentifizierung in einem Fahrzeug.
-
HINTERGRUND
-
Fahrzeugsysteme können Insassen in einem Fahrzeug authentifizieren, um sicherzustellen, dass die entsprechenden Insassen die entsprechenden Merkmale in dem Fahrzeug bedienen. In einem anderen Beispiel können Fahrzeugsysteme verwendet werden, um Cyberangriffe, die bezüglich des Fahrzeugs ausgeführt werden, zu verhindern. Zum Beispiel können Spracherkennungssysteme für „Delphinangriffe“ bzw. „dolphin attacks“ anfällig sein, welche ein Angriff sein können, der durch hochfrequente Töne verdeckt wird, die unsere Sprachassistenten erkennen können, aber das menschliche Ohr nicht hören kann.
-
KURZFASSUNG
-
Gemäß einem Ausführungsbeispiel umfasst ein System in einem Fahrzeug einen oder mehrere Sensoren, die dazu konfiguriert sind, Insasseninformationen von einem Insassen zu erhalten, wobei zumindest Gesichtsinformationen des Insassen verwendet werden. Das System umfasst ebenso eine Steuerung, die mit dem einen oder den mehreren Sensoren kommuniziert. Die Steuerung ist dazu konfiguriert, eine Anwendungsrichtlinie zu bestimmen, die mit einer oder mehreren Anwendungen des Fahrzeugs verknüpft ist, und die eine oder die mehreren Anwendungen als Reaktion darauf, dass Gesichtsinformationen eine erste Authentifizierungsebene oder eine zweite Authentifizierungsebene überschreiten, die mit der Anwendungsrichtlinie verknüpft sind, auszuführen.
-
Gemäß einem zweiten Ausführungsbeispiel umfasst ein System in einem Fahrzeug einen oder mehrere Sensoren, die dazu konfiguriert sind, Insasseninformationen von einem oder mehreren Insassen zu erhalten, wobei zumindest Gesichtsinformationen des Insassen verwendet werden, einen drahtlosen Sender-Empfänger, der mit einer Mobileinrichtung kommuniziert, und eine Steuerung, die mit dem einen oder den mehreren Sensoren und dem drahtlosen Sender-Empfänger kommuniziert. Die Steuerung ist dazu konfiguriert, den Insassen von zumindest den Gesichtsinformationen und der Mobileinrichtung zu identifizieren, eine Anwendungsrichtlinie, die mit einer oder mehreren Anwendungen verknüpft ist, zu bestimmen, wobei die Anwendungsrichtlinie mit zumindest einer ersten Authentifizierungsebene und einer zweiten Authentifizierungsebene verknüpft ist, die eine oder mehreren Anwendungen als Reaktion darauf, dass Gesichtsinformationen die erste Authentifizierungsebene oder die zweite Authentifizierungsebene, die mit der Anwendungsrichtlinie verknüpft sind, überschreiten, auszuführen.
-
Gemäß einem dritten Ausführungsbeispiel umfasst ein Verfahren in einem Fahrzeug ein Erhalten von Gesichtsinformationen und Sprachinformationen von einem Insassen, wobei zumindest eine Kamera und ein Mikrofon in dem Fahrzeug verwendet werden, ein Identifizieren des Insassen unter Verwendung von zumindest den Gesichtsinformationen und den Sprachinformationen, ein Bestimmen einer Anwendungsrichtlinie, die mit einer oder mehreren Anwendungen verknüpft ist, als Reaktion auf die Identifikation des Insassen, und ein Ausführen der einen oder der mehreren Anwendungen als Reaktion darauf, dass Gesichtsinformationen und Sprachinformationen eine erste Authentifizierungsebene oder eine zweite Authentifizierungsebene, die mit der Anwendungsrichtlinie verknüpft sind, überschreiten.
-
Figurenliste
-
- 1 stellt ein beispielhaftes Blockdiagramm eines Fahrzeugsystems 100 dar.
- 2 stellt ein beispielhaftes Ablaufdiagramm eines Benutzerauthentifizierungssystems 200 in einem Ausführungsbeispiel dar.
- 3 stellt eine beispielhafte Tabelle 300 dar, die verwendet werden kann, um verschiedene Befehle zu authentifizieren.
-
DETAILLIERTE BESCHREIBUNG
-
Ausführungsbeispiele der vorliegenden Offenbarung werden hierin beschrieben. Es ist jedoch zu verstehen, dass die offenbarten Ausführungsbeispiele lediglich Beispiele sind und andere Ausführungsbeispiele verschiedenartige und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; manche Merkmale könnten übertrieben oder minimiert sein, um Details von bestimmten Komponenten zu zeigen. Deshalb sind spezifische Strukturen und funktionale Details, die hierin offenbart sind, nicht als beschränkend zu interpretieren, sondern lediglich als eine repräsentative Grundlage, um den Fachmann zu unterrichten, um die Ausführungsbeispiele verschiedenartig einzusetzen. Wie der Fachmann verstehen wird, können verschiedene Merkmale, die mit Bezug auf irgendeine der Figuren dargestellt und beschrieben sind, mit Merkmalen, die in einer oder mehreren anderen Figuren dargestellt sind, kombiniert werden, um Ausführungsbeispiele zu erzeugen, die nicht explizit dargestellt oder beschrieben sind. Die Kombinationen von dargestellten Merkmalen stellen repräsentative Ausführungsbeispiele für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung konsistent sind, könnten jedoch für bestimmte Anwendungen oder Implementierungen erwünscht sein.
-
Spracherkennungssysteme werden zunehmend populär, speziell in einer Fahrzeugumgebung. Spracherkennungssysteme und virtuelle Assistenten werden zunehmend personalisiert und auf individuelle Benutzer zugeschnitten. Spracherkennungssysteme können automatisch individuelle Benutzer durch Extrahieren von Unterscheidungsmerkmalen bezüglich deren akustischen Mustern erkennen. Spracherkennungssysteme können ein „Weckwort“, wie etwa „OK Google“, „Hey Siri“, oder „Alexa“ verwenden und nachfolgend natürliche Sprachanfragen, die von einem individuellen Benutzer folgen, verarbeiten. Auf ähnliche Weise können Automobilsprachassistenten, die in fahrzeugseitigen Infotainment-Systemen integriert sind, Weckwörter, wie etwa „Hey Mercedes“ oder „Hey BMW“, verwenden. Virtuelle Assistenten können Anfragen von erkannten Benutzern verarbeiten und Zugriff auf privilegierte Funktionalitäten bereitstellen oder kritische Systemoperationen autorisieren. Zum Beispiel kann ein virtueller Assistent nach einem Erkennen eines angemeldeten Benutzers auf die Sprache des Benutzers dynamisch reagieren, durch Modifizieren, Teilen oder Übertragen von persönlichen Informationen, Durchführen von Finanztransaktionen, Erzeugen von neuen Terminen, Anpassen von Fahrzeugparametern, wie etwa Geschwindigkeit, Ziel oder Rekonfigurieren von anderen kritischen fahrzeugseitigen Merkmalen/Diensten, usw. Mit der zunehmenden Verbreitung von selbstfahrenden Fahrzeugen und Mitfahrdiensten bzw. Car-Sharing-Diensten, teilen sich Passagiere zunehmend Verkehrsmittel mit unbekannten Teilnehmern. Sich auf die Extrahierung von akustischen Mustermerkmalen zu verlassen, um individuelle Benutzer zu erkennen, kann für Ungenauigkeiten anfällig sein und kann virtuelle Assistenten für Cyberattacken, wie Spoofing, anfällig machen. Zum Beispiel kann ein böswilliger Akteur die Stimme eines anderen Fahrzeuginsassen imitieren, indem er diese direkt erfasst und wiedergibt, oder kann einen Datensatz mit a priori erfassten Proben verwenden, um ein generatives Adversialnetzwerk (GAN „Generative Adversarial Network“) zu trainieren und eine überzeugende, beliebige Sprache mit dem akustischen Muster des Opfers zu erzeugen. Forscher haben einen Weg gefunden, um Ultraschall-Audiobefehle, die Spracherkennungssysteme hören können aber Menschen nicht, zu nutzen, um virtuelle Assistenten verdeckt zu steuern. Manche Cyberangriffe können einen menschlichen Standardsprachbefehl übersetzen und die Übersetzung in Ultraschallfrequenzen rundsenden, was manchmal als „Delphin-Angriff“ bzw. „dolphin attack“ bezeichnet wird. Solche Frequenzen können Menschen nicht hören, aber Spracherkennungssysteme können die Ultraschallbefehle immer noch verwenden. Es kann für Fahrzeugsysteme vorteilhaft sein, solche Angriffe zu bekämpfen.
-
Eine Insassenidentität könnte unter Verwendung von verschiedenen Techniken, wie etwa Gesichtserkennung, akustische Muster, biometrische Profile, Verhaltensmodelle, Verknüpfung eines Fahrers oder eines Benutzers über einen Schlüsselanhänger oder eine Mobileinrichtung, Verknüpfung eines Fahrers oder eines Benutzers über ein geteiltes Geheimnis, wie etwa ein Passwort oder ein PIN-Code, Analyse von Fahrzeugsitzeinstellungen, Körpergewichtsinformationen, die von Sitzsensoren gesammelt werden, usw. kontinuierlich klassifiziert werden. In einem Ausführungsbeispiel, wenn ein Anwendungsmerkmal ein höheres Level an Sicherheit erfordert, kann es Insassenzustandsinformationen von einem Insassenüberwachungssystem (OMS „Occupant Monitoring System“) anfordern.
-
Als Reaktion auf die Anforderung überträgt das OMS die Insassenzustandsinformationen kontinuierlich an die Anwendung. Eine Anwendung könnte einen erforderlichen Insassenzustand aufweisen, um auf bestimmte Merkmale der Anwendung zuzugreifen. Die Anwendung kann ebenso kritische Merkmale der Anwendung mit den Insassenzustandsinformationen korrelieren, um Unplausibilität und Abweichungen vom erwarteten Verhalten festzustellen, die durch das Vorhandensein eines Fehlers oder eines Cyberangriffs verursacht werden. Die Anwendung kann mit Validierungsanweisungen als Teil einer Datenvalidierungsmaschine vorkonfiguriert sein.
-
1 stellt ein beispielhaftes Blockdiagramm eines Fahrzeugsystems 100 für ein Fahrzeug 102 dar. Das Fahrzeug 102 kann irgendeine Art eines Fahrzeugs umfassen, wie etwa ein Personenkraftwagen, ein kommerzielles Fahrzeug, ein Motorrad, ein Sports Utility Vehicle, ein Minivan, eine Limousine, ein Motorrad, ein Wasserfahrzeug, ein Off-Road-Fahrzeug, usw. Das Fahrzeugsystem 100 kann eine Steuerung 101 umfassen (nachstehend als ein Prozessor 101 und/oder eine elektronische Steuerungseinheit (ECU) 101 bezeichnet). Der Prozessor 101 kann dazu konfiguriert sein, Anweisungen für die hierin beschriebenen Verfahren und Systeme auszuführen. Der Prozessor 101 kann eine oder mehrere Berechnungseinrichtungen sein, wie etwa ein Einzel- oder Mehrfachkernprozessor zum Verarbeiten von Befehlen, wie etwa ein Computerprozessor, ein Mikroprozessor, eine Mikrosteuerung oder irgendeine andere Einrichtung, eine Reihe von Einrichtungen oder anderen Mechanismen, die zum Durchführen der hierin diskutierten Operationen fähig sind. Die Steuerung 101 kann einen Speicher umfassen (der in 1 nicht einzeln gezeigt ist), sowie andere spezifische Komponenten zur Verarbeitung innerhalb des Fahrzeugs 102. Der Speicher kann Anweisungen und Befehle speichern. Die Anweisungen können in der Form von Software, Firmware, Computercode oder einigen Kombinationen von diesen sein. Der Speicher kann irgendeine Form von einer oder mehreren Datenspeichereinrichtungen aufweisen, wie etwa ein flüchtiger Speicher, ein nichtflüchtiger Speicher, ein elektronischer Speicher, ein magnetischer Speicher, ein optischer Speicher oder irgendeine andere Form einer Datenspeichereinrichtung. In einem Beispiel kann der Speicher entfernbare Speicherkomponenten umfassen.
-
Die Steuerung 101 kann mit verschiedenen Sensoren, Modulen und Fahrzeugsystemen sowohl innerhalb als auch entfernt von dem Fahrzeug 102 kommunizieren. Das Fahrzeugsystem 100 kann verschiedene Sensoren, wie etwa verschiedene Kameras, einen LIDAR-Sensor, einen Radarsensor, einen Ultraschallsensor oder andere Sensoren zum Erfassen von Informationen über die Umgebungen des Fahrzeugs inklusive zum Beispiel anderen Fahrzeugen, Spurlinien, Leitplanken, Objekten auf der Straße, Gebäude, Fußgänger usw. umfassen. In dem in 1 gezeigten Beispiel kann das Fahrzeugsystem 100 eine Kamera 103 und einen Sender-Empfänger 105 umfassen. Das Fahrzeugsystem 100 kann ebenso ein Mikrofon, ein Modul eines globalen Positionierungssystems (GPS-Modul), eine Anzeige einer Mensch-Maschine-Schnittstelle (HMI-Schnittstelle) (nicht gezeigt), sowie andere Sensoren, Steuerungen und Module umfassen. 1 ist ein beispielhaftes System und das Fahrzeugsystem 100 kann mehrere oder weniger Sensoren und von verschiedenen Arten umfassen. Das Fahrzeugsystem 100 kann mit zusätzlichen Sensoren an unterschiedlichen Orten innerhalb oder auf dem Fahrzeug 102 und/oder entfernt von dem Fahrzeug 102 ausgestattet sein, inklusive zusätzlichen Sensoren der gleichen oder unterschiedlichen Art. Wie nachstehend beschrieben, können solche Sensoren Sensordaten 106 sammeln. Die Sensordaten 106 können irgendwelche Daten umfassen, die durch verschiedene Sensoren gesammelt werden. Sensordaten 106 können Bilddaten, GPS-Daten, Fahrzeuggeschwindigkeitsdaten, Fahrzeugbeschleunigungsdaten, Spracherkennungsdaten, Gesichtserkennungsdaten, biometrische Daten, oder irgendwelche anderen Daten, die durch verschiedene Sensoren oder Prozessoren in dem Fahrzeug 102 gesammelt werden, umfassen. Eine Sensorfusion kann auf die Sensordaten 106 angewendet werden, um Informationen zu sammeln, Benutzerinteraktionen zu beobachten, Operationskontext zu erzeugen, einen Insassenzustand zu bestimmen, den Insassen zu identifizieren und auf andere Elemente, wie etwa Fahrzeugsystemverwendungsmuster, Objekte, die durch Insassen gehandhabt werden, usw. Eine Sensorfusion kann als Reaktion auf Software auftreten, die Daten von verschiedenen Sensoren kombiniert, um eine Anwendung oder eine Performance eines Systems oder Subsystems zu verbessern. Ein Kombinieren von Daten von mehreren Sensoren kann die Mängel der von einer bestimmten Art einzelner Sensoren gesammelten Daten korrigieren. Somit kann eine Sensorfusion eine Berechnung von genaueren Informationen ermöglichen. Wenn zum Beispiel Gesichtserkennungsdaten alleine verwendet werden, könnte dies Schwierigkeiten beim Identifizieren eines Individuums von einem anderen Individuum geben (zum Beispiel ein Zwilling von einem anderen Zwilling, usw.). Durch Hinzufügen von Spracherkennungsdaten könnte das Fahrzeugsystem 100 eine höhere Wahrscheinlichkeit des korrekten Identifizierens des Individuums von einem anderen Individuum aufweisen.
-
Der Sender-Empfänger 105 kann ein BLUETOOTH-Sender-Empfänger sein. In einem darstellenden Ausführungsbeispiel verwendet das Fahrzeugsystem 100 den Sender-Empfänger 105 (zum Beispiel BLUETOOTH-Sender-Empfänger), um mit einer Mobileinrichtung eines Benutzers (zum Beispiel Mobiltelefon, Smartphone, PDA, Tablet oder irgendeine andere Einrichtung mit einer drahtlosen Fernnetzwerkkonnektivität) zu kommunizieren. Die Mobileinrichtung kann dann verwendet werden, um mit einem Netzwerk außerhalb des Fahrzeugsystems 100 durch zum Beispiel eine Kommunikation mit einem Funkmast zu kommunizieren. In manchen Ausführungsbeispielen kann der Funkmast ein Wi-Fi-Zugangspunkt sein.
-
Wenn der Benutzer einen mit der Mobileinrichtung verbundenen Datenplan hat, ist es möglich, dass der Datenplan eine Breitbandübertragung ermöglicht und das Fahrzeugsystem 100 eine viel größere Bandbreite nutzt (wodurch die Datenübertragung beschleunigt wird). In einem weiteren Ausführungsbeispiel wird die Mobileinrichtung durch eine zellulare Kommunikationseinrichtung (nicht gezeigt) ersetzt, die in dem Fahrzeug 102 installiert ist. In einem weiteren Ausführungsbeispiel kann die Mobileinrichtung eine Einrichtung eines drahtlosen Nahbereichsnetzwerks (LAN) sein, die dazu in der Lage ist, über zum Beispiel ein 802.11-Netzwerk (das heißt WiFi) oder ein WiMax-Netzwerk zu kommunizieren (ohne Beschränkung). In einem Ausführungsbeispiel können eingehende Daten über Daten-über-Sprache oder einen Datenplan durch die Mobileinrichtung, durch den Sender-Empfänger 105 und in die Steuerung 101 geleitet werden. In dem Fall von bestimmten vorübergehenden Daten können die Daten zum Beispiel auf einem Festplattenlaufwerk (HDD), einem Solid-State-Laufwerk (SSD) oder einem anderen Speichermedium gespeichert werden, bis zu solch einer Zeit, wenn die Daten nicht länger benötigt werden.
-
In einem anderen Ausführungsbeispiel kann der Sender-Empfänger 105 auf einer On-Board-Kommunikationseinrichtung oder einem zellularen Modem sein. Die On-Board-Kommunikationseinrichtung erfordert nicht, dass eine Mobileinrichtung (zum Beispiel Mobiltelefon) mit dem Sender-Empfänger 105 gekoppelt wird, um mit einem Off-Board-Server bzw. einem vom Fahrzeug entfernern Server zu kommunizieren. Stattdessen kann die On-Board-Kommunikationseinrichtung oder das zellulare Modem seine eigenen Fähigkeiten aufweisen, um mit einem Off-Board-Netzwerk zu kommunizieren.
-
Die Kamera 103 kann in dem Fahrzeug 102 angebracht sein, um Insassen (zum Beispiel einen Fahrer oder Mitfahrer) innerhalb eines Fahrgastraums des Fahrzeugs 102 zu überwachen. Die Kamera 103 kann ein Teil eines Insassenüberwachungssystems (OMS) 104 sein. Die Kamera 103 kann verwendet werden, um Bilder eines Insassen in dem Fahrzeug 102 aufzunehmen. Die Kamera 103 kann Gesichtsinformationen eines Insassen, wie etwa eine Augenbewegung, eine Mundbewegung, und eine Kopfbewegung erhalten, wie nachstehend weiter diskutiert wird. Die Kamera 103 kann zum Beispiel eine Farbkamera, eine Infrarotkamera, eine Radar-/Ultraschall-Bildkamera oder eine Laufzeitkamera („time of flight camera“) sein. Die Kamera 103 kann an einer Kopfstütze, an dem Armaturenbrett, in dem Dachhimmel oder an irgendeinem anderen geeigneten Ort angebracht sein. Zusätzlich oder alternativ könnte sich die Kamera 103 an einer Mobileinrichtung (zum Beispiel einem Tablet oder Mobiltelefon) befinden und kann das Gesicht, den Körper, die Extremitäten, die Augen, den Mund, usw. des Insassen (zum Beispiel Fahrer oder Mitfahrer) aufnehmen.
-
Die Steuerung 101 kann Insasseninformationen von dem OMS 104 empfangen, um eine abnormale Situation innerhalb des Fahrzeugs 102 zu bestimmen. Das OMS 104 kann einen oder mehrere Aktivitätssensoren einsetzen, wie etwa eine auf den Fahrer gerichtete Kamera, eine auf den Mitfahrer gerichtete Kamera, einen Gesundheitsscanner und eine Instrumententafel verwenden, um Aktivitäten zu überwachen, die durch die Insassen (zum Beispiel Fahrer oder Mitfahrer) durchgeführt werden. Basierend auf den Aktivitätssensoren kann das OMS 104 als die abnormale Situation bestimmen, ob der Fahrer zum Beispiel abgelenkt, krank oder schläfrig ist. Zum Beispiel kann eine auf den Mitfahrer gerichtete Kamera in einem Fahrzeugdachhimmel, einer Fahrzeugkopfstütze oder einem anderen Bereich des Fahrzeugs 102 eingesetzt werden, um eine Aktivität des Mitfahrers zu überwachen. Das OMS 104 kann ebenso ein Mikrofon einsetzen, das in Kommunikation mit einer Spracherkennungsmaschine (VR-Maschine) steht, die Sprachinformationen eines Insassen aufnehmen kann. Die Sprachinformationen können für Sprachbefehle in einer Spracherkennungssitzung verwendet werden. Basierend auf den verschiedenen Sensoren kann das OMS 104 bestimmen, ob der Insasse (zum Beispiel Fahrer oder Mitfahrer) zum Beispiel Aufregung, Reisekrankheit, Hunger, Fieber usw. verspürt.
-
In einem anderen Beispiel kann das OMS 104 einen Gesundheitsscanner umfassen, der in einem Sitz des Fahrzeugs 102, einem Kindersitz oder einem anderen geeigneten Ort, den der Insasse berührt oder in dessen Sichtlinie er sich befindet, angebracht ist. Der Gesundheitsscanner kann den Herzschlag, Blutdruck, Puls oder andere gesundheitsbezogene Informationen des Insassen scannen. Das OMS 104 verarbeitet Daten, die von dem Gesundheitsscanner empfangen werden, und überwacht, ob der Insasse unter einem schweren körperlichen Zustand oder einem schweren Vorfall bzw. einer schweren Episode leidet. Das OMS 104 kann ebenso mit dem Gesundheitsscanner verwendet werden, um zu bestimmen, ob verschiedene Schwankungen in den Daten Stress oder Probleme des Insassen identifizieren können.
-
Das Fahrzeugsystem 100 kann ebenso eine oder mehrere externe Kameras umfassen, die sich an dem bzw. auf dem Fahrzeug 102 befinden. Die externe Kamera kann an dem Rückspiegel, Seitenspiegel, Türen, Kotflügeln, Dach/Säulen, oder Stoßstangen entweder unabhängig oder in Verbindung mit einer anderen externen Fahrzeugkomponenten, wie etwa Beleuchtungseinrichtungen, Zierobjekten, oder Handgriffen, usw. angebracht sein. Die externe Kamera kann ebenso aus dem Fahrgastraum durch eine Windschutzscheibe des Fahrzeugs gerichtet sein, um Abbildungsdaten der Umgebung vor dem Fahrzeug 102 zu sammeln. Die externe Kamera kann verwendet werden, um Informationen und Daten bezüglich der Front des Fahrzeugs 102 zu sammeln und um die Bedingungen vor dem Fahrzeug 102 zu überwachen. Die Kamera kann ebenso zum Abbilden der Bedingungen vor dem Fahrzeug 102 und zum korrekten Erfassen der Position von Spurmarkierungen verwendet werden, wie von der Position der Kamera aus betrachtet, und das Vorhandensein/Nichtvorhandensein von zum Beispiel einer Beleuchtung der Scheinwerfer von entgegenkommenden Fahrzeugen zu erfassen. Zum Beispiel kann die externe Kamera verwendet werden, um Bilddaten bezüglich der Fahrzeugumgebung des Fahrzeugs 102, Spurmarkierungen voraus und anderer Objekterfassung zu erzeugen. Das Fahrzeug 102 kann ebenso mit einer (nicht gezeigten) Rückkamera bzw. Heckkamera für ähnliche Umstände ausgestattet sein, wie etwa ein Überwachen der Fahrzeugumgebung um das hintere Ende des Fahrzeugs 102 herum. Wenn das Fahrzeug 102 mit mehr als einer externen Kamera ausgestattet ist, kann dieses individuelle Sichtfelder kombinieren, um ein kollektives Sichtfeld bereitzustellen und kann ebenso das Bildmaterial in Echtzeit an lokale oder entfernte Verbraucher streamen. In einem anderen Beispiel kann das OMS 104 Informationen durch Senden von Mitteilungen direkt an ein Anwendungsmodul 110 oder indirekt durch Verbreiten einer lokalen/entfernten Datenbank, die mit dem Anwendungsmodul 110 verbunden ist, teilen. Die geteilten Informationen können zeitindizierte Bildmaterialdaten (zum Beispiel inklusive eines Zeitstempels) zusammen mit spezifischen Daten entsprechend erfassten Ereignissen/Bedingungen, wie etwa den vorher beschriebenen Insassenereignissen umfassen.
-
In einem anderen Ausführungsbespiel kann das Fahrzeugsystem 100 mit einer Geräuschidentifizierungseinrichtung (zum Beispiel Mikrofon) ausgestattet sein. Das Mikrofon kann eine Wahrscheinlichkeit bestimmen, dass die Geräuschdaten einem vordefinierten Geräusch oder Geräuschmodell entsprechen, basierend auf einer Untermenge von zeitlichen Parametern. Das Mikrofon kann zum Beispiel einen Algorithmus (zum Beispiel ein trainiertes tiefes neuronales Netzwerk) anwenden, um festzustellen, ob ein Insassenereignis aufgetreten ist. Der Algorithmus kann eine der Anzahl an zeitlichen Parameter entsprechende Anzahl von Eingaben annehmen. Jeder akustische Merkmalsvektor kann eine Anzahl von Merkmalen und zeitlichen Parametern enthalten, die für jedes akustische Merkmal bestimmt werden. Bei anderen Ausführungsbespielen kann die Anzahl der Parameter natürlich variieren. Der Algorithmus des tiefen neuronalen Netzwerks des dargestellten Mikrofons könnte im Voraus mit Hilfe von maschinellem Lernen trainiert werden, um genau zu bestimmen, ob die Geräuschdaten mit einem vordefinierten Geräusch übereinstimmen. Der Algorithmus des tiefen neuronalen Netzwerks kann eine Softmax-Schicht, eine Rückausbreitung, eine entropieübergreifende Optimierung bzw. Kreuzentropieoptimierung und ein Verstärkungslernen als ein Teil des Trainierens bzw. Lernens verwenden. Dieses Trainieren kann das Liefern von Geräuschproben, die mit dem vordefinierten Geräusch übereinstimmen, und Geräuschproben, die mit dem vordefinierten Geräusch nicht übereinstimmen, umfassen, wie zum Beispiel Geräusche, die ähnlich zu dem erwarteten Hintergrundgeräusch sind. Wenn das vordefinierte Geräusch zum Beispiel ein weinendes Kleinkind ist, kann der Algorithmus mit einer Reihe von Proben von weinenden Kleinkindern versorgt werden, sowie mit Geräuschen, die ähnlich zu den erwarteten Hintergrundgeräuschen sind, wie Erwachsenengespräche, Straßenverkehrslärm und andere Fahrzeuggeräusche. In manchen Ausführungsformen kann das Mikrofon feststellen, ob das Geräusch mehreren verschiedenen vordefinierten Geräuschen entspricht, wie etwa einem „Weckwort“, wie etwa „OK Google“, „Hey Siri“, oder „Alexa‟. In anderen Ausführungsbeispielen kann das Mikrofon eine automatische Spracherkennung (ASR, „Automatic Speach Recognition“) durchführen, um Befehle oder Gespräche der Insassen (zum Beispiel Fahrer oder Mitfahrer) für die Nutzung durch Fahrzeugdienste (zum Beispiel Dienste, die durch ein Anwendungsmodul 110 bereitgestellt werden) umzusetzen. Das Mikrofon kann es den Benutzern ebenso ermöglichen, ihren „Stimmabdruck“ zu registrieren und eine automatische Erkennung solcher Benutzer durchzuführen, indem akustische Merkmale korreliert werden, die durch den vorstehend genannten Algorithmus gelernt wurden.
-
Das Fahrzeugsystem 100 kann ebenso GPS umfassen, um eine momentane Position des Fahrzeugs 102 zu erfassen oder zu bestimmen (nicht gezeigt). In manchen Umständen kann das GPS verwendet werden, um eine Geschwindigkeit zu bestimmen, mit der das Fahrzeug 102 fährt. In anderen Umständen kann das GPS verwendet werden, um das Fahrzeug 102 gemäß einem geographischen Koordinatensystem zu lokalisieren. Das Fahrzeugsystem 100 kann ebenso einen (nicht gezeigten) Fahrzeuggeschwindigkeitssensor umfassen, der eine momentane Geschwindigkeit, mit der das Fahrzeug 102 fährt, erfasst oder bestimmt. Das Fahrzeugsystem 100 kann ebenso einen Kompass oder ein dreidimensionales (3D) Gyroskop umfassen, das eine momentane Richtung des Fahrzeugs 102 erfasst oder bestimmt. Kartendaten könnten in dem Speicher gespeichert sein. Die Steuerung 101 kann die Kartendaten mit Sensordaten 106 aktualisieren. Die Kartendaten können Informationen umfassen, die mit einem fortgeschrittenen Fahrerassistenzsystem (ADAS, „advanced driver assistance system“) verwendet werden können. Die Kartendaten können detaillierte Spurinformationen, Steigungsinformationen, Straßenkrümmungsdaten, Spurmarkierungscharakteristika, usw. umfassen. Die Kartendaten können zusätzlich zu traditionellen Kartendaten, wie etwa Straßennamen, Straßenklassifizierung, Geschwindigkeitsbegrenzungsinformationen, usw. verwendet werden. Die Steuerung 101 kann Daten von dem GPS sowie Daten/Informationen von dem Gyroskop, dem Fahrzeuggeschwindigkeitssensor, 3D-Punktwolken, die umgebende Objekte darstellen, und Kartendaten verwenden, um einen Ort oder eine momentane Position des Fahrzeugs zu bestimmen.
-
Das Fahrzeugsystem 100 kann ebenso eine Anzeige einer Mensch-Maschinen-Schnittstelle (HMI) umfassen (nicht gezeigt). Die HMI-Anzeige kann irgendeine Art einer Anzeige innerhalb des Fahrgastraums des Fahrzeugs 102 umfassen, wie etwa eine Armaturenbrettanzeige, eine Navigationsanzeige, eine Multimediaanzeige, ein Headset für eine virtuelle Realität, einen holographischen Projektor, eine Head-Up-Anzeige (HUD), eine Dünnfilmtransistor-Flüssigkristallanzeige (TFT LCD), usw. Die HMI-Anzeige kann ebenso mit Lautsprechern verbunden werden, um Geräusche bezüglich Anweisungen oder der Benutzerschnittstelle des Fahrzeugs 102 auszugeben. Die HMI-Anzeige kann verwendet werden, um verschiedene Befehle oder Informationen an Insassen (zum Beispiel Fahrer oder Mitfahrer) innerhalb des Fahrzeugs 102 auszugeben. Wenn zum Beispiel ein Insasse auf dem Rücksitz gestresst ist, könnte die HMI-Anzeige eine Mitteilung an den Fahrer anzeigen, dass der Insasse, der auf dem Rücksitzt sitzt, gestresst ist und Komfort benötigt. Die HMI-Anzeige kann irgendeine Art eines Monitors oder eine Anzeige nutzen, die verwendet wird, um relevante Informationen an die Insassen anzuzeigen. Die HMI-Anzeige kann ebenso die HUD umfassen, die eine Schnittstelle und andere Objekte auf einer Windschutzscheibe des Fahrzeugs 102 anzeigt, sodass sich die Bilder innerhalb der Peripherie des Fahrers während des Fahrens oder in einer Sichtlinie eines Insassen befinden.
-
Zusätzlich zum Bereitstellen von visuellen Indikatoren kann die HMI-Anzeige ebenso dazu konfiguriert sein, eine Benutzereingabe über einen Touchscreen, Benutzerschnittstellentasten, usw. zu empfangen. Die HMI-Anzeige kann dazu konfiguriert sein, Benutzerbefehle zu empfangen, die verschiedene Fahrzeugsteuerungen angeben, wie etwa audio-visuelle Steuerungen, autonome Fahrzeugsystemsteuerungen, bestimmte Fahrzeugmerkmale, Fahrgastraumtemperatursteuerung, usw. Die Steuerung 101 kann die Benutzereingabe empfangen und wiederum ein relevantes Fahrzeugsystem oder eine Komponente anweisen, um gemäß der Benutzereingabe zu arbeiten. Die HMI-Anzeige kann ebenso eine Anzeige umfassen, die in eine Kopfstütze des Fahrzeugs 102 eingebettet ist. Die HMI-Anzeige, die in der Kopfstütze eingebettet ist, kann ebenso eine eingebaute Kamera umfassen, die auf den Insassen gerichtet ist. Die HMI-Anzeige kann auf den Insassen (zum Beispiel Fahrer oder Mitfahrer) des Fahrzeugs 102 gerichtet sein, um dem Insassen zu ermöglichen, mit der HMI-Anzeige zu interagieren und/oder Probleme zu überwachen.
-
Die Steuerung 101 kann Informationen und Daten von verschiedenen Fahrzeugkomponenten inklusive der Kamera 103, dem GPS, der HMI-Anzeige, usw. empfangen. Zum Beispiel kann die Steuerung Bilddaten von der Kamera 103 und Ortsdaten von dem GPS empfangen. Die Steuerung 101 verwendet solche Daten, um Fahrzeugfunktionen bereitzustellen, die sich auf eine Fahrerunterstützung oder ein autonomes Fahren beziehen. Zum Beispiel können Daten, die durch eine Kamera, ein Mikrofon und eine Vorwärtskamera gesammelt werden, in Zusammenhang mit GPS-Daten und Kartendaten verwendet werden, um eine Funktionalität bezüglich einer adaptiven Abstandssteuerung, einem automatischen Parken, einer Parkunterstützung, einer automatischen Notbremsung (AEB, „Automatic Emergency Breaking“), usw. bereitzustellen oder zu verbessern. Die Steuerung 101 kann mit verschiedenen Systemen des Fahrzeugs (zum Beispiel der Maschine, dem Getriebe, den Bremsen, dem Lenkmechanismus, einer Anzeige, Sensoren, einer Benutzerschnittstelleneinrichtung, usw.) kommunizieren (zum Beispiel ein Steuerungsbereichsnetzwerkbus (CAN-Bus, „controller area network“), ein Bus eines lokalen Zwischenverbindungsnetzwerks (LIN-Bus, „local interconnect network“), ein Bus eines medienorientierten Systemtransports (MOST-Bus, media oriented systems transport‟), USB, usw.). Zum Beispiel kann die Steuerung 101 dazu konfiguriert sein, Signale an die Bremsen, um das Fahrzeug 102 zu verlangsamen, oder den Lenkmechanismus, um den Pfad des Fahrzeugs 102 zu ändern, oder die Maschine oder das Getriebe, um das Fahrzeug 102 zu beschleunigen oder zu verlangsamen, zu senden. Die Steuerung 101 kann zum Beispiel dazu konfiguriert sein, Eingabesignale von den verschiedenen Fahrzeugsensoren zu empfangen und Ausgabesignale an die Anzeigeeinrichtung zu senden. Die Steuerung 101 kann ebenso mit anderen Fahrzeugen, einer oder mehreren Datenbanken, einem Speicher, dem Internet oder Netzwerken zum Zugriff auf zusätzliche Informationen (zum Beispiel Karten, Straßeninformationen, Wetter, Fahrzeuginformationen) kommunizieren. Die Steuerung 101 kann ebenso mit der Kamera 103 verwendet werden, um Gesichtsmerkmale eines Insassen (zum Beispiel Fahrer oder Mitfahrer) des Fahrzeugs 102 zu identifizieren, wie nachstehend detaillierter beschrieben wird.
-
Das OMS 104 kann ebenso verwendet werden, um Sprachinformationen, die von Insassen des Fahrzeugs 102 gesprochen werden, zu überwachen. Die Sprachinformationen können in eines oder mehrere Mikrofone gesprochen werden, die sich in dem Fahrzeug 102 befinden. Die Sprachinformationen können durch Bestimmen einer Tonhöhe, einer Schwankung oder anderer anatomischer oder verhaltensbezogener Attribute analysiert werden, um einen spezifischen Insassen, der mit dieser Sprache verknüpft ist, zu identifizieren. Zum Beispiel kann das OMS 104 eine bestimmte Sprache mit einem Benutzer oder eine andere Sprache mit einem anderen Benutzer identifizieren. Weiterhin kann das OMS 104 verschiedene Modelle aufweisen, die mit dem Benutzer verknüpft sind, um verschiedene Situationen basierend auf den Sprachinformationen, die über ein Mikrofon empfangen werden, zu identifizieren. Zum Beispiel können Änderungen in einem Ton angeben, dass ein Benutzer krank ist (zum Beispiel Halsschmerzen hat). In anderen Szenarien können verschiedene Stimmungen des Benutzers basierend auf den Attributen, die mit der Sprache verknüpft sind, identifiziert werden.
-
Das Fahrzeugsystem 100 kann einen sicheren Identitätsspeicher 109 umfassen, der verwendet wird, um Identitätsinformationen für Insassen des Fahrzeugs 102 sicher zu speichern. Der sichere Identitätsspeicher 109 kann mit einem Statusspeicher 111 kommunizieren. Der Statusspeicher 111 kann aus integrierten Schaltungen bestehen (oder irgendeine andere Art eines Speichers sein), der Informationen zur zwischenzeitlichen Verwendung in dem Fahrzeugsystem 100 speichert. Der Statusspeicher 111 kann eine schnellere Verarbeitung von Informationen durch Speichern von bestimmten Informationen, die üblicherweise in dem sicheren Identitätsspeicher 109 gespeichert werden, ermöglichen. Der Statusspeicher 111 kann einen Direktzugriffspeicher (RAM) oder einen virtuellen Speicher umfassen. Somit kann die Steuerung 101 mit dem Statusspeicher 111 kommunizieren, um spezifische Informationen abzurufen, die durch das Fahrzeugsystem 100 verwendet werden können. Wenn zum Beispiel das Fahrzeugsystem 100 versucht, einen Insassen zu identifizieren, kann der Statusspeicher 111 Gesichtserkennungsdaten (oder irgendwelche anderen ähnlichen Daten) speichern, um einen schnelleren Zugriff und Verarbeitung für die Steuerung 101 zu ermöglichen. Der sichere Identitätsspeicher 109 kann eine Partition sein, die für Fahrerinformationen verwendet wird, und um eine Identität eines Insassen mit einer Gesichtserkennung oder anderen Insassenmerkmalen (zum Beispiel Sprache, Mobileinrichtungsdaten, biometrische Daten, wie etwa ein Fingerabdruck oder ein Netzhautscan, usw.) zu modellieren. Zum Beispiel kann der sichere Identitätsspeicher 109 ein Profil umfassen, das einen Namen, Informationen, sowie andere Informationen, inklusive einem verknüpften Modell für jeden Benutzer (zum Beispiel Gesichtsdaten oder andere biometrische Daten, usw.) umfasst. In einem anderen Beispiel kann der sichere Identitätsspeicher 109 ein Profil aufweisen, das einen Namen, Informationen und ein zugehöriges Modell für Sprachinformationen, die mit dem Benutzer verknüpft sind, umfasst. Das Fahrzeugsystem 100 kann ein Maschinenlernen verwenden, um zu klassifizieren, ob eine bestimmte Person als ein Benutzer in dem Fahrzeug 102 erfasst wird. Des Weiteren kann der sichere Identitätsspeicher 109 mit einem Maschinenlernenrahmenwerk ausgestattet sein, das verwendet wird, um Identitätsinformationen kontinuierlich zu aktualisieren, wenn die Unterscheidungsattribute des Insassen aufgedeckt werden oder gewissen Änderungen unterzogen sind (zum Beispiel Älterwerden, Gewichtsverlust oder - zunahme, das Tragen von einer Brille oder Sonnenbrillen, das Tragen eines Hutes, usw.).
-
Das OMS 104 kann mit dem Anwendungsmodul 110 kommunizieren. Das Anwendungsmodul 110 kann eine Softwareanwendung sein, die auf einem Fahrzeugsystem 100, einem Fahrzeuguntersystem oder einer externen Einrichtung (zum Beispiel Mobiltelefon, Tablet, Cloud-Server, usw.) läuft. Das Anwendungsmodul 110 kann sein eigenes Verarbeitungs- und Kommunikationselement 120 aufweisen, um Befehle und Anweisungen ablaufen zu lassen oder irgendeinen Prozessor in dem Fahrzeug 102 verwenden. Das Anwendungsmodul 110 kann Zustands- und Identitätsinformationen von dem OMS 104 anfordern, um zu bestimmen, ob bestimmte Anwendungen oder Befehle ausgeführt oder deaktiviert werden sollten. Umgekehrt kann das OMS 104 Identitäts- und Statusinformationen bezüglich des Insassen und des Fahrzeugs an das Anwendungsmodul 110 senden.
-
Eine identitätsbasierte Zugriffssteuerungsrichtlinie 112 kann zum Erlauben von bestimmten Merkmalen basierend auf der Identifikation des Insassen verwendet werden. Die identitätsbasierte Zugriffssteuerungsrichtlinie 112 kann Software sein, die einen Benutzer definiert und bestimmte Merkmale oder Anwendungen definiert, die der bestimmte Benutzer verwenden darf. Solch eine Software könnte eine Nachschlagetabelle oder eine andere Form eines Datenschemas verwenden, um verschiedene Richtlinien für verschiedene Benutzer des Fahrzeugs 102 zu definieren. Bestimmte Szenarien oder Merkmale in dem Fahrzeug 102 könnten markiert sein, sodass diese nur durch bestimmte Individuen des Fahrzeugs 102 verwendet werden dürfen, während andere Individuen diese Merkmale in dem Fahrzeug 102 nicht verwenden dürfen. Zum Beispiel könnte einem jugendlichen Fahrer, der durch das Fahrzeugsystem 100 identifiziert ist, nur erlaubt sein, eine freihändige Kommunikation in bestimmten Fahrzeugumgebungen (zum Beispiel beim Fahren mit einer niedrigen Geschwindigkeit) zu verwenden, während die identitätsbasierte Zugriffssteuerungsrichtlinie 112 einen Besitzer des Fahrzeugs 102 identifizieren kann und eine freihändige Kommunikation in jedem Szenario erlauben kann. In einem anderen Szenario könnte die identitätsbasierte Zugriffssteuerungsrichtlinie 112 entweder einen Zugriff auf bestimmte Fahrzeugmerkmale erlauben oder verweigern. Zum Beispiel könnte es einen jugendlichen Fahrer gemäß einer bestimmten Richtlinie nicht erlaubt sein, das Radio überhaupt zu verwenden.
-
Eine Richtliniendurchsetzungsmaschine 114 könnte verwendet werden, um die Regeln und Richtlinien, die durch die identitätsbasierte Zugriffssteuerungsrichtlinie 112 definiert sind, durchzusetzen. Zum Beispiel könnte die Richtliniendurchsetzungsmaschine 114 unterschiedliche Richtlinien und Authentifizierungsebenen für unterschiedliche Anwendungen aufweisen. Die Richtliniendurchsetzungsmaschine 114 könnte Software sein, die den Benutzer und die zugehörige Zugriffssteuerungsrichtlinie, die mit diesem Benutzer verknüpft ist, identifizieren. Die Richtliniendurchsetzungsmaschine 114 könnte für Daten, die zwischen dem Fahrzeug 102 und dem Anwendungsmodul 110 ausgetauscht werden, eine Firewall sein. Die Richtliniendurchsetzungsmaschine 114 könnte Benutzerinteraktionen vermitteln, um Operationen basierend auf den Bedingungen, die für jede Anwendung oder jedes Merkmal in der identitätsbasierten Zugriffssteuerungsrichtlinie 112 definiert sind, zu erlauben oder nicht zu erlauben. Zum Beispiel könnte die Richtliniendurchsetzungsmaschine 114 bestimmen, dass eine momentane Identität/Bedingung mit der- bzw. denjenigen, die in der identitätsbasierten Zugriffssteuerungsrichtlinie 112 definiert sind, nicht übereinstimmen, und somit eine Aktivierung eines zugehörigen Fahrzeugmerkmals verhindern. Das Anwendungsmodul 110 kann Benutzerinformationen mit dem OMS 104 austauschen, um den Status von irgendwelchen momentanen Fahrzeuginsassen zu erhalten. Wenn zum Beispiel das OMS 104 einen vorhandenen oder einen neuen Benutzer erkennt, kann das Anwendungsmodul 110 die Informationen für den existierenden oder den neuen Benutzer empfangen. Folglich kann die Richtliniendurchsetzungsmaschine 114 auf die Regeln, die für den vorhandenen Benutzer definiert sind, zugreifen und diese durchsetzen, oder in dem letztgenannten Fall die identitätsbasierte Zugriffssteuerungsrichtlinie 112 ändern, um den neuen Benutzer aufzunehmen.
-
Das Anwendungsmodul 110 kann ebenso die identitätsbasierte Zugriffssteuerungsrichtlinie 112 aktualisieren, wenn Modifikationen bezüglich der Richtlinien vorgenommen werden. Die identitätsbasierte Zugriffssteuerungsrichtlinie 112 kann gemäß Änderungsanfragen, die von autorisierten Benutzern oder Administratoren ausgehen, modifiziert werden. Zum Beispiel kann ein Fahrzeugflottenverwalter eine Anpassung der identitätsbasierten Zugriffssteuerungsrichtlinie 112 anfordern, um Bedingungen hinzuzufügen/zu entfernen, die erforderlich sind, um ein spezifisches Fahrzeugmerkmal zu erlauben. Das Anwendungsmodul 110 kann ebenso eine Eigenadministration durchführen, durch automatisches Anpassen der identitätsbasierten Zugriffssteuerungsrichtlinie 112, ohne die Notwendigkeit für einen menschlichen Administrator. In einem Beispiel kann die identitätsbasierte Zugriffssteuerungsrichtlinie 112 Standardregeln umfassen, die auf bestimmte Benutzer angewendet werden können. Zum Beispiel kann die identitätsbasierte Zugriffssteuerungsrichtlinie 112 bestimmte Merkmale für alle neuen Nutzer nicht erlauben, bis eine Richtlinienmodifikation von einem autorisierten Benutzer empfangen wird. Die Regeln können ebenso Bedingungen umfassen, die auf den Attributen, die mit jedem erkannten Benutzer verknüpft sind, oder Attributen des Fahrzeugkontexts basieren. Zum Beispiel kann das OMS 104 das Alter des Insassen bestimmen und die identitätsbasierte Zugriffssteuerungsrichtlinie 112 kann einem Benutzer erlauben, das Fahrzeug zu fahren, wenn eine altersbasierte Beschränkung erfüllt ist.
-
Eine Datenvalidierungsmaschine 118 kann verwendet werden, um OMS-Daten in verschiedenen Zuständen zu vergleichen. Das Anwendungsmodul 110 kann ein eigenes Verarbeitungs- und Kommunikationselement umfassen, das verwendet wird, um anwendungsbasierte Probleme zu steuern. Die Datenvalidierungsmaschine 118 lädt die Sicherheitsdefinition, die definiert, welche Insassendaten, Häufigkeit, usw. erforderlich ist, von dem OMS 104 und setzt diese durch, und setzt eine Systemoperation fort, wenn die Informationen konsistent sind. Die Daten werden implizit überprüft und können von mehreren Quellen stammen (zumindest zwei Quellen), wie etwa von dem OMS 104 und anderen Fahrzeugsteuerungen oder Sensoren. Zum Beispiel kann in dem Kontext des Fahrzeugspracherkennungssystems ein stark kritisches Merkmal (zum Beispiel Aktivierung des Einschaltens des Fahrzeugs über einen Sprachbefehl, des Wählens eines Notfalloperators, usw.) erfordern, dass das OMS 104 „Lippenlesen“-Daten (zum Beispiel, ein Mundbild) in Verbindung mit Spracherkennungsdaten bereitstellt. Ein weniger kritisches Merkmal (zum Ändern einer Radiostation oder Ändern eines Titels) kann weniger stringente Sicherheitsinformationen aufweisen, zum Beispiel, sodass das OMS 104 einen Hinweis bereitstellt, dass der Insasse allgemein gesprochen hat (aber ein Lippenlesen nicht durchgeführt wird), in Verbindung mit den Spracherkennungsdaten. Auch in dem altersbasierten Beschränkungsszenario in dem vorstehenden Absatz könnte ein kritisches Merkmal eine zusätzliche Validierung erfordern, zum Beispiel zwei oder mehr unabhängige Quellen von Altersdaten (zum Beispiel Alterserfassung durch Bild, Sprache, Benutzerprofildaten, Herzschlagvariation, Kombinationen von diesen, usw.).
-
Das Verarbeitungs- und Kommunikationselement 120 kann ein separater Prozessor oder Sender-Empfänger sein, oder eine Einheit, die einen Prozessor umfasst, der mit einem Sender-Empfänger kombiniert ist. Das Verarbeitungs- und Kommunikationselement 120 kann verwendet werden, um Befehle und Programme auf dem Anwendungsmodul 110 ablaufen zu lassen. Das Verarbeitungs- und Kommunikationselement 120 kann ein Einzel- oder Mehrfachkernprozessor zum Verarbeiten von Befehlen sein, wie etwa ein Computerprozessor, ein Mikroprozessor, eine Mikrosteuerung, oder irgendeine andere Einrichtung, Reihe von Einrichtungen oder andere Mechanismen, die dazu in der Lage sind, die hierin diskutierten Operationen durchzuführen. Der Speicher kann Anweisungen und Befehle, wie etwa Firmware, Computercode, oder manche Kombination von diesen bezüglich des Anwendungsmoduls 110 speichern. Der Speicher kann irgendeine Form von einer oder mehreren Datenspeichereinrichtungen aufweisen, wie etwa ein flüchtiger Speicher, ein nichtflüchtiger Speicher, ein elektronischer Speicher, ein magnetischer Speicher, ein optischer Speicher oder irgendeine andere Form einer Datenspeichereinrichtung. In einem Beispiel kann der Speicher entfernbare Speicherkomponenten umfassen. Das Verarbeitungs- und Kommunikationselement 120 kann ebenso eine Kommunikationseinrichtung umfassen, wie etwa einen BLUETOOTH-Sender-Empfänger. Irgendeine Art des Sender-Empfängers kann in dem Verarbeitungs- und Kommunikationselement 120 verwendet werden, um mit dem OMS 104 zu kommunizieren. Zum Beispiel kann das Anwendungsmodul 110 auf einer Mobileinrichtung gespeichert sein und kann verwendet werden, um mit einem Netzwerk des Fahrzeugs 102 zu kommunizieren. In einem weiteren Ausführungsbeispiel kann das Anwendungsmodul ein Verarbeitungs- und Kommunikationselement 120 aufweisen, das einen Sender-Empfänger umfasst, der eine drahtlose LAN-Einrichtung ist, die dazu in der Lage ist, zum Beispiel über ein 802.11-Netzwerk (das heißt WiFi) oder ein drahtgebundenes Netzwerk, wie etwa ein Fahrzeugkommunikationsnetzwerk (zum Beispiel CAN-Bus, USB, usw.) zu kommunizieren (ohne darauf beschränkt zu sein).
-
2 ist ein beispielhaftes Ablaufdiagramm eines Benutzerauthentifizierungssystems 200 in einem Ausführungsbeispiel. In Schritt 201 kann das Benutzerauthentifizierungssystem 200 bestimmen, wer der Benutzer des Fahrzeugs 102 ist. Zusätzlich oder alternativ kann das Benutzerauthentifizierungssystem 200 bestimmen, ob der Benutzer ein autorisierter Benutzer ist und ob ihm erlaubt ist, auf bestimmte Merkmale zuzugreifen. Das OMS 104 kann verschiedene Fahrzeugsensoren oder Einrichtungen, wie etwa eine Kamera, ein Mikrofon und/oder Daten von einem Schlüsselanhänger oder einer Mobileinrichtung verwenden, um den Benutzer des Fahrzeugs 102 zu identifizieren. In einem anderen Beispiel kann das Benutzerauthentifizierungssystem 200 mit dem OMS 104 arbeiten, um zu identifizieren, ob der Benutzer autorisiert ist, das Fahrzeug 102 zu betätigen (zum Beispiel das Fahrzeug zu fahren), oder eine Fahrzeugfunktion oder ein Anwendungsmerkmal zu betätigen. Nachdem der Benutzer zum Beispiel erkannt ist, könnte ein Fahrzeug nur ein paar autorisierte Fahrer umfassen, die als betriebsfähig bzw. betriebsbereit aufgeführt sind. Das OMS 104 kann Gesichtserkennungsdaten verwenden, um zu identifizieren, ob die Fahrer das Fahrzeug betätigen können oder nicht. Das OMS 104 kann Gesichtserkennungsdaten verwenden, um zu identifizieren, ob diese Fahrer auf eine Fahrzeugfunktion (zum Beispiel Radiofunktionalität, Navigationssystem, andere Fahrzeugmerkmale, usw.) zugreifen können oder nicht. In einem Beispiel können die Gesichtserkennungsdaten in dem sicheren Identitätsspeicher 109 des Fahrzeugs 102 gespeichert sein. In einem anderen Beispiel kann das Benutzerauthentifizierungssystem 200 versuchen, den Benutzer unter Verwendung von biometrischen Daten zu identifizieren, die in dem sicheren Identitätsspeicher 109 gefunden werden, als Reaktion auf eine Aktivierung einer Spracherkennungssitzung (zum Beispiel wird eine Spracherkennung durch ein „Weckwort“ aktiviert) oder eine Anwendung, die aktiviert ist (zum Beispiel über die Spracherkennungssitzung). Das OMS 104 kann einen Zugriff auf Fahrzeugfunktionen oder Anwendungsmerkmale verhindern, wenn die designierten Kriterien nicht erfüllt sind. Das OMS 104 kann diese Bestimmung kontinuierlich vornehmen, wenn der Benutzer mit dem Benutzerauthentifizierungssystem 200 interagiert, durch periodisches Durchführen eines Erkennungs- und Kriterienvalidierungsprozesses, zum Beispiel, im Intervall von einer Sekunde oder einer Minute. Dies kann gegenüber Systemen, die Merkmale basierend auf der Identität des Insassen nach einer einzigen Bestätigung aktivieren oder deaktivieren vorteilhaft sein, da es Cyberangriffe oder fehlerhafte Autorisierungen verhindern kann, wenn zum Beispiel ein Dieb versucht, ein besetztes Fahrzeug zu stehlen und in Besitz zu nehmen, oder wenn ein Cyberkrimineller das Fahrzeugnetzwerk infiltriert und versucht, Fahrzeugfunktionen zu steuern.
-
In Schritt 203 kann das Benutzerauthentifizierungssystem 200 Identitätsinformationen des Benutzers aktualisieren. Das OMS 104 kann Informationen bezüglich des Benutzers jedes Mal sammeln, wenn der Benutzer auf das Fahrzeug 102 zugreift. Somit kann das OMS 104 einen Gesichtserkennungsscan, einen Netzhautscan, einen Akustikmusterabgleich durchführen, die Mobileinrichtungen oder den Schlüsselanhänger, der durch den Benutzer verwendet wird, identifizieren, bestimmte Sitzpositionen identifizieren, oder andere Informationen beschaffen, bei jeder Verwendung des Fahrzeugs 102. Das OMS 104 kann konstant Daten, die für den Benutzer repräsentativ sind, überwachen, und eine Datenbank aktualisieren, um eine Erkennung eines Benutzers zu erleichtern. Wenn zum Beispiel das Fahrzeug 102 bestimmt, dass ein bestimmter Benutzer die Sitzeinstellung geändert hat, könnte es diese Positionen aktualisieren, um dabei zu helfen, den Benutzer in zukünftigen Fällen des Einsteigens in das Fahrzeug 102 oder des Betätigens des Fahrzeugs 102 zu erkennen. Zusätzlich, wenn sich zum Beispiel die Erscheinung des Benutzers aufgrund von Änderungen, die durch eine Beleuchtung, ein Altern oder Verdeckungen verursacht werden, leicht unterschiedlich ist, kann das OMS 104 die Identitätsinformationen aktualisieren, sodass der Benutzer in zukünftigen Fällen der Fahrzeugbenutzung genau erkannt wird. Das OMS 104 kann Identifikationsmodelle speichern, die jeden Benutzer darstellen, der in dem sicheren Identitätsspeicher 109 des Fahrzeugs 102 gespeichert ist. Das OMS 104 kann die Erkennung von Benutzern ohne eine Benutzerinteraktion passiv durchführen und kann aufgenommene Identitätsinformationen mit Informationen, die von einer neuen Benutzerregistrierung/einer Anmeldungsschnittstelle erhalten werden, oder anderen Informationen, die durch das Importieren eines im Voraus vorhandenen Modells erzeugt werden (zum Beispiel im Voraus auf einer Mobileinrichtung, in einem anderen Fahrzeug, usw. erzeugt), erweitern.
-
In Schritt 205 kann das Benutzerauthentifizierungssystem 200 die Sensordaten verarbeiten und einen Status des Benutzers bestimmen. Zum Beispiel kann der Prozessor 101 des OMS 104 mit verschiedenen Sensoren, Kameras (zum Beispiel Gesichtserkennungskamera, Laufzeitkamera, 3D-Scanner, usw.), Gesundheitsscannern, biometrischen Lesegeräten, usw. kommunizieren. Das Benutzerauthentifizierungssystem 200 kann den Zustand des Benutzers über eine Schwellenwertzeitperiode kontinuierlich überwachen und somit während einer Systemoperation kontinuierlich zu Schritt 203 zurückkehren, um das Modell des erkannten Benutzers während der Operation zu aktualisieren. Diese Operation kann auf eine nichtblockierende oder parallele Weise auftreten, um die Verarbeitung der Sensordaten zu ermöglichen, während die Identitätsinformationen kontinuierlich aktualisiert werden. Zum Beispiel kann das Benutzerauthentifizierungssystem 200 jede Minute oder alle 30 Sekunden Daten sammeln, um den Zustand des Benutzers zu überwachen. Somit kann das Benutzerauthentifizierungssystem 200 Daten sammeln, um den Insassen über eine Schwellenwertzeitperiode in einer zyklischen Weise zu überwachen (zum Beispiel alle 30 Sekunden, jede Minute, alle fünf Minuten, usw.). Manche der Daten, die das Benutzerauthentifizierungssystem 200 sammeln kann, umfassen Spracherkennungsdaten oder Gesichtserkennungsdaten, Mundbewegungsdaten, sowie andere biometrische Daten. Zum Beispiel kann das Benutzerauthentifizierungssystem 200 die gesammelten Spracherkennungs- oder Mundbewegungsdaten verwenden, um eine zeitindizierte Sequenz von Phonemen oder Visemen bzw. Mundbildern entsprechend einer Sprache des Benutzers zu extrahieren. In einem anderen Beispiel kann das Benutzerauthentifizierungssystem 200 zu jeder zyklischen Abtastperiode bestimmen, dass der Benutzer schläft oder wach ist. Das OMS 104 kann momentane und/oder historische Zustandsinformationen als Ereignisobjekte in einem Speicher (zum Beispiel Statusspeicher) speichern. Die Zustandsinformationen des Insassen können gegenüber einer Sicherheitsschnittstellendefinition 116 verglichen werden, um eine Aktivierung oder Deaktivierung von Anwendungsmerkmalen oder eine Zurückweisung von anhängigen Anfragen als Reaktion auf einen Insassenzustand auszulösen. Dies kann im Vergleich zu Systemen, die Merkmale nur basierend auf der Identität des Insassen aktivieren oder deaktivieren vorteilhaft sein, da es Cyberangriffe oder fehlerhafte Autorisierungen verhindern kann. Zum Beispiel, wenn eine kompromittierte Mobileinrichtung verdeckt bösartige Sprachbefehle durch Vortäuschen der Identität eines autorisierten Benutzers in das Fahrzeug 102 einbringt oder wenn ein skrupelloser Insasse die Identität eines unaufmerksamen autorisierten Benutzers imitiert.
-
Bei der Entscheidung 207 kann das Benutzerauthentifizierungssystem 200 bestimmen, ob ein Zeitgeberauslöser abgelaufen ist. Die Entscheidung 207 kann ebenso bestimmen, ob Daten durch das Anwendungsmodul 110 angefordert wurden. Der Zeitgeberauslöser kann eine Schwellenwertperiode sein, die das Benutzerauthentifizierungssystem 200 definiert, um eine Aktion zu initiieren, um Insasseninformationen zu sammeln und zu teilen. Zum Beispiel kann die Schwellenwertperiode irgendeine Zeit auf eine zyklische Weise sein (zum Beispiel alle 30 Sekunden, jede Minute, alle fünf Minuten, usw.). Irgendeine Schwellenwertperiode kann verwendet werden. Das System kann ebenso nach Bedarf bestimmen, ob eine Insasseninformationsanfrage von dem Anwendungsmodul 110 empfangen wurde. Die Daten, die von dem Anwendungsmodul 110 angefragt werden, können die erwarteten Insassenzustandsinformationen spezifizieren und Kommunikationsparameter, wie etwa eine Schwellenwertperiode, definieren, wenn es notwendig ist, ein Anwendungsmerkmal zu aktivieren und auszuführen, durch Bezugnahme und Berichten der Erfordernisse, die in den Sicherheitsschnittstellendefinitionen 116 ausgedrückt sind. Das OMS 104 kann die bestimmten aktiven Fahrzeugsensoren und Informationen anpassen, um die Erfordernisse der Anwendung zu erfüllen. Wenn die Entscheidung 207 nicht ausgelöst wird, kann das System zu Schritt 205 zurückkehren und fortsetzen, die Sensordaten zu verarbeiten.
-
In Schritt 209 kann das Benutzerauthentifizierungssystem 200 die Zustandsinformationen, die mit dem Benutzer verknüpft sind, übertragen. Wenn das OMS 104 die Zustandsinformationen sammelt und bestimmt, kann es jede individuelle Bestimmung an das Anwendungsmodul 110 senden oder Bestimmungen in eine einzelne Mitteilung, die alle Benutzerzustände umfasst, die innerhalb der Schwellenwertperiode entdeckt wurden, kombinieren. Wie in 3 gezeigt ist, verwendet das Benutzerauthentifizierungssystem 200 eine Nachschlagetabelle oder ein ähnliches Datenfeld, um zu identifizieren, welche Anwendungsmerkmale basierend auf bestimmten Elementen aktiviert werden können. Zusätzlich können die Daten, die durch das OMS 104 gesammelt werden, an eine Mobileinrichtung, einen entfernten Endpunkt, oder ein anderes Untersystem des Fahrzeugs 102 übertragen werden. Wenn zusätzliche Daten/Zeit erforderlich ist, um die Anfrage zu erfüllen, kann das Benutzerauthentifizierungssystem 200 zu Schritt 205 zurückkehren, um zusätzliche Sensordaten zu verarbeiten.
-
In einem Beispiel kann ein System eine robuste Benutzerauthentifizierung basierend auf einem Spracherkennungssystem oder einer Anwendung anwenden. Ein Benutzer kann anfordern, das Spracherkennungssystem unter Verwendung eines „Weckworts“ zu initiieren. Eine Identität und eine Autorisierung für die Anfrage kann durch eine Richtliniendurchsetzungsmaschine mit Bezug auf eine identitätsbasierte Zugriffssteuerungsrichtlinie verifiziert werden. Die Anwendung kann auf eine Sicherheitsschnittstellendefinition Bezug nehmen und Zustandsinformationen eines Benutzers von dem OMS 104 anfordern. Die Zustandsinformationen können Attribute bezüglich des Benutzers umfassen, wie etwa Mundbewegungsdaten, Gesichtserkennungsdaten, Sprachdaten, usw. Der Benutzer kann dann mit einer Sitzung, die das Spracherkennungssystem verwendet, fortfahren. Eine Datenvalidierungsmaschine kann auf die Sicherheitsschnittstellendefinition zur Validierung Bezug nehmen und Prozesse für interne Daten, die den Sprachbefehl darstellen, mit gleichzeitig empfangenen OMS-Daten korrelieren. Wenn eine Diskrepanz vorhanden ist, kann der Sprachbefehl zurückgewiesen werden, da das System bestimmen kann, dass ein Cyberangriff oder eine ähnliche Bedrohung aufgetreten ist. In einem Beispiel kann ein grundlegendes Level einer Validierung durchgeführt werden, um zu bestimmen, dass ein Insasse während der Sprachanfrage gesprochen hat. In einem anderen Beispiel kann ein höheres Level einer Validierung durchgeführt werden, um zu bestimmen, dass jedes Geräusch in der Sprachanfrage Mundbewegungen entspricht, die durch das OMS beobachtet werden. Das System kann dann definieren, ob eine Validierung des Insassen aufgetreten ist.
-
3 stellt eine beispielhafte Tabelle 300 dar, die verwendet werden kann, um verschiedene Befehle zu authentifizieren. Die Tabelle 300 kann eine beispielhafte Figur sein, die verwendet wird, um elektronische Daten zu beschreiben, wie etwa eine Nachschlagetabelle, ein Feld, oder eine Matrix von Daten, die in dem vorstehend beschriebenen System verwendet wird. Die Tabelle 300 kann eine Überschrift für das Anwendungsmerkmal 301 umfassen. Das Anwendungsmerkmal 301 kann den Namen der Anwendung oder ein Merkmal/einen Befehl der Anwendung, der ausgeführt wird, identifizieren, wie etwa ein Eingeben eines Ziels in das Navigationssystem, eine Wiedergabe eines Audiotitels, ein Anrufen einer Telefonnummer oder eines Kontakts, eine Autorisierung eines Anrufs an einen Notfallhelfer, ein Ein- oder Ausschalten des Fahrzeugs, usw. In einem anderen Beispiel kann eine Anwendung eine Authentifizierung erfordern, bevor auf die Anwendung zugegriffen werden kann.
-
Eine Identität A 303, eine Identität B 305..., eine Identität N 307 kann in der Tabelle 300 verwendet werden, um Kriterien zu definieren, um zu erlauben, dass ein Merkmal aktiviert oder deaktiviert wird. Ein Wert 309 kann entweder eine statische Konfiguration sein (immer erlaubt oder immer verboten) oder auf einer dynamischen Bedingung basieren (zum Beispiel nur zwischen einer bestimmten Zeitperiode, nur mit hochgefahrenen Fenstern, der Identitätsstatus erfüllt bestimmte Kriterien, usw.). In bestimmten Szenarien kann eine Funktion oder ein bestimmter Benutzer eine Authentifizierungsebene eines höheren Levels erfordern, basierend darauf, dass dies eine sicherheitsrelevante Funktion ist. Wenn zum Beispiel eine Geschwindigkeit des Fahrzeugs in einer Einstellung für eine adaptive Geschwindigkeitsregelung erhöht wird, könnte das System zusätzliche Merkmale und Kriterien verifizieren, im Gegensatz zum Ändern einer Radiostation.
-
Die Prozesse, Verfahren oder Algorithmen, die hierin dargestellt sind, könnten an eine Verarbeitungseinrichtung, eine Steuerung, oder einen Computer, die/der irgendeine vorhandene programmierbare elektronische Steuerungseinheit oder eine dedizierte elektronische Steuerungseinheit aufweisen kann, geliefert werden oder durch diese/diesen implementiert werden. Ähnlich könnten die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen, die durch eine Steuerung oder einen Computer ausführbar sind, auf viele Arten gespeichert werden, inklusive, aber nicht begrenzt auf, Informationen, die auf einem nichtbeschreibbaren Speichermedium, wie etwa ROM-Einrichtungen permanent gespeichert sind, und Informationen, die veränderbar auf beschreibbaren Speichermedien, wie etwa Floppy-Disketten, magnetischen Bändern, CDs, RAM-Einrichtungen und anderen magnetischen und optischen Medien veränderbar gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können ebenso in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise unter Verwendung von geeigneten Hardwarekomponenten verkörpert werden, wie etwa anwendungsspezifischen integrierten Schaltungen (ASICs, „application specific integrated circuits“), feldprogrammierbaren Gate Arrays (FPGAs, „field programmable gate arrays“), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Einrichtungen oder einer Kombination von Hardware-, Software- und Firmwarekomponenten. Die in der Spezifikation verwendeten Wörter sind Wörter zur Beschreibung und nicht Wörter zur Beschränkung und es ist zu verstehen, dass verschiedene Änderungen vorgenommen werden können, ohne sich von dem Geist und Umfang dieser Offenbarung zu entfernen. Zum Beispiel kann der Ausdruck Modul einen Prozessor, eine Steuerung, oder irgendeine andere Art einer Logikschaltung beschreiben, die auf Anweisungen reagiert und diese verarbeitet, die durch einen Computer verwendet werden. Ein Modul kann ebenso einen Speicher umfassen oder mit einem Speicher, der Anweisungen ausführt, kommunizieren. Zusätzlich kann der Ausdruck Modul in Software verwendet werden, um einen Teil eines Programms (oder mehrerer Programme) zu beschreiben, die diese Routinen aufweisen. Des Weiteren kann eine Anweisung ein Programm oder ein Satz von Softwareroutinen sein.
-
Während vorstehend beispielhafte Ausführungsbeispiele beschrieben sind, ist es nicht gedacht, dass diese Ausführungsbeispiele alle möglichen Formen, die durch die Ansprüche umfasst sind, beschreiben. Die Wörter, die in der Spezifikation verwendet sind, sind Wörter einer Beschreibung und keine Wörter einer Beschränkung, und es ist zu verstehen, dass verschiedene Änderungen vorgenommen werden können, ohne sich von dem Geist und Umfang dieser Offenbarung zu entfernen. Wie vorstehend beschrieben, können die Merkmale der verschiedenen Ausführungsbeispiele kombiniert werden, um weitere Ausführungsbeispiele der Erfindung zu bilden, die nicht explizit beschrieben oder dargestellt sein könnten. Während verschiedene Ausführungsbeispiele hinsichtlich eines oder mehrerer gewünschter Merkmale als vorteilhaft oder bevorzugt gegenüber anderen Ausführungsbeispielen oder Implementierungen nach dem Stand der Technik hätten beschrieben werden können, werden denjenigen mit gewöhnlichen technischen Fertigkeiten erkennen, dass eines oder mehrere Merkmale oder Charakteristika beeinträchtigt bzw. kompromittiert sein könnten, um gewünschte Gesamtsystemattribute zu verwirklichen, die von der spezifischen Anwendung und Implementierung abhängen. Diese Attribute können unter anderem Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Gebrauchstauglichkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit, usw. umfassen, sind aber nicht darauf beschränkt. In dem Maße, in dem Ausführungsbeispiele in Bezug auf ein oder mehrere Merkmale als weniger wünschenswert als andere Ausführungsbeispiele oder Ausführungsbeispiele nach dem Stand der Technik beschrieben werden, liegen diese Ausführungsbeispiele nicht außerhalb des Geltungsbereichs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.
-
Ein System (100) in einem Fahrzeug (102) umfasst einen oder mehrere Sensoren (103), die dazu konfiguriert sind, Insasseninformationen von einem Insassen zu erhalten, unter Verwendung von zumindest Gesichtsinformationen des Insassen. Das System umfasst ebenso eine Steuerung (101), die mit dem einen oder den mehreren Sensoren kommuniziert. Die Steuerung ist dazu konfiguriert, eine Anwendungsrichtlinie zu bestimmen, die mit einer oder mehreren Anwendungen des Fahrzeugs verknüpft ist, und die eine oder mehreren Anwendungen auszuführen, als Reaktion darauf, dass Gesichtsinformationen eine erste Authentifizierungsebene oder eine zweite Authentifizierungsebene, die mit der Anwendungsrichtlinie verknüpft sind, überschreiten.
