-
Die Erfindung betrifft ein Verfahren zur Steuerung von Kraftfahrzeugfunktionen Anzeigeelemente nach Anspruch 1 und ein entsprechendes System nach Anspruch 5.
-
Die Anzahl der in Fahrzeugen angebotenen Dienste und Funktionen nimmt stetig zu. Da jede Funktion und jeder Service von den Fahrgästen der Fahrzeuge gesteuert werden muss, steigt auch die Anzahl der dedizierten Benutzeroberflächen und Mensch-Maschine-Schnittstellen (HMI). Dies stellt neue Herausforderungen in Bezug auf Ergonomie, Kosten und Integration. Ein Trend ist die Umsetzung intelligenter Oberflächen und Displays im Fahrzeuginnenraum. Ihre Integration kann jedoch aufgrund der von ihnen verursachten Nahwärme und der benötigten Stromversorgung schwierig sein.
-
Ein weiteres Problem ist, dass die Fahrzeuginsassen verschiedene Größen haben, einige sind Linkshänder, andere Rechtshänder. Darüber hinaus können die Fahrgäste während der Fahrt ihre Orientierung ändern: Zurückdrehen, zur Seite drehen oder in eine andere Richtung schauen.
-
Mehr noch, mit vollautomatischen Fahrzeuginsassen könnte die Freiheit entstehen, sogar ihren Platz zu wechseln, um einen Tisch herum zu sitzen, ihren Sitz zu drehen.
-
In all diesen Situationen sind bekannte übliche festinstallierte Benutzerschnittstellen nicht direkt zugänglich oder für alle Fahrgäste nicht gut nutzbar.
-
Es ist zwar bekannt, in Kraftfahrzeugen den Benutzer mittels Gesten (z.B. der Arme oder Hände) eine Funktionalität des Fahrzeugs steuern zu lassen. Dazu wird entweder eine Geste im leeren Luftraum ausgeführt ohne Bezug zu einer Bedienungsschnittstelle (HMI) oder vor einer Bedienungsschnittstelle bzw. Anzeige die Annäherung der Hand erkannt und deren Bewegung zur kontaktlosen Steuerung der entsprechenden dedizierten Funktion nachverfolgt.
-
So beschreibt z.B. die
DE 10 2013 201 746 A1 ein gestenbasiertes Erkennungssystem erhält gewünschte Befehlseingaben eines Fahrzeuginsassen durch Erkennung und Interpretation seiner Gesten. Ein Bild des inneren Abschnitts des Fahrzeugs wird aufgenommen, und das Bild des Fahrzeuginsassen wird vom Hintergrund im aufgenommenen Bild getrennt. Das getrennte Bild wird analysiert, und ein Gestenerkennungsprozessor interpretiert die Geste des Fahrzeuginsassen aus dem Bild. Ein Befehlsauslöser gibt den interpretierten gewünschten Befehl zusammen mit einer Bestätigungsmeldung für den Fahrzeuginsassen vor dem Auslösen des Befehls wieder. Wenn der Fahrzeuginsasse bestätigt, löst der Befehlsauslöser den interpretierten Befehl aus. Ferner beurteilt ein Interferenzmaschinenprozessor den Aufmerksamkeitszustand des Fahrzeuginsassen und übermittelt Signale an ein Fahrassistenzsystem, wenn der Fahrzeuginsasse unaufmerksam ist. Das Fahrassistenzsystem liefert Warnsignale an den unaufmerksamen Fahrzeuginsassen, wenn potenzielle Gefahren identifiziert werden. Ferner stellt ein Fahrererkennungsmodul bei Erkennen des Fahrers einen Satz von Personalisierungsfunktionen des Fahrzeugs wieder auf vorgespeicherte Einstellungen ein.
-
WO 2017/084793 A1 beschreibt ein entsprechendes System, bei dem im Inneren der Fahrzeugkabine ein Radarsensor zur Nachverfolgung der Bewegung der Körperteile der Personen verwendet wird.
-
WO 2018/031516 A1 beschreibt ebenfalls eine radarbasierte Gestensteuerungsüberwachung in einem Kraftfahrzeug.
-
Demgegenüber besteht die Aufgabe der vorliegenden Erfindung darin, ein Verfahren zur Steuerung von Kraftfahrzeugfunktionen bereitzustellen, die eine einfache Handhabung erlaubt und trotzdem gute Ergebnisse bei verringertem Installationsaufwand erzielt.
-
Diese Aufgabe wird durch das in Anspruch 1 wiedergegebene Verfahren gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen und der Beschreibung.
-
Erfindungsgemäß ist erkannt worden, dass, wenn die Steuerung bekanntermaßen Gesten verwendet, diese sich aber immer auf eine Anzeige beziehen, die Bedienung für den Mensch stark vereinfacht wird. Dazu wird erfindungsgemäß jede bzw. eine in der Fahrzeugkabine vorhandene freie Fläche im Sicht- und Bedienbereich des jeweiligen Passagiers als virtuelle Anzeige für die fragliche Funktionalität verwendet, wozu diese freie Fläche als Projektionsfläche für eine virtuelle Anzeige- und Bedienungsfläche benutzt wird.
-
Die Idee der Erfindung besteht in anderen Worten darin, mit einer virtuellen Anzeige ein HMI in Bezug auf die Fahrgastposition, -größe und -orientierung durch Projektion so auf einer geeigneten Fläche darzustellen, dass die Nutzung des HMI vom jeweiligen Fahrgast hinsichtlich seiner tatsächlichen Position und Ausrichtung sofort durchgeführt werden kann, also mit einer Anzeigeneinrichtung zur Projektion einer virtuellen Benutzerschnittstellenanzeige auf einer beliebigen freien Fläche innerhalb der Fahrzeugkabine, wobei die Benutzerschnittstelle zur Veränderung von Kraftfahrzeugfunktionen durch einen Passagier dient.
-
Die Interaktion zwischen dem angezeigten HMI und dem Fahrgast erfolgt durch den Einsatz von Body / Hand Tracking Technologie, also einer Überwachungseinrichtung zur Nachverfolgung von Passagierpositionen und Körperausrichtungen sowie Bewegungen auch der Gliedmaßen mittels einer Gruppe von Sensoren, die in das Fahrzeug integriert wird.
-
Das System kennt den Bereich, in dem es selbst die virtuelle Anzeige projiziert hat und erkennt daher eine Interaktion mit dem HMI-Display, wenn z.B. von der Überwachungseinrichtung festgestellt wird, dass die Hand (oder ein anderes Körperteil) des Fahrgastes sich dem HMI-Display nähert oder mit ihm in Kontakt kommt. Eine virtuelle Anzeige kann einer bestimmten Funktionalität zugeordnet sein, die dann entsprechend aktiviert wird.
-
Mit anderen Worten, mit einer Auswerteeinheit, die aus der Überwachungseinrichtung Daten bezüglich der Passagierpositionen und Körperausrichtungen sowie Bewegungen auch der Gliedmaßen in Beziehung zu der virtuellen Benutzerschnittstellenanzeige setzt, wird eine Steuerung der der virtuellen Benutzerschnittstellenanzeige zugewiesenen Kraftfahrzeugfunktionen durch Austausch der ermittelten Änderung der virtuellen Benutzerschnittstelleneinstellungen in der virtuellen Benutzerschnittstellenanzeige durch die bestimmten Bewegungen des Passagiers mit einer Kraftfahrzeugsteuerung ermöglicht.
-
Die Vorteile der Erfindung liegen in der Kostenreduzierung und Reduzierung des Integrationsaufwands, da das System bereits mit einer Mehrzahl von Projektoren und Kameras im Fahrzeuginnenraum realisiert werden kann.
-
Die virtuelle Anzeige- und Bedienungsfläche kann dann wie bekannt mittels überwachter Gestensteuerung bedient werden.
-
Als freie Flächen kommen im Prinzip alle Flächen in Betracht, die für die jeweilige Person sichtbar und zugänglich sind. Dies können vorzugsweise freie als unbenutzte Flächen der Innenraumverkleidung, des Armaturenbretts, der Sitze, Tische, sogar Fenster oder vorhandene Displays usw. sein. Es ist sogar denkbar, dass Körperteile (Beine, Arme etc.) des Passagiers selber als freie Fläche verwendet werden. Auch Hologramme als Anzeigen können eingesetzt werden. Dann wäre die freie Fläche „der Luftraum“.
-
Erfindungsgemäß zeigt das HMI bzw. die virtuelle Anzeige kontextabhängigen Inhalt in Bezug auf unterschiedliche auswählbare Parameter an. Dies können z.B. sein: Fahrzeuginnenparameter, Fahrzeugaußenparameter, Fahrsituation, Fahrzeugzustand etc.
-
Der Fahrgast kann auch auf andere HMI-Positionen bzw. Menüpunkte gezielt nach Wahl zugreifen.
-
Im Grundsatz umfasst die Erfindung fünf unterschiedliche Funktionen oder Module.
-
Eine Funktion bzw. ein Modul ist die Überwachungseinrichtung zur Nachverfolgung von Passagierpositionen und Körperausrichtungen sowie Bewegungen auch der Gliedmaßen mittels einer Gruppe von Sensoren, die in das Fahrzeug integriert wird. Es wird also ein Fahrgastkörper-Tracking-System mit einem Satz von Sensoren verwendet.
-
Die Überwachungseinrichtung kann also Fahrgastposition, Körperorientierung, Abmessungen und auch Fahrgastkörper-/Handbewegungen usw. erkennen und verfolgen. Mit dieser Funktion bzw. diesem Modul ist ein Erkennen einer Interaktion zwischen Fahrgastkörper oder -hand mit einem bestimmten HMI-Anzeigebereich möglich.
-
Eine bevorzugte Implementierung beinhaltet ein hochmodernes kamerabasiertes System oder ähnliches und Bildverarbeitungsalgorithmen zur Erkennung von Personen, Körperteilen und deren Eigenschaften. Eine entsprechende Überwachungseinrichtung kann in ein Fahrzeug integriert werden.
-
Dazu umfasst es ein Fahrzeugzustandsinformationsmodul, welches der Überwachungseinrichtung Informationen über den Fahrzeugzustand (Dynamik, Beschleunigung, Geschwindigkeit, Vibration, Steigung, etc.) liefert. So können beispielsweise Informationen, die über CAN-Datenbusse verfügbar sind und z. B. von ABS, Lenkung, PCM usw. Steuermodulen bereitgestellt werden, verwendet werden. Diese Informationen werden von der Überwachungseinrichtung verwendet, um die Genauigkeit der Überwachung bzw. Nachverfolgung zu verbessern und eine vorausschauende Anpassung zu ermöglichen (z.B. Passagier bewegt sich nach rechts, wenn sich das Fahrzeug in einer großen Kurve befindet).
-
Hinzu kommt der eigentliche Tracking-Sensor oder Gruppe von Sensoren. Eine bevorzugte Implementierung beinhaltet eine kamerabasierte Sensoranordnung (d.h. sie ermöglicht stereoskopisches Tracking/ Nachverfolgung), die an einer bestimmten Position des Fahrzeuginnenraums integriert ist, so dass jede Fahrgastposition überwacht werden kann. Die Sensoranordnung kann mit der Bordnetzversorgung und einem Fahrzeugdatennetz verbunden sein.
-
Das Fahrzeugdatennetz ermöglicht eine Datenkommunikation im Fahrzeug (CAN, FlexRay, Ethernet, MOST, LIN). Die Stromversorgung des Fahrzeugs ermöglicht es, die Elektronik des Fahrzeugs mit Strom zu versorgen und ist an eine elektrische Stromquelle angeschlossen.
-
Die eigentliche Überwachung erfolgt im Tracking-Modul. Dies ist eine Software, die auf mindestens einer Steuerung, einer Rechnerhardware, einem ECU des Fahrzeugs oder in der Cloud läuft. Es kann modernste Objekterkennungs- und Tracking-Algorithmen verwenden, die für die Automobilindustrie verbessert wurden, indem Informationen über den Fahrzeugzustand verwendet werden.
-
Eine weitere Funktion bzw. ein Modul ist die Benutzerschnittstelle, die zur Veränderung von Kraftfahrzeugfunktionen durch einen Passagier dient.
-
Diese erlaubt mindestens einen oder mehrere Parameter der Benutzerschnittstelle (d.h. die Benutzeroberfläche oder Schnittstelle, die ein Merkmal des Fahrzeugs steuert) zu auszuwählen, einzustellen bzw. verändern etc. Beispielsweise könnten die Benutzerschnittstellen sein:
- Fahrzeuginnenraumparameter (Temperatur, Licht, Feuchtigkeit, Geruch, Schall, Stress, Ermüdung, etc.), Fahrzeugaußenparameter (Wetter, Licht, Temperatur, etc.), Parameter der Fahrsituation des Fahrzeugs (Verkehrssituation, Lokalisierung, Route, Manöver, etc.) Fahrzeugzustandsparameter (aktivierte Merkmale, Ausfallmodi, Merkmalsstatus, Kraftstoffstatus, Geschwindigkeit, etc.).
-
Ferner können Fahrzeuginnenraum-Parameter-Sensoren zum Einsatz kommen.
-
Entsprechende Innenparametersensoren können identisch mit dem/den Tracking-Sensor(en) (Kameras) sein oder dedizierte Sensoren wie Sitzsensor, Ultraschallsensor, Lidarsensor, Temperatursensor, Lichtsensor usw. umfassen. Auch Außenparametersensoren des Fahrzeugs, wie LIDAR, Kamera, Radar, Ultraschall, V2X, Cloud-basierte Daten oder ein beliebiger Sensor, die sich auf den Betrieb einiger Fahrzeugfunktionen beziehen, können einfließen.
-
Als Bestimmungsmethode für die Fahrsituation des Fahrzeugs kommen Algorithmen in Betracht, wie z. B. Fuzzy Mean Clustering, Klassifizierung, DNN, Kalman-Filter als modellbasierte Ansätze, oder Fahrzeugnavigationssystemdaten, GPS, Fahrzeuggeschwindigkeit usw.
-
Auch Daten von Fahrzeugzustands-Sensorik können verwendet werden. Hierzu eignen sich über das Datennetzwerk des Fahrzeugs (z.B. CAN, FlexRay, Ethernet, MOST, LIN) oder über die V2X-Kommunikation oder über einige Cloud-Daten bereitgestellte Daten.
-
In einer Weiterentwicklung kann eine Inhaltsbestimmung in Bezug auf die Fahrgäste in der Anzeige implementiert werden. So können beispielsweise Fahrgäste, die auf dem Fahrersitz sitzen (falls verfügbar), andere Inhalte erhalten, als diejenigen Passagiere, die in den hinteren Reihen sitzen. Kinder können andere Inhalte als Erwachsene angeboten bekommen.
-
In einem Parameter-Extraktionsmodul werden die beschriebenen Parameter basierend auf den Daten der Sensorgruppen extrahiert. Aktuelle Algorithmen, die zurzeit im Bereich Bilderkennung oder -analyse bereits den Menschen übertreffen, können hier verwendet werden, um die Daten zu extrahieren. So können beispielsweise modernste Bildverarbeitungs- und Computer-Vision-Algorithmen verwendet werden, um die Fahrgäste im Fahrzeug zu erfassen oder um Temperaturwerte aus dem Innensensor zu extrahieren. Diese Daten fließen dann in die Benutzerschnittstellenanzeige bzw. Anzeigenauswahleinrichtung (siehe unten).
-
Basierend auf den obigen Parametern bestimmt ein Inhaltsbestimmungsmodul mindestens einen anzuzeigenden Inhalt für mindestens einen Fahrgast auf der virtuellen Anzeige. Ziel ist es, dem Fahrgast eine reduzierte Interaktionsmöglichkeit zu bieten und ihn nicht mit Schnittstellen zu überlasten, die im aktuellen Zeitfenster möglicherweise nicht genutzt werden. Dieses Modul kann auf einem Modell wie DNN (Deep Neural Network), Entscheidungsbaum, Zustandsmaschine oder einfach einem Satz vordefinierter Regeln basieren, wobei die Eingabemöglichkeiten durch die obigen Parameter bestimmt sind und die Ausgabe aus einer Sammlung von einem oder mehreren HMI-Elementen besteht.
-
Beispielsweise werden unter den nachfolgenden Bedingungen:
- Fahrzeuginnenraumparameter: Temperatur liegt bei 24°C
- Fahrzeugaußenparameter: Temperatur liegt bei 30°C
- Situationsparameter Fahrzeugantrieb: Autobahnfahrt
- Fahrzeugzustandsparameter: Fahrzeuggeschwindigkeit liegt bei 120 km/h, keine Assistenzsysteme aktiviert.
als Inhalt für alle Passagiere auf der virtuellen Anzeige als Funktionalität
- Klimaanlagentemperatur einstellen
- Gebläseintensität einstellen
- Connectivity (Internetzugang), eigene Anzeigen von I nform ationsfunktionen
- Sitzposition, Sitzheizung
dargeboten.
-
Nur für den Fahrer werden jedoch weitere Funktionen angeboten:
- ACC aktivieren
- Einstellung der ACC-Distanz
- Audio-System steuern
- Navigation.
-
Dabei ist sichergestellt, dass immer ein Schnittstellenpfad vorhanden ist, der dem Benutzer den Zugriff auf alle im Fahrzeug verfügbaren Funktionen ermöglicht.
-
Eine weitere Funktion bzw. ein Modul ist die Anzeigeneinrichtung selber, die zur Projektion der Benutzerschnittstelle als virtuelle Anzeige auf einer beliebigen freien Fläche innerhalb der Fahrzeugkabine umfasst. Hierbei können unterschiedliche im Fahrzeuginnenraum implementierten Anzeigetechniken bzw. Vorrichtungen verwendet werden, wie z. B. OLED, in Oberflächen eingebaute Anzeigen (wie z. B. auch intelligente Oberflächen der Innenverkleidung, die gleichzeitig als Anzeigen ausgestaltet sind), Projektoren usw. Vorzugsweise werden ein oder mehrere Projektoren eingesetzt.
-
Beispielsweise können intelligente Oberflächenbereiche große Bereiche des Fahrzeuginnenraums abdecken, wie Armaturenbrett, Sitz, Armlehne, Fenster, Windschutzscheibe, Dach, Boden, die somit als freie Flächen in Betracht kommen. In einer weiteren Implementierung auch mobile Geräte (Handys, Tablets etc.) der Fahrgäste selbst mit einbezogen werden, wenn diese mit dem Fahrzeugnetz verbunden sind.
-
Ferner kann als eine bevorzugte Ausführungsform ein Projektor in das Fahrzeug eingebaut sein. Der Projektor kann Bilder der virtuellen Anzeige auf Armaturenbrett, Sitz, Armlehne, Fenstern, Dach, Boden, Beifahrer usw. anzeigen. In einer weiteren Entwicklung kann dies auch holografische Projektion beinhalten.
-
Die Anzeigetechnik ist an das elektrische Versorgungsnetz des Fahrzeugs angeschlossen und wird über eines der Fahrzeugdatennetze mit dem restlichen System verbunden. Dies kann MOST, Ethernet, WiFi, CAN, FlexRay usw. sein. Die Daten, die an die Anzeigetechnik übertragen werden, können Bilder oder einfach nur Bildkonfigurationsinformationen sein, die es der Anzeigetechnik ermöglichen, das Bild für die virtuelle Anzeige zu rekonstruieren, d.h. das System kann einen dedizierten GPU beinhalten, der auf vordefinierte Schnittellen-Elemente zugreifen kann. In diesem Fall übermittelt das Datennetzwerk nur die Identifikatoren der benötigten Elemente und eventuell deren Layout, und die GPU, die vom Projektor gehostet werden kann, übernimmt das Rendering.
-
In der Anzeigeneinrichtung kann auch eine weitere Untereinheit implementiert sein, nämlich eine Anzeigenauswahleinrichtung, die basierend auf den Daten aus der Überwachungseinrichtung die freie Fläche bestimmt, die zu Anzeige verwendet werden soll. Einige Kriterien für die Standortbestimmung sind z. B. Passagierposition, Fahrgastdimension, Arm- und/oder Handhaltung, Mitfahrperspektive oder Sichtfeld. Daneben fließen in die Entscheidung die bekannten Räumlichen Verhältnisse und Ausstattung des Fahrzeugs ein, wo z. B. ungenutzte Fläche im direkten Umfeld des fraglichen Passagiers sind.
-
Eine weitere Funktion bzw. ein Modul ist eine Auswerteeinheit, die aus der Überwachungseinrichtung Daten bezüglich der Passagierpositionen und Körperausrichtungen sowie Bewegungen auch der Gliedmaßen in Beziehung zu der virtuellen Benutzerschnittstellenanzeige setzt, um eine Steuerung der der virtuellen Benutzerschnittstellenanzeige zugewiesenen Kraftfahrzeugfunktionen durch Austausch der ermittelten Änderung der virtuellen Benutzerschnittstelleneinstellungen in der virtuellen Benutzerschnittstellenanzeige durch die bestimmten Bewegungen des Passagiers mit einer Kraftfahrzeugsteuerung zu ermöglichen. Diese führt die eigentliche Aufgabe der Zusammenführung der Daten aus der Überwachung und der Relation zu r virtuellen Anzeige und Generierung der Änderungsbefehle für die jeweilige Fahrzeugfunktion aus.
-
Bei der Anzeigenauswahleinrichtung können Daten aus verschiedenen Kriterien wie Fahrgastlage, Fahrgastabmessungen, Fahrgastarme / Zeigerlage, Fahrgast-Augen / Sichtfeldlage einfließen.
-
Im Modul zur Bestimmung des Anzeigebereichs basierend auf den Informationen der Überwachungseinrichtung und unter Verwendung modernster Bildverarbeitungs-/Computer Vision-Algorithmen führt das System beispielsweise folgende Verarbeitungsschritte durch:
- Ermitteln der aktuellen Position des Fahrgastes und der Sichtfelder (Blickrichtung); Händigkeit feststellen, z.B. ob der Beifahrer links- oder rechtshändig ist? Identifizieren des nächstgelegenen Anzeigebereichs in Bezug auf die Position und die Sichtfelder des Fahrgastes.
-
Einstellen des zuvor identifizierten Bereichs für die linke / rechte Hand des Beifahrers;
Falls der nächstgelegene Anzeigebereich nicht ausreichend nahe an den Sichtfeldern des Fahrgastes liegen kann, Auswählen eines Standard-Anzeigebereichs und Senden eines speziellen Hinweises (z.B. flackernde Warnung, Symbol, Pfeil, Pfeil) an einem nächstgelegenen Anzeigebereich innerhalb der Sichtfelder des Fahrers, um die Aufmerksamkeit des Fahrers zu erregen und auf das Display zu lenken, welches die Anzeigeinformation enthält. Zusätzlich kann eine akustische Eingabeaufforderung als Blickfang für den Fahrgast dienen.
-
Das Modul kann als eigenständige Rechnerhardware oder auch als Software in einer ECU des Fahrzeugs ausgeführt werden.
-
Es versteht sich, dass die Rechnerhardware oder ECU mit einem entsprechenden Speicher und CPU sowie Programmierung ausgestattet ist, um die fraglichen Funktionen auszuführen.
-
Das System kann eine Datenbank oder einen Speicher beinhalten, in dem Fahrzeugfunktionen jeweils HMI-Schnittstellen zugeordnet sind. So könnte z.B. die virtuelle Anzeige „A/C On“ einer CAN-Bus-Nachricht zum Einschalten der Klimaanlage zugeordnet sein.
-
Das System kann auch weitere HMI-Schnittstellen beinhalten, die wiederum mit einigen HMI-Schnittstellen verbunden sind. Wenn beispielsweise ein HMI-Element ausgewählt wird, öffnet / erstellt das System möglicherweise ein weiteres HMI-Element. Das weitere HMI-Element wäre dann vorzugsweise abhängig von der Situation, die externe (z. B. Fahrsituation) und interne Parameter (z. B. Temperatur) umfasst.
-
Das System kann eingerichtet bzw. programmiert sein, um die folgende Abfolge von Aktionen entweder in regelmäßigen Zeitabständen oder entweder nach einer HMI-Interaktion mit einem Fahrgast oder nach einer Änderung eines Parameters zu wiederholen (z.B. Fahrsituationsänderung von freier Fahrt in Stau, kann das HMI „Start Traffic Jam Assist“ anbieten):
- ◯ Bestimmen eines HMI-Anzeigebereichs mit der Anzeigenauswah leinrichtung;
- ◯ Das System hält die Position des ausgewählten HMI-Anzeigebereichs in fest;
- ◯ Das anzuzeigende HMI wird ausgewählt bzw. bestimmt anhand der Überwachungseinheit und der Kraftfahrzeugfunktionen und der eingeflossenen Parameter.
- ◯ Anzeige der virtuellen Anzeige mit der Anzeigeneinrichtung.
-
Sobald die virtuelle Benutzerschnittstelle angezeigt wird, überwacht das System kontinuierlich die Gesteninteraktion zwischen dem Passagier und dem Bereich der virtuellen Anzeige.
-
Das System ist dabei so konzipiert, dass eine präzise Körperverfolgung des Fahrgastes durch die Überwachungseinheit durchgeführt wird. Somit kann das System die Fahrzeugbereiche überwachen, in denen die Handbewegungen des Fahrgastes stattfinden. Wenn der Bewegungsbereich mit einem HMI-AnzeigeBereich übereinstimmt, wird eine Interaktion erkannt und der zugehörige Funktionsvorgang vom System ausgeführt.
-
Um die Überwachung der Interaktion zwischen dem Fahrgast und der virtuellen Benutzerschnittstelle (HMI) zu vereinfachen, kann das System eine Kartographie des Fahrzeugs mit einem System von 3D-Koordinaten implementieren. Bei der Bestimmung der Anzeigebereiche kann das System diese Anzeigebereiche in einem Speicher ablegen. Wenn das System dann die Körpernachverfolgung des Fahrgastes durchführt, kann es die 3D-Koordinaten bestimmter Gesten / Körperbewegungen (z.B. Finger der Hand, der auf etwas zeigt) überprüfen und diese 3D-Koordinaten mit denen des HMI-Anzeigebereichs vergleichen.
-
Die virtuelle Benutzerschnittstelle (HMI) kann spezifisch von einzelnen Personen nach Ihren Vorlieben personalisiert werden. Hierbei bekommt nur der Fahrer Zugriff auf alle Fahrzeugfunktionen, während Beifahrer nur ausgewählte spezifische Funktionen einstellen können, wie z. B. Komfort bezogene (Heizung, Sitzheizung, ), Connectivity (BT-Anbindung, WLAN, Access-Point, ), oder eine personalisierte Zusammenstellung der erlaubten Benutzerschnittstellefunktionen durchführen dürfen.
-
Die virtuelle Benutzerschnittstelle (HMI) enthält beispielsweise eine Steuerung (ECU), die die Personenposition (mit Hilfe der entsprechenden Sensorik) bestimmt, daraus eine geeignete (Projektions-)Oberfläche für die Anzeige berechnet, die Projektion auf diese Oberfläche berechnet und generiert, sowie eine Interaktionen des Passagiers mit dieser Anzeige überwacht, detektiert und auswertet.
-
In einer Weiterentwicklung kann das System so konzipiert werden, dass es die virtuelle Anzeige bzw. Benutzerschnittstelle in Smart Devices des Passagiers (Mobilfunkgerät, Smart Brillen / Smart Tablet) implementiert.
-
Die Erfindung weist die folgenden Vorteile auf:
- ◯ Die Fahrgäste werden durch optimal bestimmte Schnittstellen Inhalte nicht überlastet.
- ◯ Die virtuelle Benutzerschnittstellenanzeige wird unter Berücksichtigung von Körpergröße, Orientierung und Ist-Position den Fahrgästen spezifisch angezeigt.
- ◯ Das System kann in verschiedenen Fahrzeugmodellen identisch implementiert werden, da keine plattformspezifische Integration erforderlich ist.
- ◯ Das System ist universell und generisch, die Benutzerschnittstellen-Anpassung an neue Funktionalitäten ist einfach implementierbar. Jede Benutzerschnittstellen kann durch das System dargestellt werden.
- ◯ Kostenreduzierung durch den Austausch aller Benutzerschnittstellen-Geräte durch virtuelle Elemente;
-
Weitere Details der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen anhand der Zeichnung, in der 1 bis 4 jeweils eine schematische Draufansicht auf den Innenraum eines PKW in unterschiedlichen Zuständen zeigen.
-
In den Figuren ist ein als Ganzes mit 100 bezeichneter Pkw bzw. dessen Innenraum aus der Vogelperspektive gezeigt.
-
Mit der Ziffer 1 ist die Vorderseite und mit 2 die Rückseite des Fahrzeugs bezeichnet. Ein Passagier 3 sitzt auf der Beifahrerseite und ist durch seine Position und Körperausrichtung gekennzeichnet. Mit der Ziffer 4 ist sein rechter Arm gekennzeichnet.
-
Im Bereich des Armaturenbretts vor dem Passagier 3 zur Außenseite des Fahrzeugs hin ist ein Sensor 5 angeordnet, der ein Nachverfolgen der Bewegungen des Passagiers 3 und insbesondere seines rechten Arms 4 erlaubt. Analoge Sensoren sind über die Fahrgastzelle verteilt.
-
Daneben ist ein Projektor 6 angeordnet, der die virtuelle Benutzerschnittstellenanzeige übernimmt. Vorliegend handelt es sich um einen konventionellen Projektor. Es könnten jedoch auch Laser-, Hologrammeprojektoren oder 3-D Projektoren eingesetzt werden.
-
Etwa in der Mitte des Fahrzeuges ist eine weitere zentrale Einheit 7 angeordnet, die mindestens einen weiteren Nachverfolgungssensor zur Überwachung von Körperbewegungen enthält sowie auch einen zusätzlichen zentralen Projektor. Somit wird eine bessere Raumabdeckung der Fahrzeugkabine erreicht.
-
Die Fahrzeugsitze sind mit der 8 angedeutet, wobei es sich um eine übliche Konfiguration mit zwei Fahrzeugsitzen in der vorderen Reihe und zwei Fahrzeugsitzen in der hinteren Reihe handelt.
-
Zwischen dem nicht dargestellten Fahrer und dem dargestellten Beifahrer 3 ist die Mittelkonsole 9 dargestellt, die vorliegend als freie Fläche für die Anzeige der virtuellen Benutzerschnittstelle dienen kann. Im Prinzip kommen jedoch noch weitere Flächen infrage, wie zum Beispiel das gesamte Armaturenbrett, die Türen, die Fenster, die Sitzflächen usw. und sogar die Körperoberflächen der Passagiere.
-
Aus Gründen der Einfachheit wird nachfolgend bei der Darstellung der Verfahrensweise angenommen, dass das Fahrzeug lediglich dem Passagier 3 besetzt ist und im Fahrzeug die drei folgenden Funktionalitäten aktiv sind: Klimatisierung, Autopilot, Radio des Unterhaltungssystems.
-
Basierend auf dem Status der aktivierten Funktionen erstellt das System 100 eine kontextabhängige Liste von Benutzerschnittstelleneinträgen, die für den Benutzer (Passagier 3) sinnvoll sind: Erhöhung der Temperatur der Klimaanlage, ändern der Route zum Ziel oder verringern der Lautstärke des Radios.
-
Das System ist mit einem vordefinierten Katalog bzw. Datenbank ausgestaltet, worin eine Assoziation zwischen dem jeweiligen Befehl zur Funktionsänderung und der virtuellen Benutzerschnittstellenanzeige hinterlegt ist.
-
Das System 100 ermittelt zunächst mittels der Überwachungseinrichtung und der Nachverfolgungsalgorithmen die Position und die Ausrichtung des Passagiers 3 basierend auf den Sensor Daten aus den Sensoren 5 und 7.
-
Basierend aus diesen Informationen ermittelt das System einen Bereich 200, indem die virtuelle Benutzerschnittstellenanzeige 300 mit ihren Einträgen gut dargestellt werden kann vergleiche 2).
-
Das System aktiviert dann die Projektoren 6 und 7, um die virtuelle Benutzerschnittstellenanzeige 300 tatsächlich in die Region 200 zu projizieren, was in der 3 durch die Strahlen 400 angedeutet ist.
-
Daraufhin überwacht das System nun mittels der Sensoren 5 und 7 mittels eines zweiten Körpernachverfolgungsalgorithmus, der spezialisiert ist den rechten Arm 4 des Passagiers 3 nachzuverfolgen, den Passagier auf mögliche Bewegungen die eine Interaktion mit der virtuellen Benutzerschnittstellenanzeige darstellen könnten.
-
Detektiert das System eine Bewegung der rechten Hand des Passagiers 3 (Schritt 500) die eine Interaktion mit der virtuellen Benutzerschnittstellen Anzeige 300 darstellt und eine Erhöhung der Klimatisierungstemperatur zugewiesen wird (Schritt 600), wird ein entsprechender Befehl ausgelöst. Die Interaktion wird in 3 mit 700 bezeichnet und ihre Detektion erfolgt mittels der Verwendung von Koordinaten der virtuellen Anzeigenbereiche und die Koordinaten der rechten Hand des Passagiers in der Auswerteeinheit, die dazu einen Bilderkennungsalgorithmus verwendet.
-
Daraufhin beginnt das Verfahren von neuem bzw. weitere Funktionalitäten können ausgeführt werden. Eine Änderung der entsprechenden Funktionalität wird nur ausgeführt, wenn der entsprechende Auslöser tatsächlich detektiert wird. Als Auslöser können neben der entsprechenden Geste, die von den entsprechenden Überwachungssensoren 5 und 7 detektiert wird, auch Sprachbefehle, Ausnahmesituationen bzw. deren Meldungen vom Fahrzeugsystemen (z. B. Reifendruckabfall), Notfälle oder kritische Fahrsituationen sowie die Bedienung von klassischen Bedienungselementen wie Knöpfen oder Reglern, die in dem Armaturenbrett oder Fahrzeug integriert sind oder entsprechende Mobilgeräte, die mit einer Funktionalität über eine App als Auslöser dienen.
-
Es versteht sich, dass das System für jeden Passagier getrennt aktiviert und ausgeführt werden kann. Dabei ist es möglich, dass eine zunächst initiale Aktivierung beim Einsteigen oder Losfahren über konventionelle Methoden vorgenommen wird, um Konflikte oder Missbräuche zu reduzieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013201746 A1 [0007]
- WO 2017/084793 A1 [0008]
- WO 2018/031516 A1 [0009]
