DE102022129409A1

DE102022129409A1 - Vorrichtung und Verfahren zum Steuern eines Smartgerätes in einem Fahrzeug

Info

Publication number: DE102022129409A1
Application number: DE102022129409.9A
Authority: DE
Inventors: Simone CAMBERG; Johannes Feldmaier; Thomas Ewender
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-11-08
Filing date: 2022-11-08
Publication date: 2024-05-08

Abstract

Eine Vorrichtung zum Steuern eines Smartgerätes (108) in einem Fahrzeug (102) hat mindestens eine Geräteposition (110) im Fahrzeuginnenraum zum Anordnen des Smartgerätes (108) und mindestens einem bilderzeugenden System (132) des Fahrzeugs (102). Das bilderzeugende System (132) ist ausgebildet, mindestens ein Bild mit einer Abbildung eines Bereichs des Fahrzeuginnenraums zu erfassen, der zumindest eine Hand (142) des Insassen (104) umfasst, und dem Bild entsprechende Bilddaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit (134) mit einem Schnittstellenmodul (140), das eine Datenverbindung zwischen dem Smartgerät (108) und der Steuereinheit (134) bereitstellt. Die Steuereinheit (134) ist dazu ausgebildet, die Bilddaten zu verarbeiten, auf Grundlage der Bilddaten eine Benutzergeste des Insassen (104) zu ermitteln, auf Grundlage der Bilddaten zu ermitteln, ob die Benutzergeste an das Smartgerät (108) gerichtet ist, und mit Hilfe der Datenverbindung einen mit der Benutzergeste verknüpften Steuerbefehl an das Smartgerät (108) zu übermitteln, wenn die Steuereinheit (134) ermittelt hat, dass die Benutzergeste an das Smartgerät (108) gerichtet ist.

Description

Die Erfindung betrifft eine Vorrichtung zum Steuern eines Smartgerätes in einem Fahrzeug. Die Erfindung betrifft ferner ein Verfahren zum Steuern eines Smartgerätes in einem Fahrzeug.
Dokument DE 2018 005 172 U1 offenbart eine Vorrichtung für ein Fahrzeug mit einer Innenkamera des Fahrzeugs und einer Benutzerschnittstelle. Die Benutzerschnittstelle ist dazu ausgebildet, eine Benutzereingabe, insbesondere eine dreidimensionale Benutzergeste in einen Steuerbefehl für das Fahrzeug zu wandeln. Die Vorrichtung ist ferner dazu ausgebildet zu erkennen, ob ein mobiles Endgerät in einer dafür vorgesehenen Halterung angeordnet ist.
Dokument US 2013 155237 A1 offenbart ein System umfassend ein mobiles Endgerät und eine externe Kamera des mobilen Endgerätes. Das mobile Endgerät ist dazu ausgebildet, auf Grundlage von Bilddaten der externen Kamera eine Benutzergeste zu erkennen und einen der Benutzergeste entsprechenden Befehl auszuführen.
Smartgeräte finden vermehrt ihren Weg in den Innenraum von Fahrzeugen, wo sie entweder an dafür vorgesehenen Haltern fest installiert oder frei im Innenraum platziert werden. Mit Smartgeräten, auch Smartdevices, sind in diesem Dokument insbesondere Smartphones, Smartwatches, Tablet-Computer, Handheld-Spielkonsolen, Augmented-Reality-Brillen, Datenbrillen und ähnliche tragbare Endgeräte gemeint. Die Benutzung solcher Smartgeräte in Fahrzeugen hat jedoch eine Reihe gravierender Nachteile. Beispielsweise nimmt ein Insasse beim Bedienen des Smartgerätes eine ungünstige Haltung ein, in der er sich dem Smartgerät zuwendet, seine Hände in Richtung des Smartgerätes streckt oder sich sogar in Richtung des Smartgerätes lehnt, wodurch insbesondere der Gurt gelockert wird. Solche ungünstigen Haltungen können insbesondere in Unfallsituationen zu gefährlichen Verletzungen führen. Hinzu kommt, dass die Bedienung eines Smartgerätes für den Fahrzeugführer eine mitunter gefährliche Ablenkung darstellt, insbesondere, wenn sich der Fahrzeugführer dem Smartgerät zuwenden muss.
Aufgabe der Erfindung ist es daher, eine Vorrichtung und ein Verfahren zum Steuern eines Smartgerätes in einem Fahrzeug anzugeben, welche die vorgenannten Nachteile vermeiden.
Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
Die vorgeschlagene Vorrichtung zum Steuern eines Smartgerätes in einem Fahrzeug hat mindestens eine Geräteposition im Fahrzeuginnenraum zum Anordnen des Smartgerätes und mindestens ein bilderzeugendes System des Fahrzeugs. Das bilderzeugende System ist ausgebildet, mindestens ein Bild mit einer Abbildung eines Bereichs des Fahrzeuginnenraums zu erfassen, der zumindest eine Hand des Insassen umfasst, und dem Bild entsprechende Bilddaten zu erzeugen. Die Vorrichtung umfasst ferner eine Steuereinheit mit einem Schnittstellenmodul, das eine Datenverbindung zwischen dem Smartgerät und der Steuereinheit bereitstellt. Die Steuereinheit ist dazu ausgebildet, die Bilddaten zu verarbeiten, auf Grundlage der Bilddaten eine Benutzergeste des Insassen zu ermitteln, auf Grundlage der Bilddaten zu ermitteln, ob die Benutzergeste an das Smartgerät gerichtet ist, und mit Hilfe der Datenverbindung einen mit der Benutzergeste verknüpften Steuerbefehl an das Smartgerät zu übermitteln, wenn die Steuereinheit ermittelt hat, dass die Benutzergeste an das Smartgerät gerichtet ist.
Die Vorrichtung erlaubt es dem Insassen, das Smartgerät mit einer Benutzergeste zu steuern, die der Insasse insbesondere mit seiner Hand ausführt. Das Smartgerät mit der Benutzergeste zu steuern lenkt den Insassen weniger ab, als eine Steuerung über andere Bedieneingaben wie beispielsweise Scrollen und Tippen mit Zeigefingern oder Daumen auf einem Touchscreen des Smartgerätes, da eine solche Steuerung eine Hand-Auge-Koordination erfordert. Eine Gestensteuerung erfordert demgegenüber keine Hand-Auge-Koordination. Um sicherzustellen, dass der Insasse auch beabsichtigt, das Smartgerät zu steuern, ermittelt die Steuereinheit, ob die Benutzergeste an das Smartgerät gerichtet ist. Beispielsweise kann die Steuereinheit aus der Art der Benutzergeste bestimmen, ob die Benutzergeste an das Smartgerät gerichtet ist. So können bestimmte Benutzergesten für das Steuern des Smartgerätes vorbestimmt sein. Alternativ oder zusätzlich kann die Steuereinheit aber auch dazu ausgebildet, dass der Insasse vorbestimmen kann, ob Benutzergesten zur Steuerung des Smartgerätes verwendet werden sollen. So kann die Steuereinheit unterscheiden, ob der Insasse mit der Benutzergeste das Smartgerät oder ein anderes gestengesteuertes System des Fahrzeugs steuern möchte. Die Benutzergeste wird mit Hilfe des bilderzeugenden Systems des Fahrzeugs erkannt, welche insbesondere fest im Innenraum des Fahrzeugs angeordnet ist und einen Bereich des Fahrzeuginnenraums erfasst, in dem sich der Insasse befindet. Es ist daher nicht notwendig, dass beispielsweise eine Kamera des Smartgerätes auf den Insassen ausgerichtet ist, um die Benutzergeste zu erfassen. Die Erkennung der Benutzergeste erfolgt somit unabhängig von der Position und Ausrichtung des Smartgerätes. Damit erlaubt es die Vorrichtung dem Insassen, das Smartgerät nahezu ablenkungsfrei zu steuern, auch wenn das Smartgerät an einer Geräteposition angeordnet ist, die normalerweise ein Hinwenden des Insassen erfordern würde. Die Vorrichtung erlaubt somit dem Insassen die Steuerung eines Smartgerätes in einem Fahrzeug mit minimaler Ablenkung und ohne dabei ungünstige Haltungen einnehmen zu müssen.
Unter Benutzergeste wird in diesem Dokument jede Gestik oder Mimik verstanden, die der Insasse zum Steuern des Smartgerätes ausführen kann. Insbesondere führt der Insasse die Benutzergeste mit einer seiner Hände und/oder Arme aus. Allerdings kann auch ein Gesichtsausdruck, beispielsweise ein Blinzeln oder Zwinkern, eine Benutzergeste sein.
Unter bilderzeugendes System wird in diesem Dokument jedes System verstanden, dass dazu ausgebildet ist, ein zweidimensionales oder dreidimensionales Bild zu erzeugen. Insbesondere wird unter bilderzeugendes System eine Kamera verstanden, die ein zweidimensionales Bild erfasst. Alternativ kann die Kamera eine Time-of-Flight-Kamera sein, die ein dreidimensionales Bild erfasst. Die Kamera erfasst insbesondere Licht im optischen Spektrum und/oder im infraroten Spektrum. Alternativ kann das bilderzeugende System auch durch ein RADAR- oder LIDAR-System gebildet werden, dass ein dreidimensionales Bild des Fahrzeuginnenraums erzeugt, insbesondere in Form einer Punktwolke.
Vorzugsweise ist die Geräteposition auf einem Speicherelement der Steuereinheit gespeichert. Mögliche Gerätepositionen sind insbesondere im Fahrzeug eingebaute Ladeschalen, der Bereich vor einem Kombiinstrument des Fahrzeugs, der Bereich vor einem zentralen Informationsdisplay, der Bereich vor einem Head-Up-Display, in oder vor aufklappbaren Ablagefächern, auf Gummimatten in einem Cockpit des Fahrzeugs, vor Luftausströmungsdüsen, beispielsweise in der Mitte des Cockpits oder links neben dem Lenkrad und mögliche Anordnungspositionen von Saugnapfhalterungen, die an der Windschutzscheibe des Fahrzeugs befestigbar sind und einen sogenannten Schwanenhals aufweisen können. Ferner sind Halterungen bekannt, die an Seitenscheiben befestigbar sind. Andere mögliche Gerätepositionen sind die Becherhalter im Fahrzeug und Ablagen des Armaturenbretts, beispielsweise im Bereich vor dem Lenkrad, der Mittelkonsole oder des Beifahrersitzes.
Das Schnittstellenmodul ist insbesondere ausgebildet, eine drahtlose Verbindung, beispielsweise Bluetooth^®, WLAN, Nahfeldkommunikation (NFC) usw., mit dem Smartgerät herzustellen, um die Datenverbindung bereitzustellen. Das Schnittstellenmodul kann aber auch ausgebildet sein, eine kabelgebundene Verbindung, beispielsweise über ein USB-Kabel, mit dem Smartgerät herzustellen, um die Datenverbindung bereitzustellen.
Vorzugsweise ist das bilderzeugende System dazu ausgebildet, mehrere zeitlich aufeinander folgende Bilder, d.h. eine Bild- oder Videosequenz, zu erfassen und den Bildern entsprechende Bilddaten zu erzeugen. Hierdurch können Bewegungen, die der Insasse beispielsweise mit seiner Hand ausführt, besser erfasst werden, wodurch die Benutzergeste einfacher ermittelt werden kann.
In einer bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten die Position der Benutzergeste relativ zu der Geräteposition zu ermitteln und unter Berücksichtigung der Position der Benutzergeste zu ermitteln, ob die Benutzergeste an das Smartgerät gerichtet ist. In dieser Ausführungsform ermittelt die Steuereinheit auf Grundlage der Bilddaten, wo der Insasse die Benutzergeste ausführt. Wenn der Insasse die Benutzergeste in der Nähe der Geräteposition oder auf die Geräteposition gerichtet ausführt, kann das ein Hinweis darauf sein, dass der Insasse die Benutzergeste an das Smartgerät richten will. Wird die Position der Benutzergeste bei der Ermittlung berücksichtigt, ob die Benutzergeste an das Smartgerät gerichtet ist, kann diese Ermittlung zuverlässiger erfolgen.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten eine Blickrichtung des Insassen zu ermitteln und unter Berücksichtigung der Blickrichtung zu ermitteln, ob die Benutzergeste an das Smartgerät gerichtet ist. Vorzugsweise umfasst der Bereich, der von dem bilderzeugenden System erfasst wird, das Gesicht des Insassen, insbesondere die Augen des Insassen. Die Blickrichtung des Insassen kann beispielsweise unter Verwendung eines geeigneten Maschinenlernverfahrens erfolgen. Insbesondere kann aus der Blickrichtung eine Pupillenbewegung des Insassen ermittelt werden. Hierzu ist das bilderzeugende System vorzugsweise als eine Kamera ausgebildet. Aus einer reduzierten Pupillenbewegung kann dann insbesondere auch auf einen Zustand der Konzentration des Insassen geschlossen werden, wie er beispielsweise beim Lesen einer Mitteilung auftritt. Ist der Blick des Insassen in Richtung des Geräteposition gerichtet oder ermittelt die Steuereinheit aus der Pupillenbewegung einen konzentrierten Zustand des Insassen, beispielsweise, weil der Insasse gerade eine von dem Smartgerät angezeigte Meldung liest oder gelesen hat, während der Insasse die Benutzergeste ausführt, kann das ein Hinweis darauf sein, dass der Insasse die Benutzergeste an das Smartgerät richten will. Die Ermittlung, ob die Benutzergeste an das Smartgerät gerichtet ist, erfolgt somit zuverlässiger, wenn die Blickrichtung des Insassen bei der Ermittlung berücksichtigt wird.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, zu ermitteln, ob das Smartgerät in der Geräteposition angeordnet ist. Beispielsweise kann an der Geräteposition ein Ermittlungsmodul der Steuereinheit angeordnet sein, die ausgebildet ist zu ermitteln, ob das Smartgerät in der Geräteposition angeordnet ist. Ist das Smartgerät nicht in dem Fahrzeuginnenraum angeordnet, kann davon ausgegangen werden, dass die Benutzergeste nicht an das Smartgerät gerichtet ist. Daher ist die Information, ob das das Smartgerät in der Geräteposition angeordnet ist ein wichtiges Indiz dafür, ob die Benutzergeste an das Smartgerät gerichtet ist. Durch die Ermittlung der Geräteposition wird die Bestimmung, ob der Insasse beabsichtigt, das Smartgerät zu steuern, noch zuverlässiger.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, auf Grundlage der Bilddaten und/oder der Datenverbindung zu ermitteln, ob das Smartgerät in der Geräteposition angeordnet ist. In dieser Ausführungsform verwendet die Steuereinheit Informationen des bilderzeugenden Systems und/oder des Schnittstellenmoduls, um zu ermitteln, ob das Smartgerät in der Geräteposition angeordnet ist. Beispielsweise kann unter Verwendung der Bilddaten die Position des Smartgerätes im Fahrzeuginnenraum ermittelt werden, in dem das Smartgerät in dem Bild des Fahrzeuginnenraums erkannt wird. Ist die Geräteposition auf dem Bild des Fahrzeuginnenraums nicht zu erkennen, kann die Steuereinheit beispielsweise ausgebildet sein zu ermitteln, ob der Insasse das Smartgerät in der Geräteposition angeordnet hat. Zum Beispiel kann die Steuereinheit ermitteln, ob der Insasse das Smartgerät, das er zu einem früheren Zeitpunkt in der Hand hielt, zu einen späteren Zeitpunkt in der Geräteposition abgelegt hat, auch wenn die Geräteposition außerhalb des Bereichs ist, der von dem bilderzeugenden System erfasst wird. Auf Grundlage der Bilddaten kann somit sehr zuverlässig ermittelt werden, ob das Smartgerät in der Geräteposition angeordnet ist. Aus der Information, ob das Schnittstellenmodul momentan die Datenverbindung mit den Smartgerät bereitstellt, kann ebenfalls zuverlässig daraus geschlossen werden, ob sich das Smartgerät im Fahrzeuginnenraum befindet.
In einer weiteren bevorzugten Ausführungsform umfasst die Vorrichtung zwei oder mehr Gerätepositionen. Die Steuereinheit kann ausgebildet sein zu ermitteln, in welcher der Gerätepositionen das Smartgerät angeordnet ist. Insbesondere kann das Smartgerät frei in dem Fahrzeuginnenraum angeordnet werden. Die Steuereinheit ist in diesem Falle insbesondere dazu ausgebildet, die Position des frei angeordneten Smartgerätes als die Gerätepositionen zu ermitteln. Die Ermittlung der Position des frei angeordneten Smartgerätes kann insbesondere auf Grundlage der Bilddaten erfolgen. Beispielsweise in dem das Smartgerät in dem Bild des Fahrzeugsinnenraums erkannt wird. Diese Ausführungsform ist besonders flexibel, denn sie erlaubt dem Insassen das Smartgerät an einer Vielzahl von Orten im Fahrzeuginnenraum zu positionieren.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, mit Hilfe der Datenverbindung von dem Smartgerät eine Positionsinformation zu empfangen. Die Steuereinheit ist dazu ausgebildet, auf Grundlage der Positionsinformation zu ermitteln, ob das Smartgerät in der Geräteposition angeordnet ist. Wenn die Vorrichtung mehrere Gerätepositionen aufweist, ist die Steuereinheit insbesondere dazu ausgebildet, auf Grundlage der übermittelten Positionsinformation zu ermitteln, in welcher Geräteposition das Smartgerät angeordnet ist. Auch aus der von dem Smartgerät übermittelten Positionsinformation kann die Geräteposition zuverlässig bestimmt werden.
In einer weiteren bevorzugten Ausführungsform umfasst die Vorrichtung eine Eingabeeinheit des Fahrzeugs, die ausgebildet ist, mindestens eine Benutzereingabe des Insassen zu empfangen, wobei die Steuereinheit dazu ausgebildet ist, mit Hilfe der Datenverbindung einen mit der Benutzereingabe verknüpften Steuerbefehl an das Smartgerät zu übermitteln, insbesondere, wenn die Steuereinheit ermittelt hat, dass das Smartgerät in der Geräteposition angeordnet ist. Moderne Fahrzeuge weisen eine Vielzahl von Eingabeeinheiten aus, die ergonomisch angeordnet sind und insbesondere durch den Fahrzeugführer bedient werden können, ohne dass es dabei zu einer nennenswerten Ablenkung kommt. Die Eingabeeinheiten kann Bedienelemente aufweisen, die beispielsweise an einem Lenkrad oder eine Mittelkonsole des Fahrzeugs anordnet sind. Die Eingabeeinheit kann aber auch ein Drehrad mit einer Drucktastenfunktion und/oder einem Touch-Eingabefeld aufweisen. In dem die Vorrichtung Benutzereingaben in die Eingabeeinheit an das Smartgerät weiterleitet, wird dem Insassen neben der Benutzergeste eine weitere Möglichkeit gegeben, dass Smartgerät weitgehend ablenkungsfrei steuern zu können.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, dem Smartgerät die Bilddaten mit Hilfe der Datenverbindung zur Verfügung zu stellen, insbesondere, wenn die Steuereinheit ermittelt hat, dass das Smartgerät in der Geräteposition angeordnet ist. In dieser Ausführungsform erlaubt die Steuereinheit dem Smartgerät den Zugriff auf die von dem bilderzeugenden System erzeugten Bilddaten. Hierdurch kann die Ermittlung der Benutzergeste durch das Smartgerät selbst erfolgen. Insbesondere wenn die Benutzergeste durch die Steuereinheit nicht erkannt wird, beispielsweise weil die Benutzergeste für das Smartgerät einzigartig ist, kann eine Identifizierung der Benutzergeste durch das Smartgerät selbst erfolgen. Somit ist die Vorrichtung kompatibel mit einer Vielzahl verschiedener Smartgeräte.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, dem Smartgerät die ermittelte Benutzergeste mit Hilfe der Datenverbindung zur Verfügung zu stellen, insbesondere, wenn die Steuereinheit ermittelt hat, dass das Smartgerät in der Geräteposition angeordnet ist. Zusätzlich zu den Bilddaten oder anstelle der Bilddaten kann die Steuereinheit auch die ermittelte Benutzergeste an das Smartgerät übermitteln. Hierdurch kann die Ermittlung des der Benutzergeste zugeordneten Steuerbefehls durch das Smartgerät selbst erfolgen. Dies ist beispielsweise dann vorteilhaft, wenn eine Benutzergeste mehrdeutig ist und für verschiedene Smartgeräte mit unterschiedlichen Steuerbefehlen verknüpft ist. Auch in dieser Ausführungsform ist die Vorrichtung kompatibel mit einer großen Zahl von verschiedenen Smartgeräten.
In einer weiteren bevorzugten Ausführungsform ist die Steuereinheit dazu ausgebildet, Sensordaten, die von einem Sensor des Smartgerätes erzeugt werden, über die Datenverbindung zu empfangen und zu verarbeiten. Insbesondere ist die Steuereinheit dazu ausgebildet, Bilddaten, die von einer Kamera des Smartgerätes erzeugt werden über die Datenverbindung zu empfangen und zu verarbeiten. Beispielsweise kann die Steuereinheit dazu ausgebildet sein, auf Grundlage der von dem Smartgerät bereitgestellten Sensordaten zu ermitteln, ob der Insasse die Benutzergeste in der Nähe des Smartgerätes oder auf das Smartgerät gerichtet ausführt. So erfasst beispielsweise eine Frontkamera eines Smartphones den Bereich unmittelbar vor dem Smartphone besser, als die Kamera des Fahrzeugs. Ferner kann das Smartgerät einen Näherungssensor aufweisen, der ausgebildet ist zu erfassen, ob sich die Hand des Insassen in der Nähe des Smartgerätes befindet. Aus der zusätzlichen Information der Sensordaten kann die Steuereinheit noch zuverlässiger bestimmen, ob die Benutzergeste an das Smartgerät gerichtet ist.
Die Erfindung betrifft ferner ein Verfahren zum Steuern eines Smartgerätes in einem Fahrzeug. Bei dem Verfahren wird mindestens ein Bild mit einer Abbildung eines Bereichs des Fahrzeuginnenraums erfasst, der zumindest eine Hand des Insassen umfasst. Es werden dem Bild entsprechende Bilddaten erzeugt. Es wird eine Datenverbindung zwischen dem Smartgerät und der Steuereinheit bereitgestellt. Es wird auf Grundlage der Bilddaten eine Benutzergeste des Insassen ermittelt. Es wird auf Grundlage der Bilddaten ermittelt, ob die Benutzergeste an das Smartgerät gerichtet ist. Es wird mit Hilfe der Datenverbindung ein mit der Benutzergeste verknüpfter Steuerbefehl an das Smartgerät übermittelt, wenn ermittelt wurde, dass die Benutzergeste an das Smartgerät gerichtet ist.
Das Verfahren hat dieselben Vorteile wie die beanspruchte Vorrichtung. Insbesondere kann das Verfahren mit den Merkmalen der auf die Vorrichtung gerichteten abhängigen Ansprüche weitergebildet werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand der Figuren näher erläutert. Darin zeigen:

1 eine perspektivische schematische Darstellung eines Cockpits eines Fahrzeugs;
2 eine perspektivische schematische Darstellung des Cockpits des Fahrzeugs, in der ein Insasse eine Benutzergeste ausführt;
3a eine weitere perspektivische schematische Darstellung des Cockpits des Fahrzeugs, in der der Insasse eine weitere Benutzergeste ausführt;
3b eine weitere perspektivische schematische Darstellung des Cockpits des Fahrzeugs, in der der Insasse die weitere Benutzergeste ausführt;
4 den Ablaufplan eines Verfahrens zum Steuern eines Smartgerätes.

1 zeigt eine perspektivische schematische Darstellung eines Cockpits 100 eines Fahrzeugs 102.
Als ein Beispiel für einen Insassen 104 des Fahrzeugs 102 zeigt die 1 einen Fahrzeugführer, der auf einem Fahrersitz 106 des Fahrzeugs 102 sitzt. Ein Smartgerät 108 in Form eines Smartphones ist in einer Geräteposition 110 auf einer Mittelkonsole 112 des Cockpits 100 angeordnet. Andere Smartgeräte, beispielsweise ein Tablet-Computer, können an weiteren Gerätepositionen angeordnet werden. Insbesondere kann das Smartgerät 108 mit Hilfe von im Zubehörhandel verfügbaren Halterungen in der Geräteposition 110 so angeordnet werden, dass der Fahrzeugführer das Smartgerät 108 einsehen und bedienen kann.
Das Cockpit 100 umfasst zudem ein zentrales Informationsdisplay 114 (CID), ein Head Up Display 116 und ein graphisches Kombiinstrument 118. Insbesondere das zentrale Informationsdisplay 114 kann ein Touch-Eingabefeld aufweisen und somit eine Eingabeeinheit bilden. Das Cockpit 100 umfasst ferner ein Lenkrad 120, einen Gangwahlschalter 122, eine Pedalerie 124. Auf dem Lenkrad 120 sind Bedienelemente 126 angeordnet, die ebenfalls Teil einer Eingabeeinheit sein können. Auf der Mittelkonsole 112 ist eine weitere Eingabeeinheit 128 mit einem Drehrad und einer Drucktastenfunktion und/oder einem Touch-Eingabefeld angeordnet. Diese Eingabeeinheit 128 wird auch als Ergo Commander bezeichnet.
Im oberen Bereich einer Frontscheibe 130 des Fahrzeugs 102 ist eine Kamera 132 als ein beispielhaftes bilderzeugendes System. angeordnet. Die Kamera 132 hat ein Sichtfeld von 120 Grad. Bei anderen Ausführungsformen kann die Kamera 132 auch ein Sichtfeld in dem Bereich von bis zu 150 Grad haben. Die Kamera 132 ist derart angeordnet und ausgerichtet, dass die Kamera 132 einen Bereich des Innenraums des Fahrzeugs 102 erfassen kann, der insbesondere eine Hand des Insassen 104 umfasst. In dem gezeigten Ausführungsbeispiel werden einige Bereich des Cockpits 100 von der Kamera 132 nicht erfasst, so dass sich dort angeordnete Smartgeräte 108 nicht in dem von der Kamera 132 erfassten Bereich befinden. Die Kamera 132 ist ferner ausgebildet, mehrere zeitlich aufeinander folgende Bilder zu erfassen, den Bildern entsprechende Bilddaten zu erzeugen und diese an eine Steuereinheit 134 zu übermitteln.
Die Steuereinheit 134 hat Datenausgänge 136 und Dateneingänge 138, die zur Verbindung mit weiteren Einheiten des Fahrzeugs 102, insbesondere mit weiteren Ein- und Ausgabeneinheiten und Steuereinheiten von Assistenzsystemen, dienen. Ein Schnittstellenmodul 140 der Steuereinheit 134 ist dazu ausgebildet, eine Datenverbindung zwischen dem Smartgerät 108 und der Steuereinheit 134 bereitzustellen. Die Steuereinheit 134 ist ferner ausgebildet ein Verfahren zum Steuern des Smartgerätes 108 durchzuführen. Bei dem Verfahren verarbeitet die Steuereinheit 134 die von der Kamera 132 übermittelten Bilddaten, um eine Benutzergeste des Insassen 104 zu ermitteln. Die Steuereinheit 134 ermittelt dann, ob die Benutzergeste an das Smartgerät 108 gerichtet ist. Wenn die Steuereinheit 134 ermittelt hat, dass die Benutzergeste an das Smartgerät 108 gerichtet ist, übermittelt die Steuereinheit 134 einen mit der Benutzergeste verknüpften Steuerbefehl mit Hilfe der Datenverbindung an das Smartgerät 108. Das Verfahren wird im Folgenden näher beschrieben.
In 1 führt der Insasse 104 mit seiner rechten Hand 142 eine Benutzergeste aus, bei der der Insasse 104 seinen Zeige- und Mittelfinger zu einem V spreizt. Der Insasse 104 führt die Benutzergeste vor dem in der Geräteposition 110 angeordneten Smartgerät 108 aus. Die Steuereinheit 134 ermittelt in dem von der Kamera 132 erfassten Bild des Innenraums die von dem Insassen 104 ausgeführte Benutzergeste. Hierzu kann die Steuereinheit 134 beispielweise ein geeignetes computerimplementiertes Verfahren, insbesondere ein Maschinenlernverfahren, durchführen, mit dessen Hilfe aus den Bilddaten die Benutzergeste ermittelt werden kann.
Um zu ermitteln, ob die Benutzergeste an das Smartgerät 108 gerichtet ist, ermittelt die Steuereinheit 134 in dem in 1 gezeigten Beispiel die Position der Benutzergeste relativ zu der Geräteposition 110. Aus dem Umstand, dass der Insasse 104 die Benutzergeste vor dem in der Geräteposition 110 angeordneten Smartgerät 108 ausführt, ermittelt die Steuereinheit 134, dass die Benutzergeste an das Smartgerät 108 gerichtet ist. Entsprechend übermittelt die Steuereinheit 134 den mit der spezifischen Benutzergeste verknüpften Steuerbefehl über die Datenverbindung an das Smartgerät 108.
2 zeigt eine weitere perspektivische schematische Darstellung des Cockpits 100 des Fahrzeugs 102.
In 2 führt der Insasse 104 mit seiner rechten Hand 142 eine Benutzergeste aus, bei der der Insasse 104 mit seinem Zeigefinger in Richtung des Smartgerätes 108 zeigt. Aus dem Umstand, dass die Benutzergeste auf die Geräteposition 110 gerichtet ist, ermittelt die Steuereinheit 134, dass die Benutzergeste an das Smartgerät 108 gerichtet ist, und übermittelt den mit der spezifischen Benutzergeste verknüpften Steuerbefehl an das Smartgerät 108.
Alternativ oder zusätzlich kann die Steuereinheit 134 auch eine Blickrichtung des Insassen 104 ermitteln, um zu bestimmen, ob die Benutzergeste an das Smartgerät 108 gerichtet ist. Hierzu umfasst der von der Kamera 132 erfasste Bereich des Innenraums auch das Gesicht 200 des Insassen 104 und insbesondere dessen Augen. Ferner ist die Steuereinheit 134 dazu ausgebildet, Landmarken in dem Gesicht 200 des Insassen 104 und eine Pupillenposition des Insassen aus den Bilddaten zu ermitteln. Insbesondere ist die Steuereinheit 134 ausgebildet, ein geeignetes Maschinenlernverfahren durch zu führen, um die Landmarken und die Pupillenposition zu bestimmen. Aus den Landmarken in dem Gesicht 200 des Insassen 104 kann die Steuereinheit 134 eine Kopfpose des Insassen bestimmen, d.h. die Orientierung und Position des Kopfes des Insassen. Aus der Kopfpose kann die Steuereinheit dann in Kombination mit der Pupillenposition die Blickrichtung des Insassen 104 ermitteln. Die Steuereinheit ist insbesondere ausgebildet, die Blickrichtung als einen Vektor in fahrzeugfesten Koordinaten zu bestimmen. Aus der Blickrichtung ermittelt die Steuereinheit 134 den Bereich des Cockpits 100, auf den der Blick des Insassen 104 gerichtet ist. Wenn der Blick des Insassen 104 beim Ausführen der Benutzergeste auf die Geräteposition 110 gerichtet ist, ermittelt die Steuereinheit 134, dass die Benutzergeste an das Smartgerät 108 gerichtet ist.
3a und 3b zeigen jeweils eine weitere perspektivische schematische Darstellung des Cockpits 100 des Fahrzeugs 102.
In den 3a und 3b ist gezeigt, wie der Insasse 104 mit seiner rechten Hand 142 eine Wischbewegung als die Benutzergeste vor dem Smartgerät 108 ausführt. Die Bewegungsrichtung der Wischbewegung ist in den 3a und 3b durch einen Pfeil gekennzeichnet. Die Kamera 132 erfasst fortlaufend Bilder des Innenraums, d.h. die Kamera 132 nimmt eine Bildfolge oder Videosequenz auf. Hierdurch kann die Bewegung der Hand 142 des Insassen 104 erfasst werden, aus der die Steuereinheit 134 die Benutzergeste ermittelt.
In dem in 3a und 3b gezeigten Beispiel hat der Insasse 104 eine Voreinstellung vorgenommen, dass jede Benutzergeste an das Smartgerät 108 gerichtet ist. Daher ermittelt die Steuereinheit 134 auf Grundlage dieser Voreinstellung automatisch, dass die Benutzergeste an das Smartgerät 108 gerichtet ist. Eine solche Voreinstellung kann der Insasse 104 beispielsweise mit Hilfe einer der Eingabeeinheiten 114, 126, 128 vornehmen.
In den Beispielen, die anhand der 1, 2, 3a und 3b beschrieben sind, ist die Geräteposition 110 des Smartgerätes 108 beispielhaft an der Mittelkonsole 112 angeordnet. Die Geräteposition 110 des Smartgerätes 108 ist dabei lediglich als eine mögliche Geräteposition 110 zu verstehen. Weiteren mögliche Gerätepositionen können insbesondere im Fahrzeug 102 vorgesehene Ladeschalen, der Bereich vor dem Kombiinstrument 118, vor dem zentralen Informationsdisplay 114, in oder vor aufklappbaren Ablagefächern, auf im Cockpit 100 vorhandenen gummierten Oberflächen, insbesondere auf im Cockpit 100 angeordneten Gummimatten, vor dem Luftausströmdüsen bzw. Lüftungsgitter im Cockpit 100 rechts und links vor dem Insassen 104, übliche Position von Saugnapfhalterungen, die einen Schwanenhals umfassen können und üblicherweise rechts und links des Fahrzeugführers an der Frontscheibe 130 oder einer Seitenscheibe angeordnet sein können, in Seitenscheiben einklemmbare Halterungen, in Becherhaltern, vor dem Lenkrad 120 auf einem Armaturenbrett und andere teilweise Fahrzeugspezifische Gerätepositionen. Die möglichen Gerätepositionen sind insbesondere in einem Speicherbereich der Steuereinheit 134 gespeichert.
Das Smartgerät 108 kann auch frei im Innenraum des Fahrzeugs 102 positionierbar sein. In einer solchen Ausführungsform ist die Steuereinheit 134 ausgebildet, beispielsweise auf Grundlage der Bilddaten, zu ermitteln, wo sich das Smartgerät 108 im Innenraum des Fahrzeugs 102 befindet und die aktuelle Position des Smartgerätes 108 als die Geräteposition 110 festzulegen.
Um dem Insassen 104 eine Vielzahl von Möglichkeiten zu bieten, das Smartgerät 108 zu steuern, kann die Steuereinheit 134 zusätzlich dazu ausgebildet sein, Benutzereingaben, die der Insasse 104 über eine der Eingabeeinheiten 114, 126, 128 tätigt, über die Datenverbindung an das Smartgerät 108 zu übermitteln. Alternativ kann die Steuereinheit 134 auch zunächst den mit der Benutzereingaben assoziierten Steuerbefehl ermitteln und diesen dann an das Smartgerät 108 übermitteln.
In den anhand der 1, 2, 3a und 3b beschriebenen Ausführungsbeispielen bilden mindestens die Geräteposition 110, die Kamera 132 und die Steuereinheit 134 eine Vorrichtung zum Steuern des Smartgerätes 108. Weitere in den 1, 2, 3a und 3b gezeigte und in der vorangegangenen Beschreibung genannte Elemente und Merkmale können Teil dieser Vorrichtung sein.
4 zeigt den Ablaufplan des Verfahrens zum Steuern des Smartgerätes 108.
In Schritt S400 wird das Verfahren gestartet. In Schritt S402 steuert die Steuereinheit 134 die Kamera 132 derart an, dass die Kamera 132 mindestens ein Bild erfasst. Das Bild umfasst eine Abbildung eines Teils des Innenraums des Fahrzeugs 102 und mindestens die Hand 142 des Insassen 104. Das Bild kann ferner eine Abbildung des Gesichts 200 des Insassen 104 umfassen. Aus dem Bild erzeugt die Kamera 132 die Bilddaten und überträgt diese an die Steuereinheit 134.
In Schritt S404 ermittelt die Steuereinheit 134 ob das Smartgerät 108 in der Geräteposition 110 angeordnet ist. Gibt es mehrere Gerätepositionen 110 oder ist das Smartgerät 108 frei positionierbar, ermittelt die Steuereinheit 134 zunächst, ob sich das Smartgerät 108 in dem Fahrzeuginnenraum befindet. Beispielsweise ermittelt die Steuereinheit 134 hierzu, ob das Schnittstellenmodul 140 der Steuereinheit 134 momentan eine Datenverbindung mit dem Smartgerät 108 bereitstellt. Dann ermittelt die Steuereinheit 134, in welcher Geräteposition 110 das Smartgerät 108 angeordnet ist. Dies kann beispielsweise auf Grundlage der in Schritt S402 erzeugten Bilddaten oder auf Grundlage eines von dem Smartgerät 108 an die Steuereinheit 134 übermittelten Positionssignals erfolgen.
In Schritt S406 ermittelt die Steuereinheit 134 auf Grundlage der Bilddaten die Benutzergeste des Insassen 104. Insbesondere wenn die Steuereinheit 134 die Benutzergeste nicht ermitteln kann, kann die Steuereinheit 134 dem Smartgerät 108 über die Datenverbindung die von der Kamera 132 übermittelten Bilddaten zur Verfügung stellen. Alternativ oder zusätzlich kann die Steuereinheit 134 dem Smartgerät 108 auch den Zugriff über die Datenverbindung auf die Kamera 132 erlauben. Hierdurch kann die Ermittlung der Benutzergeste durch das Smartgerät 108 selbst erfolgen. In Schritt S408 ermittelt die Steuereinheit 134 dann, ob die Benutzergeste an das Smartgerät 108 gerichtet ist. Dies erfolgt beispielsweise in einer der oben in Verbindung mit den 1, 2, 3a und 3b beschriebenen Arten und Weisen.
In Schritt S410 übermittelt die Steuereinheit 134 dann den mit der Benutzergeste assoziierten Steuerbefehl über die Datenverbindung an das Smartgerät 108. Wenn die Steuereinheit 134 keinen mit der Benutzergeste assoziierten Steuerbefehl ermitteln kann, kann die Steuereinheit 134 stattdessen die Benutzergeste an das Smartgerät 108 übermitteln. Hierdurch kann die Ermittlung des korrekten Steuerbefehls durch das Smartgerät 108 selbst erfolgen. In Schritt S412 wird das Verfahren beendet.
Bezugszeichenliste

100: Cockpit
102: Fahrzeug
104: Insasse
106: Fahrersitz
108: Smartgerät
110: Geräteposition
112: Mittelkonsole
114: zentrales Informationsdisplay
116: Head Up Display
118: Kombiinstrument
120: Lenkrad
122: Gangwahlschalter
124: Pedalerie
126: Bedienelemente
128: Eingabeeinheit
130: Frontscheibe
132: Detektor
134: Steuereinheit
136: Datenausgang
138: Dateneingang
140: Schnittstellenmodul
142: Hand
200: Gesicht
P: Pfeil

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 2018005172 U1 [0002]
US 2013155237 A1 [0003]

Claims

Vorrichtung zum Steuern eines Smartgerätes (108) in einem Fahrzeug (102), mit mindestens einer Geräteposition (110) im Fahrzeuginnenraum zum Anordnen des Smartgerätes (108), mit mindestens einem bilderzeugenden System (132) des Fahrzeugs (102), die ausgebildet ist, mindestens ein Bild mit einer Abbildung eines Bereichs des Fahrzeuginnenraums zu erfassen, der zumindest eine Hand (142) des Insassen (104) umfasst, und dem Bild entsprechende Bilddaten zu erzeugen, mit einer Steuereinheit (134) umfassend ein Schnittstellenmodul (140), das eine Datenverbindung zwischen dem Smartgerät (108) und der Steuereinheit (134) bereitstellt, wobei die Steuereinheit (134) dazu ausgebildet ist, die Bilddaten zu verarbeiten, auf Grundlage der Bilddaten eine Benutzergeste des Insassen (104) zu ermitteln, auf Grundlage der Bilddaten zu ermitteln, ob die Benutzergeste an das Smartgerät (108) gerichtet ist, und mit Hilfe der Datenverbindung einen mit der Benutzergeste verknüpften Steuerbefehl an das Smartgerät (108) zu übermitteln, wenn die Steuereinheit (134) ermittelt hat, dass die Benutzergeste an das Smartgerät (108) gerichtet ist.
Vorrichtung nach Anspruch 1, wobei die Steuereinheit (134) dazu ausgebildet ist, auf Grundlage der Bilddaten die Position der Benutzergeste relativ zu der Geräteposition (110) zu ermitteln und unter Berücksichtigung der Position der Benutzergeste zu ermitteln, ob die Benutzergeste an das Smartgerät (108) gerichtet ist.
Vorrichtung nach Anspruch 1 oder 2, wobei die Steuereinheit (134) dazu ausgebildet ist, auf Grundlage der Bilddaten eine Blickrichtung des Insassen (104) zu ermitteln und unter Berücksichtigung der Blickrichtung zu ermitteln, ob die Benutzergeste an das Smartgerät (108) gerichtet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (134) dazu ausgebildet ist, zu ermitteln, ob das Smartgerät (108) in der Geräteposition (110) angeordnet ist.
Vorrichtung nach Anspruch 4, wobei die Steuereinheit (134) dazu ausgebildet ist, auf Grundlage der Bilddaten und/oder der Datenverbindung zu ermitteln, ob das Smartgerät (108) in der Geräteposition (110) angeordnet ist.
Vorrichtung nach Anspruch 4 oder 5, wobei die Vorrichtung zwei oder mehr Gerätepositionen (110) umfasst; und wobei die Steuereinheit (134) ist ausgebildet zu ermitteln, in welcher der Gerätepositionen (110) das Smartgerät (108) angeordnet ist.
Vorrichtung nach einem der Ansprüche 4 bis 6, wobei die Steuereinheit (134) dazu ausgebildet ist, mit Hilfe der Datenverbindung von der Smartgerät (108) eine Positionsinformation zu empfangen; und wobei die Steuereinheit (134) ist dazu ausgebildet, auf Grundlage der Positionsinformation zu ermitteln, ob das Smartgerät (108) in der Geräteposition (110) angeordnet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, umfassend eine Eingabeeinheit (114, 126, 128) des Fahrzeugs (102), die ausgebildet ist, mindestens eine Benutzereingabe des Insassen (104) zu empfangen, wobei die Steuereinheit (134) dazu ausgebildet ist, mit Hilfe der Datenverbindung einen mit der Benutzereingabe verknüpften Steuerbefehl an das Smartgerät (108) zu übermitteln.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (134) dazu ausgebildet ist, dem Smartgerät (108) die Bilddaten mit Hilfe der Datenverbindung zur Verfügung zu stellen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (134) dazu ausgebildet ist, dem Smartgerät (108) die ermittelte Benutzergeste mit Hilfe der Datenverbindung zur Verfügung zu stellen.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (134) dazu ausgebildet ist, Sensordaten, die von einem Sensor des Smartgerätes (108) erzeugt werden, über die Datenverbindung zu empfangen und zu verarbeiten.
Verfahren zum Steuern eines Smartgerätes (108) in einem Fahrzeug (102), bei dem mindestens ein Bild mit einer Abbildung eines Bereichs des Fahrzeuginnenraums erfasst wird, der zumindest eine Hand (142) des Insassen (104) umfasst; dem Bild entsprechende Bilddaten erzeugt werden; eine Datenverbindung zwischen dem Smartgerät (108) und der Steuereinheit (134) bereitgestellt wird; auf Grundlage der Bilddaten eine Benutzergeste des Insassen (104) ermittelt wird, auf Grundlage der Bilddaten ermittelt wird, ob die Benutzergeste an das Smartgerät (108) gerichtet ist, und mit Hilfe der Datenverbindung ein mit der Benutzergeste verknüpfter Steuerbefehl an das Smartgerät (108) übermittelt wird, wenn ermittelt wurde, dass die Benutzergeste an das Smartgerät (108) gerichtet ist.