DE102015201730A1

DE102015201730A1 - Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug

Info

Publication number: DE102015201730A1
Application number: DE102015201730.3A
Authority: DE
Inventors: Dorin Aiteanu
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-02-02
Filing date: 2015-02-02
Publication date: 2016-08-04

Abstract

Vorgeschlagen wird ein Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs durch einen Nutzer des Kraftfahrzeugs, insbesondere einen Fahrer des Kraftfahrzeugs, sowie ein Bediensystem für ein Kraftfahrzeug. Die Erfindung ermöglicht eine einfache und zuverlässige Bedienung von Bedienelementen des Kraftfahrzeugs und erfordert zugleich einen gegenüber dem Stand der Technik verringerten technischen Aufwand. Erfindungsgemäß wird eine Position und eine Haupterstreckungsrichtung eines eine Zeigegeste bildenden Fingers des Nutzers erfasst. Es wird eine durch die Position und die Haupterstreckungsrichtung des Fingers festgelegten Raumachse bestimmt. Ein durch einen Schnittpunkt der Raumachse mit einer Innenraumfläche des Kraftfahrzeugs identifizierbares Bedienelement wird ausgewählt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs durch einen Nutzer des Kraftfahrzeugs, insbesondere einen Fahrer des Kraftfahrzeugs, sowie ein Bediensystem für ein Kraftfahrzeug.
DE 10 2012 219 280 A1 beschreibt ein Fahrerassistenzsystem für ein Kraftfahrzeug. Eine Gestenerfassungseinrichtung erfasst eine Hand oder einen Finger eines Fahrers des Kraftfahrzeugs. Eine Blickerfassungseinrichtung erfasst ein Auge des Fahrers. Durch das Auge und die Hand ist eine Richtungsachse festgelegt. Eine Auswerteeinheit bestimmt ein im Weg der Richtungsachse liegendes außerhalb des Fahrzeugs befindliches Objekt, beispielsweise ein Ortsschild oder eine Sehenswürdigkeit. Zu dem Objekt werden Informationen mittels einer Anzeigeeinrichtung angezeigt.
Aus DE 10 2012 215 407 A1 ist ein Verfahren zum Bereitstellen einer Eingabe für ein Bedienelement eines Kraftfahrzeugs bekannt. Bei dem zweistufigen Verfahren wird in einem ersten Schritt ein Bedienelement durch einen Blick vorausgewählt. Hierzu wird die Blickrichtung bestimmt. In einem zweiten Schritt ist vorgesehen, dass der Nutzer das durch seinen Blick vorausgewählte Bedienelement mittels einer Eingabegeste, die zum Beispiel eine Fingergeste sein kann, betätigt.
WO 2009/027307 A1 offenbart ein Verfahren zur automatischen Erkennung von Art und Lage einer Geste, insbesondere einer Handgeste. Dabei werden zeitgleich mehrere zweidimensionale Bilder erfasst und zu einem dreidimensionalen Bild kombiniert, welches hinsichtlich wenigstens eines Gestenmerkmals analysiert wird.
Die im Stand der Technik bekannte Auswahl von Bedienelementen mittels einer Blickrichtungserkennung („gaze tracker“) ist technisch aufwändig, da die Ausrichtung der Pupille möglichst genau bestimmt werden muss. Hierzu sind sehr genaue Erfassungseinrichtungen nötig. Weiterhin wirkt sich ein Winkelfehler bei der Blickrichtungserkennung umso schwerer aus, je weiter das Bedienelement vom Auge entfernt ist. Überdies kann die Erfassung der Augen dadurch erschwert sein, dass der Nutzer beispielsweise eine Sonnenbrille trägt.
Ausgehend vom Stand der Technik stellt sich die Aufgabe, ein Verfahren und ein Bediensystem bereitzustellen, welche jeweils eine einfache und zuverlässige Bedienung von Bedienelementen des Kraftfahrzeugs ermöglichen und zugleich einen gegenüber dem Stand der Technik verringerten technischen Aufwand erfordern.
Die Aufgabe wird gelöst bei einem Verfahren mit den Merkmalen des Patentanspruchs 1 und einem Bediensystem nach Anspruch 6. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstände der abhängigen Ansprüche.
Das erfindungsgemäße Verfahren ist für jeden Nutzer eines Kraftfahrzeugs geeignet, der ein Bedienelement auswählen möchte. Insbesondere ist die Erfindung somit für einen Fahrer des Kraftfahrzeugs geeignet. Die Erfindung ist jedoch auch für einen Beifahrer oder für auf einem Rücksitz befindliche Insassen geeignet, die beispielsweise Bedienelemente einer fahrzeugeigenen Infotainment-Anlage auswählen möchten. Soweit nachfolgend die Erfindung mit Bezug zum dem und / oder unter Nennung des Fahrers erläutert wird, ist dies nicht einschränkend zu verstehen, sondern dient ausschließlich dem leichteren Verständnis der Erfindung und ihrer Ausführungsformen.
Erfindungsgemäß wird dem Nutzer des Kraftfahrzeugs eine zuverlässige berührungslose Bedienung der Bedienelemente ermöglicht.
Bei dem erfindungsgemäßen Verfahren ist vorgesehen, dass in einem ersten Schritt ein eine Zeigegeste bildender Finger des Nutzers erfasst wird. Hierzu können an sich im Stand der Technik bekannte Objekterkennungsverfahren genutzt werden. Dieser erste Schritt umfasst eine Prüfung, ob überhaupt eine Zeigegeste vorliegt. Es kann vorgesehen sein, dass bei dieser Prüfung berücksichtigt wird, wie gestreckt der die Zeigegeste bildende Finger ist.
Wenn das Ergebnis der Gestenerkennung Zweifel daran lässt, ob überhaupt eine Zeigegeste vorliegt, so ist die Annahme vorteilhaft, dass dies der Fall ist, dass also eine Zeigegeste vorliegt. Hierdurch wird vermieden, dass eine tatsächliche Zeigegeste nicht als solche erkannt wird („false negative“), was den Nutzer verärgern kann. Hingegen hat eine fälschlicherweise erkannte Zeigegeste („false positive“) in der Regel keine nachteiligen Konsequenzen, da in den nachfolgenden Verfahrensschritten entweder kein Bedienelement ausgewählt werden wird oder ein fälschlicherweise ausgewähltes Bedienelement vom Nutzer nicht betätigt werden wird.
Es ist denkbar, dass im ersten Schritt mehrere Zeigegesten erfasst werden. Dies kann beispielsweise der Fall sein, wenn der Nutzer mit zwei Fingern einer Hand oder mit beiden Händen je eine Zeigegeste formt. In diesem Fall kann eine vorteilhafte Weiterbildung des Verfahrens vorsehen, dass das Verfahren abgebrochen oder solange unterbrochen wird, bis eine einzige eindeutige Zeigegeste erkannt wird. Alternativ kann das Verfahren mit allen erkannten Zeigegesten parallel fortgesetzt werden. Es werden dann also gleichzeitig so viele Verfahren ausgeführt, wie Zeigegesten erfasst worden sind. In diesem Fall könnten als Ergebnis der parallelen Verfahren mehrere Bedienelemente ausgewählt werden. Der Nutzer wird die gegebenenfalls als unerwünschtes Ergebnis wahrnehmen und seine Zeigegesten anpassen.
In einem zweiten Schritt werden eine Position und eine Haupterstreckungsrichtung des Fingers bestimmt. Eine Position ist eine räumliche Ortsangabe der Position des Fingers. In der Regel wird diese Ortsangabe mit Bezug zu einem dreidimensionalen kartesischen Koordinatensystem gemacht. Dieses Koordinatensystem kann als relatives Koordinatensystem mit Bezug zu dem Kraftfahrzeug gewählt werden. Die Haupterstreckungsrichtung des Fingers kann ebenfalls mit Bezug zu dem Koordinatensystem angegeben werden. In mathematischen Begriffen kann die Position als Ortsvektor und die Haupterstreckungsrichtung als Richtungsvektor bestimmt werden. Die mit Bezug zu dem ersten Verfahrensschritt vorstehend erläuterte Prüfung, wie gestreckt der die Zeigegeste bildende Finger ist, kann nach dem Kriterium erfolgen, ob eine Haupterstreckungsrichtung des Fingers bestimmbar ist.
In einem weiteren erfindungsgemäßen Verfahrensschritt wird eine durch die Position und die Haupterstreckungsrichtung des Fingers festgelegte Raumachse bestimmt. Die Bestimmung der Raumachse erfolgt dabei wiederum mit Bezug zu demselben Koordinatensystem, in dem auch die Position und die Haupterstreckungsrichtung des Fingers erfasst worden sind. Die Raumachse kann sich vorzugsweise nur in die Zeigerichtung des Fingers erstrecken. Mit anderen Worten kann die Raumachse an dem Finger ihren Anfang haben und sich von dort in Zeigerichtung erstrecken. Dies hat den Vorteil, dass keine hinter dem Nutzer liegenden Bedienelemente ausgewählt werden können, was in der Regel nicht gewollt ist. Mathematisch ausgedrückt entspricht die Raumachse der Addition des Ortsvektors und des Richtungsvektors.
In einem weiteren erfindungsgemäßen Verfahrensschritt wird ein Schnittpunkt der Raumachse mit einer wenigstens ein Bedienelement aufweisenden Innenraumfläche des Kraftfahrzeugs bestimmt. Eine Innenraumfläche kann beispielsweise eine Instrumententafel des Kraftfahrzeugs sein, auf oder in welcher mehrere Bedienelemente wie Schalter, Druckknöpfe und Drehknöpfe angeordnet sein können. Eine Innenraumfläche könnte auch eine berührungsempfindliche Anzeigefläche („Touchscreen“) sein. Ein Touchscreen kann selber ein Bedienelement darstellen oder ein oder mehrere Bedienelemente (z.B. auf dem Touchscreen dargestellte Schaltflächen und Eingabeflächen) umfassen. Die Innenraumfläche hat in der Regel eine unveränderliche Position im Kraftfahrzeug, welche mit Bezug zu dem vorab beschriebenen Koordinatensystem bekannt ist. Es ist auch denkbar, dass die Innenraumfläche eine veränderliche Position hat. Dies kann z.B. dann der Fall sein, wenn es sich bei der Innenraumfläche um einen ausfahrbaren Touchscreen handelt. In diesem Fall ist bei der Ausführung des Verfahrens die jeweils gegenwärtige Position der Innenraumfläche zu berücksichtigen. Mit anderen Worten wird bei diesem Schritt also derjenige Punkt auf der Innenraumfläche bestimmt, welchen der Nutzer mittels seiner Zeigegeste ausgewählt hat.
In einem weiteren erfindungsgemäßen Verfahrensschritt wird ein durch den Schnittpunkt identifizierbares Bedienelement bestimmt. Befindet sich an dem Schnittpunkt ein Bedienelement, so wird dieses bestimmt. In diesem Fall hat die Auswertung der Zeigegeste des Nutzers ein eindeutiges Ergebnis ergeben. Es ist aber auch möglich, dass sich an dem Schnittpunkt kein Bedienelement befindet. Ist in diesem Fall dennoch ein Bedienelement identifizierbar, so wird dieses bestimmt. Dies kann beispielsweise dann der Fall sein, wenn sich der Schnittpunkt in unmittelbarer Nähe eines Bedienelements befindet und zugleich die Entfernung von dem Schnittpunkt zu einem nächstgelegenen weiteren Bedienelement wesentlich größer ist. Der Begriff der unmittelbaren Nähe kann im Rahmen fachmännischen Handelns ausgestaltet werden. Beispielsweise könnte ein Bedienelement dann bestimmt werden, wenn der Schnittpunkt nicht weiter als einen Zentimeter von dem Rand des Bedienelements und zugleich weiter als zwei Zentimeter von dem Rand eines weiteren Bedienelements entfernt liegt. In einem weiteren Fall kann der Schnittpunkt aber auch so liegen, dass mehrere Bedienelemente identifizierbar sind. Beispielsweise kann der Schnittpunkt in der Mitte zwischen zwei Bedienelementen liegen. In diesem Fall kann das Verfahren in vorteilhafter Ausgestaltung zwei alternative Möglichkeiten umfassen. Zum einen kann das Verfahren mit allen identifizierbaren Bedienelementen fortgesetzt werden. Es werden dann also eigentlich gleichzeitig mehrere Verfahren parallel ausgeführt, wie dies vorstehend bereits für den Fall mehrerer Zeigegesten erläutert wurde. Zum anderen kann das Verfahren abgebrochen oder solange unterbrochen werden, bis (aufgrund einer Veränderung der Zeigegesten) nur noch ein einziges Bedienelement identifizierbar ist und somit bestimmt werden kann.
Im letzten erfindungsgemäßen Verfahrensschritt wird das Bedienelement ausgewählt. Die Auswahl eines Bedienelements ist zu unterscheiden von der Betätigung des Bedienelements, welche nachstehend noch mit Bezug zu einer vorteilhaften Weiterbildung der Erfindung näher beschrieben wird. Mit anderen Worten sind die vorliegend gewählten Begriffe so zu verstehen, dass jedes Bedienelement auswählbar ist und zusätzlich betätigbar sein kann. Ist ein Bedienelement mit einer bestimmten Funktion verknüpft, so wird diese Funktion nicht bereits dann ausgeführt, wenn das Bedienelement ausgewählt wird, sondern erst dann, wenn das Bedienelement betätigt wird. Das erfolgte Auswählen eines Bedienelements kann dem Nutzer mitgeteilt werden. Dies kann insbesondere durch Hervorhebung des Bedienelements erfolgen, wie nachstehend noch mit Bezug zu einer ersten vorteilhaften Weiterbildung der Erfindung näher beschrieben wird. Es kann vorteilhafterweise vorgesehen sein, dass zu einem Zeitpunkt nur genau ein (oder kein) Bedienelement ausgewählt sein kann. Es kann auch vorgesehen sein, dass zu einem Zeitpunkt mehr als ein Bedienelement ausgewählt sein kann, aber keines dieser Bedienelemente betätigt werden kann.
Der Begriff des Bedienelements ist breit gefasst. Beispielsweise kann sich das Kraftfahrzeug in einem Hilfemodus („interaktives Handbuch“) befinden, in welchem auf einer Anzeigeeinrichtung zu einem vom Nutzer ausgewählten Teil des Kraftfahrzeugs Informationen und Hilfestellungen angezeigt werden. In einem solchen Hilfemodus kann jedes Teil des Innenraums des Kraftfahrzeugs ein Bedienelement darstellen. Der Nutzer kann mittels des erfindungsgemäßen Verfahrens beispielsweise ein Handschuhfach, einen Lüftungsauslass, einen Tachometer oder einen Dreh-Drück-Steller auswählen, woraufhin auf der Anzeigeeinrichtung die jeweilige Information angezeigt wird. In diesem Beispiel sind das Handschuhfach, der Lüftungsauslass, der Tachometer und der Dreh-Drück-Steller Beispiele für Bedienelemente.
Bedienelemente sind nicht notwendigerweise körperliche Teile („Hardware“) des Kraftfahrzeugs. Auch auf einer Anzeigeeinrichtung, insbesondere einem Touchscreen, dargestellte Elemente wie Schaltflächen können Bedienelemente sein. Derartige Bedienelemente können auch als virtuelle Bedienelemente bezeichnet werden.
Das erfindungsgemäße Verfahren bietet den Vorteil, dass auf technisch verhältnismäßig einfache Weise Bedienelemente zuverlässig ausgewählt werden können. Das Verfahren ermöglicht eine berührungsfreie Auswahl von Bedienelementen, ohne dafür eine aufwändige Augen- und / oder Blickrichtungserkennung (eye tracker und / oder gaze tracker) zu erfordern. Insbesondere ist das Verfahren für einen Nutzer äußerst intuitiv handhabbar und bedarf keiner nennenswerten Lernphase oder Einarbeitung.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, das ausgewählte Bedienelement hervorzuheben. Dies kann auf unterschiedliche Weise geschehen, wobei die Art der Hervorhebung auch von der Art des Bedienelements abhängen kann. Ist das Bedienelement ein körperliches Bedienelement wie z.B. ein Schalter, ein Druckknopf, ein Drehknopf oder ein Schieberegler und weist das Bedienelement eine Beleuchtung auf, so kann die Hervorhebung eine Aktivierung der Beleuchtung umfassen. Eine Beleuchtung kann durch eine im Bedienelement befindliche Lichtquelle gebildet sein, bei deren Aktivierung beispielsweise die gesamte Front des Bedienelements oder bestimmte Teile der Front (wie z.B. ein auf dem Bedienelement dargestelltes Symbol) beleuchtet werden. Eine Beleuchtung kann auch durch eine Hinterleuchtung des Bedienelements gebildet werden, bei deren Aktivierung z.B. Licht an den Rändern des Bedienelements sichtbar werden kann. Noch vielfältigere Möglichkeiten der Hervorhebung bieten sich bei virtuellen Bedienelementen. Virtuelle Bedienelemente können Bedienelemente sein, die auf einer Anzeigefläche dargestellt werden können. Eine solche Anzeigefläche kann beispielsweise ein Touchscreen sein. Eine solche Anzeigefläche kann auch ein sogenanntes frei programmierbares Kombiinstrument sein. Virtuelle Bedienelemente können auf vielfältige Weise hervorgehoben werden, wie dies beispielsweise aus dem Bereich grafischer Benutzeroberflächen bekannt ist. Ein virtuelles Bedienelement kann durch die Darstellung einer virtuellen Beleuchtung hervorgehoben werden. Ein virtuelles Bedienelement kann hervorgehoben werden, indem es im Vergleich mit anderen Bedienelementen und / oder im Vergleich mit seinem nicht hervorgehobenen Zustand vergrößert dargestellt wird. Ein virtuelles Bedienelement kann hervorgehoben werden, indem es sein Aussehen verändert. Hierzu kann es farbig oder andersfarbig dargestellt werden. Es kann sich auch eine Beschriftung und / oder eine auf dem Bedienelement dargestelltes Symbol ändern. Im Falle einer Anzeigefläche (z.B. Touchscreen) können Bedienelemente auf der Anzeigefläche dargestellt sein, die hervorgehoben werden, wenn sie erfindungsgemäß ausgewählt worden sind. Es kann auch vorkommen, dass der Schnittpunkt auf der Anzeigefläche liegt, aber kein Bedienelement identifizierbar ist. Dies kann beispielsweise der Fall sein, wenn auf der Anzeigefläche gar kein Bedienelement dargestellt wird oder wenn der Schnittpunkt ausreichend weit von jedem der dargestellten Bedienelemente entfernt liegt. In diesem Fall kann die Erfindung vorzugsweise vorsehen, dass der Schnittpunkt selber hervorgehoben wird. Beispielsweise kann an dem Ort des Schnittpunkts auf der Anzeigefläche ein grafisches Markierungssymbol („Cursor“), z.B. in Form eines farbigen Punktes, dargestellt werden. Dies hat den Vorteil, dass der Nutzer eine Rückmeldung darüber bekommt, welchen Ort er mittels seiner Zeigegeste ausgewählt hat. Falls der Nutzer eigentlich die Absicht hatte, ein Bedienelement auszuwählen, so erhält er hierdurch einen Hinweis, wie er seine Zeigegeste korrigieren muss, um den Schnittpunkt in Richtung des gewünschten Bedienelements zu verschieben.
In einer vorteilhaften Ausgestaltung des Verfahrens wird zusätzlich eine Akkommodation der Augen erfasst und eine durch die Akkommodation der Augen festgelegte Blickebene bestimmt. Es ist vorgesehen, dass der Schritt des Auswählens des Bedienelements unter der Bedingung ausgeführt wird, dass das Bedienelement nahe der oder auf der Blickebene liegt. Unter Akkommodation wird die vom Auge eingestellte Fokussierung auf eine bestimmte Tiefenebene sowie die Bildung eines bestimmten Konvergenzwinkels der Blickachsen beider Augen verstanden. Dabei befindet sich der Kreuzungspunkt der beiden Blickachsen in dieser Tiefenebene. Die vom Nutzer fokussierte Tiefenebene wird als Blickebene bezeichnet. Die Blickebene ist also mit anderen Worten diejenige Ebene im Raum, auf die der Nutzer seinen Blick gerichtet hat (und die er daher scharf sieht). Die Akkommodation der Augen kann durch eine bildliche Aufnahme (z.B. mittels eines Kamerasystems) des Kopfes und der Pupillen beider Augen erfolgen. Hierzu wird unter Berücksichtigung der räumlichen Lage des Kopfes der räumliche Abstand der Pupillen zueinander ermittelt. Um die Zuverlässigkeit des Verfahrens zu erhöhen, kann vorgesehen sein, dass der Pupillenabstand eines Nutzers für unterschiedliche Blickebenen einmalig aufgenommen und abgespeichert wird. Bei Ausführung des Verfahrens kann der gegenwärtige Pupillenabstand dann mit den aufgenommenen Werten verglichen werden, um die gegenwärtige Blickebene zu bestimmen. In einer einfachen, aber besonders vorteilhaften Ausgestaltung ist das Verfahren eingerichtet, zu erkennen, ob die Blickebene die Ebene der Instrumententafel des Kraftfahrzeugs ist oder nicht. Dies ist deshalb vorteilhaft, weil die meisten der Bedienelemente des Kraftfahrzeugs in dieser Ebene angeordnet sind. Wird erkannt, dass das erfindungsgemäß identifizierte Bedienelement nahe der oder auf der Blickebene liegt, so wird das Verfahren wie vorab beschrieben fortgesetzt. Es wird dann also das Bedienelement ausgewählt und ggf. hervorgehoben. Dem liegt die Annahme zugrunde, dass der Nutzer, wenn er ein bestimmtes Bedienelement auswählen möchte, dieses auch ansieht, seine Augen also auf die Ebene des Bedienelements fokussiert. Wird hingegen erkannt, dass das erfindungsgemäß identifizierte Bedienelement nicht nahe der Blickebene liegt, so kann davon ausgegangen werden, dass der Nutzer die Auswahl des Bedienelements nicht beabsichtigt hat. Die vom Nutzer gemachte Zeigegeste könnte in diesem Fall ungewollt und / oder unbewusst gemacht worden sein. Indem die Akkommodation der Augen erfasst und die Blickebene bestimmt wird, kann somit verhindert werden, dass ein Bedienelement ausgewählt wird, obwohl dies vom Nutzer nicht beabsichtigt war.
Mit besonderem Vorteil kann das Verfahren weiter ausgestaltet werden, indem nach dem Schritt des Auswählens des Bedienelements weitere Schritte erfolgen, mit denen das Bedienelement betätigt werden kann. Mit anderen Worten soll nun ein zweistufiges Verfahren bereitgestellt werden, bei dem zunächst (wie vorstehend beschrieben) ein Bedienelement ausgewählt wird und dann das Bedienelement betätigt wird. Der Nutzer kann also zunächst das gewünschte Bedienelement auswählen. Dieses wird bevorzugt hervorgehoben, wie dies vorstehend beschrieben wurde. Wurde das vom Nutzer gewünschte Bedienelement ausgewählt, so kann es im zweiten Schritt auch betätigt werden. Der Nutzer muss somit bei der Anwendung der Erfindung nicht befürchten, eine unerwünschte Fehlbedienung zu tätigen, da er das Bedienelement nur dann betätigen kann, wenn das gewünschte Bedienelement zuvor ausgewählt wurde. In einem ersten weiteren Schritt wird eine Bediengeste erkannt. Die Bediengeste kann eine Fingergeste und / oder eine Augengeste und / oder eine Sprachgeste umfassen. Beispielsweise kann vorgesehen sein, dass der Nutzer mit einer Drückbewegung des Fingers, also mit einer raschen Bewegung des Fingers nach vorne und ggf. wieder zurück nach hinten, das Bedienelement betätigt. Beispielsweise kann auch vorgesehen sein, dass der Nutzer mit einer Tippbewegung oder Klickbewegung des Fingers, also mit einer raschen Bewegung des Fingers nach unten und ggf. wieder zurück nach oben, das Bedienelement betätigt. Es kann alternativ oder zusätzlich vorgesehen sein, dass der Nutzer eine Augengeste, z.B. ein Zwinkern mit beiden Augen, durchführt. Dies ist besonders in Kombination mit der vorstehend beschriebenen Ausführungsform vorteilhaft, bei welcher eine Akkommodation der Augen des Nutzers erfasst wird, da in diesem Fall ohnehin eine Erfassung der Augen vorgesehen ist. Es kann alternativ oder zusätzlich vorgesehen sein, dass der Nutzer eine Sprachgeste durchführt, also z.B. ein Kommandowort („Betätigen“, „Ja“ oder dergleichen) ausspricht. In einem zweiten weiteren Schritt wird im Ansprechen auf eine erkannte Bediengeste das Bedienelement betätigt. Es kann vorgesehen sein, dass der Nutzer selber entscheiden kann, welche Bediengeste zur Betätigung des Bedienelements dienen soll. Dies kann der Nutzer dann vorab einstellen, beispielsweise in einem Konfigurationsmenü des Kraftfahrzeugs.
Wie vorstehend beschrieben kann es bei Ausführungsformen der Erfindung vorkommen, dass mehrere Bedienelemente ausgewählt werden. Dieser Fall kann z.B. dann eintreten, wenn mehrere Zeigegesten erkannt werden oder wenn der Schnittpunkt so liegt, dass mehrere Bedienelemente identifiziert werden. In diesem Fall kann mit weiterem Vorteil vorgesehen werden, dass kein Bedienelement betätigt werden kann. Der Nutzer muss dann seine Zeigegeste so verändern, dass nur ein Bedienelement identifiziert wird. Dieses kann dann anschließend wie vorstehend erläutert ausgewählt werden.
Eine vorteilhafte Weiterbildung erlaubt es, eine nicht beabsichtigte Betätigung eines Bedienelements zu korrigieren. Hierzu ist vorgesehen, dass eine Korrekturgeste erkannt wird. Die Korrekturgeste kann eine Fingergeste und / oder eine Augengeste und / oder eine Sprachgeste umfassen. Besonders bevorzugt umfasst die Korrekturgeste die gleichen Arten von Gesten wie die Bediengeste. Besteht die Bediengeste beispielsweise aus einem einfachen Augenzwinkern und dem Sprachkommando „Ja“, so kann vorteilhafterweise vorgesehen sein, dass die Korrekturgeste aus einem doppelten Augenzwinkern und dem Sprachkommando „Zurück“ besteht. Im Ansprechen auf eine erkannte Korrekturgeste erfolgt ein Zurücknehmen der Betätigung des Bedienelements. Beispielsweise könnte das Bedienelement ein Lichtschalter für eine Innenraumbeleuchtung des Kraftfahrzeugs sein. Mittels des vorbeschriebenen Verfahrens hat der Nutzer den Lichtschalter ausgewählt und betätigt. Die Innenraumbeleuchtung ist dann aktiv. Indem der Nutzer die Korrekturgeste durchführt, wird die Betätigung des Lichtschalters zurückgenommen. In diesem Beispiel ist diese Zurücknahme gleichbedeutend mit einer nochmaligen Betätigung. Die Innenraumbeleuchtung erlischt.
Die Erfindung eignet sich besonders für den Einsatz in Kraftfahrzeugen. Es wird jedoch darauf hingewiesen, dass die Erfindung ausdrücklich nicht auf diesen Einsatz beschränkt ist. Vielmehr kann die Erfindung auch außerhalb von Kraftfahrzeugen eingesetzt werden. Beispielsweise kann die Erfindung eingesetzt werden, um Geräte der Unterhaltungselektronik zu steuern. Beispielsweise könnte die Erfindung eingesetzt werden, um Bedienelemente eines Fernsehgeräts (Einschaltknopf, Lautstärkeregler, etc.) zu betätigen und / oder auf einem Fernsehgerät dargestellte virtuelle Bedienelemente (Schaltflächen, Auswahlmenüs, etc.) auszuwählen und ggf. zu betätigen.
Ein erfindungsgemäßes Bediensystem für ein Kraftfahrzeug umfasst eine Erfassungseinrichtung, die zur Erfassung eines eine Zeigegeste bildenden Fingers eines Nutzers des Kraftfahrzeugs, insbesondere eines Fahrers des Kraftfahrzeugs, eingerichtet ist. Hierbei kann es sich vorzugsweise um eine Innenraumkamera des Kraftfahrzeugs handeln, besonders bevorzugt um eine Stereokamera. Dies ist deswegen besonders vorteilhaft, weil moderne Kraftfahrzeuge ohnehin häufig eine Innenraumkamera aufweisen, die für unterschiedliche Einsatzzwecke gleichzeitig genutzt werden kann. Das Bediensystem umfasst weiterhin ein in oder auf einer Innenraumfläche des Kraftfahrzeugs angeordnetes Bedienelement und eine mit der Erfassungseinrichtung verbundene Datenverarbeitungseinrichtung. Die Datenverarbeitungseinrichtung kann ein Steuergerät des Kraftfahrzeugs sein, das mittels eines Datenbussystems mit der Innenraumkamera verbunden sein kann. Die Datenverarbeitungseinrichtung ist zur Bestimmung einer Position und einer Haupterstreckungsrichtung des die Zeigegeste bildenden Fingers, zur Bestimmung einer durch die Position und die Haupterstreckungsrichtung des Fingers festgelegten Raumachse, zur Bestimmung eines Schnittpunkts der Raumachse mit der Innenraumfläche des Kraftfahrzeugs, zur Bestimmung des durch den Schnittpunkt identifizierbaren Bedienelements sowie zur Auswahl des Bedienelements eingerichtet. Mit anderen Worten führt die Datenverarbeitungseinrichtung wesentliche Schritte des erfindungsgemäßen Verfahrens durch. Die Datenverarbeitungseinrichtung kann über einen Datenspeicher verfügen. In diesem können Nutzerinformationen dauerhaft abgelegt werden, z.B. für unterschiedliche Nutzer jeweils Pupillengröße bei unterschiedlicher Akkommodation, Bediengesten und Korrekturgesten.
In weiterer Ausgestaltung des Bediensystems ist die Erfassungseinrichtung zur Erfassung einer Akkommodation der Augen des Nutzers eingerichtet. Mit besonderem Vorteil kann hierfür dieselbe Innenraumkamera verwendet werden, falls deren Erfassungsbereich entsprechend groß ist, so dass das Auge und der Finger des Nutzers erfasst werden können. Mit weiterem Vorteil kann die Innenraumkamera zur Nutzer-Identifikation genutzt werden. Alternativ kann das Bediensystem auch eine weitere Erfassungseinrichtung zur Erfassung einer Akkommodation der Augen des Nutzers aufweisen. Die Datenverarbeitungseinrichtung kann zur Bestimmung einer durch die Akkommodation der Augen festgelegten Blickebene eingerichtet sein. Die Auswahl des Bedienelements erfolgt dann unter der Bedingung, dass das Bedienelement nahe der oder auf der mittels der Datenverarbeitungseinrichtung bestimmten Blickebene liegt.
Weitere Ausführungsformen der Erfindung werden nachfolgend anhand beispielhafter Darstellungen erläutert. Es zeigen
1 eine im Verfahrensablauf auftretende Nutzersituation aus einer ersten Perspektive,
2 eine im Verfahrensablauf auftretende Nutzersituation aus einer zweiten Perspektive und
3 ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens.
Gleiche Bezugszeichen kennzeichnen in den Figuren gleiche Merkmale der dargestellten Ausführungsformen der Erfindung. Es wird darauf hingewiesen, dass es sich bei den dargestellten Figuren sowie der zugehörigen Beschreibung lediglich um Ausführungsbeispiele der Erfindung handelt. Insbesondere sind Darstellungen von Merkmalskombinationen in den Figuren und / oder der Figurenbeschreibung nicht dahingehend auszulegen, dass die Erfindung zwingend die Verwirklichung aller genannten Merkmale erfordert. Andere Ausführungsformen der Erfindung können weniger, mehr und / oder andere Merkmale enthalten. Der Schutzbereich und die Offenbarung der Erfindung ergeben sich aus den beiliegenden Patentansprüchen und der vollständigen Beschreibung. Es wird zudem darauf hingewiesen, dass es sich bei den Darstellungen um Prinzipdarstellungen von Ausführungsformen der Erfindung handelt. Die Anordnung der einzelnen dargestellten Elemente zueinander ist nur beispielhaft gewählt und kann bei anderen Ausführungsformen der Erfindung anders gewählt werden. Weiterhin ist die Darstellung nicht unbedingt maßstabsgetreu. Einzelne dargestellte Merkmale können zu Zwecken der besseren Veranschaulichung vergrößert oder verkleinert dargestellt sein.
Der Ablauf einer beispielshaften Ausführungsform des erfindungsgemäßen Verfahrens soll nachfolgend anhand des in 3 gezeigten Flussdiagramms dargestellt werden, wobei zu bestimmten Zeitpunkten des Verfahrensablaufs auftretende Situationen in den 1 und 2 dargestellt sind.
1 zeigt eine Nutzersituation aus Sicht des Fahrers 1. Aus dessen Sicht ist sein Zeigefinger 3 der rechten Hand zu erkennen. Dieser 3 formt eine Zeigegeste 4. Das Fahrzeug weist eine Instrumententafel 10 auf, auf welcher ein Bedienelement 7 angeordnet ist.
2 zeigt den Fahrer 1 aus einer seitlichen Perspektive. Weiter dargestellt ist eine den Innenraum des Kraftfahrzeugs erfassende Stereokamera 5. Nicht dargestellt ist eine der Kamera 5 nachgeschaltete Datenverarbeitungseinrichtung zur Verarbeitung der von der Kamera 5 erfassten Bilder.
Im ersten Verfahrensschritt S10 wird der die Zeigegeste 4 bildende Finger 3 des Nutzers 1 erfasst. Hierzu erfasst die Kamera 5 den Innenraumbereich des Kraftfahrzeugs. Es kann vorgesehen sein, dass die Kamera 5 nur einen Teilbereich des Innenraumbereichs erfasst, in dem ein Nutzer üblicherweise eine Fingergeste formt. Dies kann beispielsweise der Teilbereich über einer Mittelkonsole des Fahrzeugs sein, da der Nutzer erfahrungsgemäß in diesem Teilbereich Zeigegesten mit seiner rechten Hand formt. Die der Kamera 5 nachgeschaltete Datenverarbeitungseinrichtung überprüft die von der Kamera 5 gelieferten Bilder fortlaufend daraufhin, ob eine Zeigegeste erkannt werden kann. Ist dies der Fall, so wird der die Zeigegeste 4 bildende Finger 3 des Nutzers 1 erfasst und das Verfahren mit dem nächsten Schritt S20 fortgesetzt.
Der Fahrer 1 zeigt mit dem Zeigefinger seiner rechten Hand auf ein Bedienelement 7. In Schritt S20 wird die Position und die Haupterstreckungsrichtung des Fingers 3 bestimmt. In Schritt S30 wird die durch die Position und die Haupterstreckungsrichtung des Fingers 3 festgelegte Raumachse 6 bestimmt. Diese 6 schneidet eine Innenraumfläche 10 des Kraftfahrzeugs, in deren Ebene Bedienelemente angeordnet sind, im Schnittpunkt 8. Dieser Schnittpunkt der Raumachse 6 mit der Innenraumfläche 10 wird in Schritt S40 bestimmt. Im nachfolgenden Verfahrensschritt S50 wird ein durch den Schnittpunkt 8 identifizierbares Bedienelement 7 bestimmt. In dem in den 1 und 2 dargestellten Beispiel liegt der Schnittpunkt 8 auf dem Bedienelement 7, so dass dieses 7 leicht identifizierbar ist.
Die dargestellte Ausführungsform der Erfindung umfasst einen nachfolgenden Schritt S51, in welchem mittels der Kamera 5 eine Akkommodation der Augen 2 erfasst wird. In Schritt S52 wird die durch die Akkommodation der Augen 2 festgelegte Blickebene bestimmt. In Schritt S53 wird geprüft, ob das in Schritt S50 identifizierte Bedienelement 7 nahe oder auf der Blickebene liegt. Nur wenn dies der Fall ist, wird das Verfahren fortgesetzt. Anderenfalls kann davon ausgegangen werden, dass der Fahrer 1 das Bedienelement 7 nicht angesehen hat und es daher nicht auswählen wollte.
In Schritt S60 wird das in Schritt S50 bestimmte Bedienelement 7 ausgewählt. Um dies für den Fahrer 1 kenntlich zu machen, kann vorgesehen sein, dass das Bedienelement 7 in Schritt S61 hervorgehoben wird. Dies kann erfolgen, indem das Bedienelement 7, das vorliegend ein beleuchtbarer Druckknopf 7 ist, beleuchtet wird. Dies ist in 1 und 2 durch eine Schraffur des Bedienelement 7 dargestellt. Es sei mit Bezug zu 3 darauf hingewiesen, dass die Schritte S60 und S61 ohne nennenswerten zeitlichen Abstand zueinander durchgeführt werden sollten. Mit anderen Worten wird das Bedienelement 7 hervorgehoben (Schritt S61), wenn und sobald es ausgewählt wurde (Schritt S60).
In 2 ist weiter dargestellt, dass der Fahrer 1 das mittels der Zeigegeste 4 ausgewählte und hervorgehobene Bedienelement 7 betätigt. Hierzu formt er mit dem Finger 3 eine Bediengeste 9. Hierzu bewegt er den Zeigefinger 3 seiner rechten Hand in der Luft nach vorne und wieder zurück, was in 2 durch zwei entgegengesetzte Pfeile sowie eine gestrichelte Darstellung des Zeigefingers in seiner vorderen Position dargestellt ist. Er macht also mit dem Finger 3 eine Bewegung 9, die derjenigen Bewegung entspricht, die der Fahrer zur Bedienung eines herkömmlichen Druckknopfes machen würde. Die Erfindung erlaubt dem Fahrer jedoch, diese Geste 9 in der Luft zu tätigen, ohne das Bedienelement 7 mit dem Finger 3 berühren oder ihm nahe kommen zu müssen („Luftklick“). Die so getätigte Fingergeste 9 wird von der Kamera 5 erfasst und von der (nicht dargestellten) Datenverarbeitungseinrichtung als Bediengeste erkannt (Verfahrensschritt S70). Im Ansprechen auf die erkannte Bediengeste 9 wird in Schritt S80 das Bedienelement 7 betätigt.
Das Verfahren kann weiter vorsehen, dass in einem nachfolgenden Schritt S90 eine Korrekturgeste erkannt wird. Dies kann auf ähnliche Weise erfolgen wie die vorstehend beschriebene Erkennung der Bediengeste 9. Beispielsweise könnte eine Korrekturgeste eine doppelte Ausführung der Fingergeste 9 (schnelle zweimalige Vorwärts- und Rückbewegung des Fingers 3) umfassen. Eine Korrekturgeste könnte auch die umgekehrte Fingergeste 9 (Rück- und dann Vorwärtsbewegung des Fingers 3) umfassen. Im Ansprechen auf die erkannte Korrekturgeste wird in Schritt S100 die Betätigung des Bedienelements 7 zurückgenommen.
Bezugszeichenliste

1: Nutzer
2: Augen
3: Finger
4: Zeigegeste
5: Erfassungseinrichtung
6: Raumachse
7: Bedienelement
8: Schnittpunkt
9: Bediengeste
10: Innenraumfläche
S10–S100: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102012219280 A1 [0002]
DE 102012215407 A1 [0003]
WO 2009/027307 A1 [0004]

Claims

Verfahren zum Auswählen eines Bedienelements (7) eines Kraftfahrzeugs durch einen Nutzer (1) des Kraftfahrzeugs, insbesondere einen Fahrer (1) des Kraftfahrzeugs, mit den Schritten • Erfassen (S10) eines eine Zeigegeste (4) bildenden Fingers (3) des Nutzers (1), • Bestimmen (S20) einer Position und einer Haupterstreckungsrichtung des Fingers (3), • Bestimmen (S30) einer durch die Position und die Haupterstreckungsrichtung des Fingers (3) festgelegten Raumachse (6), • Bestimmen (S40) eines Schnittpunkts (9) der Raumachse (6) mit einer wenigstens ein Bedienelement (7) aufweisenden Innenraumfläche (10) des Kraftfahrzeugs, • Bestimmen (S50) eines durch den Schnittpunkt (8) identifizierbaren Bedienelements (7) und • Auswählen (S60) des Bedienelements (7).
Verfahren nach Anspruch 1 mit dem Schritt • Hervorheben (S61) des ausgewählten Bedienelements (7).
Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten • Erfassen (S51) einer Akkommodation der Augen (2) des Nutzers (1), • Bestimmen (S52) einer durch die Akkommodation der Augen (2) festgelegten Blickebene, wobei der Schritt des Auswählens (S60) des Bedienelements (7) unter der Bedingung ausgeführt wird, dass das Bedienelement (7) nahe der oder auf der Blickebene liegt.
Verfahren nach einem der vorhergehenden Ansprüche mit den Schritten • Erkennen (S70) einer Bediengeste (9) und • Betätigen (S80) des Bedienelements (7) im Ansprechen auf eine erkannte Bediengeste (9), wobei die Bediengeste eine Fingergeste (9) und / oder eine Augengeste und / oder eine Sprachgeste umfasst.
Verfahren nach Anspruch 4 mit den Schritten • Erkennen (S90) einer Korrekturgeste und • Zurücknehmen (S100) der Betätigung (S80) des Bedienelements (7) im Ansprechen auf eine erkannte Korrekturgeste, wobei die Korrekturgeste eine Fingergeste und / oder eine Augengeste und / oder eine Sprachgeste umfasst.
Bediensystem für ein Kraftfahrzeug mit • einer Erfassungseinrichtung (5) zur Erfassung eines eine Zeigegeste (4) bildenden Fingers (3) eines Nutzers (1) des Kraftfahrzeugs, insbesondere eines Fahrers des Kraftfahrzeugs, • einem in oder auf einer Innenraumfläche (10) des Kraftfahrzeugs angeordneten Bedienelement (7) und • einer mit der Erfassungseinrichtung (5) verbundenen Datenverarbeitungseinrichtung zur Bestimmung einer Position und einer Haupterstreckungsrichtung des die Zeigegeste (4) bildenden Fingers (3), zur Bestimmung einer durch die Position und die Haupterstreckungsrichtung des Fingers festgelegten Raumachse (6), zur Bestimmung eines Schnittpunkts (8) der Raumachse (6) mit der Innenraumfläche (10) des Kraftfahrzeugs, zur Bestimmung des durch den Schnittpunkt (8) identifizierbaren Bedienelements (7) sowie zur Auswahl des Bedienelements (7).
Bediensystem nach Anspruch 6, wobei die Erfassungseinrichtung (5) oder eine weitere Erfassungseinrichtung zur Erfassung einer Akkommodation der Augen (2) des Nutzers (1) eingerichtet ist und wobei die mit der Erfassungseinrichtung (5) verbundene Datenverarbeitungseinrichtung oder eine mit der weiteren Erfassungseinrichtung verbundene Datenverarbeitungseinrichtung zur Bestimmung einer durch die Akkommodation der Augen (2) festgelegten Blickebene eingerichtet ist, wobei die Datenverarbeitungseinrichtung eingerichtet ist, das Bedienelement (7) unter der Bedingung auszuwählen, dass das Bedienelement (7) nahe der oder auf der Blickebene liegt.
Bediensystem nach Anspruch 6 oder 7, wobei Mittel zur Hervorhebung des Bedienelements (7) vorgesehen sind und wobei die Datenverarbeitungseinrichtung weiter eingerichtet ist, die Mittel im Ansprechen auf eine erfolgte Bestimmung des Bedienelements (7) zu betätigen.
Bediensystem nach einem der Ansprüche 6 bis 8, wobei die Erfassungseinrichtung oder die Erfassungseinrichtung und die weitere Erfassungseinrichtung durch eine Innenraumkamera (5) des Kraftfahrzeugs gebildet wird oder werden.
Bediensystem nach einem der Ansprüche 6 bis 9, wobei das Bediensystem zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5 eingerichtet ist.