DE102013223540A1

DE102013223540A1 - Selection of menu entries via free space gestures

Info

Publication number: DE102013223540A1
Application number: DE102013223540.2A
Authority: DE
Inventors: Ralf Godau; Andreas Menath
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2013-11-19
Filing date: 2013-11-19
Publication date: 2015-05-21

Abstract

Offenbart wird eine Vorrichtung für ein Kraftfahrzeug zur Auswahl einer Auswahlmöglichkeit auf einer Anzeige; wobei die Vorrichtung umfasst: Erfassungsmittel zur Erfassung von Freiraumgesten des Benutzers; Eine Anzeige; Elektronische Rechenmittel, die operativ mit den Erfassungsmitteln und der Anzeige gekoppelt sind; Wobei die Vorrichtung dazu eingerichtet ist: Eine Gruppe von Auswahlmöglichkeiten auf der Anzeige anzuzeigen; Jede Auswahlmöglichkeit der Gruppe für je eine vorbestimmte Zeitdauer hervorzuheben, insbesondere graphisch hervorzuheben, wobei jede Auswahlmöglichkeit mindestens zweimal hervorgehoben wird; Eine Freiraumgeste des Benutzers zu einem Zeitpunkt zu erfassen; Diejenige Auswahlmöglichkeit auszuwählen, die zum Zeitpunkt des Erfassens der Freiraumgeste hervorgehoben wird, und eine der ausgewählten Auswahlmöglichkeit zugeordnete Funktion auszuführen.Disclosed is an apparatus for a motor vehicle for selecting a selection option on a display; the apparatus comprising: detecting means for detecting free space gestures of the user; An ad; Electronic computing means operatively coupled to the detection means and the display; The device is set up to: display a set of choices on the display; Highlight each selection of the group for each predetermined period of time, particularly highlighting it graphically, highlighting each choice at least twice; Capture a free space gesture of the user at a time; To select the one option that will be highlighted at the time the free space gesture is detected, and to perform a function associated with the selected option.

Description

Die Erfindung betrifft eine Vorrichtung für ein Kraftfahrzeug zur Auswahl einer Auswahlmöglichkeit auf einer Anzeige, ein entsprechendes Kraftfahrzeug und eine Vorrichtung sowie ein Computerprogramm zu demselben Zweck. The invention relates to a device for a motor vehicle for selecting a selection option on a display, a corresponding motor vehicle and a device and a computer program for the same purpose.

Heutzutage sind mechatronische Bedienkonzepte in Kraftfahrzeugen weit verbreitet. Bei diesen betätigt der Benutzer, beispielsweise der Fahrer eines Kraftfahrzeugs, einen mechanischen Dreh-/Drücksteller, um eine von mehreren Auswahlmöglichkeiten auf einer Anzeige des Fahrzeugs auszuwählen und die zugehörige Funktion zu aktivieren. Ein Beispiel eines solchen Systems ist der sogenannte iDrive Controller, der in Fahrzeugen der BMW AG verbaut wird. Today, mechatronic control concepts are widely used in motor vehicles. In these, the user, for example, the driver of a motor vehicle, actuates a mechanical rotary / push button to select one of several choices on a display of the vehicle and to activate the associated function. An example of such a system is the so-called iDrive Controller, which is installed in BMW AG vehicles.

Eine Weiterentwicklung von Mensch-Maschine Schnittstellen in Fahrzeugen basiert auf der Verwendung von Gesten zur Eingabe in ein Bediensystem. Ein Beispiel für eine solche Schnittstelle ist in der DE 10 2012 000 263 A1 beschrieben. Diese Druckschrift offenbart ein Verfahren zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten. Das Verfahren weist ein Bestimmen auf, ob eine im dreidimensionalen Raum durchgeführte erste Geste mittels eines Bild-basierten Erfassungsvorgangs erfasst wird oder nicht, ein Bestimmen, ob die erste Geste eine einem Aktivieren eines Steuerns einer Funktion zugeordnete Geste ist oder nicht, falls bestimmt wird, dass die erste Geste erfasst worden ist, ein Aktivieren des Steuerns der Funktion, falls bestimmt wird, dass die erfasste erste Geste die dem Aktivieren des Steuerns der Funktion zugeordnete Geste ist, ein Bestimmen, ob eine im dreidimensionalen Raum durchgeführte zweiten Geste mittels des bild-basierten Erfassungsvorgangs erfasst wird oder nicht, ein Bestimmen, ob die erfasste zweite Geste eine dem Steuern der Funktion zugeordnete Geste ist oder nicht, falls bestimmt wird, dass die zweite Geste erfasst worden ist; und ein Steuern der Funktion auf, falls bestimmt worden ist, dass die erfasste erste Geste die dem Aktivieren des Steuerns der Funktion zugeordnete Geste ist, und falls bestimmt wird, dass die erfasste zweite Geste die dem Steuern der Funktion zugeordnete Geste ist. A further development of man-machine interfaces in vehicles is based on the use of gestures for input into an operating system. An example of such an interface is in the DE 10 2012 000 263 A1 described. This document discloses a method for operating functions in a vehicle using gestures executed in three-dimensional space. The method includes determining whether or not a first gesture performed in the three-dimensional space is detected by an image-based detection operation, determining whether or not the first gesture is a gesture associated with activating a control of a function, if it is determined that the first gesture has been detected, activating the controlling of the function, if it is determined that the detected first gesture is the gesture associated with activating the controlling of the function, determining whether a second gesture performed in the three-dimensional space by means of the image based detection operation is detected or not, determining whether or not the detected second gesture is a gesture associated with controlling the function, if it is determined that the second gesture has been detected; and controlling the function if it has been determined that the detected first gesture is the gesture associated with activating controlling the function, and if it is determined that the detected second gesture is the gesture associated with controlling the function.

Ebenfalls aus dem Stand der Technik bekannt sind Verfahren, in denen durch Berührung oder Annäherung an eine Oberfläche Bedieneingaben getätigt werden. Ein Beispiel eines solchen Verfahrens ist in WO 2009/024401 A1 offenbart. Also known from the prior art are methods in which operator inputs are made by touching or approaching a surface. An example of such a method is in WO 2009/024401 A1 disclosed.

In Kraftfahrzeugen werden besondere Anforderungen an die Bedienung von Eingabesystemen gestellt. Insbesondere dürfen diese den Fahrer nicht zu lange vom Verkehrsgeschehen ablenken und müssen zuverlässig bei Vibrationen im Fahrzeug bedienbar sein. In motor vehicles, special demands are placed on the operation of input systems. In particular, these must not distract the driver from the traffic for too long and must be able to be operated reliably with vibrations in the vehicle.

Die Aufgabe, die der Erfindung zugrunde liegt, ist es eine Bedienvorrichtung für ein Kraftfahrzeug zur Verfügung zu stellen, das den Anforderungen an den Einsatz in einem Kraftfahrzeug genügt. The object on which the invention is based is to provide an operating device for a motor vehicle which meets the requirements for use in a motor vehicle.

Die Aufgabe wird durch eine Vorrichtung, ein Kraftfahrzeug, ein Verfahren und ein Computerprogramm gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. The object is achieved by a device, a motor vehicle, a method and a computer program according to the independent claims. Advantageous developments are defined in the dependent claims.

In einem Aspekt umfasst eine Vorrichtung für ein Kraftfahrzeug zur Auswahl einer Auswahlmöglichkeit auf einer Anzeige Folgendes: Erfassungsmittel zur Erfassung von Freiraumgesten des Benutzers; Eine Anzeige; Elektronische Rechenmittel, die operativ mit den Erfassungsmitteln und der Anzeige gekoppelt sind; wobei die Vorrichtung dazu eingerichtet ist: Eine Gruppe von Auswahlmöglichkeiten (beispielsweise Menüeinträge oder Listeneinträge) auf der Anzeige anzuzeigen; Jede Auswahlmöglichkeit der Gruppe einzeln für je eine vorbestimmte Zeitdauer hervorzuheben, insbesondere graphisch hervorzuheben, wobei jede Auswahlmöglichkeit mehrfach hervorgehoben wird, wobei die Auswahlmöglichkeiten insbesondere iterierend hervorgehoben werden; Eine Freiraumgeste des Benutzers zu einem Zeitpunkt zu erfassen; Diejenige Auswahlmöglichkeit auszuwählen, die zum Zeitpunkt des Erfassens der Freiraumgeste hervorgehoben wird, und eine der ausgewählten Auswahlmöglichkeit zugeordnete Funktion auszuführen. Die Funktion kann auch der Aufruf eines (weiteren) Menüs sein. In one aspect, an apparatus for a motor vehicle for selecting a selection on a display comprises: detecting means for detecting free space gestures of the user; An ad; Electronic computing means operatively coupled to the detection means and the display; the apparatus being arranged to: display a set of choices (e.g., menu items or list items) on the display; Highlight each selection of the group individually for each of a predetermined period of time, in particular highlighting it graphically, each option being highlighted several times, highlighting the choices in particular iteratively; Capture a free space gesture of the user at a time; To select the one option that will be highlighted at the time the free space gesture is detected, and to perform a function associated with the selected option. The function can also be the call of a (further) menu.

Auf diese Weise werden dem Benutzer also für einen längeren Zeitraum iterierend Auswahlmöglichkeiten auf der Anzeige dargeboten, insbesondere indem sie in bestimmten Zeitabständen abwechselnd optisch hervorgehoben werden. Zur Aktivierung der zugehörigen Funktion führt der Benutzer eine Freiraumgeste aus. Auf diese Weise muss der Benutzer die dargebotene Auswahl nur noch bestätigen, was den Auswahlprozess insgesamt vereinfacht. Die Erfindung kann für praktisch alle Entertainment- oder Infotainment-Funktionen eines Kraftfahrzeugs und generell für die Auswahl aus Listen oder Menüs eingesetzt werden. In this way, the user is offered iterating choices on the display for a longer period of time, in particular by being alternately visually highlighted at certain time intervals. To activate the associated function, the user executes a free space gesture. In this way, the user only has to confirm the offered selection, which simplifies the selection process as a whole. The invention can be used for virtually all entertainment or infotainment functions of a motor vehicle and generally for selection from lists or menus.

Diese Bedienung ist gegenüber den Konzepten des Standes der Technik komfortabler, da sie ohne mechanische Betätigung eines Schalters oder Dreh-/Drückstellers auskommt. Weiterhin bietet die hier vorgestellte Vorrichtung mehr Sicherheit im Straßenverkehr, da die Ablenkzeiten gering sind. Dies deshalb, da die Auswahlmöglichkeiten wiederholt (iterierend) hervorgehoben und damit angeboten werden und der Benutzer nur noch die Auswahl bestätigen muss. Darüber hinaus können herkömmliche Bedienelemente, wie der Dreh-/Drücksteller entfallen und der freigegebene Bauraum anderweitig genutzt werden, was die Designfreiheit erhöht. This operation is more comfortable compared to the concepts of the prior art, since it does not require mechanical operation of a switch or rotary control / push button. Furthermore, the device presented here offers more safety on the road, since the deflection times are low. This is because the choices are repeatedly (iteratively) highlighted and thus offered and the user only the selection must confirm. In addition, conventional controls, such as the rotary / push button eliminated and the shared space can be used elsewhere, which increases the freedom of design.

Erfassungsmittel zum Erfassen von Freiraumgesten sind im Stand der Technik bekannt. Diese basieren insbesondere auf Kameraaufnahmen, in denen die Hand und die Geste des Benutzers mittels Bildverarbeitung erkannt werden. Eine Freiraumgeste ist eine Geste, die nicht in Bezug auf eine Oberfläche oder sonstige Gegenstände ausgeführt wird. Das heißt, dass die Freiraumgeste und deren Erkennung unabhängig von der Entfernung von Gegenständen ist. Detecting means for detecting free space gestures are known in the art. These are based in particular on camera shots, in which the hand and the gesture of the user are recognized by means of image processing. A free space gesture is a gesture that is not performed in relation to a surface or other objects. This means that the free space gesture and its recognition is independent of the distance of objects.

In einer Weiterbildung umfasst die Freiraumgeste des Benutzers eine Bewegung der Hand des Benutzers mit einem ausgestreckten Finger. Typischerweise ist die Hand des Benutzers bei dieser Geste in einer Zeigehaltung, in der nur der Zeigefinger ausgestreckt ist. In einer vorteilhaften Implementierung wird die Hand in Zeigehaltung bei der Freiraumgeste von einer höheren Position in eine tiefere Position verbracht, so als ob mit dem Zeigefinger ein Schalter heruntergedrückt würde. In a development, the free space gesture of the user comprises a movement of the user's hand with an outstretched finger. Typically, the user's hand in this gesture is in a pointing position with only the index finger outstretched. In an advantageous implementation, the hand is pointed in the free space gesture from a higher position to a lower position, as if a switch was depressed with the index finger.

In einer Implementierung wird zum Hervorheben der Auswahlmöglichkeit eine Farbe verwendet, die die anderen (nicht ausgewählten und gleichfarbigen) Auswahlmöglichkeiten nicht aufweisen. Ebenso kann mithilfe der Helligkeit der Darstellung der hervorgehobenen Auswahlmöglichkeit diese hervorgehoben werden. Gleiches gilt für die Verwendung von Schatten oder Rahmen. In one implementation, to highlight the choice, a color is used that does not have the other (non-selected and same-color) choices. Likewise, the brightness of the display of the highlighted choice may highlight it. The same applies to the use of shadows or frames.

In einer Weiterbildung ist die Vorrichtung ferner eingerichtet: nach der Auswahl der Auswahlmöglichkeit eine weitere Gruppe an Auswahlmöglichkeiten anzuzeigen; Jede Auswahlmöglichkeit der weiteren Gruppe für je eine vorbestimmte Zeitdauer hervorzuheben wobei jede Auswahlmöglichkeit mindestens zweimal hervorgehoben wird; Eine weitere Freiraumgeste des Benutzers zu einem weiteren Zeitpunkt zu erfassen; Diejenige weitere Auswahlmöglichkeit auszuwählen, die zum weiteren Zeitpunkt hervorgehoben wird und eine der weiteren ausgewählten Auswahlmöglichkeit zugeordnete Funktion auszuführen. In a further development, the device is also set up: after the selection of the selection option, to display a further group of selection options; Highlight each selection of the further group for each predetermined period of time, each option being highlighted at least twice; Capture another free space gesture of the user at a later time; To select that further option that will be highlighted at a later time and to perform a function associated with the further selected option.

Auf diese Weise wird die Realisierung eines Untermenüs ermöglicht, das ähnlich funktioniert wie das Hauptmenü. Somit wird ein Sprung in verschiedene Untermenüs derart realisiert, dass zunächst auf der oberen Ebene der generelle Funktionsbereich (z.B. Radio oder Navigation) ausgewählt werden kann und im Anschluss neue Auswahlmöglichkeiten im gewünschten Funktionsbereich (Untermenü) angeboten werden. In this way it is possible to realize a sub-menu that works in a similar way to the main menu. Thus, a jump into various submenus is realized in such a way that initially on the upper level the general functional area (for example radio or navigation) can be selected and subsequently new choices in the desired functional area (submenu) are offered.

In einem anderen Aspekt umfasst ein Fahrzeug (beispielsweise ein PKW oder LKW) eine der vorstehenden Vorrichtungen. In another aspect, a vehicle (eg, a car or truck) includes one of the above devices.

In wieder einem anderen Aspekt umfasst ein Verfahren zum Auswählen einer angezeigten Auswahlmöglichkeit: Anzeigen einer Gruppe von weiteren Auswahlmöglichkeiten auf einer Anzeige; Hervorheben jeder weiteren Auswahlmöglichkeit der Gruppe für je eine vorbestimmte Zeitdauer, insbesondere graphisch; Erfassen einer Freiraumgeste des Benutzers zu einem Zeitpunkt; Auswählen derjenigen weiteren Auswahlmöglichkeit, die zum weiteren Zeitpunkt des Erfassens der weiteren Freiraumgeste hervorgehoben wird und Ausführen einer der ausgewählten weiteren Auswahlmöglichkeit zugeordneten Funktion. Das Verfahren kann gemäß den obenstehenden Vorrichtungen weiterentwickelt werden. In yet another aspect, a method for selecting a displayed option comprises: displaying a group of further choices on a display; Highlighting each further selection option of the group for a respective predetermined period of time, in particular graphically; Detecting a free space gesture of the user at a time; Selecting the further option that is highlighted at the further time of detecting the further free space gesture and executing a function associated with the selected further option. The method may be further developed according to the above devices.

Ein Computerprogramm kann einen Computer bei der Ausführung des Computerprogramms dazu veranlassen das vorstehende Verfahren oder dessen Weiterentwicklungen auszuführen. Ein Computer kann ein Mikrocontroller, ein ASIC oder ähnliches sein. A computer program may cause a computer to execute the above method or its enhancements when executing the computer program. A computer may be a microcontroller, an ASIC or the like.

KURZE BESCHREIBUNG DER ZEICHNUNG BRIEF DESCRIPTION OF THE DRAWING

1 zeigt schematisch den Betrieb einer erfindungsgemäßen Vorrichtung gemäß einem Ausführungsbeispiel. 1 schematically shows the operation of a device according to the invention according to an embodiment.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS DETAILED DESCRIPTION OF THE EMBODIMENT

1 zeigt schematisch den Betrieb einer erfindungsgemäßen Vorrichtung gemäß einem Ausführungsbeispiel. Die Vorrichtung wird in einem PKW eingesetzt, von dem das Lenkrad 1 und die Windschutzscheibe 2 schematisch dargestellt sind. Der Benutzer befindet sich auf dem Fahrersitz des PKW. Die Vorrichtung umfasst eine Kamera 7 zur Erfassung der Freiraumgesten, eine Anzeige 3, hier ein LCD Bildschirm, und elektronische Rechenmittel (nicht dargestellt), die operativ mit der Kamera 7 und der Anzeige 3 gekoppelt sind. Die Anzeige 3 kann auch ein Head-up Display, ein Head-mounted Display oder eine sonstige Anzeige sein. Auf der Anzeige 3 wird eine Liste 5 mit drei einzelnen Einträgen angezeigt. Einer dieser Einträge ist durch einen Rahmen 6 hervorgehoben. Die Hervorhebung iteriert, d.h. jeder Eintrag wird wiederholt für eine vorbestimmte Zeit, beispielsweise 1s, 2s oder 5s, durch den Rahmen hervorgehoben. Der Rahmen 6 springt dabei immer zum nächsten Eintrag bzw. zum ersten Eintrag zurück. Dieses Anbieten einer Auswahl geschieht so lange, bis eine Freiraumgeste durch den Benutzer, hier mithilfe einer Zeigehaltung der Hand des Benutzers, erfasst wird. Der Benutzer führt seine Hand von der Position 4a zur Position 4b, also von oben nach unten. Dies wird mithilfe der Kamera 7 und entsprechender Bildverarbeitung in den elektronischen Rechenmitteln erfasst und der Zeitpunkt der Erfassung festgehalten. Es wird die zu diesem Zeitpunkt hervorgehobene Auswahlmöglichkeit, also der hervorgehobene Listeneintrag, ermittelt. Dies kann durch eine Abfrage an die Einheit geschehen, die die Hervorhebung der Listeneinträge steuert, insbesondere ein Softwaremodul, das für diesen Zweck ausgelegt ist. Die zu diesem Zeitpunkt hervorgehobene Auswahlmöglichkeit wird ausgewählt und die Funktion, die dieser Auswahlmöglichkeit zugeordnet ist, ausgeführt. Die Funktion kann beispielsweise der Aufruf eines Untermenüs sein, oder auch die Aktivierung einer Fahrzeugfunktion wie der Sitzheizung oder der Wiedergabe eines Musikstücks. 1 schematically shows the operation of a device according to the invention according to an embodiment. The device is used in a car, of which the steering wheel 1 and the windshield 2 are shown schematically. The user is in the driver's seat of the car. The device includes a camera 7 for recording the free space gestures, an advertisement 3 , here an LCD screen, and electronic computing resources (not shown) that are operational with the camera 7 and the ad 3 are coupled. The ad 3 may also be a head-up display, a head-mounted display or other display. On the display 3 becomes a list 5 with three individual entries. One of these entries is by a frame 6 highlighted. The highlighting iterates, ie each entry is repeatedly highlighted for a predetermined time, for example 1s, 2s or 5s, by the frame. The frame 6 always jumps back to the next entry or entry. This offering of selection is done until a free space gesture is detected by the user, here by means of a pointing gesture of the user's hand. The user guides his hand from the position 4a to the position 4b So from the top to below. This is done using the camera 7 and corresponding image processing in the electronic computing means recorded and recorded the time of detection. The selection option highlighted at this point in time, ie the highlighted list entry, is determined. This can be done by a query to the unit which controls the highlighting of the list entries, in particular a software module designed for this purpose. The choice highlighted at this time is selected and the function associated with that choice is executed. The function may be, for example, the call of a submenu, or the activation of a vehicle function such as the seat heating or the playback of a piece of music.

Auf diese Weise wird eine komfortable Auswahl von Auswahlmöglichkeiten dargeboten. Der Fahrer eines Fahrzeugs wird durch die Bedienung wenig abgelenkt, da die zur Verfügung stehenden Auswahlmöglichkeiten wieder und wieder hervorgehoben und zur Auswahl angeboten werden. Hat der Fahrer die Hervorhebung der gewünschten Auswahlmöglichkeit verpasst, kann er einfach auf die nächste Hervorhebung warten und die Freiraumgeste dann ausführen. Darüber hinaus ist diese Eingabemöglichkeit besonders robust gegenüber Vibrationen und Beschleunigungen im Fahrzeug. Hierdurch wird die Verkehrssicherheit verbessert. In this way, a comfortable selection of choices is offered. The driver of a vehicle is distracted by the operation little, since the available choices are highlighted again and again and offered for selection. If the driver has missed highlighting the desired option, he can simply wait for the next highlight and then execute the free space gesture. In addition, this input option is particularly robust against vibrations and accelerations in the vehicle. This improves road safety.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012000263 A1 [0003]
WO 2009/024401 A1 [0004]

Claims

Device for a motor vehicle for selecting a selection option on a display; the device comprising: Detection means for detecting free space gestures of the user; An ad; Electronic computing means operatively coupled to the detection means and the display; Where the device is set up: To display a group of choices on the display; Highlight each selection of the group for each predetermined period of time, particularly highlighting it graphically, highlighting each choice at least twice; Capture a free space gesture of the user at a time; To select the one option that will be highlighted at the time the free space gesture is detected, and to perform a function associated with the selected option.

The device of claim 1, wherein the free space gesture of the user comprises moving the user's hand with an extended finger.

Device according to one of the preceding claims, wherein the detection means comprise a camera.

Device according to one of the preceding claims, wherein for highlighting the selection option, the selection option has a different color than the other selection options, a greater brightness than the other options, a shadow or a frame has.

Device according to one of the preceding claims, wherein the device is further arranged: after selecting the option to display another group of choices; Highlight each selection of the further group for each predetermined period of time, each option being highlighted at least twice; Capture another free space gesture of the user at a later time; To select that further option that will be highlighted at a later time and to perform a function associated with the further selected option.

A vehicle comprising a device according to any one of the preceding claims.

A method of selecting a displayed choice, comprising: Displaying a group of choices on a display; Highlighting each selection of the group for each predetermined period of time, in particular graphically, each option being highlighted at least twice; Detecting a free space gesture of the user at a time; Selecting the one of the selections highlighted at the time the free space gesture is detected and executing a function associated with the selected further option.

Computer program that causes a computer to execute it when carrying out the method according to claim 7.