DE102015212920A1 - Operation of three-dimensional user interfaces - Google Patents

Operation of three-dimensional user interfaces Download PDF

Info

Publication number
DE102015212920A1
DE102015212920A1 DE102015212920.9A DE102015212920A DE102015212920A1 DE 102015212920 A1 DE102015212920 A1 DE 102015212920A1 DE 102015212920 A DE102015212920 A DE 102015212920A DE 102015212920 A1 DE102015212920 A1 DE 102015212920A1
Authority
DE
Germany
Prior art keywords
depth
user
hand
display
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015212920.9A
Other languages
German (de)
Inventor
Nora Broy
Julian Eichhorn
Julia Niemann
Felix Schwarz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102015212920.9A priority Critical patent/DE102015212920A1/en
Publication of DE102015212920A1 publication Critical patent/DE102015212920A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Offenbart wird ein Verfahren zur Unterstützung der Bedienung von dreidimensionalen Benutzerschnittstellen, umfassend: Anzeigen einer dreidimensionalen Benutzerschnittstelle, wobei die Benutzerschnittstelle Darstellungsinhalte auf unterschiedlichen vorbestimmten Tiefenebenen umfasst, wobei die Tiefenebenen parallel zueinander angeordnet sind und jede Tiefenebene in einer anderen Entfernung vom Benutzer angeordnet ist; Erfassen der Hand des Benutzers mittels einer Gestenerkennung für Freiraumgesten; Bestimmen einer nächstliegenden Tiefenebene; Anzeigen einer Markierung auf der bestimmten Tiefenebene abhängig von der erfassten Hand.Disclosed is a method of supporting the operation of three-dimensional user interfaces, comprising: displaying a three-dimensional user interface, the user interface comprising presentation contents at different predetermined depth levels, the depth levels being parallel to each other and each depth level being located at a different distance from the user; Detecting the user's hand by gesture recognition for free space gestures; Determining a nearest depth plane; Display a mark at the determined depth level depending on the detected hand.

Description

Die Erfindung betrifft ein Verfahren zur Unterstützung der Bedienung von dreidimensionalen Benutzerschnittstellen sowie eine entsprechende Anzeigevorrichtung. The invention relates to a method for supporting the operation of three-dimensional user interfaces and a corresponding display device.

Heutzutage sind dreidimensionale Anzeigen im Bereich von Anzeigekonzepten wohlbekannt. Diese können über sogenannte Head-mounted Displays oder zweidimensionale Displays mit 3D Anzeigefähigkeiten realisiert. Bei dreidimensionalen Benutzerschnittstellen werden sich die Interaktionselemente für den Benutzer scheinbar im dreidimensionalen Raum angeordnet, also auch in unterschiedlichen Teifenebenen. Nowadays, three dimensional displays are well known in the field of display concepts. These can be realized via so-called head-mounted displays or two-dimensional displays with 3D display capabilities. In the case of three-dimensional user interfaces, the interaction elements for the user appear to be arranged in three-dimensional space, that is to say also in different tilling planes.

Ferner ist die Gestensteuerung bekannt, bei der mittels einer Kamera ein bestimmter Raumbereich aufgenommen wird, in dem Freiraumgesten der Hand eines Benutzers erkannt werden. Die Erkennung der Freiraumgestik kann generell auch mittels spezieller kapazitivier Touch Screens erreicht werden. Gesten wie zum Beispiel die Drehung des Fingers einer Hand werden dann für die Einstellung von Funktionen wie der Lautstärke einer Musikwiedergabe verwendet. Furthermore, the gesture control is known in which a specific area of space is recorded by means of a camera, in which free space gestures of a user's hand are recognized. The recognition of the free space gesture can generally also be achieved by means of special capacitive touch screens. Gestures such as the rotation of the finger of a hand are then used to adjust functions such as the volume of a music playback.

Bei der Verwendung von Anzeigen in Fahrzeugen ist es wichtig, dem Fahrer eine Bedienung zu ermöglichen, die ihn möglichst wenig von der Fahraufgabe ablenkt. Dies ist insbesondere wichtig bei der Bedienung von dreidimensionalen Anzeigen. When using displays in vehicles, it is important to allow the driver an operation that distracts him as little as possible from the driving task. This is especially important in the operation of three-dimensional displays.

Die DE 10 2013 223 518 A1 offenbart eine Anzeigevorrichtung sowie ein entsprechendes Verfahren zur Steuerung einer Anzeigeeinrichtung mit einem Display zur Anzeige von Informationen und einer Steuerungseinrichtung zur Ermittlung eines Abstandes eines in der Nähe des Displays befindlichen Objekts, insbesondere eines Fingers einer Bedienperson oder eines von einer Bedienperson geführten Stiftes, vom Display und zur Steuerung des Displays derart, dass auf dem Display ein Maß für den ermittelten Abstand des Objekts vom Display visualisiert wird. Allerdings gibt diese Offenbarung keinen Hinweis auf die Bedienung von dreidimensionalen Benutzerschnittstellen. The DE 10 2013 223 518 A1 discloses a display device and a corresponding method for controlling a display device with a display for displaying information and a control device for determining a distance of an object located near the display, in particular a finger of an operator or an operator guided pen, the display and for controlling the display such that a measure of the determined distance of the object from the display is visualized on the display. However, this disclosure gives no indication of the operation of three-dimensional user interfaces.

Der Erfindung liegt die Aufgabe zugrunde Benutzern Unterstützung bei der Bedienung von dreidimensionalen Benutzerschnittstellen bereitzustellen. The invention has for its object to provide users with assistance in the operation of three-dimensional user interfaces.

Diese Aufgabe wird durch das Verfahren und die Anzeigevorrichtung gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. This object is achieved by the method and the display device according to the independent claims. Advantageous developments are defined in the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Unterstützung der Bedienung von dreidimensionalen Benutzerschnittstellen, umfassend: Anzeigen einer dreidimensionalen Benutzerschnittstelle, wobei die Benutzerschnittstelle Darstellungsinhalte auf unterschiedlichen vorbestimmten Tiefenebenen umfasst, wobei die Tiefenebenen parallel zueinander angeordnet sind und jede Tiefenebene in einer anderen Entfernung vom Benutzer angeordnet ist; Erfassen der Hand des Benutzers mittels einer Gestenerkennung für Freiraumgesten; Bestimmen einer nächstliegenden Tiefenebene; Anzeigen einer Markierung auf der bestimmten Tiefenebene abhängig von der erfassten Hand. A first aspect of the invention relates to a method of supporting the operation of three-dimensional user interfaces, comprising: displaying a three-dimensional user interface, wherein the user interface includes presentation content at different predetermined depth levels, wherein the depth planes are arranged parallel to one another and each depth plane is located at a different distance from the user is; Detecting the user's hand by gesture recognition for free space gestures; Determining a nearest depth plane; Display a mark at the determined depth level depending on the detected hand.

Hierin wird also vorgeschlagen die dreidimensionale Anzeige gemäß vorbestimmten Tiefenebenen zu strukturieren, d.h. Elemente der Benutzerschnittstelle werden nur (oder vornehmlich) in den Tiefenebenen angezeigt, nicht jedoch dazwischen. Die Tiefenebenen weisen typischerweise eine Rangfolge auf. In einer gewöhnlichen Benutzungssituation sind die Tiefenebenen parallel zur Ebene der Anzeige angeordnet, jedoch in verschiedenen Entfernungen. Anhand der erkannten Freiraumgeste wird eine nächstliegende Tiefenebene bestimmt. Dies muss nicht immer diejenige Tiefenebene sein, deren Betrag des Abstandes zur Hand am geringsten ist. Typischerweise wird diejenige Tiefenebene ausgewählt, die sich, vom Benutzer aus gesehen, weiter entfernt als seine Hand befindet und deren Entfernung zur Hand am geringsten ist. Anders ausgedrückt wird diejenige Tiefenebene ausgewählt, die in am nächsten an der Hand ist und am niedrigsten oder höchsten in einer den Tiefenebenen zugewiesenen Rangfolge. In dieser nächstliegenden Tiefenebene wird eine Markierung angezeigt, die auf der Position der erfassten Hand beruht, typischerweise eine senkrechte Projektion auf die Tiefenebene. Herein, it is proposed to structure the three-dimensional display according to predetermined depth planes, i. Elements of the user interface are only (or primarily) displayed in the depth levels, but not in between. The depth levels typically have a ranking. In a normal usage situation, the depth planes are arranged parallel to the plane of the display, but at different distances. On the basis of the detected free space gesture a nearest depth level is determined. This does not always have to be that depth plane whose amount of the distance to the hand is the lowest. Typically, that depth plane is selected which, as seen by the user, is farther away than his hand and whose distance from the hand is least. In other words, the depth plane closest to the hand is selected, and the lowest or highest rank order assigned to the depth planes. In this closest depth plane, a marker based on the position of the detected hand is displayed, typically a vertical projection on the depth plane.

Auf diese Weise wird des dem Benutzer ermöglicht, abzuschätzen, welche Tiefenebene von ihm bedient würde. Gleichzeitig wird es ihm ermöglicht, den Ort der Bedienhandlung zu erkennen. Die Darstellungsinhalte der Benutzerschnittstelle sind typischerweise interaktiv, d.h. sie lösen bei Berührung eine Aktion aus. In einer dreidimensionalen Benutzerschnittstelle, ist es manchmal schwierig abzuschätzen (ggf. aufgrund von Ungenauigkeiten der Darstellung für den Benutzer) in welcher Tiefe sich die Inhalte befinden und in welcher Relation dazu die Hand steht. Durch die „strikte“ Anordnung in diskreten Tiefenebenen und die Markierung wird dies dem Benutzer erleichtert. In this way, it allows the user to estimate which depth plane would be served by him. At the same time, it enables him to recognize the location of the operating action. The presentation contents of the user interface are typically interactive, i. they trigger an action when touched. In a three-dimensional user interface, it is sometimes difficult to estimate (possibly due to inaccuracies of presentation to the user) in what depth the content is located and in what relation to it the hand stands. This is made easier for the user by the "strict" arrangement in discrete depth levels and the marking.

In einer Weiterbildung umfasst das Bestimmten der Tiefenebene: Bestimmen einer Referenzposition auf der erfassten Hand; wobei diejenige Tiefenebene ausgewählt wird, die von der Referenzposition den geringsten Abstand in einer vorgegebenen Richtung aufweist; wobei die vorgegebene Richtung insbesondere durch die Anordnung der Tiefenebenen vorgegeben wird oder durch die den Tiefenebenen zugewiesene Rangfolge. Die Richtung ergibt sich in vielen Implementierungen durch die Annahme der typischen Anordnung von Anzeige und Benutzer. Ziel ist es, die der Hand des Benutzers nächstliegende, aber dem Benutzer „vor“ (weiter entfernt) seiner Hand liegende Tiefenebene auszuwählen. In a further development, the determination of the depth plane comprises: determining a reference position on the detected hand; wherein that depth plane is selected which has the smallest distance in a given direction from the reference position; wherein the predetermined direction in particular by the arrangement of Depth levels or by the rankings assigned to the depth levels. The direction results in many implementations by adopting the typical arrangement of display and user. The goal is to select the depth plane closest to the user's hand but to the user "before" (farther away) his hand.

Typischerweise wird die Markierung basierend auf der zur bestimmten Tiefenebene senkrechten Projektion der Hand auf die Tiefenebene bestimmt. In den meisten Fällen wird dies ungefähr der Blickrichtung des Benutzers entsprechen oder zumindest für den Benutzer intuitiv verständlich sein. In einer alternativen Variante wird Folgendes ausgeführt: Erkennen eines ausgestreckten Fingers der erfassten Hand; Bestimmen einer Richtung des erkannten Fingers; Wobei die Markierung basierend auf der bestimmten Richtung bestimmt wird. Es findet also eine „Zeigemetapher“ statt. Der Benutzer zeigt mit seinem Finger in eine Richtung und die Markierung wird am hypothetischen Schnittpunkt der Richtung und der Tiefenebene angezeigt. Dies ermöglicht dem Benutzer eine nochmal intuitivere Bedienung. Dieses Prinzip kann auch folgendermaßen beschrieben werden: Die Markierung wird basierend auf dem hypothetischen Schnittpunkt der auf der Referenzposition aufgesetzten bestimmten Richtung mit der bestimmten Tiefenebene bestimmt. Dies kann auch als Laserpointermetapher oder Taschenlampenlichtpunktmetapher aufgefasst werden. Wichtig ist, dass der „Licht“punkt (also die Markierung) in der bestimmten Tiefenebene liegt und somit für den Benutzer eine Referenz bildet, in welcher Tiefenebene die Bedienung von Darstellungsinhalten stattfinden würde. Typically, the marker is determined based on the projection of the hand perpendicular to the particular depth plane to the depth plane. In most cases, this will roughly correspond to the user's line of sight, or at least be intuitive to the user. In an alternative variant, the following is performed: recognition of an outstretched finger of the detected hand; Determining a direction of the detected finger; Where the mark is determined based on the determined direction. So there is a "pointer metaphor" instead. The user points with his finger in one direction and the mark is displayed at the hypothetical intersection of the direction and the depth plane. This allows the user a more intuitive operation. This principle can also be described as follows: The marker is determined based on the hypothetical intersection of the particular direction plotted on the reference position with the particular depth plane. This can also be understood as a laser pointer metaphor or flashlight point metaphor. It is important that the "light" point (ie the marking) lies in the specific depth plane and thus forms a reference for the user, at which depth level the operation of display contents would take place.

Zur Bedienung von Darstellungsinhalten kann auch folgendes vorgesehen sein: Empfangen einer Eingabe an einem mechanischen Schalter; Auswählen Darstellungsinhalts, der von der Markierung überdeckt wird oder der der Markierung am nächsten ist. In dieser Variante der Erfindung wird die Aktivierung eines Darstellungsinhaltes (bspw. ein „Button“) nicht über Berührung mit der Hand (Fingerspitze) ausgeführt. Stattdessen wird die Markierung tatsächlich nur zur Markierung verwendet und die Aktivierung erfolgt über ein zweites Mittel, beispielswiese einen Schalter oder ein von einer Spracherkennung identifiziertes Sprachkommando. Dies nimmt dem Benutzer die Bürde ab, die Hand an eine präzise Position im Raum zu führen, um die Aktivierung oder Manipulation eines Darstellungselements auszulösen. Stattdessen reicht ein „Zeigen“ auf das Darstellungselement und die Bedienung eines Schalters oder ein Sprachkommando. Denkbar ist auch eine Veränderung der Geste der Hand als Aktivierung über das zweite Mittel, beispielswiese von einem Ausstrecken lediglich des Zeigefingers auf das Formen einer Faust oder dem Zeigen mit Zeige- und Mittelfinger auf das Zeigen nur mit dem Zeigefinger (ähnlich dem Abfeuern einer Pistole). For operating display contents, the following may also be provided: receiving an input at a mechanical switch; Select presentation content that is covered by the marker or closest to the marker. In this variant of the invention, the activation of a representation content (for example a "button") is not carried out by contact with the hand (fingertip). Instead, the tag is actually only used for tagging, and activation is via a second means, such as a switch or voice command identified by a speech recognizer. This relieves the user of the burden of guiding the hand to a precise position in space to trigger activation or manipulation of a display element. Instead, a "pointing" to the display element and the operation of a switch or a voice command suffices. It is also conceivable to change the gesture of the hand as an activation via the second means, for example extending from merely extending the index finger to forming a fist or pointing with the index and middle fingers to pointing only with the index finger (similar to the firing of a pistol). ,

Ein weiterer Aspekt der Erfindung betrifft eine Anzeigevorrichtung, umfassend eine für dreidimensionale Darstellungen eingerichtete Anzeige und Mittel zur Erfassung von Freiraumgesten, wobei die Anzeigevorrichtung dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. A further aspect of the invention relates to a display device comprising a display arranged for three-dimensional representations and means for detecting free space gestures, wherein the display device is adapted to carry out a method according to one of the preceding claims.

KURZE BESCHREIBUNG DER ZEICHNUNG BRIEF DESCRIPTION OF THE DRAWING

1 zeigt schematisch die Unterstützung bei der Bedienung dreidimensionaler Anzeigeninhalte gemäß einem Ausführungsbeispiel. 1 schematically shows the assistance in the operation of three-dimensional display content according to an embodiment.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS DETAILED DESCRIPTION OF THE EMBODIMENT

1 zeigt schematisch die Unterstützung bei der Bedienung dreidimensionaler Anzeigeninhalte gemäß einem Ausführungsbeispiel. Ein Benutzer 3 trägt in einem Fahrzeug eine Datenbrille (Head-mounted Display), das dem Benutzer eine dreidimensionale Benutzerschnittstelle anzeigt. Die Benutzerschnittstelle umfasst zwei Tiefenebenen 1a und 1b, wobei die Tiefenebene 1a näher am Benutzer ist als die Tiefenebene 1b. Beide Tiefenebenen umfassen „Buttons“ 2. Die Aktivierung der „Buttons“ erfolgt durch Markierung eines Buttons und durch die Betätigung eines mechanischen Schalters am Lenkrad des Fahrzeugs (nicht dargestellt). Der Raum vor dem Benutzer wird durch eine Kamera 7 im Dachhimmel des Fahrzeugs überwacht und hinsichtlich der Ausführung von Gesten überwacht. 1 schematically shows the assistance in the operation of three-dimensional display content according to an embodiment. A user 3 carries in a vehicle a data goggle (head-mounted display), which displays a three-dimensional user interface to the user. The user interface comprises two depth levels 1a and 1b , where the depth plane 1a closer to the user than the depth plane 1b , Both depth levels include "buttons" 2 , The activation of the "buttons" by marking a button and by the operation of a mechanical switch on the steering wheel of the vehicle (not shown). The space in front of the user is viewed through a camera 7 monitored in the headliner of the vehicle and monitored for the execution of gestures.

Bei der Benutzung führt der Benutzer 3 seine Hand 4 in den überwachten Raum und streckt seinen Zeigefinger 5 aus. Diese Geste wird von der Kamera 7 erkannt. Es wird die Verlängerung 6 des Zeigefingers und der Schnittpunkt mit der nächsten Tiefenebene berechnet, hier Tiefenebene 1a. Der Schnittpunkt wird durch eine Markierung 8 für den Benutzer sichtbar gemacht. In 1 ist mithilfe der Markierung 8 ein Button markiert. Mit der anderen Hand kann nun der Benutzer am Lenkrad den Schalter aktivieren, wodurch der Button aktiviert wird und seine zugehörige Funktion ausgeführt wird. In use, the user performs 3 his hand 4 into the supervised room and reaches out his forefinger 5 out. This gesture is taken by the camera 7 recognized. It will be the extension 6 of the index finger and the intersection with the next depth plane, here depth plane 1a , The intersection is marked by a marker 8th made visible to the user. In 1 is using the marker 8th a button marked. With the other hand, the user can now activate the switch on the steering wheel, whereby the button is activated and its associated function is performed.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102013223518 A1 [0005] DE 102013223518 A1 [0005]

Claims (9)

Verfahren zur Unterstützung der Bedienung von dreidimensionalen Benutzerschnittstellen, umfassend: Anzeigen einer dreidimensionalen Benutzerschnittstelle, wobei die Benutzerschnittstelle Darstellungsinhalte auf unterschiedlichen vorbestimmten Tiefenebenen umfasst, wobei die Tiefenebenen parallel zueinander angeordnet sind und jede Tiefenebene in einer anderen Entfernung vom Benutzer angeordnet ist; Erfassen der Hand des Benutzers mittels einer Gestenerkennung für Freiraumgesten; Bestimmen einer nächstliegenden Tiefenebene; Anzeigen einer Markierung auf der bestimmten Tiefenebene abhängig von der erfassten Hand.  A method of supporting the operation of three-dimensional user interfaces, comprising: Displaying a three-dimensional user interface, the user interface comprising presentation contents at different predetermined depth levels, the depth levels being arranged parallel to one another and each depth level being located at a different distance from the user; Detecting the user's hand by gesture recognition for free space gestures; Determining a nearest depth plane; Display a mark at the determined depth level depending on the detected hand. Verfahren nach Anspruch 1, wobei das Bestimmten der Tiefenebene umfasst: Bestimmen einer Referenzposition auf der erfassten Hand; Wobei diejenige Tiefenebene ausgewählt wird, die von der Referenzposition den geringsten Abstand in einer vorgegebenen Richtung aufweist; wobei die vorgegebene Richtung insbesondere durch die Anordnung der Tiefenebenen vorgegeben wird oder durch die den Tiefenebenen zugewiesene Rangfolge. The method of claim 1, wherein determining the depth plane comprises: Determining a reference position on the detected hand; Where the depth plane is selected which has the smallest distance in a given direction from the reference position; wherein the predetermined direction is specified in particular by the arrangement of the depth planes or by the ranking assigned to the depth planes. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Markierung basierend auf der zur bestimmten Tiefenebene senkrechten Projektion der Hand auf die Tiefenebene bestimmt wird. Method according to one of the preceding claims, wherein the mark is determined based on the vertical plane to the particular depth plane projection of the hand on the depth. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Erkennen eines ausgestreckten Fingers der erfassten Hand; Bestimmen einer Richtung des erkannten Fingers; Wobei die Markierung basierend auf der bestimmten Richtung bestimmt wird. The method of any one of the preceding claims, further comprising: Recognizing an outstretched finger of the detected hand; Determining a direction of the detected finger; Where the mark is determined based on the determined direction. Verfahren nach Anspruch 4 im Rückbezug auf Anspruch 2, wobei die Markierung basierend auf dem hypothetischen Schnittpunkt der auf der Referenzposition aufgesetzten bestimmten Richtung mit der bestimmten Tiefenebene bestimmt wird. The method of claim 4 when referring back to claim 2, wherein the tag is determined based on the hypothetical intersection of the particular direction plotted at the reference position with the determined depth plane. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Empfangen einer Eingabe über ein weiteres Bedienmittel, insbesondere einen mechanischen Schalter oder ein Sprachkommando, oder einer weiteren Geste; Auswählen Darstellungsinhalts, der von der Markierung überdeckt wird oder der der Markierung am nächsten ist. The method of any one of the preceding claims, further comprising: Receiving an input via a further operating means, in particular a mechanical switch or a voice command, or another gesture; Select presentation content that is covered by the marker or closest to the marker. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Markierung eine geometrische Form ist, insbesondere ein Kreis, ein Rechteck oder ein Zeiger. Method according to one of the preceding claims, wherein the marking is a geometric shape, in particular a circle, a rectangle or a pointer. Anzeigevorrichtung, umfassend eine für dreidimensionale Darstellungen eingerichtete Anzeige und Mittel zur Erfassung von Freiraumgesten, wobei die Anzeigevorrichtung dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. A display device comprising a display arranged for three-dimensional representations and means for detecting free space gestures, wherein the display device is adapted to carry out a method according to one of the preceding claims. Fahrzeug, umfassend eine Anzeigevorrichtung nach Anspruch 8. A vehicle comprising a display device according to claim 8.
DE102015212920.9A 2015-07-10 2015-07-10 Operation of three-dimensional user interfaces Withdrawn DE102015212920A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015212920.9A DE102015212920A1 (en) 2015-07-10 2015-07-10 Operation of three-dimensional user interfaces

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015212920.9A DE102015212920A1 (en) 2015-07-10 2015-07-10 Operation of three-dimensional user interfaces

Publications (1)

Publication Number Publication Date
DE102015212920A1 true DE102015212920A1 (en) 2017-01-12

Family

ID=57584211

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015212920.9A Withdrawn DE102015212920A1 (en) 2015-07-10 2015-07-10 Operation of three-dimensional user interfaces

Country Status (1)

Country Link
DE (1) DE102015212920A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112094A1 (en) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft GESTURE RECOGNITION DEVICE FOR RECOGNIZING A GESTURE PERFORMED BY A PERSON

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120066A1 (en) * 2010-11-17 2012-05-17 Sharp Kabushiki Kaisha Instruction accepting apparatus, instruction accepting method, and recording medium
WO2013015466A1 (en) * 2011-07-25 2013-01-31 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
DE102013223518A1 (en) 2013-11-19 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Display device and method for controlling a display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120066A1 (en) * 2010-11-17 2012-05-17 Sharp Kabushiki Kaisha Instruction accepting apparatus, instruction accepting method, and recording medium
WO2013015466A1 (en) * 2011-07-25 2013-01-31 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
DE102013223518A1 (en) 2013-11-19 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Display device and method for controlling a display device

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ARGELAGUET, Ferran; ANDUJAR, Carlos. A survey of 3D object selection techniques for virtual environments. Computers & Graphics, 2013, 37. Jg., Nr. 3, S. 121-136. *
GALLO, Luigi; MINUTOLO, Aniello. A natural pointing technique for semi-immersive virtual environments. In: Proceedings of the 5th Annual International Conference on Mobile and Ubiquitous Systems: Computing, Networking, and Services. ICST (Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering), 2008. S. 15. *
REN, Gang; O'NEILL, Eamonn. 3D selection with freehand gesture. Computers & Graphics, 2013, 37. Jg., Nr. 3, S. 101-120. *
SERRAR, Zouhair, et al. Evaluation of Disambiguation Mechanisms of Object-Based Selection in Virtual Environment: Which Performances and Features to Support Pick Out?. In: Proceedings of the XV International Conference on Human Computer Interaction. ACM, 2014. S. 29. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021112094A1 (en) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft GESTURE RECOGNITION DEVICE FOR RECOGNIZING A GESTURE PERFORMED BY A PERSON

Similar Documents

Publication Publication Date Title
DE102009048043A1 (en) Multifunction display and control system and method for controlling such a system with optimized graphical operator display
WO2015121056A1 (en) Device and method for signalling a successful gesture input
EP3084561B1 (en) Operating device that can be operated without keys
DE102012020607B4 (en) A motor vehicle with a gesture control device and method for controlling a selection element
EP2269131A2 (en) Display and control device for a motor vehicle and method for operating same
EP3077892A1 (en) Motor vehicle control apparatus with touch-sensitive input panel
DE102012020164A1 (en) Operating element for a display device in a motor vehicle
DE102015212920A1 (en) Operation of three-dimensional user interfaces
DE102013021814A1 (en) Control device with eyetracker
DE102019206606A1 (en) Method for contactless interaction with a module, computer program product, module and motor vehicle
EP3347804B1 (en) Operating device with character input and delete function
DE102008062715A1 (en) Device with an input device for inputting control commands
DE102013014889A1 (en) Mouse pointer control for an operating device
EP3025214B1 (en) Method for operating an input device, and input device
DE102013019570A1 (en) Operating device with non-contact font input function for a motor vehicle, motor vehicle and method for operating an operating device
EP3426516B1 (en) Operating device and method for detecting a user selection of at least one operating function of the operating device
DE102009033061A1 (en) Method for controlling user interface to control coordination of LCD surface in vehicle, involves detecting initiated action performed in connection with button by input device and activating interaction possibility based on detected action
DE102013220830A1 (en) Input device with touch screen for vehicles
DE102014222751A1 (en) Device for vehicles for operating multi-level GUIs
DE102012216289A1 (en) Touch inputs along a threshold on a touch-sensitive surface
DE102013015227A1 (en) Operating device for a motor vehicle
EP3093182A1 (en) Means of locomotion, working machine, user interface and method for displaying the content of a first display device on a second display device
DE102014111749A1 (en) Method and device for controlling a technical device
DE102019206443A1 (en) Display device with a touch-sensitive user interface and an operating and gesture recognition device, motor vehicle with a display device, mobile terminal with a display device, and a method for operating the display device
DE102013016490A1 (en) Motor vehicle with contactless activatable handwriting connoisseur

Legal Events

Date Code Title Description
R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination