DE102017218718A1

DE102017218718A1 - Method, device and means of transport for supporting a gesture control for a virtual display

Info

Publication number: DE102017218718A1
Application number: DE102017218718.2A
Authority: DE
Inventors: Tilman Nowak; Florian Roider; Sonja Rümelin
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2017-10-19
Filing date: 2017-10-19
Publication date: 2019-04-25

Abstract

Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Fortbewegungsmittel zur Unterstützung einer Gestensteuerung für ein virtuelles Display. Das Verfahren umfasst die Schritte: Ermitteln (100) einer Hand- und/oder einer Fingerposition in einem Bedienbereich des virtuellen Displays, im Ansprechen darauf Ausgeben (200) eines optischen Hinweises auf eine für eine Bedienung geeignete Startposition, Ermitteln (300) einer Anwendergeste ausgehend von der Startposition, und Ausgeben (400) einer optischen Hilfestellung für eine Ausführung der Anwendergeste mittels des virtuellen Displays.The invention relates to a method, a device and a means of locomotion for supporting a gesture control for a virtual display. The method comprises the steps of determining (100) a hand and / or a finger position in an operating area of the virtual display, in response thereto outputting (200) an optical indication of a start position suitable for operation, determining (300) a user gesture from the start position, and outputting (400) visual assistance for executing the user gesture by the virtual display.

Description

Die Erfindung betrifft ein Verfahren, eine Vorrichtung und Fortbewegungsmittel zur Unterstützung einer Gestensteuerung für ein virtuelles Display.The invention relates to a method, a device and a means of transport for supporting a gesture control for a virtual display.

Im Automobilbereich kann die Ausgabe von Informationen mittels digitaler Displays für einen Fahrer eines Fortbewegungsmittels mittlerweile als Standard angesehen werden. Die Displays können dabei auch als Eingabeeinheiten fungieren, z.B. durch den Einsatz von berührungsempfindlichen Bildschirmen. Da für diese Form der Interaktion immer noch ein direkter Kontakt mit dem Display bzw. mit weiteren Bedienelementen notwendig ist, kommen nun virtuelle Displays zum Einsatz, die sich über eine Hand- und/oder eine Fingergeste im freien Raum steuern lassen. Die Detektion der Gesten findet im Stand der Technik über optische Sensoren statt. Zusätzlich kann einem Anwender des virtuellen Displays mit Hilfe von Ultraschallarrays ein haptisches Feedback an der steuernden Hand ausgegeben werden, z.B. in Form eines Vibrierens, falls eine Eingabe erfolgt ist. Das haptische Feedback wird im Stand der Technik mittels Ultraschall-Arrays umgesetzt, die eine gezielte Ansteuerung von Punkten bzw. Bereichen im Umfeld des Ultraschall-Arrays zulassen.In the automotive sector, the output of information by means of digital displays for a driver of a means of transport can now be regarded as standard. The displays can also act as input units, e.g. through the use of touch-sensitive screens. Since this form of interaction still requires direct contact with the display or with additional operating elements, virtual displays are now used which can be controlled by a hand and / or a finger gesture in free space. The detection of the gestures takes place in the prior art via optical sensors. In addition, a user of the virtual display can be given haptic feedback on the controlling hand with the aid of ultrasound arrays, e.g. in the form of a vibration, if an input has been made. The haptic feedback is implemented in the prior art by means of ultrasonic arrays, which allow targeted control of points or areas in the vicinity of the ultrasonic array.

Im Stand der Technik werden bestimmte Gesten, wie z.B. das Zeichnen eines Kreises durch einen Finger, ermittelt, um im Ansprechen darauf eine vorgesehene Operation auszuführen. Das erfolgreiche Ermitteln einer Geste bzw. das Betätigen eines virtuellen Bedienelements kann dabei durch eine optische Hilfestellung ausgedrückt werden, wie es z. B. in dem als „HaptoMime“ bekannten System umgesetzt ist.In the prior art certain gestures, e.g. drawing a circle by a finger, determined to perform an intended operation in response thereto. The successful determination of a gesture or the operation of a virtual control element can be expressed by an optical assistance, as it is z. B. implemented in the system known as "HaptoMime".

Dabei gibt es für den Anwender jedoch keine unmittelbare Rückmeldung, ob er eine bestimmte Geste korrekt ausführt, bzw. wie eine Geste ausgeführt werden sollte, um eine gewünschte Funktion auszulösen. Erst nach dem Ausführen einer Geste erfährt der Anwender, ob die Eingabe erfolgreich war, oder nicht. Ein ähnliches Konzept existiert bereits für zweidimensionale Displays, bei denen eine entsprechende Rückmeldung an den Anwender über den Bildschirm erfolgt.However, there is no immediate feedback to the user as to whether he is correctly executing a particular gesture or how a gesture should be executed to trigger a desired function. Only after executing a gesture, the user learns whether the input was successful or not. A similar concept already exists for two-dimensional displays in which a corresponding feedback to the user takes place via the screen.

Zudem ist der Bereich, in dem eine Gestensteuerung zuverlässig stattfinden kann, räumlich begrenzt. Für den Anwender ist es jedoch nicht immer offensichtlich, wie weit sich dieser Bereich erstreckt, bzw. wo dieser Bereich beginnt und endet. https://techcrunch.com/2017/01/03/ultrahaptics-launching/ offenbart ein Konzept, das eine ständige Rückmeldung per Ultraschall an den Anwender abgibt, solange dieser sich in diesem Bereich befindet.In addition, the area in which a gesture control can take place reliably, limited in space. For the user, however, it is not always obvious how far this area extends or where this area begins and ends. https://techcrunch.com/2017/01/03/ultrahaptics-launching/ reveals a concept that provides continuous feedback to the user via ultrasound while in the field.

Es ist eine Aufgabe der vorliegenden Erfindung, die Gestensteuerung für virtuelle Displays mittels optischer Hilfestellungen zu erweitern und die Zuverlässigkeit bei der Ermittlung von ausgeführten Gesten im Bedienbereich des virtuellen Displays zu verbessern.It is an object of the present invention to extend the gesture control for virtual displays by means of optical aids and to improve the reliability in the determination of executed gestures in the operating area of the virtual display.

Die vorstehend genannte Aufgabe wird erfindungsgemäß durch Verfahren zur Unterstützung einer Gestensteuerung für ein virtuelles Display gelöst.The above object is achieved according to the invention by methods for supporting a gesture control for a virtual display.

In einem ersten Schritt des erfindungsgemäßen Verfahrens wird eine Hand- und/oder eine Fingerposition eines Anwenders in einem Bedienbereich eines virtuellen Displays ermittelt. Der Bedienbereich entspricht dabei bevorzugt der Fläche eines virtuell im Raum dargestellten Bildes des Displays. D.h., dass im Unterschied zu einer Bedienung eines herkömmlichen 2D-Displays der Bedienbereich nicht nur durch eine horizontale und eine vertikale Ausdehnung vordefiniert bzw. begrenzt ist, sondern auch durch die räumliche Tiefe, in der das virtuelle Bild im Raum schwebend wahrgenommen wird (der dreidimensionale Raum in welchem das virtuelle Bild dargestellt wird, soll im Folgenden auch durch die Achsen eines kartesischen Koordinatensystems beschrieben werden, wobei die horizontale Ausdehnung des virtuellen Bildes der x-Achse, die vertikale Ausdehnung der y-Achse und die räumliche Tiefe der z-Achse des Koordinatensystems entspricht).In a first step of the method according to the invention, a hand and / or a finger position of a user in an operating area of a virtual display is determined. The operating area preferably corresponds to the area of an image of the display that is displayed virtually in space. That is, in contrast to an operation of a conventional 2D display, the operating area is predefined not only by a horizontal and a vertical extension, but also by the spatial depth in which the virtual image is perceived floating in space (the three-dimensional Space in which the virtual image is displayed will be described below by the axes of a Cartesian coordinate system, where the horizontal extent of the virtual image of the x-axis, the vertical extent of the y-axis and the spatial depth of the z-axis of the Coordinate system corresponds).

Zur Ermittlung der Hand- und/oder der Fingerposition im Bedienbereich des virtuellen Displays kann beispielsweise ein optischer Sensor eingesetzt werden. Der Sensor kann eine Infrarotkamera sein, die an einer geeigneten Position im Umfeld des virtuellen Displays angeordnet ist, so dass sämtliche Bedienvorgänge im Bedienbereich des Displays vollständig und verdeckungsfrei erfasst werden können. Der zu erfassende horizontale und vertikale Bedienbereich sollte wie oben beschrieben bevorzugt identisch mit der horizontalen und vertikalen Ausdehnung des virtuellen Bildes auf dessen Wahrnehmungsebene im Raum sein. Als „Wahrnehmungsebene“ sei diejenige Ebene verstanden, in welcher das virtuelle Bild erscheint. Die Erfassung des Bedienbereichs in Richtung der z-Achse ist bevorzugt so eingerichtet, dass eine zu erfassende Hand- und/oder Fingerposition nicht ausschließlich exakt auf der Wahrnehmungsebene des virtuellen Bildes erfolgen muss, sondern auch in einem vordefinierten Bereich vor bzw. hinter der Wahrnehmungsebene zulässig ist. Dies liegt darin begründet, dass ein exaktes Treffen der Wahrnehmungsebene bei einem Bedienvorgang sehr unwahrscheinlich ist, da der Anwender bei der Bedienung eines virtuellen Displays ohne weitere Hilfsmittel wie einem Ultraschall-Array keine haptische Barriere in z-Richtung vorfindet, wie es bei einem herkömmlichen 2D-Display der Fall ist. Die Positionierung beispielsweise eines Fingers auf der Bedienebene beruht daher auf einer visuellen Abschätzung des Anwenders. Durch ein Erfassen eines geeigneten vordefinierten Bereiches vor bzw. hinter der Wahrnehmungsebene (z.B. jeweils 1 cm - 4 cm) lässt sich bereits eine Annäherung an die Bedienebene vor dem eigentlichen Erreichen der Ebene erfassen und im Ansprechen darauf eine Reaktion wie das Einblenden einer optischen Hilfestellung ausführen. Die dabei durch den optischen Sensor erfassten Hand- und/oder Fingerpositionen können durch eine mit dem Sensor verbundene Auswerteeinheit ermittelt werden.To determine the hand and / or the finger position in the operating area of the virtual display, for example, an optical sensor can be used. The sensor may be an infrared camera, which is arranged at a suitable position in the vicinity of the virtual display, so that all operations in the operating area of the display can be detected completely and without occlusion. As described above, the horizontal and vertical operating region to be detected should preferably be identical to the horizontal and vertical extent of the virtual image on its perception plane in space. The "level of perception" is the level in which the virtual image appears. The detection of the operating area in the direction of the z-axis is preferably set up so that a hand and / or finger position to be detected does not have to be exclusively exactly on the perception level of the virtual image, but is also permitted in a predefined area in front of or behind the perception level is. This is due to the fact that an exact meeting of the perception level in an operating process is very unlikely, since the user finds no haptic barrier in the z direction when operating a virtual display without further aids such as an ultrasound array, as in a conventional 2D -Display is the case. The positioning of, for example, a finger on the operating level is based therefore on a visual assessment of the user. By detecting a suitable predefined area in front of or behind the level of perception (eg 1 cm - 4 cm), an approach to the operating level can be detected before the actual reaching of the plane and in response to this a reaction such as the visualization of an optical assistance , The case detected by the optical sensor hand and / or finger positions can be determined by an evaluation unit connected to the sensor.

Basierend auf den Ergebnissen der Auswerteeinheit sieht ein nächster erfindungsgemäßer Verfahrensschritt das Ausgeben eines optischen Hinweises im Ansprechen auf die ermittelte Hand- und/oder Fingerposition mittels des virtuellen Displays vor. Im Hinblick auf eine Hilfestellung bei der Bedienung des virtuellen Displays kann dieser Hinweis unterschiedliche Funktionen erfüllen.Based on the results of the evaluation unit, a next method step according to the invention provides for the output of an optical indication in response to the determined hand and / or finger position by means of the virtual display. With regard to assistance with the operation of the virtual display, this hint can fulfill different functions.

Eine erste Funktion des Hinweises kann z.B. darin bestehen, die ermittelte Fingerposition optisch zu bestätigen. Auf diese Weise wird der Anwender darüber informiert, dass die von ihm durchgeführte Anwenderaktion in Form eines Fingerzeigs im Bedienbereich des Displays durch die Auswerteeinheit korrekt ermittelt wurde. Der mittels des virtuellen Displays ausgegebene optische Hinweis kann beispielsweise in Form eines um die Position des Fingers herum dargestellten Cursors in Form eines Rings erfolgen, in dessen Mittelpunkt sich die Fingerspitze befindet. Alternativ zur Ausgabe eines Rings sind aber auch beliebige andere Formen denkbar, die eine geeignete Markierung der aktuell ermittelten Fingerposition erlauben, wie z.B. die Ausgabe eines Pfeil- oder Handsymbols. In dieser ersten Funktion des optischen Hinweises erfüllt der Hinweis somit eine klassische Cursor-Funktion, wie sie im Bereich von Computersystemen mit graphischen Benutzeroberflächen für herkömmliche 2D-Displays eingesetzt wird. Die Ausgabe des optischen Hinweises erfolgt dabei unabhängig von der Ausgabe weiterer Informationen, die im virtuellen Display zur Anzeige gebracht werden (z.B. die Anzeige eines Tastenfelds), sprich, der optische Hinweis wird als überlagerte graphische Ausgabe zur Anzeige gebracht, ohne mit evtl. darunterliegenden weiteren Displayinhalten zu interagieren. Dies kann beispielsweise durch den Einsatz eines modernen Graphikprozessors erreicht werden, der in der Lage ist, mehrere unabhängige Graphikebenen zu verwalten (z.B. eine für Standardinhalte und eine für die optischen Hinweise) und diese vor der Ausgabe der Bilddaten auf dem Display rechentechnisch zu überlagern. Bevorzugt überlagern die optischen Hinweise stets alle weiteren Ausgaben im Display um sicherzustellen, dass die die Bedienung unterstützenden Ausgaben für den Anwender stets sichtbar sind.A first function of the hint may e.g. consist in optically confirming the determined finger position. In this way, the user is informed that the user action performed by him in the form of a finger pointer in the operating area of the display has been determined correctly by the evaluation unit. The visual indication output by means of the virtual display can take place, for example, in the form of a cursor around the position of the finger in the form of a ring, in the center of which the fingertip is located. Alternatively to the output of a ring but also any other forms are conceivable that allow a suitable marking of the currently determined finger position, such. the output of an arrow or hand symbol. In this first function of the visual indication, the indication thus fulfills a classical cursor function, as used in the area of computer systems with graphical user interfaces for conventional 2D displays. The output of the optical indication takes place independently of the output of further information that is displayed in the virtual display (eg the display of a keypad), that is, the optical indication is displayed as a superimposed graphical output to display, with possibly further underlying Display content to interact. This can be accomplished, for example, by the use of a modern graphics processor capable of managing multiple independent graphics layers (e.g., one for standard content and one for optical cues) and computationally overlaying them prior to outputting the image data on the display. The optical information preferably always superimposes all further outputs in the display to ensure that the user-assisted output is always visible to the user.

In einer zweiten Funktion des optischen Hinweises kann dieser im Sinne einer Korrekturfunktion für eine Anwenderaktion eingesetzt werden. Dies kann insbesondere dann relevant sein, wenn der Anwender für die Bedienung des virtuellen Displays eine Hand- und/oder Fingerposition wählt, die sich außerhalb des Bedienbereichs befindet. Dafür kommen mehrere Ursachen in Frage wie z.B. eine Fehleinschätzung bei der Abschätzung des bedienbaren Bereichs in horizontaler und/oder vertikaler Richtung (insbesondere in den Randbereichen des virtuellen Bildes), oder eine vorgegebene Einschränkung des Bedienbereichs im Vergleich zur Größe des Anzeigebereichs des virtuellen Bildes. Um dem Anwender dennoch eine Bedienung des Displays zu ermöglichen kann der optische Hinweis beispielsweise in Form eines Ring-Cursors an einer für eine Bedienung geeigneten Position im Display ausgegeben werden, welche abweicht von der durch den Anwender außerhalb des zulässigen Bedienbereichs gewählten Hand- und/oder Fingerposition. Zu diesem Zweck kann die Auswerteeinheit zur ermittelten Hand- und/oder Fingerposition eine geeignete Cursor Position berechnen. Befindet sich die ermittelte Position beispielsweise in x-Richtung außerhalb und in y-Richtung innerhalb des Bedienbereichs, so wird der Cursor bevorzugt an einer Position im Display ausgegeben, an der die Position in y-Richtung der ermittelten Hand- und/oder Fingerposition in y-Richtung entspricht. Die Position in x-Richtung wird beispielsweise dahingehend korrigiert, dass die Cursor Position in x-Richtung an den nächstliegenden Randbereich des Bedienbereichs in x-Richtung verschoben wird. Es sind aber auch davon abweichende Algorithmen zur Korrektur der Hand- und/oder Fingerposition denkbar. Der Mittelpunkt des dargestellten Cursors kann entweder so gewählt werden, dass der Cursor am Rand des zulässigen Bedienbereichs immer vollständig zu sehen ist, oder dass der Cursor teilweise abgeschnitten wird, da der Cursor-Mittelpunkt dichter am Rand des zulässigen Bedienbereichs liegen soll. Die ermittelte Eingabeposition kann beispielsweise dadurch hervorgehoben werden, dass der Ring-Cursor an der empfohlenen Position blinkend dargestellt wird. Alternativ oder zusätzlich kann der Ring-Cursor auch zyklisch ablaufende farbliche Veränderungen oder Größenänderungen erfahren, so dass die Aufmerksamkeit des Anwenders auf die korrigierte Startposition gelenkt wird. Die am Beispiel des Ring-Cursors beschriebenen unterstützenden Hinweisfunktionen sollen dabei auch für alle weiteren als Cursor geeignet Formen gelten und sich nicht auf den Ring-Cursor beschränken.In a second function of the visual indication, this can be used in the sense of a correction function for a user action. This can be particularly relevant if the user selects a hand and / or finger position for the operation of the virtual display, which is outside the operating area. There are several causes for this, such as a misjudgment in the estimation of the operable area in the horizontal and / or vertical direction (in particular in the peripheral areas of the virtual image), or a predetermined limitation of the operating area compared to the size of the display area of the virtual image. In order to enable the user to operate the display, however, the optical indication can be output, for example, in the form of a ring cursor at a position suitable for operation in the display, which differs from the hand and / or the user selected outside the permissible operating range finger position. For this purpose, the evaluation unit can calculate a suitable cursor position for the determined hand and / or finger position. If the determined position is located, for example, in the x-direction outside and in the y-direction within the operating area, the cursor is preferably output at a position in the display at which the position in the y-direction of the determined hand and / or finger position in y Direction corresponds. The position in the x-direction is corrected, for example, in such a way that the cursor position is moved in the x-direction to the nearest edge region of the operating region in the x-direction. However, deviating algorithms for correcting the hand and / or finger position are also conceivable. The center point of the displayed cursor can either be chosen so that the cursor is always completely visible at the edge of the permissible operating area, or that the cursor is partially cut off, since the cursor center point should be closer to the edge of the permissible operating range. The determined input position can be highlighted, for example, by flashing the ring cursor at the recommended position. Alternatively or additionally, the ring cursor can also undergo cyclical color changes or size changes, so that the user's attention is directed to the corrected start position. The supporting information functions described using the example of the ring cursor should also apply to all other forms suitable as cursors and should not be limited to the ring cursor.

Eine weitere Korrekturfunktion durch einen optischen Hinweis kann sich auf eine Korrektur der Hand- und/oder Fingerposition in z-Richtung beziehen. Auch hier kann z.B. durch eine Farb- und/oder Größenänderung des Ring-Cursors angezeigt werden, ob sich der Finger oder die Hand des Anwenders im optimalen Bedienbereich befindet, mit anderen Worten auf der Wahrnehmungsebene des virtuellen Displays. Sollte sich der Finger aus Anwendersicht z.B. in einem maximal erfassbaren Abstand vor der Wahrnehmungsebene befinden, so kann der zur Fingerposition ausgegebene Cursor beispielsweise gelb eingefärbt werden. Sollte sich der Finger aus Anwendersicht in einem maximal erfassbaren Abstand hinter der Wahrnehmungsebene befinden, kann der Cursor beispielsweise blau eingefärbt werden. Positionen des Fingers zwischen den beiden maximalen Abständen können dabei durch entfernungsabhängige Mischungsverhältnisse der beiden Farben dargestellt werden, so dass ein Erreichen des optimalen Bedienbereichs in z-Richtung durch einen grün eingefärbten Cursor deutlich gemacht werden kann.A further correction function by means of an optical indication can relate to a correction of the hand and / or finger position in the z direction. Again, it can be displayed by a change in color and / or size of the ring cursor, for example, whether the finger or the hand of the User in the optimal operating area, in other words on the perception level of the virtual display. If, for example, the user's finger is in a maximum detectable distance in front of the perception plane, then the cursor issued for the finger position can be colored yellow, for example. If, from the user's point of view, the finger is located behind the perception level within a maximum detectable distance, the cursor can be colored blue, for example. Positions of the finger between the two maximum distances can be represented by distance-dependent mixing ratios of the two colors, so that a reaching of the optimal operating range in the z-direction can be made clear by a green-colored cursor.

Die zuvor beschriebenen Verfahrensschritte erlauben dem Anwender somit die Ermittlung einer optimalen Startposition für das Ausführen einer Geste im Bedienbereich des virtuellen Displays.The method steps described above thus allow the user to determine an optimal start position for executing a gesture in the operating area of the virtual display.

In einem weiteren erfindungsgemäßen Verfahrensschritt wird eine Anwendergeste ausgehend von der Startposition ermittelt. Die Geste wird dabei durch den optischen Sensor erfasst und durch die Auswerteeinheit mit Referenzen für vordefinierte Gesten abgeglichen, um die ausgeführte Geste zu identifizieren und eine damit verknüpfte Funktion aufzurufen. Die Referenzen für die vordefinierten Gesten können beispielsweise in einer an die Auswerteeinheit angebundenen Speichereinheit abgelegt sein. Um eine vollständige Geste zu ermitteln benötigt die Auswerteeinheit eine Mehrzahl an Zwischenpositionen beispielsweise eines Fingers im Bedienbereich des virtuellen Displays, um dessen Bewegungspfad ermitteln und mit den gespeicherten Referenzen abgleichen zu können. Zu diesem Zweck kann ein optischer Sensor eingesetzt werden, welcher in der Lage ist, Bilder in schneller Abfolge (beispielsweise alle 1/25 Sekunden) aufzunehmen und unmittelbar an die Auswerteinheit weiterzuleiten. Eine leistungsfähige Auswerteeinheit erlaubt eine umgehende Ermittlung der jeweils aktuellen Fingerposition. Bevorzugt stellt die Auswerteeinheit im Ansprechen darauf die jeweils aktuell ermittelte Fingerposition in Form eines Schweifes dar, welcher dem Bewegungspfad des Fingers während der Ausführung der Geste unmittelbar folgt. Ggf. kann hier der Einsatz einer Kurveninterpolation bei der Berechnung und der Darstellung des Schweifes von Vorteil sein, welche die zu diskreten Zeitpunkten ermittelten Fingerpositionen für eine verbesserte optische Darstellung interpoliert. Idealerweise folgt die Darstellung des Schweifes dem Bewegungspfad des Fingers ohne sichtbare Verzögerung bei der Ausführung der Geste. Dabei können die im vorangegangen Verfahrensschritt beschriebenen optischen Hilfestellungen bei der Darstellung des Schweifes ebenfalls zur Anwendung kommen, um dem Anwender beispielsweise während der Ausführung der Geste eine Abweichung in z-Richtung mittels einer entsprechenden farblichen Veränderung des Schweifes zu signalisieren.In a further method step according to the invention, a user gesture is determined starting from the start position. The gesture is detected by the optical sensor and matched by the evaluation unit with references for predefined gestures to identify the executed gesture and call a function associated with it. The references for the predefined gestures can be stored, for example, in a memory unit connected to the evaluation unit. In order to determine a complete gesture, the evaluation unit requires a plurality of intermediate positions, for example of a finger, in the operating area of the virtual display in order to determine its movement path and to be able to compare it with the stored references. For this purpose, an optical sensor can be used, which is capable of taking pictures in rapid succession (for example every 1/25 seconds) and forwarding them directly to the evaluation unit. A powerful evaluation unit allows an immediate determination of the current finger position. Preferably, the evaluation unit in response thereto represents the respectively currently determined finger position in the form of a tail, which immediately follows the path of movement of the finger during the execution of the gesture. Possibly. Here, the use of a curve interpolation in the calculation and the representation of the tail can be advantageous, which interpolates the finger positions determined at discrete times for an improved visual representation. Ideally, the representation of the tail follows the path of movement of the finger with no visible delay in the execution of the gesture. In this case, the optical aids described in the preceding method step in the representation of the tail can also be used to signal the user, for example during the execution of the gesture, a deviation in the z-direction by means of a corresponding color change of the tail.

Bevorzugt wird der den Bewegungspfad repräsentierende Schweif während und für eine vordefinierte Zeit nach der Ausführung der Geste im Display ausgegeben. Dies erlaubt dem Anwender den Bewegungspfad der ausgeführten Geste im Nachhinein beurteilen zu können. Evtl. Unterbrechungen in der Darstellung des Schweifes können z.B. darauf hindeuten, dass eine oder mehrere erfasste Fingerpositionen während der Ausführung der Geste außerhalb des zulässigen Erfassungsbereichs in z-Richtung lagen. Dies setzt voraus, dass ein evtl. eingesetzter Algorithmus zur Kurveninterpolation signifikante Lücken bei der Ermittlung von Fingerpositionen während der Ausführung der Geste zulässt und diese entsprechend nicht interpoliert. Auf diese Weise kann der Anwender die Durchführung seiner Gesten selbst bewerten und diese ggf. bei einer erneuten Ausführung anpassen. Ebenfalls denkbar ist die Ausgabe einer optischen Hilfestellung zur Korrektur einer durch die Auswerteeinheit nicht ermittelbaren Geste. Dies kann z.B. dann der Fall sein, wenn die ausgeführte Geste zu stark von den vordefinierten Referenzen abweicht, der Anwender bei der Ausführung der Geste versehentlich den Bedienbereich verlässt, oder die ausgeführte Geste im aktuellen Menükontext des Displayinhalts für eine Bedienung nicht vorgesehen ist.Preferably, the tail representing the path of motion is output in the display during and for a predefined time after the execution of the gesture. This allows the user to be able to judge the path of movement of the executed gesture in hindsight. Possibly. Interruptions in the appearance of the tail may e.g. indicate that one or more detected finger positions were outside the allowable detection range in the z-direction during the execution of the gesture. This assumes that a possibly used algorithm for curve interpolation permits significant gaps in the determination of finger positions during the execution of the gesture and does not interpolate accordingly. In this way, the user can evaluate the performance of his gestures and adapt them if necessary in a new execution. It is also conceivable to issue an optical aid for the correction of a gesture that can not be determined by the evaluation unit. This can e.g. then be the case, if the executed gesture deviates too much from the predefined references, the user inadvertently leaves the operating area during the execution of the gesture, or the executed gesture in the current menu context of the display content for an operation is not provided.

Für den Fall, dass die Geste aufgrund zu starker Abweichungen bzgl. der vordefinierten Referenzen nicht zuverlässig ermittelt werden kann, kann dem Anwender durch die Auswerteeinheit ein Vorschlag für eine geeignete Geste unterbreitet werden. Bevorzugt erfolgt dies ebenfalls durch die Ausgabe eines Bewegungspfades für eine Geste in Form eines Schweifes. Vorteilhaft wird dieser zeitgleich mit dem sich noch in der Anzeige befindlichen Schweif der zuvor nicht ermittelbaren Geste des Anwenders dargestellt, um dem Anwender eine bessere Vergleichsmöglichkeit zwischen seiner ausgeführten Geste und dem Idealverlauf einer zulässigen Geste zu bieten. Bevorzugt werden die Schweife der beiden Bewegungspfade zur besseren Unterscheidbarkeit in unterschiedlichen Farben und/oder Mustern dargestellt (ggf. auch teilweise transparent).In the event that the gesture can not be reliably determined due to excessive deviations with respect to the predefined references, a suggestion for a suitable gesture can be submitted to the user by the evaluation unit. This is preferably also done by issuing a motion path for a gesture in the form of a tail. Advantageously, this is displayed at the same time as the tail of the user's previously unrecognizable gesture which is still in the display, in order to offer the user a better possibility of comparison between his executed gesture and the ideal course of a permissible gesture. Preferably, the tails of the two movement paths for better distinctness in different colors and / or patterns are shown (possibly also partially transparent).

Der Bewegungspfad der vorgeschlagenen Geste umfasst dabei insbesondere eine Startposition und/oder einen Idealverlauf und/oder eine Zielposition bis zu der die Geste ausgeführt werden soll. Bevorzugt wird die Startposition der vorgeschlagenen Geste mit der ermittelten Startposition der ausgeführten Anwendergeste bei der Ausgabe im virtuellen Display zur Deckung gebracht, so dass beide Gestenverläufe von einem identischen Startpunkt aus bewertet werden können.The movement path of the proposed gesture comprises in particular a start position and / or an ideal course and / or a target position up to which the gesture is to be executed. Preferably, the starting position of the proposed gesture with the determined starting position of the executed user gesture in the output in the virtual display is made to coincide, so that both gesture profiles can be evaluated from an identical starting point.

Die Auswahl des Gestenvorschlags kann z.B. auch anhand des aktuellen Menükontextes getroffen werden. Dies setzt voraus, dass der Auswerteeinheit eine Information über das aktuelle Menü und die im Menü zulässigen Varianten an Gesten zur Verfügung steht. So kann dem Anwender nach der Durchführung einer nicht ermittelbaren Geste beispielsweise eine Geste vorgeschlagen werden, die im aktuellen Menükontext eine zentrale Funktion des Menüs bedient. Dabei ist die Ausgabe nicht beschränkt auf die Ausgabe nur eines Gestenvorschlags. Es können auch mehrere nacheinander ausgegebene Gestenvorschläge unterbreitet werden, so dass der Anwender einen Überblick über alle möglichen Gestenoptionen im aktuellen Menükontext erhält. Alternativ oder zusätzlich kann sich der Gestenvorschlag auch an der zuvor durch den Anwender ausgeführten, nicht ermittelbaren Geste orientieren. Eine Geste kann durch die Auswerteeinheit beispielsweise dann als nicht ermittelbar eingestuft werden, wenn die Abweichung des Bewegungspfades der Anwendergeste zu stark von den die zulässigen Gesten repräsentierenden vordefinierten Referenzen abweicht. Dies kann u.a. mittels des Einsatzes aus dem Stand der Technik bekannter Distanz- oder Ähnlichkeitsmaße erfolgen. Wird dabei ein bestimmtes Konfidenzmaß (also ein Maß für die Zuverlässigkeit einer Klassifizierung) nicht erreicht, so kann die Anwendergeste nicht zuverlässig einer der vordefinierten Referenzen zugeordnet werden. Dennoch besteht die Möglichkeit diejenige Referenz auszuwählen, die die geringste Abweichung zur Anwendergeste besitzt - auch wenn die erforderliche Zuverlässigkeit bei einer Klassifizierung nicht gegeben ist. Auf diese Weise kann dem Anwender ein erfindungsgemäßer Gestenvorschlag unterbreitet werden, der seiner ausgeführten Geste am ähnlichsten ist. The selection of the gesture suggestion can, for example, also be made on the basis of the current menu context. This presupposes that the evaluation unit has information about the current menu and the variants of gestures permitted in the menu. For example, after performing a non-detectable gesture, the user may be suggested a gesture that serves a central function of the menu in the current menu context. The output is not limited to the output of only one gesture suggestion. It is also possible to submit several gesture suggestions issued in succession, so that the user receives an overview of all possible gesture options in the current menu context. Alternatively or additionally, the gesture suggestion may also be based on the previously determined by the user, non-detectable gesture. A gesture can for example be classified by the evaluation unit as undetectable if the deviation of the movement path of the user gesture deviates too much from the predefined references representing the permissible gestures. This can be done inter alia by means of the use of known from the prior art distance or similarity measures. If a specific confidence measure (ie a measure of the reliability of a classification) is not achieved, then the user gesture can not be reliably assigned to one of the predefined references. Nevertheless, it is possible to select the reference which has the least deviation from the user gesture - even if the required reliability in a classification is not given. In this way, the user can be presented with an inventive gesture suggestion, which is most similar to his executed gesture.

In einer weiteren vorteilhaften Ausgestaltung kann die vom Anwender auszuführende Geste bereits vor und/oder während der Durchführung der Geste prädiziert werden. Die Auswerteeinheit kann zum Zwecke der Prädiktion der Geste beispielsweise Informationen über deren Startposition, die Nähe der Startposition zu einer dargestellten Schaltfläche oder zu den Randbereichen des Displays und Informationen über den aktuellen Menükontext heranziehen, um diejenige vordefinierte Referenz für eine Geste zu ermitteln, die auf Basis dieser Informationen am wahrscheinlichsten ausgeführt werden soll. Die so ermittelte voraussichtliche Geste kann z.B. bereits direkt nach der Ermittlung der Startposition in Form eines als Schweif dargestellten Bewegungspfades im virtuellen Display ausgegeben werden, also bereits vor der eigentlichen Ausführung der Geste. Alternativ kann die Ausgabe der prädizierten Geste auch erst im Zuge der Ausführung der Anwendergeste zur Anzeige gebracht werden, um den Anwender bei deren Ausführung zu unterstützen. Bevorzugt werden durch die Auswerteeinheit vor der Ausführung einer Anwendergeste alle von der aktuellen Startposition ausgehenden, zulässigen Gesten ermittelt und nach der Wahrscheinlichkeit ihrer Ausführung sortiert. Auf diese Weise kann die Auswerteinheit nach der Ermittlung der Startposition und vor der Ausführung der Geste die Gesamtzahl an möglichen vordefinierten Gesten bereits auf eine möglichst kleine Auswahl an Gesten reduzieren. Im Zuge der Ausführung einer Anwendergeste kann die Auswerteinheit zu unterschiedlichen Zeitpunkten den bereits zurückgelegten Bewegungspfad des Fingers ermitteln und permanent mit der Auswahl an zulässigen Gesten abgleichen. Auf diese Weise kann beispielsweise in Echtzeit die jeweils ähnlichste vordefinierte Geste durch die Auswerteeinheit ermittelt und zur Anzeige gebracht werden, um den Anwender bei der Fertigstellung der ausgeführten Geste zu unterstützen. Ggf. kann es erforderlich sein, die ermittelte vordefinierte Geste im Zuge der Ausführung der Anwendergeste durch eine ähnlichere Geste zu ersetzen, sofern ermittelt wird, dass die prädizierte Geste nicht mit der tatsächlichen Anwendergeste übereinstimmt.In a further advantageous embodiment, the gesture to be executed by the user can already be predicted before and / or during the execution of the gesture. For the purpose of predicting the gesture, the evaluation unit may, for example, use information about its start position, the proximity of the start position to a displayed button or to the border areas of the display, and information about the current menu context in order to determine the predefined reference for a gesture based on this information is most likely to be executed. The prospective gesture thus determined may e.g. Already directly after the determination of the start position in the form of a movement path shown as a tail in the virtual display are issued, so even before the actual execution of the gesture. Alternatively, the output of the predicted gesture may be displayed only in the course of executing the user gesture to assist the user in its execution. The evaluation unit preferably determines all permissible gestures emanating from the current start position before the execution of a user gesture and sorts them according to the probability of their execution. In this way, after the determination of the start position and before the execution of the gesture, the evaluation unit can already reduce the total number of possible predefined gestures to the smallest possible selection of gestures. In the course of the execution of a user gesture, the evaluation unit can determine the already traversed movement path of the finger at different times and adjust it permanently with the selection of permissible gestures. In this way, for example, the respective most similar predefined gesture can be determined and displayed by the evaluation unit in real time in order to assist the user in completing the executed gesture. Possibly. It may be necessary to replace the determined predefined gesture with a more similar gesture in the course of executing the user gesture, if it is determined that the predicted gesture does not match the actual user gesture.

Die Prädiktion der Anwendergeste lässt sich beispielsweise durch eine Einschränkung der Anzahl der zulässigen vordefinierten Gesten optimieren. Für den Fall, dass beispielsweise nur Wischgesten für die Bedienung des virtuellen Displays vorgesehen sind, kann alleine durch die Auswertung der Startposition bereits eine hohe Zuverlässigkeit in Bezug auf die voraussichtliche Bewegungsrichtung der Anwendergeste erzielt werden. Eine Startposition am linken Rand des virtuellen Displays lässt beispielsweise auf eine anschließende Bewegung des Fingers in Richtung des rechten Rands des Displays schließen.The prediction of the user gesture can be optimized, for example, by limiting the number of permissible predefined gestures. In the event that, for example, only swipe gestures are provided for the operation of the virtual display, a high degree of reliability with respect to the probable direction of movement of the user gesture can already be achieved by evaluating the start position alone. For example, a start position on the left edge of the virtual display indicates a subsequent movement of the finger toward the right edge of the display.

In einer weiteren vorteilhaften Ausgestaltung kann der im virtuellen Display ausgegebene Bewegungspfad einer Geste in Form eines Schweifes durch dynamische Farbveränderungen eine weitere Unterstützung bei der Ausführung einer Anwendergeste bieten. Dies kann beispielsweise so ausgestaltet sein, dass ein im Zuge der Gestenausführung angezeigter Schweif an der jeweils aktuellen Fingerposition seine Farbe ändert, wenn die Geste z.B. mit einer für die Ermittlung nicht optimalen Geschwindigkeit ausgeführt wird. So kann der Schweif bei einer im optimalen Bereich liegenden Ausführungsgeschwindigkeit z.B. grün dargestellt werden und z.B. nach rot wechseln, wenn sich die Geschwindigkeit während der Gestenausführung zu stark erhöhen sollte. Bevorzugt wird dabei kein abrupter Farbwechsel durchgeführt, sondern ein Farbübergang mittels eines Farbverlaufs dargestellt. Alternativ oder zusätzlich kann durch eine dynamische Farbänderung des Schweifes aber auch angezeigt werden, wie weit eine Geste noch ausgeführt werden muss, bis sie von der Auswerteeinheit als vollständig abgeschlossene Geste akzeptiert wird.In a further advantageous embodiment, the movement path output in the virtual display of a gesture in the form of a tail can offer further support in the execution of a user gesture by means of dynamic color changes. This can be designed, for example, such that a tail displayed in the course of gesture execution changes its color at the respectively current finger position if the gesture is e.g. is performed at a speed not optimal for the determination. Thus, the tail can be at an optimum speed, e.g. shown in green and e.g. switch to red if the speed should increase too much during gesture execution. Preferably, no abrupt color change is performed, but a color transition is represented by means of a color gradient. Alternatively or additionally, however, a dynamic color change of the tail may also indicate how far a gesture still has to be executed until it is accepted by the evaluation unit as a completely completed gesture.

Dies soll am Beispiel einer Wischgeste erläutert werden, deren Startposition am linken Rand des Bedienbereichs des virtuellen Displays liegt und deren Zielposition in Richtung des rechten Randes des Bedienbereichs liegt. Der in Echtzeit ausgegebene Schweif des Bewegungspfades der Anwendergeste kann beispielsweise im Bereich der Startposition der Geste in einer ersten vordefinierten Farbe und im Bereich der Zielposition in einer zweiten, von der ersten Farbe abweichenden vordefinierten Farbe dargestellt werden. Die Bereiche des Schweifes zwischen der Start- und der Zielposition werden in Abhängigkeit der Entfernung zur Start- und zur Zielposition durch unterschiedliche Mischfarben aus der ersten und der zweiten Farbe dargestellt, so dass der Schweif über seine gesamte Länge betrachtet einen durchgehenden Farbverlauf von der ersten bis zur zweiten Farbe umfasst. This will be explained using the example of a swipe gesture whose start position lies on the left edge of the operating area of the virtual display and whose target position is in the direction of the right edge of the operating area. The tail of the movement path of the user gesture output in real time can, for example, be displayed in the region of the start position of the gesture in a first predefined color and in the region of the target position in a second predefined color deviating from the first color. The regions of the tail between the start and the target position are represented by different mixed colors of the first and the second color depending on the distance to the start and the target position, so that the tail over its entire length considered a continuous color gradient from the first to to the second color.

Weiterhin kann das erfindungsgemäße Verfahren eine vordefinierte Mindestausführungslänge einer Geste voraussetzen. Mit anderen Worten, die Strecke, die beispielsweise durch einen Finger des Anwenders bei der Ausführung der Geste auf der Bedienebene überstrichen wird, muss eine vordefinierte Mindestlänge erreichen, damit eine an die Geste gekoppelte Funktion durch die Auswerteeinheit ausgeführt und/oder ausgelöst wird. Auf diese Weise kann sichergestellt werden, dass z.B. eine versehentliche Handbewegung im Bedienbereich des virtuellen Displays nicht unmittelbar als Anwendergeste interpretiert wird und zu einer unerwünschten Funktionsauslösung führt.Furthermore, the inventive method may require a predefined minimum execution length of a gesture. In other words, the route, which is covered, for example, by a user's finger during the execution of the gesture on the operating level, must reach a predefined minimum length so that a function coupled to the gesture is executed and / or triggered by the evaluation unit. In this way it can be ensured that e.g. an inadvertent hand movement in the operating area of the virtual display is not interpreted directly as a user gesture and leads to an undesired function triggering.

Die Kombination der oben genannten Merkmale (Darstellung eines Farbverlaufs zwischen Start- und Zielposition und Erreichen einer Mindestausführungslänge der Geste) lässt sich insbesondere im Zusammenhang mit einer Wischgeste vorteilhaft einsetzen. So kann der Schweif an der Startposition der Wischgeste beispielsweise gelb eingefärbt werden. Die vordefinierte Mindestausführungslänge der Geste beträgt z.B. 10 cm. Beim Erreichen eines Punktes, bei dem die Mindestlänge der Geste ausgeführt wurde, kann der Schweif rot eingefärbt werden. Bis zum Erreichen dieses Punktes wird der Schweif wie oben beschrieben durch eine Mischfarbe aus der Farbe der Startposition und der Farbe der Endposition dargestellt. Anhand des sich verändernden Farbverlaufs des Schweifes während der Ausführung der Geste kann der Anwender bewerten, ob die Geste bereits in der erforderlichen Mindestlänge ausgeführt wurde, oder einer weiteren Ausführung bedarf.The combination of the above-mentioned features (representation of a color gradient between start and target position and achievement of a minimum execution length of the gesture) can be advantageously used in particular in connection with a swipe gesture. For example, the tail at the start position of the swipe gesture can be dyed yellow. The predefined minimum execution length of the gesture is e.g. 10 centimeters. When reaching a point where the minimum length of the gesture has been performed, the tail can be dyed red. Until reaching this point, the tail is represented as described above by a mixed color of the color of the start position and the color of the end position. Based on the changing color gradient of the tail during the execution of the gesture, the user can evaluate whether the gesture has already been carried out in the required minimum length, or requires further execution.

Eine Weiterbildung der Erfindung sieht vor, die oben beschriebenen Verfahrensschritte zur Bedienung des virtuellen Displays um eine Mehrfingergestensteuerung zu erweitern. D.h., dass die Auswerteeinheit eingerichtet ist, mehr als nur eine Fingerposition zeitgleich anhand der Bilder des optischen Sensors zu ermitteln und im Ansprechen darauf eine der Mehrfingergeste zugeordnete Funktion auszuführen und/oder auszulösen. Auf diese Weise können auch komplexe Gesten im Zusammenhang mit dem virtuellen Display ermöglicht werden. Darüber hinaus kann die Mehrfingergestensteuerung mittels der Auswerteeinheit eine Cursor- und/oder Schweifdarstellung für jeden ermittelten Finger umfassen.A development of the invention provides to expand the method steps described above for operating the virtual display by a Mehrfingergestensteuerung. In other words, the evaluation unit is set up to determine more than one finger position at the same time based on the images of the optical sensor and to execute and / or trigger a function associated with the multi-finger gesture in response thereto. In this way, even complex gestures in connection with the virtual display can be made possible. In addition, the multi-finger gesture control by means of the evaluation unit may include a cursor and / or tail representation for each detected finger.

In einer weiteren vorteilhaften Ausgestaltung können horizontale und/oder vertikale Orientierungsbalken im virtuellen Display als zusätzliche Hilfestellung für die Gestensteuerung ausgegeben werden. Bevorzugt werden diese in der Nähe der Randbereiche des Displays dargestellt. Wie die zuvor beschriebenen optischen Hilfestellungen können auch die Orientierungsbalken unabhängig von weiteren, auf dem Display dargestellten Inhalten als überlagerte Graphiken ausgegeben werden. Durch die Länge der Orientierungsbalken kann der für eine Gestenbedienung zulässige Bedienbereich eingeschränkt werden. Die Darstellung eines horizontalen Orientierungsbalkens, z.B. am oberen Rand des Displays, welcher kleiner ist, als die horizontale Ausdehnung des virtuellen Bildes, zeigt dadurch eine Einschränkung des Bedienbereichs in horizontaler Richtung an. Alternativ oder zusätzlich kann der Bedienbereich mittels eines vertikalen Orientierungsbalkens auch in vertikaler Richtung eingeschränkt werden. Die Einschränkung des Bedienbereichs des virtuellen Displays mittels eines Orientierungsbalkens kann insbesondere bei der Ansteuerung eines zweiten Displays durch die Eingaben im Bedienbereich des virtuellen Displays von Vorteil sein. Das zweite Display kann beispielsweise ein herkömmliches 2D Display sein, welches ggf. keine eigene Eingabemöglichkeit besitzt. Im Zusammenhang mit einem Fortbewegungsmittel kann das virtuelle Display z.B. als Bedien- und Anzeigeeinheit in der Mittelkonsole des Fortbewegungsmittels angeordnet sein, um u.a. ein zweites Display, welches die Funktion eines Head-Up-Displays hat, anzusteuern. Hier kann es sinnvoll sein, den Bedienbereich der Gestensteuerung des virtuellen Displays an die Ausdehnung und/oder das Seitenverhältnis des zweiten Displays anzupassen, indem dieser durch einen Orientierungsbalken eingeschränkt wird.In a further advantageous embodiment, horizontal and / or vertical orientation bars can be output in the virtual display as additional assistance for the gesture control. Preferably, these are shown in the vicinity of the edge regions of the display. Like the optical aids described above, the orientation bars can also be output as superimposed graphics, independently of other contents shown on the display. The length of the orientation bars can be used to restrict the operating range permitted for gesture operation. The representation of a horizontal orientation bar, e.g. at the upper edge of the display, which is smaller than the horizontal extent of the virtual image, thereby indicating a restriction of the operating area in the horizontal direction. Alternatively or additionally, the operating area can also be restricted in the vertical direction by means of a vertical orientation bar. The restriction of the operating range of the virtual display by means of an orientation bar can be advantageous, in particular, in the triggering of a second display by the inputs in the operating area of the virtual display. The second display may for example be a conventional 2D display, which may not have its own input option. In connection with a means of transportation, the virtual display may e.g. be arranged as a control and display unit in the center console of the means of locomotion to u.a. a second display, which has the function of a head-up display, to control. Here, it may be useful to adjust the operating range of the gesture control of the virtual display to the extent and / or the aspect ratio of the second display by this is limited by an orientation bar.

Neben der Möglichkeit die optischen Hilfestellungen in einem Standardbetrieb des virtuellen Displays und der Auswerteeinheit auszugeben, ist alternativ oder zusätzlich ein separater Lernmodus denkbar, der durch den Anwender nach Bedarf aktiviert und deaktiviert werden kann, um mittels der optischen Hilfestellungen die Gestensteuerung für das virtuelle Display zu erlernen oder zu optimieren. Zu diesem Zweck können bei aktiviertem Lernmodus beispielsweise sämtliche zulässige Gesten mittels der optischen Hilfestellungen präsentiert und durch den Anwender nachvollzogen werden. Die Ausführung der zulässigen Gesten kann im Lernmodus durch die Ausgabe weiterer Informationen im virtuellen Display vorteilhaft unterstützt werden.In addition to the possibility of outputting the optical aids in a standard operation of the virtual display and the evaluation, a separate learning mode is alternatively or additionally conceivable, which can be activated and deactivated by the user as needed to the gesture control for the virtual display by means of optical assistance learn or optimize. For this purpose, when the learning mode is activated, for example, all permissible gestures can be presented by means of the optical aids and reproduced by the user. The execution of the permissible gestures can be in learning mode be supported by the output of additional information in the virtual display advantageous.

Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zur Unterstützung einer Gestensteuerung für ein virtuelles Display vorgeschlagen. Die Vorrichtung umfasst eine Auswerteeinheit, die z.B. einen Prozessor umfasst, welcher eingerichtet ist, die erfindungsgemäßen Verfahrensschritte auszuführen. Weiterhin umfasst die Vorrichtung einen Dateneingang, welcher eingerichtet ist, eine Hand- und/oder eine Fingerposition mittels eines optischen Sensors wie einer Infrarotkamera in einem Bedienbereich eines virtuellen Displays zu ermitteln und eine Anwendergeste ausgehend von einer Startposition zu ermitteln. Des Weiteren umfasst die Auswerteinheit einen Datenausgang und ist eingerichtet, in Verbindung mit dem Datenausgang eine optische Hilfestellung für eine Ausführung der Anwendergeste mittels des virtuellen Displays auszugeben.According to a second aspect of the present invention, a device for supporting a gesture control for a virtual display is proposed. The device comprises an evaluation unit, which is e.g. a processor which is set up to carry out the method steps according to the invention. Furthermore, the device comprises a data input which is set up to determine a hand and / or a finger position by means of an optical sensor such as an infrared camera in an operating area of a virtual display and to determine a user gesture starting from a start position. Furthermore, the evaluation unit comprises a data output and is set up to output, in conjunction with the data output, an optical aid for executing the user gesture by means of the virtual display.

Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Fortbewegungsmittel vorgeschlagen, welches eine Vorrichtung gemäß dem zweitgenannten Erfindungsaspekt umfasst. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erst- und zweitgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird.According to a third aspect of the present invention, there is proposed a means of transportation comprising a device according to the second aspect of the invention. The features, combinations of features as well as the advantages resulting therefrom correspond to those embodied in connection with the first and second aspects of the invention so apparent that reference is made to the above statements to avoid repetition.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:

1 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
2 eine schematische Übersicht über Komponenten eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung in Verbindung mit einem virtuellen Display;
3 ein Beispiel für eine Bedienung eines virtuellen Displays zur Festlegung einer Startposition; und
4 ein Beispiel für eine Bedienung eines virtuellen Displays zur Ausführung einer Anwendergeste in Verbindung mit einer Orientierungshilfe in Form eines Orientierungsbalkens.

Further details, features and advantages of the invention will become apparent from the following description and the figures. Show it:

1 a flowchart illustrating steps of an embodiment of a method according to the invention;
2 a schematic overview of components of an embodiment of a device according to the invention in conjunction with a virtual display;
3 an example of an operation of a virtual display for determining a start position; and
4 an example of an operation of a virtual display to perform a user gesture in conjunction with an orientation aid in the form of an orientation bar.

1 zeigt Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens, welches beispielsweise anhand des in 2 gezeigten Ausführungsbeispiels durchgeführt werden kann. Dabei wird in Schritt 100 eine Hand- und/oder eine Fingerposition 30 in einem Bedienbereich 24, 26, 28 des virtuellen Displays 20 mittels eines optischen Sensors 40 erfasst. Die Signale des Sensors 40 werden von einer Auswerteeinheit 10 empfangen und mittels geeigneter Algorithmen zur Bildanalyse in einem Prozessor der Auswerteeinheit 10 ausgewertet. Im Ansprechen darauf wird mittels der Auswerteeinheit 10 in Schritt 200 ein Cursor 32 in Form eines Ringes an einer als Startposition 34 geeigneten Position im virtuellen Display 20 ausgegeben. In Schritt 300 wird mittels des optischen Sensors 40 eine Anwendergeste 60 erfasst, die mittels der Auswerteinheit 10 durch geeignete Algorithmen zur Bildanalyse ausgewertet wird. Die sich aus der Auswertung der Anwendergeste 60 ergebenden Informationen werden mit vordefinierten Referenzen für zulässige Gesten aus einer Speichereinheit 16 abgeglichen, um die ausgeführte Anwendergeste 60 zu ermitteln. In Schritt 400 wird als Bestätigung der Anwendergeste diejenige vordefinierte Geste im virtuellen Display 20 ausgegeben, die beim Abgleich mit der ausgeführten Anwendergeste 60 die größte Übereinstimmung ergibt. Die vordefinierte Geste wird dabei in Form eines Schweifes, welcher den idealen Bewegungspfad 35 der Geste beschreibt, im virtuellen Display 20 dargestellt. 1 shows steps of an embodiment of a method according to the invention, which, for example, based on the in 2 shown embodiment can be performed. This is in step 100 a hand and / or a finger position 30 in an operating area 24 . 26 . 28 of the virtual display 20 by means of an optical sensor 40 detected. The signals of the sensor 40 be from an evaluation unit 10 received and by means of suitable algorithms for image analysis in a processor of the evaluation 10 evaluated. In response to this is by means of the evaluation 10 in step 200 a cursor 32 in the form of a ring on a starting position 34 suitable position in the virtual display 20 output. In step 300 is by means of the optical sensor 40 a user gesture 60 recorded by means of the evaluation unit 10 is evaluated by suitable algorithms for image analysis. The result of the evaluation of the user gesture 60 resulting information is provided with predefined allowable gesture references from a storage unit 16 adjusted to the executed user gesture 60 to investigate. In step 400 the user gesture becomes the predefined gesture in the virtual display 20 output when comparing with the executed user gesture 60 the largest match results. The predefined gesture is in the form of a tail, which is the ideal path of movement 35 the gesture describes, in the virtual display 20 shown.

2 zeigt eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung in Verbindung mit einem virtuellen Display 20. Die Vorrichtung umfasst eine Auswerteeinheit 10, welche über einen Dateneingang 12 mit einem optischen Sensor 40 in Form einer Infrarotkamera zur Erfassung einer Hand- und/oder einer Fingerposition 30 und/oder einer Anwendergeste 60 im Bedienbereich 24, 26, 28 des virtuellen Displays verbunden ist. Weiterhin umfasst die Auswerteeinheit 10 einen Datenausgang 14, welcher eingerichtet ist, eine Displayeinheit 22 des virtuellen Displays 20 anzusteuern. Darüber hinaus ist die Auswerteeinheit 10 mit einer Speichereinheit verbunden, in welcher Referenzen für vordefinierte Gesten abgelegt sind. Weiterhin ist der Datenausgang 14 der Auswerteeinheit 10 an ein Ultraschall-Array 50 gekoppelt, welches eingerichtet ist, einem Anwender mittels Ultraschallwellen eine haptische Rückmeldung über einen Eintritt bzw. ein Verlassen des Bedienbereichs 24, 26, 28 des virtuellen Displays 20 auszugeben. Die ideale Position für eine Hand- und/oder einer Fingerposition 30 und/oder Anwendergeste 60 ist dabei die Wahrnehmungsebene des virtuellen Bildes 25. 2 shows a schematic overview of components of a device according to the invention in conjunction with a virtual display 20 , The device comprises an evaluation unit 10 which have a data input 12 with an optical sensor 40 in the form of an infrared camera for detecting a hand and / or a finger position 30 and / or a user gesture 60 in the operating area 24 . 26 . 28 connected to the virtual display. Furthermore, the evaluation unit comprises 10 a data output 14 , which is set up, a display unit 22 of the virtual display 20 driving. In addition, the evaluation unit 10 connected to a storage unit in which references for predefined gestures are stored. Furthermore, the data output 14 the evaluation unit 10 to an ultrasound array 50 coupled, which is adapted to a user by means of ultrasonic waves haptic feedback on an entry or exit the operating area 24 . 26 . 28 of the virtual display 20 issue. The ideal position for a hand and / or a finger position 30 and / or user gesture 60 is the level of perception of the virtual image 25 ,

3 zeigt ein Beispiel für eine Bedienung eines virtuellen Displays 20 zur Festlegung einer Startposition 34 für die Ausführung einer Anwendergeste 30. Ein Anwender wählt im Zuge einer Bedienung des virtuellen Displays 20 eine Hand- und/oder einer Fingerposition 30 außerhalb eines zulässigen Bedienbereichs. Der zulässige Bedienbereich entspricht in diesem Fall der Position und der Ausdehnung des virtuellen Bildes 25 im Raum. 3 shows an example of an operation of a virtual display 20 for determining a starting position 34 for the execution of a user gesture 30 , A user selects during operation of the virtual display 20 a hand and / or a finger position 30 outside a permissible operating range. The permissible operating range in this case corresponds to the position and the extent of the virtual image 25 in the room.

Mittels der Auswerteeinheit 10 wird eine für die Ausführung einer Anwendergeste 60 geeignete Startposition 34 innerhalb des zulässigen Bedienbereichs 24, 26, 28 ermittelt. Diese wird in Form eines Cursors 32 in Ringform im virtuellen Display 20 ausgegeben, so dass der Anwender seine Hand- und/oder eine Fingerposition 30 entsprechend korrigieren kann.By means of the evaluation unit 10 becomes one for the execution of a user gesture 60 suitable starting position 34 within the permissible operating range 24 . 26 . 28 determined. This is in the form of a cursor 32 in ring form in the virtual display 20 issued, allowing the user his hand and / or a finger position 30 Correct accordingly.

4 zeigt ein Beispiel für eine Bedienung eines virtuellen Displays 20 zur Ausführung einer Anwendergeste 60 in Verbindung mit einer Orientierungshilfe in Form eines Orientierungsbalkens 38. Mittels des Orientierungsbalkens 38 wird einem Anwender des virtuellen Displays 20 eine horizontale Begrenzung 28 des Bedienbereichs 24, 26 angezeigt. D.h., dass nicht die vollständige Fläche des virtuellen Bildes 25 für eine Eingabe einer Anwendergeste 60 zur Verfügung steht. Die Startposition 34, der Bewegungspfad 35 und die Zielposition 36 der Anwendergeste 60 müssen für eine Auswertbarkeit durch die Auswerteeinheit 10 somit innerhalb der horizontalen Begrenzung des Bedienbereichs 28 liegen. 4 shows an example of an operation of a virtual display 20 to execute a user gesture 60 in conjunction with an orientation aid in the form of an orientation bar 38 , By means of the orientation bar 38 becomes a user of the virtual display 20 a horizontal boundary 28 of the operating area 24 . 26 displayed. That is, not the full area of the virtual image 25 for an input of a user gesture 60 is available. The starting position 34 , the motion path 35 and the target position 36 the user gesture 60 must be evaluated by the evaluation unit 10 thus within the horizontal boundary of the operating area 28 lie.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Auswerteeinheitevaluation
1212: Dateneingangdata input
1414: Datenausgangdata output
1616: Speichereinheitstorage unit
2020: Virtuelles DisplayVirtual display
2222: Displayeinheitdisplay unit
2424: Begrenzung des BedienbereichsLimitation of the operating area
2525: Virtuelles BildVirtual picture
2626: Begrenzung des BedienbereichsLimitation of the operating area
2828: Begrenzung des BedienbereichsLimitation of the operating area
3030: Hand- und/oder FingerpositionHand and / or finger position
3232: Cursorcursor
3434: Startpositionstarting position
3535: Bewegungspfadmotion path
3636: Zielpositiontarget position
3838: Orientierungsbalkenorientation bar
4040: Optischer SensorOptical sensor
5050: Ultraschall-ArrayUltrasonic array
6060: Anwendergesteuser gesture
100-400100-400: Verfahrensschrittesteps

Claims

A method for supporting a gesture control for a virtual display (20) comprising the steps • determining (100) a hand and / or a finger position (30) in an operating area (24, 26, 28) of the virtual display (20) in response thereto Outputting (200) an optical indication (32) to a start position (34) suitable for operation, Determining (300) a user gesture (60) from the start position (34), and • Outputting (400) an optical aid (38) for executing the user gesture (60) by means of the virtual display (20).

Method according to Claim 1 wherein determining the user gesture (60) comprises prediction of the gesture (60) prior to execution thereof.

The method of any preceding claim, wherein the user gesture (60) is a swipe gesture.

Method according to one of the preceding claims, wherein the optical assistance (38) for executing the user gesture (60) outputting the start position (34) and / or an ideal course and / or a target position (36) of the gesture (60) in the virtual display ( 20).

Method according to one of the preceding claims, wherein the optical assistance (38) for executing the user gesture (60) comprises color changes for specifying a temporal and / or local course of the gesture (60).

Method according to one of the preceding claims, wherein the user gesture (60) is a multi-finger gesture, in particular a multi-finger swipe gesture.

Method according to one of the preceding claims further comprising outputting at least one orientation bar (38) in the virtual display (20) for identifying a preferred and / or permissible operating area (24, 26).

Method according to one of the preceding claims, wherein the user gesture (60) executed in the operating area (24, 26, 28) of the virtual display (20) serves as an input for operating a second display.

Method according to one of the preceding claims, wherein the method steps are carried out within a learning mode for the operation of the virtual display (20).

Method according to one of the preceding claims, wherein the visual aid for executing the user gesture (60) is displayed independently of other outputs.

Device for supporting a gesture control for a virtual display (20) A data input (12), • an evaluation unit (10), and A data output (14), wherein the evaluation unit (10) is set up, • in connection with the data input (12) ◯ a hand and / or a finger position (30) in an operating area (24, 26, 28) of a virtual display (20) to determine ◯ determine a user gesture (60) starting from a start position (34), and • output in conjunction with the data output (14) an optical assistance (38) for execution of the user gesture (60) by means of the virtual display (20).

Means of transport comprising a device according to Claim 11 ,