DE102015012720A1

DE102015012720A1 - Interactive operator system and method for performing an operator action in an interactive operator system

Info

Publication number: DE102015012720A1
Application number: DE102015012720.9A
Authority: DE
Inventors: Paul Sprickmann Kerkerinck
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2015-10-01
Filing date: 2015-10-01
Publication date: 2017-04-06
Also published as: WO2017054894A1

Abstract

Die vorliegende Erfindung betrifft ein interaktives Bediensystem mit einer Sensoreinrichtung zur Erfassung von Bilddaten, einer Auswertungseinrichtung für die Bilddaten, einer Anzeigeeinrichtung mit einer Anzeigefläche (1) und einer Steuerungseinrichtung, wobei die Auswertungseinrichtung dazu eingerichtet ist, Bilddaten dahin auszuwerten, ob eine erfasste Hand eine Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass ein Cursor-Symbol (2) in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche (1) angezeigt wird, und dass bei einer derartigen Geste die Größe des in oder auf der Anzeigefläche (1) angezeigten Cursor-Symbols (2) derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.The present invention relates to an interactive operating system having a sensor device for acquiring image data, an evaluation device for the image data, a display device having a display surface (1) and a control device, wherein the evaluation device is configured to evaluate image data to determine whether a detected hand is a gesture in which at least two fingers of the hand move toward each other from a first, greater distance to a second, smaller distance, and the control device is arranged to control the display device such that a cursor symbol (2) in the form of a in such a gesture, the size of the cursor symbol (2) displayed in or on the display surface (1) is changed so that the surface enclosed by the closed curve or the edges of the polygon e is reduced from a first, larger area to a second, smaller area.

Description

Die vorliegende Erfindung betrifft ein interaktives Bediensystem mit den Merkmalen gemäß Anspruch 1 sowie ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem mit den Merkmalen gemäß Anspruch 9.The present invention relates to an interactive operating system with the features according to claim 1 and to a method for performing an operating action in an interactive operating system with the features according to claim 9.

Aus dem Bereich der Computertechnologie und Unterhaltungselektronik ist seit längerem eine Bedienung von Hard- und Software mittels freier, d. h. im Raum von einem menschlichen Gliedmaß (Finger, Hand, Hände, Arm, Arme) oder dem Kopf durchgeführter Gesten bekannt.From the field of computer technology and consumer electronics has long been an operation of hardware and software by means of free, d. H. known in space by a human limb (finger, hand, hands, arm, arms) or the head made gestures.

So beschreibt bspw. die DE 10 2013 207 528 A1 ein Verfahren zum Interagieren mit einem Objekt, das einem Benutzer durch eine Datenbrille angezeigt wird, umfassend: Anzeigen eines Objekts für den Benutzer mithilfe der Anzeige der Datenbrille; Erfassen, dass der Benutzer sein erstes Auge schließt und während einer vorgegebenen Zeitspanne geschlossen hält, insbesondere mithilfe einer ersten Kamera, die das Auge des Benutzers aufnimmt; Aufnehmen einer Hand des Benutzers; insbesondere mithilfe einer zweiten Kamera; Bestimmen, dass der Benutzer eine Eingabehandlung für das Objekt während der Zeitspanne vornimmt; wobei die Eingabehandlung darin besteht, dass die Hand des Benutzers eine Haltung und, aus der Perspektive des zweiten Auges des Benutzers in Bezug auf das Objekt, eine Position einnimmt, die einer vorbestimmten Bedingung genügen; Ausführen einer Aktion in Bezug auf das Objekt, wobei die Aktion der Eingabehandlung vorab zugeordnet ist.For example, describes the DE 10 2013 207 528 A1 a method of interacting with an object displayed to a user through data glasses, comprising: displaying an object to the user using the display of the data glasses; Detecting that the user closes his first eye and keeps it closed for a predetermined period of time, in particular using a first camera that captures the user's eye; Picking up a hand of the user; especially with the help of a second camera; Determining that the user performs an input manipulation on the object during the time period; wherein the inputting action is that the user's hand assumes a posture and, from the perspective of the second eye of the user with respect to the object, a position that satisfies a predetermined condition; Performing an action on the object with the action pre-assigned to the input action.

Auch sind erste Ansätze dahin bekannt, eine Bedienmöglichkeit mittels freier Gesten für Einrichtungen in einem Fahrzeug vorzusehen.Also, first approaches are known to provide an operating option by means of free gestures for facilities in a vehicle.

So ist bspw. aus der DE 10 2013 215 370 A1 eine Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug mit einem Head-up-Display bekannt, durch das einer Bedienperson Informationen auf einer von dieser aus gesehen in Vorwärts-Fahrtrichtung angeordneten Bildfläche angezeigt werden, sowie mit einer Bedieneinrichtung, die eine Eingabeeinrichtung und eine Rückmeldeeinrichtung aufweist, wobei auf dem Head-up-Display wenigstens zwei Klassen von Anzeigeobjekten dargestellt oder bezeichnet werden, wobei wenigstens diese zwei Klassen von Anzeigeobjekten durch verschiedene Klassen von Bedienbefehlen oder Folgen von Bedienbefehlen adressiert werden. In dem Head-up-Display wird ein Rückmeldesymbol (Cursor) angezeigt, das anzeigt, auf welches Anzeigeobjekt sich ein nachfolgend eingegebener Bedienbefehl bezieht, wobei Auswahlbefehle u. a. durch eine Geste eingebbar sind.So is, for example, from the DE 10 2013 215 370 A1 a control device for use in a motor vehicle with a head-up display, by which an operator information is displayed on a seen from this point in the forward direction image surface, and with an operating device having an input device and a feedback device, wherein at least two classes of display objects are displayed or designated on the head-up display, wherein at least these two classes of display objects are addressed by different classes of operator commands or sequences of operator commands. In the head-up display, a feedback symbol (cursor) is displayed, which indicates which display object relates to a subsequently entered operating command, wherein selection commands can be entered, inter alia, by a gesture.

Im Gegensatz zur Bedienung mit einem Eingabegerät wie einer Computer-Maus, einem Trackball oder mittels Fingern auf einem Touchpad hat eine Hand bei einer Bedienung durch eine freie Geste keine Führung. Daher kann hierbei nur eine vergleichsweise grobe Positionierung eines Eingabezeigers (Cursor) erfolgen und es ist für einen Benutzer eines Gesten-Bediensystems oftmals schwierig, ein angezeigtes, anwählbares, graphisches Element mit einem Eingabezeiger zu „treffen”.In contrast to the operation with an input device such as a computer mouse, a trackball or by means of fingers on a touchpad, a hand has no guidance when operating with a free gesture. Therefore, only a relatively coarse positioning of an input pointer (cursor) can take place here, and it is often difficult for a user of a gesture operating system to "hit" a displayed, selectable, graphic element with an input pointer.

Eine Bedienung mittels freier Gesten kommt darüber hinaus oftmals auch dann zum Einsatz, wenn eine Anzeigefläche oder Bedienelemente an der Anzeigeeinrichtung nicht im Greifbereich des Bedieners liegen, bspw. aufgrund eines von einem Fahrzeuginsassen angelegten Sicherheitsgurts. In einem solchen Fall sind die heute üblichen Eingabezeiger (Cursor), etwa in Form eines Pfeils oder eines Fadenkreuzes zu klein, um eine entspannte, flüssige Bedienung zu ermöglichen.In addition, an operation by means of free gestures is often also used when a display area or operating elements on the display device are not in the gripping area of the operator, for example due to a safety belt applied by a vehicle occupant. In such a case, the usual today cursor (cursor), such as in the form of an arrow or a crosshair are too small to allow a relaxed, fluid operation.

Diese physisch bedingten Nachteile könnten ausgeglichen werden durch besonders große, in oder auf einer Anzeigefläche angezeigte, anwählbare, graphische Elemente, die von einem Benutzer mittels eines Eingabezeigers vergleichsweise leicht angewählt werden können. Dies wäre aber mit einer Verringerung der in oder auf einer gegebenen Anzeigefläche gleichzeitig anzeigbaren graphischen Elemente verbunden. Und falls große, gut sichtbare Eingabezeiger (Cursor-Symbole) verwendet würden, wäre dies mit dem Nachteil einer verschlechterten Erkennbarkeit der angezeigten, anwählbaren, graphischen Elemente verbunden, da diese zumindest teilweise von dem Eingabezeiger verdeckt würden.These physical disadvantages could be compensated by particularly large, displayed in or on a display surface, selectable, graphic elements that can be relatively easily selected by a user by means of an input pointer. However, this would involve a reduction in the graphic elements that can be simultaneously displayed in or on a given display area. And if large, highly visible input pointers (cursor symbols) were used, this would be associated with the disadvantage of degraded recognizability of the displayed, selectable graphic elements as they would be at least partially obscured by the input pointer.

Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung, ein verbessertes, den physischen Gegebenheiten von Menschen besser angepasstes, interaktives Bediensystem und ein verbessertes Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem zur Verfügung zu stellen, mit dem Nachteile des Stands der Technik überwunden oder doch verringert werden. Diese Aufgabe wird gelöst durch das interaktive Bediensystem gemäß Anspruch 1 und das Verfahren gemäß Anspruch 9. Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Against this background, it is an object of the present invention to provide an improved interactive operating system which is better adapted to the physical conditions of humans and an improved method for carrying out an operating action in an interactive operating system, with which the disadvantages of the prior art are overcome or at least overcome be reduced. This object is achieved by the interactive operating system according to claim 1 and the method according to claim 9. Advantageous developments and refinements of the invention are the subject matter of the subclaims.

Erfindungsgemäß wird ein interaktives Bediensystem vorgeschlagen, das

– eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
– eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
– eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare, graphische Elemente anzeigbar sind, und
– eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, aufweist.

According to the invention, an interactive operating system is proposed which

A sensor device for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device,
- An evaluation device for evaluating the transmitted by the sensor device Image data and for the transmission of data relating to a position of a detected hand within the detection range determined by the evaluation to a control device,
A display device having a display area in or on which one or more graphic elements which can be selected by means of a displayable cursor symbol can be displayed, and
A control device, by means of which, on the basis of the data transmitted by the evaluation device, the cursor symbol can be displayed as a function of a position of the hand in the detection area in or on the display surface of the display device.

Das interaktive Bediensystem ist dadurch gekennzeichnet, dass

– die Auswertungseinrichtung dazu eingerichtet ist, an sie von der Sensoreinrichtung übermittelte Bilddaten dahin auszuwerten, ob eine erfasste Hand innerhalb des Erfassungsbereichs eine freie Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und entsprechende Daten zu der Steuerungseinrichtung zu übermitteln, und
– die Steuerungseinrichtung dazu eingerichtet ist, die Anzeigeeinrichtung derart zu steuern, dass das Cursor-Symbol in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche angezeigt wird, und dass bei Übermittlung von Daten einer derartigen Geste durch die Auswertungseinrichtung die Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart verändert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.

The interactive control system is characterized in that

- The evaluation device is configured to evaluate to them transmitted from the sensor device image data to determine whether a detected hand within the detection range performs a free gesture in which at least two fingers of the hand of a first, greater distance to a second, smaller distance from each other and to transmit corresponding data to the controller, and
- The control device is adapted to control the display device such that the cursor icon is displayed in the form of a closed curve or in the form of the edges of a polygon in or on the display surface, and that upon transmission of data of such a gesture by the evaluation device the size of the cursor symbol displayed in or on the display area is changed such that the area encompassed by the closed curve or the edges of the polygon is reduced from a first, larger area to a second, smaller area.

Das erfindungsgemäße interaktive Bediensystem weist den Vorteil auf, dass ein Cursor-Symbol in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons als Eingabezeiger deutlich größer sein kann als ein Pfeil oder ein ähnliches Cursor-Symbol, ohne relevante, insbesondere anwählbare graphische Elemente (wie etwa Objekte, Bedienelemente) zu verdecken, weil die Fläche innerhalb eines derartigen Cursor-Symbols die Anzeige auf oder in einer Anzeigefläche nicht überdeckt, sondern lediglich „umkreist” oder umfasst.The interactive operating system according to the invention has the advantage that a cursor symbol in the form of a closed curve or in the form of the edges of a polygon as an input pointer can be significantly larger than an arrow or a similar cursor symbol, without relevant, in particular selectable graphic elements ( such as objects, controls) because the area within such a cursor symbol does not obscure the display on or in a display area, but merely "circles around" or includes.

Auch erhält ein Bediener des interaktiven Bediensystems eine unmittelbare Rückmeldung darüber, ob er seine freie Geste innerhalb des Erfassungsbereichs durchführt und ob seine freie Geste als eine erkannt wird, bei der sich mindestens zwei Finger seiner Hand aufeinander zu bewegen, da nur in einem Fall, bei dem beide Bedingungen erfüllt sind, eine Verkleinerung des Cursor-Symbols auf oder in der Anzeigefläche erfolgt.Also, an operator of the interactive control system receives immediate feedback as to whether he is making his free gesture within the detection area and whether his free gesture is recognized as having at least two fingers of his hand moving towards each other, as in only one case If both conditions are fulfilled, the cursor symbol is reduced on or in the display area.

Gemäß einer ersten vorteilhaften Weiterbildung des interaktiven Bediensystem ist die Steuerungseinrichtung weiter dazu eingerichtet, dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare, graphische Element zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der Fläche des angezeigten Cursor-Symbols von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.According to a first advantageous development of the interactive operating system, the control device is further configured to determine that in or on the display surface displayed, selectable, graphic element whose centroid has the smallest distance to the centroid of the displayed in or on the display surface cursor symbol and in the event that the distance has a first nonzero value, automatically shifting the position of the centroid of the displayed cursor icon during the change of the area of the displayed cursor icon from the first, larger area to the second, smaller area, in that the distance between the centroid of the displayed cursor symbol and the centroid of the determined displayed graphic element assumes a second value which is closer to zero than the first value and is preferably zero.

Wie oben bereits erwähnt, ist bei einer Bedienung mittels freier Gesten die Positionierung eher grob im Vergleich zu einer Bedienung mittels einer Computer-Maus, einem Touchpad oder einem berührungsempfindlichen Bildschirm. Dieser Nachteil wird in einer Umgebung wie etwa einem sich in Fahrt befindlichen Kraftfahrzeug aufgrund von Unebenheiten der Fahrbahn und/oder aufgrund von Fahrmanövern wie Lenken, Bremsen und Beschleunigen noch vergrößert. Durch die erste Weiterbildung der vorliegenden Erfindung wird dieser Nachteil überwunden, da dem Bediener bei einer „Greifgeste” das genaue Zielen und Zielhalten abgenommen wird, so dass die Bedienung einfach und flüssig wird.As mentioned above, when operated by means of free gestures, the positioning is rather coarse in comparison to an operation by means of a computer mouse, a touchpad or a touch-sensitive screen. This disadvantage is further increased in an environment such as a motor vehicle in motion due to unevenness of the road surface and / or due to driving maneuvers such as steering, braking and acceleration. By the first development of the present invention, this disadvantage is overcome, since the operator in a "gripping gesture" the exact aiming and targeting is removed, so that the operation is simple and fluid.

Hierbei ist es von Vorteil, wenn die Steuerungseinrichtung weiter dazu eingerichtet ist, die zweite, kleinere, von dem Cursor-Symbol umfasste Fläche auf eine solche Größe zu steuern, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements beträgt.In this case, it is advantageous if the control device is further configured to control the second, smaller area covered by the cursor symbol to such a size that the area of the displayed cursor area enclosed by the closed curve or the edges of the polygon is. Symbols in the range of 50% to 200%, preferably in the range of 75% to 175%, particularly preferably in the range of 90% to 150% of the area of the displayed graphic element.

Durch diese vorteilhafte Weiterbildung des interaktiven Bediensystems ergibt sich der Vorteil, dass auch im „gegriffenen Zustand” von dem in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Element – selbst wenn eine vergleichsweise große Linienstärke für das Cursor-Symbol gewählt ist – ein so großer Anteil sichtbar bleibt, dass der Typ oder der Inhalt des Elements für einen Bediener ohne weiteres erkennbar bleibt. Gleichzeitig ist das angezeigte Cursor-Symbol im „gegriffenen Zustand” klein genug, damit für einen Bediener ohne weiteres erkennbar ist, welches graphische Element angewählt wurde.This advantageous development of the interactive operating system has the advantage that even in the "gripped state" of the displayed in or on the display surface, selectable, graphic element - even if a comparatively large line width is selected for the cursor icon - such a large Share remains visible that the type or content of the element for a user easily recognizable remains. At the same time, the displayed cursor symbol in the "seized state" is small enough so that it is readily apparent to an operator which graphic element has been selected.

Gemäß einer weiteren vorteilhaften Weiterbildung des interaktiven Bediensystem ist die Steuerungseinrichtung weiter dazu eingerichtet, das Cursor-Symbol so lange mit der eine zweite, kleinere Fläche in oder auf der Anzeigefläche umfassenden Form anzuzeigen, solange die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen.According to a further advantageous development of the interactive operating system, the control device is further configured to display the cursor icon with the second, smaller area in or on the display surface as long as the at least two fingers of the gesture performing hand within the detection area have a second, smaller distance from each other.

Hierbei kann in vorteilhafter Weise vorgesehen sein, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, die Position des eine zweite, kleinere Fläche in oder auf der Anzeigefläche umfassenden, angezeigten Cursor-Symbols entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs zu verändern, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor Symbols erst nach Durchführung einer Bewegung dieser Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.In this case, it can be provided in an advantageous manner that the control device is further configured to change the position of the displayed, a smaller area in or on the display surface, displayed cursor icon corresponding to a movement of the gesture performing hand within the detection range, wherein can optionally be provided that a change in the position of the displayed cursor symbol is carried out only after carrying out a movement of this hand over a predetermined minimum path length within the detection range.

Bei dem interaktiven Bediensystem kann die Steuerungseinrichtung in vorteilhafter Weise auch dazu eingerichtet sein, nach Erreichen eines zweiten, kleineren Abstands der wenigstens zwei Finger der die Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare, graphische Element auszuführen, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.In the interactive operating system, the control device may also be advantageously configured, after reaching a second, smaller distance of the at least two fingers of the hand performing the gesture to perform an action with respect to the displayed, selectable, graphic element whose area centroid is the smallest distance to the centroid of the cursor icon, wherein the action has been assigned to this graphic element in advance, if the at least two fingers of the hand performing the gesture within the detection range maintained a second, smaller distance from each other for a predeterminable period or within a predetermined period of time another operation done by an operator of the interactive control system.

Bei dem interaktiven Bediensystem gemäß der vorliegenden Erfindung kann die Anzeigeeinrichtung in vorteilhafter Weise einen grafikfähigen Bildschirm, ein Head-up-Display oder eine Datenbrille (Netzhautprojektor) umfassen, und kann die Sensoreinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen umfassen.In the interactive operating system according to the present invention, the display device may advantageously comprise a graphics-capable screen, a head-up display or a data goggles (retina projector), and the sensor device may comprise one or more visible light camera devices, one or more infrared infrared camera devices Light, one or more radar facilities, and / or one or more time-of-flight facilities.

Die vorliegende Erfindung umfasst auch ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem, das

– eine Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung,
– eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung,
– eine Anzeigeeinrichtung mit einer Anzeigefläche, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols anwählbare, graphische Elemente anzeigbar sind, und
– eine Steuerungseinrichtung, mittels der aufgrund der von der Auswertungseinrichtung übermittelten Daten das Cursor-Symbol in Abhängigkeit von einer Position der Hand im Erfassungsbereich in oder auf der Anzeigefläche der Anzeigeeinrichtung anzeigbar ist, umfasst.

The present invention also includes a method for performing an operation on an interactive operation system that

A sensor device for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device,
An evaluation device for evaluating the image data transmitted by the sensor device and for transmitting data relating to a position of a detected hand within the detection range determined by the evaluation to a control device,
A display device having a display area in or on which one or more graphic elements which can be selected by means of a displayable cursor symbol can be displayed, and
A control device, by means of which, on the basis of the data transmitted by the evaluation device, the cursor symbol can be displayed as a function of a position of the hand in the detection area in or on the display surface of the display device.

Das Verfahren ist dadurch gekennzeichnet, dass es die folgenden Schritte umfasst:

– Anzeigen eines Cursor-Symbols in Abhängigkeit von einer Position einer Hand im Erfassungsbereich einer Sensoreinrichtung in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf einer Anzeigefläche einer Anzeigeeinrichtung, wobei die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist,
– Auswerten von Bilddaten der Sensoreinrichtung dahin, ob eine erfasste Hand innerhalb eines Erfassungsbereichs eine freie Geste durchführt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, und
– Verändern der Größe des in oder auf der Anzeigefläche angezeigten Cursor-Symbols derart, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von der ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird, sofern die Durchführung einer derartigen Geste im Erfassungsbereich festgestellt wird.

The method is characterized in that it comprises the following steps:

Displaying a cursor symbol as a function of a position of a hand in the detection area of a sensor device in the form of a closed curve or in the form of the edges of a polygon in or on a display surface of a display device, the area covered by the closed curve or the edges of the polygon has a first, larger area,
Evaluating image data of the sensor device to determine whether a detected hand within a detection range performs a free gesture in which at least two fingers of the hand move from a first, greater distance to a second, smaller distance, and
Changing the size of the cursor symbol displayed in or on the display surface such that the area encompassed by the closed curve or the edges of the polygon is reduced from the first, larger area to a second, smaller area, if the performance of such a gesture detected in the coverage area.

Gemäß einer ersten vorteilhaften Weiterbildung des Verfahrens umfasst dieses weiter

– Ermitteln des in oder auf der Anzeigefläche angezeigten, anwählbaren, graphischen Elements, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche angezeigten Cursor-Symbols aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, automatisches Verschieben der Position des Flächenschwerpunkts des angezeigten Cursor-Symbols während der Veränderung der von dem angezeigten Cursor-Symbol umschlossenen Fläche von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols und dem Flächenschwerpunkt des ermittelten, angezeigten, graphischen Elements einen zweiten Wert annimmt, der näher Null als der erste Wert und bevorzugt Null ist, und/oder
– Ausführens nach Erreichen des oder eines zweiten, kleineren Abstands der wenigstens zwei Finger der die freie Geste durchführenden Hand einer Aktion in Bezug auf dasjenige in oder auf der Anzeigefläche angezeigte, anwählbare graphische Element, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols aufweist, wobei die Aktion diesem graphischen Element vorab zugeordnet wurde, sofern die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.

According to a first advantageous embodiment of the method, this further

Determining the selectable graphical element displayed in or on the display surface whose centroid has the smallest distance to the centroid of the cursor symbol displayed in or on the display surface, and automatic in the event that the distance has a first non-zero value Shifting the position of the centroid of the displayed cursor symbol during the change of the area enclosed by the displayed cursor symbol the first, larger area on the second, smaller area such that the distance between the centroid of the displayed cursor symbol and the centroid of the determined displayed graphical element assumes a second value that is closer to zero than the first value, and preferably zero , and or
Executing, after reaching the or a second, smaller distance of the at least two fingers of the free gesture performing hand of an action with respect to that in or on the display area displayed, selectable graphical element whose centroid has the smallest distance to the centroid of the cursor symbol , wherein the action has been assigned in advance to this graphic element, provided that the at least two fingers of the gesture performing hand within the detection range maintained a second, smaller distance from each other for a predeterminable period or within a predetermined period of time another operator action by an operator of the interactive control system ,

Weitere vorteilhafte Ausgestaltungen und Weiterbildungen des Verfahrens, die ebenfalls Gegenstand der vorliegenden Erfindung sind, ergeben sich für einen Fachmann ohne Weiteres aus der Beschreibung des interaktiven Bediensystems, seinen vorteilhaften Ausgestaltungen und Weiterbildungen, der Figur, der Figurenbeschreibung sowie der Beschreibung von bevorzugten Ausführungsformen und -beispielen. Die dort beschriebenen oder entnehmbaren Merkmale und Eigenschaften des interaktiven Bediensystems sind ohne weiteres auf das Verfahren gemäß der vorliegenden Erfindung und seine vorteilhaften Ausgestaltungen und Weiterbildungen übertragbar.Further advantageous embodiments and further developments of the method, which are also the subject of the present invention, will become apparent to a person skilled in the art from the description of the interactive operating system, its advantageous refinements and developments, the figure, the description of the figures and the description of preferred embodiments and examples , The features and characteristics of the interactive operating system described or removable there are readily applicable to the method according to the present invention and its advantageous embodiments and developments.

Die vorliegende Erfindung wird anhand der beigefügten Zeichnung näher erläutert.The present invention will be explained in more detail with reference to the accompanying drawings.

Die einzige Fig. zeigt zwei Zustände einer Anzeigefläche des interaktiven Bediensystems mit wenigstens einem angezeigten, anwählbaren, graphischen Element und einem Cursor-Symbol in Form eines Rings wobei zu jedem der beiden Zustände eine zugehörige, beispielhafte Handhaltung abgebildet ist.The single FIGURE shows two states of a display area of the interactive control system with at least one displayed, selectable, graphic element and a cursor symbol in the form of a ring with an associated, exemplary hand position is shown for each of the two states.

Die Darstellungen in der Fig. sind rein schematisch und nicht maßstabsgerecht. Innerhalb der Fig. sind gleiche oder ähnliche Elemente mit gleichen Bezugszeichen versehen.The illustrations in the figure are purely schematic and not to scale. Within the figure, the same or similar elements are provided with the same reference numerals.

Die nachfolgend erläuterten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar. Die vorliegende Erfindung ist selbstverständlich nicht auf diese Ausführungsformen beschränkt.The embodiments explained below represent preferred embodiments of the present invention. Of course, the present invention is not limited to these embodiments.

Die in der obigen Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der nachfolgenden Beschreibung von Ausführungsformen, Ausführungsbeispielen und der Figurenbeschreibung genannten und/oder in der Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der vorliegenden Erfindung zu verlassen.The features and feature combinations mentioned in the above description as well as the features and feature combinations mentioned in the following description of embodiments, exemplary embodiments and the description of the figures and / or shown alone in the figure are not only in the respective specified combination but also in other combinations or in Used alone, without departing from the scope of the present invention.

Das interaktive Bediensystem gemäß der vorliegenden Erfindung weist eine (in der Fig. nicht dargestellte) Sensoreinrichtung zur Erfassung von Bilddaten in zeitlicher Abfolge innerhalb eines Erfassungsbereichs der Sensoreinrichtung und zur Übermittlung der erfassten Bilddaten an eine Auswertungseinrichtung auf.The interactive operating system according to the present invention has a sensor device (not shown in the figure) for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device.

Bezüglich der Sensoreinrichtung bestehen keine besonderen Einschränkungen und es können alle aus dem Stand der Technik bereits bekannten oder zukünftig noch bekannt werdenden geeigneten Sensoreinrichtungen bei dem interaktiven Bediensystem vorgesehen sein. Bevorzugt weist die Sensoreinrichtung des interaktiven Bediensystems als Erfassungseinrichtung eine oder mehrere Kameraeinrichtungen für sichtbares Licht, eine oder mehrere Kameraeinrichtungen für Infrarot-Licht, eine oder mehrere Radar-Einrichtungen, und/oder eine oder mehrere Time-of-Flight-Einrichtungen auf.With regard to the sensor device, there are no particular restrictions, and all suitable sensor devices already known from the prior art or even becoming known in the future can be provided in the interactive operating system. The sensor device of the interactive operating system preferably has as detection device one or more visible light camera devices, one or more infrared light camera devices, one or more radar devices, and / or one or more time-of-flight devices.

Bei Kameraeinrichtungen für sichtbares oder Infrarotlicht kann die Sensoreinrichtung beispielsweise auch über eine „Lichtquelle” verfügen, die zur Ausleuchtung des Erfassungsbereichs der Sensoreinrichtung dient. Bei dem Einsatz von einer oder mehreren Kameraeinrichtungen für Infrarotlicht kann beispielsweise der Erfassungsbereich mittels einer oder mehreren Infrarot-Lichtquellen (bspw. Infrarot-LEDs) ausgeleuchtet werden, ohne dass die Gefahr einer Blendung für einen Bediener des interaktiven Bediensystems gegeben ist.In the case of camera devices for visible or infrared light, the sensor device may, for example, also have a "light source" which serves to illuminate the detection region of the sensor device. When using one or more infrared light camera devices, for example, the detection area can be illuminated by means of one or more infrared light sources (for example infrared LEDs) without the risk of glare for an operator of the interactive control system.

Erfassungseinrichtungen der Sensoreinrichtung, die auf unterschiedlichen technischen Grundlagen basieren, können gleichzeitig oder alternativ dazu verwendet werden, Bilddaten zu erfassen. Durch gleichzeitiges Erfassen von Bilddaten durch technisch verschiedenartige Erfassungseinrichtungen (z. B. durch eine Kameraeinrichtung für sichtbares Licht und eine Radar-Einrichtung; durch eine Kameraeinrichtung für sichtbares Licht und eine Kameraeinrichtung für Infrarotlicht, etc.) und Auswerten der Bilddaten der technisch verschiedenartigen Erfassungseinrichtungen durch die Auswertungseinrichtung kann beispielsweise die Erkennungsquote bezüglich der Handgeste erhöht werden.Detecting devices of the sensor device based on different technical principles can be used simultaneously or alternatively to capture image data. By simultaneous detection of image data by technically diverse detection devices (eg by a camera device for visible light and a radar device, by a camera device for visible light and a camera device for infrared light, etc.) and evaluation of the image data of the technically diverse detection devices by the evaluation device can be increased, for example, the recognition rate with respect to the hand gesture.

Bevorzugt weist das interaktive Bediensystem eine Sensoreinrichtung auf, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können. Dies erleichtert beispielsweise die Erkennung der oberen Extremitäten eines Bedieners des interaktiven Bediensystems, da leichter zwischen oberen Extremitäten, Hintergrund und Vordergrund innerhalb des Erfassungsbereichs der Sensoreinrichtung unterschieden werden kann, als dies bei einer zweidimensionalen Bilderfassung der Fall ist. The interactive operating system preferably has a sensor device with which stereoscopic or three-dimensional images can be detected. This facilitates, for example, the detection of the upper extremities of an operator of the interactive operating system, since it is easier to distinguish between upper extremities, background and foreground within the detection range of the sensor device than is the case with a two-dimensional image capture.

Eine stereoskopische oder dreidimensionale Bilderfassung kann beispielsweise in an sich bekannter Weise durch eine entsprechende stereoskopische Anordnung und Ausrichtung der Erfassungsachsen von zwei Kameraeinrichtungen für sichtbares oder Infrarotlicht und eine dementsprechende Auswertung der erfassten Bilddaten durch die Auswertungsvorrichtung erreicht werden. Auch mittels einer oder mehrerer Radar-Einrichtungen kann beispielsweise die Lage und/oder Bewegung einer Hand und der Finger innerhalb des Erfassungsbereichs der Radar-Einrichtung räumlich erfasst werden. Aufgrund der (Weiter) Entwicklungen der vergangenen Jahre konnten die Baugrößen von Radar-Einrichtungen zunehmend verkleinert werden, so dass diese nunmehr für das interaktive Bediensystem gemäß der vorliegenden Erfindung in vielen Fällen selbst bei einem nur beschränkt zur Verfügung stehenden Bauraum einsetzbar sind.A stereoscopic or three-dimensional image acquisition can be achieved, for example, in a manner known per se by a corresponding stereoscopic arrangement and alignment of the detection axes of two camera devices for visible or infrared light and a corresponding evaluation of the acquired image data by the evaluation device. By means of one or more radar devices, for example, the position and / or movement of a hand and the fingers within the detection range of the radar device can be detected spatially. Due to the (further) developments of recent years, the sizes of radar devices have been increasingly reduced so that they can now be used for the interactive control system according to the present invention in many cases, even with a limited space available.

Ebenfalls bevorzugt weist die Sensoreinrichtung des interaktiven Bediensystems gemäß der vorliegenden Erfindung ein oder mehrere sog. „Time-of-Flight-Einrichtungen auf, wobei das interaktive Bediensystem selbstverständlich weitere, davon technisch verschiedene Bilderfassungseinrichtungen aufweisen kann.Likewise preferably, the sensor device of the interactive operating system according to the present invention has one or more so-called time-of-flight devices, wherein the interactive operating system can of course have further, technically different image capture devices.

Bei Vorrichtungen und Verfahren nach dem Time-of-Flight-Prinzip (Laufzeitprinzip) wird bekanntlich ein von einer Sendeeinrichtung ausgesandtes (emittiertes) Signal an einem Objekt reflektiert und das reflektierte Signal von einer Empfangseinrichtung detektiert. Anhand der Geschwindigkeit und der Laufzeit des Signals kann die Entfernung des Objekts von der Empfangseinrichtung ermittelt werden.In devices and methods according to the time-of-flight principle (transit time principle), a signal emitted by a transmitting device (emitted) is known to be reflected at an object and the reflected signal is detected by a receiving device. Based on the speed and the duration of the signal, the distance of the object from the receiving device can be determined.

Eine der bekanntesten Vorrichtung nach dem Time-of-Flight-Prinzip ist ein PMD-System bzw. PMD-Kamerasystem. In einem solchen PMD-Kamerasystem ist ein Photomischdetektor (auch PMD-Sensor genannt; PMD = Photonid Mixing Device) als Sensor enthalten. Ein PMD-Sensor weist ein ein- bzw. in der Regel mehrzeiliges Array von PMD-Detektorelementen und eine Empfangsoptik auf. Ein oder mehrere PMD-Systeme bzw. PMD-Kamerasysteme können in bevorzugter Weise bei dem interaktiven Bediensystem vorgesehen sein.One of the most well-known time-of-flight device is a PMD or PMD camera system. In such a PMD camera system, a photonic mixer detector (PMD sensor also called PMD = Photonid Mixing Device) is included as a sensor. A PMD sensor has an on or, as a rule, multi-line array of PMD detector elements and a receiving optics. One or more PMD systems or PMD camera systems may be provided in the interactive operating system in a preferred manner.

Es sei jedoch darauf hingewiesen, dass eine Sensoreinrichtung, mit der stereoskopische oder dreidimensionale Bilder erfasst werden können, kein zwingendes Merkmal des interaktiven Bediensystems ist und dass somit auch eine Sensoreinrichtung, mit der nur zweidimensionale Bilder erfasst werden können, in vielen Fällen ausreichend ist oder sein kann. Selbst wenn es für das interaktive Bediensystem gemäß der vorliegenden Erfindung von Vorteil oder erforderlich sein sollte, die Position einer Hand im Raum erkennen zu können, kann die Erfassung von nur zweidimensionalen Bildern ausreichend sein, da mittels entsprechender, intelligenter Algorithmen auch aus zweidimensionalen Bildern die Position eines Objekts im Raum (zumindest annähernd) ermittelt werden kann.It should be noted, however, that a sensor device with which stereoscopic or three-dimensional images can be detected is not a mandatory feature of the interactive operating system, and therefore also a sensor device with which only two-dimensional images can be detected is or will be sufficient in many cases can. Even if it should be advantageous or necessary for the interactive operating system according to the present invention to be able to recognize the position of a hand in space, the acquisition of only two-dimensional images may be sufficient since the position can also be determined from two-dimensional images by means of corresponding, intelligent algorithms of an object in space (at least approximately) can be determined.

Der Aufbau und die Funktionsweise der verschiedenen, oben erwähnten Einrichtungen zum Erfassen von Bildern innerhalb eines Erfassungsbereichs der Sensoreinrichtung sind Fachleuten bekannt, so dass hier nicht näher darauf eingegangen zu werden braucht.The structure and operation of the various, above-mentioned means for capturing images within a detection range of the sensor device are known to those skilled in the art, so that need not be discussed here in detail.

Für die Erfassung der Bilddaten „in zeitlicher Abfolge” ist lediglich erforderlich, dass die Erfassung der Bewegung der Hand durch die Sensoreinrichtung mit einer für den erfindungsgemäßen Zweck zumindest ausreichenden zeitlichen Abfolge, zum Beispiel im Bereich von 15 bis 40 Erfassungen (Bildern) pro Sekunde (15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39 oder 40 Bilder pro Sekunde) erfolgt bzw. erfolgen kann.For the acquisition of the image data "in chronological order", it is only necessary that the detection of the movement of the hand by the sensor device with an at least sufficient time sequence for the purpose of the invention, for example in the range of 15 to 40 acquisitions (images) per second ( 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39 or 40 frames per second) takes place or can take place.

Selbstverständlich ist auch eine ausreichende Auflösung der erfassten Bilder vorzusehen, damit die Geste einer Hand mit den dabei erfolgenden Bewegungen von wenigstens zwei Fingern mit zumindest ausreichender Sicherheit von der Auswertungseinrichtung erkannt werden kann. Bei den von der Sensoreinrichtung erfassten Bildern können selbstverständlich die bekannten Bildverbesserungs-Verfahren (in Bezug auf Helligkeit, Kontrast, Helligkeitsverteilung, etc.) Anwendung finden, um die Erkennungsleistung in Bezug auf eine im Raum durchgeführte freie Handgeste zu verbessern.Of course, a sufficient resolution of the captured images is provided so that the gesture of a hand with the movements of at least two fingers can be detected with at least sufficient security of the evaluation device. Of course, in the images captured by the sensor device, the known image enhancement methods (in terms of brightness, contrast, brightness distribution, etc.) may be used to improve the recognition performance with respect to a free hand gesture performed in space.

Der Erfassungsbereich der Sensoreinrichtung ist nicht besonders beschränkt und kann sich in einem einfachen Fall durch den Aufbau und die Ausrichtung (Erfassungswinkel) der Sensoreinrichtung ergeben. Es kann jedoch in einigen Fällen von Vorteil sein, bspw. in einem Fahrzeug, in Bezug auf Größe (Höhe, Breite und Tiefe) und Position des Erfassungsbereichs im Raum nur einen vorgebbaren Teilbereich des technisch möglichen Erfassungsbereichs der Sensoreinrichtung als Erfassungsbereich vorzusehen. Hierdurch kann in vorteilhafter Weise erreicht werden, dass nur eine Bewegung einer Hand innerhalb des so definierten Erfassungsbereichs als mögliche Geste zur Bedienung des interaktiven Bediensystems interpretiert wird, Bewegungen außerhalb des so definierten Erfassungsbereichs jedoch unberücksichtigt bleiben. Ein derartiger Teilbereich eines zur Verfügung stehenden Raums kann auf besonders einfache Weise mit Hilfe einer Sensoreinrichtung realisiert werden, mit dem stereoskopische oder dreidimensionale Bilder erfasst werden können.The detection range of the sensor device is not particularly limited and, in a simple case, may be due to the structure and orientation (detection angle) of the sensor device. However, in some cases it may be advantageous, for example in a vehicle, to provide only a predefinable subarea of the technically possible detection range of the sensor device as the detection area in terms of size (height, width and depth) and position of the detection area in space. This can be achieved in an advantageous manner that only a movement of a hand within the so-defined detection area as possible gesture for operating the interactive operating system is interpreted, movements outside of the so defined detection range, however, disregarded. Such a subarea of an available space can be realized in a particularly simple manner with the aid of a sensor device with which stereoscopic or three-dimensional images can be detected.

Als weiteren Bestandteil weist das interaktive Bediensystem eine Auswertungseinrichtung zur Auswertung der durch die Sensoreinrichtung übermittelten Bilddaten und zur Übermittlung von Daten bezüglich einer durch die Auswertung ermittelten Position einer erfassten Hand innerhalb des Erfassungsbereichs zu einer Steuerungseinrichtung auf.As a further component, the interactive operating system has an evaluation device for evaluating the image data transmitted by the sensor device and for transmitting data relating to a position of a detected hand determined by the evaluation within the detection range to a control device.

Bei der Auswertungseinrichtung kann es sich um jede hierfür geeignete Einrichtung handeln. So kann beispielsweise eine Auswertungseinrichtung ein – an sich bekanntes – Bildauswertungssystem umfassen, bei dem von der Sensoreinrichtung erfasste Bilder mittels einer geeigneten Kombination aus Hard-(Computer, digitale Recheneinrichtung) und Software (Bildauswertungs- und gegebenenfalls auch Bildverbesserungs-Software) ausgewertet werden.The evaluation device can be any suitable device. Thus, for example, an evaluation device may comprise a known image evaluation system in which images captured by the sensor device are evaluated by means of a suitable combination of hardware (computer, digital computing device) and software (image evaluation and possibly also image enhancement software).

Auch bezüglich der Anzeigeeinrichtung, die ein weiterer Bestandteil des interaktiven Bediensystems gemäß der vorliegenden Erfindung ist, und die eine (reale oder virtuelle) Anzeigefläche 1 aufweist, in oder auf der ein oder mehrere mittels eines anzeigbaren Cursor-Symbols 2 anwählbare graphische Elemente 3 anzeigbar sind, bestehen keine besonderen Beschränkungen. Die Anzeigeeinrichtung kann in vorteilhafter Weise etwa einen grafikfähigen (gegebenenfalls auch berührungs- und/oder näherungsempfindlichen) Bildschirm, ein Head-up-Display oder eine Datenbrille (einen Netzhautprojektor) umfassen.Also with respect to the display device, which is another component of the interactive control system according to the present invention, and the one (real or virtual) display surface 1 in or on the one or more by means of a displayable cursor icon 2 selectable graphic elements 3 are displayable, there are no particular restrictions. The display device may advantageously comprise, for example, a graphics-capable (possibly also touch-sensitive and / or proximity-sensitive) screen, a head-up display or a data goggles (a retina projector).

Die Anzeigen in oder auf der Anzeigefläche 1 der Anzeigeeinrichtung werden durch eine Steuerungseinrichtung gesteuert. Diese Steuerungseinrichtung ist gemäß der vorliegenden Erfindung dazu eingerichtet, das Cursor-Symbol 2 in Form einer geschlossenen Kurve oder in Form der Kanten eines Polygons in oder auf der Anzeigefläche 1 anzuzeigen, und bei Übermittlung von Daten einer freien Geste, bei der sich wenigstens zwei Finger einer Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, durch die Auswertungseinrichtung, die Größe des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 derart verändert wird, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird. Die Veränderung der Größe des Cursor-Symbols 2 erfolgt hierbei in bevorzugter Weise nicht sprunghaft – auch wenn eine solche sprunghafte Änderung von der vorliegenden Erfindung umfasst ist – sondern über einen vorgebbaren Zeitraum hinweg, besonders bevorzugt möglichst synchron zu einer Durchführung der oben definierten Geste. Die Größe des angezeigten Cursor-Symbols 2 ist somit bevorzugt dynamisch veränderbar.The ads in or on the display area 1 the display device are controlled by a control device. This controller is arranged according to the present invention, the cursor icon 2 in the form of a closed curve or in the form of the edges of a polygon in or on the display surface 1 and upon transmission of data of a free gesture in which at least two fingers of a hand move from a first, greater distance to a second, smaller distance toward each other, by the evaluation means, the size of the in or on the display area 1 displayed cursor symbol 2 is changed so that the area covered by the closed curve or the edges of the polygon is reduced from a first, larger area to a second, smaller area. The change in the size of the cursor icon 2 in a preferred manner, this does not take place abruptly - even if such a sudden change is encompassed by the present invention - but over a predefinable time period, particularly preferably as synchronously as possible to a performance of the above-defined gesture. The size of the displayed cursor icon 2 is thus preferably dynamically changeable.

Bei dem Cursor-Symbol 2 in Form einer geschlossenen Kurve handelt es sich bevorzugt um eine einfache geschlossene Kurve, wie etwa einen kreisrunden oder einen ovalen Ring. Und bei dem Polygon, durch dessen Kanten das Cursor-Symbol 2 ausgebildet sein kann, handelt es sich bevorzugt um ein einfaches Polygon, etwa um ein (bevorzugt regelmäßiges) Dreieck, Viereck, Fünfeck, Sechseck, Siebeneck, Achteck, usw.At the cursor icon 2 in the form of a closed curve is preferably a simple closed curve, such as a circular or an oval ring. And at the polygon, by its edges the cursor icon 2 may be formed, it is preferably a simple polygon, such as a (preferably regular) triangle, quadrangle, pentagon, hexagon, heptagon, octagon, etc.

Die Linie, mit der das Cursor-Symbol 2 angezeigt wird, kann jede geeignete Linienstärke aufweisen. Auch ist es von der vorliegenden Erfindung umfasst, wenn die Linie, mit der das Cursor-Symbol 2 angezeigt wird, nicht vollständig geschlossen, d. h. ohne jede Unterbrechung ist. Diese kann gemäß der vorliegenden Erfindung also auch wenigstens eine oder mehrere kurze Unterbrechungen aufweisen, so dass die angezeigte Linie des Cursor-Symbols 2 nur etwa 95%, 90%, 85%, 80% oder 75% der entsprechenden, ununterbrochenen Linie der geschlossenen Kurve oder der entsprechenden, ununterbrochenen Kanten des Polybons entspricht.The line with the cursor icon 2 is displayed can have any suitable line weight. Also, it is encompassed by the present invention when the line with which the cursor icon 2 is displayed, not completely closed, ie without any interruption. Thus, according to the present invention, it may also have at least one or more short breaks, such that the displayed line of the cursor symbol 2 only about 95%, 90%, 85%, 80% or 75% of the corresponding continuous line of the closed curve or the corresponding uninterrupted edges of the polygon.

Die Art und Weise der Anzeige der in oder auf der Anzeigefläche 1 angezeigten, anwählbaren, graphischen Elemente 3 wird durch die Anzeige des Cursor-Symbol 2 in vorteilhafter Weise nicht besonders beeinflusst. Insbesondere gilt dies für den Bereich der Anzeigefläche 1, der von dem Cursor-Symbol 2 umschlossen ist. Dies bedeutet, dass das Cursor-Symbol 2 zwar „über” einem oder mehreren angezeigten, anwählbaren, graphischen Elementen 3 angezeigt werden kann, dass also die geschlossene Kurve oder die Kanten eines Polygons, durch die das Cursor-Symbol 2 in oder auf der Anzeigefläche 1 angezeigt wird, ein oder mehrere „darunter liegende” angezeigte, anwählbare, graphische Elemente 3 „überdecken” kann/können, dass der übrige Bereich des oder der angezeigten, anwählbaren, graphischen Elemente 3 aber unverändert in oder auf der Anzeigefläche 1 angezeigt wird.The way of displaying the in or on the display area 1 displayed, selectable, graphic elements 3 is indicated by the cursor icon 2 advantageously not particularly affected. This applies in particular to the area of the display area 1 of the cursor icon 2 is enclosed. This means that the cursor icon 2 although "over" one or more displayed, selectable, graphic elements 3 can be displayed, that is, the closed curve or the edges of a polygon through which the cursor icon 2 in or on the display area 1 is displayed, one or more "below" displayed, selectable, graphic elements 3 Can "cover" that the rest of the area or displayed, selectable, graphic elements 3 but unchanged in or on the display area 1 is shown.

Dies gilt in vorteilhafter Weise sowohl für das Cursor-Symbol 2, wenn dieses die erste, größere Fläche umfasst, als auch für das Cursor-Symbol 2, wenn dieses die zweite, kleinere Fläche umfasst.This applies advantageously for both the cursor icon 2 if it covers the first, larger area, as well as the cursor icon 2 if this covers the second, smaller area.

Bei der Steuerungseinrichtung des interaktiven Bediensystems kann es sich ebenfalls um eine geeignete Kombination aus Hard- und Software handeln, mittels der auf Grundlage der Ergebnisse der Auswertungseinrichtung Steuersignale für die Anzeigeeinrichtung erzeugt und an diese übermittelt werden können. Die Auswertungs- und Steuerungseinrichtung können als getrennte Bauelemente/Baugruppen oder als ein gemeinsames Bauelement bzw. gemeinsame Baugruppe des erfindungsgemäßen Systems ausgebildet sein.The control device of the interactive control system may also be a suitable combination of hardware and software, by means of which based on Results of the evaluation device control signals can be generated for the display device and transmitted to them. The evaluation and control device can be designed as separate components / assemblies or as a common component or common assembly of the system according to the invention.

Da das Bediensystem gemäß der vorliegenden Erfindung dazu dient, eine oder mehrere Einrichtungen interaktiv bedienen zu können, ist es bevorzugt, dass die Übermittlung der erfassten Bilddaten an die Auswertungseinrichtung verzögerungsarm erfolgt, dass die Auswertung der an sie übermittelten Bilddaten verzögerungsarm erfolgt, dass die Übermittlung der Daten von der Auswertungseinrichtung zu der Steuerungseinrichtung verzögerungsarm erfolgt, dass die Ansteuerung der Anzeigeeinrichtung durch die Steuerungseinrichtung verzögerungsarm erfolgt und dass die Anzeige des Cursor-Symbols 2 aufgrund der Ansteuerung durch die Steuerungseinrichtung verzögerungsarm erfolgt.Since the operating system according to the present invention serves to be able to operate one or more devices interactively, it is preferred that the transmission of the acquired image data to the evaluation device takes place with little delay, that the evaluation of the image data transmitted to it takes place with little delay, that the transmission of the Data from the evaluation device to the control device takes place with little delay, that the control of the display device by the control device takes place delay and that the display of the cursor icon 2 due to the control by the control device takes place delay.

Dies bedeutet, dass alle Einrichtungen des interaktiven Bediensystems gemäß der vorliegenden Erfindung in vorteilhafter Weise dazu eingerichtet sind und derart zusammenwirken, dass innerhalb eines möglichst geringen Zeitabstands (von bspw. 0,01 s, 0,02 s, 0,03 s, 0,04 s, 0,05 s, 0,06 s, 0,07 s, 0,08 s, 0,09 s, 0,10 s, 0,15 s, 0,20 s, 0,25 s, 0,30 s, 0,35 s, 0,40 s, 0,45 s, 0,5 s) zwischen der Durchführung einer freien Geste durch einen Bediener, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, eine entsprechende Verkleinerung des in oder auf der Anzeigefläche 1 der Anzeigeeinrichtung angezeigten Cursor-Symbols 2 erfolgt. In bevorzugter Weise erfolgt diese Verkleinerung somit möglichst zeitgleich mit der Bewegung der wenigstens zwei Finger aufeinander zu.This means that all the devices of the interactive operating system according to the present invention are advantageously set up and cooperate in such a way that within the shortest possible time interval (of, for example, 0.01 s, 0.02 s, 0.03 s, 0, 04 s, 0.05 s, 0.06 s, 0.07 s, 0.08 s, 0.09 s, 0.10 s, 0.15 s, 0.20 s, 0.25 s, 0, 30 s, 0.35 s, 0.40 s, 0.45 s, 0.5 s) between the performance of a free gesture by an operator in which at least two fingers of the hand move from a first, greater distance to a second one to move closer to each other, a corresponding reduction of the in or on the display area 1 the display device displayed cursor symbol 2 he follows. In a preferred manner, this reduction thus takes place at the same time as possible with the movement of the at least two fingers toward one another.

In bevorzugter Weise ist die Steuerungseinrichtung des interaktiven Bediensystems gemäß der vorliegenden Erfindung weiter dazu eingerichtet, dasjenige in oder auf der Anzeigefläche 1 angezeigte, anwählbare, graphische Element 3 zu ermitteln, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols 2 während der Veränderung der Fläche des angezeigten Cursor-Symbols 2 von der ersten, größeren Fläche auf die zweite, kleinere Fläche derart automatisch (bevorzugt dynamisch, d. h. möglichst synchron zu einer Durchführung der oben definierten Geste) zu verschieben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols 2 und dem Flächenschwerpunkt des ermittelten, angezeigten Elements 3 einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.Preferably, the controller of the interactive control system according to the present invention is further adapted to that in or on the display surface 1 displayed, selectable, graphic element 3 whose area centroid is the smallest distance to the centroid of the area in or on the display area 1 displayed cursor symbol 2 and, in the case where the distance has a first non-zero value, the position of the centroid of the displayed cursor icon 2 while changing the area of the displayed cursor icon 2 from the first, larger area to the second, smaller area in such a way (preferably dynamically, ie as synchronously as possible to a performance of the gesture defined above) to shift the distance between the centroid of the displayed cursor symbol 2 and the centroid of the detected displayed element 3 assumes a second value which is closer to zero than the first value and is preferably zero.

Sofern vorstehend von einem Wert „ungleich Null” gesprochen wird, so ist damit ein Wert für den Abstand von ungleich Null Pixel, ungleich Null Zentimeter, ungleich Null Millimeter oder dergleichen in oder auf der Anzeigefläche zu verstehen. Entscheidend ist lediglich, dass gemäß dieser vorteilhaften Weiterbildung der Erfindung der Abstand zwischen den Flächenschwerpunkten des angezeigten Cursor-Symbols 2 und des nächstliegenden, angezeigten, anwählbaren, graphischen Elements 3 während der Verschiebung des Cursor-Symbols 2 automatisch verringert wird, bevorzugt auf null, d. h. dass beide Flächenschwerpunkte am Ende der Veränderung des Abstands in oder auf der Anzeigefläche 1 bevorzugt die gleiche Position einnehmen.Unless above is spoken by a value "nonzero", so it is a value for the distance of non-zero pixels, not equal to zero centimeters, not equal to zero millimeters or the like in or on the display surface to understand. It is only decisive that, according to this advantageous embodiment of the invention, the distance between the centroids of the displayed cursor symbol 2 and the nearest, displayed, selectable, graphical element 3 while moving the cursor icon 2 is automatically reduced, preferably to zero, ie that both centroids at the end of the change of the distance in or on the display surface 1 preferably occupy the same position.

Das Ergebnis einer solchen Verschiebung mit gleichzeitiger Verkleinerung der Fläche, die von dem Cursor-Symbol 2 umfasst ist, ist im unteren Bereich der Fig. schematisch und beispielhaft dargestellt.The result of such a shift, while reducing the area covered by the cursor icon 2 is shown in the lower part of Fig. Schematically and exemplified.

Demgegenüber ist im oberen Teil der Fig. eine Ausgangssituation dargestellt, bei der mittels der Sensoreinrichtung Bilddaten einer Handposition innerhalb des Erfassungsbereichs der Sensoreinrichtung an die Auswertungseinrichtung übermittelt werden, die von der Auswertungseinrichtung erkannte Position der Hand an die Steuerungseinrichtung übermittelt wird und durch die Steuerungseinrichtung die Anzeigeeinrichtung derart gesteuert wird, dass das Cursor-Symbol 2 derart angezeigt wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche die erste, größere Fläche aufweist. Die Position des auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 wird hierbei in Abhängigkeit von der Position der Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung gewählt.In contrast, in the upper part of the figure, an initial situation is shown in which image data of a hand position within the detection range of the sensor device are transmitted to the evaluation device by means of the sensor device, the position of the hand detected by the evaluation device is transmitted to the control device and by the control device the display device is controlled so that the cursor icon 2 is displayed such that the area encompassed by the closed curve or the edges of the polygon has the first, larger area. The position of the on the display area 1 displayed cursor symbol 2 is chosen here as a function of the position of the hand within the detection range of the sensor device.

Falls ein Bediener des interaktiven Bediensystems seine Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung auf eine Art und Weise bewegt, die als eine Bewegung zur Veränderung der Position des Cursor-Symbols 2 in oder auf der Anzeigefläche 1 interpretiert wird (also insbesondere eine Bewegung, die nicht als eine senkrecht zur Anzeigefläche 1 erkannt wird), wird die Position des angezeigten Cursor-Symbols 2 entsprechend nachgeführt.If an operator of the interactive control system moves his hand within the sensing range of the sensor device in a manner that acts as a movement to change the position of the cursor icon 2 in or on the display area 1 is interpreted (ie in particular a movement that is not as a perpendicular to the display area 1 is detected) becomes the position of the displayed cursor icon 2 tracked accordingly.

Die Größe des angezeigten Cursor-Symbols 2, bei dem die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche eine erste, größere Fläche aufweist, unterliegt keiner besonderen Beschränkung. Da jedoch bei einer Durchführung einer freien Geste, bei der sich wenigstens zwei Finger einer Hand aufeinander zu bewegen, im Erfassungsbereich der Sensoreinrichtung eine Verkleinerung der von dem angezeigten Cursor-Symbol 2 umgebenen Fläche erfolgen soll, und diese Verkleinerung von einem Bediener des interaktiven Bediensystems auch als solche sicher wahrgenommen können werden soll, kann vorgesehen sein, dass die erste, größere Fläche im Bereich von 250% bis 1000% (250%, 300%, 350%, 400%, 450%, 500%, 550%, 600%, 650%, 700%, 750%, 800%, 850%, 900%, 1000%) des größten in oder auf der Anzeigefläche angezeigten, anwählbaren Elements 3 beträgt.The size of the displayed cursor icon 2 in which the surface encompassed by the closed curve or the edges of the polygon has a first, larger area is not particularly limited. However, when performing a free gesture in which at least two fingers of a hand move towards each other in the Detection range of the sensor device, a reduction of the displayed cursor icon 2 If this area is to be perceived by an operator of the interactive operating system as such, it can be provided that the first, larger area in the range from 250% to 1000% (250%, 300%, 350%) , 400%, 450%, 500%, 550%, 600%, 650%, 700%, 750%, 800%, 850%, 900%, 1000%) of the largest selectable item displayed in or on the display area 3 is.

Auch die Stärke und/oder Farbe der angezeigten Kurve oder der Kanten des Polygons unterliegt keiner besonderen Beschränkung und wird von einem Fachmann unter Berücksichtigung der Art der Anzeigeeinrichtung, des vermuteten oder gegebenen Abstands der Augen des Bedieners von der Anzeigefläche, den Umgebungsbedingungen (etwa Helligkeit), unter denen das interaktive Bediensystem zum Einsatz kommt, etc. so gewählt werden, dass das Cursor-Symbol 2 von einem Menschen sicher und ohne Mühen erkannt werden kann.Also, the strength and / or color of the displayed curve or edges of the polygon is not particularly limited and will be determined by a person skilled in the art, taking into account the type of display device, the presumed or given distance of the operator's eyes from the display surface, the ambient conditions (such as brightness). , under which the interactive control system is used, etc., be selected so that the cursor icon 2 can be recognized by a person safely and without effort.

Hierbei kann sowohl vorgesehen sein, dass die angezeigte Linienstärke, Farbe und/oder Anzeigeart der angezeigten Kurve oder der Kanten des Polygons bei einer Verkleinerung der von der geschlossenen Kurve oder den Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche unverändert bleibt, als auch dass sich wenigstens eines davon verändert, bspw. dass bei einer solchen Verkleinerung die Linienstärke von einer ersten, dickere Linienstärke auf eine zweite, dünnere Linienstärke verringert.In this case, it can be provided both that the displayed line thickness, color and / or display mode of the displayed curve or the edges of the polygon in a reduction of the area covered by the closed curve or the edges of the polygon from a first, larger area to a second, smaller Area remains unchanged, and that at least one of them changes, for example, that in such a reduction, the line thickness of a first, thicker line thickness reduced to a second, thinner line thickness.

Hat das Cursor-Symbol 2 seine kleinste angezeigte Größe erreicht, kann bspw. vorgesehen, dass sich die Farbe der angezeigten Kurve oder der Kanten des Polygons oder die Anzeigeart verändert, dass bspw. das Cursor-Symbol 2 in einer veränderten Farbe oder einer sich periodisch ändernde Farbe und/oder Helligkeit dargestellt wird.Has the cursor icon 2 If, for example, it has reached its smallest displayed size, it may be provided that the color of the displayed curve or the edges of the polygon or the display type changes, for example the cursor symbol 2 is displayed in a changed color or a periodically changing color and / or brightness.

In der Fig. ist bei beiden Zuständen der Anzeigefläche 1 ein quadratisches Element mit dem Bezugszeichen 3 versehen und dieses Element stellt ein anwählbares graphisches Element 3 im Sinne der vorliegenden Erfindung dar. Bei den weiteren, auf gleichartige Weise in der Fig. dargestellten Elementen kann es sich um weitere anwählbare, graphische Elemente handeln oder es können eines, mehrere oder alle davon zwar angezeigte, graphische Elemente sein, die jedoch bei einer gegebenen Situation oder grundsätzlich nicht anwählbar sind.In the figure, the display area is in both states 1 a square element with the reference numeral 3 provided and this element provides a selectable graphic element 3 In the context of the present invention, the other elements shown in the same way in the figure can be further selectable graphic elements or they can be one, several or all of the graphic elements displayed, but which are in one given situation or in principle are not selectable.

Bei einem anwählbaren, graphischen Element 3 gemäß der vorliegenden Erfindung kann es sich bspw. um ein Icon oder ein anderes graphisches Objekt handeln, das optisch abgegrenzt ist von seiner Umgebung und räumlich abgegrenzt ist von anderen angezeigten graphischen Elementen in oder auf der Anzeigefläche und bei dessen Betätigung ein Programm oder eine App gestartet wird, ein Ordner oder eine Datei geöffnet wird, Informationen angezeigt, eine Einrichtung gestartet oder gestoppt (aktiviert oder deaktiviert), oder Einstellungen oder Verstellungen bei einer Einrichtung vorgenommen werden können. Bei einem nicht anwählbaren, graphischen Element kann es sich bspw. um ein solches handeln, mit dem ausschließlich eine Information angezeigt wird, etwa eine Temperatur oder ein Status einer Einrichtung.With a selectable graphic element 3 For example, according to the present invention, it may be an icon or other graphical object optically distinct from its environment and spatially bounded by other displayed graphical elements in or on the display surface and when launched, a program or app launched When a folder or file is opened, information is displayed, a device is started or stopped (enabled or disabled), or settings or adjustments can be made to a device. A non-selectable graphical element may, for example, be one that displays only information, such as a temperature or status of a device.

Wie im oberen Teil der Fig. schematisch dargestellt ist, „überdeckt” die Linie, die das Cursor-Symbol 2 bildet, zwar bestimmte Bereiche von einigen angezeigten, graphischen Elementen. Die verbleibenden Bereiche der betroffenen Elemente, die sich innerhalb der von der Linie umschlossenen Fläche des Cursor-Symbols 2 befinden und die gänzlich innerhalb dieser Fläche angezeigten graphischen Element werden aber bevorzugt auf die gleiche Art und Weise angezeigt, wie diejenigen Elemente und Bestandteile von Elementen, die sich außerhalb des Cursor-Symbols 2 befinden. Hierdurch wird sichergestellt, dass ein Bediener des interaktiven Bediensystems jederzeit die dargestellten graphischen Elemente sehen und deren Bedeutung erkennen kann.As shown schematically in the upper part of the figure, the line "overlaps" the cursor symbol 2 Although certain areas of some displayed, graphic elements. The remaining areas of the affected elements that are inside the area enclosed by the line of the cursor icon 2 However, the graphical elements displayed entirely within this area are preferably displayed in the same manner as those elements and constituents of elements located outside the cursor icon 2 are located. This ensures that an operator of the interactive control system can at any time see the graphic elements displayed and recognize their meaning.

Wird von der Auswertungseinrichtung eine freie Geste einer Hand im Erfassungsbereich der Sensoreinrichtung erkannt, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen (wie sie bspw. durch die beiden auf der rechten Seite der Fig. dargestellten Handhaltungen symbolisiert ist), wird von der Steuerungseinrichtung aufgrund der von der Auswertungseinrichtung an sie übermittelten Daten das angezeigte Cursor-Symbol 2 derart verändert, dass die von der geschlossenen Kurve oder der Kanten des Polygons umfasste Fläche von einer ersten, größeren Fläche auf eine zweite, kleinere Fläche verkleinert wird.Is recognized by the evaluation device a free gesture of a hand in the detection range of the sensor device in which at least two fingers of the hand from a first, greater distance to a second, smaller distance to each other to move (as they, for example, by the two on the right side the hand positions shown in FIG.) is symbolized), the control device displays the displayed cursor symbol on the basis of the data transmitted to it by the evaluation device 2 changed such that the area covered by the closed curve or the edges of the polygon is reduced from a first, larger area to a second, smaller area.

Gemäß der in der Fig. schematisch dargestellten, bevorzugten Ausführungsform der vorliegenden Erfindung wird in einem solchen Fall nicht nur die von dem Cursor-Symbol 2 umfasst Fläche in oder auf der Anzeigefläche verkleinert, sondern auch dasjenige in oder auf der Anzeigefläche 1 angezeigte, anwählbare, graphische Element 3 ermittelt, dessen Flächenschwerpunkt den kleinsten Abstand zu dem Flächenschwerpunkt des in oder auf der Anzeigefläche 1 angezeigten Cursor-Symbols 2 aufweist und für den Fall, dass der Abstand einen ersten Wert ungleich Null aufweist, die Position des Flächenschwerpunkts des angezeigten Cursor-Symbols 2 während der Verkleinerung des, angezeigten Cursor-Symbols 2 derart automatisch verschoben, dass der Abstand zwischen dem Flächenschwerpunkt des angezeigten Cursor-Symbols 2 und dem Flächenschwerpunkt des ermittelten, angezeigten Elements 3 einen zweiten Wert annimmt, der näher Null ist als der erste Wert und bevorzugt Null ist.According to the preferred embodiment of the present invention schematically illustrated in the figure, in such a case, not only that of the cursor icon 2 includes reduced area in or on the display area, but also that in or on the display area 1 displayed, selectable, graphic element 3 whose area centroid is the smallest distance to the centroid of the in or on the display area 1 displayed cursor symbol 2 and, in the case where the distance has a first non-zero value, the position of the centroid of the displayed cursor icon 2 during the reduction of the displayed cursor symbol 2 so automatically shifted that the distance between the centroid of the displayed cursor icon 2 and the centroid of the detected displayed element 3 assumes a second value which is closer to zero than the first value and is preferably zero.

Im unteren Bereich der Fig. ist ein Zustand am Ende dieses Vorgangs schematisch dargestellt. Es wurde zu Beginn der Durchführung der Handgeste festgestellt, dass der Flächenschwerpunkt (hier der Mittelpunkt) des angezeigten, anwählbaren Elements 3 den geringsten Abstand zum Flächenschwerpunkt (hier der Mittelpunkt) des Cursor-Symbols 2 aufweist. Während der Verkleinerung der von dem Cursor-Symbol 2 umfassten Fläche wurde daher auch der Abstand zwischen den beiden Flächenschwerpunkten durch ein automatisches Verschieben des Flächenschwerpunkts des Cursor-Symbols 2 so weit verringert, dass diese nun bei dem im unteren Bereich der Fig. dargestellten Zustand die gleiche Position in oder auf der Anzeigefläche 1 einnehmen.In the lower part of the figure, a state at the end of this process is shown schematically. It was noted at the beginning of the hand gesture that the centroid (here the midpoint) of the displayed, selectable element 3 the smallest distance to the centroid (here the midpoint) of the cursor symbol 2 having. During the reduction of the cursor icon 2 Therefore, the included area was also the distance between the two centroids by an automatic shifting of the center of gravity of the cursor symbol 2 reduced so that they now in the state shown in the lower part of the figure the same position in or on the display surface 1 taking.

Im unteren Bereich der Fig. ist darüber hinaus auch eine weitere vorteilhafte Ausgestaltung der vorliegenden Erfindung dargestellt, nämlich dass die zweite, kleinere von dem angezeigten Cursor-Symbol 2 umfasste Fläche nur auf eine solche Größe gesteuert wird, dass die von der geschlossenen Kurve oder den Kanten des Polygons umschlossene Fläche des angezeigten Cursor-Symbols 2 im Bereich von 50% bis 200%, bevorzugt im Bereich von 75% bis 175%, besonders bevorzugt im Bereich von 90% bis 150% der Fläche des angezeigten graphischen Elements 3 ist.In the lower part of the figure, moreover, a further advantageous embodiment of the present invention is shown, namely that the second, smaller of the displayed cursor symbol 2 surface is only controlled to such a size that the enclosed by the closed curve or the edges of the polygon area of the displayed cursor symbol 2 in the range of 50% to 200%, preferably in the range of 75% to 175%, more preferably in the range of 90% to 150% of the area of the indicated graphic element 3 is.

Hierdurch ist sichergestellt, dass das anwählbare graphische Element für einen Bediener des interaktiven Bediensystems auch „im gegriffenen Zustand” innerhalb des Cursor-Symbols 2 sichtbar bleibt und somit keine Unsicherheit über die Bedeutung und den Typ des „gegriffenen” graphischen Elements aufkommen kann.This ensures that the selectable graphical element for an operator of the interactive control system also "in the gripped state" within the cursor icon 2 remains visible and thus no uncertainty about the meaning and type of the "gripped" graphic element can arise.

Es ist selbstverständlich, dass ein Fachmann die Form der angezeigten, anwählbaren, graphischen Elemente 3 und/oder die Form des Cursor-Symbols 2 in geeigneter Weise wählen wird, dass bspw. bei anwählbaren, graphischen Elementen 3, deren Außenumfang im Wesentlichen quadratisch ist, auch ein entsprechend „gleichmäßig” geformtes Cursor-Symbol 2 gewählt wird, bspw. in Form eines kreisförmigen Rings, eines gleichschenkeligen Dreiecks, eines Quadrats, oder eines anderen einfachen Polygons, deren Kanten eine gleiche Länge aufweisen.It will be understood that one skilled in the art will appreciate the form of the displayed, selectable, graphic elements 3 and / or the shape of the cursor icon 2 suitably choose, for example, in selectable, graphic elements 3 whose outer circumference is substantially square, also a correspondingly "evenly" shaped cursor symbol 2 is chosen, for example, in the form of a circular ring, an isosceles triangle, a square, or another simple polygon whose edges have an equal length.

Ist eine Situation gegeben, wie sie im unteren Bereich der Fig. dargestellt ist, befindet sich das graphische Element 3 in einem „angewählten Zustand”. In einem solchen Zustand kann die Art und Weise der Anzeige des angewählten Elements 3 geändert werden, bspw. kann das angewählte graphische Element 3 in einer anderen Farbe, anderen Helligkeit, einer sich periodisch verändernden Farbe und/oder einer sich periodisch verändernden Helligkeit angezeigt werden, als vor dem „angewählten Zustand”. Auch kann bspw. vorgesehen sein, dass ein auf den „angewählten Zustand” hinweisender Signalton oder entsprechender gesprochener Hinweis an den Bediener des interaktiven Bediensystems ausgegeben wird.If there is a situation as shown in the lower part of the figure, the graphical element is located 3 in a "selected state". In such a state, the way of displaying the selected item 3 can be changed, for example, the selected graphical element 3 in a different color, different brightness, a periodically changing color and / or a periodically changing brightness, than before the "selected state". It may also be provided, for example, that a signal tone indicative of the "selected state" or corresponding spoken information is output to the operator of the interactive operating system.

Ist eine Situation gegeben, wie sie im unteren Bereich der Fig. dargestellt ist, kann weiter in vorteilhafter Weise vorgesehen sein, dass die Steuerungseinrichtung weiter dazu eingerichtet ist, das Cursor-Symbol 2 so lange mit der zweiten, kleineren Fläche anzuzeigen, solange die wenigstens zwei Finger der die freie Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander aufweisen. Auch kann weiter vorgesehen sein, dass die Position des eine zweite, kleinere Fläche in oder auf der Anzeigeeinrichtung umfassenden, angezeigten Cursor-Symbols 2 entsprechend einer Bewegung der die Geste durchführenden Hand innerhalb des Erfassungsbereichs verändert wird, wobei wahlweise vorgesehen sein kann, dass eine Veränderung der Position des angezeigten Cursor-Symbols 2 erst nach Durchführung einer Bewegung der Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt.If a situation is given, as shown in the lower area of the FIGURE, it can further be provided in an advantageous manner that the control device is further adapted to the cursor symbol 2 indicate as long with the second, smaller area, as long as the at least two fingers of the free gesture performing hand within the detection area have a second, smaller distance from each other. It can also be provided that the position of the displayed, a smaller, smaller area in or on the display device, displayed cursor symbol 2 is changed in accordance with a movement of the gesture performing hand within the detection range, wherein optionally may be provided that a change in the position of the displayed cursor icon 2 only after a movement of the hand over a predetermined minimum path length within the detection range takes place.

Die oben erwähnte, bevorzugte und automatische Annäherung des Flächenschwerpunkts des Cursor-Symbols 2 an den Flächenschwerpunkt des nächstgelegenen, angezeigtem, anwählbarem, graphischen Elements 3 soll dazu dienen, einem Bediener des interaktiven Bediensystems das „Anwählen” (Zielen und Zielhalten) eines derartigen graphischen Elements 3 zu erleichtern, indem quasi „magnetisch” und für den Bediener oftmals kaum wahrnehmbar der Flächenschwerpunkt des Cursor-Symbols 2 in Richtung des nächstgelegen, anwählbaren, graphischen Elements 3 „gezogen wird.The above-mentioned, preferred and automatic approximation of the centroid of the cursor symbol 2 to the centroid of the nearest, displayed, selectable, graphical element 3 is intended to serve an operator of the interactive control system to "select" (aim and aim) such a graphical element 3 To facilitate, by quasi "magnetic" and often barely perceptible for the operator, the centroid of the cursor symbol 2 in the direction of the nearest, selectable, graphic element 3 "Is pulled.

Sollte das angewählte graphische Element 3 nun nicht das vom Bediener gewünschte graphische Element 3 sein oder dieser ein anderes als das aktuell angewählte graphische Element anwählen wollen, so kann dies gemäß der vorstehend erwähnten Ausgestaltung des interaktiven Bediensystems auf einfache Weise dadurch erfolgen, dass der Bediener die Endposition seiner Finger nach Durchführung der Geste (zumindest in etwa) beibehält und eine Bewegung dieser Hand innerhalb des Erfassungsbereichs der Sensoreinrichtung durchführt, die als eine zur Veränderung der Position des Cursor-Symbols 2 erkannt wird.Should the selected graphic element 3 not the graphic element desired by the operator 3 be or choose this other than the currently selected graphical element, this can be done in a simple manner according to the above-mentioned embodiment of the interactive control system in that the operator the end position of his fingers after performing the gesture (at least approximately) maintains and a Movement of this hand within the detection range of the sensor device performs, as a to change the position of the cursor icon 2 is recognized.

Da bspw. in einem sich in Fahrt befindlichen Fahrzeug die Bewegung einer sich frei im Raum befindlichen Hand oftmals recht unruhig ist, kann hierbei vorgesehen sein, dass die „quasi magnetische Anhaftung” des Cursor-Symbols 2 bei dem angewählten Element 3 erst dann aufgehoben wird, wenn eine Bewegung der Hand über eine vorgebbare Mindestweglänge innerhalb des Erfassungsbereichs erfolgt ist, also davon ausgegangen werden kann, dass der Bediener des interaktiven Bediensystems bewusst ein anderes anwählbares graphisches Element anwählen möchte. Since, for example, in a vehicle in motion, the movement of a hand freely in the room is often quite restless, it can be provided that the "quasi magnetic adhesion" of the cursor symbol 2 at the selected element 3 is only canceled when a movement of the hand has taken place over a predetermined minimum distance within the detection range, so it can be assumed that the operator of the interactive control system deliberately wants to select another selectable graphical element.

Da das interaktive Bediensystem dazu vorgesehen ist, alle denkbaren und möglichen Einrichtungen, wie etwa eine beliebige Maschine, eine Anlage (Produktions- oder Arbeits-Anlage mit mehreren Einrichtungen), ein Fahrzeug, eine fahrzeugseitige Einrichtung, eine mobile oder stationäre, elektronische Einrichtung, wie etwa ein Mobiltelefon (Smartphone), ein Tablet-Computer, ein Personal-Computer, eine Einrichtung aus dem Bereich der Unterhaltungselektronik, etc. oder Teile davon bedienen zu können und/oder Bestandteil einer solchen Einrichtung zu sein, kann in vorteilhafter Weise weiter vorgesehen sein, dass nach Erreichen eines zweiten, kleineren Abstands der wenigstens zwei Finger der die freie Geste durchführenden Hand eine Aktion in Bezug auf dasjenige angezeigte, anwählbare graphische Element 3 ausgeführt wird, dessen Flächenschwerpunkt den kleinsten Abstand zum Flächenschwerpunkt des Cursor-Symbols 2 aufweist, wobei die Aktion diesem graphischen Element 3 vorab zugeordnet wurde, sofern wahlweise die wenigstens zwei Finger der die Geste durchführenden Hand innerhalb des Erfassungsbereichs einen zweiten, kleineren Abstand zueinander für einen vorgebbaren Zeitraum beibehalten oder innerhalb eines vorgebbaren Zeitraums eine weitere Bedienhandlung durch einen Bediener des interaktiven Bediensystems erfolgt.Since the interactive operating system is provided to all conceivable and possible facilities, such as any machine, a plant (production or work facility with multiple facilities), a vehicle, a vehicle-mounted device, a mobile or stationary electronic device such such as a mobile phone (smartphone), a tablet computer, a personal computer, a device in the field of consumer electronics, etc. or to be able to serve parts thereof and / or to be part of such a device may be further provided in an advantageous manner in that, after reaching a second, smaller distance, the at least two fingers of the free gesture hand perform an action with respect to the displayed selectable graphical element 3 whose centroid is the smallest distance to the centroid of the cursor symbol 2 wherein the action is that graphic element 3 has been assigned in advance, if optionally the at least two fingers of the gesture performing hand within the detection range maintained a second, smaller distance from each other for a predetermined period or within a predetermined period another action by an operator of the interactive control system.

Die ausgeführte „Aktion” ist nicht besonders beschränkt und kann etwa die Aktionen umfassen, die üblicherweise Gegenstand der Bedienung eines stationären oder mobilen Computers (etwa Personal-Computer, Tablet-Computer), eines Mobiltelefons (etwa Smartphone), einer Maschine oder Anlage sind, wie etwa das Starten oder Schließen eines Programms bzw. einer App, das Öffnen oder Schließen einer Datei, das Vornehmen von Einstellungen oder von Auswahlen bei einem Programm bzw. einer App, das Bearbeiten von Dateien, die Veränderung von Parametern und/oder die Erzeugung und Übermittlung von Steuerungsbefehlen, etc.The "action" taken is not particularly limited and may include, for example, the actions that are usually the subject of operating a stationary or mobile computer (such as personal computer, tablet computer), a mobile phone (such as a smartphone), a machine, or an attachment. such as starting or closing a program or app, opening or closing a file, making settings or selections in a program or app, editing files, changing parameters and / or creation, and Transmission of control commands, etc.

Auch die weitere Bedienhandlung (als erste Bedienhandlung wird hier die Geste des Bedieners im Erfassungsbereich der Sensoreinrichtung, bei der sich wenigstens zwei Finger einer Hand von einem ersten, größeren Abstand auf einen zweiten kleineren Abstand aufeinander zu bewegen, angesehen) ist nicht besonders beschränkt und es kann sich bei dieser weiteren Bedienhandlung bspw. um eine weitere Geste, eine Betätigungshandlung bei einer Bedieneinrichtung (einem Schalter, einer Wippe, einem Touchpad, etc.) oder einen Sprachbefehl handeln.The further operating action (the first operating action here is the gesture of the operator in the detection range of the sensor device, in which at least two fingers of a hand move from a first, larger distance to a second smaller distance toward one another) is not particularly limited and it For example, this further operator action may be a further gesture, an actuating action with an operating device (a switch, a rocker, a touchpad, etc.) or a voice command.

Ist als weitere Bedienhandlung eine Geste vorgesehen, kann diese etwa ein Drehen der Hand, eine Bewegung der Hand in Richtung der (realen oder virtuellen) Anzeigefläche („Drücken”) und/oder eine Bewegung der Hand von der (realen oder virtuellen) Anzeigefläche weg („Ziehen”) – jeweils im Erfassungsbereich der Sensoreinrichtung – umfassen, wobei die letztgenannte Bedienhandlung in vorteilhafter Weise oftmals von den derzeit verfügbaren Sensor- und Auswertungseinrichtungen am sichersten erkannt wird.If a gesture is provided as a further operating action, this may be a turning of the hand, a movement of the hand in the direction of the (real or virtual) display area ("pressing") and / or a movement of the hand away from the (real or virtual) display area ("Pulling") - in each case in the detection range of the sensor device - include, the latter operating action is often detected in an advantageous manner most secure from the currently available sensor and evaluation devices.

Wie oben bereits erwähnt, ist das interaktive Bediensystem gemäß der vorliegenden Erfindung dazu vorgesehen, alle denkbaren und möglichen Einrichtungen, wie etwa eine beliebige Maschine, eine Anlage (Produktions- oder Arbeits-Anlage mit mehreren Einrichtungen), ein Fahrzeug, eine fahrzeugseitige Einrichtung, eine mobile oder stationäre, elektronische Einrichtung, wie etwa ein Mobiltelefon (Smartphone), ein Tablet-Computer, ein Personal-Computer, eine Einrichtung aus dem Bereich der Unterhaltungselektronik, etc. oder einen Teil davon bedienen zu können oder Bestandteil einer solchen Einrichtung zu sein.As already mentioned above, the interactive operating system according to the present invention is intended to include all conceivable and possible devices, such as any machine, a plant (production or work facility with multiple facilities), a vehicle, a vehicle-mounted facility, a mobile or stationary electronic device, such as a mobile phone (smartphone), a tablet computer, a personal computer, a consumer electronics device, etc., or to serve a part thereof or to be part of such a device.

Dies bedeutet, dass das interaktive Bediensystem etwa ein Bestandteil eines Mobiltelefons, eines persönlichen digitalen Assistenten, eines Tablet-PC, einer mobilen oder stationären Einrichtung zur Wiedergabe von Musik- und/oder Videodaten, einer Spielkonsole, eines Fernsehers, etc. sein kann, ebenso wie es Bestandteil einer beliebigen Maschine (wie etwa einem Kraftfahrzeug) oder Anlage oder ein Bestandteil einer Einrichtung einer Maschine (wie etwa einem Fahrerassistenz-System) oder Anlage sein kann.This means that the interactive control system may be part of a mobile phone, a personal digital assistant, a tablet PC, a mobile or stationary device for playing music and / or video data, a game console, a television, etc., as well as may be part of any machine (such as a motor vehicle) or plant or component of a machine (such as a driver assistance system) or equipment.

In den vorstehend genannten Fällen umfassen daher die genannten Geräte, Maschinen und Anlagen, etc. sämtliche Elemente des interaktiven Bediensystems, also eine jeweils entsprechend der vorliegenden Erfindung eingerichtete Sensoreinrichtung, Auswertungseinrichtung, Anzeigeeinrichtung und Steuerungseinrichtung.In the abovementioned cases, therefore, the devices, machines and systems mentioned, etc., comprise all the elements of the interactive operating system, that is to say a sensor device, evaluation device, display device and control device respectively configured according to the present invention.

Einzelne oder alle Elemente des interaktiven Bediensystems können jedoch auch getrennt von den genannten Geräten, Maschinen, Anlagen, etc. vorliegen bzw. vorgesehen sein, d. h. es können die Sensoreinrichtung, Auswertungseinrichtung, Anzeigeeinrichtung und/oder die Steuerungseinrichtung von dem Gerät, der Maschine, Anlage, etc. oder einem Teil davon getrennte Einrichtungen sein, oder es kann sich bei dem interaktiven Bediensystem um eine eigenständige Einrichtung handeln.However, individual or all elements of the interactive operating system can also be present or provided separately from the devices, machines, installations, etc., ie the sensor device, evaluation device, display device and / or the control device can be provided by the device, the machine or the system , etc. or be a part of it separate facilities, or it may be the interactive control system to a standalone facility.

Selbstverständlich ist von der vorliegenden Erfindung umfasst, dass mit nur einem interaktiven Bediensystem mehrere Einrichtungen, Geräte, Maschinen, Anlagen, etc., oder Teile davon bedient werden können.Of course, it is encompassed by the present invention that multiple devices, devices, machines, equipment, etc., or parts thereof can be operated with only one interactive operating system.

Bei dem interaktiven Bediensystem sind mehrfach Daten von einer Einrichtung zu einer anderen Einrichtung des interaktiven Bediensystems zu übermitteln. Auch sind oftmals Daten von dem interaktiven Bediensystem zu anderen Einrichtungen, wie etwa einem Gerät, einer Maschine, Anlage, etc. oder einem Teil davon zu übermitteln. Die Übermittlung kann dabei auf allen bekannten Arten und Weisen erfolgen, bspw. drahtgebunden, drahtlos (etwa mittels Funkwellen oder Licht) und/oder mittels eines Bussystems. Auch ist eine Übermittlung von Daten mit Hilfe eines Netzwerks (etwa einem Intranet oder dem Internet) von der vorliegenden Erfindung umfasst. In bevorzugter Weise werden Daten in digitaler Form übermittelt.In the interactive operating system, multiple data are to be transmitted from one device to another device of the interactive operating system. Also, data is often required to be communicated from the interactive control system to other devices such as a device, machine, equipment, etc. or part thereof. The transmission can be done in all known ways and ways, for example. Wired, wireless (such as by radio waves or light) and / or by means of a bus system. Also, transmission of data via a network (such as an intranet or the Internet) is encompassed by the present invention. Preferably, data is transmitted in digital form.

Sofern in der vorliegenden Anmeldung von einer freien Geste gesprochen wird, bei der sich wenigstens zwei Finger der Hand von einem ersten, größeren Abstand zu einem zweiten, kleineren Abstand aufeinander zu bewegen, so kann eine solche Geste bspw. ein aufeinander zu bewegen der Fingerspitzen von Daumen und Zeigefinger umfassen, ein aufeinander zu bewegen der Fingerspitzen von Daumen, Zeigefinger und Mittelfinger, ein aufeinander zu bewegen der Fingerspitzen von Daumen, Zeigefinger, Mittelfinger und Ringfinger, ein aufeinander zu bewegen der Fingerspitzen aller Finger einer Hand, oder auch eine Greifbewegung, bei der die Finger der Hand letztendlich eine Faust bilden.If in the present application of a free gesture is spoken, in which at least two fingers of the hand from a first, greater distance to a second, smaller distance to each other to move, so such a gesture, for example. A to move on the fingertips of The thumb and forefinger include moving the fingertips of the thumb, forefinger, and middle finger toward each other, moving toward one another the fingertips of the thumb, forefinger, middle finger, and ring finger, moving toward each other the fingertips of all the fingers of a hand, or even a gripping motion the fingers of the hand eventually form a fist.

Zusammenfassend kann man festhalten, dass eine Bedienung mittels freier Gesten zunehmend Einzug im Bereich der Unterhaltungselektronik findet und auch im Bereich der Kraftfahrzeuge erste Ansätze hierzu bekannt sind.In summary, it can be stated that an operation by means of free gestures is becoming increasingly popular in the field of consumer electronics and also in the field of motor vehicles first approaches are known.

Die Bedienung von grafischen Bedienschnittstellen auf Bildschirmen, Head-up-Displays oder Datenbrillen mit Hand- oder Arm-Gesten im freien Raum schließt die Möglichkeit einer haptischer Rückmeldung aus, so dass andere Modalitäten, insbesondere ein optisches Feedback für eine intuitive und flüssige Bedienung von besonderer Bedeutung sind.The operation of graphical user interfaces on screens, head-up displays or data glasses with hand or arm gestures in free space excludes the possibility of a haptic feedback, so that other modalities, in particular an optical feedback for intuitive and fluid operation of special Meaning are.

Die heute für die Bedienung mit einem Eingabegerät (wie Maus, Trackball, etc.) oder mit Fingern (Toucheingabe) verwendeten Eingabezeiger (Cursor-Symbole) sind für eine Bedienung mittels einer freien Geste nicht gut geeignet, da bei einer Bewegung der Hand im Raum die haptische Rückmeldung fehlt. Da die Hand hat keine Führung hat, wird die Positionierung eher grob im Vergleich zur Maus- oder Touchbedienung.The input pointers (cursor symbols) used today for operation with an input device (such as a mouse, trackball, etc.) or with fingers (touch input) are not well suited for operation by means of a free gesture, since a movement of the hand in space the haptic feedback is missing. Since the hand has no guidance, the positioning is rather crude compared to the mouse or touch control.

Eine Bedienung mit freien Gesten kommt häufig auch genau dann zu Einsatz, wenn die Anzeigeeinrichtung selbst oder Bedienelemente an der Anzeigeeinrichtung nicht mehr im Greifbereich des Bedieners liegen, also nicht erreicht werden können. Dann sind die heute üblichen Eingabezeiger (Cursor-Symbole) zu klein, um eine entspannte, flüssige Bedienung zu ermöglichen.An operation with free gestures is often used exactly when the display device itself or controls on the display device are no longer in the gripping area of the operator, so can not be achieved. Then the usual input pointers (cursor symbols) are too small to allow relaxed, smooth operation.

Erfindungsgemäß wird ein Eingabezeiger in Form einer geschlossenen Kurve (bspw. in Form eines Rings) oder eines Polygons vorgeschlagen, dessen Größe (bevorzugt dynamisch) veränderbar ist.According to the invention, an input pointer is proposed in the form of a closed curve (for example in the form of a ring) or a polygon whose size can be changed (preferably dynamically).

Geht man einmal rein beispielhaft von einer erfindungsgemäßen Anzeige des Eingabezeigers in Form eines Ring aus, ist vorgesehen, dass sich bei einem „Zugreifen” (Durchführen einer Geste mit einer Hand im Erfassungsbereich der Sensoreinrichtung, bei der sich zumindest zwei Finger der Hand aufeinander zu bewegen) des Bedieners der Ring-Durchmesser verkleinert, so dass eine direkte Rückmeldung zur Greifbewegung gegeben ist. Der Durchmesser des Eingabezeigers ist somit bevorzugt dynamisch veränderbar.Assuming purely by way of example of a display according to the invention of the input pointer in the form of a ring, it is provided that at least two fingers of the hand move toward one another upon "accessing" (performing a gesture with one hand in the detection area of the sensor device ) of the operator of the ring diameter reduced, so that a direct feedback is given to the gripping movement. The diameter of the input pointer is thus preferably dynamically changeable.

Ein Ring als Eingabezeiger kann deutlich größer sein als ein Pfeil, ohne relevante Objekte (etwa anwählbare, graphische Elemente) zu verdecken, weil das Innere (das Zentrum) des Rings ja nicht überdeckt, sondern umkreist ist.A ring as an input pointer can be significantly larger than an arrow, without obscuring relevant objects (such as selectable, graphic elements), because the interior (the center) of the ring is not covered, but encircled.

Das Anwählen („Greifen”) des grafischen Elements durch den Bediener wird gemäß der vorliegenden Erfindung durch einen sich verkleinernden Ring direkt wiedergegeben.The operator's "picking" of the graphical element is directly reflected by a decreasing ring according to the present invention.

Wenn gleichzeitig zum „Greifen” der Ring nicht nur verkleinert, sondern auch noch auf die Mitte (Flächenschwerpunkt) des nächstliegenden Objekts zentriert wird, wird dem Bediener das genaue Zielen und Zielhalten während des „Greifens” und nach dem „Greifen” abgenommen. Die Bedienung wird einfach und flüssig.If, at the same time as "gripping", the ring is not only reduced in size, but also centered on the center (area centroid) of the nearest object, the operator is taken off the exact aiming and aiming during "gripping" and "gripping". The operation is simple and fluid.

Für die technische Umsetzung sind geeignete Sensoren (etwa 2D/3D-Kamera(s), etc.) vorgesehen, die einen Gesten-Bedienraum erfassen.For the technical implementation suitable sensors (such as 2D / 3D camera (s), etc.) are provided, which detect a gesture control room.

Mit dem Gestensensor wird ein „Schließen der Hand” (die Durchführung der oben erwähnten Geste) erkannt und (möglichst) parallel dazu der Durchmesser des Rings verkleinert. Der kleinste Durchmesser (bei geschlossener Hand bzw. bei Beendigung des sich aufeinander zu Bewegens der wenigstens zwei Finger) sollte bevorzugt nicht viel kleiner sein als das „gegriffene” grafische Objekt (Element), so dass dieses auch im „gegriffenen Zustand” im Ring sichtbar bleibt.With the gesture sensor, a "closing the hand" (the implementation of the above-mentioned gesture) is detected and (possibly) parallel to the diameter of the ring reduced. The smallest diameter (with the hand closed or at the end of each other to move the at least two fingers) should preferably not be much smaller than the "gripped" graphic object (element), so that this remains visible even in the "gripped state" in the ring.

Idealerweise wird während des Greifens der Ring auf die Mitte (den Flächenschwerpunkt) des zu greifenden Objekts zentriert. Dann ist dieses Objekt im gegriffenen Zustand genau umringt. Hierdurch wird ein perfektes visuelles Feedback für den Greifvorgang bei der Gestenbedienung erreicht.Ideally, during gripping, the ring is centered on the center (centroid) of the object to be gripped. Then this object is exactly encircled in the gripped state. This provides perfect visual feedback for the gesture operation during gesture operation.

Durch die vorliegende Erfindung wird ein interaktives Bediensystem und ein Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem zur Verfügung gestellt, bei der die Bedienung an sich und die Präsentation von Bildinhalten in einer Art und Weise erfolgen, die auf die physischen Gegebenheiten des Menschen in besonderem Maße Rücksicht nimmt und diese in besonders zweckmäßiger Weise gestaltet. Die vorliegende Erfindung berücksichtigt insbesondere den Umstand, dass bei einer Bedienung mittels einer freien Handgeste im Raum aufgrund der physischen Gegebenheiten eines Menschen die Bedienung nur vergleichsweise ungenau erfolgen kann. Auch gestaltet die vorliegende Erfindung die Wahrnehmung von gezeigter Informationen dadurch für einen Menschen in besonders zweckmäßiger Weise, indem diese Information eine dynamische Größenveränderung von angezeigten Elementen umfasst, wobei die Wahrnehmungsmöglichkeit nochmals dadurch verbessert oder wird, dass bevorzugt auch eine unmittelbare Korrelation zwischen der Durchführung einer Handlung (Handgeste) und einer sich in oder auf einer Anzeigefläche dynamisch verändernden Darstellung vorgesehen ist.The present invention provides an interactive operator control system and method for performing an operator action in an interactive operator system in which the operator-in-itself and the presentation of image content occur in a manner that is specific to the physical characteristics of the human Measures consideration and this designed in a particularly appropriate manner. In particular, the present invention takes into account the circumstance that, in the case of an operation by means of a free hand gesture in the room, the operation can only be carried out comparatively inaccurately on account of the physical conditions of a person. The present invention also makes the perception of displayed information for a human in a particularly expedient manner, in that this information comprises a dynamic resizing of displayed elements, wherein the perception possibility is improved or improved again, preferably also an immediate correlation between the performance of an action (Hand gesture) and is provided in or on a display area dynamically changing representation.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102013207528 A1 [0003]
DE 102013215370 A1 [0005]

Claims

Interactive operating system with a sensor device for acquiring image data in chronological sequence within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device, an evaluation device for evaluating the image data transmitted by the sensor device and for transmitting data relating to a value determined by the evaluation Position of a detected hand within the detection area to a control device, - a display device with a display surface ( 1 ), in or on one or more by means of a displayable cursor symbol ( 2 ) selectable graphic elements ( 3 ) can be displayed, and - a control device, by means of the data transmitted by the evaluation device, the cursor icon ( 2 ) depending on a position of the hand in the detection area in or on the display surface ( 1 ) of the display device, characterized in that - the evaluation device is set up to evaluate the image data transmitted to it by the sensor device to determine whether a detected hand performs a gesture within the detection range in which at least two fingers of the hand from a first, greater distance to a second, smaller distance to each other to move, and to transmit corresponding data to the control device, and - the control device is adapted to control the display device such that the cursor icon ( 2 ) in the form of a closed curve or in the form of the edges of a polygon in or on the display surface ( 1 ) is displayed, and that on transmission of data of such a gesture by the evaluation device, the size of the in or on the display area ( 1 ) displayed cursor symbol ( 2 ) is changed such that the area encompassed by the closed curve or the edges of the polygon is reduced from a first, larger area to a second, smaller area.

Interactive operating system according to claim 1, characterized in that the control device is further adapted to that in or on the display surface ( 1 ) displayed, selectable, graphic element ( 3 ) whose area centroid is the smallest distance to the centroid of the area in or on the display area ( 1 ) displayed cursor symbol ( 2 ) and, in the case where the distance has a first non-zero value, the position of the centroid of the displayed cursor symbol ( 2 ) while changing the area of the displayed cursor symbol ( 2 ) automatically move from the first, larger area to the second, smaller area such that the distance between the centroid of the displayed cursor symbol ( 2 ) and the centroid of the detected, displayed graphical element ( 3 ) assumes a second value that is closer to zero than the first value and is preferably zero.

Interactive operating system according to claim 2, characterized in that the control device is further adapted to the second, smaller, of the cursor icon ( 2 ) to control the area covered to such an extent that the area of the displayed cursor symbol enclosed by the closed curve or the edges of the polygon ( 2 ) in the range of 50% to 200%, preferably in the range of 75% to 175%, more preferably in the range of 90% to 150% of the area of the displayed graphic element ( 3 ) is.

Interactive operating system according to one of the preceding claims, characterized in that the control device is further adapted to hold the cursor symbol ( 2 ) with a second, smaller area in or on the display surface ( 1 ) as long as the at least two fingers of the hand performing the gesture have a second, smaller distance from each other within the detection area.

Interactive operating system according to claim 4, characterized in that the control device is further adapted to adjust the position of a second, smaller area in or on the display surface ( 1 ), displayed cursor symbol ( 2 ) according to a movement of the gesture performing hand within the detection area, wherein optionally can be provided that a change in the position of the displayed cursor icon ( 2 ) takes place after a movement of this hand over a predetermined minimum path length within the detection range.

An interactive operator system according to any one of the preceding claims, characterized in that the controller is further adapted to, upon reaching the second or second smaller distance of the at least two fingers of the gesture hand, take action on the displayed selectable graphical element ( 3 ) whose centroid is the smallest distance to the centroid of the cursor symbol ( 2 ), the action corresponding to this graphical element ( 3 ) was assigned in advance, provided that optionally the at least two fingers of the gesture performing hand within the detection range a second, smaller distance from each other for a predetermined Preserve period or within a predetermined period, another operator action is performed by an operator of the interactive control system.

Interactive operating system according to one of the preceding claims, characterized in that the display device comprises a graphics-capable screen, a head-up display or a data glasses.

Interactive operating system according to one of the preceding claims, characterized in that the sensor device one or more visible light camera devices, one or more infrared light camera devices, one or more radar devices, and / or one or more time-of-flight Facilities includes.

Method for carrying out an operator action in an interactive operating system, comprising a sensor device for acquiring image data in chronological order within a detection range of the sensor device and for transmitting the acquired image data to an evaluation device, an evaluation device for evaluating the image data transmitted by the sensor device and for transmission data relating to a position of a detected hand within the detection range determined by the evaluation, to a control device, a display device with a display surface in or on which one or more graphic elements which can be selected by means of a displayable cursor symbol can be displayed, and a control device, by means of the data transmitted by the evaluation device, the cursor symbol as a function of a position of the hand in the detection area in or on the display surface of the display direction is displayed, characterized in that the method comprises the following steps: displaying a cursor symbol in dependence on a position of a hand in the detection range of a sensor device in the form of a closed curve or in the form of the edges of a polygon in or on one Display area of a display device, wherein the surface encompassed by the closed curve or the edges of the polygon has a first, larger area, - evaluating image data of the sensor device to determine whether a detected hand within a detection range performs a gesture in which at least two fingers of the Moving from a first, greater distance to a second, smaller distance, and changing the size of the cursor symbol displayed in or on the display surface such that the area enclosed by the closed curve or the edges of the polygon is different from the first one , larger area on a zw smaller area, if the performance of such a gesture is detected within the coverage area.

A method according to claim 9, characterized in that it further comprises: - determining the selectable, graphic element displayed in or on the display surface whose centroid has the smallest distance to the centroid of the cursor symbol displayed in or on the display surface and for the Case that the distance has a first non-zero value, automatically shifting the position of the centroid of the displayed cursor symbol during the change of the area enclosed by the displayed cursor symbol from the first, larger area to the second, smaller area such that the distance between the centroid of the displayed cursor symbol and the centroid of the detected displayed element assumes a second value that is closer to zero than the first value, and preferably zero, and / or after reaching the second one or less distances at least two fingers the gesture-executing hand of an action with respect to the selectable graphical element displayed in or on the display area whose centroid has the smallest distance to the centroid of the cursor symbol, the action having been pre-assigned to that graphic element, if the at least two fingers of the gesture performing hand within the detection range maintained the second, smaller distance from each other for a predetermined period or within a predetermined period of time, another operator action by an operator of the interactive control system.