DE102013014889A1

DE102013014889A1 - Mouse pointer control for an operating device

Info

Publication number: DE102013014889A1
Application number: DE201310014889
Authority: DE
Inventors: Ulrich Müller; Marcus Kühne
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2013-09-06
Filing date: 2013-09-06
Publication date: 2015-03-12

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienvorrichtung (10) für ein elektronisches Gerät (12), indem durch eine Kamera (14) ein erstes Körperteil (22) und ein zweites Körperteil (24) eines Benutzers gefilmt werden, durch eine Bildverarbeitungseinrichtung (16) in Kamerabildern (V) der Kamera (14) das erste Körperteil (22) und das zweite Körperteil (24) erkannt werden, durch eine graphische Benutzerschnittstelle (26) ein Auswahlelement (36) zum Auswählen zumindest einer Funktion (F1, F2, F3, F4) des elektronischen Geräts (12) angezeigt wird und durch eine Steuereinrichtung (18) das Auswahlelement (36) in der graphischen Benutzerschnittstelle (26) positioniert wird, um hierdurch die Auswahl festzulegen. Es sollen räumliche Einschränkungen beim Bedienen der Bedienvorrichtung (10) beseitigt werden. Durch die Bildverarbeitungseinrichtung (16) wird hierzu anhand der Kamerabilder (V) eine Relativbewegung (48) des zweiten Körperteils (24) bezüglich des ersten Körperteils (22) ermittelt und durch die Steuereinrichtung (18) das Auswahlelement (36) in Abhängigkeit von der erfassten Relativbewegung (48) positioniert.The invention relates to a method for operating an operating device (10) for an electronic device (12) in that a first body part (22) and a second body part (24) of a user are filmed by a camera (14) by an image processing device (16 ) in camera images (V) of the camera (14) the first body part (22) and the second body part (24) are detected by a graphical user interface (26) a selection element (36) for selecting at least one function (F1, F2, F3 F4) of the electronic device (12) is displayed and by a control device (18) the selection element (36) is positioned in the graphical user interface (26) to thereby determine the selection. It should be eliminated spatial restrictions when operating the operating device (10). For this purpose, a relative movement (48) of the second body part (24) with respect to the first body part (22) is determined by the image processing device (16) on the basis of the camera images (V) and the selection element (36) is detected by the control device (18) as a function of the detected Relative movement (48) positioned.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienvorrichtung für ein mobiles elektronisches Gerät, z. B. ein Infotainmentsystem oder eine Datenbrille. Durch das Gerät wird zumindest eine Funktion bereitgestellt, also z. B. eine Navigationsassistenz oder Mobiltelefonie. Die Bedienvorrichtung weist zudem eine graphische Benutzerschnittstelle (GUI – Graphical User Interface) auf, mit der man über ein Auswahlelement, z. B. einen Cursor oder einen Mauszeiger oder eine Listenauswahl, eine der Funktionen des Geräts auswählen und aktivieren kann. Die Bedienvorrichtung weist zusätzlich eine Kamera und eine Bildverarbeitungseinrichtung für eine Gestenerkennung auf.The invention relates to a method for operating an operating device for a mobile electronic device, for. B. an infotainment system or a data glasses. By the device at least one function is provided, so z. B. a navigation assistant or mobile telephony. The operating device also has a graphical user interface (GUI - Graphical User Interface), with which you have a selection element, eg. As a cursor or a mouse pointer or a list selection, one of the functions of the device can select and activate. The operating device additionally has a camera and an image processing device for gesture recognition.

Aus der US 6 771 294 B1 ist eine Datenbrille bekannt, die über eine Gestenerkennung bedient wird. Um beispielsweise eine Adresse aus einer Adressdatenbank auszuwählen, wird eine Liste aus Datenbankeinträgen auf eine Hand des Benutzers projiziert. Durch Antippen des gewünschten Listeneintrags auf seiner Hand kann der Benutzer die Auswahl festlegen.From the US Pat. No. 6,771,294 B1 is a data goggles known, which is operated via a gesture recognition. For example, to select an address from an address database, a list of database entries is projected onto a user's hand. By tapping the desired list entry in his hand, the user can specify the selection.

Aus der US 2011/0213664 A1 ist ebenfalls bekannt, auf eine Handfläche eine virtuelle Tastatur zu projizieren, damit ein Benutzer einen Text für ein virtuelles Anschlagbrett eingeben kann. Das virtuelle Anschlagbrett wird dem Benutzer über eine Datenbrille in sein Blickfeld eingeblendet, wenn er auf einen vorbestimmten Bereich einer Wand blickt. Um die Projektion der virtuellen Tastatur auszulösen, muss der Benutzer eine Initialgeste mit derjenigen Hand ausführen, auf die die Tastatur projiziert werden soll.From the US 2011/0213664 A1 It is also known to project a virtual keyboard on a palm so that a user can enter text for a virtual bulletin board. The virtual bulletin board is superimposed on the user via a pair of data glasses in his field of vision when he looks at a predetermined area of a wall. To trigger the projection of the virtual keyboard, the user must make an initial gesture with the hand on which the keyboard is to be projected.

Von Kraftfahrzeugen ist bekannt, dass z. B. bei einem Infotainmentsystem ein Bildschirm mit einer graphischen Benutzerschnittstelle in Höhe des Lenkrads und örtlich getrennt davon ein Touchpad oder ein Dreh-Drück-Steller zum Lenken eines Auswahlelements der graphischen Benutzerschnittstelle nahe einer Armlehen in der Mittelkonsole angeordnet sein kann. Der Benutzer muss dann nicht mit seiner Hand hoch zu dem Bildschirm fassen, um das Auswahlelement zu verschieben. Er kann die Hand bequem z. B. auf der Armlehne der Mittelkonsole liegen lassen. Aber für eine Person auf der Rückbank des Fahrzeugs bleiben auch ein Touchpad und ein Dreh-Drück-Steller an der Mittelkonsole schwer erreichbar. Einem Beifahrer kann die Bedienung ebenfalls schwer fallen, da er das Touchpad oder den Dreh-Drück-Steller in ungewohnter Weise mit der anderen Hand bedienen muss, als er es als Fahrer gewohnt ist. Grund dafür ist, dass die Bedienhandhabe, also das Touchpad oder der Dreh-Drück-Steller, eben einen festen Ort aufweisen, der nach den Bedürfnissen des Fahrers gewählt wird.Of motor vehicles it is known that z. For example, in an infotainment system, a screen with a graphical user interface at the level of the steering wheel and spatially separated therefrom may be a touchpad or a rotary push-button for directing a graphical user interface selector element near an armrest in the center console. The user then does not have to raise his hand up to the screen to move the selection item. He can hand comfortably z. B. lying on the armrest of the center console. But for a person in the back of the vehicle, a touchpad and a rotary push-button on the center console remain difficult to reach. The operation can also be difficult for a passenger since he has to operate the touchpad or the turn-push actuator in an unfamiliar manner with the other hand than he is used to as a driver. The reason for this is that the operating handle, ie the touchpad or the rotary push-button, just have a fixed location, which is selected according to the needs of the driver.

Der Erfindung liegt die Aufgabe zugrunde, räumliche Einschränkungen beim Bedienen einer Bedienvorrichtung mit graphischer Benutzerschnittstelle zu beseitigen.The invention has for its object to eliminate spatial restrictions when operating a control device with graphical user interface.

Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The object is solved by the subject matters of the independent claims. Advantageous developments of the invention are given by the dependent claims.

Mit dem erfindungsgemäßen Verfahren wird eine Bedienvorrichtung für ein elektronisches Gerät betrieben. Bevorzugt handelt es sich bei dem elektronischen Gerät um ein mobiles Gerät, also z. B. ein Infotainmentsystem eines Kraftfahrzeugs oder auch eine Datenbrille oder ein Laptop. Das elektronische Gerät kann in bekannter Weise zumindest eine Funktion bereitstellen, also z. B. das Aufbauen einer Telefonverbindung im Falle eines Infotainmentsystems oder das Einblenden von bestimmten Informationen im Benutzer-Blickfeld bei der Datenbrille oder das Starten eines Programms im Falle eines Laptops. Welche Funktionen zur Auswahl stehen, kann durch eine graphische Benutzerschnittstelle angezeigt werden, z. B. in Form von Icons, die z. B. mit einem Mauszeiger ausgewählt und zum Aktivieren der Funktion angeklickt werden können, oder in Form einer Liste eines Bedienmenüs, deren Listeneinträge jeweils eine Funktion angeben, die dann in bekannter Weise ausgewählt und aktiviert werden kann.The method according to the invention operates an operating device for an electronic device. Preferably, the electronic device is a mobile device, so z. As an infotainment system of a motor vehicle or a smart glasses or a laptop. The electronic device can provide at least one function in a known manner, ie z. As the setting up of a telephone connection in the case of an infotainment system or the fading of certain information in the user's field of vision in the data glasses or starting a program in the case of a laptop. Which functions are available for selection can be indicated by a graphical user interface, eg. B. in the form of icons, the z. B. can be selected with a mouse pointer and clicked to activate the function, or in the form of a list of a control menu whose list entries each specify a function that can then be selected and activated in a known manner.

Im Zusammenhang mit der Erfindung wichtig ist dabei, dass allgemein zum Auswählen und Aktivieren zumindest einer Funktion des elektronischen Geräts ein Auswahlelement in der graphischen Benutzerschnittstelle angezeigt wird, der z. B. der besagte Mauszeiger. Um die Auswahl einer Funktion festzulegen, um also z. B. den Mauszeiger zu bewegen oder in einer Liste einen Listeneintrag auszuwählen, wird das Auswahlelement durch eine Steuereinrichtung, z. B. einen Prozessor mit darin ablaufendem Steuerprogramm, in der graphischen Benutzerschnittstelle gesteuert.It is important in the context of the invention that, in general, for selecting and activating at least one function of the electronic device, a selection element is displayed in the graphical user interface, which, for example, is shown in FIG. B. the said mouse pointer. To specify the selection of a function, so z. B. to move the mouse pointer or select a list entry in a list, the selection element by a control device, for. As a processor with expiring control program, controlled in the graphical user interface.

Um nun die räumliche Einschränkungen beim Bewegen oder Ausrichten des Auswahlelements für den Benutzer zu verringern, werden bei dem Verfahren durch eine Kamera ein erstes Körperteil sowie ein zweites Körperteil des Benutzers gefilmt. Insbesondere können als das erste Körperteil ein Arm oder eine Hand und als das zweite Körperteil die andere Hand oder ein Finger der anderen Hand gefilmt werden. In Kamerabildern der Kamera werden das erste Körperteil und das zweite Körperteil durch eine Bildverarbeitungseinrichtung, z. B. einem weiteren Programm des genannten Prozessors, erkannt. Eine solche Objekterkennung kann in an sich bekannter Weise erfolgen. Durch die Bildverarbeitungseinrichtung wird anhand der Kamerabilder auch eine Relativbewegung des zweiten Körperteils bezüglich des ersten Körperteils ermittelt. Z. B. kann also ermittelt werden, wie der Benutzer mit einem Finger über die Handinnenfläche der anderen Hand streicht. Durch die Steuereinrichtung wird dann das Auswahlelement in Abhängigkeit von der erfassten Relativbewegung gesteuert. Streicht also der Benutzer z. B. mit dem Finger nach rechts, wird auch das Auswahlelement im Falle eines Mauszeigers in der graphischen Benutzerschnittstelle nach rechts bewegt. Im Falle eines Bedienmenüs kann z. B. in ein Untermenü gewechselt werden.In order to reduce the spatial restrictions on moving or aligning the selection element for the user, in the method by a camera, a first body part and a second body part of the user are filmed. Specifically, as the first body part, an arm or a hand and, as the second body part, the other hand or a finger of the other hand may be filmed. In camera images of the camera, the first body part and the second body part by an image processing device, for. B. another program of said processor recognized. Such object recognition can be done in a conventional manner. By the image processing device is based on the camera images and a relative movement of the second body part with respect to the first body part determined. For example, it can be determined how the user strokes with one finger on the palm of the other hand. By the control device, the selection element is then controlled in dependence on the detected relative movement. So if the user z. B. with the finger to the right, and the selection element is moved in the case of a mouse pointer in the graphical user interface to the right. In the case of an operating menu z. B. be changed to a submenu.

Die Erfindung weist den Vorteil auf, dass bei der erfindungsgemäßen Bedienvorrichtung der Benutzer seine „Bedienhandhabe” immer bei sich hat, nämlich die beiden Körperteile. Er muss zum Lenken des Auswahlelements also nicht nach einem Touchpad oder einem Dreh-Drück-Steller greifen. Er kann einfach eine Relativbewegung mit den beiden Körperteilen ausführen und hierdurch das Auswahlelement lenken. Z. B. kann also in einen Kraftfahrzeug eine Person einfach von der Rückbank aus das Infotainmentsystem bedienen, ohne sich nach vorne in den Frontbereich des Kraftfahrzeugs beugen zu müssen. Bei einer Datenbrille reicht es entsprechend aus, z. B. mit einem Finger einer Hand über die andere Hand zu streichen.The invention has the advantage that in the operating device according to the invention the user always has his "operating handle" with him, namely the two body parts. So he does not have to reach for the selection element for a touchpad or a rotary-push-dial. He can simply perform a relative movement with the two body parts and thereby direct the selection element. For example, in a motor vehicle, a person can simply operate the infotainment system from the rear seat without having to lean forward into the front area of the motor vehicle. With a data glasses, it is sufficient accordingly, z. B. with one finger of one hand on the other hand to stroke.

Die ebenfalls zur Erfindung gehörige Bedienvorrichtung für ein elektronisches Gerät ist zum Durchführen einer Ausführungsform des erfindungsgemäßen Verfahrens ausgelegt. Sie weist hierzu die Kamera zum Filmen eines ersten Körperteils und eines zweiten Körperteils eines Benutzers, die Bildverarbeitungseinrichtung zum Erkennen des ersten Körperteils und des zweiten Körperteils in den Kamerabildern der Kamera, die graphische Benutzerschnittstelle und die Steuereinrichtung zum Positionieren des Auswahlelements in der graphischen Benutzerschnittstelle auf. Die graphische Benutzerschnittstelle kann z. B. eine Datenbrille zum Einblenden der graphischen Benutzerschnittstelle in ein Blickfeld des Benutzers oder durch einen Bildschirm realisiert sein. Die Benutzerschnittstelle ist dazu ausgelegt, das beschriebene Auswahlelements zum Auswählen und Aktivieren zumindest einer Funktion des elektronischen Geräts anzuzeigen. Durch das Positionieren des Auswahlelements wird festgelegt, welche Funktion ausgewählt ist.The likewise belonging to the invention control device for an electronic device is designed to carry out an embodiment of the method according to the invention. It has for this purpose the camera for filming a first body part and a second body part of a user, the image processing device for recognizing the first body part and the second body part in the camera images of the camera, the graphical user interface and the control device for positioning the selection element in the graphical user interface. The graphical user interface can, for. Example, a data glasses for displaying the graphical user interface in a field of view of the user or be implemented by a screen. The user interface is adapted to display the described selection element for selecting and activating at least one function of the electronic device. Positioning the selector determines which feature is selected.

Bei einer Weiterbildung der Erfindung wird durch die Steuereinrichtung das Auswahlelement gemäß der Relativbewegung dabei nur gesteuert, falls durch die Bildverarbeitungseinrichtung erkannt und signalisiert wird, dass das erste und/oder das zweite Körperteil eine vorbestimmte Haltung eingenommen hat und/oder dass das zweite Körperteil das erste Körperteil berührt. Mit anderen Worten wird der Interaktionsmodus durch die Einnahme der richtigen Position der beiden positionsvorgebenden Gliedmaßen oder Körperteile zueinander automatisch aktiviert. Hierdurch wird vermieden, dass der Benutzer die Bedienvorrichtung unbeabsichtigt bedient. Z. B. kann vorgesehen sein, dass der Benutzer ein bestimmte Hand flach mit der Handinnenfläche zur Kamera wenden muss und zum Positionieren des Auswahlelements mit einem bestimmten Finger der andere Hand über die Handinnenfläche streichen muss. Indem sich die Körperteile berühren müssen, wird ohne zusätzliche technische Aktoren zusätzlich erreicht, dass der Benutzer auch eine haptische Rückmeldung bei der Bedienung erfährt.In a further development of the invention, the selection element according to the relative movement is only controlled by the control device, if detected and signaled by the image processing device that the first and / or the second body part has taken a predetermined posture and / or that the second body part of the first Body part touched. In other words, the interaction mode is automatically activated by taking the correct position of the two position-predetermining limbs or body parts. This prevents the user from unintentionally operating the operating device. For example, it may be provided that the user must turn a certain hand flat with the palm of his hand to the camera and to place the selection element with a specific finger of the other hand on the palm of the hand must strike. By having to touch the body parts is achieved without additional technical actuators in addition that the user also receives a haptic feedback during operation.

Bei einer Weiterbildung der Erfindung wird durch die Bildverarbeitungseinrichtung eine vorbestimmte Auslösegeste des zweiten Körperteils erkannt und durch die Steuereinrichtung eine momentan durch das Auswahlelement ausgewählte Funktion des Geräts aktiviert. Durch eine solche Auslösegeste kann als z. B. die Funktion eines Mausklicks nachgeahmt werden. Die Auslösegeste kann je nach Genauigkeit der Kamera insbesondere ein kurzer Bewegungsimpuls des führenden Fingers oder eine zu definierende Fingerbewegung zumindest zweier Finger zueinander sein.In a further development of the invention, a predetermined triggering gesture of the second body part is detected by the image processing device, and the control device activates a function of the device currently selected by the selection element. By such a triggering gesture can be used as z. B. the function of a mouse click to be imitated. Depending on the accuracy of the camera, the triggering gesture may in particular be a short movement pulse of the leading finger or a finger movement of at least two fingers to be defined.

Eine Bewegung des Auswahlelements kann auf einen vorbestimmten Auswahlbereich beschränkt sein. Bei einem Mauszeiger kann dies z. B. eine Bildschirmfläche sein. Bei einem Bedienmenü ist die Auswahl auf die Liste der Menüeinträge beschränkt. Die Bewegung der beiden gefilmten Körperteile zueinander sollte bevorzugt dahingehend in ein günstiges Verhältnis zu der Bewegung des Auswahlelements gesetzt werden, dass der Benutzer bei Ausführen einer Bewegung mit einer bestimmten maximalen Bewegungsweite dann auch mit dem Auswahlelement den gesamten Auswahlbereich durchquert hat. Bei einer Weiterbildung der Erfindung wird hierzu durch die Bildverarbeitungseinrichtung in den Kamerabildern jeweils eine Referenzfläche festgelegt. Diese überdeckt insbesondere zumindest einen Teil des ersten Körperteils oder das ganze erste Körperteil. Es kann z. B. der in den Kamerabildern erkennbare Rand einer Handinnenfläche oder ein Rechteck innerhalb der abgebildeten Handinnenfläche als Referenzfläche festgelegt werden. Durch die Steuereinrichtung wird dann die Relativbewegung des zweiten Körperteils innerhalb der Referenzfläche in eine Bewegung des Auswahlelements innerhalb des Auswahlbereichs derart übersetzt, dass die Referenzfläche mit dem Auswahlbereich korrespondiert. Erreicht also das zweite Körperteil einen bestimmten Rand der Referenzfläche, erreicht entsprechend auch das Auswahlelement eine korrespondierende Grenze des Auswahlbereichs, was z. B. ein Rand des Bildschirms oder das Ende einer Auswahlliste oder eines Bedienmenüs sein kann.A movement of the selection element may be limited to a predetermined selection range. For a mouse pointer this z. B. be a screen area. With an operating menu, the selection is limited to the list of menu items. The movement of the two filmed body parts relative to one another should preferably be set in a favorable relationship to the movement of the selection element such that the user has traversed the entire selection region when executing a movement with a certain maximum movement distance then also with the selection element. In a development of the invention, in each case a reference surface is defined by the image processing device in the camera images. This covers in particular at least a part of the first body part or the whole first body part. It can, for. B. the recognizable in the camera images edge of a palm or a rectangle within the imaged palm are set as the reference surface. The control device then translates the relative movement of the second body part within the reference area into a movement of the selection element within the selection area in such a way that the reference area corresponds to the selection area. Thus, when the second body part reaches a certain edge of the reference surface, the selection element correspondingly also reaches a corresponding boundary of the selection region, which, for B. may be an edge of the screen or the end of a selection list or a control menu.

Bevorzugt wird hierbei dem Benutzer durch eine Anzeigeeinrichtung ein auf dem ersten Körperteil verlaufender Rand der Referenzfläche visualisiert. Die erfindungsgemäße Bedienvorrichtung weist gemäß einer Ausführungsform der Erfindung hierzu eine Anzeigeeinrichtung auf, die dazu ausgelegt ist, einen Rand einer von der Bildverarbeitungsrichtung für die Bestimmung der Relativbewegung festgelegten Referenzfläche in Bilddaten die Kamerabilder einzublenden. Dies ist insbesondere im Zusammenhang mit einer Datenbrille vorteilhaft, durch welche der Benutzer seine beiden Körperteile betrachtet. Durch das Einblenden des Randes in die auf der Datenbrille dargestellten Kamerabilder ergibt sich der sogenannte Augmented-Reality-Effekt. In this case, the user is preferably visualized by means of a display device an edge of the reference surface running on the first body part. According to an embodiment of the invention, the operating device according to the invention has for this purpose a display device which is designed to display an edge of a reference surface defined by the image processing direction for determining the relative movement in image data, the camera images. This is particularly advantageous in the context of data goggles by which the user views his two body parts. By fading in the edge into the camera images displayed on the data glasses, the so-called augmented reality effect results.

Zusätzlich oder alternativ hierzu sieht die Erfindung gemäß einer Weiterbildung eine Projektionseinrichtung vor, die dazu ausgelegt ist, den Rand der von der Bildverarbeitungsrichtung für die Bestimmung der Relativbewegung festgelegten Referenzfläche auf das erste Körperteil zu projizieren. Die Projektionseinrichtung kann z. B. durch einen Laser realisiert sein. Die Projektionseinrichtung kann z. B. einen leuchtenden Rand eines Rechtecks auf eine Handinnenfläche projizieren, falls diese das erste Körperteil darstellt.In addition or as an alternative to this, according to a further development, the invention provides a projection device which is designed to project the edge of the reference surface defined by the image processing direction for the determination of the relative movement onto the first body part. The projection device can, for. B. be realized by a laser. The projection device can, for. B. projecting a luminous edge of a rectangle on a palm, if this represents the first body part.

Die Kamera ist gemäß einer Ausführungsform der Erfindung eine PMD-Kamera (PMD – Photonic Mixing Device), also eine Time-of-Flight-Kamera, oder aber eine Stereokamera. Eine PMD-Kamera und auch eine Stereokamera erzeugt jeweils als Kamerabild 3D-Bilddaten mit Tiefeninformationen bezüglich der optischen Achse der Kamera. Die Bildverarbeitungseinrichtung ist entsprechend vorteilhaft dazu ausgelegt, die Relativbewegung der Körperteile räumlich zu ermitteln. Hierdurch kann in vorteilhafter Weise auch ein Antippen des ersten Körperteils durch das zweite Körperteil auch dann erkannt werden, falls die Bewegung beim Antippen entlang der optischen Achse verläuft, also von der Kamera weg und zu ihr hin. Ein solches Antippen kann dann von dem Benutzer wie der bekannte Mausklick genutzt werden, um eine ausgewählte Funktion zu aktivieren.According to one embodiment of the invention, the camera is a PMD camera (PMD - Photonic Mixing Device), that is to say a time-of-flight camera, or else a stereo camera. A PMD camera and also a stereo camera generates as a camera image 3D image data with depth information with respect to the optical axis of the camera. The image processing device is correspondingly advantageously designed to spatially determine the relative movement of the body parts. As a result, a tapping of the first body part by the second body part can also be detected in an advantageous manner, if the movement during tapping along the optical axis, ie away from the camera and towards her. Such a tap can then be used by the user, such as the familiar mouse click, to activate a selected function.

Im Folgenden ist ein konkretes Ausführungsbeispiel der Erfindung erläutert. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Bedienvorrichtung.In the following, a concrete embodiment of the invention is explained. For this purpose, the single FIGURE (FIG.) Shows a schematic representation of an embodiment of the operating device according to the invention.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, however, the described components of the embodiment each represent individual features of the invention, which are to be considered independently of each other, which also develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

In der Figur ist eine Bedienvorrichtung 10 gezeigt, die beispielsweise in ein Kraftfahrzeug oder einer Datenbrille oder einem Laptop integriert sein kann. Mit der Bedienvorrichtung 10 kann z. B. ein elektronisches Gerät 12 bedient werden, also z. B. die Elektronik des Kraftfahrzeugs, der Datenbrille oder des Laptops. Die Bedienvorrichtung 10 kann hierzu eine Kamera 14, eine Bildverarbeitungseinrichtung 16, eine Steuereinrichtung 18 und eine Anzeigeeinrichtung 20 aufweisen. Die Steuereinrichtung 18 kann z. B. als ein Prozessor mit Steuerprogramm eines realisiert sein.In the figure is an operating device 10 shown, which may be integrated, for example, in a motor vehicle or a data glasses or a laptop. With the operating device 10 can z. B. an electronic device 12 be served, so z. As the electronics of the motor vehicle, the data glasses or the laptop. The operating device 10 can this a camera 14 , an image processing device 16 , a control device 18 and a display device 20 exhibit. The control device 18 can z. B. be realized as a processor with control program one.

Das Gerät 12 kann eine oder mehrere Gerätefunktionen F1, F2, F3, F4 aufweisen, die ein Benutzer, von dem in der Figur dessen Hände 22, 24 dargestellt sind, mittels der Bedieneinrichtung 10 auswählen und aktivieren kann.The device 12 may include one or more device functions F1, F2, F3, F4, which a user of which in the figure hands thereof 22 . 24 are shown, by means of the operating device 10 can select and activate.

Die Anzeigeeinrichtung 20 kann z. B. ein Bildschirm eines Kraftfahrzeugs oder ein Brillenglas einer Datenbrille sein. Auf der Anzeigeeinrichtung 20 kann durch die Steuereinrichtung 18 eine graphische Benutzerschnittstelle 26 darstellt werden, welche zum Auswählen und Aktivieren der Gerätefunktionen F1, F2, F3, F4 jeweils eine Bedienfläche 28, 30, 32, 34 in der Benutzerschnittstelle 26 anzeigt. Der Benutzer kann z. B. ein graphisches Auswahlelement 38, das in der Figur beispielhaft als ein Mauszeiger dargestellt ist, in der Benutzerschnittstelle 26 bewegen und z. B. durch Positionieren des Auswahlelements 38 über einer der Bedienflächen 28, 30, 32, 34 die entsprechende Gerätefunktion F1, F2, F3, F4 auswählen.The display device 20 can z. B. a screen of a motor vehicle or a lens of a data glasses. On the display 20 can by the control device 18 a graphical user interface 26 which are each a control surface for selecting and activating the device functions F1, F2, F3, F4 28 . 30 . 32 . 34 in the user interface 26 displays. The user can z. B. a graphical selection element 38 , which is exemplified in the figure as a mouse pointer, in the user interface 26 move and z. B. by positioning the selection element 38 above one of the control surfaces 28 . 30 . 32 . 34 select the corresponding device function F1, F2, F3, F4.

Zum Positionieren des Auswahlelements 36 kann der Benutzer seine beiden Hände 22, 24 in einen Erfassungsbereich 38 der Kamera 14 halten. Falls der Benutzer z. B. mit einem Finger 40 der Hand 24 z. B. über eine Handinnenfläche 22' der Hand 22 streicht, bewirkt die hierbei bezüglich der Hand 22 ausgeführte jeweilige Relativbewegung 42, 44, 46 des Fingers 40 eine korrespondierende Bewegung 42', 44', 46' des Auswahlelements 36 in der Benutzerschnittstelle 26.To position the selection element 36 the user can have both his hands 22 . 24 into a detection area 38 the camera 14 hold. If the user z. B. with a finger 40 the hand 24 z. B. on a palm 22 ' the hand 22 deletes, this causes with respect to the hand 22 executed respective relative movement 42 . 44 . 46 of the finger 40 a corresponding movement 42 ' . 44 ' . 46 ' of the selection element 36 in the user interface 26 ,

Über die Kamera 14 wird hierzu die Bewegung 42, 44, 46 der Hand 24 auf der Handinnenfläche 22' erfasst und als Steuerbewegung des Auswahlelements 36 (also z. B. einem Mauszeiger) umgesetzt. Die Kamera 14 erzeugt dabei Videodaten V von den Händen 22, 24 im Erfassungsbereich 38. Die Videodaten V beschreiben ein Abbild der Hände 22, 24. Die Videodaten V werden von der Kamera 14 an die Bildverarbeitungseinrichtung 16 übertragen. Bildverarbeitungseinrichtung 16 kann eine Objekterkennung der Hände 22, 24 durchführen. Die Bildverarbeitungseinrichtung 16 kann z. B. als ein Programmmodul bereitgestellt sein. Für die Objekterkennung kann z. B. auf die Funktionsbibliothek „Kinect”^® des Unternehmens Microsoft^® zurückgegriffen werden.About the camera 14 this is the movement 42 . 44 . 46 the hand 24 on the palm of your hand 22 ' detected and as a control movement of the selection element 36 (eg a mouse pointer). The camera 14 generates video data V from the hands 22 . 24 in the coverage area 38 , The video data V describe an image of the hands 22 . 24 , The video data V are taken from the camera 14 to the Image processing means 16 transfer. Image processing means 16 can be an object recognition of the hands 22 . 24 carry out. The image processing device 16 can z. B. be provided as a program module. For the object recognition z. For example, you can use the function library "Kinect" ^{® of} the company Microsoft ^® .

Die Bildverarbeitungseinrichtung 16 erkennt und extrahiert die Relativbewegung 48 des Fingers 40 bezüglich der Handinnenfläche 22', die z. B. als Bewegungskoordinaten XYZ an die Steuereinrichtung 18 signalisiert werden kann. Die Steuereinrichtung 18 steuert dann das Auswahlelement 36, so dass dieses die korrespondierende Bewegung 42', 44', 46' ausführt.The image processing device 16 detects and extracts the relative movement 48 of the finger 40 concerning the palm of the hand 22 ' that z. B. as motion coordinates XYZ to the controller 18 can be signaled. The control device 18 then controls the selection element 36 so that this is the corresponding movement 42 ' . 44 ' . 46 ' performs.

Es kann auch ein virtuelles Touchpad 50 auf der Hand 22 oder einem Arm des Benutzers dargestellt werden, z. B. via Laserprojektion auf der Hand 22 selbst oder virtueller Augmented-Reality-Projektion in einer Datenbrille. Das virtuelle Touchpad 50 stellt eine Referenzfläche dar. Ränder 52, 54, 56, 58 der Referenzfläche können mit Rändern 52', 54', 56', 60' des möglichen Bewegungsbereichs des Auswahlelements 36 korrespondieren. Es kann auch durch die Bildverarbeitungseinrichtung 16 ein Rand des Referenzfläche in den Videodaten V eingeblendet werden, so dass der Rand als Augmented-Reality-Effekt in den Videodaten sichtbar ist.It can also be a virtual touchpad 50 On the hand 22 or an arm of the user are displayed, for. B. via laser projection at hand 22 self or virtual augmented reality projection in a data glasses. The virtual touchpad 50 represents a reference surface. Edges 52 . 54 . 56 . 58 The reference surface may have borders 52 ' . 54 ' . 56 ' . 60 ' the possible range of movement of the selection element 36 correspond. It can also be done by the image processing device 16 an edge of the reference surface in the video data V are superimposed so that the edge is visible as an augmented reality effect in the video data.

Durch die Bildverarbeitungseinrichtung kann auch eine vorbestimmte Auslösegeste z. B. des Fingers 40 anhand der Videodaten V erkannt werden. Durch die Steuereinrichtung 18 wird dann diejenige Funktion F1, F2, F3, F4 in dem Gerät 12 aktiviert, über deren zugehörige Bedienfläche 28, 30, 32, 34 sich beim Ausführen der Auslösegeste das Auswahlelement 36 gerade befindet. Als Auslösegeste kann z. B. ein kurzer Bewegungsimpuls 60 des führenden Fingers 40 oder eine zu definierende Fingerbewegung zumindest zweier Finger zueinander sein, also z. B. das Antippen des Fingers 40 mit einem Daumen 64 derselben Hand 24 in einer Tippbewegung 66.By the image processing device can also be a predetermined triggering gesture z. B. the finger 40 be recognized by the video data V. By the control device 18 then becomes that function F1, F2, F3, F4 in the device 12 activated, via its associated control surface 28 . 30 . 32 . 34 when executing the release gesture, the selection element 36 currently located. As a trigger gesture z. B. a short motion pulse 60 of the leading finger 40 or a finger movement to be defined at least two fingers to each other, so z. B. the tapping of the finger 40 with a thumb 64 same hand 24 in a jogging motion 66 ,

Insgesamt erfolgt bei der Bedieneinrichtung 10 also die Steuerung eines ”Mauszeigers” mit einer Hand oder einem Arm als Referenzfläche 50.Overall takes place at the operating device 10 ie the control of a "mouse pointer" with a hand or an arm as a reference surface 50 ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 6771294 B1 [0002]
US 2011/0213664 A1 [0003]

Claims

Method for operating an operating device ( 10 ) for an electronic device ( 12 ) by: - by a camera ( 14 ) a first body part ( 22 ) and a second body part ( 24 ) of a user are filmed; By an image processing device ( 16 ) in camera images (V) of the camera ( 14 ) the first body part ( 22 ) and the second body part ( 24 ) be recognized; - through a graphical user interface ( 26 ) a selection element ( 36 ) for selecting and activating at least one function (F1, F2, F3, F4) of the electronic device ( 12 ) is shown; and - by a control device ( 18 ) the selection element ( 36 ) in the graphical user interface ( 26 ) is positioned to thereby determine the selection; characterized in that by the image processing device ( 16 ) based on the camera images (V) a relative movement ( 48 ) of the second body part ( 24 ) with respect to the first body part ( 22 ) and by the control device ( 18 ) the selection element ( 36 ) as a function of the detected relative movement ( 48 ) is positioned.

Method according to claim 1, wherein the control device ( 18 ) the selection element ( 36 ) according to the relative movement ( 48 ) is only controlled if by the image processing device ( 16 ) is detected and signaled that the first body part ( 22 ) and / or the second body part ( 24 ) has taken a respective predetermined posture and / or that the second body part ( 24 ) the first body part ( 22 ) touched.

Method according to one of the preceding claims, wherein by the image processing device ( 16 ) a predetermined triggering gesture ( 62 . 66 ) of the second body part ( 24 ) and detected by the control device ( 18 ) a momentarily through the selection element ( 36 ) selected function (F1, F2, F3, F4) of the device ( 12 ) is activated.

Method according to one of the preceding claims, wherein a movement ( 42 ' . 44 ' . 46 ' ) of the selection element ( 36 ) to a predetermined selection area ( 26 ) and by the image processing device ( 16 ) in the camera images (V) in each case at least one part of the first body part ( 22 ) covering the reference surface ( 50 ) and by the control device ( 18 ) the relative movement ( 48 ) of the second body part ( 24 ) within the reference area ( 50 ) into a movement ( 42 ' . 44 ' . 46 ' ) of the selection element ( 36 ) within the selection area ( 26 ) translated such that the reference surface ( 50 ) the selection area ( 26 ) corresponds.

Method according to claim 4, wherein the user is informed by a display device ( 20 ) on the first part of the body ( 22 ) running edge ( 54 . 56 . 58 . 60 ) of the reference surface ( 50 ) is visualized.

Operating device ( 10 ) for an electronic device ( 12 ), comprising: - a camera ( 14 ) for filming a first body part ( 22 ) and a second body part ( 24 ) of a user; An image processing device ( 16 ) for recognizing the first body part ( 22 ) and the second body part ( 24 ) in camera images (V) of the camera ( 14 ); A graphical user interface ( 26 ), which is designed to be a selection element ( 36 ) for selecting and activating at least one function (F1, F2, F3, F4) of the electronic device ( 12 ) to display; A control device ( 18 ) for controlling the selection element ( 36 ) in the graphical user interface ( 26 ) to set the selection; characterized in that the image processing device ( 16 ) is adapted to perform a method according to any one of the preceding claims.

Operating device ( 10 ) according to claim 6, wherein the operating device ( 10 ) comprises a data goggle which comprises a display device ( 20 ) for displaying the graphical user interface ( 26 ) in a field of view of the user.

Operating device ( 10 ) according to claim 6 or 7, wherein a display device ( 20 ) is adapted to an edge of one of the image processing direction ( 16 ) for determining the relative movement ( 48 ) ( 50 ) to show the camera images (V) in image data.

Operating device ( 10 ) according to one of claims 6 to 8, wherein a projection device is adapted to a border ( 54 . 56 . 58 . 60 ) one of the image processing direction ( 16 ) for determining the relative movement ( 48 ) ( 50 ) on the first body part ( 22 ) to project.

Operating device ( 10 ) according to one of claims 6 to 9, wherein the camera ( 14 ) is a stereo camera or a PMD camera which generates 3D image data as the camera images (V), and wherein the image processing device ( 14 ) is adapted to the relative movement ( 48 ) spatially determined.