DE102019106683B4

DE102019106683B4 - Method and system for establishing contact between a user's hand and an operating element of a device

Info

Publication number: DE102019106683B4
Application number: DE102019106683.2A
Authority: DE
Inventors: Konrad Henkel; Andreas Richter; Georgi Paschew; René Körbitz; Uwe Marschner
Original assignee: Technische Universitaet Dresden
Current assignee: Technische Universitaet Dresden
Priority date: 2019-03-15
Filing date: 2019-03-15
Publication date: 2020-12-24
Anticipated expiration: 2039-03-16
Also published as: DE102019106683A1

Abstract

Verfahren zur Herstellung eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement einer Vorrichtung, wobei das Bedienelement in einem vorgegebenen Ort der Vorrichtung angeordnet und in mindestens einer Raumrichtung innerhalb eines Bewegungsbereiches des Bedienelements von diesem Ort wegbewegbar ist, mit den Schritten:- Erfassen der Position und Bewegung der Nutzerhand in einem Erfassungsbereich der Vorrichtung mit Hilfe einer Sensorik,- Ermitteln der aktuellen Position des Bedienelements im Bewegungsbereich des Bedienelements,- Berechnen eines Kollisionspunktes der Nutzerhand mit dem Bewegungsbereich des Bedienelements auf Grundlage der erfassten Position und Bewegung der Nutzerhand sowie der aktuellen Position des Bedienelements und der Größe des Bewegungsbereiches des Bedienelements und- Bewegen des Bedienelements zum berechneten KollisionspunktMethod for establishing contact between a user hand and an operating element of a device, the operating element being arranged in a predetermined location of the device and being movable away from this location in at least one spatial direction within a range of motion of the operating element, with the following steps: Detecting the position and movement the user's hand in a detection area of the device with the aid of a sensor system, - determining the current position of the operating element in the area of movement of the operating element, - calculating a collision point between the user hand and the area of movement of the operating element based on the detected position and movement of the user hand and the current position of the operating element and the size of the range of motion of the operating element and moving the operating element to the calculated collision point

Description

Die Erfindung betrifft ein Verfahren und ein System, mit dem ein Kontakt zwischen einer Hand eines Nutzers und einem Bedienelement einer Vorrichtung hergestellt wird, ohne dass ein Blickkontakt zwischen dem Nutzer und dem Bedienelement bestehen muss.The invention relates to a method and a system with which contact is established between a hand of a user and an operating element of a device without the need for eye contact between the user and the operating element.

In vielen Bereichen der Mensch-Maschine-Interaktion, bspw. in Kraftfahrzeugen (KFZ), im Cockpit eines Flugzeuges, allgemein an Arbeitsplätzen mit vielen Bedienelementen, ist die visuelle Aufmerksamkeit von Menschen stark gebunden. Dennoch müssen Bedienelemente sicher und schnell benutzt werden. Darüber hinaus gibt es Bereiche, in denen kein oder nur wenig Sichtkontakt zwischen dem Nutzer und den Bedienelementen besteht, bspw. bei Werkzeugmaschinen. In vielen Lebens- und Arbeitsbereichen ist die Herstellung des Kontaktes zwischen der Hand eines Nutzers und einem Bedienelement bei Dunkelheit erschwert. Ein weiterer Bereich mit erschwerter Mensch-Maschine-Interaktion liegt bei Personen mit eingeschränkter Sehfähigkeit vor. Dabei ist unter Maschine jede Art von Vorrichtung, die ein Bedienelement, z.B. ein An/Aus-Schalter, aufweist, im Sinne dieser Anmeldung zu verstehen.In many areas of human-machine interaction, for example in motor vehicles, in the cockpit of an aircraft, generally at workplaces with many operating elements, the visual attention of people is strongly tied. However, controls must be used safely and quickly. In addition, there are areas in which there is little or no visual contact between the user and the operating elements, for example in machine tools. In many areas of life and work, it is difficult to establish contact between a user's hand and a control element in the dark. Another area where human-machine interaction is difficult is found in people with impaired vision. Here, a machine is any type of device that has an operating element, e.g. an on / off switch, to be understood in the context of this application.

Die Bedienelemente einer Maschine sind für gewöhnlich fest eingebaut, d.h. sie können zwar gekippt oder gedreht oder gedrückt werden, sind ansonsten aber ortsfest an der Maschine angeordnet. Da ein Nutzer ungefähr weiß, wo sich ein solches Bedienelement befindet, kann er, gegebenenfalls mit Hilfe von Handbewegungen und Tastempfindungen, manchmal auch ohne Blickkontakt einen Kontakt zu dem Bedienelement herstellen. Jedoch ist dies nicht immer sicher gegeben, so dass der Nutzer letztlich doch oftmals einen Sichtkontakt herstellt. In diesem Fall ist er jedoch von seiner eigentlichen Tätigkeit abgelenkt, z.B. vom Straßenverkehr im Falle eines Autofahrers, was die Sicherheit bei der Ausübung der eigentlichen Tätigkeit, z.B. dem Führen eines Autos oder dem Bedienen einer Maschine, verringert. Darüber hinaus sind Fälle gegeben, bei denen kein Sichtkontakt hergestellt werden kann, wie bei Dunkelheit oder fehlendem Sehvermögen, so dass nur Handbewegungen und Tastempfindungen als Möglichkeit zur Herstellung eines Kontaktes bleiben, was langwierig sein kann. Zur Unterstützung des Tastempfindens weisen verschiedene Bedienelemente verschiedene Größen, Formen, Materialien und/oder Oberflächenkonturen auf, die ein Erkennen eines bestimmten Bedienelements mit Hilfe des Tastempfindens erleichtern.The operating elements of a machine are usually permanently installed, i.e. Although they can be tilted, rotated or pushed, they are otherwise fixed on the machine. Since a user roughly knows where such an operating element is located, he can, if necessary with the aid of hand movements and tactile sensations, sometimes make contact with the operating element without eye contact. However, this is not always the case with certainty, so that in the end the user often makes visual contact. In this case, however, he is distracted from his actual activity, e.g. from road traffic in the case of a motorist, which affects safety when carrying out the actual activity, e.g. driving a car or operating a machine. In addition, there are cases in which visual contact cannot be established, such as in the dark or in the absence of vision, so that only hand movements and tactile sensations remain as a possibility for establishing contact, which can be tedious. To support the tactile sensation, various operating elements have different sizes, shapes, materials and / or surface contours, which facilitate recognition of a specific operating element with the aid of tactile sensation.

Es sind auch Maschinen bekannt, bei denen die Position eines Bedienelements an der Maschine an einen individuellen Nutzer anpassbar ist. So ist bspw. in der DD 206 119 A1 ein in Höhe und Neigungswinkel verstellbares Lenkrad einer mobilen Maschine beschrieben. Das heißt, die Position des Bedienelements an der Maschine ist prinzipiell zwar veränderbar, jedoch wird die Position nur einmalig für einen individuellen Nutzer eingestellt und danach nicht mehr verändert, so dass das Bedienelement wieder als ortsfest angeordnet betrachtet werden kann. Soll die Maschine von einem anderen Nutzer bedient werden, so kann die Position des Bedienelements verändert und angepasst werden. Jedoch ist dies, insbesondere bei vielen oder häufig wechselnden Nutzern, aufwändig und löst das eigentliche Problem des Herstellens eines Kontaktes der Nutzerhand mit dem Bedienelement bei fehlendem Sichtkontakt nicht.Machines are also known in which the position of an operating element on the machine can be adapted to an individual user. For example, in the DD 206 119 A1 describes a steering wheel of a mobile machine with adjustable height and angle of inclination. This means that the position of the operating element on the machine can in principle be changed, but the position is only set once for an individual user and is then not changed again, so that the operating element can again be viewed as being stationary. If the machine is to be operated by another user, the position of the operating element can be changed and adapted. However, this is complex, especially when there are many or frequently changing users, and does not solve the actual problem of establishing contact between the user's hand and the operating element when there is no visual contact.

DE 10 2017 205 875 A1 offenbart eine Eingabeeinrichtung zum Einsatz in einem Fahrzeug mit einem Armlehnenbezug, der einen Berührungssensorabschnitt aufweist, der eine Betätigung durch den Insassen erfasst, welche mittels einer Steuereinheit an ein fahrzeuginternes Instrument, wie ein Navigationsgerät, ausgegeben wird. Der Kontakt zwischen der Hand des Insassen und dem Bedienelement wird hergestellt, indem eine Kamera die Position der Hand des Insassen auf der Armlehne erfasst und die Steuereinheit den Erfassungsbereich des Berührungssensorabschnitts verändert. DE 10 2017 205 875 A1 discloses an input device for use in a vehicle with an armrest cover having a touch sensor section that detects an operation by the occupant, which is output to an in-vehicle instrument such as a navigation device by means of a control unit. The contact between the hand of the occupant and the operating element is established in that a camera detects the position of the hand of the occupant on the armrest and the control unit changes the detection range of the touch sensor section.

Es ist Aufgabe der Erfindung, ein verbessertes Verfahren zur Herstellung eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement einer Vorrichtung sowie ein entsprechendes System zur Verfügung zu stellen, mit dem die Nachteile des Standes der Technik verringert werden können.The object of the invention is to provide an improved method for establishing contact between a user's hand and an operating element of a device and a corresponding system with which the disadvantages of the prior art can be reduced.

Die Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 und durch ein System gemäß Anspruch 6. Bevorzugte Ausführungsformen finden sich in den Unteransprüchen.The object is achieved by a method according to claim 1 and by a system according to claim 6. Preferred embodiments can be found in the subclaims.

Das erfindungsgemäße Verfahren zur Herstellung eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement einer Vorrichtung beinhaltet zunächst das Erfassen von Position und Bewegung der Nutzerhand in einem Erfassungsbereich der Vorrichtung mit Hilfe einer Sensorik. Das Bedienelement ist an einem definierten Ort der Vorrichtung angeordnet, wobei es in mindestens einer Raumrichtung innerhalb eines Bewegungsbereiches des Bedienelements von diesem Ort wegbewegbar ist. Weiterhin umfasst das Verfahren das Ermitteln der aktuellen Position des Bedienelements im Bewegungsbereich des Bedienelements. Auf Grundlage der erfassten Position und Bewegung der Nutzerhand sowie der aktuellen Position des Bedienelements und der Größe des Bewegungsbereiches des Bedienelements wird ein Kollisionspunkt der Nutzerhand mit dem Bewegungsbereich des Bedienelements berechnet und anschließend das Bedienelement zum berechneten Kollisionspunkt bewegt.The method according to the invention for establishing contact between a user hand and an operating element of a device initially includes the detection of the position and movement of the user hand in a detection area of the device with the aid of a sensor system. The operating element is arranged at a defined location of the device, wherein it can be moved away from this location in at least one spatial direction within a range of motion of the operating element. Furthermore, the method includes determining the current position of the operating element in the area of movement of the operating element. On the basis of the detected position and movement of the user hand as well as the current position of the operating element and the size of the movement area of the operating element, a collision point of the user hand with the movement area of the operating element is calculated and the operating element is then moved to the calculated collision point.

Das erfindungsgemäße Verfahren vereinfacht die Herstellung eines Kontaktes der Nutzerhand mit dem Bedienelement ohne Sichtkontakt durch die automatische Veränderung der Position des Bedienelements deutlich. Darüber hinaus kann die Zeit bis zum Kontakt verringert werden, da kein zeitaufwändiges Suchen und Tasten nach dem Bedienelement durch den Nutzer mit seiner Hand mehr notwendig ist. Letztlich wird die Sicherheit des Nutzers und der Bedienung der Maschine erhöht, da die Verletzungsgefahr beim sichtkontaktlosen Herstellen des Kontaktes verringert und der Nutzer weniger von der Bedienung der Maschine oder Vorrichtung abgelenkt wird. Des Weiteren ist es nicht mehr notwendig, die Position des Bedienelements an der Maschine für individuelle Nutzer einzustellen, da es für die Herstellung des Kontaktes vollkommen unerheblich ist, welcher individuelle Nutzer das Bedienelement bedienen möchte.The method according to the invention significantly simplifies the establishment of contact between the user's hand and the operating element without visual contact by automatically changing the position of the operating element. In addition, the time to contact can be reduced, since the user no longer has to search for and touch the control element with his hand. Ultimately, the safety of the user and the operation of the machine is increased, since the risk of injury when making contact without visual contact is reduced and the user is less distracted from operating the machine or device. Furthermore, it is no longer necessary to set the position of the operating element on the machine for individual users, since it is completely irrelevant for establishing contact which individual user wants to operate the operating element.

Ein Bedienelement einer Vorrichtung kann ein Taster (Druckschalter), Drehschalter, Kippschalter, Joystick oder jedes beliebige andere Element, mit dem eine Bedienung, d.h. Steuerung, einer Maschine erreicht werden kann, sein. Dabei ist das Bedienelement an dem definierten Ort der Vorrichtung angeordnet und erfindungsgemäß in mindestens einer Raumrichtung innerhalb des Bewegungsbereiches des Bedienelements mit Hilfe einer Aktorik von diesem Ort wegbewegbar. Unter der Wegbewegung des Bedienelementes von dem Ort ist eine Bewegung im Raum zu verstehen, die sich von einer Bewegung während der Bedienung des Bedienelements, z.B. Kippen eines Kippschalters oder Drücken eines Tasters, unterscheidet und keine Bedienung des Bedienelements darstellt. Der Bewegungsbereich des Bedienelements erstreckt sich dabei von dem Ort der Vorrichtung, an dem das Bedienelement angeordnet ist, entlang mindestens einer Raumrichtung und ist im Allgemeinen kleiner als der vorgegebene Erfassungsbereich der Vorrichtung, in dem die Position und Bewegung der Nutzerhand erfasst werden. Der Bewegungsbereich des Bedienelements kann bspw. eine Länge von 1 cm bis zu 20 cm in einer Raumrichtung aufweisen, während der vorgegebene Erfassungsbereich der Vorrichtung bspw. eine Länge von 50 cm bis 100 cm in mindestens einer Raumrichtung aufweist. Die konkreten Größen und Ausgestaltungen des Bewegungsbereiches und des Erfassungsbereiches hängen von der Art, Größe und Ausgestaltung der Vorrichtung ab. Vorzugsweise ist das Bedienelement der Vorrichtung in allen drei Richtungen eines kartesischen Koordinatensystems im Raum bewegbar. Eine Rotation um eine oder mehrere Achsen eines kartesischen Koordinatensystems ist auch möglich.A control element of a device can be a button (push button), rotary switch, toggle switch, joystick or any other element with which an operation, i.e. Control, a machine can be achieved. The control element is arranged at the defined location of the device and, according to the invention, can be moved away from this location in at least one spatial direction within the range of motion of the control element with the aid of an actuator. The movement of the control element away from the location is to be understood as a movement in space that differs from a movement during the operation of the control element, e.g. Tilting a toggle switch or pressing a button differs and does not represent an operation of the control element. The range of motion of the operating element extends from the location of the device at which the operating element is arranged along at least one spatial direction and is generally smaller than the predefined detection area of the device in which the position and movement of the user's hand are detected. The range of motion of the control element can, for example, have a length of 1 cm to 20 cm in one spatial direction, while the predetermined detection range of the device has a length of 50 cm to 100 cm in at least one spatial direction. The specific sizes and configurations of the movement area and the detection area depend on the type, size and configuration of the device. The operating element of the device is preferably movable in space in all three directions of a Cartesian coordinate system. A rotation around one or more axes of a Cartesian coordinate system is also possible.

Der vorgegebene Erfassungsbereich der Vorrichtung ist der räumliche Bereich, in dem die Position und Bewegung der Nutzerhand erfasst wird und der einen möglichen Bewegungsbereich einer Nutzerhand zumindest teilweise abdeckt. Dabei überschneidet sich der vorgegebene Erfassungsbereich vorzugsweise mit dem Bewegungsbereich des Bedienelements und kann diesen vollständig umfassen. Der mögliche Bewegungsbereich einer Nutzerhand hängt von möglichen Positionen eines Nutzers in Bezug auf die Vorrichtung und das Bedienelement ab. Zur Veranschaulichung soll hier der vorgegebene Erfassungsbereich für ein Bedienelement im Inneren eines Fahrzeuges beschrieben werden. Das Bedienelement ist dabei bspw. an der Mittelkonsole befestigt und ein Drehknopf zur Einstellung der Temperatur im Innenraum des Fahrzeugs. Der vorgegebene Erfassungsbereich überdeckt dann einen Raum, der sich von der Mittelkonsole aus in Richtung zur vorgesehenen Position des Nutzers dieses Bedienelementes, z.B. des Fahrers oder des Beifahrers, erstreckt und mögliche Positionen der Nutzerhand im Raum, die für einen Wunsch der Bedienung des Bedienelements durch den Nutzer typisch oder vorgegeben sind, einschließt. Ein solcher Erfassungsbereich kann sich bspw. keulenförmig, kegelstumpfförmig, pyramidenstumpfförmig oder mit anderen, auch unregelmäßigen Formen von der Mittelkonsole in Richtung Fahrersitz oder Beifahrersitz bis zu einer Entfernung von ca. 50 cm vom Mittelpunkt der Rückenlehne des Fahrersitzes oder Beifahrersitzes sowie bis zur Frontscheibe und dem Fahrzeugdach erstrecken. Die Begrenzung des Erfassungsbereiches, in dem die Position und Bewegung der Nutzerhand erfasst werden, verringert die Gefahr von Fehlpositionierungen des Bedienelements, z.B. aufgrund von Bewegungen oder Positionen der Hände, Füße oder anderer Körperteile einer anderen Person als des Nutzers, z.B. eines Passagiers auf einem Rücksitz des Fahrzeugs. Darüber hinaus kann die Menge der erfassten Daten reduziert und die Sensorik sowie die Aktorik zur Bewegung des Bedienelements können in einen Ruhezustand versetzt werden, falls über einen längeren, definierten Zeitraum keine Bewegungen im vorgegebenen Erfassungsbereich erfolgt sind. Damit kann Energie gespart und die Sensorik zum Erfassen der Position und Bewegung der Nutzerhand einfacher oder kostengünstiger ausgeführt werden.The predefined detection area of the device is the spatial area in which the position and movement of the user hand is detected and which at least partially covers a possible movement area of a user hand. The specified detection area preferably overlaps with the movement area of the operating element and can encompass it completely. The possible range of motion of a user's hand depends on the possible positions of a user in relation to the device and the operating element. For the purposes of illustration, the specified detection area for an operating element inside a vehicle is to be described here. The control element is attached to the center console, for example, and a rotary knob for setting the temperature in the interior of the vehicle. The specified detection area then covers a space that extends from the center console in the direction of the intended position of the user of this control element, e.g. of the driver or the front passenger, and includes possible positions of the user hand in space, which are typical or predetermined for a desire to operate the control element by the user. Such a detection area can be, for example, club-shaped, frustoconical, truncated pyramid-shaped or with other, also irregular shapes from the center console in the direction of the driver's seat or front passenger seat up to a distance of approx. 50 cm from the center of the backrest of the driver's seat or front passenger seat and up to the windshield and the Extend vehicle roof. The limitation of the detection area in which the position and movement of the user's hand are detected reduces the risk of incorrect positioning of the control element, e.g. due to movements or positions of the hands, feet or other body parts of a person other than the user, e.g. of a passenger in a back seat of the vehicle. In addition, the amount of data recorded can be reduced and the sensors and actuators for moving the control element can be put into a state of rest if no movements have occurred in the specified detection area over a longer, defined period of time. This saves energy and the sensors for detecting the position and movement of the user's hand can be made simpler or more cost-effective.

Das Erfassen der Position und Bewegung der Nutzerhand in dem vorgegebenen Erfassungsbereich der Vorrichtung beinhaltet im einfachsten Fall das Erfassen der Position eines Bezugspunktes der Hand, z.B. eines Punktes in der Mitte des Handrückens, und der Veränderung der Position dieses Bezugspunktes über die Zeit, d.h. der Bewegung dieses Bezugspunktes im vorgegebenen Erfassungsbereich. Es können die Position und Bewegung eines einzelnen Bezugspunktes, mehrerer Bezugspunkte, der Nutzerhand im Ganzen oder auch aufgelöst nach mehreren Handelementen, wie bspw. Gelenken, Knochen und/oder den einzelnen Fingern, erfasst werden. Aus den erfassten Daten können die Geschwindigkeit und die Beschleunigung der Bewegung berechnet werden. Werden die Positionen mehrerer Bezugspunkte erfasst, was bspw. auch durch die Auswertung von Kamerabildern erfolgen kann, können auch Posen der Hand, auch Handgesten genannt, erfasst und erkannt werden. Eine Vorrichtung, die zum Erfassen der Position und Bewegung der Nutzerhand genutzt werden kann, sowie die Ausgestaltung dieses Schrittes sind in der DE 20 2014 104 297 U1 beschrieben und damit dem Fachmann bekannt.The detection of the position and movement of the user's hand in the specified detection area of the device includes in the simplest case the detection of the position of a reference point of the hand, e.g. a point in the middle of the back of the hand, and the change in the position of this reference point over time, ie the movement this reference point in the specified detection area. The position and movement of a single reference point, several reference points, the user's hand as a whole or broken down into several hand elements, such as joints, bones and / or the individual fingers, can be recorded. From the recorded data you can the speed and acceleration of the movement can be calculated. If the positions of several reference points are recorded, which can also be done, for example, by evaluating camera images, poses of the hand, also called hand gestures, can also be recorded and recognized. A device that can be used to detect the position and movement of the user's hand, as well as the configuration of this step, are shown in FIG DE 20 2014 104 297 U1 described and thus known to the person skilled in the art.

Die aktuelle Position des Bedienelements im Bewegungsbereich des Bedienelements wird dann ermittelt, wenn ein Eintritt der Nutzerhand in den Erfassungsbereich erfasst wird. Dabei kann das Ermitteln der aktuellen Position des Bedienelements im Auslesen einer Nullstellung des Bedienelements aus einem Datenspeicher bestehen. Dies ist dann sinnvoll, wenn das Bedienelement nach Beenden eines Kontaktes einer Nutzerhand mit dem Bedienelement immer wieder in die Nullstellung zurückkehrt. Ist dies nicht der Fall oder befindet sich das Bedienelement aus irgendeinem Grund nicht in der Nullstellung, so kann die aktuelle Position des Bedienelements mit einer entsprechenden Sensorik ermittelt werden.The current position of the operating element in the movement area of the operating element is determined when the user's hand entering the detection area is detected. The determination of the current position of the operating element can consist in reading out a zero position of the operating element from a data memory. This is useful if the control element keeps returning to the zero position after a user's hand has ended contact with the control element. If this is not the case or if the control element is not in the zero position for any reason, the current position of the control element can be determined with a corresponding sensor system.

Auf Grundlage der erfassten Position und Bewegung der Nutzerhand sowie der ermittelten aktuellen Position des Bedienelements und der für das Bedienelement der Vorrichtung gegebenen Größe des Bewegungsbereiches des Bedienelements wird ein Kollisionspunkt der Nutzerhand mit dem Bewegungsbereich des Bedienelements berechnet und anschließend das Bedienelement zum berechneten Kollisionspunkt bewegt. Der Kollisionspunkt liegt dabei immer im Bewegungsbereich des Bedienelements.On the basis of the detected position and movement of the user hand as well as the determined current position of the operating element and the size of the movement area of the operating element given for the operating element of the device, a collision point of the user hand with the movement area of the operating element is calculated and the operating element is then moved to the calculated collision point. The collision point is always in the range of motion of the control element.

Vorzugsweise wird nach Herstellung des Kontaktes zwischen der Nutzerhand und dem Bedienelement die Position des Bedienelements im Bewegungsbereich des Bedienelements unverändert beibehalten. Damit wird ein ortsfestes Bedienelement simuliert und die Bedienung des Bedienelementes durch den Nutzer und insbesondere die Beibehaltung des Kontaktes der Nutzerhand mit dem Bedienelement erleichtert. Zur Beibehaltung der Position des Bedienelements können z.B. Gehemme oder Gesperre oder ein bestromter Schrittmotor oder eine Kombination verschiedener Elemente genutzt werden.Preferably, after contact has been established between the user hand and the operating element, the position of the operating element in the area of movement of the operating element is maintained unchanged. This simulates a stationary operating element and makes it easier for the user to operate the operating element and, in particular, to maintain contact between the user's hand and the operating element. To maintain the position of the control element, e.g. Gehemme or locking mechanism or an energized stepper motor or a combination of different elements can be used.

Vorzugsweise werden die Schritte zum Erfassen der Position und Bewegung der Nutzerhand Bedienelements im Erfassungsbereich der Vorrichtung und zum Ermitteln der aktuellen Position des Bedienelements im Bewegungsbereich des Bedienelements sowie zum Berechnen eines Kollisionspunktes der Nutzerhand mit dem Bedienelement mehrmals, besonders bevorzugt kontinuierlich, vom Eintritt der Nutzerhand in den Erfassungsbereich der Vorrichtung bis zur Herstellung des Kontaktes zwischen der Nutzerhand und dem Bedienelement ausgeführt. Dabei wird das Bedienelement zum jeweils neu berechneten Kollisionspunkt bewegt. Eine intelligente Vorausberechnung über angelernte Algorithmen ist möglich. Es entsteht ein selbstlernendes System, das sich dem jeweiligen Nutzer anpasst. Das System lernt, wie und wohin der Nutzer seine Hand häufig bewegt.The steps for detecting the position and movement of the user's hand operating element in the detection area of the device and for determining the current position of the operating element in the area of movement of the operating element and for calculating a point of collision between the user hand and the operating element are carried out several times, particularly preferably continuously, from the entry of the user hand into the detection range of the device is carried out until contact is established between the user's hand and the operating element. The control element is moved to the newly calculated collision point. An intelligent advance calculation using learned algorithms is possible. A self-learning system is created that adapts to the respective user. The system learns how and where the user often moves his hand.

In Ausführungsformen des erfindungsgemäßen Verfahrens sind mehrere Bedienelemente in einem vorgegebenen Bereich der Vorrichtung angeordnet. Dabei ist jedes Bedienelement an einem, diesem individuellen Bedienelement zugeordneten vorgegebenen Ort der Vorrichtung angeordnet und in mindestens einer Raumrichtung innerhalb eines, diesem individuellen Bedienelements zugeordneten Bewegungsbereiches von dem zugeordneten Ort wegbewegbar. Darüber hinaus ist jedem Bedienelement eine definierte Position oder Bewegung der Nutzerhand, d.h. Pose oder Geste der Nutzerhand, im Erfassungsraum zugeordnet. Diese Informationen, d.h. zugeordneter Ort, zugeordneter Bewegungsbereich und zugeordnete Position oder Bewegung der Nutzerhand, sind in einem Datenspeicher gespeichert. Vor dem Berechnen des Kollisionspunktes wird eines der mehreren Bedienelemente auf Grundlage der erfassten Position und Bewegung der Nutzerhand und der gespeicherten Informationen ausgewählt. Anschließend wird ein Kollisionspunkt der Nutzerhand mit dem Bewegungsbereich des ausgewählten Bedienelements berechnet und das ausgewählte Bedienelement wird zum berechneten Kollisionspunkt bewegt.In embodiments of the method according to the invention, several operating elements are arranged in a predetermined area of the device. Each operating element is arranged at a predetermined location of the device assigned to this individual operating element and can be moved away from the assigned location in at least one spatial direction within a movement area assigned to this individual operating element. In addition, each control element is assigned a defined position or movement of the user's hand, i.e. Pose or gesture of the user hand, assigned in the detection area. This information, i.e. assigned location, assigned movement area and assigned position or movement of the user's hand are stored in a data memory. Before calculating the collision point, one of the multiple operating elements is selected on the basis of the detected position and movement of the user's hand and the stored information. A collision point of the user's hand with the range of motion of the selected operating element is then calculated and the selected operating element is moved to the calculated collision point.

In anderen Ausführungsformen des erfindungsgemäßen Verfahrens sind ebenfalls mehrere Bedienelemente in einem vorgegebenen Bereich der Vorrichtung angeordnet, wobei jeweils ein Bedienelement, z.B. eine Taste, einem spezifischen Teil der Nutzerhand, z.B. jeweils einer Fingerkuppe oder dem Handballen, zugeordnet ist. Auch in dieser Ausführungsform ist jedes Bedienelement an einem, diesem individuellen Bedienelement zugeordneten vorgegebenen Ort der Vorrichtung angeordnet und in mindestens einer Raumrichtung innerhalb eines, diesem individuellen Bedienelements zugeordneten Bewegungsbereiches von dem zugeordneten Ort und unabhängig von anderen Bedienelementen wegbewegbar. Diese Informationen, d.h. zugeordneter Ort, zugeordneter Bewegungsbereich und zugeordnete Teil der Nutzerhand, sind in einem Datenspeicher gespeichert. Im Verfahren werden die Position und Bewegung jedes spezifischen Teils der Nutzerhand im Erfassungsbereich der Vorrichtung erfasst und die aktuelle Position jedes Bedienelements im jeweiligen Bewegungsbereich des Bedienelements ermittelt. Anschließend wird ein Kollisionspunkt für jeden spezifischen Teil der Nutzerhand mit dem Bewegungsbereich des jeweiligen zugeordneten Bedienelements berechnet und jedes Bedienelement zum berechneten Kollisionspunkt bewegt. Dabei erfolgt automatisch eine Anpassung der Anordnung der Bedienelemente an die Handgröße.In other embodiments of the method according to the invention, several control elements are also arranged in a predetermined area of the device, with one control element, for example a button, being assigned to a specific part of the user's hand, for example a fingertip or the ball of the hand. In this embodiment too, each operating element is arranged at a predetermined location of the device assigned to this individual operating element and can be moved away from the assigned location and independently of other operating elements in at least one spatial direction within a movement area assigned to this individual operating element. This information, ie assigned location, assigned movement area and assigned part of the user's hand, is stored in a data memory. In the method, the position and movement of each specific part of the user's hand in the detection area of the device are recorded and the current position of each operating element is determined in the respective movement area of the operating element. A collision point for each specific part of the user's hand with the Calculated movement range of the respective assigned control element and each control element is moved to the calculated collision point. The arrangement of the controls is automatically adapted to the size of the hand.

Das erfindungsgemäße System zur Herstellung eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement einer Vorrichtung umfasst eine Vorrichtung mit einem Bedienelement, eine Erfassungseinheit, eine Ermittlungseinheit, eine Berechnungseinheit und eine Steuereinheit. Das Bedienelement der Vorrichtung ist an einem vorgegebenen Ort der Vorrichtung angeordnet und in mindestens einer Raumrichtung innerhalb eines Bewegungsbereiches des Bedienelements von diesem Ort durch eine Aktorik wegbewegbar. Die Erfassungseinheit ist zum Erfassen der Position und Bewegung der Nutzerhand in einem Erfassungsbereich der Vorrichtung geeignet und enthält eine entsprechende Sensorik. Die Ermittlungseinheit ist zum Ermitteln der aktuellen Position des Bedienelements im Bewegungsbereich des Bedienelements geeignet und kann dazu bspw. eine abgespeicherte Nullstellung des Bedienelements abrufen. Die Berechnungseinheit ist zum Berechnen eines Kollisionspunktes der Nutzerhand mit dem Bewegungsbereich des Bedienelements auf Grundlage der von der Erfassungseinheit erfassten Position und Bewegung der Nutzerhand sowie der von der Ermittlungseinheit ermittelten aktuellen Position des Bedienelements und der gegebenen Größe des Bewegungsbereiches des Bedienelements geeignet. Die Steuereinheit ist zum Steuern der Aktorik auf der Grundlage des von der Berechnungseinheit berechneten Kollisionspunktes geeignet.The system according to the invention for establishing contact between a user's hand and an operating element of a device comprises a device with an operating element, a detection unit, a determination unit, a calculation unit and a control unit. The operating element of the device is arranged at a predetermined location of the device and can be moved away from this location by an actuator in at least one spatial direction within a movement range of the operating element. The detection unit is suitable for detecting the position and movement of the user's hand in a detection area of the device and contains a corresponding sensor system. The determination unit is suitable for determining the current position of the operating element in the area of movement of the operating element and can for this purpose, for example, call up a stored zero position of the operating element. The calculation unit is suitable for calculating a point of collision between the user's hand and the range of motion of the control element based on the position and movement of the user hand detected by the detection unit and the current position of the control element determined by the detection unit and the given size of the range of motion of the control element. The control unit is suitable for controlling the actuator system on the basis of the collision point calculated by the calculation unit.

Das erfindungsgemäße System kann sowohl als bewegliches Gerät (z.B. als Tischgerät), als auch als Einbaugerät (z.B. in einem Kraftfahrzeug) ausgeführt sein.The system according to the invention can be designed both as a mobile device (e.g. as a table-top device) and as a built-in device (e.g. in a motor vehicle).

Vorzugsweise ist das Bedienelement der Vorrichtung in allen drei Richtungen eines kartesischen Koordinatensystems im Raum bewegbar. Besonders bevorzugt ist darüber hinaus auch eine Rotation des Bedienelements um eine oder mehrere Raumachsen zur optimalen Positionierung des Bedienelements möglich. In bestimmten Ausführungsformen weist die Sensorik der Erfassungseinheit optische Sensoren, Infrarot-Sensoren und/oder Ultraschallsensoren oder eine andere Sensorik zur Erfassung der Nutzerhand auf. Vorzugsweise wird die gesamte Nutzerhand inklusive aller Finger dreidimensional erfasst.The operating element of the device is preferably movable in space in all three directions of a Cartesian coordinate system. In addition, a rotation of the operating element about one or more spatial axes for optimal positioning of the operating element is particularly preferred. In certain embodiments, the sensor system of the detection unit has optical sensors, infrared sensors and / or ultrasonic sensors or some other sensor system for detecting the user's hand. The entire user hand including all fingers is preferably recorded three-dimensionally.

In anderen Ausführungsformen enthält die Ermittlungseinheit Sensoren, die zum Ermitteln der aktuellen Position des Bedienelements im Bewegungsbereich des Bedienelements geeignet sind. Dies können bspw. optische Sensoren oder Sensoren, die mit der Aktorik des Bedienelements verbunden sind, z.B. inkrementelle Wegmesssysteme oder Linearpotentiometer, sein.In other embodiments, the determination unit contains sensors that are suitable for determining the current position of the operating element in the movement area of the operating element. This can be, for example, optical sensors or sensors that are connected to the actuators of the control element, e.g. incremental position measuring systems or linear potentiometers.

In speziellen Ausführungsformen des Systems ist die Aktorik zum Bewegen des Bedienelements geeignet, einen Neigungswinkel des Bedienelements gegenüber einer Bezugsebene einzustellen. Die Bezugsebene kann bspw. die Ebene, in der sich die Nullstellung des Bedienelements befindet, z.B. die Oberflächenebene der Mittelkonsole in einem Fahrzeug, sein. Die Bezugsebene kann auch eine beliebige, jedoch für das Bedienelement definierte kartesische Bezugsebene sein. Für ein solches System ist die Ermittlungseinheit vorzugsweise weiterhin geeignet, den aktuellen Neigungswinkel des Bedienelements gegenüber der Bezugsebene zu ermitteln. Besonders bevorzugt ist die Aktorik zum Bewegen des Bedienelements geeignet, mehrere Neigungswinkel des Bedienelements einzustellen, wobei jeder dieser Neigungswinkel einer spezifischen, sich von den anderen Bezugsebenen unterscheidenden Bezugsebene zugeordnet ist. In diesem Fall ist vorzugsweise die Ermittlungseinheit geeignet, alle aktuellen Neigungswinkel des Bedienelements bezüglich aller Bezugsebenen zu ermitteln.In special embodiments of the system, the actuator system for moving the operating element is suitable for setting an angle of inclination of the operating element with respect to a reference plane. The reference plane can, for example, be the plane in which the zero position of the control element is located, e.g. the surface plane of the center console in a vehicle. The reference plane can also be any Cartesian reference plane that is defined for the control element. For such a system, the determination unit is preferably also suitable for determining the current angle of inclination of the operating element with respect to the reference plane. The actuator system for moving the control element is particularly preferably suitable for setting a plurality of angles of inclination of the control element, each of these angles of inclination being assigned to a specific reference plane that differs from the other reference planes. In this case, the determination unit is preferably suitable for determining all current angles of inclination of the operating element with respect to all reference planes.

Die Aktorik zum Bewegen des Bedienelements umfasst in speziellen Ausführungsformen eine oder mehrere linear verschiebbare Einheiten oder einen miniaturisierten Roboterarm oder einen Hexapod oder eine Hub-Dreh-Anordnung oder eine Kombination aus den Vorgenannten. Lineare Bewegungen können dabei bspw. durch einen Zahnriemen-Antrieb oder einen SpindelAntrieb oder einen Linearmotor oder einen Ultraschall-Piezomotor oder ein Element mit einer Form-Gedächtnis-Legierung realisiert werden. Prinzipiell ist für jede Anwendung eine spezifische serielle oder parallele Kinematik mit einem oder mehreren Antrieben möglich.In special embodiments, the actuator system for moving the operating element comprises one or more linearly displaceable units or a miniaturized robot arm or a hexapod or a lifting-rotating arrangement or a combination of the aforementioned. Linear movements can be implemented, for example, by a toothed belt drive or a spindle drive or a linear motor or an ultrasonic piezomotor or an element with a shape-memory alloy. In principle, specific serial or parallel kinematics with one or more drives are possible for each application.

In weiteren Ausführungsformen enthält das erfindungsgemäße System weiterhin einen Datenspeicher. In diesem kann bspw. die Nullstellung des Bedienelements sowie die Größe und Lage des Bewegungsbereiches des Bedienelements gespeichert sein.In further embodiments, the system according to the invention also contains a data memory. In this, for example, the zero position of the control element and the size and position of the range of motion of the control element can be stored.

Für den Fall, dass die Vorrichtung mehrere Bedienelemente enthält, die in einem vorgegebenen Bereich der Vorrichtung angeordnet sind, ist vorzugsweise jedem Bedienelement eine definierte Position oder Bewegung der Nutzerhand zugeordnet. Diese Informationen sind in dem Datenspeicher gespeichert. Dabei ist jedes Bedienelement an einem diesem individuellen Bedienelement zugeordneten vorgegebenen Ort der Vorrichtung angeordnet und in mindestens einer Raumrichtung innerhalb eines diesem individuellen Bedienelements zugeordneten Bewegungsbereiches von dem zugeordneten Ort und unabhängig von anderen Bedienelementen wegbewegbar. In diesem Fall ist weiterhin die Berechnungseinheit geeignet, eines der mehreren Bedienelemente auf Grundlage der erfassten Position und Bewegung der Nutzerhand und der gespeicherten Informationen auszuwählen und den Kollisionspunkt der Nutzerhand mit dem Bewegungsbereich des ausgewählten Bedienelements zu berechnen. Darüber hinaus ist die Steuereinheit geeignet, die Aktorik derart zu steuern, dass das ausgewählte Bedienelement zum berechneten Kollisionspunkt bewegt wird. Damit kann auch bei Vorhandensein mehrerer Bedienelemente in einem Bereich der Vorrichtung ein Kontakt der Nutzerhand mit einem ausgewählten Bedienelement ohne Sichtkontakt des Nutzers zu den Bedienelementen hergestellt werden.In the event that the device contains several operating elements which are arranged in a predetermined area of the device, a defined position or movement of the user's hand is preferably assigned to each operating element. This information is stored in the data memory. Each operating element is arranged at a predetermined location of the device assigned to this individual operating element and in at least one spatial direction within a movement area assigned to this individual operating element from the assigned location and independently of other operating elements movable away. In this case, the calculation unit is also suitable for selecting one of the plurality of operating elements on the basis of the detected position and movement of the user hand and the stored information and for calculating the point of collision of the user hand with the range of motion of the selected operating element. In addition, the control unit is suitable for controlling the actuator system in such a way that the selected operating element is moved to the calculated collision point. In this way, even if several operating elements are present in an area of the device, contact between the user's hand and a selected operating element can be established without the user having visual contact with the operating elements.

In einer anderen Ausführungsform, in der die Vorrichtung mehrere Bedienelemente enthält, die in einem vorgegebenen Bereich der Vorrichtung angeordnet sind, ist jeweils ein Bedienelement, z.B. eine Taste, einem spezifischen Teil der Nutzerhand, z.B. jeweils einer Fingerkuppe oder dem Handballen, zugeordnet. Auch in dieser Ausführungsform sind die entsprechenden Informationen in dem Datenspeicher gespeichert und jedes Bedienelement ist an einem diesem individuellen Bedienelement zugeordneten vorgegebenen Ort der Vorrichtung angeordnet und in mindestens einer Raumrichtung innerhalb eines diesem individuellen Bedienelements zugeordneten Bewegungsbereiches von dem zugeordneten Ort und unabhängig von anderen Bedienelementen wegbewegbar. In diesem Fall ist weiterhin die Erfassungseinheit geeignet, die Position und Bewegung jedes spezifischen Teils der Nutzerhand zu erfassen, während die Ermittlungseinheit geeignet ist, die aktuelle Position jedes Bedienelements zu ermitteln. Darüber hinaus ist die Berechnungseinheit geeignet, für jedes Bedienelement auf Grundlage der erfassten Positionen und Bewegungen der spezifischen Teile der Nutzerhand, der ermittelten aktuellen Positionen der Bedienelemente und der gespeicherten Informationen den Kollisionspunkt jedes spezifischen Teils der Nutzerhand mit dem Bewegungsbereich des jeweiligen zugeordneten Bedienelements zu berechnen. Die Steuereinheit ist geeignet, die Aktorik derart zu steuern, dass jedes Bedienelement zum berechneten Kollisionspunkt bewegt wird. Damit kann bei Vorhandensein mehrerer Bedienelemente in einem Bereich der Vorrichtung ein Kontakt der spezifischen Teile der Nutzerhand mit den Bedienelementen ohne Sichtkontakt des Nutzers zu den Bedienelementen hergestellt werden, wobei gleichzeitig eine Anpassung der Bedienelemente an die Handgröße erfolgt.In another embodiment, in which the device contains several operating elements which are arranged in a predetermined area of the device, one operating element, e.g. a button, a specific part of the user's hand, e.g. each assigned to a fingertip or the ball of the hand. In this embodiment too, the corresponding information is stored in the data memory and each operating element is arranged at a predetermined location of the device assigned to this individual operating element and can be moved away from the assigned location and independently of other operating elements in at least one spatial direction within a movement area assigned to this individual operating element. In this case, the detection unit is furthermore suitable for detecting the position and movement of each specific part of the user hand, while the detection unit is suitable for determining the current position of each operating element. In addition, the calculation unit is suitable for calculating the point of collision of each specific part of the user's hand with the range of motion of the respective assigned operating element for each operating element on the basis of the recorded positions and movements of the specific parts of the user hand, the determined current positions of the operating elements and the stored information. The control unit is suitable for controlling the actuators in such a way that each operating element is moved to the calculated collision point. In this way, when there are several operating elements in one area of the device, contact between the specific parts of the user's hand and the operating elements can be established without the user having visual contact with the operating elements, with the operating elements being adapted to the hand size at the same time.

In Ausführungsformen enthält das Bedienelement zusätzlich mindestens eine Komponente, die geeignet ist, zusätzliche Informationen an einen Nutzer der Vorrichtung zu übermitteln. Die zusätzlichen Informationen können bspw. haptisch (als äußere, veränderliche Form des Bedienelements), vibrotaktil oder auditiv sein und ein Feedback, bspw. zur aktuellen Position des Bedienelements im Bewegungsbereich des Bedienelements oder in Relation zur aktuellen Position der Nutzerhand oder zu einer aktuellen Funktionalität des Bedienelements, liefern.In embodiments, the control element additionally contains at least one component that is suitable for transmitting additional information to a user of the device. The additional information can, for example, be haptic (as the outer, variable shape of the control element), vibrotactile or auditory and provide feedback, for example on the current position of the control element in the movement area of the control element or in relation to the current position of the user hand or to a current functionality of the Control element, deliver.

Das erfindungsgemäße System eignet sich insbesondere zur Verwendung in einem Kraftfahrzeug, wobei jede Art von Personen- oder Lastkraftwagen sowie von Spezialfahrzeugen wie Kehrmaschinen, Mähfahrzeugen und ähnlichen eingeschlossen ist. Beispielhaft soll hier die Verwendung in einem Personenkraftwagen erläutert werden. Dabei befindet sich das Bedienelement bspw. in der Mittelkonsole des Personenkraftwagens und kann z.B. ein Drehsteller, wie er aus der DE 103 41 009 A1 oder der DE 10 2007 042 113 A1 bekannt ist, oder eine Tastatur oder ein anderes Multifunktionselement sein.The system according to the invention is particularly suitable for use in a motor vehicle, including any type of passenger or truck and special vehicles such as sweepers, mowing vehicles and the like. The use in a passenger vehicle is to be explained here as an example. The control element is located, for example, in the center console of the passenger car and can, for example, be a rotary actuator like the one from the DE 103 41 009 A1 or the DE 10 2007 042 113 A1 known, or a keyboard or other multifunctional element.

Das erfindungsgemäße System eignet sich weiterhin insbesondere zur Verwendung in einem Bagger, einem Kran, einer landwirtschaftlichen Maschine oder einem Cockpit eines Luftfahrzeugs. Dabei können die genannten Geräte wie Bagger, Kran oder landwirtschaftliche Maschine sowohl stationär als auch mobil sein. Auch hier ist es oftmals gewünscht, Hebel oder andere Bedienelemente ohne direkten Blickkontakt durch den Nutzer zu kontaktieren und zu bedienen.The system according to the invention is also particularly suitable for use in an excavator, a crane, an agricultural machine or a cockpit of an aircraft. The devices mentioned, such as excavators, cranes or agricultural machines, can be both stationary and mobile. Here, too, it is often desired to contact and operate levers or other operating elements without direct eye contact by the user.

Im Nachfolgenden soll die Erfindung anhand von Ausführungsbeispielen und Figuren verdeutlicht werden. Dabei sind die Abmessungen der einzelnen Elemente sowie deren Relation zueinander nicht maßstäblich, sondern nur schematisch wiedergegeben. Gleiche Bezugszeichen bezeichnen entsprechende gleichartige Bauteile.In the following, the invention is to be illustrated with the aid of exemplary embodiments and figures. The dimensions of the individual elements and their relationship to one another are not true to scale, but only shown schematically. The same reference symbols designate corresponding components of the same type.

Es zeigen:

1 das erfindungsgemäße Verfahren in schematischer Form,
2 das erfindungsgemäße System als schematische Blockdarstellung,
3A bis 3D eine Nutzerhand sowie das erfindungsgemäße System zu unterschiedlichen Zeitpunkten des erfindungsgemäßen Verfahrens und
4A bis 4B ein Ausführungsbeispiel des erfindungsgemäßen Systems in einem Personenkraftwagen.

Show it:

1 the method according to the invention in schematic form,
2 the system according to the invention as a schematic block diagram,
3A to 3D a user hand and the system according to the invention at different times of the method according to the invention and
4A to 4B an embodiment of the system according to the invention in a passenger car.

Die 1 zeigt die Schritte des erfindungsgemäßen Verfahrens zur Herstellung eines Kontaktes einer Nutzerhand mit einem Bedienelement. Dabei soll der Kontakt auch ohne Blickkontakt des Nutzers zu dem Bedienelement hergestellt werden. In einem ersten Schritt (S100) wird die Position und Bewegung der Nutzerhand in einem Erfassungsbereich der Vorrichtung mit Hilfe einer Sensorik erfasst. Das heißt, die Sensorik erfasst, ob sich eine Nutzerhand im Erfassungsbereich befindet und wenn ja, wo sich die Nutzerhand im Erfassungsraum befindet sowie ob und wie sie sich bewegt. Dabei sind unter Nutzerhand die Nutzerhand im Ganzen und/oder einzelne Elemente der Nutzerhand, wie bspw. Finger, Gelenke und/oder Handballen, zu verstehen, wie dies bereits erwähnt wurde. Im nächsten Schritt wird die aktuelle Position des Bedienelements im Bewegungsbereich des Bedienelements ermittelt (S110). Auch dazu kann eine Sensorik genutzt werden. Die Schritte S100 und S110 können zeitgleich oder nacheinander in einer beliebigen Reihenfolge ausgeführt werden. In einem folgenden Schritt wird ein Kollisionspunkt der Nutzerhand mit dem Bewegungsbereich des Bedienelements auf Grundlage der erfassten Position und Bewegung der Nutzerhand sowie der ermittelten aktuellen Position des Bedienelements und der gegebenen Größe des Bewegungsbereiches des Bedienelements berechnet (S120). Das Bedienelement wird dann zu dem berechneten Kollisionspunkt bewegt (S130). Die Schritte S100 bis S130 des Verfahrens können mehrmals in einem iterativen Prozess ausgeführt werden, bis der Kontakt zwischen der Nutzerhand und dem Bedienelement besteht. Die Herstellung des Kontaktes kann durch eine weitere Sensorik, die bspw. in dem Bedienelement angeordnet ist und den Druck der Nutzerhand registriert, ermittelt werden oder durch die Sensorik, die die Bewegung der Nutzerhand erfasst und registriert, dass sich die Nutzerhand nicht mehr bewegt. Wenn der Kontakt zwischen der Nutzerhand und dem Bedienelement vorliegt, wird das Bedienelement vorzugsweise nicht mehr bewegt, d.h. die Position des Bedienelements wird dann beibehalten, also in Bezug auf den Bewegungsbereich des Bedienelements fixiert, und damit ein ortsfestes Bedienelement simuliert (S140). Dafür können z.B. Gehemme oder Gesperre oder ein bestromter Schrittmotor oder eine Kombination verschiedener Elemente genutzt werden. Der Schritt S140 ist optional.The 1 shows the steps of the method according to the invention for establishing contact between a user hand and an operating element. In this case, contact should also be established without the user making eye contact with the operating element. In a first step (S100) the position and Movement of the user's hand is detected in a detection area of the device with the aid of a sensor system. This means that the sensor system detects whether a user hand is in the detection area and, if so, where the user hand is in the detection area and whether and how it is moving. In this context, the user's hand as a whole and / or individual elements of the user's hand, such as, for example, fingers, joints and / or ball of the hand, are to be understood, as has already been mentioned. In the next step, the current position of the control element in the range of motion of the control element is determined (S110). A sensor system can also be used for this. Steps S100 and S110 can be carried out simultaneously or one after the other in any order. In a subsequent step, a collision point between the user hand and the movement area of the operating element is calculated based on the detected position and movement of the user hand and the determined current position of the operating element and the given size of the movement area of the operating element (S120). The operating element is then moved to the calculated collision point (S130). Steps S100 to S130 of the method can be carried out several times in an iterative process until there is contact between the user's hand and the operating element. The establishment of the contact can be determined by a further sensor system, which is arranged, for example, in the control element and registers the pressure of the user hand, or by the sensor system, which detects the movement of the user hand and registers that the user hand is no longer moving. When there is contact between the user's hand and the control element, the control element is preferably no longer moved, ie the position of the control element is then retained, i.e. fixed in relation to the range of motion of the control element, and a stationary control element is thus simulated (S140). For this purpose, for example, a locking mechanism or a powered stepper motor or a combination of different elements can be used. Step S140 is optional.

Das erfindungsgemäße System zur Herstellung eines Kontaktes zwischen der Nutzerhand und einem Bedienelement ist schematisch in einer beispielhaften Ausführungsform als Blockdarstellung in 2 gezeigt. Das System 100 enthält dabei eine Vorrichtung 110, eine Erfassungseinheit 120, eine Ermittlungseinheit 130, eine Berechnungseinheit 140, eine Steuerungseinheit 150 sowie einen Datenspeicher 160. Die Vorrichtung 110 umfasst ein Bedienelement 111, das an einem Ort 112 der Vorrichtung 110 angeordnet ist. Dieser Ort 112 befindet sich an einer äußeren Oberfläche der Vorrichtung 110 und stellt bspw. die Nullstellung des Bedienelements 111 dar. Das Bedienelement 111 ist zwar fest mit der Vorrichtung 110 verbunden, d.h. es fällt nicht herunter und kann nicht durch Vibrationen oder Bewegungen der Vorrichtung 110 ungewollt von dem Ort 112 wegbewegt werden, kann jedoch lösbar mit der Vorrichtung 110 verbunden sein. Das Bedienelement 111 ist vom Ort 112 innerhalb eines Bewegungsbereiches 113, der in 2 durch eine unterbrochene Begrenzungslinie dargestellt ist, wegbewegbar. Dies kann nur entlang einer Raumrichtung möglich sein, wie dies in 2 durch den Pfeil entlang der x-Richtung symbolisiert ist, kann aber auch entlang zweier oder dreier Raumrichtungen möglich sein, d.h. entlang der y- und/oder z-Richtung. Darüber hinaus kann das Bedienelement 111 auch noch gegenüber einer Bezugsebene 114 gekippt bzw. geneigt werden, wobei die Bezugsebene 114 bspw. die Oberfläche der Vorrichtung 110, an der das Bedienelement 111 angeordnet ist, sein kann, wie dies in 2 dargestellt ist. Auch andere Neigungen gegenüber anderen Bezugsebenen oder Rotationen um andere Raumachsen können möglich sein. Die Vorrichtung 110 umfasst weiterhin eine Aktorik 115, die geeignet ist, das Bedienelement 111 innerhalb des Bewegungsbereiches 113 zu bewegen.The system according to the invention for establishing contact between the user's hand and an operating element is shown schematically in an exemplary embodiment as a block diagram in FIG 2 shown. The system 100 contains a device 110 , a registration unit 120 , an investigation unit 130 , a unit of calculation 140 , a control unit 150 as well as a data memory 160 . The device 110 includes a control element 111 that in one place 112 the device 110 is arranged. This place 112 is on an outer surface of the device 110 and sets, for example, the zero position of the control element 111 The control element 111 is fixed with the device 110 connected, ie it does not fall and cannot be caused by vibrations or movements of the device 110 unintentionally from the place 112 be moved away, but can be detachable with the device 110 be connected. The control element 111 is from the place 112 within a range of motion 113 who is in 2 is shown by a broken boundary line, movable away. This can only be possible along one spatial direction, as shown in 2 is symbolized by the arrow along the x direction, but can also be possible along two or three spatial directions, ie along the y and / or z direction. In addition, the control element 111 also with respect to a reference plane 114 be tilted or inclined, the reference plane 114 for example the surface of the device 110 on which the control element 111 is arranged, can be as shown in 2 is shown. Other inclinations with respect to other reference planes or rotations about other spatial axes can also be possible. The device 110 furthermore includes an actuator 115 that is suitable for the control element 111 within the range of motion 113 to move.

Die Erfassungseinheit 120 ist geeignet, die Position und Bewegung einer Nutzerhand 200 in einem Erfassungsbereich 121 zu erfassen. Die Bewegung der Nutzerhand 200 ist durch einen Pfeil symbolisiert. Der Erfassungsbereich 121, der in 2 ebenfalls durch eine unterbrochene Begrenzungslinie dargestellt ist, erstreckt sich bspw. von dem Bewegungsbereich 113 kegelstumpfförmig aus in den Raum weg von der Vorrichtung 110 und überlappt dabei mit dem Bewegungsbereich 113. Die Erfassungseinheit 120 weist zum Erfassen der Position und Bewegung der Nutzerhand 200 eine Sensorik 122 auf und kann darüber hinaus noch Berechnungseinrichtungen, Speichereinrichtungen, Steuereinrichtungen und/oder andere Einrichtungen enthalten.The registration unit 120 is suitable for the position and movement of a user's hand 200 in one detection area 121 capture. The movement of the user's hand 200 is symbolized by an arrow. The detection area 121 who is in 2 is also represented by a broken boundary line, extends, for example, from the range of motion 113 frustoconical out into the space away from the device 110 and thereby overlaps with the range of motion 113 . The registration unit 120 instructs to sense the position and movement of the user's hand 200 a sensor system 122 and can also contain computing devices, storage devices, control devices and / or other devices.

Die Ermittlungseinheit 130 ist geeignet, eine aktuelle Position des Bedienelements 111 im Bewegungsbereich 113 zu ermitteln. Dazu kann die Ermittlungseinheit 130 ebenfalls über eine Sensorik 131 verfügen oder die Ermittlungseinheit 130 liest eine Nullstellung des Bedienelements 111 aus dem Datenspeicher 160 aus, wenn das Bedienelement 111 in die Nullstellung zurückkehrt, sobald kein Kontakt mehr zu einer Nutzerhand besteht. Darüber hinaus kann die Ermittlungseinheit 130 auch die aktuelle Position des Bedienelements 111 ermitteln, indem es diese aus Steuerdaten oder Steuerbefehlen, mit der die Steuereinheit 150 der Aktorik 115 der Vorrichtung 110 zu einer Bewegung des Bedienelements 111 im Bewegungsbereich 113 veranlasst, und einer Anfangsposition des Bedienelements 111, z.B. der Nullstellung, berechnet. Auch die Ermittlungseinheit 130 kann daher noch Berechnungseinrichtungen, Speichereinrichtungen, Steuereinrichtungen und/oder andere Einrichtungen enthalten.The investigative unit 130 is suitable for a current position of the control element 111 in the range of motion 113 to investigate. The determination unit can do this 130 also via a sensor system 131 or the investigative unit 130 reads a zero position of the control element 111 from the data store 160 off when the control element 111 returns to the zero position as soon as there is no longer any contact with a user hand. In addition, the investigation unit 130 also the current position of the control element 111 determine it from control data or control commands with which the control unit 150 the actuators 115 the device 110 to a movement of the control element 111 in the range of motion 113 and a starting position of the control element 111 , eg the zero position, calculated. Also the investigative unit 130 can therefore also contain computing devices, storage devices, control devices and / or other devices.

Die Berechnungseinheit 140 ist geeignet, aus den von der Erfassungseinheit 120 erfassten Position und Bewegung der Nutzerhand 200 und der von der Ermittlungseinheit 130 ermittelten aktuellen Position des Bedienelements 111 im Bewegungsbereich 113 unter Einbeziehung der Größe des Bewegungsbereiches 113 einen wahrscheinlichen Kollisionspunkt 116 der Nutzerhand 200 mit dem Bewegungsbereich 113 des Bedienelements 111 zu berechnen. Die Größe des Bewegungsbereiches 113 des Bedienelements 111 kann die Berechnungseinheit 140 bspw. aus dem Datenspeicher 160 abfragen. Falls mehrere Bedienelemente an der Vorrichtung 110 angeordnet sind und jedem Bedienelement eine definierte Position oder Bewegung der Nutzerhand 200 zugeordnet ist, kann die Berechnungseinheit 140 aus der von der Erfassungseinheit 120 erfassten Position und Bewegung der Nutzerhand 200 ein spezifisches Bedienelement aus den mehreren Bedienelementen anhand von im Datenspeicher 160 abgelegten Informationen auswählen und für dieses spezifische Bedienelement dann einen Kollisionspunkt der Nutzerhand 200 mit dem spezifischen Bewegungsbereich berechnen. In anderen Ausführungsformen ist die Berechnungseinheit 140 geeignet, für mehrere Bedienelemente jeweils einen Kollisionspunkt des Bewegungsbereiches des jeweiligen Bedienelements mit einem diesem Bedienelement zugeordneten Teil der Nutzerhand 200 zu berechnen, wobei entsprechende Zuordnungen zwischen Bedienelementen und Teilen der Nutzerhand im Datenspeicher 160 hinterlegt sind und die Erfassungseinheit 120 und die Ermittlungseinheit 130 zur Erfassung der Position und Bewegung der Teile der Nutzerhand 200 bzw. zur Ermittlung der aktuellen Positionen der Bedienelemente geeignet sind.The calculation unit 140 is suitable from the from the registration unit 120 recorded position and movement of the user's hand 200 and that of the investigation unit 130 determined current position of the control element 111 in the range of motion 113 taking into account the size of the range of motion 113 a likely collision point 116 the user's hand 200 with the range of motion 113 of the control element 111 to calculate. The size of the range of motion 113 of the control element 111 can be the calculation unit 140 e.g. from the data memory 160 Interrogate. If there are several controls on the device 110 are arranged and each control element a defined position or movement of the user's hand 200 is assigned, the calculation unit 140 from the from the registration unit 120 recorded position and movement of the user's hand 200 a specific control element from the plurality of control elements based on in the data memory 160 Select stored information and then a collision point of the user's hand for this specific control element 200 calculate with the specific range of motion. In other embodiments, the calculation unit is 140 suitable, for a plurality of operating elements each have a collision point of the range of motion of the respective operating element with a part of the user's hand assigned to this operating element 200 to calculate, with corresponding assignments between control elements and parts of the user's hand in the data memory 160 are stored and the registration unit 120 and the investigation unit 130 for detecting the position and movement of the parts of the user's hand 200 or are suitable for determining the current positions of the operating elements.

Die Steuereinheit 150 ist geeignet, die Aktorik 115 derart zu steuern, dass die Aktorik 115 das Bedienelement 111 zu dem von der Berechnungseinheit 140 berechneten Kollisionspunkt 116 bewegt.The control unit 150 is suitable for the actuators 115 in such a way that the actuators 115 the control element 111 to that of the calculation unit 140 calculated collision point 116 emotional.

Die Einheiten 120 bis 160 des Systems 100 können von der Vorrichtung 100 getrennt angeordnet sein. Die Steuereinheit 150 und möglicherweise auch andere oder alle Einheiten 120 bis 160 können aber auch in der Vorrichtung 100 integriert oder an dieser angeordnet sein. Der Austausch von Daten, Signalen oder Befehlen zwischen den einzelnen Einheiten 120 bis 160 sowie der Aktorik 115, der in 2 durch die unterbrochenen Pfeile dargestellt ist, kann drahtgebunden oder drahtlos erfolgen. Die Einheiten 120 bis 160 sowie die Aktorik 115 können dementsprechend auch Kommunikationseinrichtungen, wie Transceiver, Transmitter und/oder Receiver, aufweisen. Auch wenn alle Einheiten 120 bis 160 des Systems 100 in 2 separat dargestellt sind, können mehrere davon auch in einem gemeinsamen Gerät realisiert sein.The units 120 to 160 of the system 100 can from the device 100 be arranged separately. The control unit 150 and possibly other or all units 120 to 160 but can also be in the device 100 be integrated or arranged on this. The exchange of data, signals or commands between the individual units 120 to 160 as well as the actuators 115 who is in 2 is shown by the broken arrows, can be wired or wireless. The units 120 to 160 as well as the actuators 115 can accordingly also have communication devices such as transceivers, transmitters and / or receivers. Even if all units 120 to 160 of the system 100 in 2 are shown separately, several of them can also be implemented in a common device.

Die 3A bis 3D zeigen jeweils eine Nutzerhand 200 sowie das erfindungsgemäße System 100 zu unterschiedlichen Zeitpunkten des erfindungsgemäßen Verfahrens. Eine Bewegungslinie B der Nutzerhand 200 ist in den Figuren durch eine gepunktete Linie dargestellt.The 3A to 3D each show a user hand 200 as well as the system according to the invention 100 at different times of the method according to the invention. A line of movement B. the user's hand 200 is shown in the figures by a dotted line.

Zum Zeitpunkt t₀ , der in 3A dargestellt ist, befindet sich die Nutzerhand 200 noch außerhalb des Erfassungsbereichs 121 des Systems 100. Daher wird weder die Position noch Bewegung der Nutzerhand 200 erfasst, noch die aktuelle Position 117₀ des Bedienelements 111 im Bewegungsbereich 113 des Bedienelements ermittelt. Das Bedienelement 111 befindet sich beispielhaft in einer zentralen Nullstellung, die dem Ort 112 der Vorrichtung, an dem das Bedienelement angeordnet ist, entspricht. Es wird kein Kollisionspunkt der Nutzerhand 200 mit dem Bewegungsbereich 113 berechnet.At the time t ₀ who is in 3A is shown, the user hand is 200 still outside the detection area 121 of the system 100 . Therefore, neither the position nor the movement of the user's hand becomes 200 recorded, nor the current position 117 ₀ of the control element 111 in the range of motion 113 of the control element. The control element 111 is located, for example, in a central zero position that corresponds to the location 112 corresponds to the device on which the operating element is arranged. It does not become a collision point for the user's hand 200 with the range of motion 113 calculated.

3B zeigt die Nutzerhand 200 und das System 100 zu einem späteren Zeitpunkt t₁ , zu dem die Nutzerhand 200 bereits in den Erfassungsbereich 121 eingetreten ist. Daher wurde die Position der Nutzerhand 200 und ihre Bewegung im Raum erfasst. Aus der erfassten Position und Bewegungsrichtung zum Zeitpunkt t₁ (bzw. kurz zuvor), welche durch den Pfeil in Verbindung mit der Nutzerhand 200 dargestellt ist, und der bisherigen aktuellen Position 117₀ des Bedienelements 111 wurde ein erster, voraussichtlicher Kollisionspunkt 116₁ der Nutzerhand 200 mit dem Bewegungsbereich 113 berechnet. Bildlich ausgedrückt wurde die Nutzerhand 200 auf den Bewegungsbereich 113 entlang der Bewegungsrichtung zum Zeitpunkt t₁ projiziert, wobei der Schnittpunkt der Projektion mit dem Bewegungsbereich 113 der Kollisionspunkt 116₁ ist. Zu diesem Kollisionspunkt 116₁ wurde das Bedienelement 111 mit Hilfe der Aktorik 115 bewegt, so dass es sich im Ergebnis an der neuen aktuellen Position 117₁ befindet. Die Bewegung des Bedienelements 111 ist mit dem kleinen Pfeil am Bedienelement 111 veranschaulicht. 3B shows the user's hand 200 and the system 100 at a later time t ₁ to which the user hand 200 already in the detection area 121 has occurred. Hence the position of the user's hand 200 and their movement in space is recorded. From the recorded position and direction of movement at the time t ₁ (or shortly before) indicated by the arrow in connection with the user's hand 200 is shown, and the previous current position 117 ₀ of the control element 111 became a first, probable collision point 116 ₁ the user's hand 200 with the range of motion 113 calculated. The user hand was expressed figuratively 200 on the range of motion 113 along the direction of movement at the time t ₁ projected, where the intersection of the projection with the range of motion 113 the collision point 116 ₁ is. To this collision point 116 ₁ became the control element 111 with the help of actuators 115 moved so that it is in the result at the new current position 117 ₁ is located. The movement of the control element 111 is with the small arrow on the control element 111 illustrated.

3C zeigt die Nutzerhand 200 und das System 100 zu einem wiederum späteren Zeitpunkt t₂ , zu dem die Nutzerhand 200 sich im Erfassungsbereich 121 weiter entlang der Bewegungslinie B bewegt hat. Die Position der Nutzerhand 200 und ihre Bewegung im Raum wurde erneut erfasst. Da sich die Bewegungsrichtung der Nutzerhand 200 gegenüber dem Zeitpunkt t₁ verändert hat, wurde aus der erfassten Position und Bewegungsrichtung zum Zeitpunkt t₂ und der aktuellen Position 117₁ des Bedienelements 111 zum Zeitpunkt t₁ ein zweiter Kollisionspunkt 116₂ der Nutzerhand 200 mit dem Bewegungsbereich 113 berechnet. Zu diesem wurde das Bedienelement 111 mit Hilfe der Aktorik 115 bewegt, so dass es sich im Ergebnis an der neuen aktuellen Position 117₂ befindet. Die Bewegung des Bedienelements 111 ist wieder mit dem kleinen Pfeil am Bedienelement 111 veranschaulicht. 3C shows the user's hand 200 and the system 100 again at a later point in time t ₂ to which the user hand 200 in the detection area 121 further along the movement line B. moved. The position of the user's hand 200 and their movement in space was recorded again. Since the direction of movement of the user's hand 200 compared to the time t ₁ changed from the recorded position and direction of movement at the time t ₂ and the current position 117 ₁ of the control element 111 at the time t ₁ a second collision point 116 ₂ the user's hand 200 with the range of motion 113 calculated. The control element became this 111 with the help of actuators 115 moved so that it is in the result at the new current position 117 ₂ is located. The movement of the control element 111 is again with the small arrow on the control element 111 illustrated.

3D zeigt die Nutzerhand 200 und das System 100 zu einem wiederum späteren Zeitpunkt t₃ , zu dem die Nutzerhand 200 in Kontakt mit dem Bedienelement 111 ist. Da sich die Bewegungsrichtung der Nutzerhand 200 zwischen den Zeitpunkten t₂ und t₃ nicht geändert hat, musste kein neuer Kollisionspunkt berechnet werden und das Bedienelement 111 zwischen den Zeitpunkten t₂ und t₃ nicht mehr bewegt werden. Damit entspricht die aktuelle Position 117₃ des Bedienelements 111 zum Zeitpunkt t₃ dem zweiten Kollisionspunkt 116₂ . Sobald die Nutzerhand 200 in Kontakt mit dem Bedienelement 111 getreten ist, wird das Bedienelement 111 im Bewegungsbereich 113 fixiert und der Nutzer kann mit dem Bedienelement 111 interagieren. 3D shows the user's hand 200 and the system 100 again at a later point in time t ₃ to which the user hand 200 in contact with the control element 111 is. Since the direction of movement of the user's hand 200 between the times t ₂ and t ₃ did not change, no new collision point had to be calculated and the control element 111 between the times t ₂ and t ₃ can no longer be moved. This corresponds to the current position 117 ₃ of the control element 111 at the time t ₃ the second collision point 116 ₂ . As soon as the user hand 200 in contact with the control element 111 is stepped on, the control element 111 in the range of motion 113 fixed and the user can use the control element 111 to interact.

4A zeigt ein Ausführungsbeispiel des erfindungsgemäßen Systems in einem Personenkraftwagen. Das erfindungsgemäße System 100 befindet sich in der Mittelkonsole. Mit Hilfe des erfindungsgemäßen Systems 100 kann die Position des Bedienelements 111 so verändert werden, dass ein Aufeinandertreffen (Kollision) der Nutzerhand 200 mit dem Bedienelement 111 erfolgt. Für den Fahrer wird damit ein Greifen des Bedienelements 111 mit seiner Hand 200 auch ohne Sichtkontakt deutlich vereinfacht. 4A shows an embodiment of the system according to the invention in a passenger car. The system according to the invention 100 is located in the center console. With the help of the system according to the invention 100 can change the position of the control element 111 can be changed so that a collision of the user's hand 200 with the control element 111 he follows. This means that the driver can grasp the control element 111 with his hand 200 significantly simplified even without visual contact.

4B zeigt einen Detailausschnitt des in 4A dargestellten Ausführungsbeispiels des erfindungsgemäßen Systems 100. Mit der in die Erfassungseinheit 120 integrierten Sensorik 122, die beispielhaft zwei Sensoren 122a und 122b enthält, kann die Position der Nutzerhand 200 erfasst werden. Aus der Position der Nutzerhand 200 und der Position des Bedienelements 111 wird ein Kollisionspunkt berechnet. Im speziellen Ausführungsbeispiel kann eine Aktorik 115 das Bedienelement 111 in einer Raumrichtung verschieben. Dafür wird exemplarisch ein Linearantrieb, bestehend aus einem rotarischer Motor und einem Spindel-Mutter-System, genutzt. Im dargestellten Minimalbeispiel sind zur besseren Übersicht nicht alle Komponenten des erfindungsgemäßen Systems 100 abgebildet. 4B shows a detail of the in 4A illustrated embodiment of the system according to the invention 100 . With the in the registration unit 120 integrated sensors 122 , which exemplifies two sensors 122a and 122b contains the position of the user's hand 200 are recorded. From the position of the user's hand 200 and the position of the control element 111 a collision point is calculated. In the special embodiment, an actuator 115 the control element 111 move in one spatial direction. A linear drive consisting of a rotary motor and a spindle-nut system is used as an example. For a better overview, not all components of the system according to the invention are shown in the minimal example shown 100 pictured.

Im Sinne der Erfindung können die Ausführungsformen oder einzelne Merkmale hiervon zur Ausgestaltung des Systems zur Herstellung eines Kontaktes zwischen einer Nutzerhand und einem Bedienelement auch miteinander kombiniert werden, solange sie sich nicht gegenseitig ausschließen.Within the meaning of the invention, the embodiments or individual features thereof for the configuration of the system for establishing contact between a user's hand and an operating element can also be combined with one another, as long as they are not mutually exclusive.

BezugszeichenlisteList of reference symbols

100100: System zur Herstellung eines KontaktesSystem for establishing a contact
110110: Vorrichtungcontraption
111111: BedienelementControl element
112112: Ort der Vorrichtung, an dem das Bedienelement angeordnet istLocation of the device at which the control element is arranged
113113: Bewegungsbereich des BedienelementsMovement range of the control element
114114: BezugsebeneReference plane
115115: AktorikActuators
116, 116₁, 116₂ 116, 116 ₁ , 116 ₂: KollisionspunktCollision point
117₀ - 117₃ 117 ₀ - 117 ₃: Aktuelle Position des BedienelementsCurrent position of the control element
120120: Erfassungseinheit für NutzerhandRegistration unit for the user's hand
121121: ErfassungsbereichDetection area
122122: SensorikSensors
122a, 122b122a, 122b: Sensorsensor
130130: Ermittlungseinheit für Positionsermittlung des BedienelementsDetermination unit for determining the position of the control element
131131: SensorikSensors
140140: BerechnungseinheitCalculation unit
150150: SteuerungseinheitControl unit
160160: DatenspeicherData storage
200200: Nutzerhand User hand
BB.: Bewegungslinie der NutzerhandLine of movement of the user's hand
t₀ - t₃ t ₀ - t ₃: Zeitpunkte des VerfahrensTimes of the proceedings

Claims

A method for establishing contact between a user's hand and an operating element of a device, wherein the operating element is arranged in a predetermined location of the device and can be moved away from this location in at least one spatial direction within a movement range of the operating element, with the following steps: - Detecting the position and movement of the user's hand in a detection area of the device with the help of a sensor system, - Determination of the current position of the control element in the movement area of the control element, - Calculating a collision point of the user hand with the range of motion of the control element on the basis of the detected position and movement of the user hand and the current position of the control element and the size of the range of motion of the control element and - Moving the control element to the calculated collision point

Procedure according to Claim 1 , characterized in that after the contact between the user hand and the operating element has been established, the position of the operating element in the area of movement of the operating element remains unchanged.

Procedure according to Claim 1 or 2 , characterized in that the steps for detecting the position and movement of the user hand in the detection area of the device and for determining the current position of the operating element in the area of movement of the operating element and for calculating a point of collision of the user hand with the area of movement of the operating element several times or continuously from the entry of the user hand in the detection area until contact is established between the user's hand and the control element.

Method according to one of the preceding claims, characterized in that - several operating elements are arranged in a predetermined area of the device, each operating element being arranged at a predetermined location of the device assigned to this individual operating element and assigned in at least one spatial direction within an individual operating element Movement area can be moved away from the assigned location, each control element is assigned a defined position or movement of the user hand in the detection area and this information is stored in a data memory, and one of the plurality of control elements is selected based on the detected position and movement of the user hand and the stored information is calculated, the collision point of the user's hand with the range of motion of the selected control element and the selected control element is moved to the calculated collision point.

Method according to one of the Claims 1 to 3 , characterized in that - several operating elements are arranged in a predetermined area of the device, each operating element being arranged at a predetermined location of the device assigned to this individual operating element and movable away from the assigned location in at least one spatial direction within a movement area assigned to this individual operating element is, each control element is assigned an individually defined part of the user hand and this information is stored in a data memory, - the position and movement of each part of the user hand in the detection area is recorded, - the current position of each control element is determined in the movement area of the respective control element, - for each of the operating elements on the basis of the detected position and movement of the part of the user's hand assigned to it, the determined current position of the operating element and the stored information, the collision point of the the respective part of the user's hand is calculated with the range of motion of the respective operating element and each operating element is moved to the respective calculated collision point.

System for establishing contact between a user's hand and an operating element of a device, comprising: - a device with an operating element which is arranged at a predetermined location of the device and can be moved away from this location by an actuator in at least one spatial direction within a movement range of the operating element, a detection unit which is suitable for detecting the position and movement of the user's hand in a detection area of the device and which contains a sensor system, - a determination unit which is suitable for determining the current position of the control element in the range of motion of the control element, a calculation unit which is suitable for calculating a point of collision between the user's hand and the movement area of the operating element on the basis of the position and movement of the user hand detected by the detection unit and the current position of the operating element determined by the determining unit and the size of the movement area of the operating element, and a control unit which is suitable for controlling the actuator system on the basis of the collision point calculated by the calculation unit.

System according to Claim 6 , characterized in that the operating element of the device can be moved in space in all three directions of a Cartesian coordinate system.

System according to Claim 6 or 7th , characterized in that the operating element of the device can be rotated around one or more spatial axes.

System according to one of the Claims 6 to 8th , characterized in that the detection unit has optical sensors, infrared sensors and / or ultrasonic sensors or another sensor system for detecting the user's hand.

System according to one of the Claims 6 to 9 , characterized in that the determination unit contains sensors.

System according to one of the Claims 6 to 10 , characterized in that the actuator is suitable is to set an angle of inclination of the operating element relative to a reference plane.

System according to Claim 11 , characterized in that the determination unit is suitable for determining the current angle of inclination of the operating element.

System according to one of the Claims 6 to 12th , characterized in that the system includes a data memory.

System according to Claim 13 , characterized in that - the device contains a plurality of operating elements which are arranged in a predetermined area of the device, each operating element being arranged at a predetermined location of the device assigned to this individual operating element and in at least one spatial direction within a movement area assigned to this individual operating element from the assigned location and can be moved away independently of other operating elements, each operating element being assigned a defined position or movement of the user hand and this information being stored in the data memory, - the calculation unit is suitable for one of the plurality of operating elements based on the detected position and movement of the user hand and to select the stored information and to calculate the point of collision between the user's hand and the range of motion of the selected operating element, and the control unit is suitable for controlling the actuator system in this way that the selected control element is moved to the calculated collision point.

System according to Claim 13 , characterized in that - the device contains a plurality of operating elements which are arranged in a predetermined area of the device, each operating element being arranged at a predetermined location of the device assigned to this individual operating element and in at least one spatial direction within a movement area assigned to this individual operating element from the assigned location and can be moved away independently of other operating elements, each operating element being assigned a specific defined part of the user hand and this information being stored in the data memory, - the detection unit is suitable for detecting the position and movement of each specific part of the user hand, - the Determination unit is suitable to determine the current position of each operating element - the calculation unit is suitable for each of the operating elements on the basis of the detected position and movement of the specific parts of the user ha nd to calculate the collision point of each specific part of the user's hand with the range of motion of the respective assigned operating element from the determined positions of the operating elements and the stored information, and the control unit is suitable for controlling the actuators in such a way that each operating element is moved to the respective calculated collision point .

System according to one of the Claims 6 to 15th , characterized in that the control element additionally contains at least one component which is suitable for transmitting additional information to a user of the device.

Using a system according to one of the Claims 6 to 16 in a motor vehicle.

Using a system according to one of the Claims 6 to 16 in an excavator, a crane, an agricultural machine or a cockpit of an aircraft.