DE102013000081B4 - Operator interface for contactless selection of a device function - Google Patents

Operator interface for contactless selection of a device function Download PDF

Info

Publication number
DE102013000081B4
DE102013000081B4 DE102013000081.5A DE102013000081A DE102013000081B4 DE 102013000081 B4 DE102013000081 B4 DE 102013000081B4 DE 102013000081 A DE102013000081 A DE 102013000081A DE 102013000081 B4 DE102013000081 B4 DE 102013000081B4
Authority
DE
Germany
Prior art keywords
hand
movement
function
operator
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102013000081.5A
Other languages
German (de)
Other versions
DE102013000081A1 (en
Inventor
Michael Schlittenbauer
Martin Roehder
Heiko Maiwand
Nathaniel Coser
Lorenz Bohrer
Alexander Sebastian Strauch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Volkswagen AG
Original Assignee
Audi AG
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Volkswagen AG filed Critical Audi AG
Priority to DE102013000081.5A priority Critical patent/DE102013000081B4/en
Priority to PCT/EP2013/003880 priority patent/WO2014108160A2/en
Publication of DE102013000081A1 publication Critical patent/DE102013000081A1/en
Application granted granted Critical
Publication of DE102013000081B4 publication Critical patent/DE102013000081B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren zum Betreiben einer Bedienschnittstelle (10) eines Kraftfahrzeugs, wobei durch eine optische Sensoreinrichtung (26) der Bedienschnittstelle (10) berührungslos eine Hand (24) einer Bedienperson beobachtet und in Abhängigkeit von einer Bewegungsrichtung (32, 34) der Hand (24) eine Funktion (40, 42) des Kraftfahrzeugs (12) ausgewählt und aktiviert wird, wobei bei der optischen Sensoreinrichtung (26) die Hand (24) mittels einer 3D-Kamera beobachtet wird und eine Position und/oder Bewegung der Hand (24) auf der Grundlage von 3D-Bilddaten der 3D-Kamera (26) ermittelt werden,
dadurch gekennzeichnet, dass
die optische Sensoreinrichtung (26) einen Erfassungsbereich (28) aufweist und der Erfassungsbereich (28) einen Raumbereich (30) oberhalb einer Mittelkonsole des Kraftfahrzeugs umfasst, wobei es sich bei dem Raumbereich (30) um einen quaderförmigen Volumenbereich handelt, dessen Kanten jeweils Abmessungen aufweisen, die in einem Bereich von 20 cm bis 50 cm liegen, und
eine Berechnungseinheit (16) anhand der 3D-Bilddaten der optischen Sensoreinrichtung (26) erkennt, dass es sich bei der Hand (24) der Bedienperson um ein bewegtes Objekt mit der Form einer Hand handelt, und eine Bewegungstrajektorie der Hand (24) in dem Erfassungsbereich (28) verfolgt und dabei überprüft, ob sich die Hand (24) in dem vorbestimmten Raumbereich (30) befindet, und
falls die Berechnungseinheit (16) erkennt, dass sich die Hand (24) in dem Raumbereich (30) befindet, eine Funktionsauswahl aktiviert, bei welcher eine Wischbewegung der Hand (24) zu einem Rand des Raumbereichs (30) hin erkannt wird und eine durch die Wischbewegung definierte Bewegungsrichtung (32, 34) ermittelt wird und eine der Bewegungsrichtung (32, 34) zugeordnete Funktion (40, 42) ausgewählt wird, sodass die Bedienperson mit einer einzigen Bediengeste eine binäre Auswahl trifft, und hierbei für den Fall, dass ein Telefon des Kraftfahrzeugs läutet, durch die Sensoreinrichtung (10) detektiert wird, ob die Bedienperson mit der Hand (24) in den vordefinierten Raumbereich (30) hineinfasst, und nach Detektieren der Hand (24) in dem Raumbereich (30) eine binäre Wischgeste nach rechts oder links erkannt wird, durch welche die Bedienperson festlegt, ob sie den Telefonanruf entweder annimmt oder das Telefonat ablehnt.

Figure DE102013000081B4_0000
Method for operating an operating interface (10) of a motor vehicle, wherein an optical sensor device (26) of the operating interface (10) observes contactlessly a hand (24) of an operator and a function of a direction of movement (32, 34) of the hand (24) Function (40, 42) of the motor vehicle (12) is selected and activated, wherein the optical sensor means (26), the hand (24) is observed by means of a 3D camera and a position and / or movement of the hand (24) on the Basis of 3D image data of the 3D camera (26) can be determined
characterized in that
the optical sensor device (26) has a detection region (28) and the detection region (28) comprises a spatial region (30) above a center console of the motor vehicle, wherein the spatial region (30) is a cuboid volume region whose edges each have dimensions , which are in a range of 20 cm to 50 cm, and
a calculation unit (16) recognizes from the 3D image data of the optical sensor device (26) that the operator's hand (24) is a moving object in the shape of a hand, and a movement trajectory of the hand (24) in the Traced detection range (28) and thereby checks whether the hand (24) is located in the predetermined space area (30), and
if the computing unit (16) detects that the hand (24) is located in the space area (30), activates a function selection in which a swipe of the hand (24) is detected towards an edge of the space area (30) and through the movement defined by the wiping movement (32, 34) is determined and a function (40, 42) associated with the direction of movement (32, 34) is selected such that the operator makes a binary selection with a single operating gesture, and in this case in case of Phone of the motor vehicle rings, is detected by the sensor device (10), whether the operator with the hand (24) into the predefined space area (30) hineins, and after detecting the hand (24) in the space area (30) for a binary swipe gesture right or left is detected, by which the operator determines whether it either accepts the phone call or rejects the phone call.
Figure DE102013000081B4_0000

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienstelle eines Geräts. Durch eine optische Sensoreinrichtung der Bedienschnittstelle wird berührungslos eine Position einer Hand einer Person ermittelt und in Abhängigkeit von einer Bewegung der Hand eine Funktion des Geräts ausgewählt und aktiviert. Zu der Erfindung gehört auch eine Kraftfahrzeug mit einer Bedienschnittstelle zum Aktivieren von zumindest einer Funktion des Kraftfahrzeugs. Des Weiteren gehören zu der Erfindung ein Computerprogrammprodukt, mittels welchem es ermöglicht wird, das erfindungsgemäße Verfahren mit einem mobilen Endgerät, also beispielsweise einem Smartphone oder einem Tablet-PC, durchzuführen, sowie ein entsprechendes mobiles Endgerät.The invention relates to a method for operating a control point of a device. By means of an optical sensor device of the user interface, a position of a hand of a person is determined without contact and a function of the device is selected and activated as a function of a movement of the hand. The invention also includes a motor vehicle with an operator interface for activating at least one function of the motor vehicle. Furthermore, the invention includes a computer program product by means of which it is possible to carry out the method according to the invention with a mobile terminal, that is, for example, a smartphone or a tablet PC, and a corresponding mobile terminal.

Die berührungslose Beobachtung einer Hand einer Bedienperson und das von der Bewegung der Hand abhängige Steuern eines Geräts sind aus der US 2011/0286676 A1 im Zusammenhang mit einer Gestenerkennung bekannt. Das in dieser Druckschrift beschriebene System erzeugt mittels einer TOF-Kamera (TOF - Time of Flight) 3D-Bilddaten zu einem Körperteil einer in einem Kraftfahrzeug befindlichen Person und führt anhand der 3D-Bilddaten die Gestenerkennung durch. Es wird zwischen dynamischen und statischen Gesten unterschieden. Wird eine Geste durch das System erkannt, so wird eine dieser Geste zugeordnete Funktion in dem Kraftfahrzeug aktiviert.The non-contact observation of a hand of an operator and the movement of the hand-dependent control of a device are from the US 2011/0286676 A1 known in the context of gesture recognition. The system described in this document generates 3D image data about a body part of a person in a motor vehicle by means of a TOF camera (TOF - Time of Flight) and performs gesture recognition on the basis of the 3D image data. A distinction is made between dynamic and static gestures. If a gesture is detected by the system, a function associated with that gesture is activated in the motor vehicle.

Gestenerkennungseinrichtungen weisen den Vorteil auf, dass eine Bedienung eines Geräts ohne Tasten möglich ist. Tasten sind örtlich definiert und müssen meist von einer Bedienperson vor der Betätigung geortet werden. Insbesondere im Zusammenhang mit der Bedienung eines Kraftfahrzeugs während der Fahrt ist dies für einen Fahrer gefährlich, weil er hierbei vom Verkehrsgeschehen abgelenkt ist.Gesture recognition devices have the advantage that an operation of a device without buttons is possible. Keys are locally defined and usually must be located by an operator prior to operation. In particular, in connection with the operation of a motor vehicle while driving this is dangerous for a driver, because he is distracted from the traffic.

Eine Gestenerkennung verringert den Aufmerksamkeitsverlust, da sie das Suchen eines Schalters erübrigt. Nachteil einer Gestenerkennung ist aber, dass die Bedienperson sich die unterschiedlichen Gesten merken muss. Ein weiterer Nachteil ist, dass es schwierig sein kann, eine robuste Gestenerkennung in veränderlichen Lichtverhältnissen sicherzustellen.Gesture recognition reduces attention loss by eliminating the need to search for a switch. The disadvantage of a gesture recognition, however, is that the operator has to remember the different gestures. Another drawback is that it can be difficult to ensure robust gesture recognition in varying light conditions.

In der Druckschrift US 2012/0105613 A1 ist ein Kraftfahrzeug mit einem Handschrifterkennungssystem beschrieben, das in dem Kraftfahrzeug eine Bewegungstrajektorie einer Hand mittels einer Kamera erfasst und anhand der Bewegungstrajektorie einen von dem Benutzer mit seiner Hand gezeichneten Buchstaben erkennt.In the publication US 2012/0105613 A1 a motor vehicle is described with a handwriting recognition system that detects a movement trajectory of a hand in the motor vehicle by means of a camera and recognizes a movement trajectory drawn by the user with his hand letter.

In der Druckschrift US 2010/0231509 A1 ist ein Operationstisch mit einem Monitor zur Bildunterstützung eines operierenden Arztes beschrieben. Der Arzt kann sich auf dem Bildschirm Röntgenbilder anzeigen lassen und durch Bewegen seiner Hand das angezeigte Bild skalieren oder verschieben. Um die Skalierungsfunktion oder die Verschiebungsfunktion zu aktivieren, gibt es Sprachbefehle und die Möglichkeit, durch Definieren einer virtuellen Ebene im Raum und Durchstoßen der virtuellen Ebene mit der Hand das Skalieren oder Verschieben zu beginnen und zu beenden. Um eine große Verschiebung mit mehreren aufeinander folgenden Verschiebegesten zu erreichen, kann der Arzt die Hand nach einer Verschiebebewegung wieder rezentralisieren, was von dem System als „Nachgreifen“ interpretiert wird.In the publication US 2010/0231509 A1 An operating table with a monitor for image support of an operating physician is described. The doctor can display X-ray images on the screen and scale or move the displayed image by moving his hand. To enable the scaling function or the move function, there are voice commands and the ability to begin and end scaling or movement by defining a virtual layer in space and punching the virtual layer by hand. To achieve a large shift with multiple consecutive shift gestures, the physician may re-centralize the hand after a shift motion, which is interpreted by the system as "follow-up".

Gemäß der US 2012/0293402 A1 erfolgt eine Gerätebedienung durch Berührung von Oberflächen. Es sind immer konkrete Bedienfelder zu berühren, die z.B. auf eine Hand projiziert sein können.According to the US 2012/0293402 A1 the device is operated by touching surfaces. There are always concrete panels to touch, which may be projected onto a hand, for example.

In der US 2005/0063564 A1 wird gelehrt, dass stets eine Initialgeste vor der eigentlichen Gestenbedienung vorzusehen ist. Es wird stets diese Initialgeste abgewartet.In the US 2005/0063564 A1 It is taught that always an initial gesture is to be provided before the actual gesture operation. It always waits for this initial gesture.

In der Druckschrift US 2011/0060499 A1 ist die Bedienung eines Kraftfahrzeugs mittels eines Touchpads beschrieben. Es wird erkannt, wie viele Finger sich gleichzeitig dem Touchpad nähern.In the publication US 2011/0060499 A1 the operation of a motor vehicle by means of a touchpad is described. It detects how many fingers are approaching the touchpad at the same time.

Aus einer wissenschaftlichen Veröffentlichung von Zobl et al. (M. Zobl, R. Nieschulz, M. Geiger, M. Lang, G. Rigoll, „Gesture components for natural interaction with in-car devices“, International Gesture Workshop, Springer, Berlin, Heidelberg, 2003, S. 448-459) geht hervor, dass zu Beginn einer 3D-Gestenerkennung in einem Kraftfahrzeug stets eine Startgeste vorgesehen sein sollte, bevor die eigentliche Bediengeste freigeschaltet ist.From a scientific paper by Zobl et al. (M. Zobl, R. Nieschulz, M. Geiger, M. Lang, G. Rigoll, "Gesture Components for Natural Interaction with In-Car Devices", International Gesture Workshop, Springer, Berlin, Heidelberg, 2003, p. 448- 459) shows that at the beginning of a 3D gesture recognition in a motor vehicle always a start gesture should be provided before the actual control gesture is unlocked.

Aus dem Benutzerhandbuch „ALCATEL onetouch 997“ (TCT Mobile Ltd., 2012) geht hervor, dass zum Annehmen und Ablehnen eines Telefonanrufs auf einem Touchscreen spezielle Bedienelemente mit Wischfunktion vorgesehen sein können.The user guide "ALCATEL onetouch 997" (TCT Mobile Ltd., 2012) states that special features with a wipe function may be provided for accepting and rejecting a telephone call on a touch screen.

Aus den Druckschriften DE 10 2009 036 369 A1 , US 2012/0121185 A1 und US 2011/0080490 A1 ist bekannt, dass im Zusammenhang mit einer 3D-Gestensteuerung ein Hineinfassen in einen definierten Volumenbereich explizit detektiert wird.From the pamphlets DE 10 2009 036 369 A1 . US 2012/0121185 A1 and US 2011/0080490 A1 It is known that, in connection with a 3D gesture control, inching into a defined volume range is explicitly detected.

Der Erfindung liegt die Aufgabe zu Grunde, eine Bedienschnittstelle für ein Gerät bereitzustellen, mit welcher eine Bedienperson das Gerät auch mit geringer Aufmerksamkeit bedienen kann.The invention is based on the object to provide a user interface for a device, with which an operator can operate the device with little attention.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben. The object is solved by the subject matters of the independent claims. Advantageous developments of the invention are given by the dependent claims.

Das erfindungsgemäße Verfahren basiert auf dem Eingangs beschriebenen Ansatz, mittels einer optischen Sensoreinrichtung einer Bedienschnittstelle berührungslos eine Position einer Hand einer Bedienperson zu ermitteln und in Abhängigkeit von einer Bewegung der Hand eine Funktion des Gerät auszuwählen und zu aktivieren. Anders als bei einer aufwändigen Gestenerkennungseinrichtung genügt es bei dem erfindungsgemäßen Verfahren aber, dass eine Bedienperson ihre Hand durch einen vorbestimmten Raumbereich z.B. nach links oder rechts hin hindurchschwenkt, um eine bestimmte Funktion auszuwählen.The method according to the invention is based on the approach described at the beginning, by means of an optical sensor device of an operator interface, to contactlessly determine a position of a hand of an operator and to select and activate a function of the device as a function of a movement of the hand. Unlike an elaborate gesture recognition device, however, in the method according to the invention it is sufficient for an operator to move his hand through a predetermined spatial area, e.g. pans right or left to select a specific function.

Die optische Sensoreinrichtung funktioniert durch das erfindungsgemäße Verfahren sozusagen ähnlich wie eine Lichtschranke. Dies wird folgendermaßen erreicht.The optical sensor device works by the inventive method, so to speak, similar to a light barrier. This is achieved as follows.

Die optische Sensoreinrichtung beobachtet die Hand mittels einer 3D-Kamera und ermittelt eine Position und Bewegung der Hand auf der Grundlage von 3D-Bilddaten der 3D-Kamera. So ist es möglich, dass als die möglichen Bewegungsrichtungen für die Auswahl von Funktionen alle drei Raumrichtungen ausgewertet werden können. Zudem ist die Anordnung der 3D-Kamera unabhängig von einer Bewegungsebene der Wischbewegungen. Es können insbesondere auch Bewegungen von der 3D-Kamera weg oder zu ihr hin erkannt werden.The optical sensor device observes the hand by means of a 3D camera and detects a position and movement of the hand on the basis of 3D image data of the 3D camera. So it is possible that all three spatial directions can be evaluated as the possible directions of movement for the selection of functions. In addition, the arrangement of the 3D camera is independent of a movement plane of the wiping movements. In particular, it is also possible to detect movements away from or towards the 3D camera.

Die optische Sensoreinrichtung weist einen Erfassungsbereich auf und der Erfassungsbereich umfasst einen Raumbereich oberhalb einer Mittelkonsole des Kraftfahrzeugs, wobei es sich bei dem Raumbereich um einen quaderförmigen Volumenbereich handelt, dessen Kanten jeweils Abmessungen aufweisen, die in einem Bereich von 20 cm bis 50 cm liegen.The optical sensor device has a detection area and the detection area comprises a space area above a center console of the motor vehicle, wherein the space area is a cuboid volume area whose edges each have dimensions that are in a range of 20 cm to 50 cm.

Durch die Sensoreinrichtung wird zunächst detektiert, ob die Bedienperson mit ihrer Hand in den vordefinierten Raumbereich hineinfasst. Nach Detektieren der Hand in dem Raumbereich wird dann eine Funktionsauswahl aktiviert.The sensor device initially detects whether the operator has grasped his hand in the predefined spatial area. After detecting the hand in the room area then a function selection is activated.

Eine Berechnungseinheit erkennt anhand der 3D-Bilddaten der optischen Sensoreinrichtung, dass es sich bei der Hand der Bedienperson um ein bewegtes Objekt mit der Form einer Hand handelt, und verfolgt eine Bewegungstrajektorie der Hand in dem Erfassungsbereich und überprüft dabei, ob sich die Hand in dem vorbestimmten Raumbereich befindet, und falls die Berechnungseinheit erkennt, dass sich die Hand in dem Raumbereich befindet, wird die Funktionsauswahl aktiviert.A computing unit recognizes from the 3D image data of the optical sensor device that the operator's hand is a moving object in the shape of a hand and tracks a movement trajectory of the hand in the detection area, thereby checking whether the hand is in the hand predetermined room area, and if the calculation unit detects that the hand is in the room area, the function selection is activated.

Bei dieser Funktionsauswahl wird eine Wischbewegung der Hand zu einem Rand des Raumbereichs hin erkannt. Durch die Wischbewegung ist eine Bewegungsrichtung definiert. Diese wird durch die Sensoreinrichtung entsprechend ermittelt. In Abhängigkeit von der Bewegungsrichtung wird dann eine bestimmte, der Bewegungsrichtung zugeordnete Funktion ausgewählt. Diese kann dann entweder sofort automatisch oder nach einer Bestätigung durch die Bedienperson aktiviert werden. So kann ein Schwenken der Hand nach links z.B. eine erste Funktion auslösen, z.B. das Annehmen eines Telefonanrufs, und ein Schwenken der Hand nach rechts eine zweite Funktion, z.B. das Ablehnen des Telefonanrufs. Für eine genauere Ermittlung der Bewegungsrichtung kann eine aktuelle Position der Hand in dem Raumbereich als Ausgangsposition festgelegt werden und danach eine von der Ausgangsposition ausgehende Wischbewegung der Hand zu einem Rand des Raumbereichs hin erkannt werden. Durch die Ausgangsposition und die von dieser ausgehenden Wischbewegung ist dann die Bewegungsrichtung besonders klar definiert.In this function selection, a wiping movement of the hand is detected to an edge of the room area. The wiping movement defines a direction of movement. This is determined by the sensor device accordingly. Depending on the direction of movement, a specific function associated with the direction of movement is then selected. This can then be activated either immediately or automatically after confirmation by the operator. Thus, pivoting the hand to the left, e.g. trigger a first function, e.g. accepting a telephone call, and pivoting the hand to the right a second function, e.g. the rejection of the telephone call. For a more accurate determination of the direction of movement, a current position of the hand in the space area can be defined as the starting position, and then a wiping movement of the hand starting from the starting position to an edge of the space area can be detected. Due to the starting position and the wiping movement emanating from this then the direction of movement is particularly clearly defined.

Das erfindungsgemäße Verfahren weist den Vorteil auf, dass die Bedienperson ohne Aufmerksamkeitsverlust mit einer einzelnen Wischbewegung eine binäre Auswahl trifft (Funktion aktivieren oder nicht). Ein weiterer Vorteil besteht darin, dass die Bedienung des Geräts beschleunigt wird, wenn die Funktion ansonsten beispielsweise zunächst aus einem Bedienmenü des Geräts herausgesucht werden müsste, um sie dann zu aktivieren. Bei dem erfindungsgemäßen Verfahren kann hierbei die eigentliche Erkennung der Position der Hand und ihrer Bewegung an sich in bekannter Weise durchgeführt werden. So muss ein hierfür verwendetes System nicht in besonderer Weise baulich angepasst werden.The method according to the invention has the advantage that the operator, without loss of attention, makes a binary selection with a single wiping motion (activate function or not). Another advantage is that the operation of the device is accelerated, if otherwise the function would otherwise first have to be selected from an operating menu of the device in order to then activate it. In the case of the method according to the invention, the actual detection of the position of the hand and its movement can be carried out in a known manner. Thus, a system used for this purpose does not have to be adapted in a particular way structurally.

Ein weiterer Vorteil ergibt sich, wenn beim Aktivieren der Funktionsauswahl über eine Anzeigeeinrichtung der Bedienschnittstelle der Bedienperson angezeigt wird, durch welche Bewegung, also welche Bewegungsrichtung, welche Funktion auswählt werden kann. Es wird also zumindest eine mögliche Bewegungsrichtung sowie jeweils eine der möglichen Bewegungsrichtung zugeordnete, auswählbare Funktion angezeigt. Die Bedienschnittstelle ist dann ohne Vorkenntnisse und damit besonders intuitiv bedienbar.A further advantage results when, when activating the function selection via a display device of the operator interface of the operator is displayed, by which movement, ie which direction of movement, which function can be selected. Thus, at least one possible direction of movement and in each case one of the possible directions of movement assigned, selectable function is displayed. The user interface is then without prior knowledge and thus very intuitive to use.

Ein weiterer Vorteil ergibt sich, wenn besonders häufig benötigte Funktionen oder Funktionen, die in besonders fahrkritischen Situationen genutzt werden, über eine einfache Wischbewegung der Hand auswählbar gemacht werden können. Hierzu muss durch eine Bedienperson selbst eingestellt werden können, welche Funktion ausgewählt wird, wenn man die Hand in eine bestimmte Bewegungsrichtung innerhalb des Raumbereichs bewegt. Hierzu ist vorgesehen, dass in einem Konfigurationsmodus der Bedienschnittstelle eine Benutzereingabe betreffend eine bestimmte Funktion durch die Bedienschnittstelle empfangen wird und in Abhängigkeit von der Benutzereingabe eine Zuordnung der Funktion zu einer möglichen Bewegungsrichtung festgelegt wird. Eine solche Zuordnung stellt somit eine Abkürzung (Short-Cut) für die Funktionsauswahl dar. Sie ist auch für mehrere Funktionen zu unterschiedlichen Bewegungsrichtungen möglich.Another advantage arises when particularly frequently required functions or functions that are used in particularly driving-critical situations can be made selectable via a simple wiping movement of the hand. This must be set by an operator himself can be selected, which function is selected when moving the hand in a certain direction of movement within the space area. For this purpose, it is provided that in a configuration mode of the user interface, a user input regarding a specific function is received by the user interface and, depending on the user input, an assignment of the function to a possible direction of movement is determined. Such an assignment is thus an abbreviation (short cut) for the function selection. It is also possible for several functions in different directions of movement.

Ein weiterer Vorteil ergibt sich, wenn diejenige Zuordnungsvorschrift, durch welche zumindest eine Funktion einer möglichen Bewegungsrichtung zugeordnet wird, in Abhängigkeit von einem aktuellen Betriebszustand des Geräts festgelegt wird. Es werden dann also andere Funktionen angeboten, wenn gerade ein Telefon aktiv ist als wenn gerade eine Musikwiedergabe läuft. Um dies zu ermöglichen, werden mehrere vorbereitete Zuordnungsvorschriften bereitgestellt, also z.B. eine für die Telephonie und eine für die Musikwiedergabe, und bei einer Änderung des Betriebszustands eine davon als die aktuelle gültige Zuordnungsvorschrift ausgewählt. So wird in vorteilhafter Weise eine kontextabhängige Bedienschnittstelle realisiert. Wird beispielsweise das Verfahren in einer Bedienschnittstelle eines Kraftfahrzeugs durchgeführt, so kann einer Bedienperson für den Fall, dass das Telefon läutet, ermöglicht werden, dass sie mit der Hand in den Raumbereich hineingreift und dann festlegt, ob sie den Telefonanruf annimmt (beispielsweise Verschwenken der Hand nach links in dem Raumbereich) oder das Telefonat ablehnen möchte (Verschwenken der Hand nach rechts in dem Raumbereich). Läutet dagegen nicht das Telefon, sondern wird beispielsweise Musik aus einer Musikdatei wiedergegeben, so kann durch eine entsprechende andere Zuordnungsvorschrift vorgesehen werden, dass das Verschwenken der Hand nach links ein zuvor abgespieltes Lied und ein Verschwenken der Hand nach rechts das Abspielen eines in der Abspielliste nachfolgenden Liedes auslöst. Durch eine solche kontextabhängige Zuordnung von Funktionen zu Bewegungsrichtungen ergibt sich der Vorteil, dass mit einer einzigen Bedienschnittstelle und gleichbleibenden Bedienbewegungen einer Bedienperson die Steuerung mehrer unterschiedlicher Komponenten eines Geräts ermöglicht wird.A further advantage results if the assignment rule by which at least one function is assigned to a possible direction of movement is determined as a function of a current operating state of the device. Other functions are then offered when a telephone is currently active than when music is playing. To facilitate this, several prepared mapping rules are provided, e.g. one for the telephony and one for the music reproduction, and when the operating state changes, one of them is selected as the current valid assignment rule. Thus, a context-dependent user interface is realized in an advantageous manner. For example, if the method is performed in an operator interface of a motor vehicle, an operator may be allowed to hand-grip into the space area and then determine whether to answer the telephone call (eg, pivoting the hand) to the left in the room area) or to reject the call (swiveling the hand to the right in the room area). If, on the other hand, the phone does not ring, but music from a music file is played, for example, it may be provided by a corresponding other assignment rule that the swinging of the hand to the left is a previously played song and the right hand is playing a playlist in the playlist Song triggers. By such a context-dependent assignment of functions to directions of movement, there is the advantage that the control of several different components of a device is made possible with a single user interface and constant operating movements of an operator.

Ein weiterer Vorteil ergibt sich, wenn durch die Sensoreinrichtung nach dem detektieren der Hand innerhalb des Raumbereichs zusätzlich eine jeweilige Fingerstellung zumindest eines Fingers der Hand erkannt wird und die Funktionsauswahl nur aktiviert wird, falls der zumindest eine Finger eine jeweils vorbestimmte Fingerstellung aufweist. Mit anderen Worten reagiert die Bedienschnittstelle nur dann, wenn die Bedienperson mit ihrer Hand innerhalb des Raumbereichs ein vorbestimmtes Zeichen formt. Hierdurch wird eine versehentliche Funktionsauswahl vermieden. Zusätzlich oder alternativ zur Fingerstellung kann auch die Ausrichtung der Rotation der gesamten Hand daraufhin überprüft werden, ob sie in einer vorgegebenen Weise geneigt ist. Die Erkennung der Fingerstellung und der Neigung der Hand kann auf der Grundlage eines Skelett- oder Handmodells realisiert werden, das an eine in den Bilddaten erkennbare Form der Hand angepasst wird. Bei Übereinstimmung des Modells mit der Form der abgebildeten Hand steht dann mit den Parametern des Modells eine digitale Repräsentation der Fingerstellung und der Lage der Hand zur Verfügung.A further advantage results if the sensor device additionally detects a respective finger position of at least one finger of the hand after the hand is detected within the spatial area and the function selection is activated only if the at least one finger has a respective predetermined finger position. In other words, the operator interface responds only when the operator forms a predetermined character with his hand within the space area. This avoids accidental selection of functions. In addition or alternatively to the finger position, the orientation of the rotation of the entire hand can also be checked to see whether it is inclined in a predetermined manner. The recognition of the finger position and the inclination of the hand can be realized on the basis of a skeleton or hand model adapted to a shape of the hand recognizable in the image data. If the model conforms to the shape of the imaged hand, then a digital representation of the finger position and the position of the hand is available with the parameters of the model.

Wie bereits ausgeführt, gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Bedienschnittstelle zum Aktivieren von zumindest einer Funktion des Kraftfahrzeugs auf, wobei die Bedienschnittstelle eine optische Sensoreinrichtung ausweist und dazu ausgelegt ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Insbesondere ist bei dem erfindungsgemäßen Kraftfahrzeugs die Bedienschnittstelle Bestandteil eines Infotainmentsystems des Kraftfahrzeugs. Das erfindungsgemäße Kraftfahrzeug weist den Vorteil auf, dass es auch einem Fahrer ermöglicht wird, die Funktionen des Kraftfahrzeugs während einer Fahrt auszuwählen und zu aktivieren, ohne dass hierbei besonders viel Aufmerksamkeit von dem Fahrer verlangt wird.As already stated, the invention also includes a motor vehicle. The motor vehicle according to the invention has an operator interface for activating at least one function of the motor vehicle, wherein the operator interface identifies an optical sensor device and is designed to carry out an embodiment of the method according to the invention. In particular, in the motor vehicle according to the invention the operating interface is part of an infotainment system of the motor vehicle. The motor vehicle according to the invention has the advantage that it is also possible for a driver to select and activate the functions of the motor vehicle during a journey without requiring a great deal of attention from the driver.

Bei dem erfindungsgemäßen Kraftwagen hat es sich als besonders vorteilhaft erwiesen, wenn die Sensoreinrichtung eine TOF-Kamera zum Beobachten der Hand aufweist. Veränderliche Lichtverhältnisse haben dann keinen besonders störenden Einfluss auf die Bewegungserkennung. Im Gegensatz dazu kann z.B. die Verwendung einer einfachen Infrarot-Kamera bei Einstrahlung von wärmendem Sonnenlicht zu einer Fehlerkennung führen. Die TOF-Kamera nutzt dagegen einen in der Leuchtintensität modulierten Lichtstrahl (z.B. sichtbares Licht oder Infrarot-Licht), so dass fremde Lichtquellen zuverlässig von der Lichtquelle der TOF-Kamera unterschieden werden können.In the motor vehicle according to the invention, it has proved to be particularly advantageous if the sensor device has a TOF camera for observing the hand. Variable light conditions then have no particularly disturbing influence on the motion detection. In contrast, e.g. The use of a simple infrared camera when exposed to warm sunlight leads to a misrecognition. On the other hand, the TOF camera uses a light beam modulated in the luminous intensity (for example, visible light or infrared light), so that foreign light sources can be reliably discriminated from the TOF camera light source.

Zu der Erfindung gehört des Weiteren ein Computerprogrammprodukt, d. h. ein auf zumindest einem Speichermedium gespeichertes Programm. Dieses ist dazu ausgelegt, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgeräts, also beispielsweise eines Smartphones, eines Tablet-PCs, eines Personal Digital Assistants (PDA) oder eines Notebooks, auf der Grundlage von Kameradaten einer Kamera des mobilen Endgeräts eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Das erfindungsgemäße Computerprogrammprodukt weist somit den Vorteil auf, dass das mobile Endgerät durch einfache Wischbewegungen einer Hand bedient werden kann, wenn diese in einem Erfassungsbereich der Kamera des mobilen Endgeräts durchgeführt werden. Das Computerprogrammprodukt ist bevorzugt in einer Form bereitgestellt, wie sie aus dem Stand der Technik im Zusammenhang mit sogenannten „Apps“ (Applikationen - Anwendungsprogramme) für mobile Endgeräte bekannt ist.The invention further includes a computer program product, ie a program stored on at least one storage medium. This is designed, when executed by a processor device of a mobile terminal, so for example a smartphone, a tablet PC, a personal digital assistant (PDA) or a notebook, on the basis of camera data of a camera of the mobile terminal, an embodiment of the method according to the invention perform. The computer program product according to the invention thus has the advantage that the mobile terminal can be operated by simple wiping movements of a hand when they are performed in a detection range of the camera of the mobile terminal. The computer program product is preferably provided in a form known from the prior art in connection with so-called "apps" (applications-application programs) for mobile terminals.

Von der Erfindung ist schließlich auch ein mobiles Endgerät umfasst, in welchem eine Ausführungsform des erfindungsgemäßen Computerprogrammprodukts bereitgestellt ist. Bei dem erfindungsgemäßen mobilen Endgerät kann es sich insbesondere um ein Smartphone, ein Tablet-PC, ein Notebook oder einen Personal Digital Assistant handeln.Finally, the invention also encompasses a mobile terminal in which an embodiment of the computer program product according to the invention is provided. The mobile terminal according to the invention may in particular be a smartphone, a tablet PC, a notebook or a personal digital assistant.

Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:

  • 1 ein Blockschaltbild zu einer Bedienschnittstelle, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und
  • 2 eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird.
In the following, the invention is explained once again with reference to a concrete embodiment. This shows:
  • 1 a block diagram of an operator interface, which may be installed in an embodiment of the motor vehicle according to the invention, and
  • 2 a sketch of an operation as it is an operator on the basis of an embodiment of the method according to the invention is made possible.

Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.The examples shown represent preferred embodiments of the invention.

In 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine optische Sensoreinrichtung 10 und eine Wiedereingabeeinrichtung 12 gezeigt. Die optische Sensoreinrichtung 10 bildet eine Bedienschnittstelle für die Wiedergabeeinrichtung 12. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefonsystem, ein Kombiinstrument oder ein Head-up-Display handeln. Die Sensoreinrichtung 10 umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen optischen Sensor 18, der beispielsweise eine TOF-Kamera oder PMD-Kamera sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereokamera handeln. In dem in 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem optischen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.In 1 are of a motor vehicle, such as a passenger car, an optical sensor device 10 and a reentry device 12 shown. The optical sensor device 10 forms a user interface for the playback device 12 , At the playback device 12 it may be, for example, an infotainment system, an audio system, a navigation system, a television system, a telephone system, a combination instrument or a head-up display. The sensor device 10 includes a measuring device 14 and a calculation unit 16 , The measuring device 14 includes an optical sensor 18 which may be, for example, a TOF camera or PMD camera. It can be at the optical sensor 18 synonymous, for example, a stereo camera act. In the in 1 The example shown assumes that the optical sensor 18 is a PMD camera. The optical sensor 18 can be arranged for example in a headliner of the motor vehicle.

Der optische Sensor 18 kann in an sich bekannter Weise ausgestaltet sein, d.h. eine Leuchtquelle 20 für elektromagnetische Strahlung, z.B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise eine Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte Strahlung von der Hand 24 zu einem Sensorarray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen.The optical sensor 18 can be configured in a conventional manner, ie a light source 20 for electromagnetic radiation, eg an infrared light, illuminates a detection area 22 For example, a space above a center console of the motor vehicle. Is there an object in it, for example a hand 24 the driver of the motor vehicle, so is the light source 20 radiated radiation from the hand 24 to a sensor array 26 thrown back. By means of the sensor array 26 Then 3D image data can be generated, which 3D coordinates to individual surface elements of the hand 24 specify. The 3D image data are taken from the measuring device 14 to the calculation unit 16 transfer.

Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann dem Fahrzeug die ausgewerteten Daten zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedmaßen, wie beispielsweise die Hand 24, aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden.In the calculation unit 16 it may, for example, be a control unit of the motor vehicle. In the calculation unit 16 the signals are evaluated and then the vehicle the evaluated data made available, for example, by the playback device 12 be transmitted. By the calculation unit 16 can be limbs, such as the hand 24 , segmented from the 3D image data, whereby, for example, the position of a fingertip in the detection area 22 can be determined. Here, known per se segmentation algorithms can be used.

Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 18 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d.h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Verfolgen der Trajektorie beispielsweise der Fingerspitze oder des Handschwerpunktes in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden.Through the 3D image data of the sensor array 26 of the optical sensor 18 a sequence of successive 3D images can also be represented, ie with the optical sensor 18 can also movements of the hand 24 be recorded. By following the trajectory of, for example, the fingertip or the center of gravity in this 3D image sequence, in particular by tracking the position and the speed of the fingertip, a movement gesture indicated by the fingertip can be extrapolated from the trajectory.

In 2 ist dargestellt, wie mit der in 1 dargestellten optischen Sensoreinrichtung eine Ausführungsform der erfindungsgemäßen Verfahrens realisiert werden kann. Der optische Sensor 26 ist auf einen Innenraum des Kraftfahrzeugs gerichtet, so dass in einem Erfassungsbereich 28 des optischen Sensors 26 darin befindliche Objekte erfasst werden und zu einzelnen Oberflächenbereichen der Objekte 3D-Bilddaten, also beispielsweise Koordinaten, zu ihrer Lage im Raum durch die Messeinrichtung 14 erzeugt und an die Berechnungseinheit übertragen werden. Der Erfassungsbereich 28 kann beispielsweise einen Raumbereich oberhalb einer Mittelkonsole des Kraftfahrzeugs umfassen.In 2 is shown as with the in 1 represented optical sensor means an embodiment of the method according to the invention can be realized. The optical sensor 26 is directed to an interior of the motor vehicle, so that in a detection area 28 of the optical sensor 26 Objects contained therein are detected and to individual surface areas of the objects 3D image data, so for example coordinates, to their location in space by the measuring device 14 be generated and transferred to the calculation unit. The coverage area 28 For example, it may include a room area above a center console of the motor vehicle.

Eine Bedienperson, beispielsweise der Fahrer des Kraftfahrzeugs, hat ihre Hand 24 in den Erfassungsbereich 28 hinein bewegt. Die Berechnungseinheit 16 erkennt anhand der 3D-Bilddaten des optischen Sensors 26, dass es sich um ein bewegtes Objekt mit der Form einer Hand handelt und verfolgt eine Bewegungstrajektorie der Hand 24 in dem Erfassungsbereich 28. Die Berechnungseinheit 16 überprüft dabei, ob sich die Hand in einem vorbestimmten Raumbereich 30 befindet. Bei dem Raumbereich 30 kann es sich beispielsweise um einen quaderförmigen Volumenbereich handeln, dessen Kanten jeweils unabhängig voneinander Abmessungen aufweisen können, die beispielsweise in einem Bereich von 20 cm bis 50 cm liegen.An operator, for example, the driver of the motor vehicle, has her hand 24 in the coverage area 28 moved into it. The calculation unit 16 recognizes using the 3D image data of the optical sensor 26 in that it is a moving object in the form of a hand and follows a movement trajectory of the hand 24 in the detection area 28 , The calculation unit 16 checks whether the hand is in a predetermined area of space 30 located. In the room area 30 it may, for example, be a cuboid volume region, the edges of which may each independently have dimensions which are, for example, in a range of 20 cm to 50 cm.

Falls die Berechnungseinheit 16 erkennt, dass sich die Hand 24 in dem Raumbereich 30 befindet, wird ein Auswahlmodus für eine Funktionsauswahl aktiviert. Der Bedienperson ist es hierdurch möglich, durch eine Schwenkbewegung der Hand 24 in mögliche Bewegungsrichtungen 32, 34 (hier z.B. entweder nach rechts oder nach links) eine Funktion des Fahrzeugs auszuwählen, beispielsweise das Annehmen eines Telefonats oder wechseln eines Radiosenders, und diese Funktion dann zu aktivieren. Die Berechnungseinheit erzeugt beim Aktivieren der Funktionsauswahl auf einem Bildschirm 36 eine Anzeige 38, mittels welcher auswählbare Funktionen 40, 42 angezeigt werden. Die Funktionen sind in 2 durch symbolische Funktionsnamen (F1, F2) repräsentiert. Zusätzlich kann vorgesehen sein, dass ein Bild eines Schiebeschalters 44 dargestellt wird, was der Bedienperson intuitiv suggeriert, dass von ihr nun eine Bewegung mit der Hand 24 in eine der möglichen Bewegungsrichtungen 32, 34 erwartet wird, um eine der Funktionen 40, 42 auszuwählen.If the calculation unit 16 Realizes that the hand is 24 in the room area 30 a selection mode is activated for a function selection. The operator is thereby possible, by a pivoting movement of the hand 24 in possible directions of movement 32 . 34 (Here, for example, either to the right or to the left) to select a function of the vehicle, for example, accepting a phone call or change a radio station, and then activate this function. The calculation unit generates when activating the function selection on a screen 36 an ad 38 , by means of which selectable functions 40 . 42 are displayed. The functions are in 2 by symbolic function names ( F1 . F2 ). In addition, it may be provided that an image of a slide switch 44 is displayed, which intuitively suggests to the operator, that of her now a movement by hand 24 in one of the possible directions of movement 32 . 34 is expected to be one of the features 40 . 42 select.

Das Auswählen ist der Bedienperson durch eine einfache Wischbewegung mit der Hand 24 möglich, nachdem die Funktionsauswahl aktiviert wurde. Die Erkennung der Wischbewegung wird durch die Berechnungseinheit 16 auf Grundlage der 3D-Bilddaten des optischen Sensors 26 durchgeführt. Hierzu wird die aktuelle Position der Hand 24 nach Aktivieren der Funktionsauswahl als Ausgangsposition P0 festgelegt. Anschließend wird durch die Berechnungseinheit 16 eine Veränderung der Koordinaten eines Referenzpunktes auf der Hand 24 beobachtet, z.B. desjenigen Referenzpunktes, dessen Position die Ausgangsposition P0 definiert hat. Sobald der Referenzpunkt einen Abstand zur Ausgangsposition P0 aufweist, der größer als ein vorbestimmter Schwellenwert ist, so wird dies als Auswahlbetätigung der Bedienperson interpretiert, d. h. die durch den Ausgangspunkt P0 und die aktuelle Position der Hand 24 beschriebene Bewegungsrichtung wird mit einer der möglichen Bewegungsrichtungen 32, 34 verglichen. Wird durch die Berechnungseinheit erkannt, dass die Hand 24 in einer der möglichen Bewegungsrichtungen 32, 34 bewegt worden ist, so wird die entsprechende Funktion 40, 42 ausgewählt und die Auswahl der Wiedergabeeinrichtung 12 signalisiert. Hierdurch kann in der Wiedergabeeinrichtung 12 dann die ausgewählte Funktion aktiviert werden.The selection is the operator by a simple wiping with the hand 24 possible after the function selection has been activated. The detection of the wiping movement is determined by the calculation unit 16 based on the 3D image data of the optical sensor 26 carried out. This is the current position of the hand 24 after activating the function selection as starting position P0 established. Subsequently, by the calculation unit 16 a change in the coordinates of a reference point on the hand 24 observed, for example, that reference point whose position is the starting position P0 has defined. As soon as the reference point is at a distance to the starting position P0 which is greater than a predetermined threshold value, this is interpreted as a selection operation of the operator, that is, by the starting point P0 and the current position of the hand 24 described movement direction is one of the possible directions of movement 32 . 34 compared. Is recognized by the calculation unit that the hand 24 in one of the possible directions of movement 32 . 34 has been moved, so will the corresponding function 40 . 42 selected and the selection of the playback device 12 signaled. This can be in the playback device 12 then the selected function will be activated.

So ist es beispielsweise möglich, dass mit einer Geste nach links für die Bedienung eines Radios oder Abspielgeräts ein vorheriger Track gespielt wird und mit einer Geste nach rechts ein Track weiter geschaltet wird. Anstelle der gezeigten binären Wischgeste (links/rechts) können auch Wischgesten „hoch“/„runter“ oder eine nur einseitige Wischgeste in nur eine Bewegungsrichtung oder aber auch beispielsweise sechs Wischgesten (oben/unten, rechts/links, vor/zurück) als mögliche Bewegungen für eine Funktionsauswahl überwacht werden. Die Zuordnung der möglichen Bewegungsrichtungen 32, 34 zu auswählbaren Funktionen 40, 42 kann auch kontextabhängig erfolgen, d. h. die auswählbaren Funktionen 40, 42 können verändert werden.So it is possible, for example, that with a gesture to the left for the operation of a radio or player, a previous track is played and with a gesture to the right, a track is switched further. Instead of the shown binary swipe gesture (left / right) also swipe gestures "up" / "down" or a single-sided swipe gesture in only one direction or even, for example, six swipe gestures (up / down, right / left, forward / backward) as possible Movements are monitored for a function selection. The assignment of the possible directions of movement 32 . 34 to selectable functions 40 . 42 can also be context-dependent, ie the selectable functions 40 . 42 can be changed.

Durch das Beispiel ist gezeigt, wie eine eindeutige und intuitive Auswahl von Funktionen ermöglicht werden kann, die nach kurzer Lernphase für einen Insassen auswendig und ohne Ablenkung vom Straßenverkehr durchgeführt werden kann. Der Bediener kann so ohne Aufmerksamkeitsverlust mit einer einzigen Bediengeste eine Auswahl, insbesondere eine binäre Auswahl, treffen. Darüber hinaus kann die Bedienung auch beschleunigt werden.The example shows how a clear and intuitive selection of functions can be made possible, which can be performed after a short learning period for a passenger by heart and without distraction from the traffic. The operator can thus make a selection, in particular a binary selection, without loss of attention with a single operating gesture. In addition, the operation can also be accelerated.

Claims (6)

Verfahren zum Betreiben einer Bedienschnittstelle (10) eines Kraftfahrzeugs, wobei durch eine optische Sensoreinrichtung (26) der Bedienschnittstelle (10) berührungslos eine Hand (24) einer Bedienperson beobachtet und in Abhängigkeit von einer Bewegungsrichtung (32, 34) der Hand (24) eine Funktion (40, 42) des Kraftfahrzeugs (12) ausgewählt und aktiviert wird, wobei bei der optischen Sensoreinrichtung (26) die Hand (24) mittels einer 3D-Kamera beobachtet wird und eine Position und/oder Bewegung der Hand (24) auf der Grundlage von 3D-Bilddaten der 3D-Kamera (26) ermittelt werden, dadurch gekennzeichnet, dass die optische Sensoreinrichtung (26) einen Erfassungsbereich (28) aufweist und der Erfassungsbereich (28) einen Raumbereich (30) oberhalb einer Mittelkonsole des Kraftfahrzeugs umfasst, wobei es sich bei dem Raumbereich (30) um einen quaderförmigen Volumenbereich handelt, dessen Kanten jeweils Abmessungen aufweisen, die in einem Bereich von 20 cm bis 50 cm liegen, und eine Berechnungseinheit (16) anhand der 3D-Bilddaten der optischen Sensoreinrichtung (26) erkennt, dass es sich bei der Hand (24) der Bedienperson um ein bewegtes Objekt mit der Form einer Hand handelt, und eine Bewegungstrajektorie der Hand (24) in dem Erfassungsbereich (28) verfolgt und dabei überprüft, ob sich die Hand (24) in dem vorbestimmten Raumbereich (30) befindet, und falls die Berechnungseinheit (16) erkennt, dass sich die Hand (24) in dem Raumbereich (30) befindet, eine Funktionsauswahl aktiviert, bei welcher eine Wischbewegung der Hand (24) zu einem Rand des Raumbereichs (30) hin erkannt wird und eine durch die Wischbewegung definierte Bewegungsrichtung (32, 34) ermittelt wird und eine der Bewegungsrichtung (32, 34) zugeordnete Funktion (40, 42) ausgewählt wird, sodass die Bedienperson mit einer einzigen Bediengeste eine binäre Auswahl trifft, und hierbei für den Fall, dass ein Telefon des Kraftfahrzeugs läutet, durch die Sensoreinrichtung (10) detektiert wird, ob die Bedienperson mit der Hand (24) in den vordefinierten Raumbereich (30) hineinfasst, und nach Detektieren der Hand (24) in dem Raumbereich (30) eine binäre Wischgeste nach rechts oder links erkannt wird, durch welche die Bedienperson festlegt, ob sie den Telefonanruf entweder annimmt oder das Telefonat ablehnt. Method for operating an operating interface (10) of a motor vehicle, wherein an optical sensor device (26) of the operating interface (10) observes contactlessly a hand (24) of an operator and a function of a direction of movement (32, 34) of the hand (24) Function (40, 42) of the motor vehicle (12) is selected and activated, wherein the optical sensor means (26), the hand (24) is observed by means of a 3D camera and a position and / or movement of the hand (24) on the Basis of 3D image data of the 3D camera (26) are determined, characterized in that the optical sensor device (26) has a detection area (28) and the detection area (28) comprises a space area (30) above a center console of the motor vehicle, the space area (30) is a cuboid volume area whose edges each have dimensions which lie in a range from 20 cm to 50 cm, and a space On the basis of the 3D image data of the optical sensor device (26), the recognition unit (16) recognizes that the operator's hand (24) is a moving object in the shape of a hand, and a movement trajectory of the hand (24) in the detection area (28), thereby checking whether the hand (24) is in the predetermined space area (30), and if the computing unit (16) recognizes that the hand (24) is in the space area (30), a function selection activated, in which a Wiping movement of the hand (24) is detected to an edge of the spatial area (30) and a movement direction (32, 34) defined by the wiping movement is determined and a function (40, 42) associated with the movement direction (32, 34) is selected, so that the operator makes a binary selection with a single operating gesture, and in this case, in the event that a telephone of the motor vehicle rings, is detected by the sensor device (10), if the operator with the hand (24) in the predefined space area (30) after detecting the hand (24) in the space area (30), a right-or-left binary swipe gesture is detected by which the operator either determines whether to answer the telephone call or rejects the telephone call. Verfahren nach Anspruch 1, wobei bei dem Aktivieren der Funktionsauswahl der Bedienperson auf einer Anzeigeeinrichtung (36) der Bedienschnittstelle (10) zumindest eine mögliche Bewegungsrichtung (32, 34) sowie jeweils eine der möglichen Bewegungsrichtung (32, 34) zugeordnete, auswählbare Funktion (40, 42) angezeigt wird.Method according to Claim 1 , wherein when activating the function selection of the operator on a display device (36) of the user interface (10) at least one possible direction of movement (32, 34) and one of the possible direction of movement (32, 34) associated, selectable function (40, 42) displayed becomes. Verfahren nach Anspruch 1 oder 2, wobei eine Zuordnung zumindest einer auswählbaren Funktion (40, 42) zu einer möglichen Bewegungsrichtung (32, 34) in einem Konfigurationsmodus der Bedienschnittstelle (10) durch die Bedienschnittstelle (10) in Abhängigkeit von einer Benutzereingabe festgelegt wird.Method according to Claim 1 or 2 wherein an association of at least one selectable function (40, 42) to a possible direction of movement (32, 34) in a configuration mode of the operator interface (10) is determined by the operator interface (10) in response to a user input. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Zuordnungsvorschrift, durch welche zumindest eine Funktion (40, 42) einer möglichen Bewegungsrichtung (32, 34) zugeordnet wird, in Abhängigkeit von einem aktuellen Betriebszustand des Kraftfahrzeugs (12) festgelegt wird und hierzu die Zuordnungsvorschrift aus mehreren vorbereiteten Zuordnungsvorschriften ausgewählt wird.Method according to one of the preceding claims, wherein an assignment rule, by which at least one function (40, 42) is assigned to a possible direction of movement (32, 34), is determined as a function of a current operating state of the motor vehicle (12) and for this purpose the assignment rule several prepared assignment rules is selected. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Sensoreinrichtung (10) nach dem Detektieren der Hand (24) eine jeweilige Fingerstellung zumindest eines Fingers der Hand (24) und/oder eine Ausrichtung einer Drehlage der Hand (24) erkannt wird und die Funktionsauswahl nur aktiviert wird, falls der zumindest eine Finger eine jeweils vorbestimmte Fingerstellung und/oder die Hand (24) eine vorgegebene Neigung aufweist.Method according to one of the preceding claims, wherein a respective finger position of at least one finger of the hand (24) and / or alignment of a rotational position of the hand (24) is detected by the sensor device (10) after detecting the hand (24) and the function selection is activated only if the at least one finger has a respective predetermined finger position and / or the hand (24) has a predetermined inclination. Kraftfahrzeug mit einer Bedienschnittstelle (10) zum Aktivieren von zumindest einer Funktion des Kraftfahrzeugs, wobei die Bedienschnittstelle (10) eine optische Sensoreinrichtung (10) aufweist und dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen, wobei die Sensoreinrichtung (10) eine TOF-Kamera (26) zum Beobachten der Hand aufweist.Motor vehicle with an operator interface (10) for activating at least one function of the motor vehicle, wherein the user interface (10) comprises an optical sensor device (10) and is adapted to perform a method according to any one of the preceding claims, wherein the sensor device (10) TOF camera (26) for observing the hand has.
DE102013000081.5A 2013-01-08 2013-01-08 Operator interface for contactless selection of a device function Active DE102013000081B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013000081.5A DE102013000081B4 (en) 2013-01-08 2013-01-08 Operator interface for contactless selection of a device function
PCT/EP2013/003880 WO2014108160A2 (en) 2013-01-08 2013-12-20 User interface for the contactless selection of a device function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013000081.5A DE102013000081B4 (en) 2013-01-08 2013-01-08 Operator interface for contactless selection of a device function

Publications (2)

Publication Number Publication Date
DE102013000081A1 DE102013000081A1 (en) 2014-07-10
DE102013000081B4 true DE102013000081B4 (en) 2018-11-15

Family

ID=49949611

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013000081.5A Active DE102013000081B4 (en) 2013-01-08 2013-01-08 Operator interface for contactless selection of a device function

Country Status (2)

Country Link
DE (1) DE102013000081B4 (en)
WO (1) WO2014108160A2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015006613A1 (en) 2015-05-21 2016-11-24 Audi Ag Operating system and method for operating an operating system for a motor vehicle
DE102018208827A1 (en) * 2018-06-05 2019-12-05 Bayerische Motoren Werke Aktiengesellschaft User interface, means of transport and method for determining user input
DE102019206606B4 (en) * 2019-05-08 2021-01-28 Psa Automobiles Sa Method for contactless interaction with a module, computer program product, module and motor vehicle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063564A1 (en) * 2003-08-11 2005-03-24 Keiichi Yamamoto Hand pattern switch device
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
DE102009036369A1 (en) * 2009-08-06 2011-02-10 Volkswagen Ag Method for operating an operating device and operating device in a vehicle
US20110060499A1 (en) * 2009-09-04 2011-03-10 Hyundai Motor Japan R&D Center, Inc. Operation system for vehicle
US20110080490A1 (en) * 2009-10-07 2011-04-07 Gesturetek, Inc. Proximity object tracker
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US20120121185A1 (en) * 2010-11-12 2012-05-17 Eric Zavesky Calibrating Vision Systems
US20120293402A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Monitoring interactions between two or more objects within an environment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070280A (en) * 2004-12-20 2006-06-23 한국전자통신연구원 Apparatus and its method of user interface using hand gesture recognition
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063564A1 (en) * 2003-08-11 2005-03-24 Keiichi Yamamoto Hand pattern switch device
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
DE102009036369A1 (en) * 2009-08-06 2011-02-10 Volkswagen Ag Method for operating an operating device and operating device in a vehicle
US20110060499A1 (en) * 2009-09-04 2011-03-10 Hyundai Motor Japan R&D Center, Inc. Operation system for vehicle
US20110080490A1 (en) * 2009-10-07 2011-04-07 Gesturetek, Inc. Proximity object tracker
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US20120121185A1 (en) * 2010-11-12 2012-05-17 Eric Zavesky Calibrating Vision Systems
US20120293402A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Monitoring interactions between two or more objects within an environment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benutzerhandbuch: ALCATEL onetouch 997, TCT Mobile Ltd. (2012), Seiten 1 bis 4, 22 / 23, 37, 143 *
ZOBL, Martin, et al. Gesture components for natural interaction with in-car devices. In: International Gesture Workshop. Springer, Berlin, Heidelberg, 2003. S. 448-459. *

Also Published As

Publication number Publication date
WO2014108160A2 (en) 2014-07-17
DE102013000081A1 (en) 2014-07-10
WO2014108160A3 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
EP2451672B1 (en) Method and device for providing a user interface in a vehicle
EP1998996B1 (en) Interactive operating device and method for operating the interactive operating device
EP2338106B1 (en) Multi-function display and operating system and method for controlling such a system having optimized graphical operating display
EP3507681B1 (en) Method for interacting with image contents displayed on a display device in a vehicle
EP3807119B1 (en) Method for operating a display and input device, display and input device, and motor vehicle
DE102013000071B4 (en) Synchronizing payload data between a motor vehicle and a mobile terminal
WO2014108147A1 (en) Zooming and shifting of image content of a display device
DE102017201799A1 (en) User interface, means of transport and method of user discrimination
DE102012020607A1 (en) Method for controlling selection element e.g. cursor, on monitor of e.g. navigation device, of motor vehicle i.e. passenger car, involves activating function of electronic device by control device based on relative position of finger
DE102013000081B4 (en) Operator interface for contactless selection of a device function
DE102013000069B4 (en) Motor vehicle user interface with a control element for detecting a control action
DE102014226553A1 (en) Method for operating an input device, input device, motor vehicle
DE102018220693B4 (en) Control system and method for controlling a function of a vehicle, and vehicle with such
DE102014224898A1 (en) Method for operating an input device, input device
EP1992515B1 (en) Multifunctional display and operational device and method for operating a multifunctional display and operational device in a motor vehicle
DE102014224599A1 (en) Method for operating an input device, input device
EP3025214B1 (en) Method for operating an input device, and input device
DE102013014889A1 (en) Mouse pointer control for an operating device
DE102015201722A1 (en) Method for operating an input device, input device
EP3426516B1 (en) Operating device and method for detecting a user selection of at least one operating function of the operating device
DE102014224632A1 (en) Method for operating an input device, input device
DE102013211046A1 (en) Method and device for obtaining a control signal from an operating gesture
DE102018204223A1 (en) Mobile, portable operating device for operating a device wirelessly coupled to the operating device, and method for operating a device using a mobile, portable operating device
EP2835719B1 (en) Motor vehicle with switchable operating device
DE102019131944A1 (en) Method for controlling at least one display unit, motor vehicle and computer program product

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R006 Appeal filed
R008 Case pending at federal patent court
R009 Remittal by federal patent court to dpma for new decision or registration
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003000000

Ipc: G06F0003010000

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE