DE102015222682A1

DE102015222682A1 - Method for activating a control element of a motor vehicle and operating system for a motor vehicle

Info

Publication number: DE102015222682A1
Application number: DE102015222682.4A
Authority: DE
Inventors: Hans-Ulrich Stahl
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2015-11-17
Filing date: 2015-11-17
Publication date: 2017-05-18

Abstract

Vorgeschlagen wird ein Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs durch einen Nutzer des Kraftfahrzeugs, insbesondere einen Fahrer des Kraftfahrzeugs, sowie ein Bediensystem für ein Kraftfahrzeug. Die Erfindung vermindert insbesondere die Gefahr von Fehlerkennungen. Erfindungsgemäß wird eine Blickrichtung des Nutzers erfasst, ein durch die Blickrichtung des Nutzers festgelegtes Bedienelements bestimmt, erfasst, ob der Nutzer eine vorbestimmte mimische Aktivierungsgeste durchführt, und im Ansprechen auf eine erfasste von dem Nutzer durchgeführte vorbestimmte Aktivierungsgeste das Bedienelement aktiviert. Die Erfindung sieht vor, dass die vorbestimmte mimische Aktivierungsgeste zumindest eine durch eine Betätigung des Musculus frontalis hervorgerufene Geste, insbesondere ein Heben zumindest einer Augenbraue des Nutzers, umfasst.Proposed is a method for selecting an operating element of a motor vehicle by a user of the motor vehicle, in particular a driver of the motor vehicle, as well as an operating system for a motor vehicle. In particular, the invention reduces the risk of misrecognition. According to the invention, a line of sight of the user is detected, a user-defined by the line of sight of the user determined, detects whether the user performs a predetermined mimic activation gesture, and activates the operating element in response to a detected performed by the user predetermined activation gesture. The invention provides that the predetermined mimic activation gesture comprises at least one gesture caused by an actuation of the frontalis muscle, in particular a lifting of at least one eyebrow of the user.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Aktivieren eines Bedienelements eines Kraftfahrzeugs durch einen Nutzer des Kraftfahrzeugs, insbesondere einen Fahrer des Kraftfahrzeugs, sowie ein Bediensystem für ein Kraftfahrzeug. The present invention relates to a method for activating an operating element of a motor vehicle by a user of the motor vehicle, in particular a driver of the motor vehicle, as well as an operating system for a motor vehicle.

Aus DE 10 2012 215 407 A1 ist ein Verfahren zum Bereitstellen einer Eingabe für ein Bedienelement eines Kraftfahrzeugs bekannt. Bei dem zweistufigen Verfahren wird in einem ersten Schritt ein Bedienelement durch einen Blick vorausgewählt. Hierzu wird die Blickrichtung bestimmt. In einem zweiten Schritt ist vorgesehen, dass der Nutzer das durch seinen Blick vorausgewählte Bedienelement mittels einer Eingabegeste, die zum Beispiel eine Fingergeste sein kann, betätigt. Out DE 10 2012 215 407 A1 For example, a method for providing an input for an operating element of a motor vehicle is known. In the two-stage method, a control element is preselected by a glance in a first step. For this purpose, the viewing direction is determined. In a second step, it is provided that the user actuates the control element preselected by his look by means of an input gesture, which can be, for example, a finger gesture.

DE 10 2013 003 047 A1 beschreibt ein Verfahren zum Steuern eines Kraftwagens mit einer Blickerfassungseinrichtung. Dabei ist vorgesehen, dass der Nutzer eine Steuerungsfunktion aktivieren kann, indem er zunächst einen Anzeigebereich anblickt, welchem die Steuerungsfunktion zuzuordnen ist. Wird erkannt, dass der Nutzer ein vorgegebenes Blinzelmuster ausführt, so wird die Steuerungsfunktion aktiviert. Als Blinzelmuster ist ein Doppelblinzeln vorgesehen. DE 10 2013 003 047 A1 describes a method for controlling a motor vehicle with a gaze detection device. It is provided that the user can activate a control function by first looking at a display area to which the control function is assigned. If it is detected that the user is executing a predetermined Blinzelmuster, the control function is activated. As Blinzelmuster a Doppelblinzeln is provided.

Im Gegensatz zur konventionellen Bedienung von Kraftfahrzeugen – durch manuelle Betätigung von Bedienelementen, durch Sprachsteuerung, durch Gestensteuerung und dergleichen – ist bei der Aktivierung von Bedienelementen mittels einer Blickrichtungserkennung („gaze tracker“) bzw. Mimikerkennung die vom Nutzer durchzuführende Handlung von subtilerem Charakter und somit schwieriger zu erkennen. Es muss daher besonders darauf geachtet werden, Fehlerkennungen (sog. „false positives“) zu vermeiden. Eine mögliche Ursache derartiger Fehlerkennungen besteht darin, dass vom Nutzer natürlicherweise durchgeführte mimische Gesten fälschlicherweise als Bedienhandlung interpretiert werden. Beispielsweise wird der Nutzer in der Regel natürlicherweise häufig zur Befeuchtung der Augen blinzeln, was von einem als Bedienhandlung gemeinten Blinzeln schwer zu unterscheiden ist. Es besteht somit ein Bedürfnis an einem verbesserten Verfahren zum Aktivieren eines Bedienelements eines Kraftfahrzeugs sowie einem verbesserten Bediensystem für ein Kraftfahrzeug, bei denen jeweils die Gefahr von Fehlerkennungen vermindert ist. In contrast to the conventional operation of motor vehicles - by manual operation of controls, voice control, gesture control and the like - when activating controls by means of a gaze tracker or mimic recognition to be performed by the user action of subtler character and thus harder to recognize. It is therefore particularly important to avoid false identifications (so-called "false positives"). One possible cause of such misrecognitions is that the mimic gestures naturally performed by the user are mistakenly interpreted as operator actions. For example, as a rule, the user will naturally often blink to moisten the eyes, which is difficult to distinguish from a blink of an eye. There is thus a need for an improved method for activating an operating element of a motor vehicle and an improved operating system for a motor vehicle, in which the risk of false identifications is reduced in each case.

Die Aufgabe wird gelöst bei einem Verfahren mit den Merkmalen des Patentanspruchs 1 und einem Bediensystem nach Anspruch 7. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstände der abhängigen Ansprüche. The object is achieved in a method having the features of patent claim 1 and an operating system according to claim 7. Advantageous developments of the invention are subject matter of the dependent claims.

Das erfindungsgemäße Verfahren ist für jeden Nutzer eines Kraftfahrzeugs geeignet, der ein Bedienelement aktivieren möchte. Insbesondere ist die Erfindung somit für einen Fahrer des Kraftfahrzeugs geeignet. Die Erfindung ist jedoch auch für einen Beifahrer oder für auf einem Rücksitz befindliche Insassen geeignet, die beispielsweise Bedienelemente einer fahrzeugeigenen Infotainment-Anlage aktivieren möchten. Soweit nachfolgend die Erfindung mit Bezug zum dem und / oder unter Nennung des Fahrers erläutert wird, ist dies nicht einschränkend zu verstehen, sondern dient ausschließlich dem leichteren Verständnis der Erfindung und ihrer Ausführungsformen. The method according to the invention is suitable for every user of a motor vehicle who wishes to activate a control element. In particular, the invention is thus suitable for a driver of the motor vehicle. However, the invention is also suitable for a passenger or located in a back seat occupants who want to activate, for example, controls an in-car infotainment system. As far as the invention is explained below with reference to the and / or with reference to the driver, this is not to be understood as limiting, but is solely for the easier understanding of the invention and its embodiments.

Bei dem erfindungsgemäßen Verfahren ist vorgesehen, dass in einem ersten Schritt eine Blickrichtung des Nutzers erfasst wird. Hierzu wird sowohl eine Position der Augen des Nutzers als auch eine Richtung, in die der Blick des Nutzers gerichtet ist, bestimmt. Mittels dieser Informationen kann die Blickrichtung als Raumachse bestimmt werden. Geeignete Verfahren zur Erfassung der Blickrichtung des Nutzers sind im Stand der Technik unter den englischen Begriffen „eye tracking“ oder „gaze tracking“ bekannt. Zur Erfassung der Blickrichtung des Nutzers kann beispielsweise eine auf die Pupillen des Nutzers gerichtete Innenraumkamera des Fahrzeugs verwendet werden. In the method according to the invention, it is provided that in a first step, a viewing direction of the user is detected. For this purpose, both a position of the user's eyes and a direction in which the user's gaze is directed are determined. Using this information, the viewing direction can be determined as a spatial axis. Suitable methods for detecting the viewing direction of the user are known in the art under the English terms "eye tracking" or "gaze tracking". For detecting the viewing direction of the user, for example, an interior camera of the vehicle directed towards the pupils of the user can be used.

In einem weiteren erfindungsgemäßen Verfahrensschritt wird ein durch die Blickrichtung des Nutzers festgelegtes Bedienelement bestimmt. Hierzu kann vorzugsweise zunächst ein Schnittpunkt der zuvor bestimmten Raumachse mit einer wenigstens ein Bedienelement aufweisenden Innenraumfläche des Kraftfahrzeugs bestimmt werden. Eine Innenraumfläche kann beispielsweise eine Instrumententafel des Kraftfahrzeugs sein, auf oder in welcher mehrere Bedienelemente wie Schalter, Druckknöpfe und Drehknöpfe angeordnet sein können. Eine Innraumfläche könnte auch eine berührungsempfindliche Anzeigefläche („Touchscreen“) sein. Ein Touchscreen kann selber ein Bedienelement darstellen oder ein oder mehrere Bedienelemente (z.B. auf dem Touchscreen dargestellte Schaltflächen und Eingabeflächen) umfassen. Die Innenraumfläche hat in der Regel eine unveränderliche bekannte Position im Kraftfahrzeug. Es ist auch denkbar, dass die Innenraumfläche eine veränderliche Position hat. Dies kann z.B. dann der Fall sein, wenn es sich bei der Innenraumfläche um einen ausfahrbaren oder anderweitig beweglichen Touchscreen handelt. In diesem Fall kann bei der Ausführung des Verfahrens die jeweils gegenwärtige Position der Innenraumfläche berücksichtigt werden. Anschließend kann ein durch den Schnittpunkt identifizierbares Bedienelement bestimmt werden. Befindet sich an dem Schnittpunkt ein Bedienelement, so wird dieses bestimmt. Es ist aber auch möglich, dass sich an dem Schnittpunkt kein Bedienelement befindet. Ist in diesem Fall dennoch ein Bedienelement identifizierbar, so wird dieses bestimmt. Dies kann beispielsweise dann der Fall sein, wenn sich der Schnittpunkt in unmittelbarer Nähe eines Bedienelements befindet und zugleich die Entfernung von dem Schnittpunkt zu einem nächstgelegenen weiteren Bedienelement wesentlich größer ist. Der Begriff der unmittelbaren Nähe kann im Rahmen fachmännischen Handelns ausgestaltet werden. Beispielsweise könnte ein Bedienelement dann bestimmt werden, wenn der Schnittpunkt nicht weiter als einen Zentimeter von dem Rand des Bedienelements und zugleich weiter als zwei Zentimeter von dem Rand eines weiteren Bedienelements entfernt liegt. In a further method step according to the invention, a control element determined by the viewing direction of the user is determined. For this purpose, preferably an intersection of the previously determined spatial axis with an interior surface of the motor vehicle having at least one operating element can be determined. An interior surface can be, for example, an instrument panel of the motor vehicle, on or in which a plurality of operating elements such as switches, pushbuttons and rotary knobs can be arranged. An indoor area could also be a touch-sensitive display area ("touchscreen"). A touchscreen can itself represent an operating element or comprise one or more operating elements (eg buttons and input surfaces shown on the touchscreen). The interior surface usually has a fixed known position in the motor vehicle. It is also conceivable that the interior surface has a variable position. This can be the case, for example, if the interior surface is an extendable or otherwise movable touchscreen. In this case, in the execution of the method, the respective current position of the interior surface can be taken into account. Subsequently, an identifiable by the intersection control element can be determined. If there is an operating element at the intersection, this is determined. But it is also possible that at the intersection no Control element is located. If an operating element can nevertheless be identified in this case, then this is determined. This can be the case, for example, if the point of intersection is in the immediate vicinity of a control element and at the same time the distance from the intersection point to a next further control element is substantially greater. The concept of immediate proximity can be designed in the context of expert action. For example, a control could be determined if the point of intersection is not more than one centimeter from the edge of the control and at the same time more than two centimeters from the edge of another control.

Der Begriff des Bedienelements ist breit gefasst. Beispielsweise kann sich das Kraftfahrzeug in einem Hilfemodus („interaktives Handbuch“) befinden, in welchem auf einer Anzeigeeinrichtung zu einem vom Nutzer ausgewählten Teil des Kraftfahrzeugs Informationen und Hilfestellungen angezeigt werden. In einem solchen Hilfemodus kann jedes Teil des Innenraums des Kraftfahrzeugs ein Bedienelement darstellen. Der Nutzer kann mittels des erfindungsgemäßen Verfahrens beispielsweise ein Handschuhfach, einen Lüftungsauslass, einen Tachometer oder einen Dreh-Drück-Steller auswählen, woraufhin auf der Anzeigeeinrichtung die jeweilige Information angezeigt wird. In diesem Beispiel sind das Handschuhfach, der Lüftungsauslass, der Tachometer und der Dreh-Drück-Steller Beispiele für Bedienelemente. The term control is broad. For example, the motor vehicle may be in an assist mode ("interactive manual") in which information and assistance are displayed on a display device to a part of the motor vehicle selected by the user. In such a help mode, each part of the interior of the motor vehicle may constitute an operating element. By means of the method according to the invention, the user can select, for example, a glove compartment, a ventilation outlet, a tachometer or a rotary push-button, whereupon the respective information is displayed on the display device. In this example, the glove box, the vent outlet, the speedometer and the rotary push-button are examples of controls.

Bedienelemente sind nicht notwendigerweise körperliche Teile („Hardware“) des Kraftfahrzeugs. Auch auf einer Anzeigeeinrichtung, insbesondere einem Touchscreen, dargestellte Elemente wie Schaltflächen können Bedienelemente sein. Derartige Bedienelemente können auch als virtuelle Bedienelemente oder „soft keys“ bezeichnet werden. Controls are not necessarily physical parts ("hardware") of the motor vehicle. Also on a display device, in particular a touch screen, illustrated elements such as buttons can be control elements. Such controls can also be referred to as virtual controls or "soft keys".

Der weitere Verfahrensablauf sieht vor, dass erfasst wird, ob der Nutzer eine vorbestimmte mimische Aktivierungsgeste durchführt. Diese Erfassung kann so lange kontinuierlich durchgeführt werden, bis eine von dem Nutzer durchgeführte vorbestimmte Aktivierungsgeste erfolgreich erfasst wird. Ist dies der Fall, ist also die von dem Nutzer durchgeführte vorbestimmte Aktivierungsgeste erfolgreich erfasst worden, so wird im letzten Verfahrensschritt das Bedienelement aktiviert. The further procedure provides that it is detected whether the user is performing a predetermined facial activation gesture. This detection can be performed continuously until a predetermined activation gesture performed by the user is successfully detected. If this is the case, ie, the predetermined activation gesture carried out by the user has been successfully detected, the control element is activated in the last method step.

Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass die vorbestimmte mimische Aktivierungsgeste zumindest eine durch eine Betätigung des Musculus frontalis hervorgerufene Geste, insbesondere ein Heben zumindest einer Augenbraue des Nutzers, umfasst. Der Musculus frontalis wird auch als Augenbrauenheber bezeichnet. Er gehört zur mimischen Muskulatur. Eine Betätigung des Musculus frontalis bewirkt ein (insbesondere waagerechtes) Stirnrunzeln und / oder ein Heben der Augenbrauen. Somit bewirkt der Musculus frontalis vielfach geübte und außerordentlich geläufige mimische Gesten. Zugleich wird der Musculus frontalis jedoch verhältnismäßig selten unwillkürlich, beispielsweise reflexartig, betätigt. The method according to the invention is characterized in that the predetermined mimic activation gesture comprises at least one gesture caused by an actuation of the frontalis muscle, in particular a lifting of at least one eyebrow of the user. The frontalis muscle is also known as eyebrow lift. He belongs to mimic muscles. An operation of the frontalis muscle causes a (in particular horizontal) frowning and / or a lifting of the eyebrows. Thus, the frontalis muscle causes many skilled and extremely familiar facial expressions. At the same time, however, the frontalis muscle is relatively seldom involuntarily operated, for example reflexively.

Das erfindungsgemäße Verfahren bietet somit beispielsweise gegenüber einer als Aktivierungsgeste verwendeten Blinzelgeste den Vorteil einer verringerten Fehlerkennungswahrscheinlichkeit. Darüber hinaus ist die vorbestimmte mimische Aktivierungsgeste für den Nutzer geläufig und leicht durchführbar, so dass das Verfahren keiner nennenswerten Lernphase oder Einarbeitung bedarf. Ein weiterer Vorteil der Erfindung besteht darin, dass eine durch eine Betätigung des Musculus frontalis hervorgerufene Geste keinen Blickverlust mit sich bringt. Mit anderen Worten kann der Nutzer, insbesondere der Fahrer, seine Augen während der Aktivierung des Bedienelements dauerhaft geöffnet halten. The method according to the invention thus offers, for example, the advantage of a reduced probability of false recognition compared to a blinking gesture used as an activation gesture. In addition, the predetermined mimic activation gesture is familiar to the user and easy to carry out, so that the method requires no appreciable learning phase or training. Another advantage of the invention is that a gesture caused by an operation of the frontalis muscle does not entail a loss of sight. In other words, the user, in particular the driver, keep his eyes permanently open during activation of the operating element.

Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass das Aktivieren des Bedienelements ein Auswählen und / oder ein Betätigen des Bedienelements umfasst. Die Begriffe des Auswählens und des Betätigens eines Bedienelements sind wie nachfolgend dargestellt voneinander zu unterschieden. An advantageous development of the method provides that activating the operating element comprises selecting and / or actuating the operating element. The terms of selecting and operating a control are to be distinguished from each other as shown below.

Ist ein Bedienelement mit einer bestimmten Funktion verknüpft, so wird diese Funktion nicht bereits dann ausgeführt, wenn das Bedienelement ausgewählt wird, sondern erst dann, wenn das Bedienelement betätigt wird. Ein Auswählen des Bedienelements kann insbesondere eine optische Hervorhebung des Bedienelements umfassen. Es kann vorteilhafterweise vorgesehen sein, dass zu einem Zeitpunkt nur genau ein (oder kein) Bedienelement ausgewählt sein kann. Es kann auch vorgesehen sein, dass zu einem Zeitpunkt mehr als ein Bedienelement ausgewählt sein kann, aber keines dieser Bedienelemente betätigt werden kann. Mit besonderem Vorteil wird das erfolgte Auswählen eines Bedienelements dem Nutzer mitgeteilt. Dies kann vorzugsweise durch Hervorhebung des Bedienelements erfolgen. Dies kann auf unterschiedliche Weise geschehen, wobei die Art der Hervorhebung auch von der Art des Bedienelements abhängen kann. Ist das Bedienelement ein körperliches Bedienelement wie z.B. ein Schalter, ein Druckknopf, ein Drehknopf oder ein Schieberegler und weist das Bedienelement eine Beleuchtung auf, so kann die Hervorhebung eine Aktivierung der Beleuchtung umfassen. Eine Beleuchtung kann durch eine im Bedienelement befindliche Lichtquelle gebildet sein, bei deren Aktivierung beispielsweise die gesamte Front des Bedienelements oder bestimmte Teile der Front (wie z.B. ein auf dem Bedienelement dargestelltes Symbol) beleuchtet werden. Eine Beleuchtung kann auch durch eine Hinterleuchtung des Bedienelements gebildet werden, bei deren Aktivierung z.B. Licht an den Rändern des Bedienelements sichtbar werden kann. Noch vielfältigere Möglichkeiten der Hervorhebung bieten sich bei virtuellen Bedienelementen. Virtuelle Bedienelemente können Bedienelemente sein, die auf einer Anzeigefläche dargestellt werden können. Eine solche Anzeigefläche kann beispielsweise ein Touchscreen sein. Eine solche Anzeigefläche kann auch ein sogenanntes frei programmierbares Kombiinstrument sein. Virtuelle Bedienelemente können auf vielfältige Weise hervorgehoben werden, wie dies beispielsweise aus dem Bereich grafischer Benutzeroberflächen bekannt ist. Ein virtuelles Bedienelement kann durch die Darstellung einer virtuellen Beleuchtung hervorgehoben werden. Ein virtuelles Bedienelement kann hervorgehoben werden, indem es im Vergleich mit anderen Bedienelementen und / oder im Vergleich mit seinem nicht hervorgehobenen Zustand vergrößert dargestellt wird. Ein virtuelles Bedienelement kann hervorgehoben werden, indem es sein Aussehen verändert. Hierzu kann es farbig oder andersfarbig dargestellt werden. Es kann sich auch eine Beschriftung und / oder eine auf dem Bedienelement dargestelltes Symbol ändern. Im Falle einer Anzeigefläche (z.B. Touchscreen) können Bedienelemente auf der Anzeigefläche dargestellt sein, die hervorgehoben werden, wenn sie erfindungsgemäß ausgewählt worden sind. If an operating element is linked to a specific function, this function is not executed when the operating element is selected, but only when the operating element is actuated. A selection of the operating element may in particular include an optical highlighting of the operating element. It can advantageously be provided that only one (or none) operating element can be selected at a time. It can also be provided that more than one operating element can be selected at a time, but none of these operating elements can be actuated. With particular advantage, the successful selection of a control element is communicated to the user. This can preferably be done by highlighting the control. This can be done in different ways, the type of emphasis may also depend on the type of control. If the operating element is a physical operating element, such as a switch, a pushbutton, a rotary knob or a slider, for example, and if the operating element has lighting, then the highlighting may include an activation of the lighting. A lighting can be formed by a light source located in the control, when activated, for example, the entire front of the control or certain parts of the front (such as a on the Control element displayed symbol) are illuminated. A lighting can also be formed by a backlighting of the operating element, in the activation of which, for example, light can be visible at the edges of the operating element. Even more diverse possibilities of highlighting are offered by virtual controls. Virtual controls can be controls that can be displayed on a display surface. Such a display area may be, for example, a touchscreen. Such a display surface may also be a so-called freely programmable instrument cluster. Virtual controls can be highlighted in a variety of ways, as is known, for example, in the area of graphical user interfaces. A virtual control can be highlighted by the appearance of a virtual light. A virtual control can be highlighted by being zoomed in compared with other controls and / or compared to its unmarked state. A virtual control can be highlighted by changing its appearance. For this purpose it can be displayed in different colors or colors. It is also possible to change a label and / or a symbol displayed on the operating element. In the case of a display area (eg touchscreen), operating elements can be shown on the display area, which are highlighted if they have been selected according to the invention.

Eine besonders vorteilhafte Ausführungsform sieht vor, dass das Bedienelement in mindestens zweistufiger Weise aktivierbar, insbesondere in einer ersten Stufe auswählbar und in einer zweiten Stufe betätigbar ist. Dabei ist vorgesehen, dass erfasst wird, ob der Nutzer eine erste vorbestimmte mimische Aktivierungsgeste durchführt. Im Ansprechen auf eine erfolgreich erfasste von dem Nutzer durchgeführte erste vorbestimmte Aktivierungsgeste wird das Bedienelement in einer ersten Stufe aktiviert, insbesondere ausgewählt. Sodann erfolgt ein Erfassen, ob der Nutzer eine zweite vorbestimmte mimische Aktivierungsgeste durchführt. Im Ansprechen auf eine erfolgreich erfasste von dem Nutzer durchgeführte zweite vorbestimmte Aktivierungsgeste wird das Bedienelement in einer zweiten Stufe aktiviert, insbesondere betätigt. A particularly advantageous embodiment provides that the operating element can be activated in at least two stages, in particular in a first stage and can be actuated in a second stage. It is provided that it is detected whether the user performs a first predetermined mimic activation gesture. In response to a successfully detected by the user performed first predetermined activation gesture, the control element is activated in a first stage, in particular selected. Then, it is detected whether the user performs a second predetermined mimic activation gesture. In response to a successfully detected by the user performed second predetermined activation gesture, the control element is activated in a second stage, in particular actuated.

Mit anderen Worten wird nun ein zweistufiges Verfahren bereitgestellt, bei dem zunächst ein Bedienelement ausgewählt wird und dann das Bedienelement betätigt wird. Der Nutzer kann also zunächst das gewünschte Bedienelement auswählen. Dieses wird bevorzugt hervorgehoben, wie dies vorstehend beschrieben wurde. Wurde das vom Nutzer gewünschte Bedienelement ausgewählt, so kann es im zweiten Schritt auch betätigt werden. Der Nutzer muss somit bei der Anwendung der Erfindung nicht befürchten, eine unerwünschte Fehlbedienung zu tätigen, da er das Bedienelement nur dann betätigen kann, wenn das gewünschte Bedienelement zuvor ausgewählt wurde. In other words, a two-stage method is now provided, in which initially an operating element is selected and then the operating element is actuated. The user can therefore first select the desired control element. This is preferably emphasized as described above. If the control element desired by the user has been selected, then it can also be actuated in the second step. The user must therefore not fear in the application of the invention to make an undesirable operation, since he can only operate the control when the desired control has been previously selected.

Es kann bei dieser Ausgestaltung vorgesehen sein, dass die erste und die zweite vorbestimmte mimische Aktivierungsgeste gleich sind. Dies hat den Vorteil, dass der Nutzer nur eine einzige vorbestimmte mimische Aktivierungsgeste erlernen muss. Besteht die vorbestimmte mimische Aktivierungsgeste beispielsweise in einem Hochziehen der Augenbrauen, so kann der Nutzer das Bedienelement auswählen und anschließend betätigen, indem er das Bedienelement anblickt, die Augenbrauen hochzieht, um das Bedienelement auszuwählen, und nach erfolgter Auswahl des Bedienelements die Augenbrauen erneut hochzieht, um das ausgewählte Bedienelement zu betätigen. It may be provided in this embodiment that the first and the second predetermined mimic activation gesture are the same. This has the advantage that the user only has to learn a single predetermined facial activation gesture. For example, if the predetermined facial activation gesture consists in raising the eyebrows, the user may select and then operate the control by looking at the control, raising the eyebrows to select the control, and then raising the eyebrows again after selecting the control to operate the selected control.

Alternativ kann es vorgesehen sein, dass die erste und die zweite vorbestimmte mimische Aktivierungsgeste voneinander verschieden sind. Dies hat den Vorteil, dass der Nutzer aktiv zwischen einem Aktivieren des Bedienelements in der ersten und in der zweiten Stufe, insbesondere also zwischen einem Auswählen und einem Betätigen des Bedienelements, unterscheiden kann. Alternatively, it may be provided that the first and the second predetermined mimic activation gesture are different from each other. This has the advantage that the user can actively distinguish between an activation of the operating element in the first and in the second stage, ie in particular between a selection and an actuation of the operating element.

Mit besonderem Vorteil umfasst die erste vorbestimmte mimische Aktivierungsgeste eine durch eine einmalige Betätigung des Musculus frontalis hervorgerufene Geste und die zweite vorbestimmte mimische Aktivierungsgeste eine durch eine zweimalige Betätigung des Musculus frontalis hervorgerufene Geste. Besonders bevorzugt muss die zweimalige Betätigung des Musculus frontalis innerhalb einer vorbestimmten Zeitdauer erfolgen, beispielsweise innerhalb einer Sekunde. Die erste vorbestimmte mimische Aktivierungsgeste kann beispielsweise in einem einmaligen Heben der Augenbrauen bestehen. Die zweite vorbestimmte mimische Aktivierungsgeste kann in einem zweimaligen Heben der Augenbrauen bestehen. Auf diese Weise kann der Nutzer aktiv zwischen einem Aktivieren des Bedienelements in der ersten und in der zweiten Stufe unterscheiden und muss dennoch nur eine einzige vorbestimmte mimische Aktivierungsgeste erlernen. Überdies ist vielen Nutzern aus dem Gebiet grafischer Benutzeroberflächen bekannt, dass eine einmalig durchgeführte Bedienaktion (Mausklick) eine Auswahl eines Objekts verursacht, wohingegen eine zweimalig hintereinander durchgeführte Bedienaktion (Doppelklick) eine Betätigung des Objekts verursacht. With particular advantage, the first predetermined facial activation gesture comprises a gesture caused by a single operation of the frontalis muscle and the second predetermined facial activation gesture comprises a gesture caused by a double actuation of the frontalis muscle. Particularly preferably, the two-time operation of the frontalis muscle must take place within a predetermined period of time, for example within one second. For example, the first predetermined facial activation gesture may be a one-time lifting of the eyebrows. The second predetermined facial activation gesture may consist in raising the eyebrows twice. In this way, the user can actively distinguish between activating the control element in the first and the second stage and still has to learn only a single predetermined facial activation gesture. Moreover, many graphical user interface users are aware that a one-time action (mouse click) causes a selection of an object, whereas a double-click operation (double-click) causes the object to be actuated.

Ein erfindungsgemäßes Bediensystem für ein Kraftfahrzeug weist auf:

– eine Erfassungseinrichtung zur Erfassung einer Blickrichtung eines Nutzers des Kraftfahrzeugs, insbesondere eines Fahrers des Kraftfahrzeugs, sowie zur Erfassung einer von dem Nutzer durchgeführten vorbestimmten mimischen Aktivierungsgeste,
– ein Bedienelement des Kraftfahrzeugs und
– eine mit der Erfassungseinrichtung verbundene Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung eingerichtet ist
– zur Bestimmung eines durch die Blickrichtung des Nutzers festgelegten Bedienelements,
– zur Erfassung, ob der Nutzer eine vorbestimmte mimische Aktivierungsgeste durchführt oder durchgeführt hat, und im Ansprechen auf eine erfasste von dem Nutzer durchgeführte vorbestimmte Aktivierungsgeste
– zur Aktivierung des Bedienelements.

Wiederum ist die Erfindung dadurch gekennzeichnet, dass die vorbestimmte mimische Aktivierungsgeste zumindest eine durch die Betätigung des Musculus frontalis hervorgerufene Geste, insbesondere ein Heben zumindest einer Augenbraue des Nutzers, umfasst. An inventive control system for a motor vehicle comprises:

A detection device for detecting a viewing direction of a user of the motor vehicle, in particular of a driver of the motor vehicle, as well as for detecting a predetermined mimic activation gesture carried out by the user,
- An operating element of the motor vehicle and
A data processing device connected to the detection device, wherein the data processing device is set up
To determine a control element defined by the user's line of sight,
To detect whether the user has performed or performed a predetermined facial activation gesture, and in response to a detected predetermined activation gesture performed by the user
- to activate the operating element.

Again, the invention is characterized in that the predetermined mimic activation gesture comprises at least one gesture caused by the operation of the frontalis muscle, in particular a lifting of at least one eyebrow of the user.

Vorzugsweise umfasst die Erfassungseinrichtung eine Innenraumkamera des Kraftfahrzeugs, besonders bevorzugt eine Stereokamera. Die Nutzung einer Innenraumkamera ist deswegen besonders vorteilhaft, weil moderne Kraftfahrzeuge ohnehin häufig eine Innenraumkamera aufweisen, die für unterschiedliche Einsatzzwecke gleichzeitig genutzt werden kann. Preferably, the detection device comprises an interior camera of the motor vehicle, particularly preferably a stereo camera. The use of an interior camera is therefore particularly advantageous because modern motor vehicles often have an interior camera anyway, which can be used simultaneously for different purposes.

Mit besonderem Vorteil kann vorgesehen sein, dass die Erfassungseinrichtung zur elektromyografischen Erfassung einer Muskelaktivität eingerichtet ist. Eine derartige Erfassungseinrichtung bietet den Vorteil, dass die vorbestimmte mimische Aktivierungsgeste präziser erfasst werden kann, indem tatsächlich nicht oder nicht nur die mimische Aktivierungsgeste als solche, sondern die für die mimische Aktivierungsgeste ursächliche Muskeltätigkeit erfasst wird. With particular advantage it can be provided that the detection device is set up for the electromyographic detection of a muscle activity. Such a detection device has the advantage that the predetermined mimic activation gesture can be detected more precisely by actually not or not only the mimic activation gesture as such, but the muscle activity causative for the mimic activation gesture is detected.

Das Bedienelement kann ein in oder auf einer Innenraumfläche des Kraftfahrzeugs angeordnetes Bedienelement sein. Die Datenverarbeitungseinrichtung kann ein Steuergerät des Kraftfahrzeugs sein, das mittels eines Datenbussystems mit der Innenraumkamera und dem Bedienelement verbunden sein kann. Die Datenverarbeitungseinrichtung führt bevorzugt wesentliche Schritte des erfindungsgemäßen Verfahrens durch. Die Datenverarbeitungseinrichtung kann über einen Datenspeicher verfügen. In diesem können Nutzerinformationen dauerhaft abgelegt werden, z.B. für unterschiedliche Nutzer Kalibrierungsinformationen der Blickrichtungserkennung oder bevorzugte Aktivierungsgesten. The operating element may be a control element arranged in or on an interior surface of the motor vehicle. The data processing device may be a control device of the motor vehicle, which may be connected to the interior camera and the operating element by means of a data bus system. The data processing device preferably performs essential steps of the method according to the invention. The data processing device may have a data memory. In this user information can be stored permanently, e.g. Calibration information of sight line detection or preferred activation gestures for different users.

Eine bespielhafte Ausführungsform der Erfindung wird nachfolgend mit Bezug zu dem in 1 dargestellten Flussdiagramm erläutert. An exemplary embodiment of the invention will be described below with reference to the in 1 illustrated flowchart explained.

Es wird darauf hingewiesen, dass es sich bei der Figur sowie der zugehörigen Beschreibung lediglich um ein Ausführungsbeispiel der Erfindung handelt. Insbesondere sind Darstellungen von Merkmalskombinationen in der Figur und / oder der Figurenbeschreibung nicht dahingehend auszulegen, dass die Erfindung zwingend die Verwirklichung aller genannten Merkmale erfordert. Andere Ausführungsformen der Erfindung können weniger, mehr und / oder andere Merkmale enthalten. Der Schutzbereich und die Offenbarung der Erfindung ergeben sich aus den beiliegenden Patentansprüchen und der vollständigen Beschreibung. It should be noted that the figure and the associated description is merely an embodiment of the invention. In particular, representations of feature combinations in the figure and / or the description of the figures are not to be construed as requiring the invention to achieve all of the features mentioned. Other embodiments of the invention may include fewer, more, and / or different features. The scope and disclosure of the invention will be apparent from the appended claims and the complete description.

Das in 1 dargestellte Flussdiagramm zeigt den Ablauf der Verfahrensschritte eines Ausführungsbeispiels der Erfindung. Es sei beispielhaft angenommen, dass eine beispielhafte Ausführungsform des erfindungsgemäßen Bediensystems von einem Fahrer eines Kraftfahrzeugs genutzt wird, um eine Klimaanlage des Kraftfahrzeugs zu aktivieren. Das Kraftfahrzeug umfasst ein an der Instrumententafel angeordnetes Bedienelement zur Aktivierung der Klimaanlage. Bei dem Bedienelement handelt es sich um einen Druckschalter, dessen Schaltzustand mit einer Leuchtdiode gekennzeichnet ist. Bei aktivierter Klimaanlage ist die Leuchtdiode dauerhaft aktiviert, bei ausgeschalteter Klimaanlage ist die Leuchtdiode inaktiv. This in 1 The flow chart shown shows the sequence of method steps of an embodiment of the invention. It is assumed by way of example that an exemplary embodiment of the operating system according to the invention is used by a driver of a motor vehicle in order to activate an air conditioning system of the motor vehicle. The motor vehicle comprises a control element arranged on the instrument panel for activating the air conditioning system. The operating element is a pressure switch whose switching state is marked with a light-emitting diode. When the air conditioning is activated, the LED is permanently activated. When the air conditioning is switched off, the LED is inactive.

Zu Beginn des Verfahrens ist die Klimaanlage ausgeschaltet und die Leuchtdiode des Druckschalters inaktiv. Der Fahrer möchte den Druckschalter zur Aktivierung der Klimaanlage berührungslos aktivieren. Hierzu richtet er seinen Blick auf den Druckschalter. Im ersten Schritt 10 wird die Blickrichtung des Fahrers erfasst. Anschließend wird in Schritt 20 das durch die Blickrichtung des Fahrers festgelegte Bedienelement, nämlich der Druckschalter, bestimmt. Hierzu rechnet eine Datenverarbeitungseinheit des Kraftfahrzeugs den Schnittpunkt der die Blickrichtung repräsentierenden Raumachse mit der Instrumententafel des Kraftfahrzeugs. An diesem Schnittpunkt befindet sich der Druckschalter, der somit in Schritt 20 bestimmt wird. At the beginning of the procedure, the air conditioning is switched off and the LED of the pressure switch inactive. The driver wants to activate the pressure switch for activating the air conditioning without contact. He directs his gaze to the pressure switch. In the first step 10 the driver's line of sight is captured. Subsequently, in step 20 determined by the line of sight of the driver control, namely the pressure switch determined. For this purpose, a data processing unit of the motor vehicle calculates the intersection of the spatial axis representing the viewing direction with the instrument panel of the motor vehicle. At this intersection is the pressure switch, which is thus in step 20 is determined.

Um zu vermeiden, dass Bedienelemente des Kraftfahrzeugs versehentlich betätigt werden, ist im vorliegenden Ausführungsbeispiel ein zweistufiges Verfahren vorgesehen. Zunächst wird dabei in Schritt 31 erfasst, ob der Fahrer eine erste vorbestimmte mimische Aktivierungsgeste durchführt. Diese besteht in einer einmaligen Betätigung des Musculus frontalis, wodurch ein einmaliges Heben der Augenbrauen des Fahrers hervorgerufen wird. Wird diese erste vorbestimmte mimische Aktivierungsgeste erfolgreich erfasst, so wird in Schritt 41 das Bedienelement ausgewählt. Dass das Bedienelement, also der Druckschalter, ausgewählt wurde, kann dem Fahrer beispielsweise dadurch mitgeteilt werden, dass die Leuchtdiode des Druckschalters blinkt. In order to avoid operating elements of the motor vehicle being inadvertently actuated, a two-stage method is provided in the present exemplary embodiment. First, it will be in step 31 detects whether the driver is making a first predetermined facial activation gesture. This consists in a single operation of the muscle frontalis, causing a one-time lift of the rider's eyebrows. If this first predetermined mimic activation gesture is successfully detected, then in step 41 the control is selected. That the operating element, so the pressure switch was selected, the driver can be notified, for example, by the fact that the LED of the pressure switch flashes.

In Schritt 32 wird erfasst, ob der Fahrer eine zweite vorbestimmte mimische Aktivierungsgeste durchführt, die in einer zweimaligen Betätigung des Musculus frontalis innerhalb eines bestimmten Zeitraums von einer Sekunde besteht, wodurch ein zweimaliges Heben der Augenbrauen des Fahrers hervorgerufen wird. Wird diese zweite vorbestimmte mimische Aktivierungsgeste erfolgreich erfasst, so wird in Schritt 42 das Bedienelement betätigt. Die in Schritt 42 vorgenommene Betätigung des Bedienelements hat die gleiche Wirkung wie eine manuelle Betätigung des Druckschalters. Hierdurch wird also die Klimaanlage des Fahrzeugs aktiviert, was durch eine dauerhafte Aktivierung der Leuchtdiode, also ein dauerhaftes Leuchten der Leuchtdiode, dem Fahrer signalisiert wird. In step 32 it is detected whether the driver is performing a second predetermined facial activation gesture consisting of operating the frontal muscle twice within a predetermined period of one second, thereby causing the driver's eyebrows to be raised twice. If this second predetermined facial activation gesture is successfully detected, then in step 42 the control operates. The in step 42 made operation of the operating element has the same effect as a manual operation of the pressure switch. As a result, therefore, the air conditioning of the vehicle is activated, which is signaled by a permanent activation of the LED, so a permanent light of the LED, the driver.

Das gleiche Verfahren (Schritte 10 bis 42) kann abermals durchgeführt werden, um die Klimaanlage wieder auszuschalten. The same procedure (steps 10 to 42 ) can be performed again to turn off the air conditioner again.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012215407 A1 [0002]
DE 102013003047 A1 [0003]

Claims

Method for activating an operating element of a motor vehicle by a user of the motor vehicle, in particular a driver of the motor vehicle, with the steps - detecting ( 10 ) a viewing direction of the user, - determining ( 20 ) of a control element determined by the viewing direction of the user, - detecting ( 31 . 32 ), whether the user is performing a predetermined facial activation gesture, and in response to a detected predetermined activation gesture performed by the user - activating ( 41 . 42 ) of the operating element, characterized in that the predetermined mimic activation gesture comprises at least one gesture caused by an actuation of the frontalis muscle, in particular a lifting of at least one eyebrow of the user.

Method according to claim 1, characterized in that the activation ( 41 . 42 ) of the control select ( 41 ) and / or pressing ( 42 ) of the operating element.

Method according to Claim 1 or 2, wherein the operating element can be activated in at least two stages, in particular in a first stage, and can be actuated in a second stage, with the steps - detecting ( 31 ), whether the user is performing a first predetermined facial activation gesture, and in response to a detected first predetermined activation gesture performed by the user - activating ( 41 ) of the operating element in a first stage, in particular selecting ( 41 ) of the operating element, - detecting ( 32 ), whether the user is performing a second predetermined facial activation gesture, and in response to a detected second predetermined activation gesture performed by the user - activating ( 42 ) of the operating element in a second stage, in particular pressing ( 42 ) of the operating element.

The method of claim 3, wherein the first and second predetermined facial activation gestures are the same.

The method of claim 3, wherein the first and second predetermined facial activation gestures are different from one another.

The method of claim 5, wherein the first predetermined mimic activation gesture comprises a gesture caused by a single operation of the frontalis muscle, in particular a single lifting of at least one eyebrow of the user, the second predetermined mimic activation gesture being one of a two-time operation of the frontalis within a a predetermined period of time caused gesture, in particular a two-time lifting at least one eyebrow of the user includes.

Operating system for a motor vehicle with - a detection device for detecting a line of sight of a user of the motor vehicle, in particular a driver of the motor vehicle, and for detecting a predetermined mimic activation gesture carried out by the user, - an operating element of the motor vehicle and - a data processing device connected to the detection device, wherein the data processing device is set up - for determining an operating element determined by the viewing direction of the user, - for detecting whether the user has performed or carried out a predetermined facial activation gesture, and in response to a detected predetermined activation gesture carried out by the user - for activating the operating element, characterized in that the predetermined mimic activation gesture at least one caused by the operation of the frontalis muscle gesture, in particular a lifting down an eyebrow of the user.

Operating system according to claim 7, wherein the detection device comprises an interior camera of the motor vehicle.

An operating system according to claim 7 or 8, wherein the detection means is arranged for the electromyographic detection of a muscle activity.

Operating system according to one of claims 7 to 9, wherein the operating system for implementing the method according to one of claims 1 to 6 is set up.