DE102013004251B4

DE102013004251B4 - Method for operating an operating system and motor vehicle with such an operating system

Info

Publication number: DE102013004251B4
Application number: DE102013004251.8A
Authority: DE
Inventors: Marcus Kühne; Johann Schneider; Michael Wachinger; Franz Mayr
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2013-03-12
Filing date: 2013-03-12
Publication date: 2018-05-09
Anticipated expiration: 2033-03-13
Also published as: DE102013004251A1

Abstract

Verfahren zum Betreiben eines Bediensystems (10) eines Kraftwagens, mit den Schritten:- Erfassen einer Positionierung einer Hand (14) gegenüber einem Bedienfeld (12) des Bediensystems (10) sobald sie in einen Erfassungsbereich des Bedienfelds (12) hineinbewegt wird, wobei es sich bei dem Bedienfeld (12) um ein Touchpad oder-einen Touchscreen handelt;- Anzeigen eines Symbols (16) auf einem dem Bedienfeld (12) zugeordneten Anzeigebereich (18) einer Anzeigeeinrichtung unter Berücksichtigung der erfassten Positionierung Hand (14); dadurch gekennzeichnet, dass- die Position desjenigen im Erfassungsbereich des Bedienfeld (12) positionierten Bereichs der Hand (14) ermittelt wird, welcher von einem vorgegebenen Punkt des Bedienfelds (12) in einer vorgegebenen Richtung am weitesten entfernt angeordnet ist;- sich der vorgegebene Punkt in Fahrzeuglängsrichtung am vorderen Rand (28) des Bedienfelds (12) befindet;- sich der vorgegebene Punkt bei einem Einsatz des Bediensystems (10) in einem als Linkslenker ausgebildeten Kraftwagen in Fahrzeugquerrichtung am linken Rand des Bedienfelds (12) befindet;- sich der vorgegebene Punkt bei einem Einsatz des Bediensystems (10) in einem als Rechtslenker ausgebildeten Kraftwagen in Fahrzeugsquerrichtung am rechten Rand des Bedienfelds (12) befindet;- die Positionierung des Symbols (16) auf dem Anzeigebereich (18) unter Berücksichtigung der ermittelten Position des von dem vorgegebenen Punkt des Bedienfelds (12) am weitesten entfernt angeordneten Bereichs der Hand (14) erfolgt.Method for operating a control system (10) of a motor vehicle, comprising the steps of: - detecting a positioning of a hand (14) relative to a control panel (12) of the operating system (10) as soon as it is moved into a detection area of the control panel (12), wherein the control panel (12) is a touchpad or a touchscreen; - displaying a symbol (16) on a display area (18) of a display device associated with the control panel (12) taking into account the detected positioning of the hand (14); characterized in that- the position of the portion of the hand (14) positioned in the detection area of the control panel (12) which is located farthest from a predetermined point of the control panel (12) in a predetermined direction, - the predetermined point in the vehicle longitudinal direction at the front edge (28) of the control panel (12) is located - the predetermined point when using the operating system (10) in a designed as a left-hand drive vehicles in the vehicle transverse direction on the left edge of the control panel (12), - the default Point when using the operating system (10) in a right-hand drive vehicle in the vehicle transverse direction at the right edge of the control panel (12), - positioning the symbol (16) on the display area (18) taking into account the determined position of the predetermined Point of the control panel (12) located furthest away portion of the hand (14).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Bediensystems eines Kraftwagens der im Oberbegriff des Patentanspruchs 1 angegebenen Art. Des Weiteren betrifft die Erfindung einen Kraftwagen mit einem solchen Bediensystem der im Oberbegriff des Patentanspruchs 5 angegebenen Art.The invention relates to a method for operating an operating system of a motor vehicle specified in the preamble of claim 1. Art. Furthermore, the invention relates to a motor vehicle with such an operating system specified in the preamble of claim 5 Art.

Die DE 10 2007 034 723 A1 zeigt ein Verfahren zur Bestimmung der Position eines Fingers eines Nutzers relativ zu einer Bedien- bzw. Anzeigefläche. Es wird eine Schwerpunktposition des sich mit dem Finger annähernden Körperteils ermittelt, wobei unter Berücksichtigung der Schwerpunktposition die Position des Fingers errechnet wird.The DE 10 2007 034 723 A1 shows a method for determining the position of a user's finger relative to a display area. A center of gravity position of the body part approaching with the finger is determined, the position of the finger being calculated taking into account the center of gravity position.

Die EP 1 335 318 A2 zeigt einen berührungssensitiven Bildschirm mit einer Erkennungsvorrichtung zur Erkennung einer Fingerposition. Die Erkennungsvorrichtung ist dabei dazu ausgelegt, die Fingerposition unter Ausblendung eines detektierten Handschattens zu ermitteln, falls sich der Finger näher an dem Bildschirm befindet als die restliche Hand.The EP 1 335 318 A2 shows a touch-sensitive screen with a recognition device for detecting a finger position. The recognition device is designed to determine the finger position while blanking out a detected hand shadow, if the finger is closer to the screen than the rest of the hand.

Die DE 10 2009 059 869 A1 zeigt ein Verfahren zum Betreiben einer berührungssensitiven Vorrichtung. Bei einer gleichzeitigen Berührung einer berührungsempfindlichen Oberfläche kann ermittelt werden, welche Arten von Eingabegesten mit der erfassten Anzahl gleichzeitig berührter Bereiche ausführbar sind.The DE 10 2009 059 869 A1 shows a method of operating a touch-sensitive device. With a simultaneous touch of a touch-sensitive surface, it can be determined which types of input gesture are executable with the detected number of simultaneously touched areas.

Die DE 10 2008 022 752 A1 zeigt ein weiteres Verfahren zum Betreiben einer berührungssensitiven Vorrichtung. Basierend auf zumindest zwei erfassten Berührungspunkten eine im Wesentlichen mittig zwischen diesen beiden Berührungspunkten liegende Position als Wert ausgegeben.The DE 10 2008 022 752 A1 shows another method of operating a touch-sensitive device. Based on at least two detected points of contact, a position lying substantially centrally between these two points of contact is output as a value.

Die DE 10 2011 011 802 A1 zeigt ein Verfahren zum Betreiben einer Benutzerschnittstelle in einem Fahrzeug. Eine Berührungsposition wird unter Zuhilfenahme von Beschleunigungsdaten ermittelt.The DE 10 2011 011 802 A1 shows a method for operating a user interface in a vehicle. A touch position is determined with the aid of acceleration data.

Die US 2012/0262407 A1 zeigt ein Verfahren zum Betreiben eines Touchscreens. Sobald ein Benutzer den Touchscreen gleichzeitig sowohl mit einer Fingerkuppe eines Zeigefingers einer Hand als auch mit einem restlichen Handbereich derselben Hand berührt, wird der Bereich des Touchscreens für Eingaben gesperrt, auf welchem der restliche Handbereich aufliegt, sodass nur mit der Fingerkuppe auf dem Touchscreen getätigte Eingaben erfasst und umgesetzt werden.The US 2012/0262407 A1 shows a method for operating a touch screen. As soon as a user touches the touchscreen simultaneously with both a fingertip of a forefinger of one hand and a remaining hand area of the same hand, the area of the touchscreen is blocked for input on which the rest of the hand area rests, so that only inputs made with the fingertip on the touchscreen recorded and implemented.

Die WO 2012/027086 A2 zeigt ein Verfahren, bei welchem eine Vorrichtung einerseits durch Berührungen und andererseits berührungslos gesteuert wird. In Abhängigkeit von zumindest einer vorbestimmten Bedingung wird zwischen einem ersten Modus, bei welchem die Vorrichtung durch Berührung steuerbar ist, und einem zweiten Modus, bei welchem die Vorrichtung berührungslos steuerbar ist, hin und her geschaltet.The WO 2012/027086 A2 shows a method in which a device is controlled on the one hand by touches and on the other hand without contact. Depending on at least one predetermined condition, a switch is made between a first mode, in which the device can be controlled by touch, and a second mode, in which the device can be controlled without contact.

Die US 2012/0216151 A1 zeigt ein Verfahren und eine Vorrichtung zum Erkennen von Handbewegungen einer Benutzers im dreidimensionalen Raum. Mittels der Handbewegungen kann der Benutzer ein Treffen zwischen verschiedenen Personen arrangieren.The US 2012/0216151 A1 shows a method and apparatus for detecting hand movements of a user in three-dimensional space. By means of hand movements, the user can arrange a meeting between different people.

Die US 2003/0222858 A1 zeigt einen Touchscreen. Der Touchscreen wird in mehrere Bereiche aufgeteilt, um eine von einem Benutzer tatsächlich gewollte Berührposition am Touchscreen zu erfassen.The US 2003/0222858 A1 shows a touch screen. The touch screen is divided into several areas to capture a touch position actually desired by a user on the touch screen.

Die US 5 835 079 A zeigt eine virtuelle Zeigevorrichtung für einen Touchscreen. Zudem wird beschrieben, dass anhand einer erkannten Hand auf eine Identität eines Benutzers geschlossen wird.US 5 835 079 A shows a virtual pointing device for a touch screen. In addition, it is described that a user's identity is determined on the basis of a recognized hand.

Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren sowie ein Kraftfahrzeug der eingangs genannten Art bereitzustellen, mittels welchen eine verbesserte Schrifteingabe mit einem Finger ermöglicht werden kann.It is the object of the present invention to provide a method and a motor vehicle of the type mentioned, by means of which an improved font input with a finger can be made possible.

Diese Aufgabe wird durch ein Verfahren zum Betreiben eines Bediensystems sowie durch einen Kraftwagen mit einem Bediensystem mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method for operating an operating system and by a motor vehicle with an operating system having the features of the independent patent claims. Advantageous embodiments with expedient and non-trivial developments of the invention are specified in the dependent claims.

Bei dem Verfahren zum Betreiben eines Bediensystems eines Kraftwagens wird eine Positionierung einer Hand gegenüber einem Bedienfeld des Bediensystems erfasst, sobald sie in einen Erfassungsbereich des Bedienfelds hineinbewegt wird. Des Weiteren wird ein Symbol auf einem dem Bedienfeld zugeordneten Anzeigebereich einer Anzeigeeinrichtung unter Berücksichtigung der erfassten Positionierung der Hand angezeigt. Zur verbesserten Erkennung desjenigen Fingers, mittels welchem die Bedienung des Bedienfelds bzw. des Bediensystems erfolgen soll, ist es vorgesehen, dass die Position desjenigen im Erfassungsbereich des Bedienfelds positionierten Bereichs der Hand ermittelt wird, welcher von einem vorgegebenen Punkt des Bedienfelds in einer vorgegebenen Richtung am weitesten entfernt angeordnet ist. Die Position des Symbols auf dem Anzeigebereich erfolgt dabei unter Berücksichtigung der ermittelten Position des von dem vorgegebenen Punkt des Bedienfelds am weitesten entfernt angeordneten Bereichs der Hand.In the method for operating an operating system of a motor vehicle, a positioning of a hand relative to a control panel of the operating system is detected as soon as it is moved into a detection area of the control panel. Furthermore, a symbol is displayed on a display area of a display device associated with the control panel, taking into account the detected positioning of the hand. For improved recognition of that finger by means of which the operation of the control panel or the operating system is to take place, it is provided that the position of that area of the hand positioned in the detection area of the control panel is determined, which of a predetermined point of the control panel in a predetermined direction farthest away. The position of the symbol on the display area takes place in consideration of the determined position of the furthest from the predetermined point of the control panel area of the hand.

Mit anderen Worten wird durch das Verfahren die Erkennung eines führenden Fingers bei der Annäherung an das Bedienfeld des Bediensystems verbessert. Beispielsweise ist es bei bestimmten Bediensystemen möglich, Schriftzeichen auf einer berührungssensiblen Oberfläche, beispielsweise eines Touchpads, einzugeben. Der Erfindung liegt dabei die Erkenntnis zugrunde, dass insbesondere bei der Eingabe von komplexen Zeichen, z.B. von asiatischen Schriftzeichen, das Schriftbild nicht optimal ist, da der Nutzer nicht weiß, wo bei der Berührung des berührungssensitiven Bedienfelds ein jeweils neuer Strich des entsprechenden Zeichens ansetzt. Es gibt Bedienfelder, bei welchen eine Annäherung an das Bedienfeld bereits vor einer Berührung erkannt werden kann. Basierend darauf kann eine Darstellung eines Symbols, beispielsweise in Form eines Mauszeigers oder dergleichen, auf einer dem Bedienfeld zugeordneten Anzeigeeinrichtung bzw. einem entsprechenden Anzeigebereich dargestellt werden. So wird es dem Nutzer ermöglicht, vor Berührung des Bedienfelds die Position des Fingers zu korrigieren und an der richtigen Stelle anzusetzen. Da zur Orientierung natürlich nur ein Symbol korrespondierend mit der erfassten Position des führenden Fingers sinnvoll ist, müssen Teile der Hand, deren Annäherung technisch bedingt ebenfalls detektiert werden, über einen Filter ausgeblendet werden, so dass nur ein mit der erfassten Fingerspitze des führenden Fingers korrespondierender Bereich ein entsprechendes Symbol angezeigt wird. In other words, the method improves the recognition of a leading finger when approaching the control panel of the operating system. For example, it is possible with certain operating systems to input characters on a touch-sensitive surface, for example a touchpad. The invention is based on the finding that, especially when entering complex characters, such as Asian characters, the typeface is not optimal, since the user does not know where each touching the touch-sensitive control panel a new stroke of the corresponding character. There are control panels in which an approach to the control panel can be detected even before a touch. Based on this, a representation of a symbol, for example in the form of a mouse pointer or the like, can be displayed on a display device associated with the control panel or a corresponding display area. This allows the user to correct the position of the finger before touching the control panel and to place it in the right place. Since, of course, only one symbol corresponding to the detected position of the leading finger is of course useful for orientation, parts of the hand whose approach is also technically determined to be masked must be masked out via a filter so that only one region corresponding to the detected fingertip of the leading finger a corresponding icon is displayed.

Nun gibt es aber auch Eingabesituationen, in welchen die Hand näher an dem Bedienfeld positioniert ist, als der führende Finger, mittels welchem die eigentliche Bedienung des Bedienfelds durchgeführt werden soll. Dies trifft insbesondere zu, wenn das Bedienfeld etwas weiter und somit in einem flacheren Winkel von dem Nutzer entfernt liegt. Hier würde es, wenn nur der am wenigstens weit von dem Bedienfeld entfernte Bereich der Hand zur Darstellung des Symbols herangezogen werden würde, zu einer Fehlinterpretation kommen, so dass das Symbol an einer falschen Position innerhalb des mit dem Bedienfeld korrespondierenden Anzeigebereichs angezeigt werden würde.But there are also input situations in which the hand is positioned closer to the control panel than the leading finger, by means of which the actual operation of the control panel is to be carried out. This is particularly true when the control panel is slightly further away, and thus at a shallower angle away from the user. Here, if only the area of the hand remote at least far from the control panel were used to represent the symbol, a misinterpretation would occur so that the symbol would be displayed at a wrong position within the display area corresponding to the control panel.

Ausgehend von der Annahme, dass die Physiologie der Hand zumindest dahingehend immer gleich ist, dass sich die Finger an einer Oberseite bzw. an einer Außenseite der Hand befinden, lässt sich die geschilderte Problematik mit Hilfe der Lösung umgehen. Sobald zwei oder mehrere Annäherungsbereiche erkannt werden, wird derjenige Bereich der Hand als der führende Finger identifiziert, welcher von einem vorgegebenen Punkt des Bedienfelds in einer vorgegebenen Richtung am weitesten entfernt angeordnet ist. Beispielsweise kann bei einem Einsatz des Bediensystems in einem Kraftwagen sich der vorgegebene Punkt in Fahrzeuglängsrichtung am vorderen Rand des Bedienfelds befinden und, falls es sich bei dem Kraftwagen um einen Linkslenker handeln sollte, kann der vorgegebene Punkt in Fahrzeugquerrichtung am linken Rand vorgesehen sein. Im Falle eines als Rechtslenker ausgebildeten Kraftwagens kann der vorgegebene Punkt beispielsweise in Fahrzeugquerrichtung am rechten Rand vorgesehen sein. Somit wird aus Sicht des Fahrers zum Beispiel immer derjenige Annäherungspunkt der Hand an das Bedienfeld als die Position des führenden Fingers interpretiert, welche von dem Fahrer am weitesten entfernt ist. Mittels des Verfahrens wird verlässlich der für den Nutzer relevante Bereich der Finger- bzw. Handannäherung erfasst und in solchen Fällen, in welchen die Hand näher als der führende Finger an dem Bedienfeld angeordnet sein sollte, ausgeblendet.Based on the assumption that the physiology of the hand is always the same, at least to the effect that the fingers are located on an upper side or on an outer side of the hand, the described problem can be circumvented with the help of the solution. Once two or more proximity areas are detected, that area of the hand is identified as the leading finger located farthest from a given point of the control panel in a given direction. For example, when using the operating system in a motor vehicle, the predetermined point in the vehicle longitudinal direction are located at the front edge of the control panel and, if it should be a left-hand drive in the car, the predetermined point in the vehicle transverse direction may be provided on the left edge. In the case of a trained as a right-hand drive motor vehicle, the predetermined point may be provided, for example, in the vehicle transverse direction on the right edge. Thus, from the driver's point of view, for example, the approach point of the hand to the control panel is always interpreted as the position of the leading finger farthest from the driver. By means of the method, the user-relevant area of the finger or hand approach is reliably detected and hidden in those cases in which the hand should be arranged closer than the leading finger on the control panel.

In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eine Teilfläche des Bedienfelds ausgewählt wird, in welcher der in der vorgegebenen Richtung am weitesten von dem vorgegebenen Punkt entfernt liegende Bereich der Hand liegt, wobei zur Bestimmung der Position dieses Bereiches der Hand die Koordinate des Flächenschwerpunkts der Teilfläche ermittelt wird. Vorzugsweise wird dabei die Teilfläche nur ausgewählt, falls der in der Teilfläche liegende Bereich der Hand eine vorgegebene Mindestgröße, vorzugsweise die Größe einer Fingerkuppe, aufweist. Die Teilfläche weist dabei vorzugsweise einen vorgegebenen Flächeninhalt auf, insbesondere in der Größenordnung einer durchschnittlichen Auflagefläche einer Unterseite einer Fingerkuppe. Durch die Ermittlung des entsprechenden Flächenschwerpunkts und dessen Koordinaten der entsprechenden Teilfläche kann für den ermittelten führenden Finger auf besonders einfache Weise eine exakte Koordinaten- bzw. Positionsangabe erfolgen, so dass die korrespondierende Positionierung des Symbols auf dem Anzeigebereich besonders exakt erfolgen kann.In an advantageous embodiment of the invention, it is provided that a partial area of the control panel is selected, in which the area of the hand furthest from the predetermined point lies in the predetermined direction, wherein the coordinate of the area center of gravity is used to determine the position of this area of the hand the partial area is determined. In this case, the partial area is preferably selected only if the area of the hand lying in the partial area has a predetermined minimum size, preferably the size of a fingertip. The partial surface preferably has a predetermined surface area, in particular of the order of magnitude of an average contact surface of a lower side of a fingertip. By ascertaining the corresponding area centroid and its coordinates of the corresponding partial area, an exact coordinate or position specification can be made for the ascertained leading finger in a particularly simple manner, so that the corresponding positioning of the symbol on the display area can be carried out particularly accurately.

Der erfindungsgemäße Kraftwagen mit einem Bediensystem umfasst ein Bedienfeld, welches dazu ausgelegt ist, eine Positionierung einer Hand gegenüber dem Bedienfeld zu erfassen, sobald sie in einen Erfassungsbereich des Bedienfelds hineinbewegt wird. Bei dem Bedienfeld handelt es sich um ein Touchpad oder um einen Touchscreen. Des Weiteren umfasst der Kraftwagen eine Anzeigeeinrichtung, welche dazu ausgelegt ist, ein Symbol auf einem dem Bedienfeld zugeordneten Anzeigebereich unter Berücksichtigung der erfassten Positionierung der Hand anzuzeigen. Die erfindungsgemäße Vorrichtung zeichnet sich dadurch aus, dass das Bedienfeld dazu ausgelegt ist, die Position desjenigen im Erfassungsbereich des Bedienfelds positionierten Bereichs der Hand zu ermitteln, welcher von einem vorgegebenen Punkt des Bedienfelds in einer vorgegebenen Richtung am weitesten entfernt angeordnet ist. Ferner zeichnet sich der erfindungsgemäße Kraftwagen dadurch aus, dass die Anzeigeeinrichtung dazu ausgelegt ist, das Symbol auf dem Anzeigebereich unter Berücksichtigung der ermittelten Position des von dem vorgegebenen Punkt des Bedienfelds am weitesten entfernt angeordneten Bereichs der Hand anzuzeigen. Des Weiteren ist es erfindungsgemäß vorgesehen, dass sich der vorgegebene Punkt in Fahrzeuglängsrichtung am vorderen Rand des Bedienfelds befindet, wobei sich der vorgegebene Punkt bei einem Einsatz des Bediensystems in einem als Linkslenker ausgebildeten Kraftwagen in Fahrzeugquerrichtung am linken Rand und bei einem Einsatz des Bediensystems in einem als Rechtslenker ausgebildeten Kraftwagen in Fahrzeugsquerrichtung am rechten Rand des Bedienfelds befindet. Vorteilhafte Ausführungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausführungen des Kraftwagens anzusehen, wobei hier insbesondere der Kraftwagen Mittel umfasst, mit dem die Verfahrensschritte durchführbar sind.The motor vehicle according to the invention with an operating system comprises a control panel which is designed to detect a positioning of a hand relative to the control panel as soon as it is moved into a detection area of the control panel. The control panel is a touchpad or a touch screen. Furthermore, the motor vehicle comprises a display device which is designed to display a symbol on a display area associated with the control panel, taking into account the detected positioning of the hand. The device according to the invention is characterized in that the control panel is designed to determine the position of the area of the hand positioned in the detection area of the control panel which is located farthest from a predetermined point of the control panel in a predetermined direction. Furthermore, the motor vehicle according to the invention is characterized in that the display device is designed to display the symbol on the display area, taking into account the determined position of the furthest away from the predetermined point of the control panel area of the hand. Furthermore, it is provided according to the invention that the predetermined point in the vehicle longitudinal direction is located at the front edge of the control panel, wherein the predetermined point in a use of the operating system in a trained as a left-hand drive vehicles in the vehicle transverse direction on the left edge and when using the operating system in a trained as right-hand drive cars in the vehicle transverse direction is located on the right edge of the panel. Advantageous embodiments of the method according to the invention are to be regarded as advantageous embodiments of the motor vehicle, in which case in particular the motor vehicle comprises means with which the method steps are feasible.

Weitere Vorteile, Merkmale und Einzelzeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and individual times of the invention will become apparent from the following description of a preferred embodiment and from the drawing. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or in the figures alone can be used not only in the respectively specified combination but also in other combinations or in isolation, without the scope of To leave invention.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Seitenansicht eines Bediensystems mit einem berührungsempfindlichen Bedienfeld, an welches ein Finger herangeführt wird;
2 eine schematische Darstellung der detektierten Bereiche der an das Bedienfeld herangeführten Hand;
3 eine schematische Darstellung eines dem Bedienfeld zugeordneten Anzeigebereichs einer Anzeigeeinrichtung, auf welcher unter Berücksichtigung des erfassten Fingers ein Symbol angezeigt wird;
4 eine weitere schematische Darstellung des Bedienfelds, wobei im vorliegenden Fall der Zeigefinger weiter von dem Bedienfeld entfernt angeordnet ist als die restliche Hand;
5 eine schematische Darstellung der detektierten Bereiche der gemäß 4 an das Bedienfeld herangeführten Hand;
6 den Anzeigebereich der Anzeigeeinrichtung, wobei das Symbol korrespondierend mit der Position der erfassten restlichen Hand dargestellt und mittels des gestrichen dargestellten Kreises diejenige Position innerhalb des Anzeigebereichs dargestellt ist, welcher mit der tatsächlichen Position des Zeigefingers korrespondieren würde; und in
7 eine weitere Darstellung des Anzeigebereichs, wobei im vorliegend gezeigten Fall das Symbol unter Berücksichtigung der tatsächlichen Position des Zeigefingers gemäß 4 angezeigt ist.

Embodiments of the invention are explained in more detail below with reference to schematic drawings. Show it:

1 a schematic side view of an operating system with a touch-sensitive control panel to which a finger is brought;
2 a schematic representation of the detected areas of zoom brought up to the control panel hand;
3 a schematic representation of the control panel associated display area of a display device on which, taking into account the detected finger, a symbol is displayed;
4 a further schematic representation of the control panel, in the present case, the index finger is located further away from the control panel than the rest of the hand;
5 a schematic representation of the detected areas of the according to 4 hand brought to the control panel;
6 the display area of the display device, wherein the symbol corresponding to the position of the detected residual hand represented and by means of the circle shown deleted that position within the display area is shown, which would correspond to the actual position of the index finger; and in
7 a further representation of the display area, wherein in the present case, the symbol taking into account the actual position of the index finger according to 4 is displayed.

Ein Teil eines insgesamt mit 10 bezeichneten Bediensystems mit einem Bedienfeld 12 ist in einer schematischen Seitenansicht in 1 gezeigt. Das Bedienfeld 12 ist dazu ausgelegt, eine Positionierung einer Hand 14 gegenüber dem Bedienfeld 12 zu erfassen, sobald sie in einen nicht näher bezeichneten Erfassungsbereich des Bedienfelds 12 hineinbewegt wird. Bei dem Bedienfeld 12 kann es sich beispielsweise um ein Touchpad, einen Touchscreen oder dergleichen handeln. Das Bedienfeld 12 ist im vorliegenden Fall dazu ausgebildet, bereits eine Annäherung der Hand 14 an das Bedienfeld 12 zu detektieren, noch bevor dieses mittels der Hand 14 berührt wird. Das Bediensystem 10 umfasst des Weiteren eine Anzeigeeinrichtung, welche dazu ausgelegt ist, ein Symbol 16 auf einem dem Bedienfeld 12 zugeordneten Anzeigebereich 18 unter Berücksichtigung der erfassten Positionierung der Hand 14 anzuzeigen. Der Anzeigebereich 18 mit dem entsprechend dargestellten Symbol 16 ist in 3 in einer schematischen Darstellung gezeigt.Part of an operating system, generally designated 10, with a control panel 12 is in a schematic side view in 1 shown. The control panel 12 is designed to be a positioning of a hand 14 opposite the control panel 12 as soon as they enter an unspecified detection area of the control panel 12 is moved in. At the control panel 12 it may be, for example, a touchpad, a touch screen or the like. The control panel 12 is designed in the present case, already an approximation of the hand 14 to the control panel 12 to detect, even before this by hand 14 is touched. The operating system 10 further comprises a display device, which is adapted to a symbol 16 on one of the control panel 12 associated display area 18 taking into account the detected positioning of the hand 14 display. The display area 18 with the corresponding symbol 16 is in 3 shown in a schematic representation.

Das Bedienfeld 12 ist des Weiteren dazu ausgelegt, die Position desjenigen im Erfassungsbereich des Bedienfelds 12 positionierten Bereichs der Hand 14 zu ermitteln, welcher von einem vorgegebenen Punkt des Bedienfelds 12 in einer vorgegebenen Richtung am weitesten entfernt angeordnet ist. Die Anzeigeeinrichtung ist dabei dazu ausgelegt, das Symbol 16 auf dem Anzeigebereich 18 unter Berücksichtigung der ermittelten Position des von dem vorgegebenen Punkt des Bedienfelds 12 am weitesten entfernt angeordneten Bereichs der Hand 14 anzuzeigen.The control panel 12 is further adapted to the position of the one in the detection area of the control panel 12 positioned area of the hand 14 to determine which of a given point of the control panel 12 is located furthest away in a given direction. The display device is designed to be the symbol 16 on the display area 18 taking into account the determined position of the predetermined point of the control panel 12 farthest area of the hand 14 display.

Das Bediensystem 10 ist dabei ein Teil einer hier nicht näher bezeichneten Vorrichtung, wobei die Vorrichtung beispielsweise ein Kraftwagen, ein Smartphone, ein Notebook, ein Tablet-Computer oder ein stationärer Computer ist. Bei dem Bediensystem 10 kann es sich also beispielsweise um eine Mensch-Maschine-Schnittstelle zur Bedienung unterschiedlichster Fahrzeugfunktionen eines Kraftwagens oder auch zur Bedienung unterschiedlichster Applikationen oder Funktionen eines Smartphones, eines Notebooks, eines Tablet-Computers oder eines stationären Computers handeln.The operating system 10 is a part of an unspecified device, the device is for example a motor vehicle, a smartphone, a notebook, a tablet computer or a stationary computer. In the operating system 10 So it can be, for example, a man-machine interface for operating a wide variety of vehicle functions of a motor vehicle or for the operation of various applications or functions of a smartphone, a notebook, a tablet or a stationary computer.

Im Nachfolgenden wird ein Verfahren zum Betreiben des Bediensystems 10 erläutert, wobei dafür davon ausgegangen wird, dass das Bediensystem 10 in einem Kraftwagen integriert ist.The following is a method for operating the operating system 10 explained, whereby it is assumed that the operating system 10 integrated in a motor vehicle.

In 2 ist in einer schematischen Darstellung ein Messbild dargestellt, welches den erfassten Rohdaten zur Positionsbestimmung der Hand 14 entspricht. Wie aus 1 zu erkennen ist, ist die Fingerkuppe des Zeigefingers 20 näher an dem Bedienfeld 12 angeordnet, als der restliche Bereich der Hand 14. Die Punktewolke 22 entspricht der erfassten Position der Fingerkuppe des Zeigefingers 20, wobei die Punktewolke 24 der erfassten Position der restlichen Hand 14 entspricht.In 2 is shown in a schematic representation of a measurement image which the captured raw data for determining the position of the hand 14 equivalent. How out 1 can be seen is the fingertip of the index finger 20 closer to the control panel 12 arranged as the remaining area of the hand 14 , The point cloud 22 corresponds to the detected position of the fingertip of the index finger 20 , where the cloud of points 24 the recorded position of the remaining hand 14 equivalent.

In 3 ist, wie bereits erläutert, das Symbol 16 dargestellt, welches korrespondierend mit der ermittelten Position des Zeigefingers 20, also korrespondierend mit der in 2 dargestellten Punktewolke 22, angezeigt wird. Der restliche Bereich der Hand 14, welcher weiter von dem Bedienfeld 12 entfernt ist, als die Fingerkuppe des Zeigefingers 20, wird bei der Positionierung und Darstellung des Symbols 16 nicht berücksichtigt. Mit anderen Worten wird die Punktewolke 24, welche der restlichen erfassten Hand 14 außer dem Zeigefinger 20 entspricht, bei der Darstellung und Positionierung des Symbols 16 ausgeblendet. Mit der gestrichelten Linie 26 ist die tatsächliche Position der Fingerkuppe des Zeigefingers 20 entsprechend korrespondierend innerhalb des Anzeigebereichs 18 dargestellt. Dieser ist für den in 1 dargestellten Fall deckungsgleich mit dem Symbol 16.In 3 is, as already explained, the symbol 16 shown, which corresponds to the determined position of the index finger 20 , thus corresponding to the in 2 illustrated point cloud 22 , is shown. The remaining area of the hand 14 which continues from the control panel 12 is removed, as the fingertip of the index finger 20 , is used in positioning and displaying the icon 16 not considered. In other words, the point cloud becomes 24 , which of the remaining grasped hand 14 except for the index finger 20 corresponds to the representation and positioning of the symbol 16 hidden. With the dashed line 26 is the actual position of the fingertip of the index finger 20 correspondingly corresponding within the display area 18 shown. This one is for the in 1 Case shown congruent with the symbol 16 ,

In 4 ist ein weiterer Fall gezeigt, bei welchem die Hand 14 an das Bedienfeld herangeführt wird. Im Gegensatz zu dem in 1 dargestellten Fall ist die Fingerkuppe des Zeigefingers 20 weiter von dem Bedienfeld 12 entfernt, als der restliche Bereich der Hand 14, im vorliegenden Fall also der Daumen und die restlichen Finger.In 4 another case is shown in which the hand 14 is brought to the control panel. Unlike the in 1 The case shown is the fingertip of the index finger 20 further from the control panel 12 removed, as the remaining area of the hand 14 , in the present case, the thumb and the remaining fingers.

In 5 ist wiederum schematisch ein Messbild dargestellt, in welchem die Rohdaten korrespondierend zu der erfassten Positionierung der Hand 14 dargestellt sind. Die Punktewolke 24' ist im Gegensatz zu der Darstellung in 2 mit einer engeren Schraffur dargestellt, womit verdeutlicht werden soll, dass der restliche Teil der Hand 14 näher an dem Bedienfeld 12 angeordnet und somit stärker wahrgenommen wird. Die Punktewolke 22' ist für den in 4 gezeigten Fall mit einer schwächeren Schraffur als in 2 dargestellt, wodurch gezeigt werden soll, dass die Fingerkuppe des Zeigefingers 20 weiter von dem Bedienfeld 12 entfernt angeordnet ist, wodurch die Fingerkuppe des Zeigefingers 20 schwächer detektiert wird, als der restliche Bereich der Hand 14.In 5 is again shown schematically a measurement image, in which the raw data corresponding to the detected positioning of the hand 14 are shown. The point cloud 24 ' is contrary to the representation in 2 represented with a narrower hatching, which should be clarified that the remaining part of the hand 14 closer to the control panel 12 arranged and thus perceived more strongly. The point cloud 22 ' is for the in 4 shown case with a weaker hatch than in 2 shown, which is to be shown that the fingertip of the index finger 20 further from the control panel 12 is located away, causing the fingertip of the index finger 20 is detected weaker than the remaining area of the hand 14 ,

In 6 ist eine mit den Rohdaten gemäß 5 korrespondierende Darstellung des Symbols 16 gezeigt. Das Symbol 16 wird korrespondierend mit der Position der Punktewolke 24' innerhalb des Anzeigebereichs positioniert und dargestellt und nicht korrespondierend mit der Position der schwächeren Signale gemäß der Punktewolke 22'. Wie zu erkennen, liegen der gestrichelt dargestellte Bereich 26, gemäß welchem die tatsächliche Position der Fingerkuppe des Zeigefingers 20 auf dem Anzeigebereich positioniert sein müsste, und das Symbol 16 im vorliegenden Fall nicht mehr übereinander.In 6 is one with the raw data according to 5 Corresponding representation of the symbol 16 shown. The symbol 16 becomes corresponding to the position of the point cloud 24 ' positioned and displayed within the display area and not corresponding to the position of the weaker signals according to the point cloud 22 ' , As can be seen, are the dashed line area 26 according to which the actual position of the fingertip of the index finger 20 on the display area, and the icon 16 in this case no longer on top of each other.

Um dieser Problematik entgegenzuwirken, wird die Position desjenigen Erfassungsbereichs des am Bedienfeld 12 positionierten Bereichs der Hand 14 ermittelt, welcher von einem vorgegebenen Punkt des Bedienfelds 12 in einer vorgegebenen Richtung am weitesten entfernt angeordnet ist. Wie bereits erläutert, soll es sich im vorliegend geschilderten Fall um einen Einsatz bzw. eine Integration des Bediensystems 10 in einem Kraftwagen handeln. In diesem Fall ist der vorgegebene Punkt in Fahrzeuglängsrichtung am vorderen Rand 28 des Bedienfelds 12 vorgesehen. Sollte es sich bei dem Kraftwagen um einen Linkslenker handeln, ist der vorgegebene Punkt ferner in Fahrzeugquerrichtung am linken Rand angeordnet. Sollte es sich bei dem Kraftwagen hingegen um einen Rechtslenker handeln, ist der vorgegebene Punkt in Fahrzeugquerrichtung am rechten Rand vorgesehen.To counteract this problem, the position of that detection area of the control panel 12 positioned area of the hand 14 determines which of a given point of the control panel 12 is located furthest away in a given direction. As already explained, it should be in the present case to use or an integration of the operating system 10 Act in a car. In this case, the predetermined point in the vehicle longitudinal direction at the front edge 28 of the control panel 12 intended. If it is the car to a left-hand drive, the predetermined point is also arranged in the vehicle transverse direction on the left edge. If, however, the motor vehicle is a right-hand drive, the predetermined point in the vehicle transverse direction is provided on the right-hand edge.

Nähert nun ein Nutzer seine Hand 14 an das Bedienfeld 12 heran, so kann der führende Finger, im vorliegenden Fall also die Fingerkuppe des Zeigefingers 20, auf besonders einfache Weise erkannt werden, indem eine Teilfläche des Bedienfelds 12 ausgewählt wird, in welcher der in der vorgegebenen Richtung am weitesten von dem vorgegebenen Punkt entfernt liegende Bereich der Hand 14, also die Fingerkuppe des Zeigefingers 20, liegt, wobei zur Bestimmung der Position dieses Bereichs der Hand die Koordinate des Flächenschwerpunkts der Teilfläche ermittelt wird. Die Teilfläche wird dabei nur ausgewählt, falls der in der Teilfläche liegende Bereich der Hand 14, im vorliegenden Fall also die Fingerkuppe des Zeigefingers 20, eine vorgegebene Mindestgröße aufweist. Die Teilfläche weist dabei einen vorgegebenen Flächeninhalt auf, der in der Größenordnung einer durchschnittlichen Auflagefläche der Unterseite einer Fingerkuppe entspricht.Now a user approaches his hand 14 to the control panel 12 approach, so the leading finger, in the present case, the fingertip of the index finger 20 , be recognized in a particularly simple way, by using a subarea of the control panel 12 in which the area of the hand furthest from the given point in the given direction is selected 14 So the fingertip of the index finger 20 , wherein, to determine the position of this region of the hand, the coordinate of the centroid of the surface is determined. The partial area is only selected if the area of the hand lying in the partial area 14 , in the present case, the fingertip of the index finger 20 , has a predetermined minimum size. The partial surface in this case has a predetermined surface area, which corresponds to the order of magnitude of an average contact surface of the underside of a fingertip.

Unter Bezugnahme auf 5 und 2 kann das Verfahren nochmals verdeutlicht werden. Im Fall der 5 wird die schwächer ausgebildete Punktewolke 22' trotzdem als die relevante Punktewolke erfasst, gemäß welcher das Symbol 16 innerhalb des Anzeigebereichs 18 darzustellen ist. Die Punktewolke 22' befindet sich nämlich, angenommen, dass die Darstellung korrespondierend zu der Anordnung des Bedienfelds 12 innerhalb des Fahrzeugs dargestellt ist, in Fahrzeuglängsrichtung weiter von der Vorderseite 28 des Bedienfelds 12 entfernt als die Punktewolke 24'. Sollte die Hand 14 zusätzlich noch beispielsweise von links aus an das Bedienfeld 12 angenähert werden, kann sich die schwächer detektierte Punktewolke 22' beispielsweise auch noch rechts von der stärker detektierten Punktewolke 24' befinden. Es kann also ausgehend von der im Wesentlichen immer gleichen Physiologie einer Hand - die Finger sind an der oberen Vorderseite bzw. Außenseite der Hand angeordnet - immer der führende Finger, im vorliegenden Fall der Zeigefinger 20, erkannt werden. Sobald nämlich zwei oder mehrere Annäherungsbereiche erkannt werden, wird immer derjenige detektierte Bereich 22 bzw. 22' dem führenden Finger zugeordnet, welcher am weitesten von einem vorgegebenen Punkt des Bedienfelds 12 entfernt ist. Mit dieser einfachen Verfahrensweise wird verlässlich der jeweils relevante Bereich eines an ein Bedienfeld 12 herangeführten Fingers markiert und die unter Umständen näher am Bedienfeld 12 befindliche restliche Hand ausgeblendet.With reference to 5 and 2 the process can be clarified once more. In the case of 5 becomes the weaker point cloud 22 ' nevertheless, as the relevant point cloud, according to which the symbol 16 within the display area 18 is to represent. The point cloud 22 ' namely, assuming that the representation corresponds to the arrangement of the control panel 12 is shown inside the vehicle, in the vehicle longitudinal direction further from the front 28 of the control panel 12 removed as the point cloud 24 ' , Should be the hand 14 additionally, for example, from the left to the control panel 12 can be approximated, the weaker detected cloud point 22 ' for example also to the right of the more strongly detected point cloud 24 ' are located. Thus, starting from the essentially identical physiology of one hand - the fingers are arranged on the upper front side or outside of the hand - it is always the leading finger, in the present case the index finger 20 , be recognized. Namely, as soon as two or more approach areas are detected, that area will always be detected 22 respectively. 22 ' associated with the leading finger, which furthest from a given point of the control panel 12 is removed. With this simple procedure, the relevant area of a control panel is reliably measured 12 zoomed finger marked and may be closer to the control panel 12 remaining hand hidden.

In 7 ist die Positionierung des Symbols 16 auf dem Anzeigebereich 18 dargestellt, wobei die Positionierung unter Berücksichtigung der ermittelten Position des von dem vorgegebenen Punkt des Bedienfelds 12 am weitesten entfernt angeordneten Bereichs der Hand 14 erfolgt ist. Wie zu erkennen, wird auch für den in 4 dargestellten Fall eine korrekte Positionserfassung der Fingerkuppe des Zeigefingers 20 und entsprechend auch eine korrekte, damit korrespondierende Positionierung des Symbols 16 innerhalb des Anzeigebereichs 18 ermöglicht. Mit Hilfe des erläuterten Verfahrens kann also der führende Finger, mittels welchem eine Bedienung des Bedienfelds 12 erfolgen soll, bei einer Annäherung an das Bedienfeld 12 auf einfache Weise erfolgen, wobei gleichzeitig eine korrekte und korrespondierend mit der erfassten Position des führenden Fingers Anordnung bzw. Anzeige des Symbols 16 erfolgen kann. Dies ist insbesondere bei der Eingabe von komplexen Schriftzeichen hilfreich, da der Nutzer noch vor einer Berührung des Bedienfels 12 die Position seines Fingers korrigieren und an der richtigen Stelle ansetzen kann, um entsprechend komplexe Schriftzeichen auf dem Bedienfeld 12 zeichnen zu können.In 7 is the positioning of the symbol 16 on the display area 18 illustrated, wherein the positioning in consideration of the determined position of the predetermined point of the control panel 12 farthest area of the hand 14 is done. As you can see, also for the in 4 shown case a correct position detection of the fingertip of the index finger 20 and correspondingly also a correct, thus corresponding positioning of the symbol 16 within the display area 18 allows. With the help of the explained method, therefore, the leading finger, by means of which an operation of the control panel 12 should take place when approaching the control panel 12 done in a simple manner, at the same time a correct and corresponding to the detected position of the leading finger arrangement or display of the symbol 16 can be done. This is particularly helpful when entering complex characters, as the user before touching the Bedienfels 12 correct the position of his finger and put it in the right place to appropriately complex characters on the control panel 12 to be able to draw.

Claims

Method for operating a control system (10) of a motor vehicle, comprising the steps of: - detecting a positioning of a hand (14) relative to a control panel (12) of the operating system (10) as soon as it is moved into a detection area of the control panel (12), wherein the control panel (12) is a touchpad or touchscreen; - displaying a symbol (16) on a control panel (12) associated display area (18) of a display device, taking into account the detected positioning hand (14); characterized in that - the position of the portion of the hand (14) positioned in the detection area of the control panel (12) is determined which is located farthest from a predetermined point of the control panel (12) in a predetermined direction; - The predetermined point in the vehicle longitudinal direction at the front edge (28) of the control panel (12) is located; - Is the predetermined point when using the operating system (10) in a trained as a left-hand drive vehicles in the vehicle transverse direction on the left edge of the control panel (12); - Is the predetermined point when using the operating system (10) in a designed as a right-hand drive vehicles in the vehicle transverse direction on the right edge of the control panel (12); - The positioning of the symbol (16) on the display area (18) taking into account the determined position of the remote from the predetermined point of the control panel (12) located furthest region of the hand (14).

Method according to Claim 1 characterized in that a partial surface of the control panel (12) is selected in which the area of the hand (14) furthest from the predetermined point lies in the predetermined direction, whereby the hand (14) is used to determine the position of this area. the coordinate of the centroid of the surface is determined.

Method according to Claim 2 , characterized in that the partial surface is selected only if the lying in the partial surface area of the hand (14) has a predetermined minimum size.

Method according to Claim 2 or 3 , characterized in that the partial surface has a predetermined area, in particular in the order of magnitude of an average bearing surface of a bottom of a fingertip.

A motor vehicle with an operating system (10), comprising: - a control panel (12) which is designed to detect a positioning of a hand (14) relative to the control panel (12) as soon as it is moved into a detection area of the control panel (12) ; - a display device which is adapted to display a symbol on a control panel (12) associated display area (18) taking into account the detected positioning of the hand (14); characterized in that - the control panel (12) is adapted to determine the position of the portion of the hand (14) positioned in the detection area of the control panel (12) which is farthest from a predetermined point of the control panel (12) in a predetermined direction, wherein the control panel (12) is a touchpad or touchscreen; - The predetermined point in the vehicle longitudinal direction at the front edge (28) of the control panel (12) is located; - Is the predetermined point when using the operating system (10) in a trained as a left-hand drive vehicles in the vehicle transverse direction on the left edge of the control panel (12); - Is the predetermined point when using the operating system (10) in a designed as a right-hand drive vehicles in the vehicle transverse direction on the right edge of the control panel (12); - The display device is adapted to display the icon on the display area (18) taking into account the determined position of the remote from the predetermined point of the control panel (12) located furthest region of the hand (14).