DE102013226209A1 - Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method - Google Patents

Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method Download PDF

Info

Publication number
DE102013226209A1
DE102013226209A1 DE102013226209.4A DE102013226209A DE102013226209A1 DE 102013226209 A1 DE102013226209 A1 DE 102013226209A1 DE 102013226209 A DE102013226209 A DE 102013226209A DE 102013226209 A1 DE102013226209 A1 DE 102013226209A1
Authority
DE
Germany
Prior art keywords
functional modules
gestures
electrical
electronic functional
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102013226209.4A
Other languages
German (de)
Inventor
Joska Kulcsar
Manfred Rohlfing
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Mirrors Holding GmbH
Original Assignee
Magna Mirrors Holding GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna Mirrors Holding GmbH filed Critical Magna Mirrors Holding GmbH
Priority to DE102013226209.4A priority Critical patent/DE102013226209A1/en
Publication of DE102013226209A1 publication Critical patent/DE102013226209A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/04—Arrangement of fittings on dashboard
    • B60K37/06—Arrangement of fittings on dashboard of controls, e.g. controls knobs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10—Input devices or features thereof
    • B60K2370/12—Input devices or input features
    • B60K2370/146—Input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15—Output devices or features thereof
    • B60K2370/155—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/33—Illumination features
    • B60K2370/334—Projection means

Abstract

Die Erfindung betrifft ein Verfahren zur berührungslosen Bedienung einer Anzahl elektrischer und/oder elektronischer Funktionsmodule in Kraftfahrzeugen, welches die Schritte a.) Anzeigen eines Bildes eines Funktionsmoduls mit einer Anzahl zugeordneter Bedienelemente auf einer Projektionsfläche im vorderen/mittleren Sichtbereich des Benutzers im Innenraums des Kraftfahrzeugs; b. berührungsloses Erfassen einer Gestik eines Objektes, insbesondere einer Hand; c. Auswerten und interpretieren der erfassten Gesten in einer Auswerte-. und Steuereinheit; d. Umwandeln der erfassten Gesten in Bilddaten und Anzeigen der erfassten Gesten auf der Projektionsfläche; e. Umwandeln der erfassten Gesten in Steuersignale zur Ansteuerung von den Bedienelementen zugeordneten Funktionen. Durch dieses Verfahren ist eine flexible, virtuelle und intuitive Bedienung einer Vielzahl von Funktionsmodulen und diesen zugeordneten Funktionen eines Kraftfahrzeugs möglich. Hierbei kann der Benutzer die Bedienung einfach und komfortabel vornehmen. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for the contactless operation of a number of electrical and / or electronic functional modules in motor vehicles, comprising the steps of a.) Displaying an image of a functional module with a number of associated control elements on a projection surface in the front / middle viewing area of the user in the interior of the motor vehicle; b. contactless detection of a gesture of an object, in particular a hand; c. Evaluate and interpret the recorded gestures in an evaluation. and control unit; d. Converting the detected gestures into image data and displaying the detected gestures on the screen; e. Converting the detected gestures into control signals for driving functions associated with the controls. By this method, a flexible, virtual and intuitive operation of a variety of functional modules and associated functions of a motor vehicle is possible. Here, the user can make the operation easy and comfortable. Furthermore, the invention relates to a device for carrying out the method.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur berührungslosen Erfassung von Gesten und Bedienung von elektrischen und/oder elektronischen Funktionseinheiten in Kraftfahrzeugen, sowie eine Vorrichtung zur Durchführung des Verfahrens.The present invention relates to a method for the contactless detection of gestures and operation of electrical and / or electronic functional units in motor vehicles, as well as a device for carrying out the method.

In der Instrumententafel, der Mittelkonsole oder auch weiteren Innenausstattungsteilen von Kraftfahrzeugen sind eine Vielzahl von Funktionsmodule integriert angeordnet. Diese Funktionsmodule umfassen beispielsweise ein Unterhaltungselektronikmodul, ein Kommunikationsmodul, ein Heizungsmodul, ein Lüftungs- und/oder Klimatisierungsmodul, ein Navigationsmodul etc.. Die Bedienung dieser Funktionsmodule erfolgt dabei üblicherweise über Bedienelemente wie Schalter oder Steuerelemente wie Tasten, Dreh und Druckschalter oder auch berührungsempfindliche Anzeigeeinheiten (Touchscreen). Durch eine entsprechende Bedienung der Bedienelemente werden dann den Funktionsmodulen zugeordnete Funktionen entsprechend eingestellt bzw. verstellt, verändert. Dem Lüftungsmodul zugeordnete Funktionen sind z.B. Luftzufuhr Menge, Richtung der Luftzufuhr.In the dashboard, the center console or other interior trim parts of motor vehicles, a variety of function modules are integrated. These functional modules include, for example, a consumer electronics module, a communication module, a heating module, a ventilation and / or air conditioning module, a navigation module, etc. The operation of these functional modules is usually carried out via controls such as switches or controls such as buttons, rotary and push switch or touch-sensitive display units ( touchscreen). By an appropriate operation of the controls then the function modules associated functions are adjusted accordingly adjusted or changed. Functions associated with the ventilation module are e.g. Air supply amount, direction of air supply.

Um alle den Funktionsmodulen zugeordnete Funktionen in dem Fahrzeuginnenraum realisieren zu können, müssen hierbei eine Vielzahl von den vorgenannten Bedienelementen wie Schalter, Taster und dergleichen in der Reichweite für den Fahrzeugnutzer angeordnet werden. Mit den bekannten Bedienelementen bzw. Bedienoberflächen stellt sich das Problem, dass wegen einer fehlenden Rückkopplung der Statusänderung einer Bedieneingabe die Aufmerksamkeit des Fahrzeugnutzers besonders auf den Bedienvorgang gelenkt wird. Eine weitere Schwierigkeit für den Fahrzeugnutzer besteht weiterhin darin, dass die Bedienung der Bedienelemente nicht immer intuitiv ist und für den Fahrzeugnutzer bei einem Fahrzeugwechsel immer neu erlernt werden. Falls der Bediener das Kraftfahrzeug während der Fahrt nutzt, muss er seine Blicke in den Innenraum nach vorne oder unten auf die Instrumententafel oder beispielsweise die Mittelkonsole richten. Weitere Bedienelemente können auch in einer sogenannten Overheadkonsole angeordnet sein. Eine Bedienung der Bedienelemente während der Fahrt ist daher nur schwer oder gar nicht möglich und stellt eine Ablenkung des Fahrers dar. Aufgrund der Vielzahl der mittlerweile im Innenraum der Kraftfahrzeuge angeordneten Funktionsmodule und deren zugeordneter Bedienelemente, die alle in Reichweite des Benutzers angeordnet sein müssen, wird die Ausgestaltung des Mittelbereichs im Kraftfahrzeug unübersichtlich und aus ästhetischen Gesichtspunkten wenig ansprechend. Die Ausgestaltung des Innenraums nicht nur in funktioneller Hinsicht, sondern auch unter ästhetischen Gesichtspunkten ist allerdings ein wichtiger Aspekt.In order to realize all the function modules associated functions in the vehicle interior, a variety of the aforementioned controls such as switches, buttons and the like must be arranged within reach for the vehicle user in this case. With the known controls or user interfaces, the problem arises that because of a lack of feedback of the status change an operator input, the attention of the vehicle user is particularly directed to the operation. Another difficulty for the vehicle user persists in the fact that the operation of the controls is not always intuitive and are always re-learned for the vehicle user in a vehicle change. If the operator is using the motor vehicle while driving, he must direct his gaze into the interior space forward or down on the instrument panel or, for example, the center console. Other controls can also be arranged in a so-called overhead console. An operation of the controls while driving is therefore difficult or impossible and represents a distraction of the driver. Due to the large number of now arranged in the interior of the motor vehicle functional modules and their associated controls that must be arranged all within reach of the user is the design of the central region in the motor vehicle confusing and aesthetically unappealing. The design of the interior not only in functional terms, but also from an aesthetic point of view is an important aspect.

Weiterhin bekannt sind Verfahren zur Bedienung bzw. Steuerung von Funktionsmodulen, wobei mittels eines Sensors eine Gestik eines Objektes aufgenommen und interpretiert wird und die interpretierte Gestik in Steuersignale zur Steuerung der Geräteeinheit umgesetzt wird.Also known are methods for operating or controlling functional modules, wherein a gesture of an object is recorded and interpreted by means of a sensor and the interpreted gesture is converted into control signals for controlling the device unit.

Aufgabe der vorliegenden Erfindung unter einem ersten Aspekt ist es ein Verfahren zur berührungslosen Erfassung von Gesten und Bedienung sowie Ansteuerung von elektrischen und/oder elektronischen Funktionsmodulen bereitzustellen, wobei die Bedienung für einen Fahrzeugnutzer insbesondere flexibel, virtuell und intuitiv handhabbar ist.The object of the present invention in a first aspect is to provide a method for the contactless detection of gestures and operation as well as control of electrical and / or electronic functional modules, wherein the operation for a vehicle user is particularly flexible, virtual and intuitive to handle.

Aufgabe der Erfindung unter einem weiteren Aspekt ist es eine Vorrichtung zur Durchführung des Verfahrens bereitzustellen.The object of the invention in a further aspect is to provide an apparatus for carrying out the method.

Die Aufgabe unter einem ersten Aspekt wird durch die im Anspruch 1 angegebenen Merkmale gelöst.The object in a first aspect is achieved by the features specified in claim 1.

Durch die im Anspruch 1 angegebenen Merkmale des Verfahrens zur berührungslosen Erfassung von Gesten, berührungslosen Bedienung und Steuerung von elektrischen und/oder elektronischen Funktionsmodulen ist eine flexible, virtuelle und intuitive Bedienung einer Vielzahl von Funktionsmodulen und diesen zugeordneten Funktionen möglich. Hierbei kann der Benutzer die Bedienung einfach und komfortabel vornehmen. By the specified in claim 1 features of the method for non-contact detection of gestures, non-contact operation and control of electrical and / or electronic function modules flexible, virtual and intuitive operation of a variety of function modules and these associated functions is possible. Here, the user can make the operation easy and comfortable.

Die Anzeige- und Bedieneinheit umfasst dabei eine bildgebende Einheit, eine Optikeinheit und eine Projektionsfläche, vorzugsweise als sogenanntes Head-up-Display ausgeführt. Hierbei ist die zentrale Anzeige aller Funktionsmodule sowie der entsprechend zugeordneten Bedienelemente von dem Benutzer leicht einsehbar, ohne dass er seinen Blick von dem Verkehrsgeschehen abwenden muss. Die zur Bedienung und Erfassung aller relevanten Funktionsmodule bzw. Funktionen erforderlichen Informationen werden somit in das Haupt Sichtfeld des Benutzers projiziert, so dass die Blickrichtung des Benutzers nicht nach unten oder in den mittleren Bereich des Innenraums geändert werden muss.The display and operating unit comprises an imaging unit, an optical unit and a projection surface, preferably designed as a so-called head-up display. Here, the central display of all functional modules and the correspondingly assigned controls by the user easily visible, without having to turn his gaze from the traffic. The information required for operation and detection of all relevant functional modules or functions are thus projected into the main field of vision of the user, so that the viewing direction of the user does not have to be changed downwards or into the middle region of the interior.

Durch eine Überlagerung der Gestik des erfassten Objektes als dreidimensionale, transparente Darstellung, wird die projizierte dreidimensionale Darstellung des Funktionsmoduls sowie der Bedienelemente optisch für den Benutzer nicht verdeckt. Hierdurch ist eine einfachere Auswahl und Bedienung der Bedienelemente möglich.By superimposing the gestures of the detected object as a three-dimensional, transparent representation, the projected three-dimensional representation of the functional module and the operating elements is not visually obscured for the user. As a result, a simpler selection and operation of the controls is possible.

Die Aufgabe unter einem weiteren Aspekt wird durch die im Anspruch 6 angegebenen Merkmale gelöst. The object in a further aspect is achieved by the features specified in claim 6.

Durch die im Anspruch 6 angegebenen Merkmale der erfindungsgemäßen Vorrichtung zur Durchführung des Verfahrens zur berührungslosen Bedienung und Steuerung von elektrischen und/oder elektronischen Funktionsmodulen, kann auf eine Anordnung einer Vielzahl von den Funktionsmodulen zugeordneten Bedienelementen wie Schalter, Taster, Drehknöpfe etc. verzichtet werden. Hierdurch kann der Bereich der Mittelkonsole bzw. der mittlere Bereich der Instrumententafel frei gestaltet werden. Der Konstruktionsaufwand sowie der Designaufwand, der für die Anordnung der Vielzahl von Bedienelementen im Innenraum des Kraftfahrzeugs erforderlich ist, kann reduziert werden.Due to the specified in claim 6 features of the device according to the invention for carrying out the method for non-contact operation and control of electrical and / or electronic function modules, can be dispensed with an arrangement of a plurality of the function modules associated controls such as switches, buttons, knobs. As a result, the area of the center console or the central area of the instrument panel can be designed freely. The design effort and the design effort required for the arrangement of the plurality of controls in the interior of the motor vehicle can be reduced.

Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der erfindungsgemäßen Rückspiegelanordnung ergeben sich aus den Unteransprüchen.Further advantageous embodiments and further developments of the rearview mirror assembly according to the invention will become apparent from the dependent claims.

Bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens und der Vorrichtung werden nachfolgend beispielhaft anhand der Zeichnung beschrieben.Preferred embodiments of the method and the device according to the invention are described below by way of example with reference to the drawing.

Es zeigt:It shows:

1 eine Vorrichtung zur berührungslosen Erfassung, Bedienung und Steuerung von elektrischen und/oder elektronischen Funktionsmodulen im Kraftfahrzeug. 1 a device for non-contact detection, operation and control of electrical and / or electronic functional modules in the motor vehicle.

1 zeigt einen Ausschnitt aus dem fahrerseitigen vorderen Innenraum 1 eines Kraftfahrzeugs mit eingebauter erfindungsgemäßer Vorrichtung, die im Wesentlichen eine zentrale Anzeige- und Bedieneinheit 2, eine Steuer- und Auswerteeinheit (zeichnerisch nicht dargestellt) sowie eine Sensoreinheit 3 umfasst. 1 shows a section of the driver-side front interior 1 a motor vehicle with built-in device according to the invention, which is essentially a central display and control unit 2 , a control and evaluation unit (not shown in the drawing) and a sensor unit 3 includes.

Aus der Ansicht des Innenraums 1 des Kraftfahrzeugs ist zu erkennen, dass ein Benutzer 4 die Vorrichtung bedient. Die zentrale Anzeige- und Bedieneinheit 2 umfasst eine Anzeige 5, die derart angeordnet ist, dass sie vom Benutzer 4 leicht eingesehen werden kann. Hierfür ist die Anzeige 5 vorzugsweise als Projektionsanzeige (Projektionsfläche) ausgeführt. Die Projektionsanzeige 5 kann dabei als sogenanntes Head-up-Display (Frontsichtdisplay) oder Innendisplay ausgestaltet sein und ist zur Anzeige von einem oder von mehreren in einem Kraftfahrzeug integriert angeordneten Funktionsmodulen vorgesehen. Die Projektionsfläche 6 des Head-up-Displays wird dabei durch einen Bereich der Frontscheibe 7 realisiert. Ausgehend von der Steuer- und Auswerteeinheit wird auf der Anzeige- und Bedieneinheit 2 ein dreidimensionales Bild der Funktionsmodule F und der zugeordneten Bedienelemente B auf die Projektionsfläche 6 projiziert. Ausgehend von beispielsweise einer ersten virtuellen Bedienoberfläche kann ein Benutzer 4 zunächst ein zu bedienendes Funktionsmodul F auswählen. Eine derartige erste Auswahloberfläche ist nicht dargestellt. Die Bedienung und Auswahl der Funktionsmodule F erfolgt wie nachfolgend beschrieben über eine Gestensteuerung. In einer weiteren Ausgestaltung kann die Auswahl der zu bedienenden Funktionsmodule auch sprachgesteuert erfolgen. From the view of the interior 1 of the motor vehicle can be seen that a user 4 operated the device. The central display and control unit 2 includes an ad 5 which is arranged to be used by the user 4 can be easily viewed. This is the ad 5 preferably as a projection display (projection) executed. The projection display 5 can be designed as a so-called head-up display (front view display) or interior display and is provided for displaying one or more integrated in a motor vehicle arranged functional modules. The projection screen 6 of the head-up display is thereby through an area of the windscreen 7 realized. Starting from the control and evaluation unit is on the display and control unit 2 a three-dimensional image of the function modules F and the associated controls B on the screen 6 projected. Starting from, for example, a first virtual user interface, a user can 4 first select a function module F to be operated. Such a first selection surface is not shown. The operation and selection of the function modules F takes place as described below via a gesture control. In a further embodiment, the selection of the functional modules to be operated can also be voice-controlled.

Nachdem der Benutzer 4 in einem ersten Schritt ein zu bedienendes Funktionsmodul F ausgewählt hat, wird auf die Projektionsfläche 6 im Frontscheibenbereich ein dreidimensionales Bild des ausgewählten Funktionsmoduls F mit zugeordneten Bedienelementen B projiziert. Die berührungslose Bedienung der Bedienelemente B erfolgt nun über eine Handgestik, die mittels der Sensoreinheit 3 erfasst und an die Steuer- und Auswerteeinheit weitergeleitet und dort zu Steuersignalen zur Ansteuerung der entsprechenden zugeordneten Funktionen weiterverarbeitet und umgewandelt werden.After the user 4 in a first step, a functional module F to be operated has been selected, is placed on the projection surface 6 a three-dimensional image of the selected function module F projected with associated controls B in the windshield area. The non-contact operation of the controls B now takes place via a hand gesture, by means of the sensor unit 3 be detected and forwarded to the control and evaluation and processed there to control signals for controlling the corresponding assigned functions and converted.

Die Sensoreinheit 3 ist eine optische Sensoreinheit und umfasst einen Gestensensor. Derartige Sensoren sind bekannt. Hierbei kann beispielsweise ein Gestensensor der Firma Leapmotion verwendet werden. Der Gestensensor ist vorzugsweise in der Overheadkonsole O im vorderen Dachhimmelbereich angeordnet und scannt die Hand H mit allen fünf Fingern des Benutzers 4 im Bereich der Mittelkonsole. Dieser Bereich ist durch das gestrichelte Oval angedeutet. Hierbei muss sich die Hand H idealerweise in diesem Bereich befinden, wobei alle Finger gescannt werden. Die gescannte Hand H bzw. die Finger und die die mittels der Hand bzw. der Finger geführten Gesten und Bewegungen werden an eine Auswerte- und Steuereinheit übermittelt und dort in Steuersignale zur Ansteuerung der entsprechenden Funktionen der Funktionsmodule F umgewandelt. Des Weiteren werden die von der Sensoreinheit 3 gescannten Daten der Gesten in der Auswerte- und Steuereinheit in entsprechende Bilddaten umgewandelt und an die Anzeige- und Bedieneinheit 2 übermittelt. In der Anzeige- und Bedieneinheit 2 wird aus den ermittelten/umgewandelten Daten ein dreidimensionales Bild der Hand bzw. der Finger in Echtzeit angezeigt. Diese projizierte Hand wird in der Figur mit H‘ bezeichnet. Hierbei wird, wie es weiterhin aus der 1 zu erkennen ist, das Bild und die Gesten der Hand H‘ der dreidimensionalen Projektion des Funktionsmoduls F mit Bedienelementen überlagert. The sensor unit 3 is an optical sensor unit and includes a gesture sensor. Such sensors are known. In this case, for example, a gesture sensor from Leapmotion can be used. The gesture sensor is preferably located in the overhead console O in the front headliner area and scans the hand H with all five fingers of the user 4 in the area of the center console. This area is indicated by the dashed oval. Ideally, the hand H must be in this area, with all fingers scanned. The scanned hand H or the fingers and the gestures and movements guided by the hand or the fingers are transmitted to an evaluation and control unit where they are converted into control signals for controlling the corresponding functions of the function modules F. Furthermore, those of the sensor unit 3 scanned data of the gestures in the evaluation and control unit converted into corresponding image data and to the display and control unit 2 transmitted. In the display and control unit 2 From the obtained / converted data, a three-dimensional image of the hand or the fingers is displayed in real time. This projected hand is designated H 'in the figure. Here, as it continues from the 1 can be seen, the image and the gestures of the hand H 'of the three-dimensional projection of the functional module F overlaid with controls.

Hierdurch können die Funktionsmodule virtuell bedient werden. Wie bereits oben stehend erläutert kann der Benutzer 4 ausgehend von einem übergeordnet angezeigten Bedienmenü virtuell zunächst ein zu bedienendes Funktionsmodul auswählen. Nach der entsprechenden Auswahl durch virtuelles Bedienen wird dem Benutzer 4 in der Anzeige und Bedieneinheit 2 ein entsprechender Bedienscreen des ausgewählten Funktionsmoduls F angezeigt. Bei der Auswahl des Funktionsmoduls Radiomodul erhält der Benutzer eine entsprechend virtuell dargestellte dreidimensionale Oberfläche eines Radios angezeigt. Hierbei kann die projizierte Darstellung Taster, Schalter, Drehknöpfe etc. umfassen. Über entsprechende Handgesten und Bewegungen, die der Benutzer in Echtzeit und dreidimensional auf der Anzeige und Bedieneinheit angezeigt bekommt, werden entsprechende Funktionen, die den Bedienelementen zugeordnet sind, durch virtuelles Betätigen der Bedienelemente z.B. eines Tasters, Schalters, Drehknopfes etc. erzielt. Funktionen des Funktionsmoduls Radiomodul können beispielsweise Lautstärke, Senderauswahl etc. sein. This allows the function modules to be operated virtually. As already explained above, the user can 4 starting from a higher-level operating menu, you can virtually select a function module to be operated. After the appropriate selection by virtue of virtual operation is the user 4 in the display and operating unit 2 a corresponding operating screen of the selected function module F is displayed. When selecting the radio module function module, the user is presented with a correspondingly virtual three-dimensional surface of a radio. Here, the projected representation buttons, switches, knobs, etc. include. About appropriate hand gestures and movements, which gets the user in real time and three-dimensional displayed on the display and control unit, corresponding functions that are assigned to the controls, achieved by virtual actuation of the controls such as a button, switch, knob, etc. Functions of the radio module function module can be, for example, volume, station selection, etc.

Claims (9)

Verfahren zur berührungslosen Bedienung einer Anzahl elektrischer und/oder elektronischer Funktionsmodule (6) in Kraftfahrzeugen, welches die nachfolgenden Schritte umfasst: a. Anzeigen eines Bildes eines Funktionsmoduls mit einer Anzahl zugeordneter Bedienelemente (B) auf einer Projektionsfläche (6) im vorderen/mittleren Sichtbereich eines Benutzers (4) im Innenraums (1) des Kraftfahrzeugs; b. berührungsloses Erfassen einer Gestik eines Objektes, insbesondere einer Hand (H); c. Auswerten und interpretieren der erfassten Gesten in einer Auswerte-. und Steuereinheit; d. Umwandeln der erfassten Gesten in Bilddaten und Anzeigen der erfassten Gesten auf der Projektionsfläche (6); e. Umwandeln der erfassten Gesten in Steuersignale zur Ansteuerung von den Bedienelementen zugeordneten Funktionen.Method for the contactless operation of a number of electrical and / or electronic function modules ( 6 ) in motor vehicles, comprising the following steps: a. Display an image of a function module with a number of associated controls (B) on a screen ( 6 ) in the front / middle field of view of a user ( 4 ) in the interior ( 1 ) of the motor vehicle; b. contactless detection of a gesture of an object, in particular a hand (H); c. Evaluate and interpret the recorded gestures in an evaluation. and control unit; d. Convert the captured gestures into image data and display the captured gestures on the screen ( 6 ); e. Converting the detected gestures into control signals for driving functions associated with the controls. Verfahren zur berührungslosen Bedienung einer Anzahl elektrischer und/oder elektronischer Funktionsmodule (F) nach Anspruch 1, wobei die Bedienung einer Vielzahl von Funktionsmodulen (F) vorgesehen ist und in einem dem Schritt a) vorgeschalteten Schritt auf der Projektionsfläche (6) Bedienelemente zur Auswahl der Funktionsmodule (F) dargestellt werden, und durch Auswahl und virtuelles Bedienen des Bedienelementes über eine erfasste und interpretierte Handgestik eine dem Bedienelement zugeordnete Anzeige eines dreidimensionalen Bildes des ausgewählten Funktionsmoduls auf der Projektionsfläche (6) erfolgt.Method for the contactless operation of a number of electrical and / or electronic functional modules (F) according to claim 1, wherein the operation of a plurality of functional modules (F) is provided and in a step preceding the step a) on the projection surface ( 6 ) Control elements for selecting the function modules (F) are displayed, and by selecting and virtually operating the control element via a detected and interpreted hand gesture an associated with the control display of a three-dimensional image of the selected function module on the projection screen ( 6 ) he follows. Verfahren zur berührungslosen Bedienung einer Anzahl elektrischer und/oder elektronischer Funktionsmodule nach Anspruch 2, wobei die Bedienung einer Vielzahl von Funktionsmodulen vorgesehen ist und in einem dem Schritt a) vorgeschalteten Schritt eine Auswahl eines zu bedienenden Funktionsmoduls über eine Sprachsteuerung erfolgt.Method for contactless operation of a number of electrical and / or electronic functional modules according to claim 2, wherein the operation of a plurality of functional modules is provided and in a step preceding the step a) selection of a functional module to be operated via a voice control. Verfahren zur berührungslosen Bedienung einer Anzahl elektrischer und/oder elektronischer Funktionsmodule nach einem der vorangehenden Ansprüche, wobei das Funktionsmodul (F) und die zugeordneten Bedienelemente (B), die vorzugsweise Schalter, Taster, Drehknöpfe sind, als dreidimensionales Bild auf die Projektionsfläche (6) projiziert werden.Method for the contactless operation of a number of electrical and / or electronic functional modules according to one of the preceding claims, wherein the functional module (F) and the associated operating elements (B), which are preferably switches, buttons, rotary knobs, as a three-dimensional image on the projection surface ( 6 ) are projected. Verfahren zur berührungslosen Bedienung einer Anzahl elektrischer und/oder elektronischer Funktionsmodule nach einem der vorangehenden Ansprüche, wobei die in Schritt d) erfassten Gesten als dreidimensionale Projektion und in Echtzeit auf der Projektionsfläche (6) in einer transparenten Darstellung abgebildet und dem projizierten Funktionsmodul überlagert dargestellt werden.Method for contactless operation of a number of electrical and / or electronic functional modules according to one of the preceding claims, wherein the gestures detected in step d) are displayed as a three-dimensional projection and in real time on the projection surface ( 6 ) are displayed in a transparent representation and displayed superimposed on the projected function module. Vorrichtung zur Durchführung des Verfahrens nach zumindest einem der Ansprüche 1–5, wobei die Vorrichtung eine virtuelle Anzeige- und Bedieneinheit (2) umfasst, und eine Projektionsfläche (6) im vorderen, mittleren Sichtbereich des Benutzers im Innenraum (1) des Kraftfahrzeugs aufweist, und wobei eine optische Sensoreinheit (3) zur Aufnahme einer Gestik eines Objektes, insbesondere einer Hand (H) vorgesehen ist, und wobei die Anordnung weiterhin eine Auswerte- und Steuereinheit zur Interpretation der aufgenommenen Gesten umfasst, und die Auswerte- und Steuereinheit derart ausgebildet ist, dass die aufgenommenen Gesten in Steuersignale zur Steuerung eines Funktionsmoduls (F) und in Bilddaten zur Projektion der aufgenommenen Gesten auf der Projektionsfläche (6) umwandelbar sind.Device for carrying out the method according to at least one of claims 1-5, wherein the device has a virtual display and operating unit ( 2 ), and a projection surface ( 6 ) in the front, middle viewing area of the user in the interior ( 1 ) of the motor vehicle, and wherein an optical sensor unit ( 3 ) is provided for receiving a gesture of an object, in particular a hand (H), and wherein the arrangement further comprises an evaluation and control unit for interpreting the recorded gestures, and the evaluation and control unit is designed such that the recorded gestures in control signals for controlling a function module (F) and in image data for projecting the recorded gestures on the projection surface ( 6 ) are convertible. Vorrichtung zur Bedienung und Steuerung von elektrischen und/oder elektronischen Funktionsmodulen nach Anspruch 6, wobei die Projektionsfläche (6) eine Frontscheibenanzeige ist.Device for operating and controlling electrical and / or electronic functional modules according to claim 6, wherein the projection surface ( 6 ) is a windscreen display. Vorrichtung zur Bedienung und Steuerung von elektrischen und/oder elektronischen Funktionsmodulen nach Anspruch 6, wobei die optische Sensoreinheit (3) ein Gestensensor ist.Device for operating and controlling electrical and / or electronic functional modules according to claim 6, wherein the optical sensor unit ( 3 ) is a gesture sensor. Vorrichtung zur Bedienung und Steuerung von elektrischen und/oder elektronischen Funktionsmodulen nach einem der Ansprüche 6–8, wobei die optische Sensoreinheit (3) in einer Overhead Konsole (O) angeordnet ist.Device for operating and controlling electrical and / or electronic functional modules according to any one of claims 6-8, wherein the optical sensor unit ( 3 ) is arranged in an overhead console (O).
DE102013226209.4A 2013-12-17 2013-12-17 Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method Ceased DE102013226209A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013226209.4A DE102013226209A1 (en) 2013-12-17 2013-12-17 Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013226209.4A DE102013226209A1 (en) 2013-12-17 2013-12-17 Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method

Publications (1)

Publication Number Publication Date
DE102013226209A1 true DE102013226209A1 (en) 2015-06-18

Family

ID=53192411

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013226209.4A Ceased DE102013226209A1 (en) 2013-12-17 2013-12-17 Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method

Country Status (1)

Country Link
DE (1) DE102013226209A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083218A1 (en) * 2016-11-03 2018-05-11 Visteon Global Technologies, Inc. User interface and method for the input and output of information in a vehicle
DE102017219155A1 (en) * 2017-10-25 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Method for triggering the function on any surface
WO2019233508A1 (en) * 2018-06-05 2019-12-12 Bayerische Motoren Werke Aktiengesellschaft User interface, means of locomotion and method for ascertaining a user input
DE102019127674A1 (en) * 2019-10-15 2021-04-15 Audi Ag Contactlessly operated operating device for a motor vehicle
DE102020117352A1 (en) 2020-07-01 2022-01-05 Audi Aktiengesellschaft Distraction-free projection of operating symbols in the vehicle interior

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083218A1 (en) * 2016-11-03 2018-05-11 Visteon Global Technologies, Inc. User interface and method for the input and output of information in a vehicle
DE102017219155A1 (en) * 2017-10-25 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Method for triggering the function on any surface
WO2019233508A1 (en) * 2018-06-05 2019-12-12 Bayerische Motoren Werke Aktiengesellschaft User interface, means of locomotion and method for ascertaining a user input
DE102019127674A1 (en) * 2019-10-15 2021-04-15 Audi Ag Contactlessly operated operating device for a motor vehicle
DE102020117352A1 (en) 2020-07-01 2022-01-05 Audi Aktiengesellschaft Distraction-free projection of operating symbols in the vehicle interior

Similar Documents

Publication Publication Date Title
EP3040245B1 (en) Device and method for supporting a user before operation of a switch for electromotive adjustment of a part of a means of locomotion
EP1798588B1 (en) Operating system for functions in a motor vehicle
DE102008041625B4 (en) Control element for a display device in a means of transport and center console of a motor vehicle and method for operating a control element for a display device and computer program product
EP1998996B1 (en) Interactive operating device and method for operating the interactive operating device
DE102006028046B4 (en) Combined display and operating device for a motor vehicle
EP2576267B1 (en) Display device for a vehicle
EP2059407B1 (en) Method for operating devices of a vehicle, and operating device for such devices
DE102012004793B4 (en) Motor vehicle with an electronic rearview mirror
DE102013226209A1 (en) Method for the contactless detection of gestures and operation of electric and / or electronic functional modules in motor vehicles, as well as a device for carrying out the method
DE102012214017A1 (en) SYSTEM FOR PREVENTING THE RETROSPECT FOR USE WHILE DRIVING A VEHICLE
DE102013014210A1 (en) Motor vehicle with multifunctional display instrument
DE102013021978A1 (en) Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position
EP3418861B1 (en) Method for operating a display device, and a motor vehicle
EP2941685B1 (en) Operating method and operating system in a vehicle
WO2017008868A1 (en) Method and operator control system for operating at least one function in a vehicle
DE102013000069B4 (en) Motor vehicle user interface with a control element for detecting a control action
DE102005056458B4 (en) Operating device for a vehicle
EP3254172A1 (en) Determination of a position of a non-vehicle object in a vehicle
DE102015115362A1 (en) Detecting device for a motor vehicle and motor vehicle
DE102008060363B4 (en) Motor vehicle with an operating system
DE102014014336A1 (en) Operating device for a motor vehicle
DE102012025320B4 (en) Method for controlling an electrical device by detecting and evaluating a non-contact manual operation input of a hand of an operator as well as suitable control device and vehicle
DE102012022803A1 (en) Operating method for use in road vehicle, involves changing graphics data at one input, so that contents of display of current display on one display area is partially identically or schematically superimposed on another display area
DE102020122795A1 (en) Operating functions of a vehicle
DE102013002280A1 (en) Method for operating display device of motor vehicle, involves detecting predeterminable gesture in such way that with this gesture occupant with spread-apart fingers of hand of occupant points to eye of occupant

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final