WO2015062751A1 - Method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior - Google Patents

Method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior Download PDF

Info

Publication number
WO2015062751A1
WO2015062751A1 PCT/EP2014/064748 EP2014064748W WO2015062751A1 WO 2015062751 A1 WO2015062751 A1 WO 2015062751A1 EP 2014064748 W EP2014064748 W EP 2014064748W WO 2015062751 A1 WO2015062751 A1 WO 2015062751A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
hand
detection
controlled
gesture
Prior art date
Application number
PCT/EP2014/064748
Other languages
German (de)
French (fr)
Inventor
Gert-Dieter Tuzar
Frank Schliep
Oliver Kirsch
Original Assignee
Johnson Controls Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johnson Controls Gmbh filed Critical Johnson Controls Gmbh
Publication of WO2015062751A1 publication Critical patent/WO2015062751A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B60Q3/82—Switches specially adapted for vehicle interior lighting, e.g. switching by tilting the lens

Definitions

  • the invention relates to a method for operating a device for the contactless detection of objects and / or persons and gestures and / or operating processes carried out by them in one
  • Consumer electronics such as a mobile phone and Internet applications, and a navigation system.
  • input and output devices are known from the prior art.
  • input and output devices are used which as touch-sensitive display units (touch screens) or
  • Display units with a superior, touch-sensitive input and / or output device are formed.
  • Display units, or input and / or output devices can be designed to be resistive or capacitive.
  • capacitive touch-sensitive display units or capacitively designed touch-sensitive input and / or output devices is also a capacitive Approaching method (also known as "proximity sensing") is possible by means of which, for example, anti-pinch protection of vehicle occupants when closing windows and / or doors and / or in particular a distinction between vehicle occupants, eg between driver and front passenger, can be realized.
  • the object of the present invention is to provide an improved method for operating a device for non-contact detection of
  • the object is achieved with a method for operating a device for contactless detection of objects and / or people and gestures and / or operations performed by them in a vehicle interior, which at least one optical
  • Detection unit comprises. According to the invention, three-dimensional gestures are detected. As a result, complex processes and / or functions of various facilities can be controlled intuitively by spatial gestures.
  • both an object and a person and / or gestures and / or operating processes executed by this person can be detected three-dimensionally by means of the optical detection unit.
  • Vehicle driver detected three-dimensional, which corresponds, for example, a virtual operation of a display unit in the vehicle. This can be the detection of an operation with a gesture, such as For example, a reciprocation of a finger or a
  • a driver or other occupant of a vehicle is confronted with the task of manipulating or controlling devices that are optionally displayed by means of a display device or a graphical display device, in particular by means of a screen.
  • An embodiment of the invention provides that a 3D camera or a 3D scanner is used as a 3D input device, so that a 3D input of the user, in particular its three-dimensional gestures, can be detected particularly reliably.
  • An embodiment of the invention provides that after detecting a first gesture, a device of the vehicle is automatically activated.
  • the first gesture is most preferably a three-dimensional gesture.
  • a further embodiment of the invention provides that a further gesture, in particular also a three-dimensional gesture, is detected and that the device of the vehicle, which has been previously activated in particular, is controlled simultaneously, depending on the detected spatial and / or temporal profile of this gesture.
  • a further embodiment of the invention provides that the activation of the device is visually visualized and / or acoustically acknowledged, in particular on a 2D or on an SD output device. As a result, the risk of incorrect operation is reduced because the respective vehicle occupant receives information about which device can be controlled by another gesture by means of the visualization or the acknowledgment.
  • a further embodiment of the invention provides that, depending on the detected three-dimensional gesture, not only a specific function is activated but, on a 2D or 3D output device, a graphic and / or visual representation of the status of the controlled one corresponding to the detected three-dimensional gesture Device is displayed. Through the with the captured three-dimensional gesture
  • the user receives a
  • Control state of the respective controlled device is currently present.
  • multi-dimensionally adjustable device of the vehicle is controlled multi-dimensionally simultaneously.
  • a multi-dimensionally adjustable device a vehicle rearview mirror, a headrest, a
  • Air conditioning device a number of seating elements, a number of lighting elements or a number of speakers simultaneously controlled.
  • a volume distribution for a number of speakers and / or a light distribution of a number of lights in the vehicle is controlled.
  • Luminaires or other equipment for optical outputs in the vehicle directly and selectively controlled By capturing a three-dimensional gesture is a three-dimensional input for complex spatial, ie Three-dimensional control tasks, for example for "dolby surround" or for complex in-vehicle light distributions, are easily adjustable by controlling brightness and / or light spots and / or ambient lighting and / or light colors
  • two-dimensional input devices such as knobs or buttons, a more complex, namely three-dimensional input is possible, resulting in a more complex three-dimensional control.
  • a further embodiment of the invention provides that upon detection of an approach of a hand, in particular a hand with an object, to a closed compartment, for example to a glove compartment or spectacle compartment, the spectacle compartment is opened automatically, in particular by motor or by spring force, so that a Object, especially a pair of glasses, in the
  • Glove box or spectacle compartment is laid and / or that upon detection of a removal of the hand from the glove box or glasses compartment this
  • a further embodiment of the invention provides that upon detection of an approach of a hand with an object, in particular a hand with a vessel, a retractable element of this vessel receiving device is automatically extended to a vessel receiving device in particular motor or by spring force, so that the object in the
  • Vessel receiving device can be inserted and fixed.
  • a vessel is particularly easy to insert into a vessel receiving device, whereby a driver also less of the leadership of the
  • a further embodiment of the invention provides that upon detection of a rapid approach of an outstretched index finger of a hand in the direction of the device to be controlled of the vehicle, for example in the direction of a vehicle rearview mirror, and a subsequent rapid return of the index finger from the direction to be controlled
  • This activation is particularly preferably represented by an acoustic signal.
  • An embodiment of the invention provides that simultaneously with a spatial movement of a hand, a corresponding spatial
  • Adjustment of a vehicle rearview mirror takes place.
  • records for standardized spatial gestures are stored for devices to be controlled of the vehicle.
  • these data records each comprise at least one corresponding control information for the respective device.
  • the optical detection unit for detecting three-dimensional gestures is preferably designed as a so-called time-of-flight (TOF) camera, which comprises an optical element, at least one optical sensor and corresponding electronics for control and evaluation.
  • TOF time-of-flight
  • the principle of the TOF camera is based on a runtime method for distance measurement. For example, a vehicle interior or part of the vehicle interior is illuminated, with the TOF camera measuring, for each pixel, the time required for the light to reach the object and back to the optical sensor. Preferably, the time required is proportional to the corresponding distance. On the optical sensor, the detected scene, in particular the detected operation, and imaged subsequently evaluated accordingly.
  • the TOF camera is very robust, adaptable and requires no calibration.
  • the at least one optical sensor is particularly preferred as a
  • the optical sensor is preferably integrated in or coupled to the TOF camera.
  • the optical sensor is arranged in the roof console of a vehicle.
  • the optical sensor can also be aligned in an interior console in the direction of the driver or in the dashboard or in a
  • Headrest of a vehicle to be arranged.
  • optical detection unit as a
  • Stereo camera in particular designed as an infrared stereo camera, by means of an operating process is three-dimensional optically detectable.
  • this is controlled, for example by execution of the first gesture and / or by means of a separate switch and / or by acoustic commands, activatable and / or controllable.
  • spatially moving a hand ie detecting a three-dimensional gesture of a hand using the TOF camera, can create a spatial sound distribution of an acoustic sound
  • Output unit to be controlled.
  • a volume, a balance, a fader, a mute and / or other parameters for spatial sound distribution in the vehicle can be controlled in this way.
  • a brightness in the vehicle is dimmed and / or spatially displaced in the vehicle and / or spots, ie individual light sources, or Ambientebeleuchtung controlled in the vehicle, in particular spatially controlled.
  • Detection device approaches associated with this detection device functions can be activated and / or controlled.
  • the opening or closing of a spectacle compartment or the opening or closing of a glove compartment can be activated and / or controlled.
  • the retraction and extension of a vessel receiving device also referred to as a cup holder, can be activated and / or controlled, in particular if it is detected by means of the TOF camera that an approaching hand with an as
  • the invention also allows the continuous control of
  • Vehicle rear-view mirror depending on the detected by means of the TOF camera position of a vehicle occupant, in particular of the driver, possible.
  • FIG. 1 shows schematically a section of a vehicle interior to
  • FIG. 2 shows schematically a section of a vehicle interior to
  • Figures 3a 3b and 3c schematically a section of a vehicle interior to illustrate the principle of operation of a third
  • FIGS. 4a and 4b schematically a section of a vehicle interior to illustrate the operating principle of a fourth
  • Figure 1 shows a hand 1 holding an object 2, with hand 1 and object 2 moving upwards. If a TOF camera, not shown here, detects that the hand 1 and the object 2 are approaching a compartment 3, in particular a glove or spectacle compartment, the compartment 3 is automatically opened. The object 2 is then placed in the tray 3. When the TOF camera detects that the hand 1 moves away from the tray 3, in particular after an object 2 has been placed in or removed from the tray 3, the tray 3 is automatically closed.
  • FIG 2 shows a hand 1, which holds a cup 4, with the hand 1 and cup 4 to move, as is usually done when the cup 4 is to be positioned in a cup holder also called vessel receiving device 5. If the TOF camera, not shown here, detects that hand 1 and cup 4 are approaching the vessel receiving device 5, an extendable element of this vessel receiving device 5 is automatically extended, so that the cup 4 can be inserted and fixed in this element.
  • FIG. 3 a shows a hand 1 whose forefinger points to a specific one
  • Vehicle window 7, namely on the right front door of the vehicle is directed. If the TOF camera, not shown here detects this, a control of this vehicle window 7 is activated, which is represented by an acoustic signal.
  • Figures 3b and 3c show the hand 1 after activation of the control of the vehicle window 7, wherein the hand 1 each performs an upward or downward gesture, which is detected by the TOF camera, not shown here. By these gestures, a closing of the open or an opening of the closed vehicle window 7 is brought about.
  • Vehicle window 7 only partially opened by the lowering of the vehicle window 7 only as long and / or as far down as the lowering gesture of the hand (1) is completed. Likewise, it is possible that in a lifting gesture of the hand (1) the vehicle window 7 is closed only incompletely by the increase of the
  • Vehicle window 7 only as long and / or as far up takes place, as the contrasting gesture of the hand (1) is completed
  • FIG. 4a shows a hand 1 whose index finger is pointing to a right
  • Vehicle rearview mirror 8 of the vehicle is directed. If the TOF camera, not shown here detects that the index finger is quickly guided in the direction of the vehicle rear-view mirror 8 and immediately afterwards quickly out of the direction of the vehicle rear-view mirror 8, a
  • Control for setting this vehicle rearview mirror 8 is activated, which is represented by an acoustic signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior, said detection being carried out by an optical detection unit. According to the invention, a three-dimensional gesture is detected.

Description

Verfahren zum Betreiben einer Vorrichtung zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen in einem  Method for operating a device for non-contact detection of objects and / or persons and of gestures and / or operating processes carried out in one
Fahrzeuginnenraum  Vehicle interior
Beschreibung description
Die Erfindung betrifft ein Verfahren zum Betreiben einer Vorrichtung zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen in einem The invention relates to a method for operating a device for the contactless detection of objects and / or persons and gestures and / or operating processes carried out by them in one
Fahrzeuginnenraum. Vehicle interior.
Es ist allgemein bekannt, dass im Innenraum von Kraftfahrzeugen eine Vielzahl von Funktionen vorhanden ist, welche von Fahrzeuginsassen steuerbar sind. Derartige Funktionen sind eine Klimaanlage, It is well known that in the interior of motor vehicles a variety of functions is present, which are controlled by vehicle occupants. Such functions are air conditioning,
Unterhaltungselektronik, Kommunikationsmittel, wie beispielsweise ein Mobiltelefon und Internetanwendungen, sowie ein Navigationssystem. Consumer electronics, communications such as a mobile phone and Internet applications, and a navigation system.
Zur Steuerung und Anzeige dieser Funktionen sind aus dem Stand der Technik verschiedene Ein- und Ausgabevorrichtungen bekannt. Dabei finden insbesondere Ein- und Ausgabevorrichtungen Verwendung, welche als berührungsempfindliche Anzeigeeinheiten (Touch Screens) oder For controlling and displaying these functions, various input and output devices are known from the prior art. In particular, input and output devices are used which as touch-sensitive display units (touch screens) or
Anzeigeeinheiten mit einer vorgesetzten, berührungsempfindlichen Ein- und/oder Ausgabevorrichtung (Touch Panel) ausgebildet sind. Diese Display units with a superior, touch-sensitive input and / or output device (touch panel) are formed. These
Anzeigeeinheiten, beziehungsweise Ein- und/oder Ausgabevorrichtungen können resistiv oder kapazitiv ausgebildet sein. Display units, or input and / or output devices can be designed to be resistive or capacitive.
Mit kapazitiv ausgebildeten berührungsempfindlichen Anzeigeeinheiten beziehungsweise kapazitiv ausgebildeten berührungsempfindlichen Ein- und/oder Ausgabevorrichtungen ist darüber hinaus ein kapazitives Annäherungsverfahren (auch als„Proximity Sensing" bekannt) möglich, mittels welchem beispielsweise ein Einklemmschutz von Fahrzeuginsassen beim Schließen von Fenstern und/oder Türen und/oder insbesondere eine Unterscheidung von Fahrzeuginsassen, z. B. zwischen Fahrer und Beifahrer, realisierbar ist. With capacitive touch-sensitive display units or capacitively designed touch-sensitive input and / or output devices is also a capacitive Approaching method (also known as "proximity sensing") is possible by means of which, for example, anti-pinch protection of vehicle occupants when closing windows and / or doors and / or in particular a distinction between vehicle occupants, eg between driver and front passenger, can be realized.
Insbesondere die Interaktion des Fahrers mit den zuvor beschriebenen Anzeigeeinheiten wird immer komplexer, wodurch intelligente und/oder intuitive Bedien konzepte wünschenswert sind. In particular, the interaction of the driver with the display units described above is becoming increasingly complex, whereby intelligent and / or intuitive operating concepts are desirable.
Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Verfahren zum Betreiben einer Vorrichtung zur berührungslosen Erfassung von The object of the present invention is to provide an improved method for operating a device for non-contact detection of
Gegenständen und/oder Personen und/oder von diesen ausgeführten Objects and / or persons and / or performed by them
Gesten und/oder Bedienvorgängen in einem Fahrzeuginnenraum Gestures and / or operations in a vehicle interior
anzugeben. specify.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren zum Betreiben einer Vorrichtung zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen in einem Fahrzeuginnenraum gelöst, welche zumindest eine optische The object is achieved with a method for operating a device for contactless detection of objects and / or people and gestures and / or operations performed by them in a vehicle interior, which at least one optical
Erfassungseinheit umfasst. Erfindungsgemäß werden dreidimensionale Gesten erfasst. Dadurch sind komplexe Prozesse und/oder Funktionen diverser Einrichtungen intuitiv durch räumliche Gesten steuerbar. Detection unit comprises. According to the invention, three-dimensional gestures are detected. As a result, complex processes and / or functions of various facilities can be controlled intuitively by spatial gestures.
Vorzugsweise sind mittels der optischen Erfassungseinheit sowohl ein Gegenstand als auch eine Person und/oder von dieser Person ausgeführte Gesten und/oder Bedienvorgänge dreidimensional erfassbar. Beispielsweise wird somit eine Bewegung einer Hand oder eines Fingers eines Preferably, both an object and a person and / or gestures and / or operating processes executed by this person can be detected three-dimensionally by means of the optical detection unit. For example, a movement of a hand or a finger of a
Fahrzeugführers dreidimensional erfasst, welche beispielweise einer virtuellen Betätigung einer Anzeigeeinheit im Fahrzeug entspricht. Dabei kann es sich um die Erfassung eines Bedienvorgangs mit einer Geste, wie beispielsweise ein Hin- und Herbewegen eines Fingers oder eine Vehicle driver detected three-dimensional, which corresponds, for example, a virtual operation of a display unit in the vehicle. This can be the detection of an operation with a gesture, such as For example, a reciprocation of a finger or a
Wischbewegung oder Öffnen der Hand als Zoombewegung, handeln. Swipe or open the hand as a zoom movement, act.
Bei einer Vielzahl von Anwendungen ist ein Fahrer oder ein sonstiger Insasse eines Fahrzeuges mit der Aufgabe konfrontiert, Einrichtungen, welche optional mittels einer Anzeigeeinrichtung oder eines Gerätes zur graphischen Darstellung, insbesondere mittels eines Bildschirmes, angezeigt werden, zu manipulieren oder zu steuern. In a variety of applications, a driver or other occupant of a vehicle is confronted with the task of manipulating or controlling devices that are optionally displayed by means of a display device or a graphical display device, in particular by means of a screen.
Eine Ausgestaltung der Erfindung sieht vor, dass als ein 3D-Eingabegerät eine 3D-Kamera oder ein 3D-Scanner verwendet wird, sodass eine 3D- Eingabe des Benutzers, insbesondere dessen dreidimensionale Gesten, besonders sicher erfassbar sind. An embodiment of the invention provides that a 3D camera or a 3D scanner is used as a 3D input device, so that a 3D input of the user, in particular its three-dimensional gestures, can be detected particularly reliably.
Eine Ausgestaltung der Erfindung sieht vor, dass nach Erfassung einer ersten Geste eine Einrichtung des Fahrzeugs automatisch aktiviert wird. Die erste Geste ist besonders bevorzugt eine dreidimensionale Geste. An embodiment of the invention provides that after detecting a first gesture, a device of the vehicle is automatically activated. The first gesture is most preferably a three-dimensional gesture.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass eine weitere Geste, insbesondere ebenfalls eine dreidimensionale Geste, erfasst wird und dass in Abhängigkeit vom erfassten räumlichen und/oder zeitlichen Verlauf dieser Geste die Einrichtung des Fahrzeugs, die insbesondere zuvor aktiviert wurde, simultan gesteuert wird. A further embodiment of the invention provides that a further gesture, in particular also a three-dimensional gesture, is detected and that the device of the vehicle, which has been previously activated in particular, is controlled simultaneously, depending on the detected spatial and / or temporal profile of this gesture.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass die Aktivierung der Einrichtung optisch, insbesondere auf einem 2D- oder auf einem SD- Ausgabegerät, visualisiert und/oder akustisch quittiert wird. Dadurch wird die Gefahr einer Fehlbedienung reduziert, da der jeweilige Fahrzeuginsasse mittels der Visualisierung bzw. der Quittierung eine Information darüber erhält, welche Einrichtung durch eine weitere Geste zu steuern ist. Eine weitere Ausgestaltung der Erfindung sieht vor, dass je nach erfasster dreidimensionaler Geste nicht nur eine bestimmte Funktion aktiviert wird, sondern auf einem 2D- oder auf einem 3D-Ausgabegerät eine mit der erfassten dreidimensionalen Geste korrespondierende graphische und/oder visuelle Wiedergabe eines Status der gesteuerten Einrichtung dargestellt wird. Durch die mit der erfassten dreidimensionalen Geste A further embodiment of the invention provides that the activation of the device is visually visualized and / or acoustically acknowledged, in particular on a 2D or on an SD output device. As a result, the risk of incorrect operation is reduced because the respective vehicle occupant receives information about which device can be controlled by another gesture by means of the visualization or the acknowledgment. A further embodiment of the invention provides that, depending on the detected three-dimensional gesture, not only a specific function is activated but, on a 2D or 3D output device, a graphic and / or visual representation of the status of the controlled one corresponding to the detected three-dimensional gesture Device is displayed. Through the with the captured three-dimensional gesture
korrespondierende graphische Wiedergabe erhält der Benutzer eine corresponding graphical representation, the user receives a
Rückinformation über den Status der Erfassung seiner dreidimensionalen Geste, also über den Status seiner 3D-Eingabe. Return information about the status of the detection of his three-dimensional gesture, ie about the status of his 3D input.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass auch die A further embodiment of the invention provides that the
anschließende Steuerung der Einrichtung auf dem 2D- oder auf einem SD- Ausgabegerät visualisiert und/oder akustisch quittiert wird. Dadurch erhält der Fahrzeuginsasse eine simultane Information darüber, welcher subsequent control of the device is visualized on the 2D or on an SD output device and / or acoustically acknowledged. This gives the vehicle occupant simultaneous information about which
Steuerungszustand der jeweiligen gesteuerten Einrichtung aktuell vorliegt. Control state of the respective controlled device is currently present.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass eine A further embodiment of the invention provides that a
mehrdimensional einstellbare Einrichtung des Fahrzeugs mehrdimensional simultan gesteuert wird. Bevorzugt wird als mehrdimensional einstellbare Einrichtung ein Fahrzeugrückspiegel, eine Kopfstütze, eine multi-dimensionally adjustable device of the vehicle is controlled multi-dimensionally simultaneously. Preferably, as a multi-dimensionally adjustable device, a vehicle rearview mirror, a headrest, a
Klimatisierungseinrichtung, eine Anzahl von Sitzelementen, eine Anzahl von Beleuchtungselementen oder eine Anzahl von Lautsprechern simultan gesteuert. In Abhängigkeit von einer erfassten dreidimensionalen Geste eines Benutzers, also eines Fahrers, eines Beifahrers oder eines sonstigen Fahrzeuginsassen, wird beispielsweise eine Lautstärkeverteilung für eine Anzahl von Lautsprechern und/oder eine Lichtverteilung einer Anzahl von Leuchten im Fahrzeug gesteuert. Dazu werden jeweils einzelne Lautsprecher oder sonstige Einrichtungen für akustische Ausgaben bzw. einzelne Air conditioning device, a number of seating elements, a number of lighting elements or a number of speakers simultaneously controlled. Depending on a detected three-dimensional gesture of a user, ie a driver, a passenger or another vehicle occupant, for example, a volume distribution for a number of speakers and / or a light distribution of a number of lights in the vehicle is controlled. For this purpose, each individual speakers or other facilities for acoustic outputs or individual
Leuchten oder sonstige Einrichtungen für optische Ausgaben im Fahrzeug direkt und gezielt gesteuert. Dadurch, dass eine dreidimensionale Geste erfasst wird, ist eine dreidimensionale Eingabe für komplexe räumliche, also dreidimensionale Steuerungsaufgaben, beispielsweise für„dolby Surround" oder für komplexe fahrzeuginterne Lichtverteilungen möglich. Derartige komplexe Lichtverteilungen sind durch Steuerung von Helligkeit und/oder Lichtspots und/oder Ambientebeleuchtungen und/oder Lichtfarben einfach einstellbar. Anders als im Stand der Technik, bei dem die Eingabe über zweidimensionale Eingabegeräte wie Drehregler oder Tasten erfolgt, ist damit eine komplexere, nämlich dreidimensionale Eingabe und daraus resultierend eine komplexere dreidimensionale Steuerung möglich. Luminaires or other equipment for optical outputs in the vehicle directly and selectively controlled. By capturing a three-dimensional gesture is a three-dimensional input for complex spatial, ie Three-dimensional control tasks, for example for "dolby surround" or for complex in-vehicle light distributions, are easily adjustable by controlling brightness and / or light spots and / or ambient lighting and / or light colors By means of two-dimensional input devices such as knobs or buttons, a more complex, namely three-dimensional input is possible, resulting in a more complex three-dimensional control.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass bei Detektion einer Annäherung einer Hand, insbesondere einer Hand mit einem Objekt, an ein geschlossenes Fach, beispielsweise an ein Handschuhfach oder Brillenfach das Brillenfach automatisch, insbesondere motorisch oder durch Federkraft, geöffnet wird, so dass ein Objekt, insbesondere eine Brille, in das A further embodiment of the invention provides that upon detection of an approach of a hand, in particular a hand with an object, to a closed compartment, for example to a glove compartment or spectacle compartment, the spectacle compartment is opened automatically, in particular by motor or by spring force, so that a Object, especially a pair of glasses, in the
Handschuhfach bzw. Brillenfach legbar ist und/oder dass bei Detektion eines Entfernens der Hand vom Handschuhfach bzw. Brillenfach dieses Glove box or spectacle compartment is laid and / or that upon detection of a removal of the hand from the glove box or glasses compartment this
automatisch, insbesondere durch Federkraft oder motorisch, geschlossen wird. Dadurch ist ein Handschuh- oder Brillenfach besonders einfach zu bedienen, wodurch ein Fahrzeugführer weniger von der Führung des automatically, in particular by spring force or motor, is closed. As a result, a glove or spectacle compartment is particularly easy to use, which makes a driver less of the leadership of the
Fahrzeugs abgelenkt ist. Vehicle is distracted.
Eine weitere Ausgestaltung der Erfindung sieht vor, dass bei Detektion einer Annäherung einer Hand mit einem Objekt, insbesondere einer Hand mit einem Gefäß, an eine Gefäßaufnahmeeinrichtung ein ausfahrbares Element dieser Gefäßaufnahmeeinrichtung automatisch insbesondere motorisch oder durch Federkraft ausgefahren wird, so dass das Objekt in die A further embodiment of the invention provides that upon detection of an approach of a hand with an object, in particular a hand with a vessel, a retractable element of this vessel receiving device is automatically extended to a vessel receiving device in particular motor or by spring force, so that the object in the
Gefäßaufnahmeeinrichtung einsteckbar und fixierbar ist. Dadurch ist ein Gefäß besonders einfach in eine Gefäßaufnahmeeinrichtung einsteckbar, wodurch ein Fahrzeugführer ebenfalls weniger von der Führung des Vessel receiving device can be inserted and fixed. As a result, a vessel is particularly easy to insert into a vessel receiving device, whereby a driver also less of the leadership of the
Fahrzeugs abgelenkt ist. Eine weitere Ausgestaltung der Erfindung sieht vor, dass bei Detektion einer schnellen Annäherung eines ausgestreckten Zeigefingers einer Hand in Richtung der zu steuernden Einrichtung des Fahrzeuges, beispielsweise in Richtung eines Fahrzeugrückspiegels, und einer anschließenden schnellen Zurückführung des Zeigefingers aus der Richtung der zu steuernden Vehicle is distracted. A further embodiment of the invention provides that upon detection of a rapid approach of an outstretched index finger of a hand in the direction of the device to be controlled of the vehicle, for example in the direction of a vehicle rearview mirror, and a subsequent rapid return of the index finger from the direction to be controlled
Einrichtung eine Steuerung zur Einstellung dieser Einrichtung aktiviert wird. Dadurch ist eine derartige Aktivierung besonders einfach möglich. Besonders bevorzugt wird diese Aktivierung durch ein akustisches Signal dargestellt. Setup a control to set this device is activated. As a result, such activation is particularly easy. This activation is particularly preferably represented by an acoustic signal.
Eine Ausgestaltung der Erfindung sieht vor, dass simultan mit einer räumlichen Bewegung einer Hand eine korrespondierende räumliche An embodiment of the invention provides that simultaneously with a spatial movement of a hand, a corresponding spatial
Einstellung eines Fahrzeugrückspiegels erfolgt. Adjustment of a vehicle rearview mirror takes place.
Zur Durchführung des Verfahrens sind für zu steuernde Einrichtungen des Fahrzeugs Datensätze für standardisierte räumliche Gesten hinterlegt. Diese Datensätze umfassen für jede dieser standardisierten räumlichen Gesten jeweils wenigstens eine korrespondierende Steuerungsinformation für die jeweilige Einrichtung. For carrying out the method, records for standardized spatial gestures are stored for devices to be controlled of the vehicle. For each of these standardized spatial gestures, these data records each comprise at least one corresponding control information for the respective device.
Die optische Erfassungseinheit zur Erfassung dreidimensionaler Gesten ist bevorzugt als eine sogenannte Time-of-flight (TOF) Kamera ausgebildet, welche ein optisches Element, zumindest einen optischen Sensor und eine entsprechende Elektronik zur Ansteuerung und Auswertung umfasst. The optical detection unit for detecting three-dimensional gestures is preferably designed as a so-called time-of-flight (TOF) camera, which comprises an optical element, at least one optical sensor and corresponding electronics for control and evaluation.
Das Prinzip der TOF-Kamera beruht auf einem Laufzeitverfahren zur Distanzmessung. Dazu werden beispielsweise ein Fahrzeuginnenraum oder ein Teil des Fahrzeuginnenraums beleuchtet, wobei die TOF-Kamera für jeden Bildpunkt die Zeit misst, die das Licht bis zum Objekt und wieder zurück zum optischen Sensor benötigt. Vorzugsweise ist die benötigte Zeit proportional zur entsprechenden Distanz. Auf dem optischen Sensor wird die erfasste Szene, insbesondere der erfasste Bedienvorgang, abgebildet und anschließend entsprechend ausgewertet. Die TOF-Kamera ist dabei sehr robust, anpassungsfähig und benötigt keine Kalibrierung. The principle of the TOF camera is based on a runtime method for distance measurement. For example, a vehicle interior or part of the vehicle interior is illuminated, with the TOF camera measuring, for each pixel, the time required for the light to reach the object and back to the optical sensor. Preferably, the time required is proportional to the corresponding distance. On the optical sensor, the detected scene, in particular the detected operation, and imaged subsequently evaluated accordingly. The TOF camera is very robust, adaptable and requires no calibration.
Der zumindest eine optische Sensor ist besonders bevorzugt als ein The at least one optical sensor is particularly preferred as a
Photomischdetektor ausgebildet. Der optische Sensor ist bevorzugt in der TOF-Kamera integriert oder mit dieser gekoppelt. Beispielsweise ist der optische Sensor in der Dachkonsole eines Fahrzeugs angeordnet. Alternativ dazu kann der optische Sensor auch in einer Innenraumkonsole in Richtung des Fahrers ausgerichtet oder in der Instrumententafel oder in einer Photonic mixer formed. The optical sensor is preferably integrated in or coupled to the TOF camera. For example, the optical sensor is arranged in the roof console of a vehicle. Alternatively, the optical sensor can also be aligned in an interior console in the direction of the driver or in the dashboard or in a
Kopfstütze eines Fahrzeugs angeordnet sein. Headrest of a vehicle to be arranged.
Besonders bevorzugt ist die optische Erfassungseinheit als eine Particularly preferred is the optical detection unit as a
Stereokamera, insbesondere als eine Infrarot-Stereokamera ausgebildet, mittels der ein Bedienvorgang dreidimensional optisch erfassbar ist. Stereo camera, in particular designed as an infrared stereo camera, by means of an operating process is three-dimensional optically detectable.
Abhängig von einer Blendenöffnung und/oder dem Aufbau der optischen Erfassungseinheit ist diese kontrolliert, beispielsweise durch Ausführung der ersten Geste und/oder mittels eines gesonderten Schalters und/oder durch akustische Befehle, aktivier- und/oder steuerbar. Depending on an aperture and / or the structure of the optical detection unit, this is controlled, for example by execution of the first gesture and / or by means of a separate switch and / or by acoustic commands, activatable and / or controllable.
Bei aktivierter 3D-Eingabe kann durch eine räumliche Bewegung einer Hand, also durch Erfassung einer dreidimensionalen Geste einer Hand mittels der TOF-Kamera eine räumliche Schallverteilung einer akustischen When 3D input is activated, spatially moving a hand, ie detecting a three-dimensional gesture of a hand using the TOF camera, can create a spatial sound distribution of an acoustic sound
Ausgabeeinheit gesteuert werden. Insbesondere kann eine Lautstärke, eine Balance, eines Faders, eine Stummschaltung und/oder sonstige Parameter für eine räumliche Schallverteilung im Fahrzeug derart gesteuert werden. Output unit to be controlled. In particular, a volume, a balance, a fader, a mute and / or other parameters for spatial sound distribution in the vehicle can be controlled in this way.
Ebenso kann bei aktivierter 3D-Eingabe durch eine räumliche Bewegung einer Hand, also durch Erfassung einer dreidimensionalen Geste einer Hand mittels der TOF-Kamera eine Klimatisierung im Fahrzeug gesteuert werden, in dem diverse Luftaustrittsöffnungen derart gesteuert werden, dass für jeweils eine Anzahl von Luftaustrittsöffnungen ein Luftvolumenstrom und/oder eine Lufttemperatur individuell eingestellt wird. Likewise, when activated 3D input by a spatial movement of a hand, so by detecting a three-dimensional gesture of a hand using the TOF camera air conditioning in the vehicle can be controlled in the various air outlet openings are controlled such that for in each case a number of air outlet openings, an air volume flow and / or an air temperature is set individually.
Ebenso kann bei aktivierter 3D-Eingabe durch eine räumliche Bewegung einer Hand, also durch Erfassung einer dreidimensionalen Geste einer Hand mittels der TOF-Kamera eine Helligkeit im Fahrzeug gedimmt und/oder räumlich im Fahrzeug verschoben werden und/oder es werden Spots, also Einzellichtquellen, oder eine Ambientebeleuchtung im Fahrzeug gesteuert, insbesondere räumlich gesteuert. Likewise, with activated 3D input by a spatial movement of a hand, ie by detecting a three-dimensional gesture of a hand by means of the TOF camera, a brightness in the vehicle is dimmed and / or spatially displaced in the vehicle and / or spots, ie individual light sources, or Ambientebeleuchtung controlled in the vehicle, in particular spatially controlled.
Ebenso kann bei aktivierter 3D-Eingabe durch eine räumliche Bewegung einer Hand, also durch Erfassung einer dreidimensionalen Geste einer Hand mittels der TOF-Kamera eine motorbetriebene Funktion im Fahrzeug gesteuert werden. Likewise, with activated 3D input by a spatial movement of a hand, so by detecting a three-dimensional gesture of a hand by means of the TOF camera, a motor-driven function in the vehicle can be controlled.
Sofern detektiert wird, dass ein spezielles Handmerkmal wie eine If it is detected that a special hand feature like a
Fingerspitze oder ein Schwerpunkt einer Hand sich der jeweiligen Fingertip or a center of gravity of a hand itself
Detektionseinrichtung annähert, können mit dieser Detektionseinrichtung verknüpfte Funktionen aktiviert und/oder gesteuert werden. Insbesondere können bei detektierter Annäherung das Öffnen oder Schließen eines Brillenfaches oder das Öffnen oder Schließen eines Handschuhfaches aktiviert und/oder gesteuert werden. Ebenso kann das Ein- und Ausfahren einer auch als cup holder bezeichneten Gefäßaufnahmeeinrichtung aktiviert und/oder gesteuert werden, insbesondere, wenn mittels der TOF-Kamera erfasst wird, dass sich eine annähernde Hand mit einem als Detection device approaches, associated with this detection device functions can be activated and / or controlled. In particular, when the approach is detected, the opening or closing of a spectacle compartment or the opening or closing of a glove compartment can be activated and / or controlled. Likewise, the retraction and extension of a vessel receiving device, also referred to as a cup holder, can be activated and / or controlled, in particular if it is detected by means of the TOF camera that an approaching hand with an as
aufzunehmendes Gefäß erkennbaren Objekt detektiert wird. is detected on the vessel to be recognized recognizable object.
Es ist bei Detektion einer bestimmten Geste einer Hand ebenfalls möglich, das Öffnen oder Schließen eines Fahrzeugfensters als eine motorbetriebene Funktion im Fahrzeug zu aktivieren und/oder zu steuern. Die Aktivierung der 3D-Eingabe, also die Aktivierung der TOF-Kamera erfolgt bevorzugt durch akustische Spracheingabe oder manuell durch einen It is also possible upon detection of a particular gesture of a hand to activate and / or control the opening or closing of a vehicle window as a motorized function in the vehicle. The activation of the 3D input, so the activation of the TOF camera is preferably carried out by acoustic speech input or manually by a
Fahrzeuginsassen. Vehicle occupants.
Die Erfindung ermöglicht zudem die kontinuierliche Steuerung von The invention also allows the continuous control of
Funktionen, also die Steuerung von Funktionen, die nicht gesondert aktiviert werden müssen. So ist die Positionierung oder die Einstellung eines Functions, ie the control of functions that do not have to be activated separately. So is the positioning or the setting of a
Fahrzeugrückspiegels in Abhängigkeit der mittels der TOF-Kamera erfassten Position eines Fahrzeuginsassen, insbesondere des Fahrers, möglich. Vehicle rear-view mirror depending on the detected by means of the TOF camera position of a vehicle occupant, in particular of the driver, possible.
Außerdem ist die Einstellung der Richtung eines Luftstromes möglich. In addition, the adjustment of the direction of an air flow is possible.
Anhand der beigefügten schematischen Figuren wird die Erfindung im With reference to the accompanying schematic figures, the invention is in
Folgenden näher erläutert. Explained in more detail below.
Dabei zeigen: Showing:
Figur 1 schematisch einen Ausschnitt eines Fahrzeuginnenraumes zur 1 shows schematically a section of a vehicle interior to
Darstellung des Funktionsprinzips einer ersten  Representation of the principle of operation of a first
Ausführungsform des erfindungsgemäßen Verfahrens  Embodiment of the method according to the invention
Figur 2 schematisch einen Ausschnitt eines Fahrzeuginnenraumes zur 2 shows schematically a section of a vehicle interior to
Darstellung des Funktionsprinzips einer zweiten  Representation of the functional principle of a second
Ausführungsform des erfindungsgemäßen Verfahrens,  Embodiment of the method according to the invention,
Figuren 3a 3b und 3c schematisch einen Ausschnitt eines Fahrzeuginnenraumes zur Darstellung des Funktionsprinzips einer dritten Figures 3a 3b and 3c schematically a section of a vehicle interior to illustrate the principle of operation of a third
Ausführungsform des erfindungsgemäßen Verfahrens, und  Embodiment of the method according to the invention, and
Figuren 4a und 4b schematisch einen Ausschnitt eines Fahrzeuginnenraumes zur Darstellung des Funktionsprinzips einer vierten FIGS. 4a and 4b schematically a section of a vehicle interior to illustrate the operating principle of a fourth
Ausführungsform des erfindungsgemäßen Verfahrens.  Embodiment of the method according to the invention.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Corresponding parts are the same in all figures
Bezugszeichen versehen. Provided with reference numerals.
Figur 1 zeigt eine Hand 1 , die ein Objekt 2 hält, wobei sich Hand 1 und Objekt 2 nach oben bewegen. Sofern eine hier nicht gezeigte TOF-Kamera detektiert, dass sich Hand 1 und Objekt 2 einem Fach 3, insbesondere einem Handschuh- oder Brillenfach nähern, wird das Fach 3 automatisch geöffnet. Das Objekt 2 ist dann in das Fach 3 legbar. Wenn die TOF-Kamera detektiert, dass sich die Hand 1 vom Fach 3 entfernt, insbesondere nachdem ein Objekt 2 in das Fach 3 gelegt oder aus diesem entnommen wurde, wird das Fach 3 automatisch geschlossen. Figure 1 shows a hand 1 holding an object 2, with hand 1 and object 2 moving upwards. If a TOF camera, not shown here, detects that the hand 1 and the object 2 are approaching a compartment 3, in particular a glove or spectacle compartment, the compartment 3 is automatically opened. The object 2 is then placed in the tray 3. When the TOF camera detects that the hand 1 moves away from the tray 3, in particular after an object 2 has been placed in or removed from the tray 3, the tray 3 is automatically closed.
Figur 2 zeigt eine Hand 1 , die eine Tasse 4 hält, wobei sich Hand 1 und Tasse 4 derart bewegen, wie dies üblicherweise erfolgt, wenn die Tasse 4 in eine auch als cup holder bezeichnete Gefäßaufnahmeeinrichtung 5 positioniert werden soll. Sofern die hier nicht gezeigte TOF-Kamera detektiert, dass sich Hand 1 und Tasse 4 der Gefäßaufnahmeeinrichtung 5 nähern, wird ein ausfahrbares Element dieser Gefäßaufnahmeeinrichtung 5 automatisch ausgefahren, so dass die Tasse 4 in dieses Element einsteckbar und fixierbar ist. Figure 2 shows a hand 1, which holds a cup 4, with the hand 1 and cup 4 to move, as is usually done when the cup 4 is to be positioned in a cup holder also called vessel receiving device 5. If the TOF camera, not shown here, detects that hand 1 and cup 4 are approaching the vessel receiving device 5, an extendable element of this vessel receiving device 5 is automatically extended, so that the cup 4 can be inserted and fixed in this element.
Figur 3a zeigt eine Hand 1 , deren Zeigefinger auf ein bestimmtes FIG. 3 a shows a hand 1 whose forefinger points to a specific one
Fahrzeugfenster 7, nämlich auf das der rechten Vordertür des Fahrzeuges, gerichtet wird. Sofern die hier nicht gezeigte TOF-Kamera dies detektiert, wird eine Steuerung dieses Fahrzeugfensters 7 aktiviert, was durch ein akustisches Signal dargestellt wird. Figuren 3b und 3c zeigen die Hand 1 nach Aktivierung der Steuerung des Fahrzeugfensters 7, wobei die Hand 1 jeweils eine nach oben bzw. nach unten gerichtete Geste ausführt, die von der hier nicht gezeigten TOF- Kamera erfasst wird. Durch diese Gesten wird ein Schließen des geöffneten bzw. ein Öffnen des geschlossenen Fahrzeugfensters 7 herbeigeführt. Vehicle window 7, namely on the right front door of the vehicle is directed. If the TOF camera, not shown here detects this, a control of this vehicle window 7 is activated, which is represented by an acoustic signal. Figures 3b and 3c show the hand 1 after activation of the control of the vehicle window 7, wherein the hand 1 each performs an upward or downward gesture, which is detected by the TOF camera, not shown here. By these gestures, a closing of the open or an opening of the closed vehicle window 7 is brought about.
Bevorzugt wird bei einer absenkenden Geste der Hand (1 ) das In a lowering gesture of the hand (1) is preferred
Fahrzeugfenster 7 nur unvollständig geöffnet, indem die Absenkung des Fahrzeugfensters 7 nur so lange und/oder so weit nach unten erfolgt, wie die absenkende Geste der Hand (1 ) vollzogen wird. Ebenso ist es möglich, dass bei einer abhebenden Geste der Hand (1 ) das Fahrzeugfenster 7 nur unvollständig geschlossen wird, indem die Anhebung des Vehicle window 7 only partially opened by the lowering of the vehicle window 7 only as long and / or as far down as the lowering gesture of the hand (1) is completed. Likewise, it is possible that in a lifting gesture of the hand (1) the vehicle window 7 is closed only incompletely by the increase of the
Fahrzeugfensters 7 nur so lange und/oder so weit nach oben erfolgt, wie die abhebende Geste der Hand (1 ) vollzogen wird Vehicle window 7 only as long and / or as far up takes place, as the contrasting gesture of the hand (1) is completed
Figur 4a zeigt eine Hand 1 , deren Zeigefinger auf einen rechten FIG. 4a shows a hand 1 whose index finger is pointing to a right
Fahrzeugrückspiegel 8 des Fahrzeuges gerichtet wird. Sofern die hier nicht gezeigte TOF-Kamera detektiert, dass der Zeigefinger schnell in Richtung des Fahrzeugrückspiegels 8 geführt und unmittelbar danach schnell aus der Richtung des Fahrzeugrückspiegels 8 zurück geführt wird, wird eine Vehicle rearview mirror 8 of the vehicle is directed. If the TOF camera, not shown here detects that the index finger is quickly guided in the direction of the vehicle rear-view mirror 8 and immediately afterwards quickly out of the direction of the vehicle rear-view mirror 8, a
Steuerung zur Einstellung dieses Fahrzeugrückspiegels 8 aktiviert, was durch ein akustisches Signal dargestellt wird. Control for setting this vehicle rearview mirror 8 is activated, which is represented by an acoustic signal.
Figur 4b zeigt die Hand 1 nach Aktivierung der Steuerung zur Einstellung dieses Fahrzeugrückspiegels 8. Je nach räumlicher Bewegung der Hand 1 , die von der hier nicht gezeigten TOF-Kamera erfasst wird, erfolgt simultan eine mit der räumlichen Bewegung der Hand 1 korrespondierende 4b shows the hand 1 after activation of the control for adjusting this vehicle rearview mirror 8. Depending on the spatial movement of the hand 1, which is detected by the TOF camera, not shown here, takes place simultaneously with the spatial movement of the hand 1 corresponding
Einstellung des Fahrzeugrückspiegels 8. Bezugszeichenliste Adjusting the rear-view mirror 8. LIST OF REFERENCE NUMBERS
1 Hand 1 hand
2 Objekt  2 object
3 Fach  3 compartment
4 Tasse  4 cup
5 Gefäßaufnahmeeinrichtung 5 vessel receiving device
7 Fahrzeugfenster 7 vehicle window
8 Fahrzeugrückspiegel  8 vehicle rearview mirrors

Claims

Patentansprüche claims
1 . Verfahren zum Betreiben einer Vorrichtung zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen in einem 1 . Method for operating a device for non-contact detection of objects and / or persons and of gestures and / or operating processes carried out by them in one
Fahrzeuginnenraum, wobei die Erfassung mittels einer optischen Erfassungseinheit erfolgt, dadurch gekennzeichnet,  Vehicle interior, wherein the detection takes place by means of an optical detection unit, characterized
dass eine dreidimensionale Geste erfasst wird.  that a three-dimensional gesture is detected.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, 2. The method according to claim 1, characterized
dass nach Erfassung einer ersten Geste eine Einrichtung des Fahrzeugs automatisch aktiviert wird.  that after detection of a first gesture, a device of the vehicle is automatically activated.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, 3. The method according to claim 1 or 2, characterized
dass eine weitere Geste erfasst wird und dass in Abhängigkeit vom erfassten räumlichen und/oder zeitlichen Verlauf dieser Geste die Einrichtung des Fahrzeugs simultan gesteuert wird.  that a further gesture is detected and that, depending on the detected spatial and / or temporal course of this gesture, the device of the vehicle is controlled simultaneously.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, 4. The method according to claim 3, characterized
dass eine mehrdimensional einstellbare Einrichtung des Fahrzeugs mehrdimensional simultan gesteuert wird.  that a multi-dimensionally adjustable device of the vehicle is controlled multi-dimensionally simultaneously.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, 5. The method according to claim 4, characterized
dass als mehrdimensional einstellbare Einrichtung ein  that as a multi-dimensionally adjustable device
Fahrzeugrückspiegel (8), eine Kopfstütze, ein Sitzelement, eine Anzahl von Beleuchtungselementen oder eine Anzahl von  Vehicle rearview mirror (8), a headrest, a seat element, a number of lighting elements or a number of
Lautsprechern simultan gesteuert wird.  Speakers is controlled simultaneously.
6. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, 6. The method according to claim 1 or 2, characterized
dass auf einem 2D- oder auf einem 3D-Ausgabegerät eine mit der erfassten dreidimensionalen Geste korrespondierende graphische und/oder visuelle Wiedergabe dargestellt wird. in that a graphic and / or visual reproduction corresponding to the detected three-dimensional gesture is displayed on a 2D or on a 3D output device.
7. Verfahren nach einem der Ansprüche 2 bis 6, dadurch 7. The method according to any one of claims 2 to 6, characterized
gekennzeichnet,  in
dass die Aktivierung der Einrichtung optisch visualisiert und/oder akustisch quittiert wird.  that the activation of the device is visually visualized and / or acknowledged acoustically.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch 8. The method according to any one of claims 3 to 7, characterized
gekennzeichnet,  in
dass die Steuerung der Einrichtung auf dem 2D- oder auf einem 3D- Ausgabegerät visualisiert und/oder akustisch quittiert wird.  the control of the device is visualized on the 2D or on a 3D output device and / or acoustically acknowledged.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 9. The method according to any one of the preceding claims, characterized
gekennzeichnet,  in
dass bei Detektion einer Annäherung einer Hand (1 ) an ein Fach (3) dieses automatisch geöffnet wird, so dass ein Objekt (2) in das Fach (3) legbar ist und/oder dass bei Detektion eines Entfernens der Hand (1 ) vom Fach (3) dieses automatisch geschlossen wird.  that upon detection of an approach of a hand (1) to a compartment (3) it is automatically opened, so that an object (2) can be placed in the compartment (3) and / or that upon detection of a removal of the hand (1) from Tray (3) this is automatically closed.
10. Verfahren nach einem der Ansprüche 2 bis 8, dadurch 10. The method according to any one of claims 2 to 8, characterized
gekennzeichnet,  in
dass bei Detektion einer Annäherung einer Hand (1 ) mit einem Objekt (2) an eine Gefäßaufnahmeeinrichtung (5) ein ausfahrbares Element dieser Gefäßaufnahmeeinrichtung (5) automatisch  that upon detection of an approach of a hand (1) with an object (2) to a vessel receiving device (5) an extendable element of this vessel receiving device (5) automatically
ausgefahren wird, so dass das Objekt (2) in die  is extended so that the object (2) in the
Gefäßaufnahmeeinrichtung (5) einsteckbar und fixierbar ist.  Vessel receiving device (5) can be inserted and fixed.
1 1 .Verfahren nach einem der Ansprüche 2 bis 8, dadurch 1 1 .Verfahren according to one of claims 2 to 8, characterized
gekennzeichnet,  in
dass bei Detektion einer schnellen Annäherung eines ausgestreckten Zeigefingers einer Hand (1 ) in Richtung der zu steuernden Einrichtung des Fahrzeuges und einer anschließenden schnellen Zurückführung des Zeigefingers aus der Richtung der zu steuernden Einrichtung eine Steuerung zur Einstellung dieser Einrichtung aktiviert wird. in that upon detection of a quick approach of an outstretched index finger of a hand (1) in the direction of the device to be controlled of the vehicle and a subsequent rapid return of the index finger from the direction of the device to be controlled, a control for setting this device is activated.
12. Verfahren nach Anspruch 1 1 , dadurch gekennzeichnet, 12. The method according to claim 1 1, characterized
dass die Aktivierung durch ein akustisches Signal dargestellt wird.  that the activation is represented by an acoustic signal.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 13. The method according to any one of the preceding claims, characterized
gekennzeichnet,  in
dass simultan mit einer räumlichen Bewegung einer Hand (1 ) eine korrespondierende räumliche Einstellung eines  that simultaneously with a spatial movement of a hand (1) a corresponding spatial adjustment of a
Fahrzeugrückspiegels (8) erfolgt.  Vehicle rearview mirror (8) takes place.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch 14. The method according to any one of the preceding claims, characterized
gekennzeichnet,  in
dass für jede zu steuernde Einrichtung des Fahrzeugs Datensätze für standardisierte räumliche Gesten hinterlegt sind, wobei diese  that records for standardized spatial gestures are stored for each device of the vehicle to be controlled, wherein these
Datensätze für jede der standardisierten räumlichen Gesten jeweils wenigstens eine korrespondierende Steuerungsinformation für die jeweilige Einrichtung umfassen.  Data records for each of the standardized spatial gestures each comprise at least one corresponding control information for the respective device.
PCT/EP2014/064748 2013-10-28 2014-07-09 Method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior WO2015062751A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013221809 2013-10-28
DE102013221809.5 2013-10-28

Publications (1)

Publication Number Publication Date
WO2015062751A1 true WO2015062751A1 (en) 2015-05-07

Family

ID=51212814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/064748 WO2015062751A1 (en) 2013-10-28 2014-07-09 Method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior

Country Status (1)

Country Link
WO (1) WO2015062751A1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015008071A1 (en) * 2015-06-23 2016-02-18 Daimler Ag Control of a car interior lighting
DE102015209902A1 (en) * 2015-05-29 2016-12-01 Volkswagen Aktiengesellschaft Method and device for controlling an interior lighting of a motor vehicle
EP3147755A1 (en) * 2015-09-24 2017-03-29 Panasonic Intellectual Property Management Co., Ltd. Equipment control device, equipment control method, and non-transitory recording medium
FR3047942A1 (en) * 2016-02-24 2017-08-25 Valeo Vision INTERIOR LIGHTING DEVICE OF A MOTOR VEHICLE INTERIOR
FR3048933A1 (en) * 2016-03-21 2017-09-22 Valeo Vision DEVICE FOR CONTROLLING INTERIOR LIGHTING OF A MOTOR VEHICLE
WO2018007247A1 (en) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Method for an interaction between an operator and a technical object
WO2018031516A1 (en) 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
GB2525655B (en) * 2014-05-01 2018-04-25 Jaguar Land Rover Ltd Dynamic lighting apparatus and method
DE102017201312A1 (en) 2017-01-27 2018-08-02 Audi Ag Method for controlling a temperature control element of a container holder
CN109153354A (en) * 2016-04-20 2019-01-04 大陆汽车有限责任公司 Sense the side-view mirror of facial movement and gesture
US10821831B2 (en) 2016-09-01 2020-11-03 Volkswagen Aktiengesellschaft Method for interacting with image contents displayed on a display device in a transportation vehicle
WO2021023486A1 (en) 2019-08-02 2021-02-11 Daimler Ag Device and method for controlling a shadowing system for a vehicle
CN113711693A (en) * 2019-04-16 2021-11-26 戴姆勒股份公司 Vehicle interior illumination control method
DE102022109496B3 (en) 2022-04-20 2023-10-05 Audi Aktiengesellschaft Method for providing an augmented reality representation for an object arranged in a motor vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202012005255U1 (en) * 2012-05-29 2012-06-26 Youse Gmbh Operating device with a gesture monitoring unit
DE102011009229A1 (en) * 2011-01-22 2012-07-26 Daimler Ag Adjusting device for adjusting passenger seat of vehicle e.g. cabriolet, has operating device which is provided with sensor units for detecting gesture of occupant
DE102011010594A1 (en) * 2011-02-08 2012-08-09 Daimler Ag Method, apparatus and computer program product for driving a functional unit of a vehicle
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011009229A1 (en) * 2011-01-22 2012-07-26 Daimler Ag Adjusting device for adjusting passenger seat of vehicle e.g. cabriolet, has operating device which is provided with sensor units for detecting gesture of occupant
DE102011010594A1 (en) * 2011-02-08 2012-08-09 Daimler Ag Method, apparatus and computer program product for driving a functional unit of a vehicle
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
DE202012005255U1 (en) * 2012-05-29 2012-06-26 Youse Gmbh Operating device with a gesture monitoring unit

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525655B (en) * 2014-05-01 2018-04-25 Jaguar Land Rover Ltd Dynamic lighting apparatus and method
DE102015209902A1 (en) * 2015-05-29 2016-12-01 Volkswagen Aktiengesellschaft Method and device for controlling an interior lighting of a motor vehicle
DE102015209902B4 (en) 2015-05-29 2022-06-02 Volkswagen Aktiengesellschaft Method and device for controlling the interior lighting of a motor vehicle
DE102015008071A1 (en) * 2015-06-23 2016-02-18 Daimler Ag Control of a car interior lighting
EP3147755A1 (en) * 2015-09-24 2017-03-29 Panasonic Intellectual Property Management Co., Ltd. Equipment control device, equipment control method, and non-transitory recording medium
US10228769B2 (en) 2015-09-24 2019-03-12 Panasonic Intellectual Property Management Co., Ltd. Equipment control device, equipment control method, and non-transitory recording medium
FR3047942A1 (en) * 2016-02-24 2017-08-25 Valeo Vision INTERIOR LIGHTING DEVICE OF A MOTOR VEHICLE INTERIOR
US10093227B2 (en) 2016-03-21 2018-10-09 Valeo Vision Device for controlling the interior lighting of a motor vehicle
EP3222466A1 (en) * 2016-03-21 2017-09-27 Valeo Vision Device for controlling the interior lighting of a motor vehicle
FR3048933A1 (en) * 2016-03-21 2017-09-22 Valeo Vision DEVICE FOR CONTROLLING INTERIOR LIGHTING OF A MOTOR VEHICLE
US10464478B2 (en) 2016-03-21 2019-11-05 Valeo Vision Device for controlling the interior lighting of a motor vehicle
CN109153354A (en) * 2016-04-20 2019-01-04 大陆汽车有限责任公司 Sense the side-view mirror of facial movement and gesture
CN109416588A (en) * 2016-07-05 2019-03-01 西门子股份公司 The method interacted for operator and technical object
WO2018007247A1 (en) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Method for an interaction between an operator and a technical object
WO2018031516A1 (en) 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
EP3497546A4 (en) * 2016-08-09 2020-03-11 Google LLC Radar-based gestural interface
US10821831B2 (en) 2016-09-01 2020-11-03 Volkswagen Aktiengesellschaft Method for interacting with image contents displayed on a display device in a transportation vehicle
DE102017201312A1 (en) 2017-01-27 2018-08-02 Audi Ag Method for controlling a temperature control element of a container holder
CN113711693A (en) * 2019-04-16 2021-11-26 戴姆勒股份公司 Vehicle interior illumination control method
WO2021023486A1 (en) 2019-08-02 2021-02-11 Daimler Ag Device and method for controlling a shadowing system for a vehicle
DE102019005447B4 (en) 2019-08-02 2022-01-20 Daimler Ag Device and method for controlling a shading system for a vehicle
US11590831B2 (en) 2019-08-02 2023-02-28 Mercedes-Benz Group AG Device and method for controlling a shading system for a vehicle
DE102022109496B3 (en) 2022-04-20 2023-10-05 Audi Aktiengesellschaft Method for providing an augmented reality representation for an object arranged in a motor vehicle

Similar Documents

Publication Publication Date Title
WO2015062751A1 (en) Method for operating a device for the contactless detection of objects and/or persons and their gestures and/or of control operations in a vehicle interior
EP3040245B1 (en) Device and method for supporting a user before operation of a switch for electromotive adjustment of a part of a means of locomotion
DE102006028046B4 (en) Combined display and operating device for a motor vehicle
EP1998996B1 (en) Interactive operating device and method for operating the interactive operating device
EP2726960A1 (en) Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby
EP2822812B1 (en) Motor vehicle with an electronic mirror
EP2802964B1 (en) Method and device for the control of functions in a vehicle using gestures performed in three-dimensional space, and related computer program product
DE102013012466B4 (en) Operating system and method for operating a vehicle-side device
EP3013621A1 (en) Motor vehicle control interface with gesture recognition
DE102009032069A1 (en) Method and device for providing a user interface in a vehicle
EP2802963A1 (en) Method and device for operating functions in a vehicle using gestures performed in three-dimensional space, and related computer program product
EP3416848B1 (en) Arrangement, means of locomotion and method for assisting a user in the operation of a touch-sensitive display device
EP3254172B1 (en) Determination of a position of a non-vehicle object in a vehicle
EP2058162B1 (en) Multifunctional display and operating system and method for operating functions or vehicle systems with an assisted operating mode
WO2014108147A1 (en) Zooming and shifting of image content of a display device
DE102013000069B4 (en) Motor vehicle user interface with a control element for detecting a control action
DE102015115362A1 (en) Detecting device for a motor vehicle and motor vehicle
DE102011117289B4 (en) Method for operating a mobile device in a vehicle, coupling device, vehicle and system
DE102014006289A1 (en) A method of displaying and selecting functions of a vehicle on a pivotable display / input unit of the vehicle and vehicle having such a display / input unit
DE102013011531B4 (en) Method for operating an assistance system of a motor vehicle and assistance system for a motor vehicle
DE102012005886B4 (en) Method for operating an operating device of a motor vehicle
WO2014114428A1 (en) Method and system for controlling, depending on the line of vision, a plurality of functional units, motor vehicle and mobile terminal having said system
DE102015201722A1 (en) Method for operating an input device, input device
DE102014202650A1 (en) Method and device for operating the mechanics of a motorically position-adjustable display unit
EP2885154B1 (en) Method and an operator control and display device for operating an interactive operator control device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14741829

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14741829

Country of ref document: EP

Kind code of ref document: A1