EP3230828A1 - Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units - Google Patents

Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units

Info

Publication number
EP3230828A1
EP3230828A1 EP15805454.4A EP15805454A EP3230828A1 EP 3230828 A1 EP3230828 A1 EP 3230828A1 EP 15805454 A EP15805454 A EP 15805454A EP 3230828 A1 EP3230828 A1 EP 3230828A1
Authority
EP
European Patent Office
Prior art keywords
occupant
sensor device
light
gesture
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15805454.4A
Other languages
German (de)
French (fr)
Inventor
Thomas HAEBIG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP3230828A1 publication Critical patent/EP3230828A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Definitions

  • the present invention relates to a detection device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle, comprising a first sensor device and at least one second sensor device, each of the sensor devices each having a light emitting unit for emitting light
  • Receiving unit for receiving the light reflected by the occupant and a computing unit for driving the lighting unit and for detecting the gesture and / or viewing direction based on the reflected light.
  • the invention also relates to an operating arrangement and a motor vehicle.
  • the present invention relates to a method for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle.
  • a plurality of detection devices is installed, with which, for example, an operating action of a vehicle occupant can be detected.
  • an operating action of a vehicle occupant can be detected.
  • the detection device comprises, for example, a sensor device in the form of a camera, by means of which detects the operating gesture of the occupant and with a
  • an operating signal can then be generated with which a
  • Functional device of the motor vehicle can be controlled.
  • detection devices are known from the prior art with which a viewing direction of the driver can be detected. Thus, it can be recognized, for example, whether a driver directs his view of the road. In addition, it can be recognized on the basis of the driver's line of sight, for example
  • Such detection devices for detecting a gesture and / or the viewing direction of a vehicle occupant usually have an optical sensor with an active lighting unit.
  • the detection devices are designed as cameras, wherein the lighting units emit light in the visible wavelength range or in the infrared wavelength range.
  • a camera for example, a Image of a portion of the occupant, such as the hand, are recorded.
  • 3D cameras are known, with which a pictorial representation of
  • Distances can be provided.
  • TOF cameras TOF - Time of Flight
  • TOF - Time of Flight what are known as TOF cameras (TOF - Time of Flight), which emit light with the lighting unit and detect the light reflected by the occupant with a receiving unit. Based on the duration of the light can then be deduced the distance between the detection device and at least a part of the occupant.
  • DE 10 2008 048 325 A1 describes an operation input unit, which comprises an image recording device.
  • the operation input unit includes a hand-range detecting device which detects an area of a human hand from a motion picture taken with the image pick-up device.
  • a manual operation determining device is provided, which determines a manual operation of a shape and movement of the detected hand area.
  • a menu selection display device is provided which includes a
  • Operation input device has a plurality of image pickup devices.
  • Control command for a component of a motor vehicle described.
  • an image sequence of an input object guided by a user is generated in a predetermined detection area by means of an imaging device.
  • a posture change of the input object is recognized based on the image sequence, and a control command is issued to a component of the motor vehicle based on the detected posture change.
  • the imaging device may have at least one infrared-sensitive camera.
  • a device for controlling vehicle functions has at least one interface with which a user interacts through static and / or dynamic user gestures.
  • a detection unit is provided which detects the static and dynamic user gestures.
  • a user gesture is detected with a control unit and a corresponding vehicle function is activated.
  • the detection unit may comprise one or more cameras, which are designed in particular as TOF cameras. With these, preferably, the movement of a part of the head, in particular the eye or the nose can be detected.
  • the Detection unit designed to recognize parallel gestures of a user and / or the gestures of several people simultaneously and / or sequentially.
  • Detection device of the type mentioned for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle can be operated reliably.
  • a detection device is used to detect a gesture and / or a viewing direction of an occupant of a motor vehicle.
  • the detection device comprises a first sensor device and at least one second sensor device.
  • Each of the sensor devices has in each case a lighting unit for emitting light.
  • each of the sensor devices comprises a receiving unit for receiving the light reflected by the occupant.
  • each of the sensor devices comprises a computing unit for driving the lighting unit and for detecting the gesture and / or the viewing direction based on the reflected light.
  • the arithmetic units of the sensor devices are designed to actuate the light units synchronously in dependence on a synchronization signal.
  • the detection device can be used in a motor vehicle. With the detection device, a gesture of an occupant of the motor vehicle and / or a viewing direction of the occupant of the motor vehicle can be detected.
  • the detection device comprises at least two sensor devices, for example distributed in the
  • the sensor devices may comprise an optical sensor or a camera.
  • Each of the sensor devices has a lighting unit.
  • This light unit can be controlled by means of the arithmetic unit.
  • a lighting time so the time duration, while the light is emitted with the respective lighting unit, are controlled.
  • Sensor devices thus have active illumination.
  • the light emitted by the respective lighting unit strikes a part, for example a body part, of the occupant and is reflected by the occupant and in turn reaches the receiving unit
  • the arithmetic unit can then recognize the gesture and / or the viewing direction of the occupant of the respective sensor device as a function of the reflected light.
  • the present invention is based on the finding that, when using at least two sensor devices which have active illumination,
  • Influencing the sensor device can occur with each other.
  • interference may occur due to the light emitted by the light units.
  • the luminous units of the at least two sensor devices can thus simultaneously in a specific
  • Sequence can be controlled. Due to the synchronous operation of the respective
  • Light units of the sensor devices can mutual interference of
  • Sensor devices are avoided by their lighting units. Furthermore, an optimal illumination of the respective detection region of the sensor devices can also be made possible.
  • the arithmetic unit of the first sensor device is adapted to provide the synchronization signal and to the arithmetic unit of the second
  • the arithmetic unit of the first sensor device provides a corresponding synchronization signal.
  • the lighting unit of the first sensor device In dependence on this synchronization signal of the arithmetic unit of the first sensor device, the lighting unit of the first
  • This synchronization signal may also include information as to when the lighting unit of the second sensor device is to be controlled.
  • This synchronization signal is then transmitted by the arithmetic unit of the first sensor device.
  • the synchronization signal can also be a time delay in the transmission of the arithmetic unit of the first
  • the synchronization signal can be provided with a computing unit of one of the sensor devices themselves.
  • the computing units of the first and the at least one second sensor device are connected via a data line for transmitting the
  • Synchronization signal are connected.
  • the data line for example, a direct data connection between the arithmetic units of the two sensor devices to be provided.
  • a reliable transmission of the synchronization signal between the sensor devices can be guaranteed.
  • a time delay in transmitting the synchronization signal can be prevented or reduced by the direct connection.
  • the data line is a data bus of the motor vehicle, in particular a CAN bus.
  • the transmission of the synchronization signal via the existing data bus of the motor vehicle can take place.
  • Synchronization signal in response to which the respective lighting units of each of the sensor devices are controlled, can be reliably avoided a disturbance of the sensor devices with each other.
  • the time duration for processing a data frame which is transmitted via a data bus is significantly longer than the illumination duration, while the one
  • Light unit is activated.
  • reliable operation of the detection device can be enabled.
  • the first and / or the at least one second sensor device is designed to determine a distance to at least a part of the occupant based on a transit time of the emitted light and the reflected light.
  • the first and / or the second sensor device is designed as a so-called 3D camera or TOF camera.
  • Inmates for example, a hand of the occupant, are spatially detected.
  • corresponding gestures of the vehicle occupant can be detected and evaluated by means of the arithmetic unit.
  • a comparison with predetermined gestures, which are stored for example in the arithmetic unit take place.
  • a corresponding operating signal can then be transmitted to a functional device of the motor vehicle.
  • the first and / or the at least one second sensor device is designed to detect an image of at least one part of the occupant on the basis of the reflected light.
  • the first and / or the at least one second sensor device is designed as a camera, with which an image of the body part of the occupant can be detected.
  • the first and / or a second sensor device is designed to detect a viewing direction of the occupant on the basis of the captured image.
  • it can be detected, for example, whether the driver or the occupant directs his gaze on the road.
  • it can also be recognized, for example, whether the driver has opened or closed his eyes. It It can also be provided that it is recognized by means of the viewing direction which
  • Function direction of the motor vehicle to serve the occupant On the basis of the detected viewing direction, a corresponding operating signal can be output.
  • Sensor device and the arithmetic unit of the at least one second sensor device to control the light units alternately.
  • the two sensor devices for detecting the gesture are operated alternately. In this way, mutual influences of the sensor devices when detecting the gesture can be prevented.
  • An operating arrangement according to the invention for a motor vehicle comprises a
  • the operating arrangement comprises a functional device which can be activated as a function of the gesture and / or viewing direction detected by the detection device. If with the
  • a corresponding operating signal can be output and to the
  • the functional device to be transmitted.
  • the functional device can then be in
  • the functional device of the motor vehicle can, for. As an infotainment system, a navigation system or the like. It can also be provided that the functional device, a window regulator, an adjusting device for adjusting the exterior mirrors or the like.
  • the operating arrangement may also be part of a driver assistance system of the motor vehicle, which performs, for example, an intervention in the steering and / or the brake system. This is particularly advantageous if by means of the detection device It is recognized that the driver avoids looking away from the road and threatens a danger.
  • a motor vehicle according to the invention comprises an inventive
  • the motor vehicle is designed in particular as a passenger car.
  • An inventive method is used to detect a gesture and / or a viewing direction of an occupant of a motor vehicle. This will be a first
  • a light unit for emitting light is actuated by means of a computing unit which receives from the occupant or reflected light means of a receiving unit and recognizes by means of the arithmetic unit the gesture and / or the viewing direction of the reflected light.
  • the light units are controlled synchronously in response to a synchronization signal by means of the arithmetic units of the sensor devices.
  • FIG. 1 shows a motor vehicle according to an embodiment of the present invention
  • FIG. 2 shows a detection device of the motor vehicle, by means of which a gesture and / or a viewing direction of an occupant is detected;
  • FIG. 3 the detection device of FIG. 2, which a first and a second
  • the motor vehicle 1 shows a motor vehicle 1 according to one embodiment of the present invention in a schematic representation.
  • the motor vehicle 1 is presently designed as a passenger car.
  • the motor vehicle 1 comprises an operating arrangement 2.
  • the operating arrangement 2 in turn comprises a detection device 3
  • Detection device 3 can - as explained in more detail below - a gesture and / or a viewing direction of an occupant 13 of the motor vehicle 1 are detected.
  • a corresponding operating signal can be transmitted to a functional device 4 of the motor vehicle 1 by the detection device 3.
  • the functional device 4 of the motor vehicle 1 may, for example, be
  • the functional device 4 may also be a corresponding adjusting device for opening and / or closing the window, an adjusting device for adjusting the exterior mirrors, an adjusting device for opening and / or closing a sunroof or a convertible top, an adjusting device for adjusting the seats or the like.
  • the functional device may also be part of a driver assistance system of the motor vehicle 1.
  • Fig. 2 shows an embodiment of the detection device 3 in a schematic representation.
  • the detection device comprises 3, a first sensor device 5 and a second sensor device 6. It can also be provided that the detection device 3 comprises more than two sensor devices 5, 6.
  • the sensor devices 5, 6 can be distributed in the interior of the
  • Each of the sensor devices 5, 6 comprises a lighting unit 7, with which light can be emitted.
  • the lighting unit 7 can be designed, for example, to emit light in the visible wave range or light in the infrared wave range.
  • the emitted light 1 1 is reflected by a part of the occupant 13.
  • the reflected light 12 reaches a receiving unit 8 of the respective sensor device 5, 6.
  • One or both of the sensor devices 5, 6 can be designed as cameras which, depending on the reflected light 12, can capture an image of at least part of the occupant 13.
  • One or both of the sensor devices 5, 6 can be designed as so-called 3D cameras or TOF cameras. With these, the spatial position of a part of the occupant 13 can be detected on the basis of the reflected light 12. Thus, for example, a gesture executed with a hand 15 of the occupant 13 can be recognized. Furthermore, for example, a position, an inclination and / or a rotation of a head 14 of the occupant 13 can be detected.
  • Sensor devices 5, 6 can also be designed to detect a viewing direction of the occupant 13, for example, based on the position of the eyes of the occupant 13. This is shown here by way of example by the arrow 16.
  • Each of the sensor devices 5, 6 comprises a computing unit 9. It can
  • the respective computing units 9 serve the lighting units 7 of
  • the computing units 9 are designed to detect the gesture or the viewing direction of the occupant 13 on the basis of the reflected light 12. For this purpose, for example, a corresponding
  • Image processing are performed, which is recognized by the one gestures and / or viewing direction.
  • the sensor devices 5, 6 are connected via a data line 10 for data transmission.
  • the arithmetic units 9 of the respective sensor devices 5, 6 are connected to the data line 10.
  • the data line 10 may be formed, for example, by a data bus of the motor vehicle 1, for example, the CAN bus. about A corresponding synchronization signal can be transmitted to the data bus as a function of which the respective computing units 9 control the light units 7 synchronously.
  • Fig. 3 shows the detection device 3 in a further embodiment.
  • each of the sensor devices 5, 6 has a corresponding sensor board 17, on which the arithmetic units 9 are arranged.
  • each of the sensor devices 5, 6 has a communication interface 19 which is connected to the data line 10. Furthermore, a direct connection between the communication interface and the arithmetic unit 9 is provided via a data line 20.
  • Detection device 3 can be transmitted via the data line, in particular the CAN bus, corresponding data frames.
  • the data line in particular the CAN bus, corresponding data frames.
  • Arithmetic unit 9 of the first sensor device can be defined as a master.
  • Arithmetic unit 9 of the second sensor device 6 can be defined as a slave.
  • a corresponding synchronization signal can then be provided.
  • This synchronization signal may be provided by any data frame transmitted over the data line 10.
  • the arithmetic units 9 can then control the respective lighting units 7.
  • the light units 7 can be controlled simultaneously or offset in time. Due to the synchronous operation of the lighting units 7, influencing of the sensor devices 5, 6 with one another can be avoided in particular.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

The invention relates to a detection apparatus (3) for recognizing a gesture and/or a viewing direction of an occupant (13) of a motor vehicle (1), comprising a first sensor device (5) and comprising at least one second sensor device (6), wherein each of the sensor devices (5, 6) respectively has a lighting unit (7) for emitting light (11), a receiving unit (8) for receiving the light (12) reflected from the occupant (13), and a computing unit (9) for driving the lighting unit (7) and for recognizing the gesture and/or the viewing direction on the basis of the reflected light (12), wherein the computing units (9) of the sensor devices (5, 6) are designed to synchronously drive the lighting units (7) depending on a synchronization signal.

Description

ERFASSUNGSVORRICHTUNG ZUM ERKENNEN EINER GESTE UND/ODER  DETECTION DEVICE FOR DETECTING A GESTURE AND / OR
EINER BLICKRICHTUNG EINES INSASSEN EINES KRAFTFAHRZEUGS DURCH SYNCHRONE ANSTEUERUNG VON LEUCHTEINHEITEN  A VIEW OF AN INSERT OF A MOTOR VEHICLE BY SYNCHRONOUS CONTROL OF LUMINAIRES
Die vorliegende Erfindung betrifft eine Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs, mit einer ersten Sensoreinrichtung und mit zumindest einer zweiten Sensoreinrichtung, wobei jede der Sensoreinrichtungen jeweils eine Leuchteinheit zum Aussenden von Licht, eine The present invention relates to a detection device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle, comprising a first sensor device and at least one second sensor device, each of the sensor devices each having a light emitting unit for emitting light
Empfangseinheit zum Empfangen des von dem Insassen reflektierten Lichts und eine Recheneinheit zum Ansteuern der Leuchteinheit und zum Erkennen der Geste und/oder Blickrichtung anhand des reflektierten Lichts aufweist. Die Erfindung betrifft außerdem eine Bedienanordnung sowie ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Verfahren zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs. Receiving unit for receiving the light reflected by the occupant and a computing unit for driving the lighting unit and for detecting the gesture and / or viewing direction based on the reflected light. The invention also relates to an operating arrangement and a motor vehicle. Finally, the present invention relates to a method for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle.
In modernen Kraftfahrzeugen wird eine Mehrzahl von Erfassungsvorrichtungen verbaut, mit welchen beispielsweise eine Bedienhandlung eines Fahrzeuginsassen erkannt werden kann. So ist es beispielsweise bekannt, mit einer derartigen In modern motor vehicles, a plurality of detection devices is installed, with which, for example, an operating action of a vehicle occupant can be detected. For example, it is known with such
Erfassungsvorrichtung eine Geste eines Fahrzeuginsassen zu detektieren. In diesem Fall umfasst die Erfassungsvorrichtung beispielsweise eine Sensoreinrichtung in Form einer Kamera, mittels welcher die Bediengeste des Insassen erfasst und mit einer Detecting device to detect a gesture of a vehicle occupant. In this case, the detection device comprises, for example, a sensor device in the form of a camera, by means of which detects the operating gesture of the occupant and with a
entsprechenden Recheneinheit ausgewertet werden kann. In Abhängigkeit von der erfassten Geste kann dann ein Bediensignal erzeugt werden, mit dem eine corresponding arithmetic unit can be evaluated. Depending on the detected gesture, an operating signal can then be generated with which a
Funktionseinrichtung des Kraftfahrzeugs angesteuert werden kann. Functional device of the motor vehicle can be controlled.
Weiterhin sind aus dem Stand der Technik Erfassungsvorrichtungen bekannt, mit denen eine Blickrichtung des Fahrers erfasst werden kann. Somit kann beispielsweise erkannt werden, ob ein Fahrer seinen Blick auf die Fahrbahn richtet. Zudem kann anhand der Blickrichtung des Fahrers beispielsweise erkannt werden, auf welche Furthermore, detection devices are known from the prior art with which a viewing direction of the driver can be detected. Thus, it can be recognized, for example, whether a driver directs his view of the road. In addition, it can be recognized on the basis of the driver's line of sight, for example
Funktionseinrichtung des Kraftfahrzeugs der Fahrer seinen Blick richtet. Functional device of the motor vehicle, the driver directs his gaze.
Derartige Erfassungsvorrichtungen zum Erkennen einer Geste und/oder der Blickrichtung eines Fahrzeuginsassen weisen üblicherweise einen optischen Sensor mit einer aktiven Leuchteinheit auf. Insbesondere sind die Erfassungsvorrichtungen als Kameras ausgebildet, wobei die Leuchteinheiten Licht im sichtbaren Wellenlängenbereich oder im infraroten Wellenlängenbereich aussenden. Mit einer Kamera kann beispielsweise ein Bild eines Teils des Insassen, beispielsweise der Hand, aufgenommen werden. Zudem sind so genannte 3D-Kameras bekannt, mit denen eine bildliche Darstellung von Such detection devices for detecting a gesture and / or the viewing direction of a vehicle occupant usually have an optical sensor with an active lighting unit. In particular, the detection devices are designed as cameras, wherein the lighting units emit light in the visible wavelength range or in the infrared wavelength range. With a camera, for example, a Image of a portion of the occupant, such as the hand, are recorded. In addition, so-called 3D cameras are known, with which a pictorial representation of
Entfernungen bereitgestellt werden kann. In diesem Zusammenhang sind beispielsweise sogenannte TOF-Kameras bekannt (TOF - Time of Flight), welche mit der Leuchteinheit Licht aussenden und das von dem Insassen reflektierte Licht mit einer Empfangseinheit erfassen. Anhand der Laufzeit des Lichts kann dann auf die Entfernung zwischen der Erfassungsvorrichtung und zumindest eines Teils des Insassen rückgeschlossen werden. Distances can be provided. In this context, for example, what are known as TOF cameras (TOF - Time of Flight), which emit light with the lighting unit and detect the light reflected by the occupant with a receiving unit. Based on the duration of the light can then be deduced the distance between the detection device and at least a part of the occupant.
Hierzu beschreibt die DE 10 2008 048 325 A1 eine Betätigungseingabeeinheit, welche eine Bildaufnahmeeinrichtung umfasst. Zudem umfasst die Betätigungseingabeeinheit eine Handbereichs-Detektionseinrichtung, die einen Bereich einer menschlichen Hand von einem Bewegungsbild detektiert, das mit der Bildaufnahmeeinrichtung aufgenommen wird. Zudem ist eine Handbetätigungs-Bestimmungsvorrichtung vorgesehen, die eine Handbetätigung aus einer Form und Bewegung des detektierten Handbereichs bestimmt. Schließlich ist eine Menüauswahl-Darstellungseinrichtung vorgesehen, die einen For this purpose, DE 10 2008 048 325 A1 describes an operation input unit, which comprises an image recording device. In addition, the operation input unit includes a hand-range detecting device which detects an area of a human hand from a motion picture taken with the image pick-up device. In addition, a manual operation determining device is provided, which determines a manual operation of a shape and movement of the detected hand area. Finally, a menu selection display device is provided which includes a
Benutzer über einem Menü benachrichtigt, das ausgewählt wird, basierend auf der bestimmten Betätigung. Hierbei kann es auch vorgesehen sein, dass das Notifies user of a menu selected based on the particular operation. It can also be provided that the
Betätigungseingabegerät eine Vielzahl von Bildaufnahmevorrichtungen aufweist. Operation input device has a plurality of image pickup devices.
Des Weiteren in der DE 10 2012 1 10 460 A1 ein Verfahren zum Eingeben eines Furthermore, in DE 10 2012 1 10 460 A1 a method for inputting a
Steuerbefehls für eine Komponente eines Kraftwagens beschrieben. Hierbei wird eine Bildsequenz eines von einem Benutzer geführten Eingabeobjekts in einem vorgegebenen Erfassungsbereich mittels einer Bildgebungseinrichtung erzeugt. Weiterhin wird eine Lageveränderung des Eingabeobjekts auf Grundlage der Bildsequenz erkannt und es wird ein Steuerbefehl an eine Komponente des Kraftwagens auf Grundlage der erkannten Lageveränderung ausgegeben. Dabei kann die Bildgebungseinrichtung zumindest eine infrarot-sensitive Kamera aufweisen. Control command for a component of a motor vehicle described. Here, an image sequence of an input object guided by a user is generated in a predetermined detection area by means of an imaging device. Further, a posture change of the input object is recognized based on the image sequence, and a control command is issued to a component of the motor vehicle based on the detected posture change. In this case, the imaging device may have at least one infrared-sensitive camera.
Darüber hinaus ist in der WO 2014/032822 A2 eine Vorrichtung zur Steuerung von Fahrzeugfunktionen beschrieben. Die Vorrichtung weist zumindest ein Interface auf, mit dem ein Benutzer durch statische und/oder dynamische Benutzergesten interagiert. Zudem ist eine Detektionseinheit vorgesehen, die die statischen und dynamischen Benutzergesten erfasst. Des Weiteren wird mit einer Steuereinheit eine Benutzergeste erfasst und eine dementsprechende Fahrzeugfunktion angesteuert. Dabei kann die Detektionseinheit eine oder mehrer Kameras aufweisen, die insbesondere als TOF- Kameras ausgebildet sind. Mit diesen kann vorzugsweise die Bewegung eines Teil des Kopfes, insbesondere des Auges oder der Nase erkannt werden. Darüber hinaus ist die Detektionseinheit dazu ausgelegt, parallele Gesten eines Benutzers und/oder die Gesten von mehreren Personen gleichzeitig und/oder sequentiell zu erkennen. In addition, a device for controlling vehicle functions is described in WO 2014/032822 A2. The device has at least one interface with which a user interacts through static and / or dynamic user gestures. In addition, a detection unit is provided which detects the static and dynamic user gestures. Furthermore, a user gesture is detected with a control unit and a corresponding vehicle function is activated. In this case, the detection unit may comprise one or more cameras, which are designed in particular as TOF cameras. With these, preferably, the movement of a part of the head, in particular the eye or the nose can be detected. In addition, the Detection unit designed to recognize parallel gestures of a user and / or the gestures of several people simultaneously and / or sequentially.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie eine It is an object of the present invention to provide a solution, such as a
Erfassungsvorrichtung der eingangs genannten Art zum Erfassen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs zuverlässiger betrieben werden kann. Detection device of the type mentioned for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle can be operated reliably.
Diese Aufgabe wird durch eine Erfassungsvorrichtung, durch eine Bedienanordnung, durch ein Kraftfahrzeug sowie durch ein Verfahren mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren. This object is achieved by a detection device, by an operating arrangement, by a motor vehicle and by a method having the features according to the respective independent patent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.
Eine erfindungsgemäße Erfassungsvorrichtung dient zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs. Die Erfassungsvorrichtung umfasst eine erste Sensoreinrichtung und zumindest eine zweite Sensoreinrichtung. Jede der Sensoreinrichtungen weist jeweils eine Leuchteinheit zum Aussenden von Licht auf. Zudem umfasst jede der Sensoreinrichtungen eine Empfangseinheit zum Empfangen des von dem Insassen reflektierten Lichts. Ferner umfasst jede der Sensoreinrichtungen eine Recheneinheit zum Ansteuern der Leuchteinheit und zum Erkennen der Geste und/oder der Blickrichtung anhand des reflektierten Lichts. Dabei sind die Recheneinheiten der Sensoreinrichtungen dazu ausgelegt, die Leuchteinheiten in Abhängigkeit von einem Synchronisationssignal synchron anzusteuern. A detection device according to the invention is used to detect a gesture and / or a viewing direction of an occupant of a motor vehicle. The detection device comprises a first sensor device and at least one second sensor device. Each of the sensor devices has in each case a lighting unit for emitting light. In addition, each of the sensor devices comprises a receiving unit for receiving the light reflected by the occupant. Furthermore, each of the sensor devices comprises a computing unit for driving the lighting unit and for detecting the gesture and / or the viewing direction based on the reflected light. In this case, the arithmetic units of the sensor devices are designed to actuate the light units synchronously in dependence on a synchronization signal.
Die Erfassungsvorrichtung kann in einem Kraftfahrzeug verwendet werden. Mit der Erfassungsvorrichtung kann eine Geste eines Insassen des Kraftfahrzeugs und/oder eine Blickrichtung des Insassen des Kraftfahrzeugs erfasst werden. Die Erfassungsvorrichtung umfasst zumindest zwei Sensoreinrichtungen, die beispielsweise verteilt in dem The detection device can be used in a motor vehicle. With the detection device, a gesture of an occupant of the motor vehicle and / or a viewing direction of the occupant of the motor vehicle can be detected. The detection device comprises at least two sensor devices, for example distributed in the
Innenraum des Kraftfahrzeugs angeordnet sein können. Die Sensoreinrichtungen können einen optischen Sensor oder eine Kamera umfassen. Jede der Sensoreinrichtungen weist eine Leuchteinheit auf. Diese Leuchteinheit kann mittels der Recheneinheit angesteuert werden. Somit kann eine Beleuchtungszeit, also die zeitliche Dauer, während das Licht mit der jeweiligen Leuchteinheit ausgesendet wird, gesteuert werden. Die Interior of the motor vehicle can be arranged. The sensor devices may comprise an optical sensor or a camera. Each of the sensor devices has a lighting unit. This light unit can be controlled by means of the arithmetic unit. Thus, a lighting time, so the time duration, while the light is emitted with the respective lighting unit, are controlled. The
Sensoreinrichtungen weisen also eine aktive Beleuchtung auf. Das von der jeweiligen Leuchteinheit ausgesendete Licht trifft auf einen Teil, beispielsweise ein Körperteil, des Insassen und wird von diesem reflektiert und gelangt wiederum zu der Empfangseinheit der jeweiligen Sensoreinrichtung in Abhängigkeit von dem reflektierten Licht kann dann die Recheneinheit die Geste und/oder die Blickrichtung des Insassen erkennen. Sensor devices thus have active illumination. The light emitted by the respective lighting unit strikes a part, for example a body part, of the occupant and is reflected by the occupant and in turn reaches the receiving unit The arithmetic unit can then recognize the gesture and / or the viewing direction of the occupant of the respective sensor device as a function of the reflected light.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass bei der Verwendung von zumindest zwei Sensoreinrichtungen, die eine aktive Beleuchtung aufweisen, The present invention is based on the finding that, when using at least two sensor devices which have active illumination,
Beeinflussungen der Sensoreinrichtung untereinander auftreten können. Beispielsweise können Interferenzen infolge des jeweiligen von den Leuchteinheiten ausgesendeten Lichts auftreten. Vorliegend können die Recheneinheiten der jeweiligen Influencing the sensor device can occur with each other. For example, interference may occur due to the light emitted by the light units. In the present case, the arithmetic units of the respective
Sensoreinrichtungen ihre Leuchteinheiten in Abhängigkeit von einem Sensor devices their light units depending on a
Synchronisationssignal synchron ansteuern. Beispielsweise können die Leuchteinheiten der zumindest zwei Sensoreinrichtungen somit gleichzeitig in einer bestimmten Control synchronization signal synchronously. For example, the luminous units of the at least two sensor devices can thus simultaneously in a specific
Reihenfolge angesteuert werden. Durch den synchronen Betrieb der jeweiligen Sequence can be controlled. Due to the synchronous operation of the respective
Leuchteinheiten der Sensoreinrichtungen können gegenseitige Störungen der Light units of the sensor devices can mutual interference of
Sensoreinrichtungen durch ihre Leuchteinheiten vermieden werden. Ferner kann zudem eine optimale Ausleuchtung des jeweiligen Detektionsbereichs der Sensoreinrichtungen ermöglicht werden. Sensor devices are avoided by their lighting units. Furthermore, an optimal illumination of the respective detection region of the sensor devices can also be made possible.
Bevorzugt ist die Recheneinheit der ersten Sensoreinrichtung dazu ausgelegt, das Synchronisationssignal bereitzustellen und an die Recheneinheit der zweiten Preferably, the arithmetic unit of the first sensor device is adapted to provide the synchronization signal and to the arithmetic unit of the second
Sensoreinrichtung zu übertragen. Somit dient die Recheneinheit der ersten To transmit sensor device. Thus, the arithmetic unit of the first
Sensoreinrichtung als Master und die Recheneinheit der zweiten Sensoreinrichtung dient als Slave. Die Recheneinheit der ersten Sensoreinrichtung stellt ein entsprechendes Synchronisationssignal bereit. In Abhängigkeit von diesem Synchronisationssignal der Recheneinheit der ersten Sensoreinrichtung kann die Leuchteinheit der ersten Sensor device as a master and the arithmetic unit of the second sensor device serves as a slave. The arithmetic unit of the first sensor device provides a corresponding synchronization signal. In dependence on this synchronization signal of the arithmetic unit of the first sensor device, the lighting unit of the first
Sensoreinrichtung angesteuert werden. Dieses Synchronisationssignal kann zudem eine Information umfassen, wann die Leuchteinheit der zweiten Sensoreinrichtung angesteuert werden soll. Dieses Synchronisationssignal wird dann von der Recheneinheit der ersten Sensoreinrichtung übertragen. In dem Synchronisationssignal kann auch eine zeitliche Verzögerung, die bei der Übertragung von der Recheneinheit der ersten Sensor device can be controlled. This synchronization signal may also include information as to when the lighting unit of the second sensor device is to be controlled. This synchronization signal is then transmitted by the arithmetic unit of the first sensor device. In the synchronization signal can also be a time delay in the transmission of the arithmetic unit of the first
Sensoreinrichtung zu der Recheneinheit der zweiten Sensoreinrichtung entsteht, berücksichtigt werden. Somit kann das Synchronisationssignal mit einer Recheneinheit einer der Sensoreinrichtungen selbst bereitgestellt werden. Sensor device to the arithmetic unit of the second sensor device arises, are taken into account. Thus, the synchronization signal can be provided with a computing unit of one of the sensor devices themselves.
Zudem ist es vorteilhaft, wenn die Recheneinheiten der ersten und der zumindest einen zweiten Sensoreinrichtung über eine Datenleitung zum Übertragen des Moreover, it is advantageous if the computing units of the first and the at least one second sensor device are connected via a data line for transmitting the
Synchronisationssignal verbunden sind. Durch die Datenleitung kann beispielsweise eine direkte Datenverbindung zwischen den Recheneinheiten der beiden Sensoreinrichtungen bereitgestellt werden. Somit kann eine zuverlässige Übertragung des Synchronisationssignals zwischen den Sensoreinrichtungen garantiert werden. Zudem kann durch die direkte Verbindung eine zeitliche Verzögerung beim Übertragen des Synchronisationssignals verhindert oder reduziert werden. Synchronization signal are connected. Through the data line, for example, a direct data connection between the arithmetic units of the two sensor devices to be provided. Thus, a reliable transmission of the synchronization signal between the sensor devices can be guaranteed. In addition, a time delay in transmitting the synchronization signal can be prevented or reduced by the direct connection.
Bevorzugt ist die Datenleitung ein Datenbus des Kraftfahrzeugs, insbesondere ein CAN- Bus. Somit kann die Übertragung des Synchronisationssignals über den bereits bestehenden Datenbus des Kraftfahrzeugs erfolgen. Durch die Übertragung des Preferably, the data line is a data bus of the motor vehicle, in particular a CAN bus. Thus, the transmission of the synchronization signal via the existing data bus of the motor vehicle can take place. By the transfer of the
Synchronisationssignals, in Abhängigkeit von dem die jeweiligen Leuchteinheiten jeder der Sensoreinrichtungen angesteuert werden, kann zuverlässig eine Störung der Sensoreinrichtungen untereinander vermieden werden. Hierbei wird berücksichtigt, dass die zeitliche Dauer zum Bearbeiten eines Datenframes, der über einen Datenbus übertragen wird, deutlich länger ist als die Beleuchtungsdauer, während der eine Synchronization signal, in response to which the respective lighting units of each of the sensor devices are controlled, can be reliably avoided a disturbance of the sensor devices with each other. In this case, it is taken into account that the time duration for processing a data frame which is transmitted via a data bus is significantly longer than the illumination duration, while the one
Leuchteinheit aktiviert ist. Somit kann ein zuverlässiger Betrieb der Erfassungsvorrichtung ermöglicht werden. Light unit is activated. Thus, reliable operation of the detection device can be enabled.
In einer weiteren Ausführungsform ist die erste und/oder die zumindest eine zweite Sensoreinrichtung dazu ausgelegt, anhand einer Laufzeit des ausgesendeten Lichts und des reflektierten Lichts eine Entfernung zu zumindest einem Teil des Insassen zu bestimmen. Mit anderen Worten ist die erste und/oder die zweite Sensoreinrichtung als so genannte 3D-Kamera bzw. TOF-Kamera ausgebildet. Somit kann ein Teil des In a further embodiment, the first and / or the at least one second sensor device is designed to determine a distance to at least a part of the occupant based on a transit time of the emitted light and the reflected light. In other words, the first and / or the second sensor device is designed as a so-called 3D camera or TOF camera. Thus, a part of the
Insassen, beispielsweise eine Hand des Insassen, räumlich erfasst werden. Auf diese Weise können entsprechende Gesten des Fahrzeuginsassen erkannt werden und mittels der Recheneinheit ausgewertet werden. Dabei kann beispielsweise ein Vergleich mit vorbestimmten Gesten, die beispielsweise in der Recheneinheit hinterlegt sind, erfolgen. In Abhängigkeit von der erfassten Geste kann dann ein entsprechendes Bediensignal an eine Funktionseinrichtung des Kraftfahrzeugs übertragen werden. Inmates, for example, a hand of the occupant, are spatially detected. In this way, corresponding gestures of the vehicle occupant can be detected and evaluated by means of the arithmetic unit. In this case, for example, a comparison with predetermined gestures, which are stored for example in the arithmetic unit, take place. Depending on the detected gesture, a corresponding operating signal can then be transmitted to a functional device of the motor vehicle.
In einer weiteren Ausführungsform ist die erste und/oder die zumindest eine zweite Sensoreinrichtung dazu ausgelegt, anhand des reflektierten Lichts ein Bild zumindest eines Teils des Insassen zu erfassen. Mit anderen Worten ist die erste und/oder die zumindest eine zweite Sensoreinrichtung als Kamera ausgebildet, mit der ein Bild des Körperteils des Insassen erfasst werden kann. Insbesondere ist die erste und/oder eine zweite Sensoreinrichtung dazu ausgelegt, eine Blickrichtung des Insassen anhand des erfassten Bilds zu erkennen. Somit kann beispielsweise erkannt werden, ob der Fahrer bzw. der Insasse seinen Blick auf die Fahrbahn richtet. Ferner kann beispielsweise zudem erkannt werden, ob der Fahrer seine Augen geöffnet oder geschlossen hat. Es kann auch vorgesehen sein, dass anhand der Blickrichtung erkannt wird, welche In a further embodiment, the first and / or the at least one second sensor device is designed to detect an image of at least one part of the occupant on the basis of the reflected light. In other words, the first and / or the at least one second sensor device is designed as a camera, with which an image of the body part of the occupant can be detected. In particular, the first and / or a second sensor device is designed to detect a viewing direction of the occupant on the basis of the captured image. Thus, it can be detected, for example, whether the driver or the occupant directs his gaze on the road. Furthermore, it can also be recognized, for example, whether the driver has opened or closed his eyes. It It can also be provided that it is recognized by means of the viewing direction which
Funktionsrichtung des Kraftfahrzeugs der Insasse bedienen möchte. Anhand der erfassten Blickrichtung kann ein entsprechendes Bediensignal ausgegeben werden. Function direction of the motor vehicle to serve the occupant. On the basis of the detected viewing direction, a corresponding operating signal can be output.
Weiterhin ist es vorteilhaft, wenn beim Erfassen der Geste mit der ersten und der zumindest einen zweiten Sensoreinrichtung die Recheneinheit der ersten Furthermore, it is advantageous if, when detecting the gesture with the first and the at least one second sensor device, the arithmetic unit of the first
Sensoreinrichtung und die Recheneinheit der zumindest einen zweiten Sensoreinrichtung die Leuchteinheiten abwechselnd ansteuern. Mit anderen Worten werden die beiden Sensoreinrichtungen zum Erfassen der Geste alternierend betrieben. Auf diese Weise können gegenseitige Beeinflussungen der Sensoreinrichtungen beim Erfassen der Geste verhindert werden. Sensor device and the arithmetic unit of the at least one second sensor device to control the light units alternately. In other words, the two sensor devices for detecting the gesture are operated alternately. In this way, mutual influences of the sensor devices when detecting the gesture can be prevented.
Bei einer weiteren Ausgestaltung wird beim Erfassen der Blickrichtung mit der ersten und der zumindest einen zweiten Sensoreinrichtung die Recheneinheit der ersten In a further refinement, upon detecting the viewing direction with the first and the at least one second sensor device, the arithmetic unit of the first
Sensoreinrichtung und die Rechenrichtung der zumindest einen zweiten Sensor device and the computing direction of the at least one second
Sensoreinrichtung die Leuchteinheiten gleichzeitig ansteuern. Wenn die Blickrichtung des Insassen erkannt werden soll, kann die Synchronisation der Leuchteinheiten derart erfolgen, dass beide Beleuchtungseinheiten gleichzeitig aktiv sind. Auf diese Weise kann eine optimale Ausleuchtung der Detektionsbereiche der jeweiligen Sensoreinrichtungen ermöglicht werden. Somit kann die Blickrichtung des Insassen zuverlässig erfasst werden. Sensor device to control the light units simultaneously. If the line of sight of the occupant is to be recognized, the synchronization of the lighting units can take place such that both lighting units are active at the same time. In this way, an optimal illumination of the detection areas of the respective sensor devices can be made possible. Thus, the viewing direction of the occupant can be reliably detected.
Eine erfindungsgemäße Bedienanordnung für ein Kraftfahrzeug umfasst eine An operating arrangement according to the invention for a motor vehicle comprises a
erfindungsgemäße Erfassungsvorrichtung. Zudem umfasst die Bedienanordnung eine Funktionseinrichtung, welche in Abhängigkeit von der mit der Erfassungsvorrichtung erkannten Geste und/oder Blickrichtung ansteuerbar ist. Wenn mit der Detection device according to the invention. In addition, the operating arrangement comprises a functional device which can be activated as a function of the gesture and / or viewing direction detected by the detection device. If with the
Erfassungsvorrichtung eine Geste und/oder eine Blickrichtung des Insassen erkannt wird, kann ein entsprechendes Bediensignal ausgegeben werden und an die Detecting a gesture and / or a viewing direction of the occupant is detected, a corresponding operating signal can be output and to the
Funktionseinrichtung übertragen werden. Die Funktionseinrichtung kann dann in Function device to be transmitted. The functional device can then be in
Abhängigkeit von diesem Bediensignal angesteuert werden. Die Funktionseinrichtung des Kraftfahrzeugs kann z. B. ein Infotainmentsystem, ein Navigationssystem oder dergleichen sein. Es kann auch vorgesehen sein, dass die Funktionseinrichtung, ein Fensterheber, eine Stelleinrichtung zum Verstellen der Außenspiegel oder dergleichen ist. Die Bedienanordnung kann auch Teil eines Fahrerassistenzsystems des Kraftfahrzeugs sein, das beispielsweise einen Eingriff in die Lenkung und/oder die Bremsanlage durchführt. Dies ist insbesondere vorteilhaft, wenn mittels der Erfassungsvorrichtung erkannt wird, dass der Fahrer einen Blick von der Fahrbahn abwendet und eine Gefahr droht. Depending on this operating signal to be controlled. The functional device of the motor vehicle can, for. As an infotainment system, a navigation system or the like. It can also be provided that the functional device, a window regulator, an adjusting device for adjusting the exterior mirrors or the like. The operating arrangement may also be part of a driver assistance system of the motor vehicle, which performs, for example, an intervention in the steering and / or the brake system. This is particularly advantageous if by means of the detection device It is recognized that the driver avoids looking away from the road and threatens a danger.
Ein erfindungsgemäßes Kraftfahrzeug umfasst eine erfindungsgemäße A motor vehicle according to the invention comprises an inventive
Bedienanordnung. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Operating arrangement. The motor vehicle is designed in particular as a passenger car.
Ein erfindungsgemäßes Verfahren dient zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs. Hierbei wird eine erste An inventive method is used to detect a gesture and / or a viewing direction of an occupant of a motor vehicle. This will be a first
Sensoreinrichtung und zumindest eine zweite Sensoreinrichtung bereitgestellt. Hier wird bei jeder der Sensoreinrichtungen eine Leuchteinheit zum Aussenden von Licht mittels einer Recheneinheit angesteuert, das von dem Insassen oder reflektierte Lichtmittels einer Empfangseinheit empfangen und mittels der Recheneinheit die Geste und/oder die Blickrichtung des reflektierten Lichts erkannt. Die Leuchteinheiten werden in Abhängigkeit von einem Synchronisationssignal mittels der Recheneinheiten der Sensoreinrichtungen synchron angesteuert. Sensor device and at least one second sensor device provided. Here, in each of the sensor devices, a light unit for emitting light is actuated by means of a computing unit which receives from the occupant or reflected light means of a receiving unit and recognizes by means of the arithmetic unit the gesture and / or the viewing direction of the reflected light. The light units are controlled synchronously in response to a synchronization signal by means of the arithmetic units of the sensor devices.
Mit Bezug auf die erfindungsgemäße Erfassungsvorrichtung vorgestellt in bevorzugten Ausführungsformen und deren Vorteile gelten entsprechen für erfindungsgemäße Bedienanordnung, das erfindungsgemäße Kraftfahrzeug sowie das erfindungsgemäße Verfahren. With regard to the detection device according to the invention presented in preferred embodiments and their advantages apply corresponding to inventive operating arrangement, the motor vehicle according to the invention and the inventive method.
Weitere Merkmale und Erfindungen ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Further features and inventions emerge from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures are not only in the respectively indicated combination, but also in others
Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen in Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Combinations or alone, without departing from the scope of the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments in combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen: The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings. Showing:
Fig. 1 ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden 1 shows a motor vehicle according to an embodiment of the present invention
Erfindung in einer schematischen Darstellung;  Invention in a schematic representation;
Fig. 2 eine Erfassungsvorrichtung des Kraftfahrzeugs, mittels welcher eine Geste und/oder eine Blickrichtung eines Insassen erfasst wird; 2 shows a detection device of the motor vehicle, by means of which a gesture and / or a viewing direction of an occupant is detected;
Fig. 3 die Erfassungsvorrichtung gemäß Fig. 2, welche eine erste und eine zweite Fig. 3, the detection device of FIG. 2, which a first and a second
Sensoreinrichtung aufweist.  Having sensor device.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical or functionally identical elements are provided with the same reference numerals.
Fig. 1 zeigt ein Kraftfahrzeug 1 eines gemäß einer Ausführungsform der vorliegenden Erfindung in einer schematischen Darstellung. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst eine Bedienanordnung 2. Die Bedienanordnung 2 umfasst wiederum eine Erfassungsvorrichtung 3. Mit der 1 shows a motor vehicle 1 according to one embodiment of the present invention in a schematic representation. The motor vehicle 1 is presently designed as a passenger car. The motor vehicle 1 comprises an operating arrangement 2. The operating arrangement 2 in turn comprises a detection device 3
Erfassungsvorrichtung 3 kann - wie nachfolgend näher erläutert - eine Geste und/oder eine Blickrichtung eines Insassen 13 des Kraftfahrzeugs 1 erfasst werden. In Detection device 3 can - as explained in more detail below - a gesture and / or a viewing direction of an occupant 13 of the motor vehicle 1 are detected. In
Abhängigkeit von der erfassten Geste und/oder der erfassten Blickrichtung kann von der Erfassungsvorrichtung 3 ein entsprechendes Bediensignal an eine Funktionseinrichtung 4 des Kraftfahrzeugs 1 übertragen werden. Depending on the detected gesture and / or the detected viewing direction, a corresponding operating signal can be transmitted to a functional device 4 of the motor vehicle 1 by the detection device 3.
Die Funktionseinrichtung 4 des Kraftfahrzeugs 1 kann beispielsweise ein The functional device 4 of the motor vehicle 1 may, for example, be
Navigationssystem, ein Infotainmentsystem, eine Klimaanlage oder dergleichen sein. Die Funktionseinrichtung 4 kann auch eine entsprechende Stelleinrichtung zum Öffnen und/oder Schließen der Fenster, eine Stelleinrichtung zum Verstellen der Außenspiegel, eine Stelleinrichtung zum Öffnen und/oder Schließen eines Schiebedachs oder eines Cabrioverdecks, eine Stelleinrichtung zum Verstellen der Sitze oder dergleichen sein. Die Funktionseinrichtung kann auch Teil eines Fahrerassistenzsystems des Kraftfahrzeugs 1 sein. Navigation system, an infotainment system, air conditioning or the like. The functional device 4 may also be a corresponding adjusting device for opening and / or closing the window, an adjusting device for adjusting the exterior mirrors, an adjusting device for opening and / or closing a sunroof or a convertible top, an adjusting device for adjusting the seats or the like. The functional device may also be part of a driver assistance system of the motor vehicle 1.
Fig. 2 zeigt eine Ausführungsform der Erfassungsvorrichtung 3 in einer schematischen Darstellung. In dem vorliegenden Ausführungsbeispiel umfasst die Erfassungsvorrichtung 3 eine erste Sensoreinrichtung 5 und eine zweite Sensoreinrichtung 6. Es kann auch vorgesehen sein, dass die Erfassungsvorrichtung 3 mehr als zwei Sensoreinrichtungen 5, 6 umfasst. Die Sensoreinrichtungen 5, 6 können verteilt in dem Innenraum des Fig. 2 shows an embodiment of the detection device 3 in a schematic representation. In the present embodiment, the detection device comprises 3, a first sensor device 5 and a second sensor device 6. It can also be provided that the detection device 3 comprises more than two sensor devices 5, 6. The sensor devices 5, 6 can be distributed in the interior of the
Kraftfahrzeugs 1 angeordnet sein. Jede der Sensoreinrichtungen 5, 6 umfasst eine Leuchteinheit 7, mit der Licht ausgesendet werden kann. Die Leuchteinheit 7 kann beispielsweise dazu ausgebildet sein, Licht in sichtbarem Wellenbereich oder Licht im infraroten Wellenbereich auszusenden. Das ausgesendete Licht 1 1 wird von einem Teil des Insassen 13 reflektiert. Das reflektierte Licht 12 gelangt zu einer Empfangseinheit 8 der jeweiligen Sensoreinrichtung 5, 6. Be arranged motor vehicle 1. Each of the sensor devices 5, 6 comprises a lighting unit 7, with which light can be emitted. The lighting unit 7 can be designed, for example, to emit light in the visible wave range or light in the infrared wave range. The emitted light 1 1 is reflected by a part of the occupant 13. The reflected light 12 reaches a receiving unit 8 of the respective sensor device 5, 6.
Eine oder beide der Sensoreinrichtungen 5, 6 können als Kameras ausgebildet sein, welche in Abhängigkeit von dem reflektierten Licht 12 ein Bild zumindest eines Teils des Insassen 13 erfassen können. Eine oder beide der Sensoreinrichtungen 5, 6 können als so genannte 3D-Kameras bzw. TOF-Kameras ausgebildet sein. Mit diesen kann anhand des reflektierten Lichts 12 die räumliche Lage eines Teils des Insassen 13 erkannt werden. Somit kann beispielsweise eine Geste, die mit einer Hand 15 des Insassen 13 ausgeführt wird, erkannt werden. Weiterhin kann beispielsweise eine Lage, eine Neigung und/oder eine Drehung eines Kopfs 14 des Insassen 13 erkannt werden. Die One or both of the sensor devices 5, 6 can be designed as cameras which, depending on the reflected light 12, can capture an image of at least part of the occupant 13. One or both of the sensor devices 5, 6 can be designed as so-called 3D cameras or TOF cameras. With these, the spatial position of a part of the occupant 13 can be detected on the basis of the reflected light 12. Thus, for example, a gesture executed with a hand 15 of the occupant 13 can be recognized. Furthermore, for example, a position, an inclination and / or a rotation of a head 14 of the occupant 13 can be detected. The
Sensoreinrichtungen 5, 6 können auch dazu ausgelegt sein, eine Blickrichtung des Insassen 13 beispielsweise anhand der Position der Augen des Insassen 13 zu erkennen. Dies ist vorliegend beispielhaft durch den Pfeil 16 dargestellt. Sensor devices 5, 6 can also be designed to detect a viewing direction of the occupant 13, for example, based on the position of the eyes of the occupant 13. This is shown here by way of example by the arrow 16.
Jede der Sensoreinrichtungen 5, 6 umfasst eine Recheneinheit 9. Sie kann Each of the sensor devices 5, 6 comprises a computing unit 9. It can
beispielsweise durch einen entsprechenden Prozessor, durch einen integrierten for example, by a corresponding processor, by an integrated
Schaltkreis oder einen sogenannten FPGA (Field Programmable Gate Array) gebildet sein. Die jeweiligen Recheneinheiten 9 dienen dazu, die Leuchteinheiten 7 der Circuit or a so-called FPGA (Field Programmable Gate Array) may be formed. The respective computing units 9 serve the lighting units 7 of
Sensoreinrichtungen 5, 6 anzusteuern. Wenn die jeweiligen Leuchteinheiten 7 To control sensor devices 5, 6. If the respective lighting units 7
angesteuert werden, senden diese das Licht 1 1 aus. Zudem sind die Recheneinheiten 9 dazu ausgelegt, anhand des reflektierten Lichts 12 die Geste oder die Blickrichtung des Insassen 13 zu erkennen. Hierzu kann beispielsweise eine entsprechende are driven, they send out the light 1 1. In addition, the computing units 9 are designed to detect the gesture or the viewing direction of the occupant 13 on the basis of the reflected light 12. For this purpose, for example, a corresponding
Bildverarbeitung durchgeführt werden, mit denen anhand der einen Gesten und/oder Blickrichtung erkannt wird. Image processing are performed, which is recognized by the one gestures and / or viewing direction.
Die Sensoreinrichtungen 5, 6 sind über eine Datenleitung 10 zur Datenübertragung verbunden. Insbesondere sind die Recheneinheiten 9 der jeweiligen Sensoreinrichtungen 5, 6 mit der Datenleitung 10 verbunden. Die Datenleitung 10 kann beispielsweise durch einen Datenbus des Kraftfahrzeugs 1 beispielsweise den CAN-Bus, gebildet sein. Über den Datenbus kann ein entsprechendes Synchronisationssignal übertragen werden, in Abhängigkeit von dem die jeweiligen Recheneinheiten 9 die Leuchteinheiten 7 synchron ansteuern. The sensor devices 5, 6 are connected via a data line 10 for data transmission. In particular, the arithmetic units 9 of the respective sensor devices 5, 6 are connected to the data line 10. The data line 10 may be formed, for example, by a data bus of the motor vehicle 1, for example, the CAN bus. about A corresponding synchronization signal can be transmitted to the data bus as a function of which the respective computing units 9 control the light units 7 synchronously.
Fig. 3 zeigt die Erfassungsvorrichtung 3 in einer weiteren Ausführungsform. Hier ist zu erkennen, dass jede der Sensoreinrichtungen 5, 6 ein entsprechendes Sensorboard 17 aufweist, auf welchem die Recheneinheiten 9 angeordnet sind. Zudem ist ein Fig. 3 shows the detection device 3 in a further embodiment. Here it can be seen that each of the sensor devices 5, 6 has a corresponding sensor board 17, on which the arithmetic units 9 are arranged. There is also a
entsprechender Prozessor 18 vorgesehen. Ferner weist jede der Sensoreinrichtungen 5, 6 eine Kommunikationsschnittstelle 19 auf, die mit der Datenleitung 10 verbunden sind. Ferner ist eine direkte Verbindung zwischen der Kommunikationsschnittstelle und der Recheneinheit 9 über eine Datenleitung 20 vorgesehen. Beim Start der corresponding processor 18 is provided. Furthermore, each of the sensor devices 5, 6 has a communication interface 19 which is connected to the data line 10. Furthermore, a direct connection between the communication interface and the arithmetic unit 9 is provided via a data line 20. At the start of the
Erfassungsvorrichtung 3 können über die Datenleitung, insbesondere den CAN-Bus, entsprechende Datenframes übertragen werden. Dabei kann beispielsweise die Detection device 3 can be transmitted via the data line, in particular the CAN bus, corresponding data frames. Here, for example, the
Recheneinheit 9 der ersten Sensoreinrichtung als Master definiert werden. Die Arithmetic unit 9 of the first sensor device can be defined as a master. The
Recheneinheit 9 der zweiten Sensoreinrichtung 6 kann als Slave definiert werden. Arithmetic unit 9 of the second sensor device 6 can be defined as a slave.
Von der Recheneinheit 9 der ersten Sensoreinrichtung 5 kann dann ein entsprechendes Synchronisationssignal bereitgestellt werden. Dieses Synchronisationssignal kann durch einen beliebigen Datenframe, der über die Datenleitung 10 übertragen wird, bereitgestellt werden. In Abhängigkeit von dem übertragenen Synchronisationssignal können dann die Recheneinheiten 9 die jeweiligen Leuchteinheiten 7 ansteuern. Beispielsweise können die Leuchteinheiten 7 gleichzeitig oder zeitlich versetzt angesteuert werden. Durch den synchronen Betrieb der Leuchteinheiten 7 kann insbesondere eine Beeinflussung der Sensoreinrichtungen 5, 6 untereinander vermieden werden. From the arithmetic unit 9 of the first sensor device 5, a corresponding synchronization signal can then be provided. This synchronization signal may be provided by any data frame transmitted over the data line 10. Depending on the transmitted synchronization signal, the arithmetic units 9 can then control the respective lighting units 7. For example, the light units 7 can be controlled simultaneously or offset in time. Due to the synchronous operation of the lighting units 7, influencing of the sensor devices 5, 6 with one another can be avoided in particular.

Claims

Patentansprüche claims
1 . Erfassungsvorrichtung (3) zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen (13) eines Kraftfahrzeugs (1 ), mit einer ersten Sensoreinrichtung (5) und mit zumindest einer zweiten Sensoreinrichtung (6), wobei jede der 1 . Detecting device (3) for detecting a gesture and / or a viewing direction of an occupant (13) of a motor vehicle (1), with a first sensor device (5) and with at least one second sensor device (6), wherein each of
Sensoreinrichtungen (5, 6) jeweils eine Leuchteinheit (7) zum Aussenden von Licht (1 1 ), eine Empfangseinheit (8) zum Empfangen des von dem Insassen (13) reflektierten Lichts (12) und eine Recheneinheit (9) zum Ansteuern der  Sensor devices (5, 6) each have a light unit (7) for emitting light (1 1), a receiving unit (8) for receiving the light (12) reflected by the occupant (13) and a computing unit (9) for driving the
Leuchteinheit (7) und zum Erkennen der Geste und/oder der Blickrichtung anhand des reflektierten Lichts (12) aufweist,  Lighting unit (7) and for detecting the gesture and / or the viewing direction based on the reflected light (12),
dadurch gekennzeichnet, dass  characterized in that
die Recheneinheiten (9) der Sensoreinrichtungen (5, 6) dazu ausgelegt sind, die Leuchteinheiten (7) in Abhängigkeit von einem Synchronisationssignal synchron anzusteuern.  the arithmetic units (9) of the sensor devices (5, 6) are designed to control the lighting units (7) synchronously in response to a synchronization signal.
2. Erfassungsvorrichtung (3) nach Anspruch 1 , 2. detection device (3) according to claim 1,
dadurch gekennzeichnet, dass  characterized in that
die Recheneinheit (9) der ersten Sensoreinrichtung (5) dazu ausgelegt ist, das Synchronisationssignal bereitzustellen und an die Recheneinheit (9) der zweiten Sensoreinrichtung (6) zu übertragen.  the arithmetic unit (9) of the first sensor device (5) is designed to provide the synchronization signal and to transmit it to the arithmetic unit (9) of the second sensor device (6).
3. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, 3. detection device (3) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die Recheneinheiten (9) der ersten und die zumindest eine zweite  the arithmetic units (9) of the first and the at least one second
Sensoreinrichtung (5, 6) über eine Datenleitung (10) zum Übertragen des  Sensor device (5, 6) via a data line (10) for transmitting the
Synchronisationssignals verbunden sind.  Synchronization signal are connected.
4. Erfassungsvorrichtung (3) nach Anspruch 3, 4. detection device (3) according to claim 3,
dadurch gekennzeichnet, dass  characterized in that
die Datenleitung (10) ein Datenbus des Kraftfahrzeugs (1 ), insbesondere ein CAN- Bus, ist.  the data line (10) is a data bus of the motor vehicle (1), in particular a CAN bus.
5. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, 5. Detecting device (3) according to one of the preceding claims,
dadurch gekennzeichnet, dass die erste und/oder die zumindest eine zweite Sensoreinrichtung (5, 6) dazu ausgelegt ist, anhand einer Laufzeit des ausgesendeten Lichts (1 1 ) und des reflektierten Lichts (12) eine Entfernung zu zumindest einem Teil des Insassen (13) zu bestimmen. characterized in that the first and / or the at least one second sensor device (5, 6) is designed to determine a distance to at least a part of the occupant (13) on the basis of a transit time of the emitted light (1 1) and the reflected light (12).
6. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, 6. detection device (3) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die erste und/oder die zumindest eine zweite Sensoreinrichtung (5, 6) dazu ausgelegt ist, anhand des reflektierten Lichts (12) ein Bild zumindest eines Teils des Insassen (13) zu erfassen.  the first and / or the at least one second sensor device (5, 6) is designed to detect an image of at least one part of the occupant (13) on the basis of the reflected light (12).
7. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, 7. Detecting device (3) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
beim Erfassen der Geste mit der ersten und der zumindest einen zweiten  upon detecting the gesture with the first and the at least one second
Sensoreinrichtung (5, 6) die Recheneinheit (9) der ersten Sensoreinrichtung (5) und die Recheneinheit (9) der zumindest einen zweiten Sensoreinrichtung (6) die Leuchteinheiten (7) abwechselnd ansteuern.  Sensor device (5, 6) the arithmetic unit (9) of the first sensor device (5) and the arithmetic unit (9) of the at least one second sensor device (6) to control the light units (7) alternately.
8. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche, 8. detection device (3) according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
beim Erfassen der Blickrichtung mit der ersten und der zumindest einen zweiten Sensoreinrichtung (5, 6) die Recheneinheit (9) der ersten Sensoreinrichtung (5) und die Recheneinheit (9) der zumindest einen zweiten Sensoreinrichtung (6) die Leuchteinheiten (7) gleichzeitig ansteuern.  when detecting the viewing direction with the first and the at least one second sensor device (5, 6), the arithmetic unit (9) of the first sensor device (5) and the arithmetic unit (9) of the at least one second sensor device (6) simultaneously control the light units (7) ,
9. Bedienanordnung (2) für ein Kraftfahrzeug (1 ) mit einer Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche und mit einer Funktionseinrichtung (4), welche in Abhängigkeit von der mit der Erfassungsvorrichtung (3) erkannten Geste und/oder Blickrichtung ansteuerbar ist. 9. operating arrangement (2) for a motor vehicle (1) with a detection device (3) according to one of the preceding claims and with a functional device (4), which in response to the detected with the detection device (3) gesture and / or viewing direction can be controlled ,
10. Kraftfahrzeug (1 ) mit einer Bedienanordnung (2) nach Anspruch 9. 10. Motor vehicle (1) with an operating arrangement (2) according to claim 9.
1 1 . Verfahren zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen (13) eines Kraftfahrzeugs (1 ), bei welchem eine erste Sensoreinrichtung (5) und zumindest eine zweite Sensoreinrichtung (6) bereitgestellt werden, wobei bei jeder der Sensoreinrichtungen (5, 6) eine Leuchteinheit (7) zum Aussenden von Licht (1 1 ) mittels einer Recheneinheit (9) angesteuert wird, das von dem Insassen (13) reflektierte Licht (12) mittels einer Empfangseinheit (8) empfangen wird und mittels der Recheneinheit (9) die Geste und/oder die Blickrichtung anhand des reflektierten Lichts (12) erkannt wird, 1 1. Method for detecting a gesture and / or a viewing direction of an occupant (13) of a motor vehicle (1), in which a first sensor device (5) and at least one second sensor device (6) are provided, wherein each the sensor means (5, 6) a light unit (7) for emitting light (1 1) is controlled by a computing unit (9), the light (12) reflected by the occupant (13) by means of a receiving unit (8) and by means of the arithmetic unit (9) the gesture and / or the viewing direction is detected on the basis of the reflected light (12),
dadurch gekennzeichnet, dass characterized in that
die Leuchteinheiten (7) in Abhängigkeit von einem Synchronisationssignal mittels der Recheneinheiten (9) der Sensoreinrichtungen (5, 6) synchron angesteuert werden. the lighting units (7) are controlled synchronously in response to a synchronization signal by means of the computing units (9) of the sensor devices (5, 6).
EP15805454.4A 2014-12-12 2015-12-04 Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units Withdrawn EP3230828A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014118387.8A DE102014118387A1 (en) 2014-12-12 2014-12-12 Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method
PCT/EP2015/078623 WO2016091736A1 (en) 2014-12-11 2015-12-04 Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units

Publications (1)

Publication Number Publication Date
EP3230828A1 true EP3230828A1 (en) 2017-10-18

Family

ID=54834808

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15805454.4A Withdrawn EP3230828A1 (en) 2014-12-12 2015-12-04 Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units

Country Status (6)

Country Link
US (1) US20170323165A1 (en)
EP (1) EP3230828A1 (en)
JP (1) JP2018503899A (en)
CN (1) CN107209558A (en)
DE (1) DE102014118387A1 (en)
WO (1) WO2016091736A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333921B2 (en) * 2016-11-09 2018-05-30 ファナック株式会社 Imaging apparatus and imaging method
JP7219041B2 (en) * 2018-10-05 2023-02-07 現代自動車株式会社 Gaze detection device and its congestion control method
JP6894880B2 (en) 2018-11-07 2021-06-30 矢崎総業株式会社 Monitoring system
DE102019204481A1 (en) * 2019-03-29 2020-10-01 Deere & Company System for recognizing an operating intention on a manually operated operating unit
DE102021113811A1 (en) 2021-05-28 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft System and method for monitoring the interior of a vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (en) * 2003-11-07 2005-06-02 Denso Corp Device and program for displaying virtual images
JP4760445B2 (en) * 2006-02-27 2011-08-31 トヨタ自動車株式会社 Vehicle alarm device
JP2008294662A (en) * 2007-05-23 2008-12-04 Toyota Motor Corp Communication apparatus and communication system
JP5228439B2 (en) 2007-10-22 2013-07-03 三菱電機株式会社 Operation input device
CN102265261B (en) * 2008-12-22 2014-07-02 丰田自动车株式会社 Electronic control system, electronic control units and method of synchronization control, for vehicles
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
WO2012157793A1 (en) * 2011-05-17 2012-11-22 Lg Electronics Inc. Gesture recognition method and apparatus
US20120312956A1 (en) * 2011-06-11 2012-12-13 Tom Chang Light sensor system for object detection and gesture recognition, and object detection method
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
CN103782255B (en) * 2011-09-09 2016-09-28 泰利斯航空电子学公司 The eye of vehicle audio entertainment system moves Tracing Control
WO2013176265A1 (en) * 2012-05-25 2013-11-28 国立大学法人静岡大学 Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
JP5743221B2 (en) * 2012-06-29 2015-07-01 カシオ計算機株式会社 Wireless synchronization system, wireless device, sensor device, wireless synchronization method, and program
WO2014032822A2 (en) 2012-08-29 2014-03-06 Johnson Controls Gmbh Device and method for controlling vehicle functions by the detection of user interaction
DE102012110460A1 (en) 2012-10-31 2014-04-30 Audi Ag A method for entering a control command for a component of a motor vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016091736A1 *

Also Published As

Publication number Publication date
JP2018503899A (en) 2018-02-08
DE102014118387A1 (en) 2016-06-16
WO2016091736A8 (en) 2017-12-14
CN107209558A (en) 2017-09-26
WO2016091736A1 (en) 2016-06-16
US20170323165A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
DE102013012466B4 (en) Operating system and method for operating a vehicle-side device
WO2016091736A1 (en) Detection apparatus for recognizing a gesture and/or a viewing direction of an occupant of a motor vehicle by synchronous driving of lighting units
DE102014101208A9 (en) mounting module
DE102016220979A1 (en) Method and apparatus for controlling operation of a side and rear surveillance camera system
DE102016206126A1 (en) Method and device for monitoring or controlling a driving task transfer in a self-driving vehicle and system for a driving task transfer in a self-driving vehicle
DE102016113808A1 (en) Lane detection device
EP3790768B1 (en) Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle
DE102013019210A1 (en) Lighting device for the passenger compartment of a motor vehicle and method for controlling the lighting device
DE102018118849A1 (en) Adjustable stacked filters for vehicle cameras
DE102019005448B4 (en) Device and method for controlling a passenger seat in a vehicle
EP3254172B1 (en) Determination of a position of a non-vehicle object in a vehicle
DE102009002979A1 (en) Projection display device for vehicles, comprises sensor units formed to generate projection data from sensor values and location information, where control unit is formed to perform filtering of projection data
DE102013020950B4 (en) Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
WO2018206213A1 (en) Method and apparatus for the spatially resolved detection of an object outside a vehicle with the aid of a sensor installed in a vehicle
WO2016067082A1 (en) Method and device for gesture control in a vehicle
DE102014224484A1 (en) Method for adapting the external appearance of a motor vehicle and motor vehicle with an adaptable external appearance
DE102012018685B4 (en) System and method for controlling at least one vehicle system by means of gestures carried out by a driver
DE10257963A1 (en) Method and device for determining the 3D position of passenger car occupants
DE102015010421A1 (en) Three-dimensional detection of the vehicle interior
DE102016211495A1 (en) Control device for a motor vehicle
EP3583488B1 (en) Automated activation of a vision support system
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE112020003760T5 (en) SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND IMAGING DEVICE
DE102019132460A1 (en) Adjusting a rearview mirror on a vehicle
DE102016011016A1 (en) Method for operating an assistance system

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170609

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20190910

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200121