EP3230828A1 - Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten - Google Patents

Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten

Info

Publication number
EP3230828A1
EP3230828A1 EP15805454.4A EP15805454A EP3230828A1 EP 3230828 A1 EP3230828 A1 EP 3230828A1 EP 15805454 A EP15805454 A EP 15805454A EP 3230828 A1 EP3230828 A1 EP 3230828A1
Authority
EP
European Patent Office
Prior art keywords
occupant
sensor device
light
gesture
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15805454.4A
Other languages
English (en)
French (fr)
Inventor
Thomas HAEBIG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP3230828A1 publication Critical patent/EP3230828A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Definitions

  • the present invention relates to a detection device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle, comprising a first sensor device and at least one second sensor device, each of the sensor devices each having a light emitting unit for emitting light
  • Receiving unit for receiving the light reflected by the occupant and a computing unit for driving the lighting unit and for detecting the gesture and / or viewing direction based on the reflected light.
  • the invention also relates to an operating arrangement and a motor vehicle.
  • the present invention relates to a method for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle.
  • a plurality of detection devices is installed, with which, for example, an operating action of a vehicle occupant can be detected.
  • an operating action of a vehicle occupant can be detected.
  • the detection device comprises, for example, a sensor device in the form of a camera, by means of which detects the operating gesture of the occupant and with a
  • an operating signal can then be generated with which a
  • Functional device of the motor vehicle can be controlled.
  • detection devices are known from the prior art with which a viewing direction of the driver can be detected. Thus, it can be recognized, for example, whether a driver directs his view of the road. In addition, it can be recognized on the basis of the driver's line of sight, for example
  • Such detection devices for detecting a gesture and / or the viewing direction of a vehicle occupant usually have an optical sensor with an active lighting unit.
  • the detection devices are designed as cameras, wherein the lighting units emit light in the visible wavelength range or in the infrared wavelength range.
  • a camera for example, a Image of a portion of the occupant, such as the hand, are recorded.
  • 3D cameras are known, with which a pictorial representation of
  • Distances can be provided.
  • TOF cameras TOF - Time of Flight
  • TOF - Time of Flight what are known as TOF cameras (TOF - Time of Flight), which emit light with the lighting unit and detect the light reflected by the occupant with a receiving unit. Based on the duration of the light can then be deduced the distance between the detection device and at least a part of the occupant.
  • DE 10 2008 048 325 A1 describes an operation input unit, which comprises an image recording device.
  • the operation input unit includes a hand-range detecting device which detects an area of a human hand from a motion picture taken with the image pick-up device.
  • a manual operation determining device is provided, which determines a manual operation of a shape and movement of the detected hand area.
  • a menu selection display device is provided which includes a
  • Operation input device has a plurality of image pickup devices.
  • Control command for a component of a motor vehicle described.
  • an image sequence of an input object guided by a user is generated in a predetermined detection area by means of an imaging device.
  • a posture change of the input object is recognized based on the image sequence, and a control command is issued to a component of the motor vehicle based on the detected posture change.
  • the imaging device may have at least one infrared-sensitive camera.
  • a device for controlling vehicle functions has at least one interface with which a user interacts through static and / or dynamic user gestures.
  • a detection unit is provided which detects the static and dynamic user gestures.
  • a user gesture is detected with a control unit and a corresponding vehicle function is activated.
  • the detection unit may comprise one or more cameras, which are designed in particular as TOF cameras. With these, preferably, the movement of a part of the head, in particular the eye or the nose can be detected.
  • the Detection unit designed to recognize parallel gestures of a user and / or the gestures of several people simultaneously and / or sequentially.
  • Detection device of the type mentioned for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle can be operated reliably.
  • a detection device is used to detect a gesture and / or a viewing direction of an occupant of a motor vehicle.
  • the detection device comprises a first sensor device and at least one second sensor device.
  • Each of the sensor devices has in each case a lighting unit for emitting light.
  • each of the sensor devices comprises a receiving unit for receiving the light reflected by the occupant.
  • each of the sensor devices comprises a computing unit for driving the lighting unit and for detecting the gesture and / or the viewing direction based on the reflected light.
  • the arithmetic units of the sensor devices are designed to actuate the light units synchronously in dependence on a synchronization signal.
  • the detection device can be used in a motor vehicle. With the detection device, a gesture of an occupant of the motor vehicle and / or a viewing direction of the occupant of the motor vehicle can be detected.
  • the detection device comprises at least two sensor devices, for example distributed in the
  • the sensor devices may comprise an optical sensor or a camera.
  • Each of the sensor devices has a lighting unit.
  • This light unit can be controlled by means of the arithmetic unit.
  • a lighting time so the time duration, while the light is emitted with the respective lighting unit, are controlled.
  • Sensor devices thus have active illumination.
  • the light emitted by the respective lighting unit strikes a part, for example a body part, of the occupant and is reflected by the occupant and in turn reaches the receiving unit
  • the arithmetic unit can then recognize the gesture and / or the viewing direction of the occupant of the respective sensor device as a function of the reflected light.
  • the present invention is based on the finding that, when using at least two sensor devices which have active illumination,
  • Influencing the sensor device can occur with each other.
  • interference may occur due to the light emitted by the light units.
  • the luminous units of the at least two sensor devices can thus simultaneously in a specific
  • Sequence can be controlled. Due to the synchronous operation of the respective
  • Light units of the sensor devices can mutual interference of
  • Sensor devices are avoided by their lighting units. Furthermore, an optimal illumination of the respective detection region of the sensor devices can also be made possible.
  • the arithmetic unit of the first sensor device is adapted to provide the synchronization signal and to the arithmetic unit of the second
  • the arithmetic unit of the first sensor device provides a corresponding synchronization signal.
  • the lighting unit of the first sensor device In dependence on this synchronization signal of the arithmetic unit of the first sensor device, the lighting unit of the first
  • This synchronization signal may also include information as to when the lighting unit of the second sensor device is to be controlled.
  • This synchronization signal is then transmitted by the arithmetic unit of the first sensor device.
  • the synchronization signal can also be a time delay in the transmission of the arithmetic unit of the first
  • the synchronization signal can be provided with a computing unit of one of the sensor devices themselves.
  • the computing units of the first and the at least one second sensor device are connected via a data line for transmitting the
  • Synchronization signal are connected.
  • the data line for example, a direct data connection between the arithmetic units of the two sensor devices to be provided.
  • a reliable transmission of the synchronization signal between the sensor devices can be guaranteed.
  • a time delay in transmitting the synchronization signal can be prevented or reduced by the direct connection.
  • the data line is a data bus of the motor vehicle, in particular a CAN bus.
  • the transmission of the synchronization signal via the existing data bus of the motor vehicle can take place.
  • Synchronization signal in response to which the respective lighting units of each of the sensor devices are controlled, can be reliably avoided a disturbance of the sensor devices with each other.
  • the time duration for processing a data frame which is transmitted via a data bus is significantly longer than the illumination duration, while the one
  • Light unit is activated.
  • reliable operation of the detection device can be enabled.
  • the first and / or the at least one second sensor device is designed to determine a distance to at least a part of the occupant based on a transit time of the emitted light and the reflected light.
  • the first and / or the second sensor device is designed as a so-called 3D camera or TOF camera.
  • Inmates for example, a hand of the occupant, are spatially detected.
  • corresponding gestures of the vehicle occupant can be detected and evaluated by means of the arithmetic unit.
  • a comparison with predetermined gestures, which are stored for example in the arithmetic unit take place.
  • a corresponding operating signal can then be transmitted to a functional device of the motor vehicle.
  • the first and / or the at least one second sensor device is designed to detect an image of at least one part of the occupant on the basis of the reflected light.
  • the first and / or the at least one second sensor device is designed as a camera, with which an image of the body part of the occupant can be detected.
  • the first and / or a second sensor device is designed to detect a viewing direction of the occupant on the basis of the captured image.
  • it can be detected, for example, whether the driver or the occupant directs his gaze on the road.
  • it can also be recognized, for example, whether the driver has opened or closed his eyes. It It can also be provided that it is recognized by means of the viewing direction which
  • Function direction of the motor vehicle to serve the occupant On the basis of the detected viewing direction, a corresponding operating signal can be output.
  • Sensor device and the arithmetic unit of the at least one second sensor device to control the light units alternately.
  • the two sensor devices for detecting the gesture are operated alternately. In this way, mutual influences of the sensor devices when detecting the gesture can be prevented.
  • An operating arrangement according to the invention for a motor vehicle comprises a
  • the operating arrangement comprises a functional device which can be activated as a function of the gesture and / or viewing direction detected by the detection device. If with the
  • a corresponding operating signal can be output and to the
  • the functional device to be transmitted.
  • the functional device can then be in
  • the functional device of the motor vehicle can, for. As an infotainment system, a navigation system or the like. It can also be provided that the functional device, a window regulator, an adjusting device for adjusting the exterior mirrors or the like.
  • the operating arrangement may also be part of a driver assistance system of the motor vehicle, which performs, for example, an intervention in the steering and / or the brake system. This is particularly advantageous if by means of the detection device It is recognized that the driver avoids looking away from the road and threatens a danger.
  • a motor vehicle according to the invention comprises an inventive
  • the motor vehicle is designed in particular as a passenger car.
  • An inventive method is used to detect a gesture and / or a viewing direction of an occupant of a motor vehicle. This will be a first
  • a light unit for emitting light is actuated by means of a computing unit which receives from the occupant or reflected light means of a receiving unit and recognizes by means of the arithmetic unit the gesture and / or the viewing direction of the reflected light.
  • the light units are controlled synchronously in response to a synchronization signal by means of the arithmetic units of the sensor devices.
  • FIG. 1 shows a motor vehicle according to an embodiment of the present invention
  • FIG. 2 shows a detection device of the motor vehicle, by means of which a gesture and / or a viewing direction of an occupant is detected;
  • FIG. 3 the detection device of FIG. 2, which a first and a second
  • the motor vehicle 1 shows a motor vehicle 1 according to one embodiment of the present invention in a schematic representation.
  • the motor vehicle 1 is presently designed as a passenger car.
  • the motor vehicle 1 comprises an operating arrangement 2.
  • the operating arrangement 2 in turn comprises a detection device 3
  • Detection device 3 can - as explained in more detail below - a gesture and / or a viewing direction of an occupant 13 of the motor vehicle 1 are detected.
  • a corresponding operating signal can be transmitted to a functional device 4 of the motor vehicle 1 by the detection device 3.
  • the functional device 4 of the motor vehicle 1 may, for example, be
  • the functional device 4 may also be a corresponding adjusting device for opening and / or closing the window, an adjusting device for adjusting the exterior mirrors, an adjusting device for opening and / or closing a sunroof or a convertible top, an adjusting device for adjusting the seats or the like.
  • the functional device may also be part of a driver assistance system of the motor vehicle 1.
  • Fig. 2 shows an embodiment of the detection device 3 in a schematic representation.
  • the detection device comprises 3, a first sensor device 5 and a second sensor device 6. It can also be provided that the detection device 3 comprises more than two sensor devices 5, 6.
  • the sensor devices 5, 6 can be distributed in the interior of the
  • Each of the sensor devices 5, 6 comprises a lighting unit 7, with which light can be emitted.
  • the lighting unit 7 can be designed, for example, to emit light in the visible wave range or light in the infrared wave range.
  • the emitted light 1 1 is reflected by a part of the occupant 13.
  • the reflected light 12 reaches a receiving unit 8 of the respective sensor device 5, 6.
  • One or both of the sensor devices 5, 6 can be designed as cameras which, depending on the reflected light 12, can capture an image of at least part of the occupant 13.
  • One or both of the sensor devices 5, 6 can be designed as so-called 3D cameras or TOF cameras. With these, the spatial position of a part of the occupant 13 can be detected on the basis of the reflected light 12. Thus, for example, a gesture executed with a hand 15 of the occupant 13 can be recognized. Furthermore, for example, a position, an inclination and / or a rotation of a head 14 of the occupant 13 can be detected.
  • Sensor devices 5, 6 can also be designed to detect a viewing direction of the occupant 13, for example, based on the position of the eyes of the occupant 13. This is shown here by way of example by the arrow 16.
  • Each of the sensor devices 5, 6 comprises a computing unit 9. It can
  • the respective computing units 9 serve the lighting units 7 of
  • the computing units 9 are designed to detect the gesture or the viewing direction of the occupant 13 on the basis of the reflected light 12. For this purpose, for example, a corresponding
  • Image processing are performed, which is recognized by the one gestures and / or viewing direction.
  • the sensor devices 5, 6 are connected via a data line 10 for data transmission.
  • the arithmetic units 9 of the respective sensor devices 5, 6 are connected to the data line 10.
  • the data line 10 may be formed, for example, by a data bus of the motor vehicle 1, for example, the CAN bus. about A corresponding synchronization signal can be transmitted to the data bus as a function of which the respective computing units 9 control the light units 7 synchronously.
  • Fig. 3 shows the detection device 3 in a further embodiment.
  • each of the sensor devices 5, 6 has a corresponding sensor board 17, on which the arithmetic units 9 are arranged.
  • each of the sensor devices 5, 6 has a communication interface 19 which is connected to the data line 10. Furthermore, a direct connection between the communication interface and the arithmetic unit 9 is provided via a data line 20.
  • Detection device 3 can be transmitted via the data line, in particular the CAN bus, corresponding data frames.
  • the data line in particular the CAN bus, corresponding data frames.
  • Arithmetic unit 9 of the first sensor device can be defined as a master.
  • Arithmetic unit 9 of the second sensor device 6 can be defined as a slave.
  • a corresponding synchronization signal can then be provided.
  • This synchronization signal may be provided by any data frame transmitted over the data line 10.
  • the arithmetic units 9 can then control the respective lighting units 7.
  • the light units 7 can be controlled simultaneously or offset in time. Due to the synchronous operation of the lighting units 7, influencing of the sensor devices 5, 6 with one another can be avoided in particular.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Die Erfindung betrifft eine Erfassungsvorrichtung (3) zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen (13) eines Kraftfahrzeugs (1), mit einer ersten Sensoreinrichtung (5) und mit zumindest einer zweiten Sensoreinrichtung (6), wobei jede der Sensoreinrichtungen (5, 6) jeweils eine Leuchteinheit (7) zum Aussenden von Licht (11), eine Empfangseinheit (8) zum Empfangen des von dem Insassen (13) reflektierten Lichts (12) und eine Recheneinheit (9) zum Ansteuern der Leuchteinheit (7) und zum Erkennen der Geste und/oder der Blickrichtung anhand des reflektierten Lichts (12) aufweist, wobei die Recheneinheiten (9) der Sensoreinrichtungen (5, 6) dazu ausgelegt sind, die Leuchteinheiten (7) in Abhängigkeit von einem Synchronisationssignal synchron anzusteuern.

Description

ERFASSUNGSVORRICHTUNG ZUM ERKENNEN EINER GESTE UND/ODER
EINER BLICKRICHTUNG EINES INSASSEN EINES KRAFTFAHRZEUGS DURCH SYNCHRONE ANSTEUERUNG VON LEUCHTEINHEITEN
Die vorliegende Erfindung betrifft eine Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs, mit einer ersten Sensoreinrichtung und mit zumindest einer zweiten Sensoreinrichtung, wobei jede der Sensoreinrichtungen jeweils eine Leuchteinheit zum Aussenden von Licht, eine
Empfangseinheit zum Empfangen des von dem Insassen reflektierten Lichts und eine Recheneinheit zum Ansteuern der Leuchteinheit und zum Erkennen der Geste und/oder Blickrichtung anhand des reflektierten Lichts aufweist. Die Erfindung betrifft außerdem eine Bedienanordnung sowie ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Verfahren zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs.
In modernen Kraftfahrzeugen wird eine Mehrzahl von Erfassungsvorrichtungen verbaut, mit welchen beispielsweise eine Bedienhandlung eines Fahrzeuginsassen erkannt werden kann. So ist es beispielsweise bekannt, mit einer derartigen
Erfassungsvorrichtung eine Geste eines Fahrzeuginsassen zu detektieren. In diesem Fall umfasst die Erfassungsvorrichtung beispielsweise eine Sensoreinrichtung in Form einer Kamera, mittels welcher die Bediengeste des Insassen erfasst und mit einer
entsprechenden Recheneinheit ausgewertet werden kann. In Abhängigkeit von der erfassten Geste kann dann ein Bediensignal erzeugt werden, mit dem eine
Funktionseinrichtung des Kraftfahrzeugs angesteuert werden kann.
Weiterhin sind aus dem Stand der Technik Erfassungsvorrichtungen bekannt, mit denen eine Blickrichtung des Fahrers erfasst werden kann. Somit kann beispielsweise erkannt werden, ob ein Fahrer seinen Blick auf die Fahrbahn richtet. Zudem kann anhand der Blickrichtung des Fahrers beispielsweise erkannt werden, auf welche
Funktionseinrichtung des Kraftfahrzeugs der Fahrer seinen Blick richtet.
Derartige Erfassungsvorrichtungen zum Erkennen einer Geste und/oder der Blickrichtung eines Fahrzeuginsassen weisen üblicherweise einen optischen Sensor mit einer aktiven Leuchteinheit auf. Insbesondere sind die Erfassungsvorrichtungen als Kameras ausgebildet, wobei die Leuchteinheiten Licht im sichtbaren Wellenlängenbereich oder im infraroten Wellenlängenbereich aussenden. Mit einer Kamera kann beispielsweise ein Bild eines Teils des Insassen, beispielsweise der Hand, aufgenommen werden. Zudem sind so genannte 3D-Kameras bekannt, mit denen eine bildliche Darstellung von
Entfernungen bereitgestellt werden kann. In diesem Zusammenhang sind beispielsweise sogenannte TOF-Kameras bekannt (TOF - Time of Flight), welche mit der Leuchteinheit Licht aussenden und das von dem Insassen reflektierte Licht mit einer Empfangseinheit erfassen. Anhand der Laufzeit des Lichts kann dann auf die Entfernung zwischen der Erfassungsvorrichtung und zumindest eines Teils des Insassen rückgeschlossen werden.
Hierzu beschreibt die DE 10 2008 048 325 A1 eine Betätigungseingabeeinheit, welche eine Bildaufnahmeeinrichtung umfasst. Zudem umfasst die Betätigungseingabeeinheit eine Handbereichs-Detektionseinrichtung, die einen Bereich einer menschlichen Hand von einem Bewegungsbild detektiert, das mit der Bildaufnahmeeinrichtung aufgenommen wird. Zudem ist eine Handbetätigungs-Bestimmungsvorrichtung vorgesehen, die eine Handbetätigung aus einer Form und Bewegung des detektierten Handbereichs bestimmt. Schließlich ist eine Menüauswahl-Darstellungseinrichtung vorgesehen, die einen
Benutzer über einem Menü benachrichtigt, das ausgewählt wird, basierend auf der bestimmten Betätigung. Hierbei kann es auch vorgesehen sein, dass das
Betätigungseingabegerät eine Vielzahl von Bildaufnahmevorrichtungen aufweist.
Des Weiteren in der DE 10 2012 1 10 460 A1 ein Verfahren zum Eingeben eines
Steuerbefehls für eine Komponente eines Kraftwagens beschrieben. Hierbei wird eine Bildsequenz eines von einem Benutzer geführten Eingabeobjekts in einem vorgegebenen Erfassungsbereich mittels einer Bildgebungseinrichtung erzeugt. Weiterhin wird eine Lageveränderung des Eingabeobjekts auf Grundlage der Bildsequenz erkannt und es wird ein Steuerbefehl an eine Komponente des Kraftwagens auf Grundlage der erkannten Lageveränderung ausgegeben. Dabei kann die Bildgebungseinrichtung zumindest eine infrarot-sensitive Kamera aufweisen.
Darüber hinaus ist in der WO 2014/032822 A2 eine Vorrichtung zur Steuerung von Fahrzeugfunktionen beschrieben. Die Vorrichtung weist zumindest ein Interface auf, mit dem ein Benutzer durch statische und/oder dynamische Benutzergesten interagiert. Zudem ist eine Detektionseinheit vorgesehen, die die statischen und dynamischen Benutzergesten erfasst. Des Weiteren wird mit einer Steuereinheit eine Benutzergeste erfasst und eine dementsprechende Fahrzeugfunktion angesteuert. Dabei kann die Detektionseinheit eine oder mehrer Kameras aufweisen, die insbesondere als TOF- Kameras ausgebildet sind. Mit diesen kann vorzugsweise die Bewegung eines Teil des Kopfes, insbesondere des Auges oder der Nase erkannt werden. Darüber hinaus ist die Detektionseinheit dazu ausgelegt, parallele Gesten eines Benutzers und/oder die Gesten von mehreren Personen gleichzeitig und/oder sequentiell zu erkennen.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie eine
Erfassungsvorrichtung der eingangs genannten Art zum Erfassen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs zuverlässiger betrieben werden kann.
Diese Aufgabe wird durch eine Erfassungsvorrichtung, durch eine Bedienanordnung, durch ein Kraftfahrzeug sowie durch ein Verfahren mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Eine erfindungsgemäße Erfassungsvorrichtung dient zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs. Die Erfassungsvorrichtung umfasst eine erste Sensoreinrichtung und zumindest eine zweite Sensoreinrichtung. Jede der Sensoreinrichtungen weist jeweils eine Leuchteinheit zum Aussenden von Licht auf. Zudem umfasst jede der Sensoreinrichtungen eine Empfangseinheit zum Empfangen des von dem Insassen reflektierten Lichts. Ferner umfasst jede der Sensoreinrichtungen eine Recheneinheit zum Ansteuern der Leuchteinheit und zum Erkennen der Geste und/oder der Blickrichtung anhand des reflektierten Lichts. Dabei sind die Recheneinheiten der Sensoreinrichtungen dazu ausgelegt, die Leuchteinheiten in Abhängigkeit von einem Synchronisationssignal synchron anzusteuern.
Die Erfassungsvorrichtung kann in einem Kraftfahrzeug verwendet werden. Mit der Erfassungsvorrichtung kann eine Geste eines Insassen des Kraftfahrzeugs und/oder eine Blickrichtung des Insassen des Kraftfahrzeugs erfasst werden. Die Erfassungsvorrichtung umfasst zumindest zwei Sensoreinrichtungen, die beispielsweise verteilt in dem
Innenraum des Kraftfahrzeugs angeordnet sein können. Die Sensoreinrichtungen können einen optischen Sensor oder eine Kamera umfassen. Jede der Sensoreinrichtungen weist eine Leuchteinheit auf. Diese Leuchteinheit kann mittels der Recheneinheit angesteuert werden. Somit kann eine Beleuchtungszeit, also die zeitliche Dauer, während das Licht mit der jeweiligen Leuchteinheit ausgesendet wird, gesteuert werden. Die
Sensoreinrichtungen weisen also eine aktive Beleuchtung auf. Das von der jeweiligen Leuchteinheit ausgesendete Licht trifft auf einen Teil, beispielsweise ein Körperteil, des Insassen und wird von diesem reflektiert und gelangt wiederum zu der Empfangseinheit der jeweiligen Sensoreinrichtung in Abhängigkeit von dem reflektierten Licht kann dann die Recheneinheit die Geste und/oder die Blickrichtung des Insassen erkennen.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass bei der Verwendung von zumindest zwei Sensoreinrichtungen, die eine aktive Beleuchtung aufweisen,
Beeinflussungen der Sensoreinrichtung untereinander auftreten können. Beispielsweise können Interferenzen infolge des jeweiligen von den Leuchteinheiten ausgesendeten Lichts auftreten. Vorliegend können die Recheneinheiten der jeweiligen
Sensoreinrichtungen ihre Leuchteinheiten in Abhängigkeit von einem
Synchronisationssignal synchron ansteuern. Beispielsweise können die Leuchteinheiten der zumindest zwei Sensoreinrichtungen somit gleichzeitig in einer bestimmten
Reihenfolge angesteuert werden. Durch den synchronen Betrieb der jeweiligen
Leuchteinheiten der Sensoreinrichtungen können gegenseitige Störungen der
Sensoreinrichtungen durch ihre Leuchteinheiten vermieden werden. Ferner kann zudem eine optimale Ausleuchtung des jeweiligen Detektionsbereichs der Sensoreinrichtungen ermöglicht werden.
Bevorzugt ist die Recheneinheit der ersten Sensoreinrichtung dazu ausgelegt, das Synchronisationssignal bereitzustellen und an die Recheneinheit der zweiten
Sensoreinrichtung zu übertragen. Somit dient die Recheneinheit der ersten
Sensoreinrichtung als Master und die Recheneinheit der zweiten Sensoreinrichtung dient als Slave. Die Recheneinheit der ersten Sensoreinrichtung stellt ein entsprechendes Synchronisationssignal bereit. In Abhängigkeit von diesem Synchronisationssignal der Recheneinheit der ersten Sensoreinrichtung kann die Leuchteinheit der ersten
Sensoreinrichtung angesteuert werden. Dieses Synchronisationssignal kann zudem eine Information umfassen, wann die Leuchteinheit der zweiten Sensoreinrichtung angesteuert werden soll. Dieses Synchronisationssignal wird dann von der Recheneinheit der ersten Sensoreinrichtung übertragen. In dem Synchronisationssignal kann auch eine zeitliche Verzögerung, die bei der Übertragung von der Recheneinheit der ersten
Sensoreinrichtung zu der Recheneinheit der zweiten Sensoreinrichtung entsteht, berücksichtigt werden. Somit kann das Synchronisationssignal mit einer Recheneinheit einer der Sensoreinrichtungen selbst bereitgestellt werden.
Zudem ist es vorteilhaft, wenn die Recheneinheiten der ersten und der zumindest einen zweiten Sensoreinrichtung über eine Datenleitung zum Übertragen des
Synchronisationssignal verbunden sind. Durch die Datenleitung kann beispielsweise eine direkte Datenverbindung zwischen den Recheneinheiten der beiden Sensoreinrichtungen bereitgestellt werden. Somit kann eine zuverlässige Übertragung des Synchronisationssignals zwischen den Sensoreinrichtungen garantiert werden. Zudem kann durch die direkte Verbindung eine zeitliche Verzögerung beim Übertragen des Synchronisationssignals verhindert oder reduziert werden.
Bevorzugt ist die Datenleitung ein Datenbus des Kraftfahrzeugs, insbesondere ein CAN- Bus. Somit kann die Übertragung des Synchronisationssignals über den bereits bestehenden Datenbus des Kraftfahrzeugs erfolgen. Durch die Übertragung des
Synchronisationssignals, in Abhängigkeit von dem die jeweiligen Leuchteinheiten jeder der Sensoreinrichtungen angesteuert werden, kann zuverlässig eine Störung der Sensoreinrichtungen untereinander vermieden werden. Hierbei wird berücksichtigt, dass die zeitliche Dauer zum Bearbeiten eines Datenframes, der über einen Datenbus übertragen wird, deutlich länger ist als die Beleuchtungsdauer, während der eine
Leuchteinheit aktiviert ist. Somit kann ein zuverlässiger Betrieb der Erfassungsvorrichtung ermöglicht werden.
In einer weiteren Ausführungsform ist die erste und/oder die zumindest eine zweite Sensoreinrichtung dazu ausgelegt, anhand einer Laufzeit des ausgesendeten Lichts und des reflektierten Lichts eine Entfernung zu zumindest einem Teil des Insassen zu bestimmen. Mit anderen Worten ist die erste und/oder die zweite Sensoreinrichtung als so genannte 3D-Kamera bzw. TOF-Kamera ausgebildet. Somit kann ein Teil des
Insassen, beispielsweise eine Hand des Insassen, räumlich erfasst werden. Auf diese Weise können entsprechende Gesten des Fahrzeuginsassen erkannt werden und mittels der Recheneinheit ausgewertet werden. Dabei kann beispielsweise ein Vergleich mit vorbestimmten Gesten, die beispielsweise in der Recheneinheit hinterlegt sind, erfolgen. In Abhängigkeit von der erfassten Geste kann dann ein entsprechendes Bediensignal an eine Funktionseinrichtung des Kraftfahrzeugs übertragen werden.
In einer weiteren Ausführungsform ist die erste und/oder die zumindest eine zweite Sensoreinrichtung dazu ausgelegt, anhand des reflektierten Lichts ein Bild zumindest eines Teils des Insassen zu erfassen. Mit anderen Worten ist die erste und/oder die zumindest eine zweite Sensoreinrichtung als Kamera ausgebildet, mit der ein Bild des Körperteils des Insassen erfasst werden kann. Insbesondere ist die erste und/oder eine zweite Sensoreinrichtung dazu ausgelegt, eine Blickrichtung des Insassen anhand des erfassten Bilds zu erkennen. Somit kann beispielsweise erkannt werden, ob der Fahrer bzw. der Insasse seinen Blick auf die Fahrbahn richtet. Ferner kann beispielsweise zudem erkannt werden, ob der Fahrer seine Augen geöffnet oder geschlossen hat. Es kann auch vorgesehen sein, dass anhand der Blickrichtung erkannt wird, welche
Funktionsrichtung des Kraftfahrzeugs der Insasse bedienen möchte. Anhand der erfassten Blickrichtung kann ein entsprechendes Bediensignal ausgegeben werden.
Weiterhin ist es vorteilhaft, wenn beim Erfassen der Geste mit der ersten und der zumindest einen zweiten Sensoreinrichtung die Recheneinheit der ersten
Sensoreinrichtung und die Recheneinheit der zumindest einen zweiten Sensoreinrichtung die Leuchteinheiten abwechselnd ansteuern. Mit anderen Worten werden die beiden Sensoreinrichtungen zum Erfassen der Geste alternierend betrieben. Auf diese Weise können gegenseitige Beeinflussungen der Sensoreinrichtungen beim Erfassen der Geste verhindert werden.
Bei einer weiteren Ausgestaltung wird beim Erfassen der Blickrichtung mit der ersten und der zumindest einen zweiten Sensoreinrichtung die Recheneinheit der ersten
Sensoreinrichtung und die Rechenrichtung der zumindest einen zweiten
Sensoreinrichtung die Leuchteinheiten gleichzeitig ansteuern. Wenn die Blickrichtung des Insassen erkannt werden soll, kann die Synchronisation der Leuchteinheiten derart erfolgen, dass beide Beleuchtungseinheiten gleichzeitig aktiv sind. Auf diese Weise kann eine optimale Ausleuchtung der Detektionsbereiche der jeweiligen Sensoreinrichtungen ermöglicht werden. Somit kann die Blickrichtung des Insassen zuverlässig erfasst werden.
Eine erfindungsgemäße Bedienanordnung für ein Kraftfahrzeug umfasst eine
erfindungsgemäße Erfassungsvorrichtung. Zudem umfasst die Bedienanordnung eine Funktionseinrichtung, welche in Abhängigkeit von der mit der Erfassungsvorrichtung erkannten Geste und/oder Blickrichtung ansteuerbar ist. Wenn mit der
Erfassungsvorrichtung eine Geste und/oder eine Blickrichtung des Insassen erkannt wird, kann ein entsprechendes Bediensignal ausgegeben werden und an die
Funktionseinrichtung übertragen werden. Die Funktionseinrichtung kann dann in
Abhängigkeit von diesem Bediensignal angesteuert werden. Die Funktionseinrichtung des Kraftfahrzeugs kann z. B. ein Infotainmentsystem, ein Navigationssystem oder dergleichen sein. Es kann auch vorgesehen sein, dass die Funktionseinrichtung, ein Fensterheber, eine Stelleinrichtung zum Verstellen der Außenspiegel oder dergleichen ist. Die Bedienanordnung kann auch Teil eines Fahrerassistenzsystems des Kraftfahrzeugs sein, das beispielsweise einen Eingriff in die Lenkung und/oder die Bremsanlage durchführt. Dies ist insbesondere vorteilhaft, wenn mittels der Erfassungsvorrichtung erkannt wird, dass der Fahrer einen Blick von der Fahrbahn abwendet und eine Gefahr droht.
Ein erfindungsgemäßes Kraftfahrzeug umfasst eine erfindungsgemäße
Bedienanordnung. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
Ein erfindungsgemäßes Verfahren dient zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs. Hierbei wird eine erste
Sensoreinrichtung und zumindest eine zweite Sensoreinrichtung bereitgestellt. Hier wird bei jeder der Sensoreinrichtungen eine Leuchteinheit zum Aussenden von Licht mittels einer Recheneinheit angesteuert, das von dem Insassen oder reflektierte Lichtmittels einer Empfangseinheit empfangen und mittels der Recheneinheit die Geste und/oder die Blickrichtung des reflektierten Lichts erkannt. Die Leuchteinheiten werden in Abhängigkeit von einem Synchronisationssignal mittels der Recheneinheiten der Sensoreinrichtungen synchron angesteuert.
Mit Bezug auf die erfindungsgemäße Erfassungsvorrichtung vorgestellt in bevorzugten Ausführungsformen und deren Vorteile gelten entsprechen für erfindungsgemäße Bedienanordnung, das erfindungsgemäße Kraftfahrzeug sowie das erfindungsgemäße Verfahren.
Weitere Merkmale und Erfindungen ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen
Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen in Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:
Fig. 1 ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden
Erfindung in einer schematischen Darstellung;
Fig. 2 eine Erfassungsvorrichtung des Kraftfahrzeugs, mittels welcher eine Geste und/oder eine Blickrichtung eines Insassen erfasst wird;
Fig. 3 die Erfassungsvorrichtung gemäß Fig. 2, welche eine erste und eine zweite
Sensoreinrichtung aufweist.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Fig. 1 zeigt ein Kraftfahrzeug 1 eines gemäß einer Ausführungsform der vorliegenden Erfindung in einer schematischen Darstellung. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst eine Bedienanordnung 2. Die Bedienanordnung 2 umfasst wiederum eine Erfassungsvorrichtung 3. Mit der
Erfassungsvorrichtung 3 kann - wie nachfolgend näher erläutert - eine Geste und/oder eine Blickrichtung eines Insassen 13 des Kraftfahrzeugs 1 erfasst werden. In
Abhängigkeit von der erfassten Geste und/oder der erfassten Blickrichtung kann von der Erfassungsvorrichtung 3 ein entsprechendes Bediensignal an eine Funktionseinrichtung 4 des Kraftfahrzeugs 1 übertragen werden.
Die Funktionseinrichtung 4 des Kraftfahrzeugs 1 kann beispielsweise ein
Navigationssystem, ein Infotainmentsystem, eine Klimaanlage oder dergleichen sein. Die Funktionseinrichtung 4 kann auch eine entsprechende Stelleinrichtung zum Öffnen und/oder Schließen der Fenster, eine Stelleinrichtung zum Verstellen der Außenspiegel, eine Stelleinrichtung zum Öffnen und/oder Schließen eines Schiebedachs oder eines Cabrioverdecks, eine Stelleinrichtung zum Verstellen der Sitze oder dergleichen sein. Die Funktionseinrichtung kann auch Teil eines Fahrerassistenzsystems des Kraftfahrzeugs 1 sein.
Fig. 2 zeigt eine Ausführungsform der Erfassungsvorrichtung 3 in einer schematischen Darstellung. In dem vorliegenden Ausführungsbeispiel umfasst die Erfassungsvorrichtung 3 eine erste Sensoreinrichtung 5 und eine zweite Sensoreinrichtung 6. Es kann auch vorgesehen sein, dass die Erfassungsvorrichtung 3 mehr als zwei Sensoreinrichtungen 5, 6 umfasst. Die Sensoreinrichtungen 5, 6 können verteilt in dem Innenraum des
Kraftfahrzeugs 1 angeordnet sein. Jede der Sensoreinrichtungen 5, 6 umfasst eine Leuchteinheit 7, mit der Licht ausgesendet werden kann. Die Leuchteinheit 7 kann beispielsweise dazu ausgebildet sein, Licht in sichtbarem Wellenbereich oder Licht im infraroten Wellenbereich auszusenden. Das ausgesendete Licht 1 1 wird von einem Teil des Insassen 13 reflektiert. Das reflektierte Licht 12 gelangt zu einer Empfangseinheit 8 der jeweiligen Sensoreinrichtung 5, 6.
Eine oder beide der Sensoreinrichtungen 5, 6 können als Kameras ausgebildet sein, welche in Abhängigkeit von dem reflektierten Licht 12 ein Bild zumindest eines Teils des Insassen 13 erfassen können. Eine oder beide der Sensoreinrichtungen 5, 6 können als so genannte 3D-Kameras bzw. TOF-Kameras ausgebildet sein. Mit diesen kann anhand des reflektierten Lichts 12 die räumliche Lage eines Teils des Insassen 13 erkannt werden. Somit kann beispielsweise eine Geste, die mit einer Hand 15 des Insassen 13 ausgeführt wird, erkannt werden. Weiterhin kann beispielsweise eine Lage, eine Neigung und/oder eine Drehung eines Kopfs 14 des Insassen 13 erkannt werden. Die
Sensoreinrichtungen 5, 6 können auch dazu ausgelegt sein, eine Blickrichtung des Insassen 13 beispielsweise anhand der Position der Augen des Insassen 13 zu erkennen. Dies ist vorliegend beispielhaft durch den Pfeil 16 dargestellt.
Jede der Sensoreinrichtungen 5, 6 umfasst eine Recheneinheit 9. Sie kann
beispielsweise durch einen entsprechenden Prozessor, durch einen integrierten
Schaltkreis oder einen sogenannten FPGA (Field Programmable Gate Array) gebildet sein. Die jeweiligen Recheneinheiten 9 dienen dazu, die Leuchteinheiten 7 der
Sensoreinrichtungen 5, 6 anzusteuern. Wenn die jeweiligen Leuchteinheiten 7
angesteuert werden, senden diese das Licht 1 1 aus. Zudem sind die Recheneinheiten 9 dazu ausgelegt, anhand des reflektierten Lichts 12 die Geste oder die Blickrichtung des Insassen 13 zu erkennen. Hierzu kann beispielsweise eine entsprechende
Bildverarbeitung durchgeführt werden, mit denen anhand der einen Gesten und/oder Blickrichtung erkannt wird.
Die Sensoreinrichtungen 5, 6 sind über eine Datenleitung 10 zur Datenübertragung verbunden. Insbesondere sind die Recheneinheiten 9 der jeweiligen Sensoreinrichtungen 5, 6 mit der Datenleitung 10 verbunden. Die Datenleitung 10 kann beispielsweise durch einen Datenbus des Kraftfahrzeugs 1 beispielsweise den CAN-Bus, gebildet sein. Über den Datenbus kann ein entsprechendes Synchronisationssignal übertragen werden, in Abhängigkeit von dem die jeweiligen Recheneinheiten 9 die Leuchteinheiten 7 synchron ansteuern.
Fig. 3 zeigt die Erfassungsvorrichtung 3 in einer weiteren Ausführungsform. Hier ist zu erkennen, dass jede der Sensoreinrichtungen 5, 6 ein entsprechendes Sensorboard 17 aufweist, auf welchem die Recheneinheiten 9 angeordnet sind. Zudem ist ein
entsprechender Prozessor 18 vorgesehen. Ferner weist jede der Sensoreinrichtungen 5, 6 eine Kommunikationsschnittstelle 19 auf, die mit der Datenleitung 10 verbunden sind. Ferner ist eine direkte Verbindung zwischen der Kommunikationsschnittstelle und der Recheneinheit 9 über eine Datenleitung 20 vorgesehen. Beim Start der
Erfassungsvorrichtung 3 können über die Datenleitung, insbesondere den CAN-Bus, entsprechende Datenframes übertragen werden. Dabei kann beispielsweise die
Recheneinheit 9 der ersten Sensoreinrichtung als Master definiert werden. Die
Recheneinheit 9 der zweiten Sensoreinrichtung 6 kann als Slave definiert werden.
Von der Recheneinheit 9 der ersten Sensoreinrichtung 5 kann dann ein entsprechendes Synchronisationssignal bereitgestellt werden. Dieses Synchronisationssignal kann durch einen beliebigen Datenframe, der über die Datenleitung 10 übertragen wird, bereitgestellt werden. In Abhängigkeit von dem übertragenen Synchronisationssignal können dann die Recheneinheiten 9 die jeweiligen Leuchteinheiten 7 ansteuern. Beispielsweise können die Leuchteinheiten 7 gleichzeitig oder zeitlich versetzt angesteuert werden. Durch den synchronen Betrieb der Leuchteinheiten 7 kann insbesondere eine Beeinflussung der Sensoreinrichtungen 5, 6 untereinander vermieden werden.

Claims

Patentansprüche
1 . Erfassungsvorrichtung (3) zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen (13) eines Kraftfahrzeugs (1 ), mit einer ersten Sensoreinrichtung (5) und mit zumindest einer zweiten Sensoreinrichtung (6), wobei jede der
Sensoreinrichtungen (5, 6) jeweils eine Leuchteinheit (7) zum Aussenden von Licht (1 1 ), eine Empfangseinheit (8) zum Empfangen des von dem Insassen (13) reflektierten Lichts (12) und eine Recheneinheit (9) zum Ansteuern der
Leuchteinheit (7) und zum Erkennen der Geste und/oder der Blickrichtung anhand des reflektierten Lichts (12) aufweist,
dadurch gekennzeichnet, dass
die Recheneinheiten (9) der Sensoreinrichtungen (5, 6) dazu ausgelegt sind, die Leuchteinheiten (7) in Abhängigkeit von einem Synchronisationssignal synchron anzusteuern.
2. Erfassungsvorrichtung (3) nach Anspruch 1 ,
dadurch gekennzeichnet, dass
die Recheneinheit (9) der ersten Sensoreinrichtung (5) dazu ausgelegt ist, das Synchronisationssignal bereitzustellen und an die Recheneinheit (9) der zweiten Sensoreinrichtung (6) zu übertragen.
3. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Recheneinheiten (9) der ersten und die zumindest eine zweite
Sensoreinrichtung (5, 6) über eine Datenleitung (10) zum Übertragen des
Synchronisationssignals verbunden sind.
4. Erfassungsvorrichtung (3) nach Anspruch 3,
dadurch gekennzeichnet, dass
die Datenleitung (10) ein Datenbus des Kraftfahrzeugs (1 ), insbesondere ein CAN- Bus, ist.
5. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die erste und/oder die zumindest eine zweite Sensoreinrichtung (5, 6) dazu ausgelegt ist, anhand einer Laufzeit des ausgesendeten Lichts (1 1 ) und des reflektierten Lichts (12) eine Entfernung zu zumindest einem Teil des Insassen (13) zu bestimmen.
6. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die erste und/oder die zumindest eine zweite Sensoreinrichtung (5, 6) dazu ausgelegt ist, anhand des reflektierten Lichts (12) ein Bild zumindest eines Teils des Insassen (13) zu erfassen.
7. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
beim Erfassen der Geste mit der ersten und der zumindest einen zweiten
Sensoreinrichtung (5, 6) die Recheneinheit (9) der ersten Sensoreinrichtung (5) und die Recheneinheit (9) der zumindest einen zweiten Sensoreinrichtung (6) die Leuchteinheiten (7) abwechselnd ansteuern.
8. Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
beim Erfassen der Blickrichtung mit der ersten und der zumindest einen zweiten Sensoreinrichtung (5, 6) die Recheneinheit (9) der ersten Sensoreinrichtung (5) und die Recheneinheit (9) der zumindest einen zweiten Sensoreinrichtung (6) die Leuchteinheiten (7) gleichzeitig ansteuern.
9. Bedienanordnung (2) für ein Kraftfahrzeug (1 ) mit einer Erfassungsvorrichtung (3) nach einem der vorhergehenden Ansprüche und mit einer Funktionseinrichtung (4), welche in Abhängigkeit von der mit der Erfassungsvorrichtung (3) erkannten Geste und/oder Blickrichtung ansteuerbar ist.
10. Kraftfahrzeug (1 ) mit einer Bedienanordnung (2) nach Anspruch 9.
1 1 . Verfahren zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen (13) eines Kraftfahrzeugs (1 ), bei welchem eine erste Sensoreinrichtung (5) und zumindest eine zweite Sensoreinrichtung (6) bereitgestellt werden, wobei bei jeder der Sensoreinrichtungen (5, 6) eine Leuchteinheit (7) zum Aussenden von Licht (1 1 ) mittels einer Recheneinheit (9) angesteuert wird, das von dem Insassen (13) reflektierte Licht (12) mittels einer Empfangseinheit (8) empfangen wird und mittels der Recheneinheit (9) die Geste und/oder die Blickrichtung anhand des reflektierten Lichts (12) erkannt wird,
dadurch gekennzeichnet, dass
die Leuchteinheiten (7) in Abhängigkeit von einem Synchronisationssignal mittels der Recheneinheiten (9) der Sensoreinrichtungen (5, 6) synchron angesteuert werden.
EP15805454.4A 2014-12-12 2015-12-04 Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten Withdrawn EP3230828A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014118387.8A DE102014118387A1 (de) 2014-12-12 2014-12-12 Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
PCT/EP2015/078623 WO2016091736A1 (de) 2014-12-11 2015-12-04 Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten

Publications (1)

Publication Number Publication Date
EP3230828A1 true EP3230828A1 (de) 2017-10-18

Family

ID=54834808

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15805454.4A Withdrawn EP3230828A1 (de) 2014-12-12 2015-12-04 Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten

Country Status (6)

Country Link
US (1) US20170323165A1 (de)
EP (1) EP3230828A1 (de)
JP (1) JP2018503899A (de)
CN (1) CN107209558A (de)
DE (1) DE102014118387A1 (de)
WO (1) WO2016091736A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333921B2 (ja) * 2016-11-09 2018-05-30 ファナック株式会社 撮像装置及び撮像方法
JP7219041B2 (ja) * 2018-10-05 2023-02-07 現代自動車株式会社 注視検出装置及びその輻輳制御方法
JP6894880B2 (ja) * 2018-11-07 2021-06-30 矢崎総業株式会社 監視システム
DE102019204481A1 (de) * 2019-03-29 2020-10-01 Deere & Company System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit
DE102021113811A1 (de) 2021-05-28 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur Innenraumüberwachung eines Fahrzeugs

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (ja) * 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
JP4760445B2 (ja) * 2006-02-27 2011-08-31 トヨタ自動車株式会社 車両用警報装置
JP2008294662A (ja) * 2007-05-23 2008-12-04 Toyota Motor Corp 通信装置、通信システム
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
DE112008004193B4 (de) * 2008-12-22 2023-04-06 Toyota Jidosha Kabushiki Kaisha Elektronisches fahrzeugsteuersystem, elektronischefahrzeugsteuereinheit und fahrzeugsteuerungssynchronisationsverfahren
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
WO2012157793A1 (en) * 2011-05-17 2012-11-22 Lg Electronics Inc. Gesture recognition method and apparatus
US20120312956A1 (en) * 2011-06-11 2012-12-13 Tom Chang Light sensor system for object detection and gesture recognition, and object detection method
DE102011089195A1 (de) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
CN103842941B (zh) * 2011-09-09 2016-12-07 泰利斯航空电子学公司 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
US9514538B2 (en) * 2012-05-25 2016-12-06 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
JP5743221B2 (ja) * 2012-06-29 2015-07-01 カシオ計算機株式会社 無線同期システム、無線装置、センサ装置、無線同期方法、及びプログラム
WO2014032822A2 (de) 2012-08-29 2014-03-06 Johnson Controls Gmbh Vorrichtung und verfahren zur steuerung von fahrzeugfunktionen durch detektion der interaktionen eines benutzers
DE102012110460A1 (de) 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016091736A1 *

Also Published As

Publication number Publication date
WO2016091736A1 (de) 2016-06-16
CN107209558A (zh) 2017-09-26
US20170323165A1 (en) 2017-11-09
JP2018503899A (ja) 2018-02-08
WO2016091736A8 (de) 2017-12-14
DE102014118387A1 (de) 2016-06-16

Similar Documents

Publication Publication Date Title
DE102013012466B4 (de) Bediensystem und Verfahren zum Bedienen einer fahrzeugseitigen Vorrichtung
WO2016091736A1 (de) Erfassungsvorrichtung zum erkennen einer geste und/oder einer blickrichtung eines insassen eines kraftfahrzeugs durch synchrone ansteuerung von leuchteinheiten
DE102014101208A9 (de) Montagemodul
DE102016211494A1 (de) Steuerungseinrichtung für ein Kraftfahrzeug
DE102016220979A1 (de) Verfahren und Vorrichtung zum Steuern eines Betriebs eines Seiten- und Hecküberwachungs-Kamerasystems
DE102016113808A1 (de) Fahrspurerkennungsvorrichtung
DE102016206126A1 (de) Verfahren und Vorrichtung zum Überwachen oder Regeln einer Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug und System für eine Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug
DE102018118849A1 (de) Verstellbare gestapelte Filter für Fahrzeugkameras
EP3790768B1 (de) Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug
DE102019005448B4 (de) Vorrichtung und Verfahren zur Steuerung eines Beifahrersitzes in einem Fahrzeug
DE102013019210A1 (de) Beleuchtungsvorrichtung für den Fahrgastraum eines Kraftfahrzeugs und Verfahren zum Steuern der Beleuchtungsvorrichtung
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102005023697A1 (de) Einrichtung zur Steuerung der Innenbeleuchtung eines Kraftfahrzeugs
WO2016067082A1 (de) Verfahren und vorrichtung zur gestensteuerung in einem fahrzeug
EP3254172B1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
DE102013020950B4 (de) Verfahren zum Betreiben eines Rückansichtskamerasystems eines Kraftfahrzeugs, Rückansichtskamerasystem und Kraftfahrzeug
DE102014224484A1 (de) Verfahren zur Anpassung des äußeren Erscheinungsbilds eines Kraftfahrzeugs und Kraftfahrzeug mit einem anpassbaren äußeren Erscheinungsbild
DE102015010421A1 (de) Dreidimensionale Erfassung des Fahrzeuginnenraums
DE102016211495A1 (de) Steuerungseinrichtung für ein Kraftfahrzeug
DE102012018685A1 (de) System und Verfahren zur Steuerung von zumindest einem Fahrzeugsystem mittels von einem Fahrer durchgeführter Gesten
EP3583488B1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
DE102019004692B3 (de) Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
DE112020003760T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und bildgebungseinrichtung
DE102016011016A1 (de) Verfahren zum Betrieb eines Assistenzsystems
DE102016011141A1 (de) Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170609

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20190910

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200121