DE102015011522A1 - Driver assistance device - Google Patents

Driver assistance device Download PDF

Info

Publication number
DE102015011522A1
DE102015011522A1 DE102015011522.7A DE102015011522A DE102015011522A1 DE 102015011522 A1 DE102015011522 A1 DE 102015011522A1 DE 102015011522 A DE102015011522 A DE 102015011522A DE 102015011522 A1 DE102015011522 A1 DE 102015011522A1
Authority
DE
Germany
Prior art keywords
driver
steering wheel
vehicle
image
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015011522.7A
Other languages
German (de)
Inventor
Ulrich Ensslin
Jürgen Seekircher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102015011522.7A priority Critical patent/DE102015011522A1/en
Publication of DE102015011522A1 publication Critical patent/DE102015011522A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Emergency Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Air Bags (AREA)

Abstract

Die Erfindung betrifft eine Fahrerassistenzvorrichtung (4), umfassend eine Bilderfassungseinheit (2.1) zur Erfassung eines Gesichts (G) eines Fahrers (F) eines Fahrzeugs (1). Erfindungsgemäß ist die Bilderfassungseinheit (2.1) in einem mittleren Bereich eines Lenkrads (5) des Fahrzeugs (1) angeordnet.The invention relates to a driver assistance device (4), comprising an image acquisition unit (2.1) for detecting a face (G) of a driver (F) of a vehicle (1). According to the invention, the image capture unit (2.1) is arranged in a middle region of a steering wheel (5) of the vehicle (1).

Description

Die Erfindung betrifft eine Fahrerassistenzvorrichtung nach den Merkmalen des Oberbegriffs des Anspruchs 1.The invention relates to a driver assistance device according to the features of the preamble of claim 1.

Aus dem Stand der Technik ist, wie in der DE 10 2010 044 449 A1 beschrieben, ein Verfahren zu Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums bekannt. Die Fahrerbeobachtungskamera erfasst den Kopf des Fahrers und stellt Bilddaten des Fahrerkopfes in zeitlicher Folge bereit. Die Innenraumkamera erfasst zumindest teilweise den Körper des Fahrers und stellt Bilddaten des Körpers in zeitlicher Folge bereit. Aus den Fahrerkopfbilddaten und den Körperbilddaten werden vorgegebene Fahrerparameter extrahiert und deren zeitliche Abfolge bestimmt, so dass für jeden Fahrerparameter ein Bewegungsvektor gebildet wird. Jeder Bewegungsvektor wird als Funktion der zeitlichen Entwicklung bewertet. Der Grad der Fahrfähigkeit des Fahrers wird als Ergebnis der Bewertung ermittelt.From the prior art, as in the DE 10 2010 044 449 A1 described a method for detecting the degree of driving ability of the driver of a motor vehicle using a driver observation camera for observing the driver and an interior camera for observing the motor vehicle interior known. The driver observation camera detects the head of the driver and provides image data of the driver's head in chronological order. The interior camera captures at least partially the body of the driver and provides image data of the body in chronological order. Predetermined driver parameters are extracted from the driver's head image data and the body image data and their temporal sequence determined so that a motion vector is formed for each driver parameter. Each motion vector is evaluated as a function of temporal evolution. The degree of driving ability of the driver is determined as a result of the evaluation.

Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Fahrerassistenzvorrichtung anzugeben.The invention is based on the object of specifying an improved over the prior art driver assistance device.

Die Aufgabe wird erfindungsgemäß gelöst durch eine Fahrerassistenzvorrichtung mit den Merkmalen des Anspruchs 1.The object is achieved by a driver assistance device with the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Eine Fahrerassistenzvorrichtung umfasst eine Bilderfassungseinheit zur Erfassung eines Gesichts eines Fahrers eines Fahrzeugs. Erfindungsgemäß ist die Bilderfassungseinheit in einem mittleren Bereich eines Lenkrads des Fahrzeugs angeordnet.A driver assistance device comprises an image acquisition unit for detecting a face of a driver of a vehicle. According to the invention, the image capture unit is arranged in a middle region of a steering wheel of the vehicle.

Die erfindungsgemäße Anordnung der Bilderfassungseinheit im mittleren Bereich des Lenkrads ermöglicht eine barrierefreie Erfassung des Gesichts des Fahrers. Des Weiteren ist auf diese Weise eine Einschränkung der Fahrersicht auf Anzeigeinstrumente des Fahrzeugs, insbesondere auf ein so genanntes Kombiinstrument, vermieden. Aus der erfindungsgemäßen Lösung resultiert zudem ein besonders vorteilhafter Erfassungswinkel der Bilderfassungseinheit für die Auswertung eines Augenlidschlags des Fahrers, da die Bilderfassungseinheit unterhalb des Gesichts des Fahrers angeordnet ist und nach oben auf das Gesicht des Fahrers ausgerichtet ist.The inventive arrangement of the image capture unit in the central region of the steering wheel allows barrier-free detection of the driver's face. Furthermore, a restriction of the driver's view to display instruments of the vehicle, in particular to a so-called instrument cluster, is avoided in this way. From the solution according to the invention also results in a particularly advantageous detection angle of the image acquisition unit for the evaluation of an eyelid impact of the driver, since the image capture unit is located below the face of the driver and is aligned upward on the face of the driver.

Durch die erfindungsgemäße Anordnung der Bilderfassungseinheit im Lenkrad wird zudem eine Anpassung der Positionierung der Bilderfassungseinheit an einen Körperbau des jeweiligen Fahrers erreicht, da der jeweilige Fahrer die Lenkradposition entsprechend seines jeweiligen Körperbaus einstellt und somit gleichzeitig die Position der mit dem Lenkrad verbundenen Bilderfassungseinheit einstellt.The inventive arrangement of the image acquisition unit in the steering wheel also an adjustment of the positioning of the image acquisition unit to a physique of each driver is achieved because the respective driver adjusts the steering wheel position according to its respective physique and thus simultaneously adjusts the position of the image sensing unit connected to the steering wheel.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein Lenkrad in einem Fahrzeug, und 1 schematically a steering wheel in a vehicle, and

2 schematisch einen Fahrer in einem Fahrzeug. 2 schematically a driver in a vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

Die 1 und 2 zeigen ein Fahrzeug 1, genauer gesagt einen Innenraum des Fahrzeugs 1, aus verschiedenen Perspektiven. Für das Fahrzeug 1 ist eine Bilderfassungsvorrichtung 2 vorgesehen, welche eine Bilderfassungseinheit 2.1 zur Erfassung eines Gesichts G eines Fahrers F des Fahrzeugs 1 umfasst. Ein Erfassungsbereich E der Bilderfassungseinheit 2.1 ist im Wesentlichen auf einen Kopf, insbesondere auf das Gesicht G, des Fahrers F ausgerichtet, d. h. auf einen Innenraumbereich des Fahrzeugs 1, in welchem der Kopf, insbesondere das Gesicht G, des Fahrers F positioniert ist, wenn der Fahrer F im Fahrzeug 1 auf einem Fahrersitz 3 anwesend ist und sich in einer normalen aufrechten Sitzposition befindet.The 1 and 2 show a vehicle 1 more precisely an interior of the vehicle 1 , from different perspectives. For the vehicle 1 is an image capture device 2 provided, which is an image acquisition unit 2.1 for detecting a face G of a driver F of the vehicle 1 includes. A detection area E of the image acquisition unit 2.1 is substantially aligned with a head, in particular on the face G, of the driver F, ie on an interior region of the vehicle 1 in which the head, in particular the face G, of the driver F is positioned when the driver F is in the vehicle 1 on a driver's seat 3 is present and in a normal upright sitting position.

Die Bilderfassungsvorrichtung 2 ist ein Bestandteil zumindest einer Fahrerassistenzvorrichtung 4 des Fahrzeugs 1. Diese Fahrerassistenzvorrichtung 4 ist beispielsweise als eine Aufmerksamkeits- bzw. Müdigkeitserkennungsvorrichtung ausgebildet, welche einen aktuellen Aufmerksamkeitszustand des Fahrers F erfasst und beispielsweise bei einer Verschlechterung des Aufmerksamkeitszustands unter einen vorgegebenen Schwellwert eine optische, akustische und/oder haptische Warnmeldung generiert.The image capture device 2 is a component of at least one driver assistance device 4 of the vehicle 1 , This driver assistance device 4 is for example designed as an attention or fatigue detection device which detects a current attentional state of the driver F and, for example, generates a visual, audible and / or haptic warning message if the attentional state deteriorates below a predefined threshold value.

Insbesondere zur Durchführung teilautonomer oder vollständig autonomer Fahrfunktionen ist es erforderlich, permanent den aktuellen Aufmerksamkeitszustand des Fahrers F zuverlässig und möglichst präzise zu ermitteln, vorzugsweise durch eine solche Bilderfassungseinheit 2.1. Dabei sind Parameter wie ein Augenlidschlag, ein Augenlidschluss, ein Blickwinkel, ein Kopfneigungswinkel und/oder Kopfbewegungen des Fahrers F von großer Bedeutung. Alternativ oder zusätzlich zur Bestimmung des Aufmerksamkeitszustandes können diese Informationen beispielsweise für weitere Steuerungsfunktionen von bild- und/oder informationsanzeigenden Geräten und/oder als Eingangsinformation zur Steuerung von Geräten verwendet werden, d. h. es kann beispielsweise eine Gesten- und/oder Mimiksteuerung realisiert werden. Die oben beschriebene Fahrerassistenzvorrichtung 4, welche die Bilderfassungsvorrichtung 2 umfasst, kann somit, alternativ oder zusätzlich zur oben beschriebenen Aufmerksamkeits- bzw. Müdigkeitserkennungsfunktion und bevorzugt der darauf basierenden Warnfunktion beispielsweise auch eine oder mehrere andere Assistenzfunktionen umfassen, beispielsweise die oben beschriebene Steuerungsfunktion von Geräten des Fahrzeugs 1.In particular for carrying out partially autonomous or completely autonomous driving functions, it is necessary to permanently determine the current attentional state of the driver F reliably and as precisely as possible, preferably by such an image acquisition unit 2.1 , In this case, parameters such as a blink of the eye, an eyelid closure, a viewing angle, a head tilt angle and / or Head movements of the driver F of great importance. Alternatively or in addition to the determination of the attention state, this information can be used, for example, for further control functions of image and / or information indicating devices and / or as input information for the control of devices, ie, for example, a gesture and / or facial expression control can be realized. The driver assistance device described above 4 which the image capture device 2 Thus, as an alternative or in addition to the above-described attention or fatigue detection function and preferably the warning function based thereon, for example, it may also include one or more other assistance functions, for example the above-described control function of devices of the vehicle 1 ,

Um die oben genannten Parameter, d. h. beispielsweise den Augenlidschlag, den Augenlidschluss, den Blickwinkel, den Kopfneigungswinkel und/oder Kopfbewegungen des Fahrers F zuverlässig zu erfassen, ist die Bilderfassungseinheit 2.1 in und/oder an einem Lenkrad 5 des Fahrzeugs 1 angeordnet. Besonders bevorzugt ist die Bilderfassungseinheit 2.1 in das Lenkrad 5 integriert. Dabei ist die Bilderfassungseinheit 2.1 zweckmäßigerweise in einem mittleren Bereich des Lenkrads 5 angeordnet, d. h. im Bereich einer Rotationsachse des Lenkrads 5, beispielsweise in einem Bereich des Lenkrads 5 zwischen einer Lenksäule und dem Fahrer F und somit im Bereich eines Lenkradtopfes 5.1. Das Lenkrad 5 umfasst einen Lenkradkranz 5.2 und den Lenkradtopf 5.1, wobei der Lenkradtopf 5.1 im mittleren Bereich des Lenkrades 5 angeordnet ist und zweckmäßigerweise seitlich vollumfänglich vom Lenkradkranz 5.2 umschlossen und mit diesem verbunden ist.In order to reliably detect the above-mentioned parameters, ie for example the blink of the eyelid, the eyelid closure, the viewing angle, the head angle and / or head movements of the driver F, the image acquisition unit is 2.1 in and / or on a steering wheel 5 of the vehicle 1 arranged. Particularly preferred is the image capture unit 2.1 in the steering wheel 5 integrated. Here is the image capture unit 2.1 expediently in a central region of the steering wheel 5 arranged, ie in the region of a rotation axis of the steering wheel 5 For example, in an area of the steering wheel 5 between a steering column and the driver F and thus in the area of a steering wheel pot 5.1 , The steering wheel 5 includes a steering wheel rim 5.2 and the steering wheel pot 5.1 , where the steering wheel pot 5.1 in the middle area of the steering wheel 5 is arranged and expediently laterally full extent of the steering wheel rim 5.2 enclosed and connected to it.

Um andere am Lenkrad 5 angeordnete, hier nicht näher dargestellte Funktionselemente, beispielsweise ein Airbagmodul und/oder ein Fahrzeughupenbedienelement, nicht zu beeinträchtigen, ist die Bilderfassungseinheit 2.1 zweckmäßigerweise unterhalb, oberhalb oder neben einem Fahrerairbag-Pralltopf 8 und/oder dem Fahrzeughupenbedienelement angeordnet. Der Fahrerairbag-Pralltopf 8 und/oder das Fahrzeughupenbedienelement sind zweckmäßigerweise ebenfalls im und/oder am Lenkradtopf 5.1 angeordnet. Die Bilderfassungseinheit 2.1 ist somit zweckmäßigerweise unterhalb oder oberhalb des Fahrerairbag-Pralltopfes 8 und/oder des Fahrzeughupenbedienelementes oder seitlich neben dem Fahrerairbag-Pralltopf 8 und/oder dem Fahrzeughupenbedienelement angeordnet, d. h. die Bilderfassungseinheit 2.1 ist, ausgehend vom Fahrerairbag-Pralltopf 8 und/oder Fahrzeughupenbedienelement, in Richtung des Lenkradkranzes 5.2 nach oben, nach unten oder seitlich versetzt im Lenkrad 5 angeordnet.To others on the steering wheel 5 arranged, not shown here functional elements, such as an airbag module and / or a vehicle horn control element, not to affect, is the image detection unit 2.1 conveniently below, above or next to a driver airbag baffle 8th and / or the vehicle horn control element. The driver airbag baffle 8th and / or the vehicle horn control element are expediently also in and / or on the steering wheel pot 5.1 arranged. The image capture unit 2.1 is thus advantageously below or above the driver airbag baffle 8th and / or the vehicle horn control element or laterally next to the driver airbag baffle 8th and / or the vehicle horn control element, ie, the image capture unit 2.1 is, starting from the driver airbag baffle 8th and / or vehicle horn control element, in the direction of the steering wheel rim 5.2 up, down or laterally offset in the steering wheel 5 arranged.

Im dargestellten Beispiel ist die Bilderfassungseinheit 2.1 in einem oberen Randbereich des Lenkradtopfes 5.1 angeordnet und somit oberhalb des hier nicht näher dargestellten Fahrerairbag-Pralltopfes 8, d. h. ausgehend von diesem nach oben in Richtung des Lenkradkranzes 5.2 versetzt, aber noch immer im mittleren Bereich des Lenkrades 5 angeordnet.In the example shown, the image capture unit 2.1 in an upper edge region of the steering wheel pot 5.1 arranged and thus above the driver's airbag baffle pot not shown here 8th , ie starting from this upwards in the direction of the steering wheel rim 5.2 offset, but still in the middle of the steering wheel 5 arranged.

Die Bilderfassungseinheit 2.1 ist besonders bevorzugt als eine Infrarotbilderfassungseinheit ausgebildet, insbesondere als eine Infrarotkamera, d. h. beispielsweise als eine Kamera, welche Bilder auch oder ausschließlich im Infrarotlichtbereich erfasst. Sie kann auch als eine Kamera ausgebildet sein, welche sowohl Bilder im Infrarotlichtbereich als auch Bilder in anderen Lichtbereichen, insbesondere im für das menschliche Auge sichtbaren Lichtbereich, erfasst oder erfassen kann.The image capture unit 2.1 is particularly preferably formed as an infrared imaging unit, in particular as an infrared camera, ie, for example, as a camera, which detects images also or exclusively in the infrared light range. It can also be designed as a camera which can capture or capture both images in the infrared light range and images in other light ranges, in particular in the light range visible to the human eye.

Vorzugsweise ist nicht nur die Bilderfassungseinheit 2.1 in das Lenkrad 5 integriert, sondern die gesamte Bilderfassungsvorrichtung 2 oder zumindest wesentliche Komponenten der Bilderfassungsvorrichtung 2, zusätzlich zur Bilderfassungseinheit 2.1 insbesondere eine Bildverarbeitungseinheit 2.2, wie in 1 gezeigt. Dadurch ist es vorteilhafterweise ermöglicht, eine Bildverarbeitung von der Bilderfassungseinheit 2.1 erfasster Bilder vollumfänglich im Lenkrad 5 durchzuführen, d. h. ausschließlich mit Komponenten der Bilderfassungsvorrichtung 2, welche am und/oder im Lenkrad 5 angeordnet sind. Dadurch ist ein einfaches Lenkrad-Feldbussystem, beispielsweise ein LIN-Bus oder CAN-Bus, ausreichend, um aus der Bildverarbeitung resultierende Daten, beispielsweise bezüglich des Aufmerksamkeitszustands des Fahrers F, an eine oder mehrere andere Funktionseinheiten des Fahrzeugs 1, beispielsweise an ein oder mehrere Steuergeräte, zu übermitteln.Preferably, not only is the image capture unit 2.1 in the steering wheel 5 integrated, but the entire image capture device 2 or at least essential components of the image capture device 2 , in addition to the image capture unit 2.1 in particular an image processing unit 2.2 , as in 1 shown. As a result, it is advantageously possible to perform image processing by the image acquisition unit 2.1 captured images fully in the steering wheel 5 perform, ie only with components of the image capture device 2 , which on and / or in the steering wheel 5 are arranged. Thereby, a simple steering wheel field bus system, for example a LIN bus or CAN bus, is sufficient for data resulting from the image processing, for example with regard to the attentional state of the driver F, to one or more other functional units of the vehicle 1 For example, to one or more ECUs to submit.

Zweckmäßigerweise weist das Fahrzeug 1 einen Lenkwinkelsensor 6 auf, um einen jeweiligen Lenkwinkel des Lenkrades 5 zu ermitteln. Der Lenkwinkelsensor 6 ist beispielsweise in einem Mantelrohrschaltermodul angeordnet. Da die Bilderfassungseinheit 2.1 im Lenkrad 5 integriert ist, dreht sie sich mit dem Lenkrad 5 mit, so dass bei einem Lenkeinschlag des Lenkrads 5 nach links oder rechts abweichend von einer vollen Umdrehung um 360° ein Rotationsversatz in den mittels der Bilderfassungseinheit 2.1 erfassten Bildern entsteht. Dieser durch die Lenkradbewegungen hervorgerufene Rotationsversatz des von der Bilderfassungseinheit 2.1 jeweils erfassten Bildes wird zweckmäßigerweise mittels des Lenkwinkelsensors 6, genauer gesagt durch Verwendung des mittels des Lenkwinkelsensors 6 jeweils erfassten Lenkwinkels des Lenkrads 5, kompensiert, zweckmäßigerweise durch die Bildverarbeitung des jeweiligen Bildes in der Bildverarbeitungseinheit 2.2. Hierzu ist die Bildverarbeitungsvorrichtung 2, insbesondere deren Bildverarbeitungseinheit 2.2, zweckmäßigerweise mit dem Lenkwinkelsensor 6 oder mit einer Lenkwinkelsensorauswerteeinheit, die erfasste Sensorergebnisse des Lenkwinkelsensors 6 auswertet, gekoppelt.Conveniently, the vehicle 1 a steering angle sensor 6 on to a respective steering angle of the steering wheel 5 to investigate. The steering angle sensor 6 is for example arranged in a jacket tube switch module. Because the image capture unit 2.1 in the steering wheel 5 integrated, it turns with the steering wheel 5 with, so at a steering angle of the steering wheel 5 deviating from a full rotation by 360 ° to the left or right a rotation offset in the means of the image acquisition unit 2.1 captured images arises. This caused by the steering wheel movements rotation offset of the image acquisition unit 2.1 each detected image is expediently by means of the steering angle sensor 6 More specifically, by using the means of the steering angle sensor 6 respectively detected steering angle of the steering wheel 5 , compensated, expediently by the image processing of the respective image in the image processing unit 2.2 , For this purpose, the image processing device 2 . in particular, its image processing unit 2.2 , Expediently with the steering angle sensor 6 or with a steering angle sensor evaluation unit, the detected sensor results of the steering angle sensor 6 evaluates, coupled.

Die beschriebene Bilderfassungsvorrichtung 2 und somit auch die Fahrerassistenzvorrichtung 4, welche die Bilderfassungsvorrichtung 2 umfasst, ermöglichen eine zuverlässige Ermittlung insbesondere des Aufmerksamkeitszustands des Fahrers F durch die Auswertung der oben genannten Parameter, insbesondere Augenlidschlag, Augenlidschluss, Blickwinkel, Kopfneigungswinkel und/oder Kopfbewegungen des Fahrers F. Hierfür ist die beschriebene Einbauposition der Bilderfassungseinheit 2.1 besonders vorteilhaft. Diese Einbauposition im Wesentlichen in der Lenkradmitte, d. h. in einem mittleren Bereich des Lenkrads 5 unterhalb, oberhalb oder seitlich des Fahrerairbag-Pralltopfes 8 und/oder des Fahrzeughupenbedienelementes, ermöglicht vorteilhafterweise eine vollumfängliche Erfassung und Auswertung des Gesichts G des Fahrers F von unten her mittels der Bilderfassungseinheit 2.1, d. h. aus einer unteren und nach oben auf das Gesicht G des Fahrers F ausgerichteten Sichtposition der Bilderfassungseinheit 2.1.The image capture device described 2 and thus also the driver assistance device 4 which the image capture device 2 includes, allow a reliable determination in particular of the attentional state of the driver F by the evaluation of the above parameters, in particular eyelid shock, eyelid closure, viewing angle, head tilt angle and / or head movements of the driver F. This is the described installation position of the image acquisition unit 2.1 especially advantageous. This mounting position substantially in the center of the steering wheel, ie in a central region of the steering wheel 5 below, above or to the side of the driver airbag baffle 8th and / or the vehicle horn control element, advantageously allows a full detection and evaluation of the face G of the driver F from below by means of the image acquisition unit 2.1 that is, from a lower and upward on the face G of the driver F aligned viewing position of the image acquisition unit 2.1 ,

Durch die vorteilhafte Ausbildung der Bilderfassungseinheit 2.1 als Infrarotkamera ist vorteilhafterweise eine vollumfängliche Erfassung und Auswertung des Gesichts G des Fahrers F auch bei dunklen Umgebungsbedingungen, zum Beispiel bei Nacht oder während Tunnelfahrten, durch die Infrarottechnik ermöglicht. Die beschriebene Anordnung der Bilderfassungseinheit 2.1 im mittleren Bereich des Lenkrads 5 ermöglicht eine barrierefreie Erfassung des Gesichts G des Fahrers F, da der Erfassungsbereich E der Bilderfassungseinheit 2.1 nicht durch andere Objekte zwischen der Bilderfassungseinheit 2.1 und dem Gesicht G des Fahrers F blockiert ist. Des Weiteren ist auf diese Weise eine Einschränkung der Fahrersicht auf eine oder mehrere Anzeigeeinheiten 7 des Fahrzeugs 1, insbesondere auf ein so genanntes Kombiinstrument, vermieden, da die Bilderfassungseinheit 2.1 insbesondere nicht an einer Außenseite des Lenkradtopfs 5.1 oder auf dem Mantelrohrschaltermodul angeordnet ist.Due to the advantageous embodiment of the image acquisition unit 2.1 as an infrared camera is advantageously a full detection and evaluation of the face G of the driver F even in dark conditions, for example, at night or during tunnel trips, made possible by the infrared technology. The described arrangement of the image acquisition unit 2.1 in the middle area of the steering wheel 5 allows barrier-free detection of the face G of the driver F, since the detection area E of the image acquisition unit 2.1 not by other objects between the image acquisition unit 2.1 and the face G of the driver F is blocked. Furthermore, in this way, a restriction of the driver's view to one or more display units 7 of the vehicle 1 , especially on a so-called instrument cluster, avoided because the image capture unit 2.1 especially not on an outside of the steering wheel pot 5.1 or is arranged on the casing tube switch module.

Aus der beschriebenen Lösung resultiert zudem ein besonders vorteilhafter Erfassungswinkel der Bilderfassungseinheit 2.1 insbesondere für die Auswertung des Augenlidschlags des Fahrers F, da der Erfassungsbereich E der Bilderfassungseinheit 2.1 von unten nach oben auf das Gesicht G des Fahrers F ausgerichtet ist. Durch die beschriebene Anordnung der Bilderfassungseinheit 2.1 im Lenkrad 5 wird zudem eine Anpassung der Positionierung der Bilderfassungseinheit 2.1 an einen Körperbau des jeweiligen Fahrers F erreicht, insbesondere an eine Größe des jeweiligen Fahrers F, da der jeweilige Fahrer F die Lenkradposition entsprechend seines jeweiligen Körperbaus einstellt und somit gleichzeitig die Position der mit dem Lenkrad 5 verbundenen Bilderfassungseinheit 2.1 einstellt. Die Bilderfassungseinheit 2.1 wird somit durch die Einstellung der Lenkradposition automatisch an den Körperbau, insbesondere an die Größe, des jeweiligen Fahrers F adaptiert, so dass die Ausrichtung des Erfassungsbereichs E der Bilderfassungseinheit 2.1 im Wesentlichen auf das Gesicht G des Fahrers F sichergestellt ist.From the solution described also results in a particularly advantageous detection angle of the image acquisition unit 2.1 in particular for the evaluation of the eyelid impact of the driver F, since the detection area E of the image acquisition unit 2.1 from the bottom up on the face G of the driver F is aligned. By the described arrangement of the image acquisition unit 2.1 in the steering wheel 5 In addition, an adaptation of the positioning of the image acquisition unit 2.1 achieved to a physique of the respective driver F, in particular to a size of the respective driver F, since the respective driver F adjusts the steering wheel position according to its respective physique and thus simultaneously the position of the with the steering wheel 5 connected image capture unit 2.1 established. The image capture unit 2.1 is thus automatically adapted to the physique, in particular to the size, of the respective driver F by adjusting the steering wheel position, so that the orientation of the detection area E of the image acquisition unit 2.1 essentially on the face G of the driver F is ensured.

Durch die beschriebene Anordnung der Bilderfassungseinheit 2.1 ist des Weiteren insbesondere eine Einschränkung der Funktion des im Lenkrad 5 angeordneten Airbagmoduls und von einem Airbag dieses Airbagmoduls vermieden, da die Bilderfassungseinheit 2.1 neben dem Fahrerairbag-Pralltopf 8 angeordnet ist.By the described arrangement of the image acquisition unit 2.1 Furthermore, in particular, a restriction of the function of the steering wheel 5 arranged airbag module and avoided by an airbag of this airbag module, since the image capture unit 2.1 next to the driver airbag baffle 8th is arranged.

Die beschriebene Losung weist somit wesentliche Vorteile gegenüber anderen Lösungen auf. So basieren andere Systeme zur Fahrerbeobachtung beispielsweise auf einer Auswertung von Bussignalen von Bedienelementen, die vom Fahrer F während der Fahrt betätigt werden. Hierzu gehören beispielsweise die typischen Bedienelemente des Mantelrohrschaltermoduls, wie Blinkerhebel, Wischerschalter und/oder Gangwahlhebel und/oder Bedienelemente des Lenkrads 5, beispielsweise eine Lautstärkeverstellung, eine Stummschaltetaste und/oder Telefontasten. Alternativ oder zusätzlich kann bei diesen anderen Systemen zur Fahrerbeobachtung eine Auswertung der Lenkbewegungen des Fahrers F durchgeführt werden, wobei mittels des vorzugsweise hochauflösenden Lenkwinkelsensors 6, welcher beispielsweise im Mantelrohrschaltermodul angeordnet ist und beispielsweise eine Erfassungsauflösung von 0,1° aufweist, auch kleinste Lenkbewegungen erfasst werden können. Die besonders vorteilhafte Erfassung der oben genannten Parameter, insbesondere Augenlidschlag, Augenlidschluss, Blickwinkel, Kopfneigungswinkel und/oder Kopfbewegungen des Fahrers F, ist mit diesen anderen Systemen zur Fahrerbeobachtung jedoch nicht möglich.The described solution thus has significant advantages over other solutions. For example, other systems for driver observation are based on an evaluation of bus signals from operating elements which are actuated by the driver F while driving. These include, for example, the typical controls of the jacket tube switch module, such as turn signal lever, wiper switch and / or gear selector lever and / or controls the steering wheel 5 For example, a volume adjustment, a mute button and / or phone buttons. Alternatively or additionally, in these other systems for driver observation an evaluation of the steering movements of the driver F can be carried out, wherein by means of the preferably high-resolution steering angle sensor 6 , which is arranged for example in the casing tube switch module and, for example, has a detection resolution of 0.1 °, even the smallest steering movements can be detected. However, the particularly advantageous detection of the above-mentioned parameters, in particular eye blinking, eyelid closure, viewing angle, head tilt angle and / or head movements of the driver F, is not possible with these other systems for driver observation.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
BilderfassungsvorrichtungImage capture device
2.12.1
BilderfassungseinheitImage capture unit
2.22.2
BildverarbeitungseinheitImage processing unit
33
Fahrersitzdriver's seat
44
FahrerassistenzvorrichtungDriver assistance device
55
Lenkradsteering wheel
5.15.1
Lenkradtopfsteering wheel hollow
5.25.2
Lenkradkranzsteering wheel rim
66
LenkwinkelsensorSteering angle sensor
77
Anzeigeeinheitdisplay unit
8 8th
Fahrerairbag-PralltopfDriver-impact absorber
Ee
Erfassungsbereichdetection range
FF
Fahrerdriver
GG
Gesichtface

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010044449 A1 [0002] DE 102010044449 A1 [0002]

Claims (3)

Fahrerassistenzvorrichtung (4), umfassend eine Bilderfassungseinheit (2.1) zur Erfassung eines Gesichts (G) eines Fahrers (F) eines Fahrzeugs (1), dadurch gekennzeichnet, dass die Bilderfassungseinheit (2.1) in einem mittleren Bereich eines Lenkrads (5) des Fahrzeugs (1) angeordnet ist.Driver assistance device ( 4 ), comprising an image capture unit ( 2.1 ) for detecting a face (G) of a driver (F) of a vehicle ( 1 ), characterized in that the image capture unit ( 2.1 ) in a central region of a steering wheel ( 5 ) of the vehicle ( 1 ) is arranged. Fahrerassistenzvorrichtung (4) nach Anspruch 1, dadurch gekennzeichnet, dass die Bilderfassungseinheit (2.1) als eine Infrarotkamera ausgebildet ist.Driver assistance device ( 4 ) according to claim 1, characterized in that the image acquisition unit ( 2.1 ) is formed as an infrared camera. Fahrerassistenzvorrichtung (4) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Bildverarbeitungseinheit (2.2) im Lenkrad (5) angeordnet ist.Driver assistance device ( 4 ) according to one of the preceding claims, characterized in that an image processing unit ( 2.2 ) in the steering wheel ( 5 ) is arranged.
DE102015011522.7A 2015-09-03 2015-09-03 Driver assistance device Withdrawn DE102015011522A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015011522.7A DE102015011522A1 (en) 2015-09-03 2015-09-03 Driver assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015011522.7A DE102015011522A1 (en) 2015-09-03 2015-09-03 Driver assistance device

Publications (1)

Publication Number Publication Date
DE102015011522A1 true DE102015011522A1 (en) 2016-05-12

Family

ID=55803357

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015011522.7A Withdrawn DE102015011522A1 (en) 2015-09-03 2015-09-03 Driver assistance device

Country Status (1)

Country Link
DE (1) DE102015011522A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106073712A (en) * 2016-06-15 2016-11-09 南京理工大学 Driving based on heart physiological signal warning direction indicators cover device and signal detecting method
DE102017216837A1 (en) 2017-09-22 2019-03-28 Audi Ag Gesture and facial expression control for a vehicle
DE102018205079A1 (en) 2018-04-04 2019-10-10 Audi Ag Device for detecting a viewing direction and motor vehicle
DE102018129804A1 (en) * 2018-11-26 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Method for providing information regarding required attention of a driver of a vehicle
WO2024088623A1 (en) * 2022-10-25 2024-05-02 Stellantis Auto Sas Vehicle function control by means of facial expression detected by mobile device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010044449A1 (en) 2009-12-31 2011-07-07 Volkswagen AG, 38440 Method for detecting degree of driving ability of driver of motor vehicle, involves detecting head of driver with driver monitoring camera and providing image data of driver head in time sequence

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010044449A1 (en) 2009-12-31 2011-07-07 Volkswagen AG, 38440 Method for detecting degree of driving ability of driver of motor vehicle, involves detecting head of driver with driver monitoring camera and providing image data of driver head in time sequence

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106073712A (en) * 2016-06-15 2016-11-09 南京理工大学 Driving based on heart physiological signal warning direction indicators cover device and signal detecting method
CN106073712B (en) * 2016-06-15 2019-08-30 南京理工大学 Driving warning direction indicators cover device and signal detecting method based on heart physiological signal
DE102017216837A1 (en) 2017-09-22 2019-03-28 Audi Ag Gesture and facial expression control for a vehicle
US10710457B2 (en) 2017-09-22 2020-07-14 Audi Ag Gesture and facial expressions control for a vehicle
DE102018205079A1 (en) 2018-04-04 2019-10-10 Audi Ag Device for detecting a viewing direction and motor vehicle
DE102018205079B4 (en) 2018-04-04 2021-09-09 Audi Ag Device for recognizing a line of sight and motor vehicle
DE102018129804A1 (en) * 2018-11-26 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Method for providing information regarding required attention of a driver of a vehicle
WO2024088623A1 (en) * 2022-10-25 2024-05-02 Stellantis Auto Sas Vehicle function control by means of facial expression detected by mobile device

Similar Documents

Publication Publication Date Title
EP2484558B1 (en) Display device for fields of vision of a commercial vehicle
DE112015001804B4 (en) On-board image display device, on-board image display method for vehicle, and on-board image setting device
EP1185436B1 (en) Holding device and method for detecting a vehicle environment with at least one camera
DE102015011522A1 (en) Driver assistance device
DE102007049710A1 (en) Visual triggering of operations in a motor vehicle
EP3397523B1 (en) Method for the representation of a rear outer region of a vehicle
WO2011026584A1 (en) Device for detecting light signals of traffic lights for a vehicle
WO2012072203A1 (en) Method and device for observing a driver of a vehicle
DE102016215291A1 (en) Method for classifying driver movements
DE102010055583A1 (en) Motor vehicle with a camera and method for operating a camera system in a motor vehicle
DE102017116849A1 (en) Indirect vision system for a vehicle
DE102015002923A1 (en) Display device for a vehicle, in particular commercial vehicle
EP3256345A1 (en) Driver assistance system
DE102016002289A1 (en) Method for observing a driver of a vehicle
DE102014206202A1 (en) Sun visor with an electronic image display device and method for its operation
DE102008043601B4 (en) Method and device for optimizing visibility for a user when changing the light fields affecting the user
DE102008035429A1 (en) Vehicle i.e. car, has monitoring device provided for monitoring traffic conditions in front and rear of vehicle, where device comprises image detection unit i.e. camera, which is integrated into one of longitudinal sides of vehicle
DE102016214047A1 (en) Vehicle with adjustable head-up display
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
EP3162635B1 (en) Camera-based display system
DE102015113066A1 (en) Display system and operating system of a motor vehicle
DE102018100101B4 (en) ADAPTIVE COMBINED INSTRUMENT AND VEHICLE WITH AN ADAPTIVE COMBINATION INSTRUMENT
DE102010026226A1 (en) Method for detecting lateral environment of motor vehicle using e.g. optical mirror, involves displaying optical warning signal to object in motor vehicle based on position of object, where object is detected in dead-angle-region of vehicle
EP2902261A1 (en) Method for the visual display of the surroundings of a motor vehicle with a birdýs eye view system

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee