DE102010053120A1 - Method and device for monitoring a driver of a vehicle - Google Patents

Method and device for monitoring a driver of a vehicle Download PDF

Info

Publication number
DE102010053120A1
DE102010053120A1 DE102010053120A DE102010053120A DE102010053120A1 DE 102010053120 A1 DE102010053120 A1 DE 102010053120A1 DE 102010053120 A DE102010053120 A DE 102010053120A DE 102010053120 A DE102010053120 A DE 102010053120A DE 102010053120 A1 DE102010053120 A1 DE 102010053120A1
Authority
DE
Germany
Prior art keywords
driver
steering wheel
image acquisition
vehicle
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010053120A
Other languages
German (de)
Inventor
Dipl.-Inf. Hahn Stefan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102010053120A priority Critical patent/DE102010053120A1/en
Priority to PCT/EP2011/005833 priority patent/WO2012072203A1/en
Publication of DE102010053120A1 publication Critical patent/DE102010053120A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B62D15/024—Other means for determination of steering angle without directly measuring it, e.g. deriving from wheel speeds on different sides of the car
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Air Bags (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beobachtung eines Fahrers (2) eines Fahrzeuges mittels mindestens einer an einem Lenkrad (1.2) angeordneten Bilderfassungseinheit (3). Erfindungsgemäß wird mittels erfasster Bilddaten eine aus einer Lenkbewegung resultierende Lageänderung der Bilderfassungseinheit (3) relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen statischen Referenzlinie oder relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen Anzahl von statischen Referenzpunkten ermittelt, anhand derer ein Lenkradwinkel bestimmt wird.The invention relates to a method and a device for observing a driver (2) of a vehicle by means of at least one image acquisition unit (3) arranged on a steering wheel (1.2). According to the invention, a change in position of the image acquisition unit (3) resulting from a steering movement relative to a static reference line specified in the vehicle interior (1) or relative to a number of static reference points specified in the vehicle interior (1) is determined by means of which a steering wheel angle is determined.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Beobachtung eines Fahrers eines Fahrzeuges mittels mindestens einer an einem Lenkrad angeordneten Bilderfassungseinheit.The invention relates to a method and a device for observing a driver of a vehicle by means of at least one image acquisition unit arranged on a steering wheel.

Aus der EP 1 838 550 B1 ist eine Lenkradbaugruppe für ein Kraftfahrzeug bekannt. Die Lenkradbaugruppe umfasst ein Lenkrad und eine am Lenkrad angeordnete Anzeigeeinrichtung, die mit einer an dem Kraftfahrzeug anzuordnenden Sensoreinrichtung zum Ermitteln mindestens einer Zustandsgröße eines Kraftfahrzeuges in Wirkverbindung steht. Dabei ist die Anzeigeeinrichtung zum Anzeigen der mittels der Sensoreinrichtung ermittelten Zustandsgröße vorgesehen. Darüber hinaus ist zumindest eine Erfassungseinrichtung am Lenkrad angeordnet, mittels welcher ein Aufmerksamkeitszustand eines Fahrers des Fahrzeuges ermittelbar ist, wobei die mindestens eine Erfassungseinrichtung zum Ansteuern der Anzeigeeinrichtung in Abhängigkeit von dem ermittelten Aufmerksamkeitszustand des Fahrers dient. Bei der mindestens einen Erfassungseinrichtung handelt es sich um eine Kamera, wobei die Erfassungseinrichtung benachbart zur Anzeigeeinrichtung an dem Lenkrad, insbesondere an dem Lenkradkranz in einer Geradeausstellung des Lenkradkranzes entlang der vertikalen Fahrzeugachse oberhalb der Lenkachse, angeordnet ist.From the EP 1 838 550 B1 a steering wheel assembly for a motor vehicle is known. The steering wheel assembly comprises a steering wheel and a display device arranged on the steering wheel, which is in operative connection with a sensor device to be arranged on the motor vehicle for determining at least one state variable of a motor vehicle. In this case, the display device is provided for displaying the state variable determined by means of the sensor device. In addition, at least one detection device is arranged on the steering wheel, by means of which an attention state of a driver of the vehicle can be determined, wherein the at least one detection device is used to control the display device as a function of the determined attention state of the driver. The at least one detection device is a camera, wherein the detection device is arranged adjacent to the display device on the steering wheel, in particular on the steering wheel rim in a straight-ahead position of the steering wheel rim along the vertical vehicle axis above the steering axis.

Darüber hinaus ist aus der US 2010/0002075 A1 eine Vorrichtung zur Überwachung eines Fahrers eines Fahrzeuges bekannt, wobei eine Kamera zur Überwachung des Fahrers an einem Lenkrad des Fahrzeuges angeordnet ist. Die Vorrichtung zur Überwachung umfasst die Kamera und eine Steuereinheit. Mittels der Kamera wird ein Bild des Gesichts des Fahrers erfasst, wobei die Steuereinheit eine Schräglage des erfassten Gesichts des Fahrers durch einen Lenkwinkel, der auf der Drehung des Lenkrades basiert, korrigiert. Darüber hinaus werden mittels der Steuereinheit charakteristische Bereiche des Fahrers aus dem korrigierten Bild extrahiert, um einen Zustand des Fahrers festzustellen. Weiterhin umfasst die Vorrichtung eine Ausgabeeinheit und einen Lenkwinkelsensor.In addition, from the US 2010/0002075 A1 a device for monitoring a driver of a vehicle is known, wherein a camera for monitoring the driver is arranged on a steering wheel of the vehicle. The monitoring device comprises the camera and a control unit. By means of the camera, an image of the driver's face is detected, wherein the control unit corrects an inclination of the detected face of the driver by a steering angle based on the rotation of the steering wheel. Moreover, by means of the control unit, characteristic areas of the driver are extracted from the corrected image to detect a condition of the driver. Furthermore, the device comprises an output unit and a steering angle sensor.

Ferner offenbart die JP 2009-208561 A eine Vorrichtung und ein Verfahren zum Fotografieren eines Fahrers eines Fahrzeuges. Eine Einrichtung zum Fotografieren ist an einer Lenksäule des Fahrzeuges angeordnet und fotografiert in eine Richtung eines Fahrersitzes. Die Einrichtung ist mittels einer Befestigungsvorrichtung lösbar an einem Lenkrad des Fahrzeuges befestigt, wobei die Befestigungsvorrichtung eine Markierung aufweist, um eine Lage der Einrichtung zum Fotografieren in Bezug auf eine Position des Fahrers zu bestimmen.Further, the JP 2009-208561 A an apparatus and method for photographing a driver of a vehicle. A photographing device is disposed on a steering column of the vehicle and photographed in a direction of a driver's seat. The device is releasably attached to a steering wheel of the vehicle by means of a fastening device, the fastening device having a marking to determine a position of the device for photographing with respect to a position of the driver.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Beobachtung eines Fahrers eines Fahrzeuges und eine Vorrichtung zur Durchführung des Verfahrens anzugeben.The invention has for its object to provide a comparison with the prior art improved method for monitoring a driver of a vehicle and an apparatus for performing the method.

Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die in Anspruch 1 und hinsichtlich der Vorrichtung durch die in Anspruch 6 angegebenen Merkmale gelöst.The object is achieved with respect to the method by the in claim 1 and in terms of the device by the features specified in claim 6.

Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous developments of the invention are the subject of the dependent claims.

Bei einem Verfahren zur Beobachtung eines Fahrers eines Fahrzeuges wird dieser mittels mindestens einer an einem Lenkrad angeordneten Bilderfassungseinheit beobachtet. Erfindungsgemäß wird mittels erfasster Bilddaten eine aus einer Lenkbewegung resultierende Lageänderung der Bilderfassungseinheit relativ zu einer im Fahrzeuginnenraum vorgegebenen statischen Referenzlinie oder relativ zu einer im Fahrzeuginnenraum vorgegebenen Anzahl von statischen Referenzpunkten ermittelt, anhand derer ein Lenkradwinkel bestimmt wird.In a method for observing a driver of a vehicle, this is observed by means of at least one image acquisition unit arranged on a steering wheel. According to the invention, by means of detected image data, a change in position of the image acquisition unit resulting from a steering movement is determined relative to a static reference line predetermined in the vehicle interior or relative to a predetermined number of static reference points in the vehicle interior, on the basis of which a steering wheel angle is determined.

Unter dem Lenkradwinkel wird ein Drehwinkel des Lenkrades verstanden. Mittels des Lenkradwinkels wird eine Stellung des Lenkrades beschrieben. Wird das Lenkrad durch Lenken bewegt, ändert sich die Stellung des Lenkrades und somit der Lenkradwinkel. Ein Winkel zwischen eine Radebene eines bewegbaren, insbesondere vorderen Fahrzeugrades und einer Geradeausstellung wird als Lenkwinkel bezeichnet. Wird eine Lenkbewegung am Lenkrad durchgeführt, bewegt sich das Fahrzeugrad. Eine Änderung des Lenkwinkels folgt einer Änderung des Lenkradwinkels.Under the steering wheel angle is understood a rotation angle of the steering wheel. By means of the steering wheel angle, a position of the steering wheel is described. If the steering wheel is moved by steering, the position of the steering wheel and thus the steering wheel angle changes. An angle between a wheel plane of a movable, in particular front vehicle wheel and a straight-ahead position is referred to as a steering angle. If a steering movement is performed on the steering wheel, the vehicle wheel moves. A change in the steering angle follows a change in the steering wheel angle.

Mittels der Referenzlinie oder der Anzahl von Referenzpunkten wird die Lageänderung der Bilderfassungseinheit in Bezug auf die Referenzlinie oder die Anzahl der Referenzpunkte ermittelt. Aus der Drehung des Lenkrades bei gewünschter Richtungsänderung des Fahrzeuges resultiert eine Lageänderung der Bilderfassungseinheit, so dass bei der Erfassung der Position des Fahrers ein Messfehler auftritt, da eine Ausrichtung der aufgenommenen Bilddaten nicht der tatsächlichen Ausrichtung, d. h. der Position des Fahrers relativ zum Lenkrad bei einem Lenkradwinkel von 0° entspricht. Durch die Lageänderung der Bilderfassungseinheit in Bezug auf die Referenzlinie oder der Anzahl der Referenzpunkte kann der Lenkradwinkel ermittelt werden und dadurch der Messfehler korrigiert werden. Dabei fungiert die Bilderfassungseinheit in besonders vorteilhafter Weise als präziser Lenkradwinkelsensor.By means of the reference line or the number of reference points, the change in position of the image acquisition unit with respect to the reference line or the number of reference points is determined. The rotation of the steering wheel with the desired change in direction of the vehicle results in a change in position of the image acquisition unit, so that a measurement error occurs when detecting the position of the driver, since an alignment of the recorded image data is not the actual orientation, d. H. the position of the driver relative to the steering wheel at a steering wheel angle of 0 ° corresponds. By changing the position of the image acquisition unit with respect to the reference line or the number of reference points, the steering wheel angle can be determined and thereby the measurement error can be corrected. In this case, the image capture unit functions in a particularly advantageous manner as a precise steering wheel angle sensor.

Dabei befindet sich die vorgegebene statische Referenzlinie oder die Anzahl der vorgegebenen statischen Referenzpunkte beispielsweise am Dachhimmel des Fahrzeuges oder an einer einem Fahrzeugsitz zugeordneten Kopfstütze.This is the default static reference line or the number of predetermined static reference points, for example, the headliner of the vehicle or on a vehicle seat associated headrest.

Dadurch, dass der Lenkradwinkel mittels der mindestens einen Bilderfassungseinheit und der statischen Referenzlinie oder der Anzahl von statischen Referenzpunkten ermittelt wird, können in Gewinn bringender Weise zusätzliche Sensoren zur Erfassung des Lenkradwinkels entfallen. Mittels des ermittelten Lenkradwinkels ist es möglich, sofern ein Übersetzungsverhältnis zwischen Lenkrad und vorderen Fahrzeugrädern bekannt ist, einen Lenkwinkel des Fahrzeuges zu ermitteln. Der somit ermittelte Lenkwinkel kann einem Fahrerassistenzsystem, beispielsweise einem elektronischen Stabilitätsprogramm, zugeführt werden, wodurch in Gewinn bringender Weise eine Anordnung eines Lenkwinkelsensors zur Erfassung des Lenkwinkels nicht erforderlich ist.By determining the steering wheel angle by means of the at least one image acquisition unit and the static reference line or the number of static reference points, additional sensors for detecting the steering wheel angle can be omitted in a profitable manner. By means of the determined steering wheel angle, it is possible, if a transmission ratio between the steering wheel and the front vehicle wheels is known to determine a steering angle of the vehicle. The thus determined steering angle can be supplied to a driver assistance system, for example an electronic stability program, whereby an arrangement of a steering angle sensor for detecting the steering angle is not required in a profit-making manner.

Alternativ dazu kann der Lenkradwinkel selbst dem Fahrerassistenzsystem zugeführt werden.Alternatively, the steering wheel angle itself can be supplied to the driver assistance system.

Mittels des erfindungsgemäßen Verfahrens ist es zum einen möglich, den Fahrer mittels der kopfnah angeordneten Bilderfassungseinheit zu beobachten und beispielsweise anhand seiner mittels der Bilderfassungseinheit erfassten Lidbewegungen einen Müdigkeitszustand zu ermitteln und zum anderen den Lenkradwinkel des Fahrzeuges zu ermitteln. Dabei wird zumindest das Gesicht des Fahrers im Betrieb des Fahrzeuges fortlaufend erfasst.By means of the method according to the invention, it is possible, on the one hand, to observe the driver by means of the image acquisition unit arranged near the head and, for example, to determine a state of tiredness on the basis of his eyelid movements detected by the image acquisition unit and, on the other hand, to determine the steering wheel angle of the vehicle. In this case, at least the face of the driver during operation of the vehicle is detected continuously.

Darüber hinaus ist es mittels der erfassten Bilddaten der mindestens einen Bilderfassungseinheit möglich, eine Position des Fahrers in Bezug auf das Lenkrad, die Richtung des Kopfes sowie die Blickrichtung des Fahrers zu ermitteln. Mittels dieser Kenntnis können entsprechende Vorrichtungen zur Erhöhung der aktiven und passiven Sicherheit wenigstens des Fahrers des Fahrzeuges optimiert angesteuert und aktiviert werden.Moreover, by means of the acquired image data of the at least one image acquisition unit, it is possible to determine a position of the driver with respect to the steering wheel, the direction of the head and the direction of view of the driver. By means of this knowledge, corresponding devices for increasing the active and passive safety of at least the driver of the vehicle can be optimally activated and activated.

Bei der mindestens einen Bilderfassungseinheit handelt es sich besonders bevorzugt um eine Weitwinkel-Miniaturkamera, vorzugsweise um eine so genannte Wafer-Level-Kamera. Eine derartige Bilderfassungseinheit weist vergleichsweise geringe Abmessungen und einen geringen Anschaffungspreis auf, wodurch sich die Wafer-Level-Kamera als Bilderfassungseinheit besonders für eine Integration insbesondere in den Pralltopf des Lenkrades eignet. Somit ist mit geringem Material-, Herstellungs- und Kostenaufwand eine Vorrichtung zur fortlaufenden Erfassung des Fahrers im Fahrbetrieb des Fahrzeuges realisierbar. Durch die geringe Größe und das geringe Gewicht der Bilderfassungseinheit ist eine Beeinträchtigung der Auslösung eines Fahrerairbags, welcher im Pralltopf des Lenkrades angeordnet ist, weitgehend vernachlässigbar.The at least one image acquisition unit is particularly preferably a wide-angle miniature camera, preferably a so-called wafer-level camera. Such an image acquisition unit has comparatively small dimensions and a low purchase price, as a result of which the wafer level camera as image acquisition unit is particularly suitable for integration, in particular into the baffle of the steering wheel. Thus, a device for continuous detection of the driver while driving the vehicle can be realized with low material, manufacturing and cost. Due to the small size and low weight of the image acquisition unit is a deterioration of the triggering of a driver's airbag, which is arranged in the baffle of the steering wheel, largely negligible.

In einer möglichen Ausgestaltung des erfindungsgemäßen Verfahrens kann zur Plausibilisierung des mittels des erfindungsgemäßen Verfahrens ermittelten Lenkradwinkels ein mittels eines herkömmlichen Lenkradwinkelsensors erfasster Lenkradwinkel herangezogen werden.In one possible embodiment of the method according to the invention, a steering wheel angle detected by means of a conventional steering wheel angle sensor can be used to check the plausibility of the steering wheel angle determined by means of the method according to the invention.

Sind an dem Lenkrad zwei Bilderfassungseinheiten in einer Stereoanordnung angeordnet, so können in vorteilhafter Weise Tiefeninformationen hinsichtlich der aufgenommenen Bilddaten bestimmt werden, wodurch ein Abstand zwischen Fahrer, insbesondere zwischen seinem Kopf und dem Lenkrad ermittelt wird. Dazu werden die Tiefeninformationen bevorzugt mittels eines Stereoanalyseverfahrens bestimmt.If two image acquisition units are arranged in a stereo arrangement on the steering wheel, it is advantageously possible to determine depth information with regard to the recorded image data, whereby a distance between the driver, in particular between his head and the steering wheel, is determined. For this purpose, the depth information is preferably determined by means of a stereo analysis method.

Besonders bevorzugt wird der ermittelte Abstand einer automatischen Ansteuerung des Fahrerairbags, einer automatischen Positionierung eines Fahrersitzes und/oder einer automatischen Positionierung von im und am Fahrzeug angeordneten Spiegeln zugrunde gelegt. Vorzugsweise können durch die Ermittlung des Abstandes zwischen Fahrer und Lenkrad in Bezug auf den Fahrer-Airbag Entfaltungsparameter festgelegt werden.Particularly preferably, the determined distance is based on an automatic actuation of the driver's airbag, an automatic positioning of a driver's seat and / or an automatic positioning of mirrors arranged in and on the vehicle. Preferably, deployment parameters may be determined by determining the distance between the driver and the steering wheel with respect to the driver's airbag.

Dadurch, dass die Bilderfassungseinheit an dem Lenkrad angeordnet ist, besteht die Gefahr, dass der Fahrer mittels seiner Hände die Bilderfassungseinheit verdeckt. Hierzu sieht das erfindungsgemäße Verfahren in besonders vorteilhafter Weise vor, dass bei Verdeckung wenigstens einer Bilderfassungseinheit ein Warnhinweis an den Fahrer ausgegeben wird. Dabei wird die Verdeckung mittels der erfassten Bilddaten bestimmt, so dass der Warnhinweis generiert und an den Fahrer ausgegeben wird. Dabei wird der Warnhinweis als optisches, akustisches und/oder haptisches Warnsignal ausgegeben, so dass der Fahrer auf die Verdeckung aufmerksam gemacht wird. Vorzugsweise kann der Warnhinweis zusätzlich auch wenigstens bei einer Störung der mindestens einen Bilderfassungseinheit ausgegeben werden.The fact that the image acquisition unit is arranged on the steering wheel, there is a risk that the driver covered by means of his hands, the image capture unit. For this purpose, the method according to the invention provides in a particularly advantageous manner that, when at least one image acquisition unit is covered, a warning is issued to the driver. In this case, the occlusion is determined by means of the acquired image data, so that the warning is generated and output to the driver. In this case, the warning is issued as an optical, audible and / or haptic warning signal, so that the driver is made aware of the occlusion. In addition, the warning may preferably also be output at least in the event of a malfunction of the at least one image acquisition unit.

Um die Verdeckung der Bilderfassungseinheit durch den Fahrer zu vermeiden, ist die wenigstens eine Bilderfassungseinheit in einer alternativen Ausführungsform so an dem Lenkrad angeordnet, dass eine Verdeckung weitgehend ausgeschlossen ist. Eine weitere Alternative zur Verhinderung, dass der Fahrer nicht fortlaufend erfasst wird, ist, mehrere redundante Bilderfassungseinheiten vorzusehen, so dass bei Verdeckung der einen Bilderfassungseinheit eine weitere Bilderfassungseinheit zur Erfassung des Fahrers aktiviert wird.In order to avoid the masking of the image acquisition unit by the driver, the at least one image acquisition unit is arranged on the steering wheel in an alternative embodiment in such a way that masking is largely precluded. Another alternative for preventing the driver from being continuously detected is to provide a plurality of redundant image capture units, such that when one image capture unit is obscured, another image capture unit is activated to capture the driver.

Eine Vorrichtung zur Beobachtung des Fahrers des Fahrzeuges weist die mindestens eine Bilderfassungseinheit auf, deren Erfassungsbereich in Richtung des Gesichts des Fahrers ausgerichtet ist, wobei die Bilderfassungseinheit mit einer Steuereinheit zur Auswertung erfasster Bilddaten verbunden ist, so dass mittels der Steuereinheit eine Lageänderung der Bilderfassungseinheit relativ zu der im Fahrzeuginnenraum vorgegebenen statischen Referenzlinie oder zu der Anzahl vorgegebener statischer Referenzpunkte ermittelbar ist und aus der ermittelten Lageänderung ein Lenkradwinkel bestimmbar ist. A device for monitoring the driver of the vehicle has the at least one image acquisition unit, the detection range of which is aligned in the direction of the driver's face, wherein the image acquisition unit is connected to a control unit for evaluating acquired image data, such that a position change of the image acquisition unit relative to the predetermined in the vehicle interior static reference line or the number of predetermined static reference points can be determined and from the determined change in position, a steering wheel angle can be determined.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:Showing:

1 schematisch in einer Ansicht einen Ausschnitt eines Fahrzeuginnenraumes mit einem Lenkrad und einer an einem Pralltopf angeordneten Kamera. 1 schematically in a view a section of a vehicle interior with a steering wheel and a camera arranged on a baffle pot.

In der einzigen Figur ist ein Ausschnitt eines Fahrzeuginnenraumes 1 mit einem auf einen Fahrersitz 1.1 sitzenden Fahrer 2 und ein Lenkrad 1.2 in einer Draufsicht dargestellt.In the single figure is a section of a vehicle interior 1 with one on a driver's seat 1.1 seated driver 2 and a steering wheel 1.2 shown in a plan view.

Das Lenkrad 1.2 weist einen Lenkradkranz 1.2.1 auf, der mittels einer Anzahl von Lenkradspeichen 1.2.2 mit einem mittig angeordneten Pralltopf 1.2.3, welcher auch als Lenkradtopf bezeichnet wird, verbunden ist.The steering wheel 1.2 has a steering wheel rim 1.2.1 on, by means of a number of steering wheel spokes 1.2.2 with a centrally located baffle 1.2.3 , which is also referred to as Lenkradtopf connected.

Das Lenkrad 1.2 ist Bestandteil der Lenkung des Fahrzeuges, wobei durch Drehung des Lenkrades 1.2 durch den Fahrer 2 des Fahrzeuges eine Richtungsänderung im Fahrbetrieb des Fahrzeuges bewirkt wird, wobei das Lenkrad 1.2 hierzu über ein Gestänge mit den vorderen Fahrzeugrädern verbunden ist.The steering wheel 1.2 is part of the steering of the vehicle, whereby by rotation of the steering wheel 1.2 by the driver 2 the vehicle is a direction change in the driving operation of the vehicle is effected, wherein the steering wheel 1.2 this is connected via a linkage with the front vehicle wheels.

In dem Pralltopf 1.2.3 des Lenkrades 1.2 ist ein nicht näher dargestellter Airbag, der so genannte Fahrerairbag angeordnet.In the baffle 1.2.3 of the steering wheel 1.2 is an unillustrated airbag, the so-called driver's airbag arranged.

Um eine aktive und passive Sicherheit zumindest des Fahrers 2 des Fahrzeuges mittels entsprechend ansteuerbarer Vorrichtungen zu erhöhen, ist es vorteilhaft, die Position des Fahrers 2, seine Kopf- und seine Blickrichtung zu ermitteln. Hierzu sind in den Pralltopf 1.2.3 des Fahrzeuges zwei Bilderfassungseinheiten 3 integriert.To ensure active and passive safety of at least the driver 2 of the vehicle by means of appropriately controllable devices, it is advantageous to the position of the driver 2 to determine his head and eye direction. For this purpose are in the baffle 1.2.3 of the vehicle two image acquisition units 3 integrated.

Bei den Bilderfassungseinheiten 3 handelt es sich um weitwinklige Miniaturkameras, insbesondere Wafer-Level-Kameras. Eine solche Bilderfassungseinheit 3 weist ein nicht näher gezeigtes Substrat auf, auf welcher eine optische Linse befestigt ist, wobei das Substrat kreisrund oder quadratisch ausgebildet ist und vergleichsweise geringe Abmessungen aufweist. Durch die geringen Abmessungen und das geringe Gewicht derartiger Bilderfassungseinheiten 3 sind diese ohne großen Aufwand und vergleichsweise kostengünstig in den Pralltopf 1.2.3 integrierbar.In the image acquisition units 3 These are wide-angle miniature cameras, especially wafer-level cameras. Such an image capture unit 3 has a substrate, not shown in detail on which an optical lens is mounted, wherein the substrate is circular or square and has comparatively small dimensions. Due to the small dimensions and the low weight of such image acquisition units 3 These are inexpensive and relatively inexpensive in the baffle pot 1.2.3 integrated.

Dabei ist ein Erfassungsbereich E der jeweiligen Bilderfassungseinheiten 3 in Richtung eines Gesichts 2.1 des Fahrers 2 ausgerichtet, so dass die Position des Fahrers 2, dessen Kopf- und Blickrichtung erfasst werden.In this case, a detection area E of the respective image detection units 3 in the direction of a face 2.1 the driver 2 aligned, so that the position of the driver 2 whose head and eye direction are detected.

Die Bilderfassungseinheiten 3 sind drahtlos oder drahtgebunden mit einer nicht gezeigten Steuereinheit gekoppelt, mittels welcher von den Bilderfassungseinheiten 3 aufgenommene Bilddaten ausgewertet werden.The image capture units 3 are wireless or wired coupled to a control unit, not shown, by means of which of the image acquisition units 3 recorded image data are evaluated.

Die Bilderfassungseinheiten 3 sind in einer so genannten Stereoanordnung in den Pralltopf 1.2.3 integriert, so dass Tiefeninformationen der aufgenommenen Bilddaten bestimmt werden können.The image capture units 3 are in a so-called stereo arrangement in the baffle 1.2.3 integrated, so that depth information of the recorded image data can be determined.

Mittels der Bilderfassungseinheiten 3 werden Bilddaten des Fahrers 2 im Fahrbetrieb des Fahrzeuges aufgenommen und in der Steuereinheit verarbeitet und ausgewertet. Dabei werden die Position des Fahrers 2, die Kopf- und die Blickrichtung ermittelt. Weiterhin kann durch die im Fahrbetrieb fortlaufende Erfassung des Fahrers 2 auch ein Müdigkeitszustand ermittelt werden, wobei dazu beispielsweise eine Lidbewegung des Fahrers 2 fortlaufend erfasst und in der Steuereinheit ausgewertet wird.By means of image acquisition units 3 be image data of the driver 2 taken while driving the vehicle and processed and evaluated in the control unit. This will be the position of the driver 2 detecting head and eye direction. Furthermore, by the continuous driving while detecting the driver 2 also a state of fatigue can be determined, for example, a lid movement of the driver 2 continuously recorded and evaluated in the control unit.

Mittels der Tiefeninformationen, die aus den aufgenommenen Bilddaten bestimmt wird, wird ein Abstand a zwischen dem Fahrer 2 und dem Lenkrad 1.2 ermittelt, wodurch mittels der Steuereinheit beispielsweise Entfaltungsparameter des Fahrerairbags vorgegeben werden können.By means of the depth information, which is determined from the recorded image data, a distance a between the driver 2 and the steering wheel 1.2 determined, which can be specified by the control unit, for example, deployment parameters of the driver's airbag.

Darüber hinaus können mittels der Steuereinheit eine Sitzeinstellung des Fahrersitzes 1.1, Positionen von nicht näher gezeigten im und am Fahrzeug angeordneten Spiegeln und/oder virtuellen Spiegeln in Form von Kameras durch die Kenntnis der Position des Fahrers 2, die Kopf- und die Blickrichtung automatisch angepasst, d. h. eingestellt werden.In addition, by means of the control unit, a seat adjustment of the driver's seat 1.1 Positions of not shown in and arranged on the vehicle mirrors and / or virtual mirrors in the form of cameras by the knowledge of the position of the driver 2 , the head and eye direction automatically adjusted, ie adjusted.

In einer Geradeausstellung der vorderen Fahrzeugräder beträgt ein Lenkwinkel des Fahrzeuges und somit auch ein Lenkradwinkel 0°. In dieser Nullstellung des Lenkrades 1.2 wird die Position des Fahrers 2 mittels der Bilderfassungseinheiten 3 relativ zu dem Lenkrad 1.2 direkt erfasst.In a straight-ahead position of the front vehicle wheels, a steering angle of the vehicle and thus also a steering wheel angle is 0 °. In this zero position of the steering wheel 1.2 becomes the position of the driver 2 by means of the image acquisition units 3 relative to the steering wheel 1.2 recorded directly.

Führt der Fahrer 2 eine Lenkbewegung durch, ändert sich der Lenkradwinkel und dadurch eine Lage der Bilderfassungseinheiten 3, die sich entsprechend der Lenkbewegung mitdrehen. Durch die Lageänderung der Bilderfassungseinheiten 3 tritt bei Erfassung der Position des Fahrers 2 ein Messfehler auf. Der Messfehler äußert sich dahingehend, dass die Position des Fahrers 2 im erfassten Bild nicht mehr der Position des Fahrers 2 in der Nullstellung des Lenkrades 1.2 entspricht.Leads the driver 2 a steering movement through, the steering wheel angle and thereby a position of the image sensing units changes 3 , which turn according to the steering movement. Due to the change in position of the image acquisition units 3 occurs upon detection of the position of the driver 2 a measurement error. The measurement error manifests itself in that the position of the driver 2 in the captured image no longer the driver's position 2 in the zero position of the steering wheel 1.2 equivalent.

Um den durch die Lageänderung der Bilderfassungseinheiten 3 auftretenden Messfehler in Bezug auf die Position des Fahrers 2 relativ zu dem Lenkrad 1.2 zu korrigieren, ist im Fahrzeuginnenraum 1 eine nicht näher dargestellte stationäre Referenzlinie oder eine Anzahl von stationären Bezugspunkten vorgegeben. Beispielsweise befindet sich die Referenzlinie oder die Anzahl der Referenzpunkte an einem Dachhimmel oder an einer Kopfstütze eines Fahrzeugsitzes. Diese stationäre Referenzlinie oder die stationären Referenzpunkte dient bzw. dienen als Markierung, um den Lenkradwinkel und somit die Lageänderung der Bilderfassungseinheiten 3 zu ermitteln, wobei die Lageänderung dem momentanen Lenkradwinkel entspricht. Durch die momentane Lage der Bilderfassungseinheit 3 relativ zu der Referenzlinie oder den Referenzpunkten als Markierung ist der momentane Lenkradwinkel ermittelbar, wodurch die erfasste Position des Fahrers 2 relativ zu dem Lenkrad 1.2 korrigierbar ist.To the by the change in position of the image acquisition units 3 occurring measurement error with respect to the position of the driver 2 relative to the steering wheel 1.2 to correct, is in the vehicle interior 1 a stationary reference line, not shown, or a number of stationary reference points. For example, the reference line or the number of reference points is located on a headliner or on a headrest of a vehicle seat. This stationary reference line or the stationary reference points serve as markings, around the steering wheel angle and thus the change in position of the image acquisition units 3 to determine, wherein the change in position corresponds to the current steering wheel angle. Due to the current position of the image acquisition unit 3 relative to the reference line or the reference points as a marker, the current steering wheel angle is determined, whereby the detected position of the driver 2 relative to the steering wheel 1.2 is correctable.

Mittels des ermittelten Lenkradwinkels und eines bekannten Übersetzungsverhältnises zwischen Lenkrad 1.2 und vorderen Fahrzeugrädern ist ein Lenkwinkel des Fahrzeuges ermittelbar, der beispielsweise einer Steuereinheit eines Fahrerassistenzsystems, beispielsweise einem elektronischen Stabilitätsprogramm zugeführt werden kann. Somit ist die Anordnung eines Lenkwinkelsensors zur Erfassung des Lenkwinkels des Fahrzeuges nicht erforderlich.By means of the determined steering wheel angle and a known transmission ratio between the steering wheel 1.2 and front vehicle wheels, a steering angle of the vehicle can be determined, for example, a control unit of a driver assistance system, for example, an electronic stability program can be supplied. Thus, the arrangement of a steering angle sensor for detecting the steering angle of the vehicle is not required.

Um den mittels der Lageänderung der Bilderfassungseinheiten 3 ermittelten Lenkradwinkel auf seine Genauigkeit hin zu überprüfen, kann ein, sofern an dem Fahrzeug ein Lenkradwinkelsensor angeordnet ist, mittels des Lenkradwinkelsensors erfasster Lenkradwinkel herangezogen werden, um die erfasste Position des Fahrers 2 relativ zu dem Lenkrad 1.2 zu korrigieren.To that by means of the change in position of the image acquisition units 3 If the determined steering wheel angle is checked for accuracy, a steering wheel angle detected by the steering wheel angle sensor can be used, if the steering wheel angle sensor is arranged on the vehicle, to determine the detected position of the driver 2 relative to the steering wheel 1.2 to correct.

Dadurch, dass die Bilderfassungseinheiten 3 in das Lenkrad 1.2 integriert sind, besteht die Gefahr, dass der Fahrer 2 im Betrieb des Fahrzeuges zumindest eine der Bilderfassungseinheiten 3 mit seinen Händen 2.2 verdeckt, so dass es nicht möglich ist, fortlaufend Bilddaten des Fahrers 2 zu erfassen. Um zu vermeiden, dass der Fahrer 2 die Bilderfassungseinheit 3 über einen längeren Zeitraum verdeckt, ist vorgesehen, bei Verdeckung zumindest einer der Bilderfassungseinheiten 3 einen Warnhinweis zu generieren und an den Fahrer 2 auszugeben. Dabei wird das Verdecken mittels der erfassten Bilddaten detektiert, wobei z. B. die vorgegebene stationäre Referenzlinie oder die vorgegebene Anzahl stationärer Referenzpunkte in den aufgenommenen Bilddaten nicht mehr erfasst wird.Due to the fact that the image acquisition units 3 in the steering wheel 1.2 are integrated, there is a risk that the driver 2 during operation of the vehicle at least one of the image capture units 3 with his hands 2.2 obscured, so that it is not possible to continuously image data of the driver 2 capture. To avoid the driver 2 the image capture unit 3 is hidden over a longer period, is provided, if at least one of the image capture units 3 to generate a warning and to the driver 2 issue. In this case, the masking is detected by means of the acquired image data, wherein z. B. the predetermined stationary reference line or the predetermined number of stationary reference points in the recorded image data is no longer detected.

Der Warnhinweis wird als optisches, akustisches und/oder haptisches Warnsignal an den Fahrer 2 ausgegeben, wobei der Fahrer 2 mittels des Warnsignals darauf hingewiesen wird, dass zumindest eine der beiden Bilderfassungseinheiten 3 verdeckt ist. Zusätzlich kann das Warnsignal auch ausgegeben werden, wenn beispielsweise hinsichtlich der Bilderfassungseinheiten 3 und/oder der Steuereinheit Störungen auftreten.The warning message is sent to the driver as a visual, audible and / or haptic warning signal 2 issued, the driver 2 is indicated by means of the warning signal that at least one of the two image acquisition units 3 is covered. In addition, the warning signal can also be output when, for example, with regard to the image acquisition units 3 and / or the control unit malfunctions occur.

Alternativ zur Ausgabe des Warnhinweises bei Verdeckung zumindest einer der beiden Bilderfassungseinheiten 3 können diese auch an Positionen des Lenkrades 1.2 angeordnet sein, bei denen ein Verdecken durch den Fahrer weitestgehend ausgeschlossen ist.Alternatively to the output of the warning when masking at least one of the two image acquisition units 3 These can also be at positions of the steering wheel 1.2 be arranged in which a cover by the driver is largely excluded.

Auch können mehrere redundante Bilderfassungseinheiten 3 an dem Lenkrad 1.2 angeordnet, d. h. in das Lenkrad integriert sein, so dass bei Verdecken einer Bilderfassungseinheit 3 eine weitere Bilderfassungseinheit 3 aktiviert wird, wodurch eine fortlaufende Erfassung des Fahrers 2 weitgehend sichergestellt ist.Also, multiple redundant image capture units 3 on the steering wheel 1.2 arranged, ie integrated into the steering wheel, so that when covering an image acquisition unit 3 another image capture unit 3 is activated, creating a continuous detection of the driver 2 is largely ensured.

Mittels des erfindungsgemäßen Verfahrens und der Vorrichtung ist eine Lösung geschaffen, mittels derer die aktive und passive Sicherheit zumindest des Fahrers 2 des Fahrzeuges durch eine optimierte Ansteuerung entsprechender Vorrichtungen auf Grundlage der erfassten Position des Fahrers 2 erhöht wird. Darüber hinaus ist mittels der Lageänderung der Bilderfassungseinheit durch eine Lenkbewegung der Lenkwinkel ermittelbar.By means of the method and the device according to the invention, a solution is created by means of which the active and passive safety of at least the driver 2 of the vehicle by optimally driving corresponding devices based on the detected position of the driver 2 is increased. In addition, by means of the change in position of the image acquisition unit by a steering movement of the steering angle can be determined.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
FahrzeuginnenraumVehicle interior
1.11.1
Fahrersitzdriver's seat
1.21.2
Lenkradsteering wheel
1.2.11.2.1
Lenkradkranzsteering wheel rim
1.2.21.2.2
Lenkradspeichesteering wheel spoke
1.2.31.2.3
Pralltopfimpact absorber
22
Fahrerdriver
2.12.1
Gesichtface
2.22.2
Handhand
33
BilderfassungseinheitImage capture unit
Ee
Erfassungsbereichdetection range
aa
Abstanddistance

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 1838550 B1 [0002] EP 1838550 B1 [0002]
  • US 2010/0002075 A1 [0003] US 2010/0002075 A1 [0003]
  • JP 2009-208561 A [0004] JP 2009-208561 A [0004]

Claims (10)

Verfahren zur Beobachtung eines Fahrers (2) eines Fahrzeuges mittels mindestens einer an einem Lenkrad (1.2) angeordneten Bilderfassungseinheit (3), dadurch gekennzeichnet, dass mittels erfasster Bilddaten eine aus einer Lenkbewegung resultierende Lageänderung der Bilderfassungseinheit (3) relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen statischen Referenzlinie oder relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen Anzahl von statischen Referenzpunkten ermittelt wird, anhand derer ein Lenkradwinkel bestimmt wird.Method for monitoring a driver ( 2 ) of a vehicle by means of at least one on a steering wheel ( 1.2 ) image capture unit ( 3 ), characterized in that by means of detected image data a change in position of the image acquisition unit resulting from a steering movement ( 3 ) relative to a vehicle interior ( 1 ) predetermined static reference line or relative to a vehicle interior ( 1 ) predetermined number of static reference points is determined, based on which a steering wheel angle is determined. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Anordnung von zwei Bilderfassungseinheiten (3) ein Abstand (a) zwischen dem Fahrer (2) und dem Lenkrad (1.2) ermittelt wird.Method according to claim 1, characterized in that when two image acquisition units ( 3 ) a distance (a) between the driver ( 2 ) and the steering wheel ( 1.2 ) is determined. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der ermittelte Abstand (a) einer automatischen Ansteuerung eines Fahrerairbags, einer automatischen Positionierung eines Fahrersitzes (1.1) und/oder einer automatischen Positionierung von im und am Fahrzeug angeordneten Spiegeln zugrunde gelegt wird.A method according to claim 2, characterized in that the determined distance (a) of an automatic control of a driver's airbag, an automatic positioning of a driver's seat ( 1.1 ) and / or an automatic positioning of arranged in and on the vehicle mirrors is based. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer Verdeckung wenigstens einer Bilderfassungseinheit (3) ein Warnhinweis an den Fahrer (2) ausgegeben wird.Method according to one of the preceding claims, characterized in that, in the case of concealment of at least one image acquisition unit ( 3 ) a warning to the driver ( 2 ) is output. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Warnhinweis als optisches, akustisches und/oder haptisches Warnsignal ausgegeben wird.A method according to claim 4, characterized in that the warning is issued as an optical, audible and / or haptic warning signal. Vorrichtung zur Beobachtung eines Fahrers (2) eines Fahrzeuges mit einem Lenkrad (1.2), wobei mindestens eine Bilderfassungseinheit (3) an oder mittelbar zu einem Pralltopf (1.2.3) des Lenkrades (1.2) angeordnet ist und ein Erfassungsbereich (E) der mindestens einen Bilderfassungseinheit (3) in Richtung eines Gesichts (2.1) des Fahrers (2) ausgerichtet ist, wobei die mindestens eine Bilderfassungseinheit (3) mit einer Steuereinheit zur Auswertung erfasster Bilddaten verbunden ist, dadurch gekennzeichnet, dass mittels der Steuereinheit anhand der erfassten Bilddaten eine Lageänderung der Bilderfassungseinheit (3) relativ zu einer im Fahrzeuginnenraum (1) vorgegebenen statischen Referenzlinie oder relativ zu einer vorgegebenen Anzahl von statischen Referenzpunkten ermittelbar ist und aus der ermittelten Lageänderung ein Lenkradwinkel bestimmbar ist.Device for monitoring a driver ( 2 ) of a vehicle with a steering wheel ( 1.2 ), wherein at least one image acquisition unit ( 3 ) or indirectly to a baffle pot ( 1.2.3 ) of the steering wheel ( 1.2 ) and a detection area (E) of the at least one image capture unit ( 3 ) in the direction of a face ( 2.1 ) of the driver ( 2 ), wherein the at least one image acquisition unit ( 3 ) is connected to a control unit for evaluating acquired image data, characterized in that by means of the control unit based on the acquired image data, a change in position of the image acquisition unit ( 3 ) relative to a vehicle interior ( 1 ) predetermined static reference line or relative to a predetermined number of static reference points can be determined and from the determined change in position, a steering wheel angle can be determined. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinheit (3) eine Weitwinkel-Miniaturkamera ist.Apparatus according to claim 6, characterized in that the at least one image acquisition unit ( 3 ) is a wide-angle miniature camera. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinheit (3) eine Wafer-Level-Kamera ist.Apparatus according to claim 6 or 7, characterized in that the at least one image capture unit ( 3 ) is a wafer-level camera. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungseinheit (3) in das Lenkrad (1.2) integriert ist.Device according to one of the preceding claims, characterized in that the at least one image acquisition unit ( 3 ) in the steering wheel ( 1.2 ) is integrated. Vorrichtung nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass eine Ausgabeeinheit vorgesehen ist, mittels derer ein Warnhinweis bei Verdeckung wenigstens einer Bilderfassungseinheit (3) ausgebbar ist.Device according to one of claims 6 to 9, characterized in that an output unit is provided, by means of which a warning when masking at least one image capture unit ( 3 ) is dispensable.
DE102010053120A 2010-12-01 2010-12-01 Method and device for monitoring a driver of a vehicle Withdrawn DE102010053120A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102010053120A DE102010053120A1 (en) 2010-12-01 2010-12-01 Method and device for monitoring a driver of a vehicle
PCT/EP2011/005833 WO2012072203A1 (en) 2010-12-01 2011-11-19 Method and device for observing a driver of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010053120A DE102010053120A1 (en) 2010-12-01 2010-12-01 Method and device for monitoring a driver of a vehicle

Publications (1)

Publication Number Publication Date
DE102010053120A1 true DE102010053120A1 (en) 2012-06-06

Family

ID=45033923

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010053120A Withdrawn DE102010053120A1 (en) 2010-12-01 2010-12-01 Method and device for monitoring a driver of a vehicle

Country Status (2)

Country Link
DE (1) DE102010053120A1 (en)
WO (1) WO2012072203A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206629A1 (en) * 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Method for operating a viewing direction detection device of a motor vehicle, viewing direction detection device and motor vehicle
DE102014207382A1 (en) 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Steering wheel arrangement for a vehicle
WO2016009123A1 (en) * 2014-07-15 2016-01-21 Peugeot Citroen Automobiles Sa Method for controlling the angular position of a vehicle steering wheel and associated vehicle
DE202014009461U1 (en) * 2014-11-27 2016-03-01 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Steering angle detection device of a motor vehicle
DE102016002289A1 (en) 2016-02-25 2016-08-11 Daimler Ag Method for observing a driver of a vehicle
DE102020209613A1 (en) 2020-07-30 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining a change in position of an image acquisition device and system attached to an adjustable element of a vehicle
DE102013209574B4 (en) 2012-06-04 2023-05-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) SYSTEM AND METHOD FOR AUTOMATICALLY ADJUSTING A STEERING WHEEL TILT POSITION

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012223415A1 (en) 2012-12-17 2014-06-18 Robert Bosch Gmbh Method for adapting position of cabin element in passenger compartment of vehicle, involves associating position of cabin element in passenger compartment to detected feature
DE102012025530A1 (en) * 2012-12-20 2014-06-26 PRS Technologie Gesellschaft mbH Device for determining steering wheel position of passenger car, has detection device for detecting steering wheel lock angle relative to cockpit-sided reference line of motor vehicle and designed as optical detection device
FR3003227A3 (en) * 2013-03-14 2014-09-19 Renault Sa STEERING WHEEL OF A MOTOR VEHICLE EQUIPPED WITH A VIDEO CAMERA
CN105253189A (en) * 2014-07-18 2016-01-20 张有贺 Steering wheel having touch control induction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1838550B1 (en) 2005-01-19 2008-04-16 Takata-Petri AG Steering wheel assembly for a motor vehicle
JP2009208561A (en) 2008-03-03 2009-09-17 Toyota Motor Corp Driver photographing system and driver photographing method
US20100002075A1 (en) 2008-07-04 2010-01-07 Hyundai Motor Company Driver's state monitoring system using a camera mounted on steering wheel

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20116618U1 (en) * 2001-10-10 2002-02-21 Trw Automotive Safety Sys Gmbh The vehicle steering apparatus
DE10352688A1 (en) * 2003-11-12 2005-06-16 Bayerische Motoren Werke Ag Automatic adjustment mechanism for vehicle steering wheel position couples CMOS camera to actuators
JP2008203992A (en) * 2007-02-16 2008-09-04 Omron Corp Detection device, method, and program thereof
JP2009090687A (en) * 2007-10-03 2009-04-30 Tokai Rika Co Ltd Vehicular steering device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1838550B1 (en) 2005-01-19 2008-04-16 Takata-Petri AG Steering wheel assembly for a motor vehicle
JP2009208561A (en) 2008-03-03 2009-09-17 Toyota Motor Corp Driver photographing system and driver photographing method
US20100002075A1 (en) 2008-07-04 2010-01-07 Hyundai Motor Company Driver's state monitoring system using a camera mounted on steering wheel

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013209574B4 (en) 2012-06-04 2023-05-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) SYSTEM AND METHOD FOR AUTOMATICALLY ADJUSTING A STEERING WHEEL TILT POSITION
DE102014206629A1 (en) * 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Method for operating a viewing direction detection device of a motor vehicle, viewing direction detection device and motor vehicle
DE102014207382A1 (en) 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Steering wheel arrangement for a vehicle
WO2016009123A1 (en) * 2014-07-15 2016-01-21 Peugeot Citroen Automobiles Sa Method for controlling the angular position of a vehicle steering wheel and associated vehicle
FR3023819A1 (en) * 2014-07-15 2016-01-22 Peugeot Citroen Automobiles Sa METHOD FOR CONTROLLING THE ANGULAR POSITION OF THE STEERING WHEEL OF A VEHICLE AND VEHICLE THEREFOR
DE202014009461U1 (en) * 2014-11-27 2016-03-01 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Steering angle detection device of a motor vehicle
DE102016002289A1 (en) 2016-02-25 2016-08-11 Daimler Ag Method for observing a driver of a vehicle
DE102020209613A1 (en) 2020-07-30 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for determining a change in position of an image acquisition device and system attached to an adjustable element of a vehicle

Also Published As

Publication number Publication date
WO2012072203A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
DE102010053120A1 (en) Method and device for monitoring a driver of a vehicle
EP2296951B1 (en) Device and method for approving automatic guidance of a vehicle
DE102013224725B4 (en) Method for detecting a fall of a driver of a two-wheeler and device for this purpose
EP1978396B1 (en) Display device and display method
DE102010055583B4 (en) Motor vehicle with a camera and method for operating a camera system in a motor vehicle
DE102011075702A1 (en) Method for aligning projection of projection device of motor vehicle, involves determining deviation between position of specific image and position of object regarding viewpoint of occupants
DE102012218837A1 (en) Method for displaying a representation on head-up display or head-mounted display e.g. LCD in passenger car, involves determining representation that is to-be-superimposed from view of user in environment, and assigning representation
DE102007051543A1 (en) Vehicle component e.g. presentation device, parameter adjusting device, has detection device for detecting position and/or orientation of passenger head, where adjustment of parameter is carried out based on position and/or orientation
DE102011113323A1 (en) Vehicle has several image acquisition units that are positioned on A-pillar at vehicle door and on flexible, pivoting and/or telescoped retractable and extendable supporting element
WO2014118188A1 (en) Camera system for a vehicle, and method and device for controlling an image region of an image of a vehicle camera for a vehicle
DE102016002289A1 (en) Method for observing a driver of a vehicle
DE102017220268A1 (en) Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
WO2019037905A1 (en) Method for operating an assistance system for a vehicle and assistance system
DE102019103197A1 (en) PASSENGER MONITORING DEVICE
DE102016208398B4 (en) Method for calibrating a vehicle camera
DE102015011522A1 (en) Driver assistance device
DE102016225261A1 (en) Method and device for operating a display system with data glasses
DE102013017341A1 (en) Apparatus for calibration of camera assembly in vehicle, executes extrinsic calibration parameter of individual camera of camera assembly, when deviation of individual camera from desired position is detected by acceleration sensor
DE102016211227A1 (en) Method and vehicle control system for generating images of an environment model and corresponding vehicle
DE102018220465A1 (en) Method for adapting adjustable components in a motor vehicle to a person's stature
DE102015113066A1 (en) Display system and operating system of a motor vehicle
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
WO2018233960A1 (en) Method, device, and computer program for the operation of a vehicle operation system
WO2012126650A1 (en) Driver assistance system and driver assistance method for a vehicle
WO2019029966A1 (en) Method and device for driver state evaluation and vehicle

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee