DE102013019191A1 - Method and device for operating at least one assistance system of a motor vehicle - Google Patents

Method and device for operating at least one assistance system of a motor vehicle Download PDF

Info

Publication number
DE102013019191A1
DE102013019191A1 DE102013019191.2A DE102013019191A DE102013019191A1 DE 102013019191 A1 DE102013019191 A1 DE 102013019191A1 DE 102013019191 A DE102013019191 A DE 102013019191A DE 102013019191 A1 DE102013019191 A1 DE 102013019191A1
Authority
DE
Germany
Prior art keywords
driver
account
taking
determined
angular range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102013019191.2A
Other languages
German (de)
Other versions
DE102013019191B4 (en
Inventor
Marcus Kühne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102013019191.2A priority Critical patent/DE102013019191B4/en
Publication of DE102013019191A1 publication Critical patent/DE102013019191A1/en
Application granted granted Critical
Publication of DE102013019191B4 publication Critical patent/DE102013019191B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Transportation (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Die Erfindung betrifft ein zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit den Schritten: Erfassen jeweiliger Augenausrichtungen eines Fahrers (18) des Kraftwagens mittels einer Blickerfassungseinrichtung (16) für eine Mehrzahl aufeinander folgender Zeitpunkte; Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen: Ermitteln jeweiliger Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen; Speichern der ermittelten Blickrichtungen (24); Betreiben des Assistenzsystems (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24); Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt: Ermitteln eines Verlassensvektors (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24), wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind; Betreiben des Assistenzsystems (14) unter Berücksichtigung des ermittelten Verlassensvektors (26). Des Weiteren betrifft die Erfindung eine Vorrichtung (12) zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10).The invention relates to a system for operating at least one assistance system (14) of a motor vehicle (10), comprising: detecting respective eye orientations of a driver (18) of the motor vehicle by means of a gaze detection device (16) for a plurality of consecutive times; Determining whether the respectively detected eye orientations are within at least a predetermined angular range (α, β); As long as it is determined that the detected eye orientations are within the predetermined angular range (α, β): determining respective directions of view (24) of the driver (18) based on the respectively detected eye alignments; Storing the determined viewing directions (24); Operating the assistance system (14) taking into account the respectively determined viewing directions (24); Once it is determined that one of the detected eye orientations is outside the predetermined angular range (α, β), determining a leaving vector (26) taking into account the previously stored viewing directions (24), wherein the leaving vector (26) characterizes the direction (36) which the eyes (20) of the driver (18) have been pivoted when leaving the predetermined angular range (α, β); Operating the assistance system (14) taking into account the determined leaving vector (26). Furthermore, the invention relates to a device (12) for operating at least one assistance system (14) of a motor vehicle (10).

Description

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens.The invention relates to a method and a device for operating at least one assistance system of a motor vehicle.

Es sind Verfahren und Systeme bekannt, mittels welchen unterschiedliche Funktionen eines Kraftwagens in Abhängigkeit einer erfassten Blickrichtung ausgeführt werden können. Beispielsweise zeigt die DE 10 2012 006966 A1 ein Verfahren zum Auslösen einer fahrzeugseitig ausführbaren Funktion, wobei in Abhängigkeit einer erfassten Blickrichtung eines Fahrers des Kraftwagens eine Funktion des Kraftwagens ausgelöst werden kann.Methods and systems are known by means of which different functions of a motor vehicle can be carried out as a function of a detected viewing direction. For example, the shows DE 10 2012 006966 A1 a method for triggering a vehicle-side executable function, wherein a function of the motor vehicle can be triggered depending on a detected line of sight of a driver of the motor vehicle.

Bei derartigen Verfahren werden üblicherweise kamera- und softwarebasierte Blickerfassungseinrichtungen eingesetzt, mittels welchen die Augen des Fahrers aufgenommen und die jeweiligen Aufnahmen analysiert werden, um eine Blickrichtung des Fahrers zu ermitteln. Die Genauigkeit der Blickrichtungserfassung wird dabei durch unterschiedlichste Faktoren beeinflusst. Üblicherweise weisen derartige Blickerfassungseinrichtungen einen eingeschränkten Erfassungsbereich auf, innerhalb welchem sich die Augen des Nutzers befinden müssen, um eine hinreichend genaue Blickrichtungsermittlung durchführen zu können.Camera and software-based vision systems are usually used in such methods, by means of which the driver's eyes are recorded and the respective images are analyzed in order to determine a line of sight of the driver. The accuracy of the viewing direction detection is influenced by a wide variety of factors. Usually, such gaze detection devices have a limited detection range, within which the eyes of the user must be in order to be able to carry out a sufficiently accurate viewing direction determination.

Die US 2006 0023918 A1 und die DE 10241993 B3 zeigen Verfahren, mittels welchem die Position des Kopfes eines Fahrers eines Kraftwagens erfasst werden kann.The US 2006 0023918 A1 and the DE 10241993 B3 show methods by which the position of the head of a driver of a motor vehicle can be detected.

Die DE 10 2010 013243 A1 zeigt ebenfalls ein Verfahren zur Ermittlung einer Kopfposition eines Fahrers eines Kraftwagens, wobei neben dem Kopf des Fahrers auch ein Lenkrad des Kraftwagens mittels einer Kamera aufgenommen wird.The DE 10 2010 013243 A1 also shows a method for determining a head position of a driver of a motor vehicle, wherein in addition to the head of the driver and a steering wheel of the motor vehicle is recorded by means of a camera.

Die DE 10360176 A1 zeigt einen Kraftwagen mit einem Sensor zur Überwachung eines Fahrers des Kraftwagens, wobei der Sensor derart positioniert ist, dass ein Strahlengang ausgehend vom Sensor bis zum Gesicht des Fahrers weder durch Teile des Kraftwagens noch durch den Fahrer selbst, sofern sich dieser in einer beim Fahren des Kraftwagens üblichen Haltung befindet, versperrt wird.The DE 10360176 A1 shows a motor vehicle with a sensor for monitoring a driver of the motor vehicle, wherein the sensor is positioned such that a beam path from the sensor to the face of the driver neither by parts of the motor vehicle nor by the driver himself, if this in a while driving the Motor vehicle's usual attitude is locked.

Die US 2006 0018518 A1 zeigt ein Verfahren und eine Vorrichtung zum Erfassen einer dreidimensionalen Position eines Fahrzeuginsassen, wobei eine Kopfposition des Fahrzeuginsassen mittels eines optischen Sensors erfasst wird.The US 2006 0018518 A1 shows a method and apparatus for detecting a three-dimensional position of a vehicle occupant, wherein a head position of the vehicle occupant is detected by means of an optical sensor.

Es ist die Aufgabe der vorliegenden Erfindung, eine verbesserte Blickrichtungsermittlung, insbesondere zum Betreiben zumindest eines Assistenzsystems eines Kraftwagens, zu ermöglichen.It is the object of the present invention to enable improved viewing direction determination, in particular for operating at least one assistance system of a motor vehicle.

Diese Aufgabe wird durch ein Verfahren sowie durch eine Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method and by a device for operating at least one assistance system of a motor vehicle having the features of the independent patent claims. Advantageous embodiments with expedient and non-trivial developments of the invention are specified in the dependent claims.

Das erfindungsgemäße Verfahren zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens umfasst folgende Schritte:

  • – Erfassen jeweiliger Augenausrichtungen eines Fahrers des Kraftwagens mittels einer Blickerfassungseinrichtung für eine Mehrzahl aufeinander folgender Zeitpunkte;
  • – Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs liegen;
  • – solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen: • Ermitteln jeweiliger Blickrichtungen des Fahrers anhand der jeweils erfassten Augenausrichtungen; • Speichern der ermittelten Blickrichtung; • Betreiben des Assistenzsystems unter Berücksichtigung der jeweils ermittelten Blickrichtung;
  • – sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt: • Ermitteln eines Verlassensvektors unter Berücksichtigung der zuvor gespeicherten Blickrichtungen, wobei der Verlassensvektor die Richtung charakterisiert, in welche die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind; • Betreiben des Assistenzsystems unter Berücksichtigung des ermittelten Verlassensvektors.
The method according to the invention for operating at least one assistance system of a motor vehicle comprises the following steps:
  • - Detecting respective eye alignments of a driver of the motor vehicle by means of a gaze detecting device for a plurality of successive points in time;
  • - Determining whether the respectively detected eye alignments are within at least a predetermined angular range;
  • - as long as it is determined that the detected eye orientations are within the predetermined angular range: • determining respective directions of sight of the driver on the basis of the respectively detected eye alignments; • saving the determined viewing direction; • operating the assistance system taking into account the respective direction of sight;
  • As soon as it is determined that one of the detected eye orientations is outside the predetermined angular range: determining a leaving vector taking into account the previously stored viewing directions, wherein the leaving vector characterizes the direction in which the eyes of the driver have been pivoted when leaving the predetermined angular range; • Operating the assistance system taking into account the determined leaving vector.

Der Erfindung liegt die Erkenntnis zugrunde, dass für eine hinreichend genaue Ermittlung einer Blickrichtung eines Fahrers nicht nur die Positionierung seines Kopfes und somit seiner Augen innerhalb eines bestimmten Erfassungsbereichs erforderlich ist, innerhalb welchem die Blickerfassungseinrichtung eine hinreichend genaue Blickrichtung des Fahrers anhand der aufgenommenen Augen des Fahrers ermitteln kann. Insbesondere ab einer gewissen Winkelabweichung der Augen des Fahrers von einem gut erfassbaren Winkelbereich der Blickerfassungseinrichtung kann ein entsprechendes Kamerasystem der Blickerfassungseinrichtung nicht mehr genau erfassen, beziehungsweise ermitteln, wohin der Fahrer schaut.The invention is based on the finding that for a sufficiently accurate determination of a driver's line of sight not only the positioning of his head and thus his eyes within a certain detection range is required, within which the gaze detection device a sufficiently accurate line of sight of the driver based on the driver's eyes can determine. In particular, as of a certain angular deviation of the driver's eyes from a well detectable angle range of the gaze detection device, a corresponding camera system of the gaze detection device can no longer accurately detect or determine where the driver is heading.

Daher ist es erfindungsgemäß vorgesehen, die Augen des Fahrers für eine Mehrzahl aufeinander folgender Zeitpunkte aufzunehmen und anhand dessen die jeweiligen Augenausrichtungen des Fahrers zu erfassen. Anschließend wird ermittelt, ob die jeweils erfassten Augenausrichtungen innerhalb eines vorgegebenen Winkelbereichs liegen, in welchem eine Blickrichtung des Fahrers anhand der erfassten Augenausrichtung noch mit einer vorgegebenen Genauigkeit mittels der Blickerfassungseinrichtung ermittelt werden kann. Vorzugsweise wird darüber hinaus auch ermittelt, ob die Augen des Fahrers sich in einem vorgegebenen Erfassungsbereich der Blickerfassungseinrichtung befinden, innerhalb welchem eine Erfassung der Augen überhaupt möglich ist.Therefore, it is provided according to the invention to record the driver's eyes for a plurality of consecutive times and to detect the respective eye orientations of the driver on the basis of this. It then determines if the each detected eye alignments are within a predetermined angular range, in which a line of sight of the driver based on the detected eye alignment can still be determined with a predetermined accuracy by means of the gaze detection device. In addition, it is also preferably determined whether the driver's eyes are within a predetermined detection range of the gaze detection device, within which detection of the eyes is possible at all.

Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen, werden die jeweiligen Blickrichtungen des Fahrers anhand der erfassten Augenausrichtungen ermittelt und gespeichert, wobei zumindest ein Assistenzsystem des Kraftwagens unter Berücksichtigung der jeweils ermittelten Blickrichtungen betrieben wird. Sobald jedoch ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt, wird der erfindungsgemäße Verlassensvektor unter Berücksichtigung der zuvor gespeicherten Blickrichtungen ermittelt, wobei der Verlassensvektor in Abhängigkeit der zuvor hinreichend genau ermittelten Blickrichtungen derart bestimmt wird, dass der Verlassensvektor die Richtung charakterisiert, in welche die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind. Anschließend wird das Assistenzsystem unter Berücksichtigung des ermittelten Verlassensvektors betrieben.As long as it is determined that the detected eye orientations are within the predetermined angular range, the respective directions of the driver are determined and stored based on the detected eye orientations, wherein at least one assistance system of the motor vehicle is operated taking into account the respectively determined viewing directions. However, as soon as it is determined that one of the detected eye orientations lies outside the predetermined angular range, the departure vector according to the invention is determined taking into account the previously stored viewing directions, wherein the exit vector is determined as a function of the previously sufficiently precisely determined viewing directions such that the exit vector characterizes the direction, in which the eyes of the driver have been pivoted when leaving the predetermined angle range. Subsequently, the assistance system is operated taking into account the determined escape vector.

Durch das erfindungsgemäße Verfahren ist es möglich, eine Blickerfassungseinrichtung auch mit einer einzigen oder einer geringen Anzahl an Kameras beziehungsweise Kamerasystemen zu betreiben, welche nicht an unterschiedlichen Positionen innerhalb des Kraftwagens positioniert werden müssen, da mittels des erfindungsgemäßen Verfahrens mit einer relativ großen Verlässlichkeit Informationen darüber erhoben werden können, in welche Richtung der Fahrer gerade schaut, auch wenn seine Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegen sollten.By means of the method according to the invention, it is also possible to operate a gaze detection device with a single or a small number of cameras or camera systems which do not have to be positioned at different positions within the motor vehicle since information about them is obtained with relatively high reliability by means of the method according to the invention can be in which direction the driver is currently looking, even if his eye sightings should be outside the predetermined angular range.

In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass unter Berücksichtigung des Verlassensvektors eine voraussichtliche Blickrichtung des Fahrers ermittelt und beim Betreiben des Assistenzsystems berücksichtigt wird. Beispielsweise wird der Verlassensvektor gleichgesetzt mit der voraussichtlichen Blickrichtung des Fahrers, so dass anhand des Verlassensvektors auf einfache Weise abgeschätzt beziehungsweise ermittelt werden kann, in welche Richtung der Fahrer gerade blickt, auch wenn seine Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegen sollten, so dass eine zuverlässige und hinreichend genaue Blickrichtungsermittlung anhand der erfassten Augenausrichtungen nicht möglich ist.In an advantageous embodiment of the invention, it is provided that, taking into account the leaving vector, an anticipated viewing direction of the driver is determined and taken into account when operating the assistance system. For example, the exit vector is equated with the prospective driver's line of sight, so that it is easy to estimate or determine in which direction the driver is looking, even if his eye alignments should be outside the predetermined angular range, using the exit vector it is not possible to determine the exact direction of sight using the recorded eye orientations.

Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass anhand des Verlassensvektors ermittelt wird, ob der Fahrer seinen Blick auf eine optische Warneinrichtung des Assistenzsystems gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird. Somit kann also auch wenn der Fahrer seine Augen derart ausgerichtet haben sollte, dass eine hinreichend genaue Blickrichtungsermittlung gar nicht möglich ist, trotzdem anhand des Verlassensvektors überprüft oder abgeschätzt werden, ob der Fahrer seinen Blick auf eine optische Warneinrichtung des Assistenzsystems gerichtet hat und somit die optische Warnmeldung des Assistenzsystems überhaupt wahrnehmen kann. Dies kann wiederum zur Ansteuerung des Assistenzsystems beziehungsweise auch zur Parametrisierung des Assistenzsystems genutzt werden.According to a further advantageous embodiment of the invention, it is provided that it is determined on the basis of the exit vector whether the driver has directed his gaze to an optical warning device of the assistance system, by means of which an optical warning signal is output. Thus, even if the driver should have his eyes aligned so that a sufficiently accurate viewing direction determination is not possible anyway checked or estimated using the relying vector, whether the driver has directed his eyes on an optical warning device of the assistance system and thus the optical Warning message of the assistance system can perceive at all. This can in turn be used to control the assistance system or also for the parameterization of the assistance system.

In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eine akustische und/oder haptische Warnmeldung ausgegeben wird, falls anhand des Verlassensvektors ermittelt worden ist, dass der Fahrer seinen Blick von der optischen Warneinrichtung abgewendet hat. Sobald also anhand des Verlassensvektors davon ausgegangen werden kann, dass der Fahrer gerade seinen Blick nicht auf die optische Warneinrichtung gerichtet hat, während durch diese eine optische Warnmeldung ausgegeben wird, wird der Fahrer über akustische und/oder haptische Warnmeldungen zusätzlich informiert beziehungsweise gewarnt. Die Wahrnehmbarkeit des betreffenden Warnsignals kann dadurch bedarfsgerecht erhöht werden, so dass die Wahrnehmbarkeit durch den Fahrer des Kraftwagens auch bei einer eventuellen Blickabwendung von der optischen Warneinrichtung sichergestellt werden kann.In a further advantageous embodiment of the invention, it is provided that an acoustic and / or haptic warning message is issued if it has been determined on the basis of the exit vector that the driver has averted his gaze from the optical warning device. Thus, as soon as it can be assumed on the basis of the exit vector that the driver has not just directed his gaze to the optical warning device, while an optical warning message is output by the latter, the driver is additionally informed or warned via acoustic and / or haptic warning messages. The perceptibility of the warning signal in question can be increased as needed, so that the perceptibility can be ensured by the driver of the motor vehicle even with a possible eye-response from the optical warning device.

In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eines oder mehrere Assistenzsysteme, welche die Längsführung und/oder die Querführung des Kraftwagens überwachen und/oder beeinflussen, unter Berücksichtigung des ermittelten Verlassensvektors betrieben werden. Mit anderen Worten kann es sich bei den Assistenzsystemen um Fahrerassistenzsysteme, wie beispielsweise einen Abstandsregeltempomat, einen Abstandswarner, ein Spurerkennungssystem, einen Spurhalteassistent, einen Spurwechselassistent, eine Spurwechselunterstützung oder dergleichen handeln, welche den Kraftfahrer beim Führen des Kraftwagens unterstützen. Mit Hilfe des Verlassensvektors und der damit bestimmbaren, voraussichtlichen Blickrichtung des Fahrers kann auch in Fällen, in welchen eine nicht hinreichend genaue Blickrichtungsermittlung möglich ist, sichergestellt werden, dass die betreffenden Assistenzsysteme zumindest in Kenntnis einer prognostizierten Blickrichtung, welche unter Berücksichtigung des Verlassensvektors ermittelt wird, betrieben werden können. Dadurch kann die Sicherheit beim Führen des Kraftwagens erheblich erhöht werden.In a further advantageous embodiment of the invention, it is provided that one or more assistance systems, which monitor and / or influence the longitudinal guidance and / or the transverse guidance of the motor vehicle, are operated taking into account the determined escape vector. In other words, the assistance systems may be driver assistance systems, such as a cruise control, a distance warning, a lane detection system, a lane departure warning, a lane change assistant, a lane change assistance or the like, which assist the driver in driving the motor vehicle. With the help of the leaving vector and the presumable, prospective viewing direction of the driver which can be determined in this way, it can also be ensured in cases in which an insufficiently accurate viewing direction determination is possible that the assistance systems in question are determined at least with knowledge of a predicted viewing direction, which is taken into account with the leaving vector. can be operated. This can be the safety be considerably increased when driving the car.

Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, unter Berücksichtigung der Augenbewegungen des Fahrers verändert werden. Beispielsweise kann es sich bei dem Fahrer um einen solchen Fahrer handeln, der seine Augen relativ häufig und schnell verschwenkt, wobei in einem derartigen Fall die Erfassung der jeweiligen Augenausrichtungen besonders häufig, beispielsweise mit 100 Hertz oder mehr, erfasst wird. Sollte es sich hingegen um einen Fahrer handeln, welcher seine Augen nicht so häufig und auch nicht so schnell hin und her verschwenkt, kann die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, entsprechend reduziert werden. Durch die Anpassung an die Blickgewohnheiten des Fahrers kann eine besonders zuverlässige Erfassung der Augenausrichtungen und somit auch eine besonders zuverlässige Ermittlung der jeweiligen Blickrichtungen beziehungsweise des entsprechenden Verlassensvektors sichergestellt werden.A further advantageous embodiment of the invention provides that the frequency per unit time, by means of which the respective eye orientations are detected, be changed taking into account the eye movements of the driver. For example, the driver may be such a driver who swivels his eyes relatively frequently and quickly, in which case the detection of the respective eye orientations is detected particularly frequently, for example at 100 hertz or more. If, on the other hand, it is a driver who does not turn his eyes back and forth as frequently or as quickly, the frequency per unit of time by which the respective eye orientations are detected can be correspondingly reduced. By adapting to the gaze habits of the driver, a particularly reliable detection of the eye alignments and thus also a particularly reliable determination of the respective viewing directions or of the corresponding exit vector can be ensured.

Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass der Winkelbereich unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung beeinflusst, verändert wird. Vorzugsweise wird der Winkelbereich unter Berücksichtigung der Eigenschaften des Fahrers und/oder der Blickerfassungseinrichtung verändert. Bei den Fahrereigenschaften kann es sich beispielsweise um die Reflektionseigenschaften seiner Retina, seiner Fähigkeit, jeweilige Objekte zu fokussieren, eventuelle Sehhilfen oder auch um Eigenschaften seiner Pupillenverengung beziehungsweise -weitung handeln. Bei den Eigenschaften der Blickerfassungseinrichtung kann es sich beispielsweise um eine entsprechende Beleuchtung handeln, mittels welcher die Augen des Fahrers, zum Beispiel mit Infrarotlicht, beleuchtet werden, um die jeweiligen Augenausrichtungen zu ermitteln. In diesem Zusammenhang können die Lichtintensität, die Platzierung etwaiger Lichtquellen und dergleichen Berücksichtigung finden. Darüber hinaus kann auch eine Kalibrierung der Blickerfassungseinrichtung berücksichtigt werden, wie beispielsweise die Anzahl verwendeter Kalibrierungspunkte und die Variation von diesen. Durch die Anpassung des Winkelbereichs kann die exakte Ermittlung der Blickrichtungen des Fahrers nochmals verbessert werden.According to a further advantageous embodiment of the invention, it is provided that the angular range is changed taking into account at least one parameter which influences the accuracy of the viewing direction determination. Preferably, the angular range is changed taking into account the characteristics of the driver and / or the gaze detection device. The driver characteristics can be, for example, the reflection properties of his retina, his ability to focus on particular objects, possible visual aids or even properties of his pupil narrowing or widening. The properties of the gaze detection device may be, for example, a corresponding illumination, by means of which the driver's eyes, for example with infrared light, are illuminated in order to determine the respective eye orientations. In this context, the light intensity, the placement of any light sources and the like can be considered. In addition, a calibration of the gaze detection device can be taken into account, such as the number of calibration points used and the variation of these. By adjusting the angle range, the exact determination of the driver's line of sight can be further improved.

Die erfindungsgemäße Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens umfasst eine Blickerfassungseinrichtung, welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers des Kraftwagens für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb eines vorgegebenen Winkelbereichs liegen. Die Vorrichtung umfasst des Weiteren eine Datenverarbeitungseinrichtung, welche dazu ausgelegt ist, jeweilige Blickrichtungen des Fahrers anhand der jeweils erfassten Augenausrichtungen zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen. Die Datenverarbeitungseinrichtung ist darüber hinaus dazu ausgelegt, einen Verlassensvektor unter Berücksichtigung der zuvor gespeicherten Blickrichtungen zu ermitteln, wobei der Verlassensvektor die Richtung charakterisiert, in welcher die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt. Ferner umfasst die Vorrichtung eine Steuereinrichtung, welche dazu ausgelegt ist, das Assistenzsystem unter Berücksichtigung der jeweils ermittelten Blickrichtungen und unter Berücksichtigung des ermittelten Verlassensvektors zu betreiben. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausgestaltungen der Vorrichtung anzusehen, wobei die Vorrichtung insbesondere Mittel zur Durchführung der Verfahrensschritte umfasst.The device according to the invention for operating at least one assistance system of a motor vehicle comprises a gaze detection device which is designed to detect respective eye orientations of a driver of the motor vehicle for a plurality of consecutive times and to determine whether the respectively detected eye orientations are within a predetermined angular range. The device further comprises a data processing device which is designed to determine and store respective directions of the driver's vision based on the respectively detected eye orientations, as long as it is determined that the detected eye orientations are within the predetermined angular range. The data processing device is furthermore designed to determine a leaving vector taking into account the previously stored viewing directions, wherein the leaving vector characterizes the direction in which the eyes of the driver have been pivoted when leaving the predetermined angular range as soon as it is determined that one of the detected eye orientations is outside the predetermined angular range. Furthermore, the device comprises a control device, which is designed to operate the assistance system taking into account the respectively determined viewing directions and taking into account the determined escape vector. Advantageous embodiments of the method according to the invention are to be regarded as advantageous embodiments of the device, wherein the device comprises in particular means for performing the method steps.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention will become apparent from the following description of preferred embodiments and from the drawing. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or in the figures alone can be used not only in the respectively specified combination but also in other combinations or in isolation, without the scope of To leave invention.

Die Zeichnung zeigt in:The drawing shows in:

1 eine schematische Darstellung eines Kraftwagens mit einer Vorrichtung zum blickrichtungsabhängigen Betreiben eines Assistenzsystems des Kraftwagens; 1 a schematic representation of a motor vehicle with a device for viewing direction-dependent operation of an assistance system of the motor vehicle;

2 eine schematische Darstellung eines Fahrers des Kraftwagens, wobei vor dem Fahrer eine Blickerfassungseinrichtung angeordnet ist; 2 a schematic representation of a driver of the motor vehicle, wherein before the driver, a gaze detecting device is arranged;

3 eine schematische Darstellung, in welcher unterschiedliche Augenausrichtungen des Fahrers dargestellt sind; 3 a schematic representation in which different eye orientations of the driver are shown;

4 eine schematische Seitenansicht des Fahrers, wobei ein Winkelbereich dargestellt ist, innerhalb welchem eine Blickrichtung des Fahrers anhand einer erfassten Augenausrichtung mit einer vorgegebenen Genauigkeit ermittelbar ist; 4 a schematic side view of the driver, wherein an angular range is shown, within which a line of sight of the driver based on a detected eye alignment can be determined with a predetermined accuracy;

5 eine schematische Draufsicht auf den Fahrer des Kraftwagens, wobei ein weiterer Winkelbereich dargestellt ist, innerhalb welchem eine Blickrichtung des Fahrzeuginsassen anhand der erfassten Augenausrichtung mit einer vorgegebenen Genauigkeit ermittelbar ist; und in 5 a schematic plan view of the driver of the motor vehicle, wherein a further angular range is shown, within which a viewing direction of the vehicle occupant based on the detected eye alignment can be determined with a predetermined accuracy; and in

6 eine weitere schematische Draufsicht auf den Fahrer des Kraftwagens, wobei mittels einer Mehrzahl von gestrichelten Linien jeweilige Blickrichtungen des Fahrers dargestellt sind. 6 a further schematic plan view of the driver of the motor vehicle, wherein by means of a plurality of dashed lines respective viewing directions of the driver are shown.

Ein Kraftwagen 10 ist in einer schematischen Darstellung in 1 gezeigt. Der Kraftwagen 10 umfasst eine Vorrichtung 12 zum Betreiben eines Assistenzsystems 14 des Kraftwagens 10. Die Vorrichtung 12 umfasst eine Blickerfassungseinrichtung 16, welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers 18 des Kraftwagens 10 für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb hier nicht dargestellter, vorgegebener Winkelbereiche α, β, liegen. Die Blickerfassungseinrichtung 16 kann eine oder mehrere hier nicht dargestellte Kameras umfassen, mittels welchen die Augen 20, von welchen im vorliegenden Fall nur eines dargestellt ist, aufgenommen werden können. Die Blickerfassungseinrichtung 16 umfasst darüber hinaus eine hier ebenfalls nicht dargestellte Lichtquelle, mittels welcher Infrarotlicht in Richtung der Augen 20 des Fahrers 18 ausgestrahlt werden können, wobei mittels der Kamera das danach durch die Augen 20 reflektierte Licht 20 aufgenommen und ausgewertet wird.A car 10 is in a schematic representation in 1 shown. The car 10 includes a device 12 to operate an assistance system 14 of the motor vehicle 10 , The device 12 includes a gaze detection device 16 , which is adapted to respective eye orientations of a driver 18 of the motor vehicle 10 for a plurality of successive points in time to detect and determine whether the respective detected eye alignments within not shown here, predetermined angle ranges α, β, lie. The eye-tracking device 16 may include one or more cameras not shown here, by means of which the eyes 20 , of which only one is shown in the present case, can be recorded. The eye-tracking device 16 moreover includes a light source, also not shown here, by means of which infrared light in the direction of the eyes 20 the driver 18 can be broadcast, with the camera through the eyes 20 reflected light 20 recorded and evaluated.

Die Vorrichtung 12 umfasst des Weiteren eine Datenverarbeitungseinrichtung 22, welche dazu ausgelegt ist, jeweilige, hier mit der durchgezogenen Linie 24 gekennzeichnete Blickrichtungen des Fahrers 18 anhand der jeweils erfassten Augenausrichtung zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb der vorgegebenen Winkelbereiche α, β liegen. Der Kraftwagen 10 umfasst des Weiteren eine optische Warneinrichtung 23, welche mit dem Assistenzsystem 14 verbunden ist. Das Assistenzsystem 14 kann die optische Warneinrichtung ansteuern, um bei Bedarf mittels dieser eine optische Warnmeldung auszugeben. Zudem umfasst der Kraftwagen 10 eine Anzeigeeinrichtung 23, wobei diese blickrichtungsabhängig von dem Fahrer 18 angesteuert werden kann. Beispielsweise kann bei einer erfassten Blickzuwendung des Fahrers 18 auf die Anzeigeeinrichtung 23 eine hier nicht dargestellte Steuerung in Form eines Bedienelements aktiviert werden, mittels welchem der Fahrer 18 die Anzeigeeinrichtung 23 steuern kann. Zum Beispiel kann es sich bei der Anzeigeeinrichtung 23 um ein Kombiinstrument des Kraftwagens handeln. Die Blickerfassungseinrichtung 16 dient vor allem dazu, Blickzu- und Blickabwendungen von der Anzeigeeinrichtung 21 zu erfassen, die zuvor beispielhaft erläuterte Interaktion des Fahrers 18 mit dieser zu aktivieren oder zu deaktivieren. Letzteres kann beispielsweise immer dann erfolgen, wenn erfasst worden ist, dass der Fahrer 18 seinen Blick von der Anzeigeeinrichtung 21 abgewendet hat. Die Blickerfassungseinrichtung 16 ist daher auch entsprechend im Kraftwagen 10 positioniert, dass die Blickzuwendung und Blickabwendung von der Anzeigeeinrichtung 21 möglichst gut ermittelt und erfasst werden kann.The device 12 further comprises a data processing device 22 , which is designed to respective, here with the solid line 24 marked directions of the driver 18 Determine and store on the basis of the respectively detected eye alignment, as long as it is determined that the detected eye alignments are within the predetermined angular ranges α, β. The car 10 further comprises an optical warning device 23 , which with the assistance system 14 connected is. The assistance system 14 can control the optical warning device to output if necessary by means of this an optical warning message. In addition, the car includes 10 a display device 23 , which are dependent on the direction of the driver 18 can be controlled. For example, in the case of a captured gaze of the driver 18 on the display device 23 a control, not shown here in the form of a control element are activated, by means of which the driver 18 the display device 23 can control. For example, the display device may be 23 to trade an instrument cluster of the motor vehicle. The eye-tracking device 16 is mainly used to Blickzu- and Blickabwendungen of the display device 21 to capture the previously exemplified interaction of the driver 18 with this to activate or deactivate. The latter can be done, for example, whenever it has been detected that the driver 18 his look from the display device 21 has averted. The eye-tracking device 16 is therefore also in the car 10 positioned the gaze attraction and gaze away from the display device 21 can be determined and recorded as well as possible.

Die Datenverarbeitungseinrichtung 22 ist darüber hinaus dazu ausgelegt, einen hier nicht dargestellten Verlassensvektor 26 unter Berücksichtigung der zuvor gespeicherten Blickrichtungen 24 zu ermitteln, wobei der Verlassensvektor 26 die Richtung charakterisiert, in welche die Augen 20 des Fahrers 18 beim Verlassen der vorgegebenen Winkelbereiche α, β verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb von zumindest einem der vorgegebenen Winkelbereiche α, β liegt. Schließlich umfasst die Vorrichtung 12 noch eine Steuereinrichtung 28, welche dazu ausgelegt ist, das Assistenzsystem 14 unter Berücksichtigung der jeweils ermittelten Blickrichtungen 24 und unter Berücksichtigung des ermittelten Verlassensvektors 26 zu betreiben.The data processing device 22 is also designed to be a leaving vector, not shown here 26 taking into account the previously stored viewing directions 24 to determine the leaving vector 26 characterizes the direction in which the eyes 20 the driver 18 when leaving the predetermined angular ranges α, β have been pivoted, as soon as it is determined that one of the detected eye alignments outside of at least one of the predetermined angular ranges α, β. Finally, the device includes 12 another control device 28 , which is designed to be the assistance system 14 taking into account the respective directions of view 24 and taking into account the determined leaving vector 26 to operate.

In 2 sind die Blickerfassungseinrichtung 16 sowie der Fahrer 18 in einer schematischen Darstellung gezeigt. Um den Kopf des Fahrers 18 herum ist vorliegend ein Volumenelement 28 eingezeichnet, wobei es für eine hinreichend genaue Blickrichtungsermittlung des Fahrers 18 erforderlich ist, dass der Kopf und somit auch die Augen 20 des Fahrers 18 innerhalb dieses Volumenelements 28, welches auch als Trackbox bezeichnet wird, angeordnet sind. Mit anderen Worten handelt es sich bei dem Volumenelement 28 um einen Erfassungsbereich der Blickerfassungseinrichtung 16, wobei eine Blickrichtungsermittlung mit einer vorgegebenen Genauigkeit nur dann möglich ist, wenn sich die Augen 20 in diesem Bereich finden.In 2 are the eye-tracking device 16 as well as the driver 18 shown in a schematic representation. To the driver's head 18 around here is a volume element 28 where it is for a sufficiently accurate viewing direction determination of the driver 18 it is necessary that the head and thus also the eyes 20 the driver 18 within this volume element 28 , which is also referred to as a track box, are arranged. In other words, it is the volume element 28 around a detection range of the gaze detection device 16 , wherein a viewing direction determination with a predetermined accuracy is only possible when the eyes 20 find in this area.

Zwischen der Blickerfassungseinrichtung 16 und dem Fahrer 18 ist eine schraffierte Fläche 30 dargestellt. Neben der Positionierung der Augen 20 innerhalb des Volumenelements 28 ist es zur hinreichend genauen Blickrichtungsermittlung zudem erforderlich, dass der Fahrer 18 seine Augen 20 derart ausgerichtet hat, dass sein Blick auf die Fläche 30 beziehungsweise durch diese hindurch gerichtet ist. Je nach Ausrichtung seines Kopfes und seiner Augen 20 kann es dabei vorkommen, dass der Fahrer 18 nicht durch die Fläche 30 hindurchblickt, sondern beispielsweise seitlich an dieser vorbei oder darüber oder darunter hindurchschaut. In solchen Fällen ist eine hinreichend genaue Ermittlung der Blickrichtung 24 des Fahrers 18 mittels der Blickerfassungseinrichtung 16 nicht mehr gewährleistet. selbst wenn die Augen 20 sich noch innerhalb des Volumenelements 28 befinden.Between the gaze detection device 16 and the driver 18 is a hatched area 30 shown. In addition to the positioning of the eyes 20 within the volume element 28 It is necessary for a sufficiently accurate sight determination, moreover, that the driver 18 his eyes 20 aligned so that his view of the area 30 or directed therethrough. Depending on the orientation of his head and his eyes 20 It can happen that the driver 18 not through the area 30 looks through, but for example, laterally past this or over or below it. In such cases, a sufficiently accurate determination of the viewing direction 24 the driver 18 by means of the gaze detection device 16 no longer guaranteed. even if the eyes 20 still within the volume element 28 are located.

Des Weiteren ist in 2 ein fahrzeugfestes Koordinatensystem eingezeichnet, wobei mit x die Fahrzeuglängsrichtung, mit y die Fahrzeugquerrichtung und mit z die Fahrzeughochrichtung eingezeichnet ist, wobei auf diese Richtungsangaben zur besseren Orientierung in den nachfolgenden Figuren ebenfalls eingezeichnet sind.Furthermore, in 2 a vehicle-fixed coordinate system is shown, wherein x is the vehicle longitudinal direction, with y the vehicle transverse direction and z is the vehicle vertical direction, which are also indicated on this directional information for better orientation in the following figures.

In 3 sind in einer schematischen Darstellung unterschiedliche Augenausrichtungen des Auges 20 des Fahrers 18 dargestellt, wobei nur eines der Augen 20 mit einem Bezugszeichen versehen ist, um die Übersichtlichkeit der Darstellung zu gewährleisten. Wie zu erkennen ist, können die Augen 20 des Fahrers 18 auf unterschiedlichste Art und Weise verschwenkt werden, wobei die Pupille 32 entsprechend mitverschwenkt wird. Unter der Augenausrichtung ist allerdings auch neben der reinen Verschwenkung der Augen 20 auch die Ausrichtung der Augen 20 zu verstehen, welche sich auch einer Verschwenkung des Kopfs des Fahrers 18 ergibt. Die Augenausrichtung ist entspricht somit also der tatsächlichen Blickrichtung des Fahrers 18.In 3 are a schematic representation of different eye orientations of the eye 20 the driver 18 shown, with only one of the eyes 20 is provided with a reference numeral in order to ensure the clarity of the presentation. As you can see, the eyes can 20 the driver 18 be pivoted in various ways, the pupil 32 mitverschwenkt accordingly. Under the eye-sighting is however also beside the pure pivoting of the eyes 20 also the orientation of the eyes 20 to understand, which is also a pivoting of the head of the driver 18 results. The eye alignment thus corresponds to the actual viewing direction of the driver 18 ,

In 4 ist der Fahrer 18 in einer schematischen Seitenansicht teilweise dargestellt. Des Weiteren ist der vorgehenden Winkelbereich α dargestellt, welcher um die Fahrzeugquerachse y aufgespannt ist. Mit dem Winkelbereich α wird also ein Winkelbereich vorgegeben, welcher die Augenausrichtungen beziehungsweise die Verschwenkung der Augen 20 des Fahrers 18 um die Fahrzeugquerachse y beschreibt. Der Winkelbereich α ist dabei unter Berücksichtigung der Positionierung der Augen 20 des Fahrers 18 derart vorgegeben, dass dieser sofern die Augenausrichtung innerhalb des vorgegebenen Winkelbereichs α liegt, durch die in 2 dargestellte schraffierte Fläche 30 blickt.In 4 is the driver 18 partially shown in a schematic side view. Furthermore, the preceding angle range α is shown, which is spanned about the vehicle transverse axis y. With the angle range α, therefore, an angle range is predetermined which determines the eye orientations or the pivoting of the eyes 20 the driver 18 describes about the vehicle transverse axis y. The angle range α is taking into account the positioning of the eyes 20 the driver 18 predetermined such that this, if the eye alignment is within the predetermined angular range α, by the in 2 illustrated hatched area 30 looks.

In 5 ist der vorgegebene Winkelbereich β eingezeichnet, wobei der Fahrer 18 nun in einer schematischen Draufsicht gezeigt ist. Der Winkelbereich β ist somit um die Fahrzeughochachse z aufgespannt. Der Winkelbereich β begrenzt also die zulässigen Augenausrichtungen des Fahrers 18 bezüglich möglicher Verschwenkbewegungen um die Fahrzeughochachse z, so dass, wenn der Fahrer 18 seine Augenausrichtung innerhalb des vorgegebenen Winkelbereichs β vornimmt, nachwievor noch durch die in 2 schraffiert gekennzeichnete Fläche 30 blickt.In 5 is the predetermined angle range β drawn, the driver 18 now shown in a schematic plan view. The angular range β is thus spanned about the vehicle vertical axis z. The angular range β thus limits the permissible eye orientations of the driver 18 with respect to possible pivotal movements about the vehicle's vertical axis z, so that when the driver 18 his eye alignment within the predetermined angular range β makes, as before still by the in 2 hatched area marked 30 looks.

Nachfolgend wird ein Verfahren zum Betreiben des Assistenzsystems 14 beschrieben. Für eine Mehrzahl aufeinander folgender Zeitpunkte werden jeweilige Augenausrichtungen des Fahrers 18 mittels der Blickerfassungseinrichtung 16 erfasst. Dabei wird ermittelt, ob die jeweils erfassten Augenausrichtungen innerhalb der vorgegebenen Winkelbereiche α, β liegen. Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb der vorgegebenen Winkelbereiche α, β liegen, werden jeweilige Blickrichtungen 24 des Fahrers 18 anhand der jeweils erfassten Augenausrichtungen ermittelt und die Blickrichtungen 24 anschließend gespeichert. Das Assistenzsystem 14 wird dabei unter Berücksichtigung der jeweils ermittelten Blickrichtungen 24 betrieben. Bei dem Assistenzsystem kann es sich beispielsweise um einen Spurwechselassistenten, welcher auch als Totwinkel-Assistent bezeichnet wird, handeln, welcher den Fahrer 18 vor drohenden Kollisionen bei einem Spurwechsel warnt. Sobald zum Beispiel auf einer linken Nachbarspur ein herannahendes Fahrzeug ermittelt worden ist, erfolgt eine Warnmeldung an den Fahrer 18, beispielsweise über die zuvor erwähnte Warneinrichtung 23, mittels welcher ein optisches Warnsignal zum Beispiel im Bereich eines linken Außenspiegels des Kraftwagens 10 ausgegeben wird.The following is a procedure for operating the assistance system 14 described. For a plurality of consecutive times, respective eye orientations of the driver 18 by means of the gaze detection device 16 detected. It is determined whether the respective detected eye alignments within the predetermined angular ranges α, β are. As long as it is determined that the detected eye orientations are within the predetermined angular ranges α, β, respective directions of sight are 24 the driver 18 determined on the basis of the respectively acquired eye orientations and the viewing directions 24 then saved. The assistance system 14 is thereby taking into account the respective directions of view 24 operated. The assistance system can be, for example, a lane change assistant, which is also referred to as Blind Spot Assist, which acts as the driver 18 warns of imminent collisions when changing lanes. As soon as, for example, an approaching vehicle has been determined on a left neighbor lane, a warning message is sent to the driver 18 , for example, via the aforementioned warning device 23 , by means of which an optical warning signal, for example, in the region of a left outside mirror of the motor vehicle 10 is issued.

Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen des Fahrers 18 außerhalb der vorgegebenen Winkelbereiche α, β liegt, wird der Verlassensvektor 26 ermittelt.Once it is determined that one of the detected eye orientations of the driver 18 is outside the predetermined angular ranges α, β, the leaving vector 26 determined.

In 6 ist der Fahrer 18 in einer schematischen Draufsicht gezeigt, wobei der Winkelbereich β sowie eine Vielzahl von Blickrichtungen 24 des Fahrers 18 mittels der gestrichelten Linien dargestellt sind, welche bereits ermittelt und gespeichert worden sind. Der Verlassensvektor 26 wird also unter Berücksichtigung der zuvor gespeicherten Blickrichtungen 24 ermittelt, wobei der Verlassensvektor 26 die Richtung charakterisiert, in welche die Augen 20 des Fahrers 18 beim Verlassen des vorgegebenen Winkelbereichs β verschwenkt worden sind.In 6 is the driver 18 shown in a schematic plan view, wherein the angle range β and a variety of viewing directions 24 the driver 18 are shown by the dashed lines, which have already been determined and stored. The leaving vector 26 is thus taking into account the previously stored viewing directions 24 determined, wherein the leaving vector 26 characterizes the direction in which the eyes 20 the driver 18 have been pivoted when leaving the predetermined angular range β.

Im vorliegenden Fall ist die Verschwenkungsrichtung der Augen 20 des Kraftfahrers 18 mit dem Pfeil 34 gekennzeichnet. Der Fahrer 18 hat seine Augen 20 im vorliegenden Fall also sukzessive von links nach rechts verschwenkt und dabei den Winkelbereich β verlassen. Mit der ganz rechts eingezeichneten, punktierten Linie 36 ist die tatsächliche aktuelle Blickrichtung des Fahrers 18 dargestellt. Unter Berücksichtigung des Verlassensvektors 26 wird anschließend eine voraussichtliche Blickrichtung des Fahrers 18 ermittelt und beim Betreiben des Assistenzsystems berücksichtigt. Im vorliegenden Fall hat der Fahrer 18 mit seinen Augen 20 also den Winkelbereich β nach rechts verlassen, so dass von einer voraussichtlichen Blickrichtung nach rechts ausgegangen wird.In the present case, the direction of pivoting of the eyes 20 of the driver 18 with the arrow 34 characterized. The driver 18 has his eyes 20 In the present case, therefore, successively pivoted from left to right and thereby leave the angular range β. With the far right dotted line 36 is the actual current line of sight of the driver 18 shown. Taking into account the leaving vector 26 then becomes an expected line of sight of the driver 18 determined and taken into account when operating the assistance system. In the present case, the driver has 18 with his eyes 20 So leave the angle range β to the right, so that is assumed from an anticipated line of sight to the right.

Anhand des Verlassensvektors 26 beziehungsweise der anhand des Verlassensvektors 26 ermittelten voraussichtlichen Blickrichtung des Fahrers 18 wird ermittelt, ob der Fahrer 18 seinen Blick auf die optische Warneinrichtung 23 des Assistenzsystems 14 gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird. Im vorliegend beschriebenen Fall wurde also auf der linken Nachbarspur ein herannahendes Fahrzeug ermittelt, so dass durch die optische Warneinrichtung 23, welche wie gesagt beispielsweise im linken Außenspiegel des Kraftwagens 10 angeordnet ist, eine optische Warnmeldung ausgegeben wird. Im in 6 gezeigten Fall wird davon ausgegangen, dass der Fahrer 18 diese Warnmeldung nicht erkennt, da unter Berücksichtigung des Verlassensvektors 26 davon ausgegangen wird, dass der Fahrer 18 seinen Blick nach rechts, und somit von dem linken Außenspiegel abgewendet hat. In einem derartigen Fall wird eine akustische und/oder haptische Warnmeldung ausgegeben, um den Fahrer 18 über das auf der linken Nachbarspur herannahende Fahrzeug zu informieren beziehungsweise ihn vor einem Spurwechsel zu warnen. Die akustische Warnmeldung kann beispielsweise über einen entsprechenden Lautsprecher des Kraftwagens ausgegeben werden, wobei eine haptische Warnmeldung beispielsweise durch ein Lenkradrütteln oder dergleichen auch noch ausgegeben werden kann. On the basis of the leaving vector 26 or the basis of the leaving vector 26 determined prospective line of sight of the driver 18 it is determined if the driver 18 his view of the optical warning device 23 of the assistance system 14 directed, by means of which an optical warning signal is issued. In the case described here, therefore, an approaching vehicle was determined on the left adjacent lane, so that by the optical warning device 23 , which as mentioned, for example, in the left side mirror of the motor vehicle 10 is arranged, an optical warning message is issued. Im in 6 case shown, it is assumed that the driver 18 this warning message does not recognize, considering the leaving vector 26 it is assumed that the driver 18 his gaze to the right, and thus averted from the left side mirror. In such a case, an audible and / or haptic warning message is issued to the driver 18 to inform about the on the left neighbor lane approaching vehicle or warning him of a lane change. The acoustic warning message can be output for example via a corresponding loudspeaker of the motor vehicle, wherein a haptic warning message, for example, by a steering wheel shake or the like can also be issued.

Sollte hingegen der Fahrer 18 seine Augen 20 nicht wie in 6 nach rechts sondern nach links über den vorgegebenen Winkelbereich β hinaus verschwenkt haben, so würde der Verlassensvektor 26 genau in die entgegengesetzte Richtung, im vorliegenden Fall also nach links, zeigen und somit auch davon ausgegangen werden, dass der Fahrer 18 seinen Blick nach links und nicht mehr nach rechts gerichtet hat. In diesem Fall würde davon ausgegangen werden, dass der Fahrer 18 seinen Blick auf die optische Warneinrichtung 23 gerichtet hat. Die zuvor beschriebene zusätzliche akustische und/oder haptische Ausgabe einer Warnmeldung entfällt dann, da davon ausgegangen werden kann, dass der Fahrer die optische Warnmeldung im linken Außenspiegel wahrnimmt.Should, however, the driver 18 his eyes 20 not like in 6 to the right but to the left beyond the predetermined angular range β have swung out, so would the leaving vector 26 exactly in the opposite direction, in the present case, therefore, to the left, and thus also assume that the driver 18 his gaze to the left and no longer to the right. In this case, it would be assumed that the driver 18 his view of the optical warning device 23 has directed. The previously described additional acoustic and / or haptic output of a warning message is then omitted, since it can be assumed that the driver perceives the visual warning message in the left side mirror.

Neben dem als Spurwechselassistent ausgebildeten Assistenzsystem 14 können in dem Kraftwagen 10 noch weitere Assistenzsysteme und insbesondere Fahrerassistenzsysteme vorgesehen sein, welche die Längsführung und/oder die Querführung des Kraftwagens 10 überwachen und/oder beeinflussen, wobei diese ebenfalls unter Berücksichtigung des ermittelten Verlassensvektors 26 betrieben werden können.In addition to the assistance system designed as a lane change assistant 14 can in the car 10 even more assistance systems and in particular driver assistance systems be provided, which the longitudinal guide and / or the transverse guide of the motor vehicle 10 monitor and / or influence, these also taking into account the determined escape vector 26 can be operated.

Die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, wird unter Berücksichtigung der jeweiligen Augenbewegungen des Fahrers 18 verändert. Handelt es sich bei dem Fahrer 18 beispielsweise um einen derartigen Fahrer, welcher sehr häufig und sehr schnell seine Blickrichtung verändert, wird die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, entsprechend erhöht und umgekehrt.The frequency per unit time by which the respective eye orientations are detected, taking into account the respective eye movements of the driver 18 changed. Is it the driver 18 For example, to such a driver, which changes his viewing direction very frequently and very quickly, the frequency per unit time, by means of which the respective eye orientations are detected, is correspondingly increased and vice versa.

Die Winkelbereiche α und β können zudem unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung durch die Blickerfassungseinrichtung 16 beeinflusst, verändert werden. Beispielsweise können die Winkelbereiche α und β unter Berücksichtigung der Eigenschaften des Fahrers 18 und/oder der Blickerfassungseinrichtung 16 verändert werden. Dabei können beispielsweise Eigenschaften der Augen 20 des Fahrers 18 berücksichtigt werden, wie zum Beispiel die Reflektionseigenschaften der Retina, die Fokussierungsfähigkeit durch die Augen 20, eventuelle Sehhilfen und dergleichen. Des Weiteren können auch Eigenschaften der Blickerfassungseinrichtung 16 berücksichtigt werden, wie beispielsweise die Lichtintensität, mittels welcher die Augen 20 des Fahrers 18 mit Infrarotlicht beleuchtet werden, die Positionierung der entsprechenden Lichtquelle und dergleichen.The angle ranges α and β can also take into account at least one parameter which the accuracy of the viewing direction determination by the gaze detection device 16 influenced, changed. For example, the angle ranges α and β may be in consideration of the characteristics of the driver 18 and / or the gaze detection device 16 to be changed. It can, for example, properties of the eyes 20 the driver 18 such as the reflection properties of the retina, the ability to focus through the eyes 20 , any visual aids and the like. Furthermore, properties of the gaze detection device can also be used 16 be taken into account, such as the light intensity, by means of which the eyes 20 the driver 18 are illuminated with infrared light, the positioning of the corresponding light source and the like.

Durch das erläuterte Verfahren und die erläuterte Vorrichtung 10 ist es also über den entsprechenden Verlassensvektor 26 möglich, eine voraussichtliche Blickrichtung des Fahrers 18 auch dann abzuschätzen, falls der Fahrer 18 durch eine entsprechende Verschwenkung seiner Augen 20 einen vorgegebenen Winkelbereich α, β verlassen hat, in welchem eine Blickrichtung des Fahrers 18 mit einer vorgegebenen Genauigkeit anhand der optisch erfassten Augenausrichtung ermittelt werden kann. So kann auch ohne zusätzliche Kameras mit einer relativ hohen Verlässlichkeit bestimmt werden, in welche Richtung der Fahrer 18 gerade schaut.By the explained method and the device explained 10 So it's about the corresponding exit vector 26 possible, an anticipated line of sight of the driver 18 even if the driver 18 by a corresponding pivoting of his eyes 20 has left a predetermined angular range α, β, in which a viewing direction of the driver 18 can be determined with a predetermined accuracy based on the optically detected eye alignment. So it can be determined without additional cameras with a relatively high reliability, in which direction the driver 18 just looking.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102012006966 A1 [0002] DE 102012006966 A1 [0002]
  • US 20060023918 A1 [0004] US 20060023918 A1 [0004]
  • DE 10241993 B3 [0004] DE 10241993 B3 [0004]
  • DE 102010013243 A1 [0005] DE 102010013243 A1 [0005]
  • DE 10360176 A1 [0006] DE 10360176 A1 [0006]
  • US 20060018518 A1 [0007] US 20060018518 A1 [0007]

Claims (9)

Verfahren zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit den Schritten: – Erfassen jeweiliger Augenausrichtungen eines Fahrers (18) des Kraftwagens mittels einer Blickerfassungseinrichtung (16) für eine Mehrzahl aufeinander folgender Zeitpunkte; – Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; – Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen: • Ermitteln jeweiliger Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen; • Speichern der ermittelten Blickrichtungen (24); • Betreiben des Assistenzsystems (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24); – Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt: • Ermitteln eines Verlassensvektors (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24), wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind; • Betreiben des Assistenzsystems (14) unter Berücksichtigung des ermittelten Verlassensvektors (26).Method for operating at least one assistance system ( 14 ) of a motor vehicle ( 10 ), comprising the steps of: - detecting respective eye orientations of a driver ( 18 ) of the motor vehicle by means of a gaze detection device ( 16 ) for a plurality of consecutive times; - Determining whether each detected eye alignments are within at least a predetermined angular range (α, β); - As long as it is determined that the detected eye orientations are within the predetermined angular range (α, β): determining respective directions of sight ( 24 ) of the driver ( 18 ) on the basis of the respective eye sightings; • Save the determined viewing directions ( 24 ); • operating the assistance system ( 14 ) taking into account the respective directions of view ( 24 ); - As soon as it is determined that one of the detected eye orientations is outside the predetermined angular range (α, β): • determining a leaving vector ( 26 ) taking into account the previously stored viewing directions ( 24 ), wherein the leaving vector ( 26 ) the direction ( 36 ) into which the eyes ( 20 ) of the driver ( 18 ) have been pivoted when leaving the predetermined angular range (α, β); • operating the assistance system ( 14 ) taking into account the determined leaving vector ( 26 ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass unter Berücksichtigung des Verlassensvektors (26) eine voraussichtliche Blickrichtung des Fahrers (18) ermittelt und beim Betreiben des Assistenzsystems (14) berücksichtigt wird.Method according to claim 1, characterized in that taking into account the leaving vector ( 26 ) an anticipated line of sight of the driver ( 18 ) and when operating the assistance system ( 14 ) is taken into account. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass anhand des Verlassensvektors (26) ermittelt wird, ob der Fahrer (18) seinen Blick auf eine optische Warneinrichtung (23) des Assistenzsystems (14) gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird.Method according to claim 1 or 2, characterized in that on the basis of the leaving vector ( 26 ) determines whether the driver ( 18 ) his view of an optical warning device ( 23 ) of the assistance system ( 14 ), by means of which an optical warning signal is output. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine akustische und/oder haptische Warnmeldung ausgegeben wird, falls anhand des Verlassensvektors (26) ermittelt worden ist, dass der Fahrer seinen Blick von einer optischen Warneinrichtung (23) abgewendet hat.A method according to claim 3, characterized in that an audible and / or haptic warning message is issued, if based on the leaving vector ( 26 ), the driver has his eyes detected by an optical warning device ( 23 ) has averted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eines oder mehre Assistenzsysteme (14), welche die Längsführung und/oder die Querführung des Kraftwagens überwachen und/oder beeinflussen, unter Berücksichtigung des ermittelten Verlassensvektors (26) betrieben werden.Method according to one of the preceding claims, characterized in that one or more assistance systems ( 14 ), which monitor and / or influence the longitudinal guidance and / or the transverse guidance of the motor vehicle, taking into account the determined escape vector ( 26 ) operate. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, unter Berücksichtigung der Augenbewegungen der Fahrers (18) verändert werden.Method according to one of the preceding claims, characterized in that the frequency per unit of time, by means of which the respective eye orientations are detected, taking into account the eye movements of the driver ( 18 ) to be changed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Winkelbereich (α, β) unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung beeinflusst, verändert wird.Method according to one of the preceding claims, characterized in that the angular range (α, β) is changed taking into account at least one parameter which influences the accuracy of the viewing direction determination. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Winkelbereich (α, β) unter Berücksichtigung der Eigenschaften des Fahrers (18) und/oder der Blickerfassungseinrichtung (16) verändert wird.A method according to claim 7, characterized in that the angular range (α, β) taking into account the characteristics of the driver ( 18 ) and / or the eye detection device ( 16 ) is changed. Vorrichtung (12) zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit: – einer Blickerfassungseinrichtung (16), welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers (18) des Kraftwagens (10) für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; – einer Datenverarbeitungseinrichtung (22), welche dazu ausgelegt ist, • jeweilige Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen; • einen Verlassensvektor (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24) zu ermitteln, wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt; – einer Steuereinrichtung (28), welche dazu ausgelegt ist, das Assistenzsystem (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24) und unter Berücksichtigung des ermittelten Verlassensvektors (26) zu betreiben.Contraption ( 12 ) for operating at least one assistance system ( 14 ) of a motor vehicle ( 10 ), comprising: - a gaze detection device ( 16 ), which is adapted to a respective driver's eye sightings ( 18 ) of the motor vehicle ( 10 ) for a plurality of successive points in time and to determine whether the respective detected eye alignments are within at least a predetermined angular range (α, β); A data processing device ( 22 ), which is designed to: • respective viewing directions ( 24 ) of the driver ( 18 ) to determine and store on the basis of the respectively detected eye orientations, as long as it is determined that the detected eye orientations are within the predetermined angular range (α, β); A leaving vector ( 26 ) taking into account the previously stored viewing directions ( 24 ), wherein the leaving vector ( 26 ) the direction ( 36 ) into which the eyes ( 20 ) of the driver ( 18 ) have been pivoted when leaving the predetermined angular range (α, β) as soon as it is determined that one of the detected eye orientations is outside the predetermined angular range (α, β); A control device ( 28 ), which is designed to support the assistance system ( 14 ) taking into account the respective directions of view ( 24 ) and taking into account the determined leaving vector ( 26 ) to operate.
DE102013019191.2A 2013-11-15 2013-11-15 Method and device for operating at least one assistance system of a motor vehicle Active DE102013019191B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013019191.2A DE102013019191B4 (en) 2013-11-15 2013-11-15 Method and device for operating at least one assistance system of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013019191.2A DE102013019191B4 (en) 2013-11-15 2013-11-15 Method and device for operating at least one assistance system of a motor vehicle

Publications (2)

Publication Number Publication Date
DE102013019191A1 true DE102013019191A1 (en) 2015-05-21
DE102013019191B4 DE102013019191B4 (en) 2016-07-14

Family

ID=53184039

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013019191.2A Active DE102013019191B4 (en) 2013-11-15 2013-11-15 Method and device for operating at least one assistance system of a motor vehicle

Country Status (1)

Country Link
DE (1) DE102013019191B4 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267865A (en) * 2020-02-11 2020-06-12 矩阵元技术(深圳)有限公司 Vision-based safe driving early warning method and system and storage medium
DE102020122977A1 (en) 2020-09-02 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Driver assistance system and driver assistance method for a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10241993B3 (en) 2002-09-11 2004-04-08 Siemens Ag Device and method for detecting an object or a person in the interior of a vehicle
DE10360176A1 (en) 2003-12-20 2005-07-21 Volkswagen Ag Optical monitoring system observing vehicle drivers eyes e.g. for signs of tiredness, is positioned to avoid obstruction to beam path during driving
US20060018518A1 (en) 2002-12-12 2006-01-26 Martin Fritzsche Method and device for determining the three-dimension position of passengers of a motor car
US20060023918A1 (en) 2003-05-13 2006-02-02 Siemens Aktiengesellschaft Method for determining the current position of the heads of vehicle occupants
DE102010013243A1 (en) 2010-03-29 2011-09-29 Audi Ag Method for determining information relating to the direction of vision of a driver and the position of the driver's hands with respect to the steering wheel in a motor vehicle and motor vehicle
DE102012006966A1 (en) 2012-04-04 2012-11-08 Daimler Ag Method for triggering vehicle-side executable function e.g. ventilation function, involves determining operation patch observed by rider, and triggering vehicle-side executable function in user-controlled manner based on determined patch

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008038831A1 (en) * 2008-08-13 2010-02-18 Volkswagen Ag Method for automatic view guidance of driver of vehicle, involves determining information for operation of vehicle, with which view of driver is automatically diverted to traffic situation or to information
JP2013140558A (en) * 2011-12-09 2013-07-18 Denso Corp Driving determination apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10241993B3 (en) 2002-09-11 2004-04-08 Siemens Ag Device and method for detecting an object or a person in the interior of a vehicle
US20060018518A1 (en) 2002-12-12 2006-01-26 Martin Fritzsche Method and device for determining the three-dimension position of passengers of a motor car
US20060023918A1 (en) 2003-05-13 2006-02-02 Siemens Aktiengesellschaft Method for determining the current position of the heads of vehicle occupants
DE10360176A1 (en) 2003-12-20 2005-07-21 Volkswagen Ag Optical monitoring system observing vehicle drivers eyes e.g. for signs of tiredness, is positioned to avoid obstruction to beam path during driving
DE102010013243A1 (en) 2010-03-29 2011-09-29 Audi Ag Method for determining information relating to the direction of vision of a driver and the position of the driver's hands with respect to the steering wheel in a motor vehicle and motor vehicle
DE102012006966A1 (en) 2012-04-04 2012-11-08 Daimler Ag Method for triggering vehicle-side executable function e.g. ventilation function, involves determining operation patch observed by rider, and triggering vehicle-side executable function in user-controlled manner based on determined patch

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111267865A (en) * 2020-02-11 2020-06-12 矩阵元技术(深圳)有限公司 Vision-based safe driving early warning method and system and storage medium
CN111267865B (en) * 2020-02-11 2021-07-16 矩阵元技术(深圳)有限公司 Vision-based safe driving early warning method and system and storage medium
DE102020122977A1 (en) 2020-09-02 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Driver assistance system and driver assistance method for a vehicle

Also Published As

Publication number Publication date
DE102013019191B4 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
DE10039795C2 (en) Method for warning a driver of a vehicle
DE102015201456B4 (en) Method and system for issuing a warning message in a vehicle
DE10024227B4 (en) Method and device for the electronic monitoring of the degree of attention
DE102015116280B4 (en) vehicle information presentation device
DE102009019702B4 (en) Method and device for requesting a handover to the vehicle driver
WO2014029738A1 (en) Method for supplementing object information assigned to an object and method for selecting objects in surroundings of a vehicle
DE102014013165A1 (en) Motor vehicle and method for operating a motor vehicle
EP2284057A2 (en) Method and device for adapting parameters of a driver assistance system
DE102016208410A1 (en) Method and device for operating a signal system, signal system, vehicle
DE102013206739A1 (en) Method for determining whether an occupant of a vehicle notices relevant objects in the vicinity of the vehicle
DE102014201036A1 (en) Image-based classification of driver status and / or driver behavior
DE102016215291A1 (en) Method for classifying driver movements
DE102015003847A1 (en) Method and driver assistance system for detecting and signaling light signals from at least one light signal device of a alternating light signaling system
EP2777032A1 (en) Method and device for warning the driver of a motor vehicle in the event of a lack of attention
DE102018213230A1 (en) Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
DE102014105374B4 (en) Driver assistance system
DE102019201407A1 (en) Method and device for controlling a driver's attention
DE102016204878A1 (en) Adaptive driver assistant
DE102019210534A1 (en) Driver assistance system of a motor vehicle, method for assisting a driver during a parking process, computer program product and motor vehicle
DE102004034748A1 (en) Driver assistance system has warning device activated depending on how strongly/how long for/how often set driving direction/current lane occupation and current lane course/desired lane occupation to be maintained deviate from each other
WO2018166779A1 (en) Method and device for reminding a driver about an approach to a light signal apparatus
DE102015119704A1 (en) Alarm system for obstacles and a method for its operation
DE102012200946A1 (en) Method and apparatus for assisting hitching of a trailer
DE102013019191B4 (en) Method and device for operating at least one assistance system of a motor vehicle
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final