DE102013019191A1 - Method and device for operating at least one assistance system of a motor vehicle - Google Patents
Method and device for operating at least one assistance system of a motor vehicle Download PDFInfo
- Publication number
- DE102013019191A1 DE102013019191A1 DE102013019191.2A DE102013019191A DE102013019191A1 DE 102013019191 A1 DE102013019191 A1 DE 102013019191A1 DE 102013019191 A DE102013019191 A DE 102013019191A DE 102013019191 A1 DE102013019191 A1 DE 102013019191A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- account
- taking
- determined
- angular range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Transportation (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Die Erfindung betrifft ein zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit den Schritten: Erfassen jeweiliger Augenausrichtungen eines Fahrers (18) des Kraftwagens mittels einer Blickerfassungseinrichtung (16) für eine Mehrzahl aufeinander folgender Zeitpunkte; Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen: Ermitteln jeweiliger Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen; Speichern der ermittelten Blickrichtungen (24); Betreiben des Assistenzsystems (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24); Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt: Ermitteln eines Verlassensvektors (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24), wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind; Betreiben des Assistenzsystems (14) unter Berücksichtigung des ermittelten Verlassensvektors (26). Des Weiteren betrifft die Erfindung eine Vorrichtung (12) zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10).The invention relates to a system for operating at least one assistance system (14) of a motor vehicle (10), comprising: detecting respective eye orientations of a driver (18) of the motor vehicle by means of a gaze detection device (16) for a plurality of consecutive times; Determining whether the respectively detected eye orientations are within at least a predetermined angular range (α, β); As long as it is determined that the detected eye orientations are within the predetermined angular range (α, β): determining respective directions of view (24) of the driver (18) based on the respectively detected eye alignments; Storing the determined viewing directions (24); Operating the assistance system (14) taking into account the respectively determined viewing directions (24); Once it is determined that one of the detected eye orientations is outside the predetermined angular range (α, β), determining a leaving vector (26) taking into account the previously stored viewing directions (24), wherein the leaving vector (26) characterizes the direction (36) which the eyes (20) of the driver (18) have been pivoted when leaving the predetermined angular range (α, β); Operating the assistance system (14) taking into account the determined leaving vector (26). Furthermore, the invention relates to a device (12) for operating at least one assistance system (14) of a motor vehicle (10).
Description
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens.The invention relates to a method and a device for operating at least one assistance system of a motor vehicle.
Es sind Verfahren und Systeme bekannt, mittels welchen unterschiedliche Funktionen eines Kraftwagens in Abhängigkeit einer erfassten Blickrichtung ausgeführt werden können. Beispielsweise zeigt die
Bei derartigen Verfahren werden üblicherweise kamera- und softwarebasierte Blickerfassungseinrichtungen eingesetzt, mittels welchen die Augen des Fahrers aufgenommen und die jeweiligen Aufnahmen analysiert werden, um eine Blickrichtung des Fahrers zu ermitteln. Die Genauigkeit der Blickrichtungserfassung wird dabei durch unterschiedlichste Faktoren beeinflusst. Üblicherweise weisen derartige Blickerfassungseinrichtungen einen eingeschränkten Erfassungsbereich auf, innerhalb welchem sich die Augen des Nutzers befinden müssen, um eine hinreichend genaue Blickrichtungsermittlung durchführen zu können.Camera and software-based vision systems are usually used in such methods, by means of which the driver's eyes are recorded and the respective images are analyzed in order to determine a line of sight of the driver. The accuracy of the viewing direction detection is influenced by a wide variety of factors. Usually, such gaze detection devices have a limited detection range, within which the eyes of the user must be in order to be able to carry out a sufficiently accurate viewing direction determination.
Die
Die
Die
Die
Es ist die Aufgabe der vorliegenden Erfindung, eine verbesserte Blickrichtungsermittlung, insbesondere zum Betreiben zumindest eines Assistenzsystems eines Kraftwagens, zu ermöglichen.It is the object of the present invention to enable improved viewing direction determination, in particular for operating at least one assistance system of a motor vehicle.
Diese Aufgabe wird durch ein Verfahren sowie durch eine Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved by a method and by a device for operating at least one assistance system of a motor vehicle having the features of the independent patent claims. Advantageous embodiments with expedient and non-trivial developments of the invention are specified in the dependent claims.
Das erfindungsgemäße Verfahren zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens umfasst folgende Schritte:
- – Erfassen jeweiliger Augenausrichtungen eines Fahrers des Kraftwagens mittels einer Blickerfassungseinrichtung für eine Mehrzahl aufeinander folgender Zeitpunkte;
- – Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs liegen;
- – solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen: • Ermitteln jeweiliger Blickrichtungen des Fahrers anhand der jeweils erfassten Augenausrichtungen; • Speichern der ermittelten Blickrichtung; • Betreiben des Assistenzsystems unter Berücksichtigung der jeweils ermittelten Blickrichtung;
- – sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt: • Ermitteln eines Verlassensvektors unter Berücksichtigung der zuvor gespeicherten Blickrichtungen, wobei der Verlassensvektor die Richtung charakterisiert, in welche die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind; • Betreiben des Assistenzsystems unter Berücksichtigung des ermittelten Verlassensvektors.
- - Detecting respective eye alignments of a driver of the motor vehicle by means of a gaze detecting device for a plurality of successive points in time;
- - Determining whether the respectively detected eye alignments are within at least a predetermined angular range;
- - as long as it is determined that the detected eye orientations are within the predetermined angular range: • determining respective directions of sight of the driver on the basis of the respectively detected eye alignments; • saving the determined viewing direction; • operating the assistance system taking into account the respective direction of sight;
- As soon as it is determined that one of the detected eye orientations is outside the predetermined angular range: determining a leaving vector taking into account the previously stored viewing directions, wherein the leaving vector characterizes the direction in which the eyes of the driver have been pivoted when leaving the predetermined angular range; • Operating the assistance system taking into account the determined leaving vector.
Der Erfindung liegt die Erkenntnis zugrunde, dass für eine hinreichend genaue Ermittlung einer Blickrichtung eines Fahrers nicht nur die Positionierung seines Kopfes und somit seiner Augen innerhalb eines bestimmten Erfassungsbereichs erforderlich ist, innerhalb welchem die Blickerfassungseinrichtung eine hinreichend genaue Blickrichtung des Fahrers anhand der aufgenommenen Augen des Fahrers ermitteln kann. Insbesondere ab einer gewissen Winkelabweichung der Augen des Fahrers von einem gut erfassbaren Winkelbereich der Blickerfassungseinrichtung kann ein entsprechendes Kamerasystem der Blickerfassungseinrichtung nicht mehr genau erfassen, beziehungsweise ermitteln, wohin der Fahrer schaut.The invention is based on the finding that for a sufficiently accurate determination of a driver's line of sight not only the positioning of his head and thus his eyes within a certain detection range is required, within which the gaze detection device a sufficiently accurate line of sight of the driver based on the driver's eyes can determine. In particular, as of a certain angular deviation of the driver's eyes from a well detectable angle range of the gaze detection device, a corresponding camera system of the gaze detection device can no longer accurately detect or determine where the driver is heading.
Daher ist es erfindungsgemäß vorgesehen, die Augen des Fahrers für eine Mehrzahl aufeinander folgender Zeitpunkte aufzunehmen und anhand dessen die jeweiligen Augenausrichtungen des Fahrers zu erfassen. Anschließend wird ermittelt, ob die jeweils erfassten Augenausrichtungen innerhalb eines vorgegebenen Winkelbereichs liegen, in welchem eine Blickrichtung des Fahrers anhand der erfassten Augenausrichtung noch mit einer vorgegebenen Genauigkeit mittels der Blickerfassungseinrichtung ermittelt werden kann. Vorzugsweise wird darüber hinaus auch ermittelt, ob die Augen des Fahrers sich in einem vorgegebenen Erfassungsbereich der Blickerfassungseinrichtung befinden, innerhalb welchem eine Erfassung der Augen überhaupt möglich ist.Therefore, it is provided according to the invention to record the driver's eyes for a plurality of consecutive times and to detect the respective eye orientations of the driver on the basis of this. It then determines if the each detected eye alignments are within a predetermined angular range, in which a line of sight of the driver based on the detected eye alignment can still be determined with a predetermined accuracy by means of the gaze detection device. In addition, it is also preferably determined whether the driver's eyes are within a predetermined detection range of the gaze detection device, within which detection of the eyes is possible at all.
Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen, werden die jeweiligen Blickrichtungen des Fahrers anhand der erfassten Augenausrichtungen ermittelt und gespeichert, wobei zumindest ein Assistenzsystem des Kraftwagens unter Berücksichtigung der jeweils ermittelten Blickrichtungen betrieben wird. Sobald jedoch ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt, wird der erfindungsgemäße Verlassensvektor unter Berücksichtigung der zuvor gespeicherten Blickrichtungen ermittelt, wobei der Verlassensvektor in Abhängigkeit der zuvor hinreichend genau ermittelten Blickrichtungen derart bestimmt wird, dass der Verlassensvektor die Richtung charakterisiert, in welche die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind. Anschließend wird das Assistenzsystem unter Berücksichtigung des ermittelten Verlassensvektors betrieben.As long as it is determined that the detected eye orientations are within the predetermined angular range, the respective directions of the driver are determined and stored based on the detected eye orientations, wherein at least one assistance system of the motor vehicle is operated taking into account the respectively determined viewing directions. However, as soon as it is determined that one of the detected eye orientations lies outside the predetermined angular range, the departure vector according to the invention is determined taking into account the previously stored viewing directions, wherein the exit vector is determined as a function of the previously sufficiently precisely determined viewing directions such that the exit vector characterizes the direction, in which the eyes of the driver have been pivoted when leaving the predetermined angle range. Subsequently, the assistance system is operated taking into account the determined escape vector.
Durch das erfindungsgemäße Verfahren ist es möglich, eine Blickerfassungseinrichtung auch mit einer einzigen oder einer geringen Anzahl an Kameras beziehungsweise Kamerasystemen zu betreiben, welche nicht an unterschiedlichen Positionen innerhalb des Kraftwagens positioniert werden müssen, da mittels des erfindungsgemäßen Verfahrens mit einer relativ großen Verlässlichkeit Informationen darüber erhoben werden können, in welche Richtung der Fahrer gerade schaut, auch wenn seine Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegen sollten.By means of the method according to the invention, it is also possible to operate a gaze detection device with a single or a small number of cameras or camera systems which do not have to be positioned at different positions within the motor vehicle since information about them is obtained with relatively high reliability by means of the method according to the invention can be in which direction the driver is currently looking, even if his eye sightings should be outside the predetermined angular range.
In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass unter Berücksichtigung des Verlassensvektors eine voraussichtliche Blickrichtung des Fahrers ermittelt und beim Betreiben des Assistenzsystems berücksichtigt wird. Beispielsweise wird der Verlassensvektor gleichgesetzt mit der voraussichtlichen Blickrichtung des Fahrers, so dass anhand des Verlassensvektors auf einfache Weise abgeschätzt beziehungsweise ermittelt werden kann, in welche Richtung der Fahrer gerade blickt, auch wenn seine Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegen sollten, so dass eine zuverlässige und hinreichend genaue Blickrichtungsermittlung anhand der erfassten Augenausrichtungen nicht möglich ist.In an advantageous embodiment of the invention, it is provided that, taking into account the leaving vector, an anticipated viewing direction of the driver is determined and taken into account when operating the assistance system. For example, the exit vector is equated with the prospective driver's line of sight, so that it is easy to estimate or determine in which direction the driver is looking, even if his eye alignments should be outside the predetermined angular range, using the exit vector it is not possible to determine the exact direction of sight using the recorded eye orientations.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass anhand des Verlassensvektors ermittelt wird, ob der Fahrer seinen Blick auf eine optische Warneinrichtung des Assistenzsystems gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird. Somit kann also auch wenn der Fahrer seine Augen derart ausgerichtet haben sollte, dass eine hinreichend genaue Blickrichtungsermittlung gar nicht möglich ist, trotzdem anhand des Verlassensvektors überprüft oder abgeschätzt werden, ob der Fahrer seinen Blick auf eine optische Warneinrichtung des Assistenzsystems gerichtet hat und somit die optische Warnmeldung des Assistenzsystems überhaupt wahrnehmen kann. Dies kann wiederum zur Ansteuerung des Assistenzsystems beziehungsweise auch zur Parametrisierung des Assistenzsystems genutzt werden.According to a further advantageous embodiment of the invention, it is provided that it is determined on the basis of the exit vector whether the driver has directed his gaze to an optical warning device of the assistance system, by means of which an optical warning signal is output. Thus, even if the driver should have his eyes aligned so that a sufficiently accurate viewing direction determination is not possible anyway checked or estimated using the relying vector, whether the driver has directed his eyes on an optical warning device of the assistance system and thus the optical Warning message of the assistance system can perceive at all. This can in turn be used to control the assistance system or also for the parameterization of the assistance system.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eine akustische und/oder haptische Warnmeldung ausgegeben wird, falls anhand des Verlassensvektors ermittelt worden ist, dass der Fahrer seinen Blick von der optischen Warneinrichtung abgewendet hat. Sobald also anhand des Verlassensvektors davon ausgegangen werden kann, dass der Fahrer gerade seinen Blick nicht auf die optische Warneinrichtung gerichtet hat, während durch diese eine optische Warnmeldung ausgegeben wird, wird der Fahrer über akustische und/oder haptische Warnmeldungen zusätzlich informiert beziehungsweise gewarnt. Die Wahrnehmbarkeit des betreffenden Warnsignals kann dadurch bedarfsgerecht erhöht werden, so dass die Wahrnehmbarkeit durch den Fahrer des Kraftwagens auch bei einer eventuellen Blickabwendung von der optischen Warneinrichtung sichergestellt werden kann.In a further advantageous embodiment of the invention, it is provided that an acoustic and / or haptic warning message is issued if it has been determined on the basis of the exit vector that the driver has averted his gaze from the optical warning device. Thus, as soon as it can be assumed on the basis of the exit vector that the driver has not just directed his gaze to the optical warning device, while an optical warning message is output by the latter, the driver is additionally informed or warned via acoustic and / or haptic warning messages. The perceptibility of the warning signal in question can be increased as needed, so that the perceptibility can be ensured by the driver of the motor vehicle even with a possible eye-response from the optical warning device.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eines oder mehrere Assistenzsysteme, welche die Längsführung und/oder die Querführung des Kraftwagens überwachen und/oder beeinflussen, unter Berücksichtigung des ermittelten Verlassensvektors betrieben werden. Mit anderen Worten kann es sich bei den Assistenzsystemen um Fahrerassistenzsysteme, wie beispielsweise einen Abstandsregeltempomat, einen Abstandswarner, ein Spurerkennungssystem, einen Spurhalteassistent, einen Spurwechselassistent, eine Spurwechselunterstützung oder dergleichen handeln, welche den Kraftfahrer beim Führen des Kraftwagens unterstützen. Mit Hilfe des Verlassensvektors und der damit bestimmbaren, voraussichtlichen Blickrichtung des Fahrers kann auch in Fällen, in welchen eine nicht hinreichend genaue Blickrichtungsermittlung möglich ist, sichergestellt werden, dass die betreffenden Assistenzsysteme zumindest in Kenntnis einer prognostizierten Blickrichtung, welche unter Berücksichtigung des Verlassensvektors ermittelt wird, betrieben werden können. Dadurch kann die Sicherheit beim Führen des Kraftwagens erheblich erhöht werden.In a further advantageous embodiment of the invention, it is provided that one or more assistance systems, which monitor and / or influence the longitudinal guidance and / or the transverse guidance of the motor vehicle, are operated taking into account the determined escape vector. In other words, the assistance systems may be driver assistance systems, such as a cruise control, a distance warning, a lane detection system, a lane departure warning, a lane change assistant, a lane change assistance or the like, which assist the driver in driving the motor vehicle. With the help of the leaving vector and the presumable, prospective viewing direction of the driver which can be determined in this way, it can also be ensured in cases in which an insufficiently accurate viewing direction determination is possible that the assistance systems in question are determined at least with knowledge of a predicted viewing direction, which is taken into account with the leaving vector. can be operated. This can be the safety be considerably increased when driving the car.
Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, unter Berücksichtigung der Augenbewegungen des Fahrers verändert werden. Beispielsweise kann es sich bei dem Fahrer um einen solchen Fahrer handeln, der seine Augen relativ häufig und schnell verschwenkt, wobei in einem derartigen Fall die Erfassung der jeweiligen Augenausrichtungen besonders häufig, beispielsweise mit 100 Hertz oder mehr, erfasst wird. Sollte es sich hingegen um einen Fahrer handeln, welcher seine Augen nicht so häufig und auch nicht so schnell hin und her verschwenkt, kann die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, entsprechend reduziert werden. Durch die Anpassung an die Blickgewohnheiten des Fahrers kann eine besonders zuverlässige Erfassung der Augenausrichtungen und somit auch eine besonders zuverlässige Ermittlung der jeweiligen Blickrichtungen beziehungsweise des entsprechenden Verlassensvektors sichergestellt werden.A further advantageous embodiment of the invention provides that the frequency per unit time, by means of which the respective eye orientations are detected, be changed taking into account the eye movements of the driver. For example, the driver may be such a driver who swivels his eyes relatively frequently and quickly, in which case the detection of the respective eye orientations is detected particularly frequently, for example at 100 hertz or more. If, on the other hand, it is a driver who does not turn his eyes back and forth as frequently or as quickly, the frequency per unit of time by which the respective eye orientations are detected can be correspondingly reduced. By adapting to the gaze habits of the driver, a particularly reliable detection of the eye alignments and thus also a particularly reliable determination of the respective viewing directions or of the corresponding exit vector can be ensured.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass der Winkelbereich unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung beeinflusst, verändert wird. Vorzugsweise wird der Winkelbereich unter Berücksichtigung der Eigenschaften des Fahrers und/oder der Blickerfassungseinrichtung verändert. Bei den Fahrereigenschaften kann es sich beispielsweise um die Reflektionseigenschaften seiner Retina, seiner Fähigkeit, jeweilige Objekte zu fokussieren, eventuelle Sehhilfen oder auch um Eigenschaften seiner Pupillenverengung beziehungsweise -weitung handeln. Bei den Eigenschaften der Blickerfassungseinrichtung kann es sich beispielsweise um eine entsprechende Beleuchtung handeln, mittels welcher die Augen des Fahrers, zum Beispiel mit Infrarotlicht, beleuchtet werden, um die jeweiligen Augenausrichtungen zu ermitteln. In diesem Zusammenhang können die Lichtintensität, die Platzierung etwaiger Lichtquellen und dergleichen Berücksichtigung finden. Darüber hinaus kann auch eine Kalibrierung der Blickerfassungseinrichtung berücksichtigt werden, wie beispielsweise die Anzahl verwendeter Kalibrierungspunkte und die Variation von diesen. Durch die Anpassung des Winkelbereichs kann die exakte Ermittlung der Blickrichtungen des Fahrers nochmals verbessert werden.According to a further advantageous embodiment of the invention, it is provided that the angular range is changed taking into account at least one parameter which influences the accuracy of the viewing direction determination. Preferably, the angular range is changed taking into account the characteristics of the driver and / or the gaze detection device. The driver characteristics can be, for example, the reflection properties of his retina, his ability to focus on particular objects, possible visual aids or even properties of his pupil narrowing or widening. The properties of the gaze detection device may be, for example, a corresponding illumination, by means of which the driver's eyes, for example with infrared light, are illuminated in order to determine the respective eye orientations. In this context, the light intensity, the placement of any light sources and the like can be considered. In addition, a calibration of the gaze detection device can be taken into account, such as the number of calibration points used and the variation of these. By adjusting the angle range, the exact determination of the driver's line of sight can be further improved.
Die erfindungsgemäße Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens umfasst eine Blickerfassungseinrichtung, welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers des Kraftwagens für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb eines vorgegebenen Winkelbereichs liegen. Die Vorrichtung umfasst des Weiteren eine Datenverarbeitungseinrichtung, welche dazu ausgelegt ist, jeweilige Blickrichtungen des Fahrers anhand der jeweils erfassten Augenausrichtungen zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen. Die Datenverarbeitungseinrichtung ist darüber hinaus dazu ausgelegt, einen Verlassensvektor unter Berücksichtigung der zuvor gespeicherten Blickrichtungen zu ermitteln, wobei der Verlassensvektor die Richtung charakterisiert, in welcher die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt. Ferner umfasst die Vorrichtung eine Steuereinrichtung, welche dazu ausgelegt ist, das Assistenzsystem unter Berücksichtigung der jeweils ermittelten Blickrichtungen und unter Berücksichtigung des ermittelten Verlassensvektors zu betreiben. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausgestaltungen der Vorrichtung anzusehen, wobei die Vorrichtung insbesondere Mittel zur Durchführung der Verfahrensschritte umfasst.The device according to the invention for operating at least one assistance system of a motor vehicle comprises a gaze detection device which is designed to detect respective eye orientations of a driver of the motor vehicle for a plurality of consecutive times and to determine whether the respectively detected eye orientations are within a predetermined angular range. The device further comprises a data processing device which is designed to determine and store respective directions of the driver's vision based on the respectively detected eye orientations, as long as it is determined that the detected eye orientations are within the predetermined angular range. The data processing device is furthermore designed to determine a leaving vector taking into account the previously stored viewing directions, wherein the leaving vector characterizes the direction in which the eyes of the driver have been pivoted when leaving the predetermined angular range as soon as it is determined that one of the detected eye orientations is outside the predetermined angular range. Furthermore, the device comprises a control device, which is designed to operate the assistance system taking into account the respectively determined viewing directions and taking into account the determined escape vector. Advantageous embodiments of the method according to the invention are to be regarded as advantageous embodiments of the device, wherein the device comprises in particular means for performing the method steps.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention will become apparent from the following description of preferred embodiments and from the drawing. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or in the figures alone can be used not only in the respectively specified combination but also in other combinations or in isolation, without the scope of To leave invention.
Die Zeichnung zeigt in:The drawing shows in:
Ein Kraftwagen
Die Vorrichtung
Die Datenverarbeitungseinrichtung
In
Zwischen der Blickerfassungseinrichtung
Des Weiteren ist in
In
In
In
Nachfolgend wird ein Verfahren zum Betreiben des Assistenzsystems
Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen des Fahrers
In
Im vorliegenden Fall ist die Verschwenkungsrichtung der Augen
Anhand des Verlassensvektors
Sollte hingegen der Fahrer
Neben dem als Spurwechselassistent ausgebildeten Assistenzsystem
Die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, wird unter Berücksichtigung der jeweiligen Augenbewegungen des Fahrers
Die Winkelbereiche α und β können zudem unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung durch die Blickerfassungseinrichtung
Durch das erläuterte Verfahren und die erläuterte Vorrichtung
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102012006966 A1 [0002] DE 102012006966 A1 [0002]
- US 20060023918 A1 [0004] US 20060023918 A1 [0004]
- DE 10241993 B3 [0004] DE 10241993 B3 [0004]
- DE 102010013243 A1 [0005] DE 102010013243 A1 [0005]
- DE 10360176 A1 [0006] DE 10360176 A1 [0006]
- US 20060018518 A1 [0007] US 20060018518 A1 [0007]
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013019191.2A DE102013019191B4 (en) | 2013-11-15 | 2013-11-15 | Method and device for operating at least one assistance system of a motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013019191.2A DE102013019191B4 (en) | 2013-11-15 | 2013-11-15 | Method and device for operating at least one assistance system of a motor vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102013019191A1 true DE102013019191A1 (en) | 2015-05-21 |
DE102013019191B4 DE102013019191B4 (en) | 2016-07-14 |
Family
ID=53184039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013019191.2A Active DE102013019191B4 (en) | 2013-11-15 | 2013-11-15 | Method and device for operating at least one assistance system of a motor vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102013019191B4 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111267865A (en) * | 2020-02-11 | 2020-06-12 | 矩阵元技术(深圳)有限公司 | Vision-based safe driving early warning method and system and storage medium |
DE102020122977A1 (en) | 2020-09-02 | 2022-03-03 | Bayerische Motoren Werke Aktiengesellschaft | Driver assistance system and driver assistance method for a vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10241993B3 (en) | 2002-09-11 | 2004-04-08 | Siemens Ag | Device and method for detecting an object or a person in the interior of a vehicle |
DE10360176A1 (en) | 2003-12-20 | 2005-07-21 | Volkswagen Ag | Optical monitoring system observing vehicle drivers eyes e.g. for signs of tiredness, is positioned to avoid obstruction to beam path during driving |
US20060018518A1 (en) | 2002-12-12 | 2006-01-26 | Martin Fritzsche | Method and device for determining the three-dimension position of passengers of a motor car |
US20060023918A1 (en) | 2003-05-13 | 2006-02-02 | Siemens Aktiengesellschaft | Method for determining the current position of the heads of vehicle occupants |
DE102010013243A1 (en) | 2010-03-29 | 2011-09-29 | Audi Ag | Method for determining information relating to the direction of vision of a driver and the position of the driver's hands with respect to the steering wheel in a motor vehicle and motor vehicle |
DE102012006966A1 (en) | 2012-04-04 | 2012-11-08 | Daimler Ag | Method for triggering vehicle-side executable function e.g. ventilation function, involves determining operation patch observed by rider, and triggering vehicle-side executable function in user-controlled manner based on determined patch |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008038831A1 (en) * | 2008-08-13 | 2010-02-18 | Volkswagen Ag | Method for automatic view guidance of driver of vehicle, involves determining information for operation of vehicle, with which view of driver is automatically diverted to traffic situation or to information |
JP2013140558A (en) * | 2011-12-09 | 2013-07-18 | Denso Corp | Driving determination apparatus |
-
2013
- 2013-11-15 DE DE102013019191.2A patent/DE102013019191B4/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10241993B3 (en) | 2002-09-11 | 2004-04-08 | Siemens Ag | Device and method for detecting an object or a person in the interior of a vehicle |
US20060018518A1 (en) | 2002-12-12 | 2006-01-26 | Martin Fritzsche | Method and device for determining the three-dimension position of passengers of a motor car |
US20060023918A1 (en) | 2003-05-13 | 2006-02-02 | Siemens Aktiengesellschaft | Method for determining the current position of the heads of vehicle occupants |
DE10360176A1 (en) | 2003-12-20 | 2005-07-21 | Volkswagen Ag | Optical monitoring system observing vehicle drivers eyes e.g. for signs of tiredness, is positioned to avoid obstruction to beam path during driving |
DE102010013243A1 (en) | 2010-03-29 | 2011-09-29 | Audi Ag | Method for determining information relating to the direction of vision of a driver and the position of the driver's hands with respect to the steering wheel in a motor vehicle and motor vehicle |
DE102012006966A1 (en) | 2012-04-04 | 2012-11-08 | Daimler Ag | Method for triggering vehicle-side executable function e.g. ventilation function, involves determining operation patch observed by rider, and triggering vehicle-side executable function in user-controlled manner based on determined patch |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111267865A (en) * | 2020-02-11 | 2020-06-12 | 矩阵元技术(深圳)有限公司 | Vision-based safe driving early warning method and system and storage medium |
CN111267865B (en) * | 2020-02-11 | 2021-07-16 | 矩阵元技术(深圳)有限公司 | Vision-based safe driving early warning method and system and storage medium |
DE102020122977A1 (en) | 2020-09-02 | 2022-03-03 | Bayerische Motoren Werke Aktiengesellschaft | Driver assistance system and driver assistance method for a vehicle |
Also Published As
Publication number | Publication date |
---|---|
DE102013019191B4 (en) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10039795C2 (en) | Method for warning a driver of a vehicle | |
DE102015201456B4 (en) | Method and system for issuing a warning message in a vehicle | |
DE10024227B4 (en) | Method and device for the electronic monitoring of the degree of attention | |
DE102015116280B4 (en) | vehicle information presentation device | |
DE102009019702B4 (en) | Method and device for requesting a handover to the vehicle driver | |
WO2014029738A1 (en) | Method for supplementing object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
DE102014013165A1 (en) | Motor vehicle and method for operating a motor vehicle | |
EP2284057A2 (en) | Method and device for adapting parameters of a driver assistance system | |
DE102016208410A1 (en) | Method and device for operating a signal system, signal system, vehicle | |
DE102013206739A1 (en) | Method for determining whether an occupant of a vehicle notices relevant objects in the vicinity of the vehicle | |
DE102014201036A1 (en) | Image-based classification of driver status and / or driver behavior | |
DE102016215291A1 (en) | Method for classifying driver movements | |
DE102015003847A1 (en) | Method and driver assistance system for detecting and signaling light signals from at least one light signal device of a alternating light signaling system | |
EP2777032A1 (en) | Method and device for warning the driver of a motor vehicle in the event of a lack of attention | |
DE102018213230A1 (en) | Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device | |
DE102014105374B4 (en) | Driver assistance system | |
DE102019201407A1 (en) | Method and device for controlling a driver's attention | |
DE102016204878A1 (en) | Adaptive driver assistant | |
DE102019210534A1 (en) | Driver assistance system of a motor vehicle, method for assisting a driver during a parking process, computer program product and motor vehicle | |
DE102004034748A1 (en) | Driver assistance system has warning device activated depending on how strongly/how long for/how often set driving direction/current lane occupation and current lane course/desired lane occupation to be maintained deviate from each other | |
WO2018166779A1 (en) | Method and device for reminding a driver about an approach to a light signal apparatus | |
DE102015119704A1 (en) | Alarm system for obstacles and a method for its operation | |
DE102012200946A1 (en) | Method and apparatus for assisting hitching of a trailer | |
DE102013019191B4 (en) | Method and device for operating at least one assistance system of a motor vehicle | |
DE102019004692B3 (en) | Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |