DE102015208208A1 - Method and device for detecting a tiredness of a driver of a vehicle - Google Patents
Method and device for detecting a tiredness of a driver of a vehicle Download PDFInfo
- Publication number
- DE102015208208A1 DE102015208208A1 DE102015208208.3A DE102015208208A DE102015208208A1 DE 102015208208 A1 DE102015208208 A1 DE 102015208208A1 DE 102015208208 A DE102015208208 A DE 102015208208A DE 102015208208 A1 DE102015208208 A1 DE 102015208208A1
- Authority
- DE
- Germany
- Prior art keywords
- time
- value
- validity
- reading
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs (100). Das Verfahren umfasst einen Schritt des Einlesens eines Überschreitungssignals als einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung (104, 106) durch das Fahrzeug (100), einen Schritt des Auswertens eines vor einem Zeitpunkt des Einlesens des Überschreitungssignals liegenden Verlaufs einer Fahrtrajektorie des Fahrzeugs (100) und des Setzens eines dem Überschreitungssignal zuordenbaren Gültigkeitswerts abhängig von einem Ergebnis des Auswertens auf einen eine Gültigkeit des Überschreitungssignals anzeigenden Wert oder auf einen eine Ungültigkeit des Überschreitungssignals anzeigenden Wert, sowie einen Schritt des Bereitstellens eines Müdigkeitshinweissignals unter Verwendung des Überschreitungssignals, wenn der Gültigkeitswert die Gültigkeit des Überschreitungssignals anzeigt.The invention relates to a method for detecting a fatigue of a driver of a vehicle (100). The method comprises a step of reading in an overflow signal as an indication of an imminent exceeding of a lane mark (104, 106) by the vehicle (100), a step of evaluating a course of a travel trajectory of the vehicle (100) before a time of reading in of the overflow signal and setting a validity value assignable to the overflow signal depending on a result of the evaluation to a value indicating the validity of the overflow signal or a value indicating an invalidation of the overflow signal, and a step of providing a tiredness notification signal using the overflow signal if the validity value is valid of the overflow signal.
Description
Stand der TechnikState of the art
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the preamble of the independent claims. The subject of the present invention is also a computer program.
Die
Offenbarung der ErfindungDisclosure of the invention
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren und eine Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, a method and a device for detecting a driver's fatigue of a vehicle and finally a corresponding computer program according to the main claims are presented with the approach presented here. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.
Der beschriebene Ansatz kann unter anderem vorteilhaft im Zusammenhang mit einem Algorithmus zur Fahrermüdigkeitserkennung anhand von Kameraspurdaten eingesetzt werden. Häufiges Annähern an die Spur wird durch den Algorithmus erkannt, der dann berechnet, ob ein Fahrer einen kritischen Müdigkeitszustand erreicht hat oder nicht. Grundbaustein des Algorithmus ist der Time-to-Lane-Crossing (TLC) Wert, der in Sekunden angibt, wie lange das Fahrzeug bei aktuellem Kurs theoretisch benötigt um die rechte bzw. die linke Fahrbahnbegrenzung zu überfahren. Die Müdigkeit wird dann über die Frequenz ermittelt, wie häufig ein Fahrer einen vorgegebenen Grenzwert des TLC (rechts und links) unterschreitet.Among other things, the described approach can be used in conjunction with an algorithm for driver fatigue detection based on camera tracking data. Frequent approach to the lane is recognized by the algorithm, which then calculates whether a driver has reached a critical state of fatigue or not. The basic building block of the algorithm is the Time-to-Lane-Crossing (TLC) value, which indicates in seconds how long the vehicle theoretically needs to drive over the right or the left lane boundary at the current heading. The fatigue is then determined by the frequency of how often a driver falls below a predetermined limit of the TLC (right and left).
Bei der Entwicklung von Algorithmen zur Müdigkeitserkennung basierend auf Spurinformationen (Spurkamera), zeigt sich, dass mehrere TLC-Ereignisse hintereinander geworfen werden können, wenn das Fahrzeug in der Nähe der Spurgrenze fährt. Ein TLC-Ereignis kann anzeigen, dass eine Überfahrung einer Fahrbahnbegrenzung voraussichtlich innerhalb einer vorbestimmten Zeitspanne oder zum Ablauf einer vorbestimmten Zeitspanne erfolgen wird. Solche Ereignisse können z.B. wegen Signal-Auflösung, Signal-Rauschen, sportlichem Fahren usw. entstehen und weisen auf keine Müdigkeit vom Fahrer hin. Ebenso möchten manche Fahrer, z.B. bei einer Kurve, nicht exakt die Spurmitte halten. Dies führt ebenfalls zu TLC-Ereignissen, die jedoch nicht auf Müdigkeit des Fahrers hinweisen. Vorteilhafterweise können solche Ereignisse, die nicht auf eine Müdigkeit hinweisen, unter Verwendung des beschriebenen Ansatzes erkannt werden. Dadurch kann die Müdigkeitserkennung verbessert werden.In developing fatigue detection algorithms based on lane information (lane camera), it can be seen that multiple TLC events can be thrown consecutively when the vehicle is traveling near the lane boundary. A TLC event may indicate that lane boundary override is expected to occur within a predetermined period of time or at the expiration of a predetermined amount of time. Such events may e.g. due to signal resolution, signal noise, sporty driving, etc. arise and indicate no fatigue from the driver. Likewise, some drivers, e.g. when cornering, do not keep the center of the lane exactly. This also leads to TLC events which, however, do not indicate fatigue of the driver. Advantageously, those events that are not indicative of fatigue can be identified using the described approach. This can improve the fatigue detection.
Ein Verfahren zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs umfasst die folgenden Schritte:
Einlesen eines Überschreitungssignals als einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung durch das Fahrzeug;
Auswerten eines vor einem Zeitpunkt des Einlesens des Überschreitungssignals liegenden Verlaufs einer Fahrtrajektorie des Fahrzeugs und Setzen eines dem Überschreitungssignal zuordenbaren Gültigkeitswerts abhängig von einem Ergebnis des Auswertens auf einen eine Gültigkeit des Überschreitungssignals anzeigenden ersten Wert oder auf einen eine Ungültigkeit des Überschreitungssignals anzeigenden zweiten Wert; und
Bereitstellen eines Müdigkeitshinweissignals unter Verwendung des Überschreitungssignals, wenn der Gültigkeitswert die Gültigkeit des Überschreitungssignals anzeigt.A method of detecting tiredness of a driver of a vehicle includes the following steps:
Reading an overshoot signal as an indication of an imminent overrun of a lane marker by the vehicle;
Evaluating a history of a travel trajectory of the vehicle prior to a time of reading in the exceedance signal and setting a validity value assignable to the exceedance signal depending on a result of the evaluation of a first value indicating the validity of the exceedance signal or a second value indicating an invalidity of the exceedance signal; and
Providing a fatigue alert signal using the overflow signal if the validity value indicates the validity of the overrun signal.
Durch das Überschreitungssignal kann angezeigt werden, dass das Fahrzeug bei aktuellem Kurs die Fahrbahnrandmarkierung, beispielsweise einen Randstreifen oder eine Mittellinie, demnächst, beispielsweise in einer Zeit, die kürzer als ein vorbestimmter Grenzwert ist, überschreiten wird. Das Überschreitungssignal kann beispielsweise anzeigen, dass eine bevorstehende Überschreitung erkannt wurde, oder eine Zeitdauer anzeigen, nach deren Ablauf die Überschreitung voraussichtlich erfolgen wird, oder das Überschreitungssignal kann anzeigen, dass die Überschreitung innerhalb einer Zeitspanne erfolgen wird, die kleiner als eine vorbestimmte Zeitspanne ist. Beispielsweise kann das Überschreitungssignal das Auftreten eines TLC-Ereignisses anzeigen. Somit kann es sich bei dem Hinweis beispielsweise um ein Auftreten eines TLC-Ereignisses handeln. Das Überschreitungssignal kann unter Verwendung von Daten einer Umfelderfassungseinrichtung, beispielsweise einer Kamera, des Fahrzeugs ermittelt werden oder worden sein. Der Verlauf der Fahrtrajektorie kann durch Abstandswerte, die einen zeitlichen Verlauf eines Abstands zwischen dem Fahrzeug und einer Fahrbahnrandmarkierung anzeigen, oder durch Lenkwerte, die einen zeitlichen Verlauf einer Lenkbewegung des Fahrzeugs anzeigen, gekennzeichnet sein. Die Abstandswerte können beispielsweise unter Verwendung einer Umfelderfassungseinrichtung des Fahrzeugs bestimmt werden. Die Lenkwerte können beispielsweise unter Verwendung eines mit der Lenkung gekoppelten Sensors bestimmt werden. Wenn die durch das Überschreitungssignal angezeigte bevorstehende Überschreitung nicht willentlich von dem Fahrer bewirkt wurde, so kann das Überschreitungssignal ein Hinweis auf eine Müdigkeit des Fahrers darstellen. Ob die bevorstehende Überschreitung willentlich oder unwillentlich bewirkt ist, kann über den Gültigkeitswert angezeigt werden. Ein gültiges Überschreitungssignal kann auf eine unwillentliche bevorstehende Überschreitung und somit auf eine Müdigkeit des Fahrers hinweisen. Ein ungültiges Überschreitungssignal kann auf eine willentliche bevorstehende Überschreitung und somit auf eine vorhandene Aufmerksamkeit des Fahrers hinweisen. Das Müdigkeitshinweissignal kann ein Indiz für eine Müdigkeit des Fahrers darstellen.The override signal may indicate that the vehicle, at current heading, will soon exceed the lane edge marker, such as a trim or centerline, for example, in a time that is less than a predetermined threshold. For example, the overrun signal may indicate that an impending overrun has been detected, or indicate a period of time beyond which expiration is likely to occur, or the overrun signal may indicate that the overrun will occur within a period of time less than a predetermined period of time. For example, the override signal may indicate the occurrence of a TLC event. Thus, the hint may be, for example, an occurrence of a TLC event. The overshoot signal may be detected using data from an environment detection device, such as a camera, of the vehicle. The course of the driving trajectory can be characterized by distance values which indicate a time profile of a distance between the vehicle and a lane edge marking, or by steering values which indicate a time profile of a steering movement of the vehicle. The distance values may be determined, for example, using an environment detection device of the vehicle. For example, the steering values may be determined using a sensor coupled to the steering. When indicated by the overflow signal impending overshoot was not deliberately caused by the driver, the overrun signal may be an indication of driver fatigue. Whether the impending overrun is intentional or unintentional can be indicated by the validity value. A valid override signal may indicate an involuntary impending overshoot and thus driver fatigue. An invalid overrun signal may indicate intentional overshoot and thus driver attention. The fatigue alert signal may be an indication of driver fatigue.
Gemäß einer Ausführungsform kann im Schritt des Auswertens ein lateraler Abstand zwischen dem Fahrzeug und der Fahrbahnrandmarkierung ausgewertet werden. Ein solcher Abstand kann einfach, beispielsweise unter Verwendung einer Kamera, ermittelt werden. Ein zeitlicher Verlauf des lateralen Abstands eignet sich zum Erkennen einer durch Müdigkeit des Fahrers beeinflussten Fahrtrajektorie.According to one embodiment, in the step of the evaluation, a lateral distance between the vehicle and the lane edge marking can be evaluated. Such a distance can be easily determined, for example using a camera. A temporal course of the lateral distance is suitable for recognizing a driving trajectory influenced by driver fatigue.
Dabei kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn der laterale Abstand innerhalb einer Zeitspanne zwischen dem Zeitpunkt des Einlesens des Überschreitungssignals und einem vorangegangenen Zeitpunkt des Einlesens eines vorangegangenen Überschreitungssignals größer als ein Schwellenwert ist. Dabei kann es ausreichend sein, wenn der Abstand einmalig innerhalb der Zeitspanne größer als der Schwellenwert ist. Auf diese Weise kann beispielsweise das erste Überschreitungssignal, das nach einer Unterschreitung des Schwellenwertes auftritt als gültig angesehen werden. Beispielsweise kann ein Token, auch Merker genannt, gesetzt werden, wenn der Abstand größer als der Schwellenwert ist. Wird ein Überschreitungssignal eingelesen, während der Token gesetzt ist, so kann das Überschreitungssignal als gültig angesehen werden. Das Einlesen des Überschreitungssignals kann eine Rücknahme des Tokens bewirken. Tritt ein Überschreitungssignal auf, wenn kein Token gesetzt ist, kann das Überschreitungssignal als ungültig angenommen werden.In this case, the validity value can be set to the validity-indicating value if the lateral distance is greater than a threshold value within a time span between the time of reading in of the excess signal and a preceding time of reading in of a preceding excess signal. It may be sufficient if the distance is greater than the threshold once within the time period. In this way, for example, the first overflow signal that occurs after the threshold has been undershot can be considered valid. For example, a token, also called a flag, can be set if the distance is greater than the threshold. If an overflow signal is read while the token is set, then the override signal can be considered valid. The reading of the overflow signal can cause a withdrawal of the token. If an overrun signal occurs when no token is set, the overrun signal can be considered invalid.
Somit kann der Gültigkeitswert auf den die Ungültigkeit anzeigenden Wert gesetzt werden, wenn der laterale Abstand innerhalb einer Zeitspanne zwischen dem Zeitpunkt des Einlesens des Überschreitungssignals und einem vorangegangenen Zeitpunkt des Einlesens eines vorangegangenen Überschreitungssignals permanent kleiner als ein Schwellenwert ist. Auf diese Weise kann verhindert werden, dass durch eine bevorstehende Überschreitung mehrere Müdigkeitshinweissignale generiert werden, die zu einer Verfälschung der Müdigkeitserkennung führen könnten.Thus, the validity value may be set to the invalidity-indicating value if the lateral distance is permanently less than a threshold within a time period between the time of reading the overflow signal and a previous time of reading in a previous overflow signal. In this way it can be prevented that an impending overshoot generates several fatigue warning signals which could lead to a falsifying of the fatigue detection.
Gemäß einer Ausführungsform kann im Schritt des Auswertens zusätzlich oder alternativ zur Auswertung des lateralen Abstands eine Änderung eines Lenkwinkels des Fahrzeugs ausgewertet werden. Ein zeitlicher Verlauf des Lenkwinkels eignet sich ebenfalls zum Erkennen einer durch Müdigkeit des Fahrers beeinflussten Fahrtrajektorie.According to one embodiment, in the step of evaluating, in addition to or alternatively to the evaluation of the lateral distance, a change of a steering angle of the vehicle can be evaluated. A time profile of the steering angle is also suitable for detecting a driving trajectory influenced by driver fatigue.
Im Schritt des Auswertens kann der Verlauf der Änderung des Lenkwinkels mit einem Muster verglichen werden, um zu entscheiden ob der Gültigkeitswert auf den die Gültigkeit oder die Ungültigkeit anzeigenden Wert gesetzt wird. Beispielsweise kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn der Verlauf der Änderung des Lenkwinkels innerhalb einer Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals einem vorbestimmten Muster entspricht. Auf diese Weise kann ein einfacher Mustervergleich ausreichend sein, um über die Gültigkeit des Überschreitungssignals zu entscheiden. Das Muster kann unter Verwendung charakteristischer Verläufe des Lenkwinkels generiert worden sein, die auf eine Müdigkeit des Fahrers hinweisen.In the step of evaluating, the course of the change of the steering angle may be compared with a pattern to decide whether the validity value is set to the value indicating the validity or invalidity. For example, the validity value may be set to the validity indicative value if the history of the change in the steering angle within a time period before the time of reading the overflow signal corresponds to a predetermined pattern. In this way, a simple pattern match may be sufficient to decide the validity of the overflow signal. The pattern may have been generated using characteristic curves of the steering angle indicative of fatigue of the driver.
In diesem Fall kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn der Verlauf der Änderung des Lenkwinkels innerhalb einer ersten Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals kleiner als ein erster Schwellenwert ist und innerhalb einer zweiten Zeitspanne, die anschließend an die erste Zeitspanne bis zu dem Zeitpunkt des Einlesens des Überschreitungssignals reicht, größer als der erste Schwellenwert ist. Auf diese Weise kann ein plötzlicher starker Lenkeingriff des Fahrers erkannt werden, der auf eine Müdigkeit des Fahrers schließen lässt.In this case, the validity value may be set to the validity indicative value if the variation of the steering angle within a first time period before the time of reading the overflow signal is smaller than a first threshold and within a second time period subsequent to the first time Time period until the time of reading in the overflow signal is greater than the first threshold. In this way, a sudden strong steering intervention of the driver can be detected, which suggests a tiredness of the driver.
Beispielsweise kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn ein Verhältnis zwischen einer ersten maximalen Änderung des Lenkwinkels innerhalb einer vor dem Zeitpunkt des Einlesens des Überschreitungssignals liegenden ersten Zeitspanne und einer zweiten maximalen Änderung des Lenkwinkels innerhalb einer an die erste Zeitspanne anschließenden und bis zu dem Zeitpunkt des Einlesens des Überschreitungssignals reichenden zweiten Zeitspanne ein vorbestimmtes Kriterium erfüllt. Auf diese Weise kann ein Lenkeingriff erkannt werden, der deutlich über die ansonsten momentan durchgeführten Lenkeingriffe hervorsteht. For example, the validity value may be set to the validity indicative value when a ratio between a first maximum change of the steering angle within a first time period preceding the time of reading the overflow signal and a second maximum change of the steering angle within a subsequent to the first time period and satisfies a predetermined criterion until the time of reading in the overflow signal second time span. In this way, a steering intervention can be detected, which protrudes significantly beyond the otherwise currently performed steering intervention.
Ein solcher hervorstehender Lenkeingriff kann wiederum auf eine Ermüdung des Fahrers hindeuten.Such a projecting steering intervention may in turn indicate fatigue of the driver.
Dabei kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn ferner die zweite maximale Änderung größer als ein zweiter Schwellenwert ist. Auf diese Weise kann eine Mindestgröße eines auf Müdigkeit hindeutenden Lenkeingriffs definiert werden.The validity value can be set to the validity value if further, the second maximum change is greater than a second threshold. In this way, a minimum amount of a forensic steering intervention can be defined.
Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs, die eingerichtet ist, das Verfahren gemäß einem der vorangegangenen Ansprüche auszuführen.A device for detecting fatigue of a driver of a vehicle, which is configured to carry out the method according to one of the preceding claims.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.
Der hier vorgestellte Ansatz schafft somit ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The approach presented here thus also provides a device which is designed to implement, control or implement the steps of a variant of a method presented here in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description. It shows:
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.
Die Auswerteeinrichtung
Die Vorrichtung
Gemäß einem Ausführungsbeispiel ist die Vorrichtung
Gemäß diesem Ausführungsbeispiel weist das Fahrzeug
Zum Bereitstellen eines Müdigkeitshinweissignals weist die Vorrichtung
In dem Schritt
Der Schritt
In einem optional nachfolgenden Schritt
Gemäß diesem Ausführungsbeispiel wird der Verlauf der Fahrtrajektorie anhand eines Verlaufs des lateralen Abstands zwischen dem Fahrzeug und der Fahrbahnrandmarkierung ausgewertet.According to this embodiment, the course of the driving trajectory is evaluated on the basis of a profile of the lateral distance between the vehicle and the lane edge marking.
Gemäß einem Ausführungsbeispiel wird der Gültigkeitswert nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn der laterale Abstand innerhalb einer vorbestimmten Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals oder dem Auftreten des TLC-Ereignisses größer als ein Schwellenwert ist. Die Zeitspanne kann einen vordefinierten Wert aufweisen oder bis zu einem Zeitpunkt des Einlesens eines zeitlich vorangegangenen Überschreitungssignals oder dem Auftreten eines zeitlich vorangegangenen des TLC-Ereignisses zurückreichen. Wenn der Abstand dagegen innerhalb der Zeitspanne Überschreitungssignals permanent kleiner als der Schwellenwert oder ein weiterer Schwellenwert ist, so wird der der Gültigkeitswert auf den die Ungültigkeit anzeigenden Wert gesetzt.According to one embodiment, the validity value only applies to the validity indicative value when the lateral distance is greater than a threshold within a predetermined time period prior to the time of reading the overflow signal or the occurrence of the TLC event. The period of time may have a predefined value or may extend back to a time of reading in a time-outgoing overflow signal or the occurrence of a time-preceding of the TLC event. On the other hand, if the distance is always less than the threshold or another threshold within the timeout signal, the validity value is set to the invalidation value.
Gemäß einem Ausführungsbeispiel wird zum Treffen der Entscheidung, ob der Gültigkeitswert auf einen die Gültigkeit oder Ungültigkeit anzeigen Wert gesetzt wird, ein Token eingesetzt, wie es anhand von
Gemäß diesem Ausführungsbeispiel wird, wie anhand der
Die Zeitpunkte t1, t2, t3, t4, t5 kennzeichnen Zeitpunkte des Einlesens aufeinanderfolgender Überschreitungssignale oder damit gleichzusetzende Zeitpunkte des Auftretens aufeinanderfolgender TLC-Ereignisse. Den Zeitpunkten t1, t2, t3, t4, t5 sind Abstände x1, x2, x3, x4, x5 zugeordnet. Nicht alle der zu den Zeitpunkten t1, t2, t3, t4, t5 aufgetretenen TLC-Ereignisse liefern einen Hinweis auf eine Müdigkeit des Fahrers. Der beschriebene Ansatz ermöglicht es, diejenigen TLC-Ereignisse, die auf eine Müdigkeit hindeuten als gültig und diejenigen TLC-Ereignisse, die nicht auf eine Müdigkeit hindeuten als ungültig zu klassifizieren.The times t1, t2, t3, t4, t5 indicate times of reading in successive overflow signals or times of occurrence of successive TLC events to be assimilated thereto. The times t1, t2, t3, t4, t5 are assigned to distances x1, x2, x3, x4, x5. Not all of the TLC events occurring at times t1, t2, t3, t4, t5 provide an indication of driver fatigue. The described approach makes it possible to classify those TLC events that are indicative of fatigue as valid and those TLC events that are not indicative of fatigue to be invalid.
Gemäß diesem Ausführungsbeispiel werden diejenigen TLC-Ereignisse als gültig bewertet, denen eine Zeitspanne vorangegangen ist, in der der Abstand größer als der Schwellenwert
Bleibt der Verlauf
Im Folgenden wird ein entsprechendes Ausführungsbeispiel anhand von
Der beschriebene Ansatz ermöglicht eine Robustheitssteigerung einer spurbasierten Müdigkeitserkennung. Dazu werden die nicht aus Müdigkeit resultierenden TLC-Ereignisse erkannt, um sie beispielsweise von einer nachfolgenden Frequenzberechnung auszuschließen.The approach described allows a robustness increase of a track-based fatigue detection. For this purpose, the non-fatigue resulting TLC events are detected, for example, to exclude them from a subsequent frequency calculation.
Gemäß diesem Ausführungsbeispiel kann ein TLC-Ereignis nur mit einem gültigen Token geworfen werden. Das Token wird gegebenenfalls nach einem geworfenen TLC-Ereignis entzogen. Erst nachdem eine gewisse Bedingung erfüllt worden ist, wird das Token wieder gültig. Der Ansatz basiert darauf, dass ein weiteres gültiges TLC-Ereignis nur zustande kommen sollte, wenn das Fahrzeug inzwischen wieder einen gewissen Abstand zu Spurgrenze aufweist.According to this embodiment, a TLC event can only be thrown with a valid token. The token is optionally deprived after a thrown TLC event. Only after a certain condition has been fulfilled does the token become valid again. The approach is based on the fact that another valid TLC event should only come about when the vehicle is now at some distance from the lane boundary.
In
Somit wird gemäß einem Ausführungsbeispiel eine robuste Müdigkeitserkennung, beispielsweise auf Basis der Frequenz der überschrittenen TLC-Werte (Time-toLane-Crossing) mittels einer ausschließlichen Berücksichtigung eines weiteren TLC-Wertes geschaffen, wobei der weitere TLC-Wert nur dann berücksichtigt wird, wenn das Fahrzeug zuvor den kritischen Bereich, also einen überschrittenen TLC-Wert wie beispielsweise den Schwellenwert
Zusätzlich oder alternativ zu der anhand von
Die Vorrichtung
Gemäß einem Ausführungsbeispiel ist die Vorrichtung
Zum Bereitstellen des Müdigkeitshinweissignals weist die Vorrichtung
In dem Schritt
Gemäß diesem Ausführungsbeispiel wird der Verlauf der Fahrtrajektorie anhand eines Verlaufs der Änderung des Lenkwinkels des Fahrzeugs ausgewertet. Dazu wird der Verlauf der Änderung des Lenkwinkels unter Verwendung zumindest eines als Referenz dienenden Musters ausgewertet.According to this embodiment, the course of the driving trajectory is evaluated on the basis of a course of the change of the steering angle of the vehicle. For this purpose, the course of the change in the steering angle is evaluated using at least one reference pattern.
Gemäß einem Ausführungsbeispiel wird der Gültigkeitswert nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn die Änderung des Lenkwinkels innerhalb einer Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals oder dem dazu gleichzusetzenden Auftreten des TLC-Ereignisses einem vorbestimmten Muster entspricht. Die Zeitspanne kann einen vordefinierten Wert aufweisen oder bis zu einem Zeitpunkt des Einlesens eines zeitlich vorangegangenen Überschreitungssignals oder dem Auftreten eines zeitlich vorangegangenen des TLC-Ereignisses zurückreichen.According to an embodiment, the validity value is set to the validity indicative value only when the change in the steering angle within a time period before the time of reading the overflow signal or the occurrence of the TLC event equivalent thereto corresponds to a predetermined pattern. The period of time may have a predefined value or may extend back to a time of reading in a time-outgoing overflow signal or the occurrence of a time-preceding of the TLC event.
Gemäß einem Ausführungsbeispiel werden im Schritt
Diese Vorgehensweise zum Entscheiden über die Gültigkeit oder Ungültigkeit eines über das mittels des Überschreitungssignals angezeigten TLC-Ereignisses wird im Folgenden anhand der
Gemäß diesem Ausführungsbeispiel wird, wie anhand der
Der anhand von
Gemäß einem Ausführungsbeispiel werden die TLC-Ereignisse (basierend auf Spurinformationen) über Lenkbewegungen des Fahrers plausibilisiert. Dieser Ansatz basiert darauf, dass ein TLC-Ereignis immer von einem Muster begleitet sein sollte, gemäß dem der Fahrer über eine gewisse Zeit das Lenkrad nicht aktiv gesteuert hat, und dann plötzlich eine stärkere Korrektur am Lenkrad aufbringt. In
Für das in
Dieser Ansatz löst vor allem Probleme in Kurven, wo TLC-Ereignisse oft ohne Relevanz zur Müdigkeit auftreten.This approach primarily solves problems in curves where TLC events often occur without relevance to fatigue.
Der anhand der
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- WO 2008/052827 A1 [0002] WO 2008/052827 A1 [0002]
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015208208.3A DE102015208208A1 (en) | 2015-05-04 | 2015-05-04 | Method and device for detecting a tiredness of a driver of a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015208208.3A DE102015208208A1 (en) | 2015-05-04 | 2015-05-04 | Method and device for detecting a tiredness of a driver of a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102015208208A1 true DE102015208208A1 (en) | 2016-11-10 |
Family
ID=57179020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015208208.3A Pending DE102015208208A1 (en) | 2015-05-04 | 2015-05-04 | Method and device for detecting a tiredness of a driver of a vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015208208A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166313A (en) * | 2018-09-10 | 2019-01-08 | 南京市公安局交通管理局 | A kind of spilling method for early warning according to car data excessively |
CN109935108A (en) * | 2017-12-18 | 2019-06-25 | 姜鹏飞 | A kind of traffic security early warning method of traffic control and device based on accurate location |
CN110738852A (en) * | 2019-10-23 | 2020-01-31 | 浙江大学 | intersection steering overflow detection method based on vehicle track and long and short memory neural network |
US20220194469A1 (en) * | 2020-12-17 | 2022-06-23 | Argo AI, LLC | Autonomous vehicle steering juke event detector |
IT202200009065A1 (en) * | 2022-05-04 | 2023-11-04 | Ferrari Spa | METHOD FOR DETERMINING THE LEVEL OF TIREDNESS OR ATTENTION OF THE DRIVER OF A ROAD VEHICLE AND RELATED ROAD VEHICLE |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008052827A1 (en) | 2006-11-03 | 2008-05-08 | Robert Bosch Gmbh | Method and device for driver state detection |
EP1674375B1 (en) * | 2004-12-20 | 2009-03-11 | Ford Global Technologies, LLC | Method for determining a measure for evaluating the behaviour of a driver of a vehicle |
US8179243B2 (en) * | 2009-01-19 | 2012-05-15 | National Taiwan University Of Science And Technology | Lane departure warning method and system thereof |
DE102011081892A1 (en) * | 2011-08-31 | 2013-02-28 | Robert Bosch Gmbh | Method for lane monitoring and lane monitoring system for a vehicle |
-
2015
- 2015-05-04 DE DE102015208208.3A patent/DE102015208208A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1674375B1 (en) * | 2004-12-20 | 2009-03-11 | Ford Global Technologies, LLC | Method for determining a measure for evaluating the behaviour of a driver of a vehicle |
WO2008052827A1 (en) | 2006-11-03 | 2008-05-08 | Robert Bosch Gmbh | Method and device for driver state detection |
US8179243B2 (en) * | 2009-01-19 | 2012-05-15 | National Taiwan University Of Science And Technology | Lane departure warning method and system thereof |
DE102011081892A1 (en) * | 2011-08-31 | 2013-02-28 | Robert Bosch Gmbh | Method for lane monitoring and lane monitoring system for a vehicle |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109935108A (en) * | 2017-12-18 | 2019-06-25 | 姜鹏飞 | A kind of traffic security early warning method of traffic control and device based on accurate location |
CN109166313A (en) * | 2018-09-10 | 2019-01-08 | 南京市公安局交通管理局 | A kind of spilling method for early warning according to car data excessively |
CN109166313B (en) * | 2018-09-10 | 2021-06-25 | 南京市公安局交通管理局 | Overflow early warning method according to vehicle passing data |
CN110738852A (en) * | 2019-10-23 | 2020-01-31 | 浙江大学 | intersection steering overflow detection method based on vehicle track and long and short memory neural network |
US20220194469A1 (en) * | 2020-12-17 | 2022-06-23 | Argo AI, LLC | Autonomous vehicle steering juke event detector |
IT202200009065A1 (en) * | 2022-05-04 | 2023-11-04 | Ferrari Spa | METHOD FOR DETERMINING THE LEVEL OF TIREDNESS OR ATTENTION OF THE DRIVER OF A ROAD VEHICLE AND RELATED ROAD VEHICLE |
EP4273012A1 (en) | 2022-05-04 | 2023-11-08 | FERRARI S.p.A. | Method for determining the drowsiness or attention level of the driver of a road vehicle, and road vehicle thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014221144A1 (en) | Target detection device | |
DE102011004946A1 (en) | Device for detecting a lane marking on a road | |
DE102015208208A1 (en) | Method and device for detecting a tiredness of a driver of a vehicle | |
DE112012006288B4 (en) | Drift judging device | |
DE102011109387A1 (en) | Method for detecting traffic signs | |
DE102009007342A1 (en) | Method and device for determining an applicable lane marking | |
DE102009007885A1 (en) | Method for identifying motor vehicles getting into own lane or getting out of own lane, involves automatically evaluating driving characteristics relative to lane exchange based on detected data i.e. image data of camera | |
DE102014209585A1 (en) | Collision mitigation device | |
DE102009028774A1 (en) | Method and control unit for robust recognition of a lane change of a vehicle | |
EP3041725B1 (en) | Method and device for determining a roadway course of a roadway of a vehicle | |
DE102004048010A1 (en) | Method and device for driver assistance | |
DE102012109310A1 (en) | A method and apparatus for assisting the returning of a vehicle after leaving a lane | |
DE112014007247T5 (en) | track recognition | |
DE102010062129B4 (en) | Method and device for providing a virtual lane boundary | |
DE102015203270A1 (en) | Method and apparatus for adjusting a vehicle speed for a vehicle | |
DE102018113559A1 (en) | A method of recognizing a lane mark by validating by line width; Control means; Pitch recognition system; as well as driver assistance system | |
DE102011113325A1 (en) | Method for object recognition by image data, involves recognizing objects in vicinity of vehicle and differentiating objects in object types, where distance in Y-direction is determined for all objects recognized in vicinity | |
DE102014211852A1 (en) | Method and apparatus for determining a maximum speed of a rail vehicle, method and apparatus for controlling the speed of a rail vehicle | |
DE102016223581A1 (en) | Device and method for checking a functionality of a sensor | |
DE102016206077A1 (en) | Method and device for determining a safety-critical yawing motion of a vehicle | |
DE102004047889A1 (en) | Driver supporting process, involves outputting warning of driver in predetermined situation, and warning driver depending on history of tracing performance of driver and/or performance tracking by driver | |
DE102018002239A1 (en) | Procedure for issuing a warning | |
DE102014209015A1 (en) | Method and device for distance control for a vehicle | |
DE102017217140B4 (en) | Method and device for controlling a driver assistance system using a stereo camera system with a first and a second camera | |
DE102015213594A1 (en) | A method, computer readable medium, and system for detecting a traffic situation of one or more vehicles in an environment of an ego vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |