DE102015208208A1 - Method and device for detecting a tiredness of a driver of a vehicle - Google Patents

Method and device for detecting a tiredness of a driver of a vehicle Download PDF

Info

Publication number
DE102015208208A1
DE102015208208A1 DE102015208208.3A DE102015208208A DE102015208208A1 DE 102015208208 A1 DE102015208208 A1 DE 102015208208A1 DE 102015208208 A DE102015208208 A DE 102015208208A DE 102015208208 A1 DE102015208208 A1 DE 102015208208A1
Authority
DE
Germany
Prior art keywords
time
value
validity
reading
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015208208.3A
Other languages
German (de)
Inventor
Erik Lesser
Chenlin Gu
Andreas Offenhaeuser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102015208208.3A priority Critical patent/DE102015208208A1/en
Publication of DE102015208208A1 publication Critical patent/DE102015208208A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs (100). Das Verfahren umfasst einen Schritt des Einlesens eines Überschreitungssignals als einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung (104, 106) durch das Fahrzeug (100), einen Schritt des Auswertens eines vor einem Zeitpunkt des Einlesens des Überschreitungssignals liegenden Verlaufs einer Fahrtrajektorie des Fahrzeugs (100) und des Setzens eines dem Überschreitungssignal zuordenbaren Gültigkeitswerts abhängig von einem Ergebnis des Auswertens auf einen eine Gültigkeit des Überschreitungssignals anzeigenden Wert oder auf einen eine Ungültigkeit des Überschreitungssignals anzeigenden Wert, sowie einen Schritt des Bereitstellens eines Müdigkeitshinweissignals unter Verwendung des Überschreitungssignals, wenn der Gültigkeitswert die Gültigkeit des Überschreitungssignals anzeigt.The invention relates to a method for detecting a fatigue of a driver of a vehicle (100). The method comprises a step of reading in an overflow signal as an indication of an imminent exceeding of a lane mark (104, 106) by the vehicle (100), a step of evaluating a course of a travel trajectory of the vehicle (100) before a time of reading in of the overflow signal and setting a validity value assignable to the overflow signal depending on a result of the evaluation to a value indicating the validity of the overflow signal or a value indicating an invalidation of the overflow signal, and a step of providing a tiredness notification signal using the overflow signal if the validity value is valid of the overflow signal.

Figure DE102015208208A1_0001
Figure DE102015208208A1_0001

Description

Stand der TechnikState of the art

Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.The invention is based on a device or a method according to the preamble of the independent claims. The subject of the present invention is also a computer program.

Die WO 2008/052827 A1 beschreibt ein Verfahren zur Fahrerzustandserkennung, wobei ein den Fahrerzustand signalisierendes Signal aus einer Größe abgeleitet wird, welche die Häufigkeit von auftretenden Extremwerten im zeitlichen Verlauf einer das Spurverhalten des Fahrers repräsentierenden Größe (TLC) anzeigt.The WO 2008/052827 A1 describes a driver condition detection method wherein a driver condition signal is derived from a quantity indicative of the frequency of occurring extreme values in the time course of a driver's lane response (TLC).

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren und eine Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.Against this background, a method and a device for detecting a driver's fatigue of a vehicle and finally a corresponding computer program according to the main claims are presented with the approach presented here. The measures listed in the dependent claims advantageous refinements and improvements of the independent claim device are possible.

Der beschriebene Ansatz kann unter anderem vorteilhaft im Zusammenhang mit einem Algorithmus zur Fahrermüdigkeitserkennung anhand von Kameraspurdaten eingesetzt werden. Häufiges Annähern an die Spur wird durch den Algorithmus erkannt, der dann berechnet, ob ein Fahrer einen kritischen Müdigkeitszustand erreicht hat oder nicht. Grundbaustein des Algorithmus ist der Time-to-Lane-Crossing (TLC) Wert, der in Sekunden angibt, wie lange das Fahrzeug bei aktuellem Kurs theoretisch benötigt um die rechte bzw. die linke Fahrbahnbegrenzung zu überfahren. Die Müdigkeit wird dann über die Frequenz ermittelt, wie häufig ein Fahrer einen vorgegebenen Grenzwert des TLC (rechts und links) unterschreitet.Among other things, the described approach can be used in conjunction with an algorithm for driver fatigue detection based on camera tracking data. Frequent approach to the lane is recognized by the algorithm, which then calculates whether a driver has reached a critical state of fatigue or not. The basic building block of the algorithm is the Time-to-Lane-Crossing (TLC) value, which indicates in seconds how long the vehicle theoretically needs to drive over the right or the left lane boundary at the current heading. The fatigue is then determined by the frequency of how often a driver falls below a predetermined limit of the TLC (right and left).

Bei der Entwicklung von Algorithmen zur Müdigkeitserkennung basierend auf Spurinformationen (Spurkamera), zeigt sich, dass mehrere TLC-Ereignisse hintereinander geworfen werden können, wenn das Fahrzeug in der Nähe der Spurgrenze fährt. Ein TLC-Ereignis kann anzeigen, dass eine Überfahrung einer Fahrbahnbegrenzung voraussichtlich innerhalb einer vorbestimmten Zeitspanne oder zum Ablauf einer vorbestimmten Zeitspanne erfolgen wird. Solche Ereignisse können z.B. wegen Signal-Auflösung, Signal-Rauschen, sportlichem Fahren usw. entstehen und weisen auf keine Müdigkeit vom Fahrer hin. Ebenso möchten manche Fahrer, z.B. bei einer Kurve, nicht exakt die Spurmitte halten. Dies führt ebenfalls zu TLC-Ereignissen, die jedoch nicht auf Müdigkeit des Fahrers hinweisen. Vorteilhafterweise können solche Ereignisse, die nicht auf eine Müdigkeit hinweisen, unter Verwendung des beschriebenen Ansatzes erkannt werden. Dadurch kann die Müdigkeitserkennung verbessert werden.In developing fatigue detection algorithms based on lane information (lane camera), it can be seen that multiple TLC events can be thrown consecutively when the vehicle is traveling near the lane boundary. A TLC event may indicate that lane boundary override is expected to occur within a predetermined period of time or at the expiration of a predetermined amount of time. Such events may e.g. due to signal resolution, signal noise, sporty driving, etc. arise and indicate no fatigue from the driver. Likewise, some drivers, e.g. when cornering, do not keep the center of the lane exactly. This also leads to TLC events which, however, do not indicate fatigue of the driver. Advantageously, those events that are not indicative of fatigue can be identified using the described approach. This can improve the fatigue detection.

Ein Verfahren zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs umfasst die folgenden Schritte:
Einlesen eines Überschreitungssignals als einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung durch das Fahrzeug;
Auswerten eines vor einem Zeitpunkt des Einlesens des Überschreitungssignals liegenden Verlaufs einer Fahrtrajektorie des Fahrzeugs und Setzen eines dem Überschreitungssignal zuordenbaren Gültigkeitswerts abhängig von einem Ergebnis des Auswertens auf einen eine Gültigkeit des Überschreitungssignals anzeigenden ersten Wert oder auf einen eine Ungültigkeit des Überschreitungssignals anzeigenden zweiten Wert; und
Bereitstellen eines Müdigkeitshinweissignals unter Verwendung des Überschreitungssignals, wenn der Gültigkeitswert die Gültigkeit des Überschreitungssignals anzeigt.
A method of detecting tiredness of a driver of a vehicle includes the following steps:
Reading an overshoot signal as an indication of an imminent overrun of a lane marker by the vehicle;
Evaluating a history of a travel trajectory of the vehicle prior to a time of reading in the exceedance signal and setting a validity value assignable to the exceedance signal depending on a result of the evaluation of a first value indicating the validity of the exceedance signal or a second value indicating an invalidity of the exceedance signal; and
Providing a fatigue alert signal using the overflow signal if the validity value indicates the validity of the overrun signal.

Durch das Überschreitungssignal kann angezeigt werden, dass das Fahrzeug bei aktuellem Kurs die Fahrbahnrandmarkierung, beispielsweise einen Randstreifen oder eine Mittellinie, demnächst, beispielsweise in einer Zeit, die kürzer als ein vorbestimmter Grenzwert ist, überschreiten wird. Das Überschreitungssignal kann beispielsweise anzeigen, dass eine bevorstehende Überschreitung erkannt wurde, oder eine Zeitdauer anzeigen, nach deren Ablauf die Überschreitung voraussichtlich erfolgen wird, oder das Überschreitungssignal kann anzeigen, dass die Überschreitung innerhalb einer Zeitspanne erfolgen wird, die kleiner als eine vorbestimmte Zeitspanne ist. Beispielsweise kann das Überschreitungssignal das Auftreten eines TLC-Ereignisses anzeigen. Somit kann es sich bei dem Hinweis beispielsweise um ein Auftreten eines TLC-Ereignisses handeln. Das Überschreitungssignal kann unter Verwendung von Daten einer Umfelderfassungseinrichtung, beispielsweise einer Kamera, des Fahrzeugs ermittelt werden oder worden sein. Der Verlauf der Fahrtrajektorie kann durch Abstandswerte, die einen zeitlichen Verlauf eines Abstands zwischen dem Fahrzeug und einer Fahrbahnrandmarkierung anzeigen, oder durch Lenkwerte, die einen zeitlichen Verlauf einer Lenkbewegung des Fahrzeugs anzeigen, gekennzeichnet sein. Die Abstandswerte können beispielsweise unter Verwendung einer Umfelderfassungseinrichtung des Fahrzeugs bestimmt werden. Die Lenkwerte können beispielsweise unter Verwendung eines mit der Lenkung gekoppelten Sensors bestimmt werden. Wenn die durch das Überschreitungssignal angezeigte bevorstehende Überschreitung nicht willentlich von dem Fahrer bewirkt wurde, so kann das Überschreitungssignal ein Hinweis auf eine Müdigkeit des Fahrers darstellen. Ob die bevorstehende Überschreitung willentlich oder unwillentlich bewirkt ist, kann über den Gültigkeitswert angezeigt werden. Ein gültiges Überschreitungssignal kann auf eine unwillentliche bevorstehende Überschreitung und somit auf eine Müdigkeit des Fahrers hinweisen. Ein ungültiges Überschreitungssignal kann auf eine willentliche bevorstehende Überschreitung und somit auf eine vorhandene Aufmerksamkeit des Fahrers hinweisen. Das Müdigkeitshinweissignal kann ein Indiz für eine Müdigkeit des Fahrers darstellen.The override signal may indicate that the vehicle, at current heading, will soon exceed the lane edge marker, such as a trim or centerline, for example, in a time that is less than a predetermined threshold. For example, the overrun signal may indicate that an impending overrun has been detected, or indicate a period of time beyond which expiration is likely to occur, or the overrun signal may indicate that the overrun will occur within a period of time less than a predetermined period of time. For example, the override signal may indicate the occurrence of a TLC event. Thus, the hint may be, for example, an occurrence of a TLC event. The overshoot signal may be detected using data from an environment detection device, such as a camera, of the vehicle. The course of the driving trajectory can be characterized by distance values which indicate a time profile of a distance between the vehicle and a lane edge marking, or by steering values which indicate a time profile of a steering movement of the vehicle. The distance values may be determined, for example, using an environment detection device of the vehicle. For example, the steering values may be determined using a sensor coupled to the steering. When indicated by the overflow signal impending overshoot was not deliberately caused by the driver, the overrun signal may be an indication of driver fatigue. Whether the impending overrun is intentional or unintentional can be indicated by the validity value. A valid override signal may indicate an involuntary impending overshoot and thus driver fatigue. An invalid overrun signal may indicate intentional overshoot and thus driver attention. The fatigue alert signal may be an indication of driver fatigue.

Gemäß einer Ausführungsform kann im Schritt des Auswertens ein lateraler Abstand zwischen dem Fahrzeug und der Fahrbahnrandmarkierung ausgewertet werden. Ein solcher Abstand kann einfach, beispielsweise unter Verwendung einer Kamera, ermittelt werden. Ein zeitlicher Verlauf des lateralen Abstands eignet sich zum Erkennen einer durch Müdigkeit des Fahrers beeinflussten Fahrtrajektorie.According to one embodiment, in the step of the evaluation, a lateral distance between the vehicle and the lane edge marking can be evaluated. Such a distance can be easily determined, for example using a camera. A temporal course of the lateral distance is suitable for recognizing a driving trajectory influenced by driver fatigue.

Dabei kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn der laterale Abstand innerhalb einer Zeitspanne zwischen dem Zeitpunkt des Einlesens des Überschreitungssignals und einem vorangegangenen Zeitpunkt des Einlesens eines vorangegangenen Überschreitungssignals größer als ein Schwellenwert ist. Dabei kann es ausreichend sein, wenn der Abstand einmalig innerhalb der Zeitspanne größer als der Schwellenwert ist. Auf diese Weise kann beispielsweise das erste Überschreitungssignal, das nach einer Unterschreitung des Schwellenwertes auftritt als gültig angesehen werden. Beispielsweise kann ein Token, auch Merker genannt, gesetzt werden, wenn der Abstand größer als der Schwellenwert ist. Wird ein Überschreitungssignal eingelesen, während der Token gesetzt ist, so kann das Überschreitungssignal als gültig angesehen werden. Das Einlesen des Überschreitungssignals kann eine Rücknahme des Tokens bewirken. Tritt ein Überschreitungssignal auf, wenn kein Token gesetzt ist, kann das Überschreitungssignal als ungültig angenommen werden.In this case, the validity value can be set to the validity-indicating value if the lateral distance is greater than a threshold value within a time span between the time of reading in of the excess signal and a preceding time of reading in of a preceding excess signal. It may be sufficient if the distance is greater than the threshold once within the time period. In this way, for example, the first overflow signal that occurs after the threshold has been undershot can be considered valid. For example, a token, also called a flag, can be set if the distance is greater than the threshold. If an overflow signal is read while the token is set, then the override signal can be considered valid. The reading of the overflow signal can cause a withdrawal of the token. If an overrun signal occurs when no token is set, the overrun signal can be considered invalid.

Somit kann der Gültigkeitswert auf den die Ungültigkeit anzeigenden Wert gesetzt werden, wenn der laterale Abstand innerhalb einer Zeitspanne zwischen dem Zeitpunkt des Einlesens des Überschreitungssignals und einem vorangegangenen Zeitpunkt des Einlesens eines vorangegangenen Überschreitungssignals permanent kleiner als ein Schwellenwert ist. Auf diese Weise kann verhindert werden, dass durch eine bevorstehende Überschreitung mehrere Müdigkeitshinweissignale generiert werden, die zu einer Verfälschung der Müdigkeitserkennung führen könnten.Thus, the validity value may be set to the invalidity-indicating value if the lateral distance is permanently less than a threshold within a time period between the time of reading the overflow signal and a previous time of reading in a previous overflow signal. In this way it can be prevented that an impending overshoot generates several fatigue warning signals which could lead to a falsifying of the fatigue detection.

Gemäß einer Ausführungsform kann im Schritt des Auswertens zusätzlich oder alternativ zur Auswertung des lateralen Abstands eine Änderung eines Lenkwinkels des Fahrzeugs ausgewertet werden. Ein zeitlicher Verlauf des Lenkwinkels eignet sich ebenfalls zum Erkennen einer durch Müdigkeit des Fahrers beeinflussten Fahrtrajektorie.According to one embodiment, in the step of evaluating, in addition to or alternatively to the evaluation of the lateral distance, a change of a steering angle of the vehicle can be evaluated. A time profile of the steering angle is also suitable for detecting a driving trajectory influenced by driver fatigue.

Im Schritt des Auswertens kann der Verlauf der Änderung des Lenkwinkels mit einem Muster verglichen werden, um zu entscheiden ob der Gültigkeitswert auf den die Gültigkeit oder die Ungültigkeit anzeigenden Wert gesetzt wird. Beispielsweise kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn der Verlauf der Änderung des Lenkwinkels innerhalb einer Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals einem vorbestimmten Muster entspricht. Auf diese Weise kann ein einfacher Mustervergleich ausreichend sein, um über die Gültigkeit des Überschreitungssignals zu entscheiden. Das Muster kann unter Verwendung charakteristischer Verläufe des Lenkwinkels generiert worden sein, die auf eine Müdigkeit des Fahrers hinweisen.In the step of evaluating, the course of the change of the steering angle may be compared with a pattern to decide whether the validity value is set to the value indicating the validity or invalidity. For example, the validity value may be set to the validity indicative value if the history of the change in the steering angle within a time period before the time of reading the overflow signal corresponds to a predetermined pattern. In this way, a simple pattern match may be sufficient to decide the validity of the overflow signal. The pattern may have been generated using characteristic curves of the steering angle indicative of fatigue of the driver.

In diesem Fall kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn der Verlauf der Änderung des Lenkwinkels innerhalb einer ersten Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals kleiner als ein erster Schwellenwert ist und innerhalb einer zweiten Zeitspanne, die anschließend an die erste Zeitspanne bis zu dem Zeitpunkt des Einlesens des Überschreitungssignals reicht, größer als der erste Schwellenwert ist. Auf diese Weise kann ein plötzlicher starker Lenkeingriff des Fahrers erkannt werden, der auf eine Müdigkeit des Fahrers schließen lässt.In this case, the validity value may be set to the validity indicative value if the variation of the steering angle within a first time period before the time of reading the overflow signal is smaller than a first threshold and within a second time period subsequent to the first time Time period until the time of reading in the overflow signal is greater than the first threshold. In this way, a sudden strong steering intervention of the driver can be detected, which suggests a tiredness of the driver.

Beispielsweise kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn ein Verhältnis zwischen einer ersten maximalen Änderung des Lenkwinkels innerhalb einer vor dem Zeitpunkt des Einlesens des Überschreitungssignals liegenden ersten Zeitspanne und einer zweiten maximalen Änderung des Lenkwinkels innerhalb einer an die erste Zeitspanne anschließenden und bis zu dem Zeitpunkt des Einlesens des Überschreitungssignals reichenden zweiten Zeitspanne ein vorbestimmtes Kriterium erfüllt. Auf diese Weise kann ein Lenkeingriff erkannt werden, der deutlich über die ansonsten momentan durchgeführten Lenkeingriffe hervorsteht. For example, the validity value may be set to the validity indicative value when a ratio between a first maximum change of the steering angle within a first time period preceding the time of reading the overflow signal and a second maximum change of the steering angle within a subsequent to the first time period and satisfies a predetermined criterion until the time of reading in the overflow signal second time span. In this way, a steering intervention can be detected, which protrudes significantly beyond the otherwise currently performed steering intervention.

Ein solcher hervorstehender Lenkeingriff kann wiederum auf eine Ermüdung des Fahrers hindeuten.Such a projecting steering intervention may in turn indicate fatigue of the driver.

Dabei kann der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt werden, wenn ferner die zweite maximale Änderung größer als ein zweiter Schwellenwert ist. Auf diese Weise kann eine Mindestgröße eines auf Müdigkeit hindeutenden Lenkeingriffs definiert werden.The validity value can be set to the validity value if further, the second maximum change is greater than a second threshold. In this way, a minimum amount of a forensic steering intervention can be defined.

Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs, die eingerichtet ist, das Verfahren gemäß einem der vorangegangenen Ansprüche auszuführen.A device for detecting fatigue of a driver of a vehicle, which is configured to carry out the method according to one of the preceding claims.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.This method can be implemented, for example, in software or hardware or in a mixed form of software and hardware, for example in a control unit.

Der hier vorgestellte Ansatz schafft somit ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The approach presented here thus also provides a device which is designed to implement, control or implement the steps of a variant of a method presented here in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description. It shows:

1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel; 1 a schematic representation of a vehicle with a device for detecting a tiredness of a driver according to an embodiment;

2 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel; 2 a flowchart of a method for detecting a tiredness of a driver according to an embodiment;

3 ein Diagramm zum Darstellen eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel; 3 1 is a diagram illustrating a driver fatigue detection method according to an embodiment;

4 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel; 4 a schematic representation of a vehicle with a device for detecting a tiredness of a driver according to an embodiment;

5 ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel; 5 a flowchart of a method for detecting a tiredness of a driver according to an embodiment;

6 ein Diagramm zum Darstellen eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel; 6 1 is a diagram illustrating a driver fatigue detection method according to an embodiment;

7 einen Verlauf einer Lenkwinkelgeschwindigkeit und ein Auftreten eines TLC-Ereignisses gemäß einem Ausführungsbeispiel; 7 a plot of steering angular velocity and occurrence of a TLC event according to one embodiment;

8 einen Verlauf einer Lenkwinkelgeschwindigkeit und ein Auftreten eines TLC-Ereignisses gemäß einem Ausführungsbeispiel. 8th a course of a steering angular velocity and an occurrence of a TLC event according to an embodiment.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Erkennen einer Müdigkeit eines Fahrers des Fahrzeugs 100 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 fährt auf einer Fahrbahn, die durch eine linke Fahrbahnrandmarkierung 104 und eine rechte Fahrbahnrandmarkierung 106 begrenzt ist. Das Fahrzeug 100 weist aktuell einen lateralen Abstand 108 zu der rechten Fahrbahnrandmarkierung 106 und einen lateralen Abstand 110 zu der linken Fahrbahnrandmarkierung 104 auf. Gemäß diesem Ausführungsbeispiel weist das Fahrzeug 100 eine Bilderfassungseinrichtung in Form einer Kamera 112 auf. Die Fahrbahnrandmarkierungen 104, 106 befinden sich in einem Erfassungsbereich der Kamera 112. Die Kamera 112 ist ausgebildet, um von der Kamera 112 erfasste Bilddaten an eine Auswerteeinrichtung 114 bereitzustellen. 1 shows a schematic representation of a vehicle 100 with a device 102 for detecting a tiredness of a driver of the vehicle 100 according to an embodiment. The vehicle 100 drives on a carriageway through a left lane mark 104 and a right lane edge marker 106 is limited. The vehicle 100 currently has a lateral distance 108 to the right lane edge marker 106 and a lateral distance 110 to the left lane mark 104 on. According to this embodiment, the vehicle 100 an image capture device in the form of a camera 112 on. The roadside markings 104 . 106 are located in a detection area of the camera 112 , The camera 112 is trained to get away from the camera 112 captured image data to an evaluation 114 provide.

Die Auswerteeinrichtung 114 ist ausgebildet, um basierend auf den Bilddaten eine Fahrtrajektorie des Fahrzeugs 100 zu bestimmen. Gemäß diesem Ausführungsbeispiel ist die Auswerteeinrichtung 114 ausgebildet, um basierend auf den Bilddaten einen zeitlichen Verlauf zumindest eines der Abstände 108, 110, und die Fahrtrajektorie wiederum als einen zeitlichen Verlauf zumindest eines der Abstände 108, 110 zu bestimmen. Ferner ist die Auswerteeinrichtung 114 ausgebildet, um basierend auf den Bilddaten und zusätzlich oder alternativ basierend auf dem zeitlichen Verlauf zumindest eines der Abstände 108, 110 ein Überschreitungssignal zu bestimmen. Das Überschreitungssignal zeigt gemäß diesem Ausführungsbeispiel das Auftreten eines TLC-Ereignisses an, das wiederum das Erkennen einer bevorstehenden Überschreitung einer der Fahrbahnrandmarkierungen 104, 106 durch das Fahrzeug 100 anzeigt. Die Auswerteeinrichtung 114 ist ausgebildet, um das Überschreitungssignal sowie Daten bezüglich des zeitlichen Verlaufs der Fahrtrajektorie, gemäß diesem Ausführungsbeispiel Daten bezüglich des zeitlichen Verlaufs zumindest eines der Abstände 108, 110, an die Vorrichtung 102 bereitzustellen. The evaluation device 114 is configured to generate a driving trajectory of the vehicle based on the image data 100 to determine. According to this embodiment, the evaluation device 114 designed to be a time course of at least one of the distances based on the image data 108 . 110 , and the driving trajectory in turn as a time course of at least one of the distances 108 . 110 to determine. Furthermore, the evaluation device 114 designed to be based on the image data and additionally or alternatively based on the time course of at least one of the distances 108 . 110 to determine an overflow signal. The overrun signal in accordance with this embodiment indicates the occurrence of a TLC event which, in turn, is indicative of an impending overshoot of one of the lane edge markers 104 . 106 through the vehicle 100 displays. The evaluation device 114 is formed to the overshoot signal and data relating to the time course of the driving trajectory, according to this embodiment, data relating to the time course of at least one of the distances 108 . 110 , to the device 102 provide.

Die Vorrichtung 102 weist eine Schnittstelle zum Einlesen des Überschreitungssignals sowie der Daten bezüglich des zeitlichen Verlaufs der Fahrtrajektorie auf. Die Vorrichtung 102 ist ausgebildet, um einen vor dem Zeitpunkt des Einlesens des Überschreitungssignals liegenden zeitlichen Verlauf der Fahrtrajektorie auszuwerten, um eine Gültigkeit des Überschreitungssignals zu bestimmen. Der Zeitpunkt des Einlesens des Überschreitungssignals kann gleichgesetzt werden zu einem Zeitpunkt des Erkennens der bevorstehenden Überschreitung oder einem Zeitpunkt des Auftretens des TLC-Ereignisses. Ergibt die Auswertung der Fahrtrajektorie, dass das Überschreitungssignal als gültig betrachtet wird, so ist die Vorrichtung ausgebildet, um ansprechend auf das als gültig betrachtete Überschreitungssignal ein Müdigkeitshinweissignal bereitzustellen. Ergibt die Auswertung der Fahrtrajektorie dagegen, dass das Überschreitungssignal als ungültig betrachtet wird, so ist die Vorrichtung ausgebildet, um ansprechend auf das als ungültig betrachtete Überschreitungssignal kein Müdigkeitshinweissignal bereitzustellen.The device 102 has an interface for reading in the overflow signal and the data relating to the time course of the driving trajectory. The device 102 is configured to evaluate a time course of the driving trajectory lying before the time of reading in of the excess signal in order to determine a validity of the excess signal. The timing of reading the overflow signal may be set equal to a time of detecting the impending overflow or a time of occurrence of the TLC event. If the evaluation of the driving trajectory shows that the excess signal is considered valid, then the device is designed to provide a fatigue warning signal in response to the crossing signal considered valid. On the other hand, if the evaluation of the driving trajectory shows that the excess signal is considered invalid, then the device is designed to provide no fatigue warning signal in response to the excess signal considered invalid.

Gemäß einem Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um den Verlauf der Fahrtrajektorie in einer vorbestimmten Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals auszuwerten. Gemäß diesem Ausführungsbeispiel ist die Vorrichtung 102 dabei ausgebildet, um den zeitlichen Verlauf der Fahrtrajektorie durch einen zeitlichen Verlauf zumindest eines der Abstände 108, 110 auszuwerten.According to one embodiment, the device is 102 designed to evaluate the course of the driving trajectory in a predetermined period of time before the time of reading the excess signal. According to this embodiment, the device is 102 thereby formed to the temporal course of the driving trajectory by a time course of at least one of the distances 108 . 110 evaluate.

Gemäß diesem Ausführungsbeispiel weist das Fahrzeug 100 eine Einrichtung 116 auf, die ausgebildet ist, um basierend auf dem von der Vorrichtung 102 bereitgestellten Müdigkeitssignals oder basierend auf einer Mehrzahl zeitlich nacheinander von der Vorrichtung 102 bereitgestellten Müdigkeitssignalen eine die Müdigkeit des Fahrers repräsentierenden Müdigkeitswert bereitzustellen. Der Müdigkeitswert kann beispielsweise verwendet werden, um eine Warnung an den Fahrer auszugeben.According to this embodiment, the vehicle 100 An institution 116 which is adapted to be based on that of the device 102 provided fatigue signal or based on a plurality of temporally successive from the device 102 provided fatigue signals provide a tiredness of the driver representing fatigue value. The fatigue value may be used, for example, to issue a warning to the driver.

Zum Bereitstellen eines Müdigkeitshinweissignals weist die Vorrichtung 102 eine oder mehrere Einrichtungen auf, die ausgebildet sind, um Schritte eines Verfahrens auszuführen, wie es anhand der nachfolgenden Figuren detailliert beschrieben ist.To provide a fatigue alert signal, the device 102 One or more devices, which are designed to perform steps of a method, as described in detail with reference to the following figures.

2 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel. Das Verfahren umfasst Schritte 201, 203, 205, die unter Verwendung von geeigneten Einrichtungen der anhand von 1 beschriebenen Vorrichtung umgesetzt werden können. 2 FIG. 12 is a flowchart of a driver fatigue detection method according to an embodiment. FIG. The method comprises steps 201 . 203 . 205 using appropriate facilities based on 1 can be implemented device described.

In dem Schritt 201 wird ein Überschreitungssignal eingelesen, dass einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung durch das Fahrzeug, also beispielsweise das Auftreten eines TLC-Ereignisses anzeigt. In dem Schritt 203 wird ein Verlauf einer Fahrtrajektorie des Fahrzeugs ausgewertet, der zeitlich vor dem Einlesen des Überschreitungssignals liegt. Abhängig von einem Ergebnis der Auswertung wird ein eine Gültigkeit des Überschreitungssignals kennzeichnender Gültigkeitswert auf einen eine Gültigkeit anzeigenden Wert oder auf einen eine Ungültigkeit anzeigenden Wert gesetzt. In dem Schritt 205 wird ansprechend auf ein als gültig bewertetes Überschreitungssignal ein Müdigkeitshinweissignal bereitgestellt.In the step 201 an overflow signal is read in which indicates an indication of an imminent exceeding of a lane mark by the vehicle, thus, for example, the occurrence of a TLC event. In the step 203 a course of a driving trajectory of the vehicle is evaluated, which is temporally before the reading of the excess signal. Depending on a result of the evaluation, a validity value indicative of a validity of the overflow signal is set to a validity indicative value or to a value indicative of invalidation. In the step 205 A fatigue notice signal is provided in response to a validated override signal.

Der Schritt 203 kann permanent durchgeführt werden, sodass beim Auftreten eines TLC-Ereignisses bereits ein ausgewerteter Verlauf der Fahrtrajektorie vorliegen kann.The step 203 can be performed permanently, so that when an occurrence of a TLC event already an evaluated course of the driving trajectory can be present.

In einem optional nachfolgenden Schritt 207 können aufeinanderfolgende Müdigkeitshinweissignale ausgewertet werden, um auf eine Ermüdung des Fahrers zu schließen. Beispielsweise kann dazu eine zeitliche Abfolge oder Frequenz des Auftretens von Müdigkeitssignalen ausgewertet werden.In an optional subsequent step 207 consecutive fatigue warning signals can be evaluated to detect driver fatigue. For example, a temporal sequence or frequency of the occurrence of fatigue signals can be evaluated for this purpose.

Gemäß diesem Ausführungsbeispiel wird der Verlauf der Fahrtrajektorie anhand eines Verlaufs des lateralen Abstands zwischen dem Fahrzeug und der Fahrbahnrandmarkierung ausgewertet.According to this embodiment, the course of the driving trajectory is evaluated on the basis of a profile of the lateral distance between the vehicle and the lane edge marking.

Gemäß einem Ausführungsbeispiel wird der Gültigkeitswert nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn der laterale Abstand innerhalb einer vorbestimmten Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals oder dem Auftreten des TLC-Ereignisses größer als ein Schwellenwert ist. Die Zeitspanne kann einen vordefinierten Wert aufweisen oder bis zu einem Zeitpunkt des Einlesens eines zeitlich vorangegangenen Überschreitungssignals oder dem Auftreten eines zeitlich vorangegangenen des TLC-Ereignisses zurückreichen. Wenn der Abstand dagegen innerhalb der Zeitspanne Überschreitungssignals permanent kleiner als der Schwellenwert oder ein weiterer Schwellenwert ist, so wird der der Gültigkeitswert auf den die Ungültigkeit anzeigenden Wert gesetzt.According to one embodiment, the validity value only applies to the validity indicative value when the lateral distance is greater than a threshold within a predetermined time period prior to the time of reading the overflow signal or the occurrence of the TLC event. The period of time may have a predefined value or may extend back to a time of reading in a time-outgoing overflow signal or the occurrence of a time-preceding of the TLC event. On the other hand, if the distance is always less than the threshold or another threshold within the timeout signal, the validity value is set to the invalidation value.

Gemäß einem Ausführungsbeispiel wird zum Treffen der Entscheidung, ob der Gültigkeitswert auf einen die Gültigkeit oder Ungültigkeit anzeigen Wert gesetzt wird, ein Token eingesetzt, wie es anhand von 3 näher beschrieben wird.According to one embodiment, a token is used to make the decision as to whether the validity value is set to a value indicative of validity or invalidity, as determined by 3 will be described in more detail.

3 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel. Auf der Abszisse des Diagramms ist die Zeit t in Sekunden und auf der Ordinate der Abstand dy in Metern zwischen dem Fahrzeug und der Fahrbahnrandmarkierung aufgetragen. Das Diagramm zeigt einen Verlauf 220 des Abstands über die Zeit. Der Verlauf 220 verläuft zunächst unterhalb eines Schwellenwertes 222, überschreitet zu einem Zeitpunkt t3 den Schwellenwert 222 und fällt nach einem Zeitpunkt t4 wieder unter den Schwellenwert 222. Beispielhaft ist der Schwellenwert auf einen Wert von 0,5 Metern gesetzt. 3 FIG. 12 is a diagram illustrating a driver fatigue detection method according to an embodiment. FIG. The abscissa of the diagram plots the time t in seconds and the ordinate the distance dy in meters between the vehicle and the lane mark. The diagram shows a course 220 the distance over time. The history 220 initially runs below a threshold 222 , exceeds the threshold at time t3 222 and falls below the threshold again after a time t4 222 , By way of example, the threshold is set to a value of 0.5 meters.

Gemäß diesem Ausführungsbeispiel wird, wie anhand der 1 und 2 beschrieben, der Verlauf 220 des lateralen Abstands zwischen dem Fahrzeug und der Fahrbahnrandmarkierung ausgewertet, um die Gültigkeit eines Überschreitungssignals zu bewerten.According to this embodiment, as shown in FIG 1 and 2 described the course 220 of the lateral distance between the vehicle and the lane edge marker to evaluate the validity of an overshoot signal.

Die Zeitpunkte t1, t2, t3, t4, t5 kennzeichnen Zeitpunkte des Einlesens aufeinanderfolgender Überschreitungssignale oder damit gleichzusetzende Zeitpunkte des Auftretens aufeinanderfolgender TLC-Ereignisse. Den Zeitpunkten t1, t2, t3, t4, t5 sind Abstände x1, x2, x3, x4, x5 zugeordnet. Nicht alle der zu den Zeitpunkten t1, t2, t3, t4, t5 aufgetretenen TLC-Ereignisse liefern einen Hinweis auf eine Müdigkeit des Fahrers. Der beschriebene Ansatz ermöglicht es, diejenigen TLC-Ereignisse, die auf eine Müdigkeit hindeuten als gültig und diejenigen TLC-Ereignisse, die nicht auf eine Müdigkeit hindeuten als ungültig zu klassifizieren.The times t1, t2, t3, t4, t5 indicate times of reading in successive overflow signals or times of occurrence of successive TLC events to be assimilated thereto. The times t1, t2, t3, t4, t5 are assigned to distances x1, x2, x3, x4, x5. Not all of the TLC events occurring at times t1, t2, t3, t4, t5 provide an indication of driver fatigue. The described approach makes it possible to classify those TLC events that are indicative of fatigue as valid and those TLC events that are not indicative of fatigue to be invalid.

Gemäß diesem Ausführungsbeispiel werden diejenigen TLC-Ereignisse als gültig bewertet, denen eine Zeitspanne vorangegangen ist, in der der Abstand größer als der Schwellenwert 222 war. Dies trifft auf die TLC-Ereignisse zu den Zeitpunkten t1, t4, t5 zu. Diejenigen TLC-Ereignisse, denen eine Zeitspanne vorangegangen ist, in der der Abstand durchgängig kleiner als der Schwellenwert 222 war, werden als ungültig bewertet. Dies trifft auf die TLC-Ereignisse zu dem Zeitpunkt t2 zu. Der Zeitpunkt t3 kennzeichnet ein TLC-Ereignis, dem eine Zeitspanne vorausgegangen ist, in der der Abstand durchgängig kleiner als der Schwellenwert 222 ist. Jedoch erreicht der Abstand zu dem Zeitpunkt t3 den Schwellenwert 222, sodass das dem Zeitpunkt t3 zugeordnete TLC-Ereignis je nach Umsetzung des beschriebenen Ansatzes sowohl als gültig als auch als ungültig bewertet werden kann. Gemäß diesem Ausführungsbeispiel reichen die Zeitspannen jeweils von dem Zeitpunkt eines aktuellen TLC-Ereignisses, beispielsweise dem Zeitpunkt t2, bis zu dem Zeitpunkt eines zeitlich vorangegangenen TLC-Ereignisses, in diesem Fall somit dem Zeitpunkt t1.In accordance with this embodiment, those TLC events which are preceded by a time period in which the distance is greater than the threshold value are regarded as valid 222 was. This applies to the TLC events at times t1, t4, t5. Those TLC events preceded by a period of time where the distance is consistently less than the threshold 222 was evaluated as invalid. This applies to the TLC events at time t2. Time t3 identifies a TLC event preceded by a period of time in which the distance is consistently less than the threshold 222 is. However, the distance at time t3 reaches the threshold 222 so that the TLC event associated with time t3 can be evaluated as valid as well as invalid depending on the implementation of the described approach. According to this embodiment, the time periods each from the time of a current TLC event, for example, the time t2, to the time of a temporally preceding TLC event, in this case thus the time t1.

Bleibt der Verlauf 220 nach dem Zeitpunkt t5 während weiteren TLC-Ereignissen zugeordneten Zeitpunkten unterhalb des Schwellenwertes 222, so werden diese Zeitpunkte als ungültig bewertet. Sobald der Verlauf 220 den Schwellenwert 222 dann wieder überschreitet, wird der nachfolgende Zeitpunkt als gültig bewertet.Remains the course 220 after the time t5 during further TLC events associated times below the threshold 222 , these times are considered invalid. Once the course 220 the threshold 222 then again, the subsequent time is considered valid.

Im Folgenden wird ein entsprechendes Ausführungsbeispiel anhand von 3 detailliert beschrieben. Dabei bezeichnet der Verlauf 220, wie bereits ausgeführt den lateralen Abstand, die mit einem Haken versehenen Zeitpunkte werden als gültige TLC-Ereignisse und die mit einem Kreuz versehenen Zeitpunkte werden als ungültige TLC-Ereignisse bezeichnet. Die Gültigkeit bzw. Ungültigkeit eines TLC-Ereignisses wird unter Verwendung eines Tokens gesetzt. Die mit dem Bezugszeichen 224 bezeichneten Bereiche kennzeichnen Bereiche, in denen das Token gesetzt ist. Die mit dem Bezugszeichen 226 bezeichneten Bereiche kennzeichnen Bereiche, in denen das Token entzogen ist. Dabei können nur solche TLC-Ereignisse als gültig bewertet werden, die zu Zeitpunkten t1, t4, t5 auftreten, zu denen das Token gesetzt ist. Wird ein TLC-Ereignis als gültig bewertet, so wird das Token entzogen, außer der Abstand ist während des Zeitpunktes des TLC-Ereignisse größer als der Schwellenwert 222.In the following, a corresponding embodiment with reference to 3 described in detail. The course indicates 220 As already stated, the lateral distance, the timed points are referred to as valid TLC events, and the crucified times are referred to as invalid TLC events. The validity or invalidity of a TLC event is set using a token. The with the reference number 224 designated areas identify areas in which the token is set. The with the reference number 226 designated areas indicate areas in which the token is withdrawn. Only those TLC events that occur at times t1, t4, t5 at which the token is set can be evaluated as valid. If a TLC event is evaluated as valid, the token is revoked unless the distance is greater than the threshold during the time of the TLC event 222 ,

Der beschriebene Ansatz ermöglicht eine Robustheitssteigerung einer spurbasierten Müdigkeitserkennung. Dazu werden die nicht aus Müdigkeit resultierenden TLC-Ereignisse erkannt, um sie beispielsweise von einer nachfolgenden Frequenzberechnung auszuschließen.The approach described allows a robustness increase of a track-based fatigue detection. For this purpose, the non-fatigue resulting TLC events are detected, for example, to exclude them from a subsequent frequency calculation.

Gemäß diesem Ausführungsbeispiel kann ein TLC-Ereignis nur mit einem gültigen Token geworfen werden. Das Token wird gegebenenfalls nach einem geworfenen TLC-Ereignis entzogen. Erst nachdem eine gewisse Bedingung erfüllt worden ist, wird das Token wieder gültig. Der Ansatz basiert darauf, dass ein weiteres gültiges TLC-Ereignis nur zustande kommen sollte, wenn das Fahrzeug inzwischen wieder einen gewissen Abstand zu Spurgrenze aufweist.According to this embodiment, a TLC event can only be thrown with a valid token. The token is optionally deprived after a thrown TLC event. Only after a certain condition has been fulfilled does the token become valid again. The approach is based on the fact that another valid TLC event should only come about when the vehicle is now at some distance from the lane boundary.

In 3 ist ein entsprechendes beispielhaftes Szenario gezeigt. Zum Zeitpunkt t1 wird ein TLC-Ereignis geworfen, da das Token seit dem Startzeitpunkt existiert. Mit Erkennen des TLC-Ereignisses wird das Token entzogen. Zum Zeitpunkt t3, wo der laterale Abstand x3 mehr als 0.5 m beträgt, wird das Token wieder zurückgegeben und es kann ein weiteres TLC-Ereignis erkannt werden. Das TLC-Ereignis zum Zeitpunkt t2 ist ungültig, da zu diesem Zeitpunkt kein Token vorliegt. Zum Zeitpunkt t4 wird ein weiteres TLC-Ereignis geworfen. Da das Token zu diesem Zeitpunkt vorhanden ist, wird ein weiteres gültiges TLC-Ereignis geworfen. Somit werden die hintereinander geworfenen TLC-Ereignisse an der Spurgrenze verhindert.In 3 a corresponding exemplary scenario is shown. At time t1, a TLC event is thrown because the token exists since the start time. Upon detection of the TLC event, the token is revoked. At time t3, where the lateral distance x3 is more than 0.5 m, the token is returned and another TLC event can be detected. The TLC event at time t2 is invalid because there is no token at this time. At time t4, another TLC event is thrown. Since the token is present at this time, another valid TLC event is thrown. Thus, the successive thrown TLC events are prevented at the track boundary.

Somit wird gemäß einem Ausführungsbeispiel eine robuste Müdigkeitserkennung, beispielsweise auf Basis der Frequenz der überschrittenen TLC-Werte (Time-toLane-Crossing) mittels einer ausschließlichen Berücksichtigung eines weiteren TLC-Wertes geschaffen, wobei der weitere TLC-Wert nur dann berücksichtigt wird, wenn das Fahrzeug zuvor den kritischen Bereich, also einen überschrittenen TLC-Wert wie beispielsweise den Schwellenwert 222, wieder verlassen hat.Thus, according to one embodiment, a robust fatigue detection, for example on the basis of the frequency of the exceeded TLC values (Time-to-Lane Crossing) by means of an exclusive consideration of another TLC value created, the further TLC value is taken into account only if the Vehicle previously the critical range, ie an exceeded TLC value such as the threshold 222 , left again.

4 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Erkennen einer Müdigkeit eines Fahrers des Fahrzeugs 100 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 entspricht dem anhand von 1 beschriebenen Fahrzeug. Zusätzlich ist eine Einrichtung 430 zum Erfassen eines Lenkwinkels einer Lenkeinrichtung des Fahrzeugs 100 gezeigt. Die Einrichtung 430 ist ausgebildet, um den Lenkwinkel darstellende Lenkwinkeldaten an die Auswerteeinrichtung 114 bereitzustellen. 4 shows a schematic representation of a vehicle 100 with a device 102 for detecting a tiredness of a driver of the vehicle 100 according to an embodiment. The vehicle 100 corresponds to the basis of 1 described vehicle. In addition, there is a facility 430 for detecting a steering angle of a steering device of the vehicle 100 shown. The device 430 is formed to the steering angle representing steering angle data to the evaluation 114 provide.

Zusätzlich oder alternativ zu der anhand von 1 beschrieben Bestimmung der Fahrtrajektorie basierend auf den Bilddaten der Kamera 112 ist die Auswerteeinrichtung 114 gemäß diesem Ausführungsbeispiel ausgebildet, um die Fahrtrajektorie des Fahrzeugs 100 basierend auf den Lenkwinkeldaten zu bestimmen. Gemäß diesem Ausführungsbeispiel ist die Auswerteeinrichtung 114 ausgebildet, um basierend auf den Lenkwinkeldaten eine Änderung des Lenkwinkels zu bestimmen und die Fahrtrajektorie wiederum als einen zeitlichen Verlauf der Änderung des Lenkwinkels zu bestimmen. Ferner ist die Auswerteeinrichtung 114 ausgebildet, um wie bereits anhand von 1 beschrieben, basierend auf den Bilddaten das Überschreitungssignal zu bestimmen. Das Überschreitungssignal zeigt gemäß diesem Ausführungsbeispiel das Auftreten eines TLC-Ereignisses an, das wiederum das Erkennen einer bevorstehenden Überschreitung einer der Fahrbahnrandmarkierungen 104, 106 durch das Fahrzeug 100 anzeigt. Die Auswerteeinrichtung 114 ist ausgebildet, um das Überschreitungssignal sowie Daten bezüglich des zeitlichen Verlaufs der Fahrtrajektorie, gemäß diesem Ausführungsbeispiel Daten bezüglich des zeitlichen Verlaufs der Änderung des Lenkwinkels an die Vorrichtung 102 bereitzustellen.Additionally or alternatively to the basis of 1 described determination of the driving trajectory based on the image data of the camera 112 is the evaluation device 114 formed according to this embodiment, the driving trajectory of the vehicle 100 based on the steering angle data. According to this embodiment, the evaluation device 114 designed to determine a change of the steering angle based on the steering angle data and in turn to determine the driving trajectory as a time course of the change of the steering angle. Furthermore, the evaluation device 114 trained, as already stated by 1 described based on the image data to determine the excess signal. The overrun signal in accordance with this embodiment indicates the occurrence of a TLC event which, in turn, is indicative of an impending overshoot of one of the lane edge markers 104 . 106 through the vehicle 100 displays. The evaluation device 114 is formed to the overshoot signal and data relating to the time course of the driving trajectory, according to this embodiment, data relating to the time course of the change of the steering angle to the device 102 provide.

Die Vorrichtung 102 weist eine Schnittstelle zum Einlesen des Überschreitungssignals sowie der Daten bezüglich des zeitlichen Verlaufs der Fahrtrajektorie auf. Die Vorrichtung 102 ist ausgebildet, um, wie anhand von 1 beschrieben, einen vor dem Zeitpunkt des Einlesens des Überschreitungssignals liegenden zeitlichen Verlauf der Fahrtrajektorie auszuwerten, um eine Gültigkeit des Überschreitungssignals zu bestimmen.The device 102 has an interface for reading in the overflow signal and the data relating to the time course of the driving trajectory. The device 102 is trained to, as based on 1 described to evaluate a lying before the reading of the excess signal timing of the driving trajectory to determine a validity of the excess signal.

Gemäß einem Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um den Verlauf der Fahrtrajektorie in einer vorbestimmten Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals auszuwerten. Gemäß diesem Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um den zeitlichen Verlauf der Fahrtrajektorie durch einen zeitlichen Verlauf der Änderung des Lenkwinkels auszuwerten.According to one embodiment, the device is 102 designed to evaluate the course of the driving trajectory in a predetermined period of time before the time of reading the excess signal. According to this embodiment, the device is 102 designed to evaluate the time course of the driving trajectory by a time course of the change in the steering angle.

Zum Bereitstellen des Müdigkeitshinweissignals weist die Vorrichtung 102 eine oder mehrere Einrichtungen auf, die ausgebildet sind, um Schritte eines Verfahrens auszuführen, wie es anhand der nachfolgenden Figuren detailliert beschrieben ist.To provide the fatigue alert signal, the device 102 One or more devices, which are designed to perform steps of a method, as described in detail with reference to the following figures.

5 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel. Das Verfahren umfasst Schritte 201, 503, 205 und einen optionalen Schritt 207. Die Schritte 201, 503, 205, 207 können unter Verwendung von geeigneten Einrichtungen der anhand von 4 beschriebenen Vorrichtung umgesetzt werden. 5 FIG. 12 is a flowchart of a driver fatigue detection method according to an embodiment. FIG. The method comprises steps 201 . 503 . 205 and an optional step 207 , The steps 201 . 503 . 205 . 207 can be determined using appropriate facilities based on 4 be implemented device described.

In dem Schritt 201 wird, wie bereits anhand von 2 beschrieben, ein Überschreitungssignal eingelesen, dass einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung durch das Fahrzeug, also beispielsweise das Auftreten eines TLC-Ereignisses anzeigt. In dem Schritt 503 wird ein Verlauf einer Fahrtrajektorie des Fahrzeugs ausgewertet, der zeitlich vor dem Einlesen des Überschreitungssignals liegt. Abhängig von einem Ergebnis der Auswertung wird ein eine Gültigkeit des Überschreitungssignals kennzeichnender Gültigkeitswert auf einen eine Gültigkeit anzeigenden Wert oder auf einen eine Ungültigkeit anzeigenden Wert gesetzt. In dem Schritt 205 wird, wie bereits anhand von 2 beschrieben, ansprechend auf ein als gültig bewertetes Überschreitungssignal ein Müdigkeitshinweissignal bereitgestellt.In the step 201 becomes, as already by means of 2 described read an excess signal that indicates an indication of an imminent exceeding of a lane marker by the vehicle, so for example, the occurrence of a TLC event. In the step 503 a course of a driving trajectory of the vehicle is evaluated, which is temporally before the reading of the excess signal. Depending on a result of the evaluation, a validity of the overflow signal becomes more characteristic Set the validity value to a value indicating validity or to an invalid value. In the step 205 becomes, as already by means of 2 in response to a validated overshoot signal, a fatigue strobe signal is provided.

Gemäß diesem Ausführungsbeispiel wird der Verlauf der Fahrtrajektorie anhand eines Verlaufs der Änderung des Lenkwinkels des Fahrzeugs ausgewertet. Dazu wird der Verlauf der Änderung des Lenkwinkels unter Verwendung zumindest eines als Referenz dienenden Musters ausgewertet.According to this embodiment, the course of the driving trajectory is evaluated on the basis of a course of the change of the steering angle of the vehicle. For this purpose, the course of the change in the steering angle is evaluated using at least one reference pattern.

Gemäß einem Ausführungsbeispiel wird der Gültigkeitswert nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn die Änderung des Lenkwinkels innerhalb einer Zeitspanne vor dem Zeitpunkt des Einlesens des Überschreitungssignals oder dem dazu gleichzusetzenden Auftreten des TLC-Ereignisses einem vorbestimmten Muster entspricht. Die Zeitspanne kann einen vordefinierten Wert aufweisen oder bis zu einem Zeitpunkt des Einlesens eines zeitlich vorangegangenen Überschreitungssignals oder dem Auftreten eines zeitlich vorangegangenen des TLC-Ereignisses zurückreichen.According to an embodiment, the validity value is set to the validity indicative value only when the change in the steering angle within a time period before the time of reading the overflow signal or the occurrence of the TLC event equivalent thereto corresponds to a predetermined pattern. The period of time may have a predefined value or may extend back to a time of reading in a time-outgoing overflow signal or the occurrence of a time-preceding of the TLC event.

Gemäß einem Ausführungsbeispiel werden im Schritt 503 zwei Unterzeitspannen betrachtet und der Gültigkeitswert wird nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn die Änderung des Lenkwinkels innerhalb einer ersten Unterzeitspanne kleiner als ein erster Schwellenwert ist und innerhalb einer zweiten Unterzeitspanne größer als der erste Schwellenwert ist. Dabei grenzen die Unterzeitspannen gemäß einem Ausführungsbeispiel direkt aneinander und die zweite Unterzeitspanne liegt zwischen der ersten Unterzeitspanne und dem Zeitpunkt des Einlesens des Überschreitungssignals. Gemäß einem Ausführungsbeispiel wird ferner ein Verhältnis zwischen einer ersten maximalen Änderung des Lenkwinkels innerhalb der ersten Unterzeitspanne und einer zweiten maximalen Änderung des Lenkwinkels innerhalb der zweiten Unterzeitspanne gebildet, und der der Gültigkeitswert wird nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn das Verhältnis ein vorbestimmtes Kriterium erfüllt, beispielsweise größer oder kleiner als ein Referenzwert ist. Gemäß einem Ausführungsbeispiel wird der Gültigkeitswert nur dann auf den die Gültigkeit anzeigenden Wert gesetzt, wenn ferner die zweite maximale Änderung größer als ein zweiter Schwellenwert ist.According to one embodiment, in step 503 considered two Unterzeitspannen and the validity value is set to the validity indicative value only if the change of the steering angle within a first Unterzeitsspann is smaller than a first threshold value and within a second Unterzeitspanne is greater than the first threshold value. In this case, according to one embodiment, the sub-periods span directly adjacent to one another and the second sub-period lies between the first sub-period and the time of reading in the excess signal. Further, according to an embodiment, a ratio between a first maximum change of the steering angle within the first under-time period and a second maximum change of the steering angle is formed within the second under-time period, and the validity value is set to the validity indicative value only when the ratio is on predetermined criterion is met, for example, is greater or less than a reference value. In one embodiment, the validity value is set to the validity indicative value only if the second maximum change is greater than a second threshold.

Diese Vorgehensweise zum Entscheiden über die Gültigkeit oder Ungültigkeit eines über das mittels des Überschreitungssignals angezeigten TLC-Ereignisses wird im Folgenden anhand der 6 bis 8 detailliert beschrieben.This procedure for deciding the validity or invalidity of a TLC event displayed by means of the overflow signal will be described below with reference to FIG 6 to 8th described in detail.

6 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Erkennen einer Müdigkeit eines Fahrers gemäß einem Ausführungsbeispiel. Auf der Abszisse des Diagramms ist die Zeit t in Sekunden und auf der Ordinate die Lenkwinkelgeschwindigkeit aufgetragen, die eine Änderung des Lenkwinkels anzeigt. Das Diagramm zeigt einen Verlauf 640 der Änderung des Lenkwinkels über die Zeit. Der Verlauf 640 pendelt während einer ersten Zeitspanne t11, im Vorhergehenden auch als erste Unterzeitspanne bezeichnet, zunächst mit geringen Ausschlägen, die maximal einen Wert y1 erreichen, um den Ursprung. Während einer auf die erste Zeitspanne t11 folgenden zweiten Zeitspanne t12, im Vorhergehenden auch als zweite Unterzeitspanne bezeichnet, weist der Verlauf 640 einen starken Anstieg auf, der zum Ende der Zeitspanne t12 einen Wert y2 aufweist, der ein Vielfaches des Wertes y1 beträgt. Der Zeitpunkt 642 des Auftretens des Wertes y2 kann einem Zeitpunkt des Auftretens eines TLC-Ereignisses und somit einem Zeitpunkt 642 des Einlesens eines Überschreitungssignals entsprechen. 6 FIG. 12 is a diagram illustrating a driver fatigue detection method according to an embodiment. FIG. On the abscissa of the diagram, the time t is plotted in seconds and the ordinate the steering angle speed, which indicates a change in the steering angle. The diagram shows a course 640 the change of the steering angle over time. The history 640 fluctuates during a first period of time t11, previously referred to as the first sub-period of time, first with small deflections which reach at most a value y1, around the origin. During a second period of time t12 following the first period of time t11, also referred to above as the second sub-period of time, the course shows 640 a large increase, which at the end of the period t12 has a value y2, which is a multiple of the value y1. Point of time 642 the occurrence of the value y2 may be a time of occurrence of a TLC event and thus a time 642 of reading in an overflow signal.

Gemäß diesem Ausführungsbeispiel wird, wie anhand der 4 und 5 beschrieben, der Verlauf 640 ansprechend auf das Auftreten eines TLC-Ereignisses dahin gehend ausgewertet, ob der Verlauf 640 der Änderung des Lenkwinkels in der die Zeitspannen t11, t12 umfassenden Zeitspanne vor dem Zeitpunkt 642 des Auftretens des TLC-Ereignisses ein vorbestimmtes Muster aufweist. Anhand dieser Auswertung wird die Gültigkeit des TLC-Ereignisses und somit des Überschreitungssignals bewertet.According to this embodiment, as shown in FIG 4 and 5 described the course 640 evaluated in response to the occurrence of a TLC event, whether the course 640 the change of the steering angle in the time span t11, t12 before the time 642 the occurrence of the TLC event has a predetermined pattern. Based on this evaluation, the validity of the TLC event and thus of the overflow signal is evaluated.

Der anhand von 6 beschriebene Ansatz ermöglicht eine Müdigkeitserkennung durch Verkopplung spurbasierter und lenkbasierter Anteile. Dies wird dadurch bewirkt, dass nicht aus Müdigkeit resultierende TLC-Ereignisse erkannt werden, um sie beispielsweise in einer nachfolgenden Frequenzberechnung auszuschließen.The basis of 6 described approach allows fatigue detection by coupling track-based and steering-based shares. This is achieved by detecting non-fatigue TLC events, for example, to exclude them in a subsequent frequency calculation.

Gemäß einem Ausführungsbeispiel werden die TLC-Ereignisse (basierend auf Spurinformationen) über Lenkbewegungen des Fahrers plausibilisiert. Dieser Ansatz basiert darauf, dass ein TLC-Ereignis immer von einem Muster begleitet sein sollte, gemäß dem der Fahrer über eine gewisse Zeit das Lenkrad nicht aktiv gesteuert hat, und dann plötzlich eine stärkere Korrektur am Lenkrad aufbringt. In 6 ist beispielhaft eine mögliche Ausprägung dargestellt. Im Zeitraum t11 hat die momentane Lenkwinkelgeschwindigkeit (dSA) den maximalen Wert y1. Im unmittelbar folgenden Zeitraum t12 hat die Lenkwinkelgeschwindigkeit den maximalen Wert y2. Für das beispielhafte Muster, das zu einer gültigen Bewertung führt, sind gemäß einem Ausführungsbeispiel die Bedingungen zu erfüllen, dass die erste Zeitspanne t11 einen ersten vorbestimmten Wert, die zweite Zeitspanne t12 einen zweiten vorbestimmten Wert, der Quotient aus y1 und y2 größer als ein vorbestimmter Wert und y2 größer als eine vorbestimmte Lenkwinkelgeschwindigkeit ist. Beispielshaft ist wird als Bedingung gesetzt, dass die erste Zeitspanne t11 gleich zwei Sekunden, die zweite Zeitspanne t12 gleich einer Sekunde, der Quotient y1/y2 größer als vier und y2 größer als 2°/s ist. Gemäß einem Ausführungsbeispiel sind nur solche TLC-Ereignisse gültig, die ein solches Lenkmuster aufweisen.According to one embodiment, the TLC events (based on lane information) are made plausible via steering movements of the driver. This approach is based on the fact that a TLC event should always be accompanied by a pattern according to which the driver has not actively steered the steering wheel for some time, and then suddenly applies a greater correction to the steering wheel. In 6 is exemplified a possible expression. In the period t11, the instantaneous steering angular velocity (dSA) has the maximum value y1. In the immediately following period t12, the steering angular velocity has the maximum value y2. For the exemplary pattern that leads to a valid evaluation, according to one embodiment, the conditions are to be fulfilled such that the first period of time t11 has a first predetermined value, the second period of time t12 has a second predetermined value, the quotient of y1 and y2 is greater than a predetermined value and y2 is greater than a predetermined steering angular velocity. By way of example, it is set as a condition that the first period t11 is equal to two seconds, the second period t12 is equal to one second, the quotient y1 / y2 is greater than four, and y2 is greater than 2 ° / s. According to one embodiment, only those TLC events having such a steering pattern are valid.

Für das in 6 gezeigte Beispiel wird zum Zeitpunkt 642 t = 4s das Lenkrad-Muster erkannt, da „y2 / y1 > 4“ und „y2 > 2“ ist. Somit wird das zum Zeitpunkt t = 4s aufgetretene TLC-Ereignis als gültig bewertet.For the in 6 example shown is at the time 642 t = 4s, the steering wheel pattern is detected because "y2 / y1>4" and "y2>2". Thus, the TLC event which occurred at time t = 4s is judged to be valid.

Dieser Ansatz löst vor allem Probleme in Kurven, wo TLC-Ereignisse oft ohne Relevanz zur Müdigkeit auftreten.This approach primarily solves problems in curves where TLC events often occur without relevance to fatigue.

7 zeigt einen Verlauf 640 einer Lenkwinkelgeschwindigkeit und ein Auftreten eines TLC-Ereignisses 750 gemäß einem Ausführungsbeispiel. In einer Zeitspanne 752 vor dem Auftreten des TLC-Ereignisses 750 wird der Verlauf 640 dahin gehend ausgewertet, ob ein auf eine Ermüdung des Fahrers hindeutendes Lenkmuster zu erkennen ist, wie es beispielsweise anhand von 6 beschrieben ist. Gemäß dem gezeigten Ausführungsbeispiel wird das Lenkmuster innerhalb der Zeitspanne 752 erkannt, sodass es sich bei dem TLC-Ereignis 750 um ein TLC-Ereignis mit Lenkmuster handelt, das als ein gültiges TLC-Ereignis betrachtet wird, da es als ein Anzeichen für Müdigkeit angesehen wird. 7 shows a course 640 a steering angular velocity and occurrence of a TLC event 750 according to an embodiment. In a timeframe 752 before the occurrence of the TLC event 750 becomes the course 640 evaluated there, whether a pointing to a fatigue of the driver suggestive steering pattern can be seen, as for example with reference to 6 is described. According to the illustrated embodiment, the steering pattern becomes within the period of time 752 detected so that it is at the TLC event 750 is a steering pattern TLC event that is considered a valid TLC event because it is considered a sign of fatigue.

8 zeigt entsprechend zu 7 einen Verlauf 640 einer Lenkwinkelgeschwindigkeit und ein Auftreten eines TLC-Ereignisses 750 gemäß einem Ausführungsbeispiel. In der Zeitspanne 752 vor dem Auftreten des TLC-Ereignisses 750 wird der Verlauf 640 dahin gehend ausgewertet, ob ein Lenkmuster zu erkennen ist, wie es beispielsweise anhand von 6 beschrieben ist. Gemäß dem gezeigten Ausführungsbeispiel wird das Lenkmuster innerhalb der Zeitspanne 752 nicht erkannt, sodass es sich bei dem TLC-Ereignis 750 um ein TLC-Ereignis ohne Lenkmuster handelt, das als ein ungültiges TLC-Ereignis betrachtet wird, da es nicht als ein Anzeichen für Müdigkeit, sondern beispielsweise als ein Anzeichen für ein von dem Fahrer des Fahrzeugs gewolltes Schneiden einer Kurve angesehen wird. 8th shows accordingly 7 a course 640 a steering angular velocity and occurrence of a TLC event 750 according to an embodiment. In the time span 752 before the occurrence of the TLC event 750 becomes the course 640 evaluated there whether a steering pattern can be seen, as for example by means of 6 is described. According to the illustrated embodiment, the steering pattern becomes within the period of time 752 not recognized so that it is at the TLC event 750 is an untilted TLC event, which is considered an invalid TLC event, since it is not considered an indication of fatigue but, for example, indicative of a driver's desired cutting of a curve.

Der anhand der 5 bis 8 beschriebene Ansatz ermöglicht eine Validierung von TLC-Ergebnissen durch Lenkmuster. Dabei ist eine Unterscheidung zwischen unbeabsichtigten Fahrmanövern, die auf eine Müdigkeit hindeuten, sowie beabsichtigten Fahrmanövern, beispielsweise zum Kurvenschneiden, möglich. Dies wird gemäß einem Ausführungsbeispiel durch eine Validierung der TLC-Erkennung mittels Lenkparametern durchgeführt. Insbesondere wird dazu ein charakteristisches Lenkmuster eingesetzt. Ein solches spezifisches Muster wird zur Identifikation beabsichtigter sowie unbeabsichtigter Lenkmanöver eingesetzt.The basis of the 5 to 8th described approach allows validation of TLC results by steering patterns. It is a distinction between unintended driving maneuvers, which indicate a tiredness, as well as intended driving maneuvers, for example, for cutting corners, possible. This is done according to an embodiment by a validation of the TLC detection by means of steering parameters. In particular, a characteristic steering pattern is used for this purpose. Such a specific pattern is used to identify intentional and unintentional steering maneuvers.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 2008/052827 A1 [0002] WO 2008/052827 A1 [0002]

Claims (12)

Verfahren zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs (100), wobei das Verfahren die folgenden Schritte umfasst: Einlesen (201) eines Überschreitungssignals als einen Hinweis auf eine bevorstehende Überschreitung einer Fahrbahnrandmarkierung (104, 106) durch das Fahrzeug (100); Auswerten (203; 503) eines vor einem Zeitpunkt (t1, t2, t3, t4, t5; 642) des Einlesens des Überschreitungssignals liegenden Verlaufs (220; 640) einer Fahrtrajektorie des Fahrzeugs (100) und Setzen eines dem Überschreitungssignal zuordenbaren Gültigkeitswerts abhängig von einem Ergebnis des Auswertens auf einen eine Gültigkeit des Überschreitungssignals anzeigenden Wert oder auf einen eine Ungültigkeit des Überschreitungssignals anzeigenden Wert; und Bereitstellen (205) eines Müdigkeitshinweissignals unter Verwendung des Überschreitungssignals, wenn der Gültigkeitswert die Gültigkeit des Überschreitungssignals anzeigt.Method for detecting fatigue of a driver of a vehicle ( 100 ), the method comprising the following steps: reading in ( 201 ) of an overshoot signal as an indication of an imminent overrun of a lane edge marker ( 104 . 106 ) by the vehicle ( 100 ); Evaluate ( 203 ; 503 ) one before a time (t1, t2, t3, t4, t5; 642 ) of reading the overflow signal lying history ( 220 ; 640 ) a driving trajectory of the vehicle ( 100 ) and setting a validity value assignable to the overflow signal in response to a result of the evaluation to a value indicating the validity of the overflow signal or to a value indicating an invalidity of the overflow signal; and deploy ( 205 ) of a tiredness notification signal using the overflow signal when the validity value indicates the validity of the overflow signal. Verfahren gemäß Anspruch 1, bei dem im Schritt des Auswertens (203) ein lateraler Abstand (108, 110) zwischen dem Fahrzeug (100) und der Fahrbahnrandmarkierung (104, 106) ausgewertet wird.Method according to claim 1, wherein in the step of evaluating ( 203 ) a lateral distance ( 108 . 110 ) between the vehicle ( 100 ) and the lane edge marker ( 104 . 106 ) is evaluated. Verfahren gemäß Anspruch 2, bei dem der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt wird, wenn der laterale Abstand (108, 110) innerhalb einer Zeitspanne zwischen dem Zeitpunkt (t4) des Einlesens des Überschreitungssignals und einem vorangegangenen Zeitpunkt (t3) des Einlesens eines vorangegangenen Überschreitungssignals größer als ein Schwellenwert (222) ist. Method according to Claim 2, in which the validity value is set to the validity-indicating value if the lateral distance ( 108 . 110 ) within a period of time between the time (t4) of reading in of the excess signal and a preceding time (t3) of reading in of a preceding excess signal greater than a threshold value ( 222 ). Verfahren gemäß Anspruch 2 oder 3, bei dem der Gültigkeitswert auf den die Ungültigkeit anzeigenden Wert gesetzt wird, wenn der laterale Abstand (108, 110) innerhalb der Zeitspanne zwischen dem Zeitpunkt (t2) des Einlesens des Überschreitungssignals und einem vorangegangenen Zeitpunkt (t1) des Einlesens eines vorangegangenen Überschreitungssignals permanent kleiner als ein Schwellenwert (222) ist.A method according to claim 2 or 3, wherein the validity value is set to the invalidity indicating value when the lateral distance ( 108 . 110 ) is permanently less than a threshold within the time period between the time (t2) of reading in the overflow signal and a previous time (t1) of reading in a previous overflow signal ( 222 ). Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Auswertens eine Änderung (640) eines Lenkwinkels des Fahrzeugs (100) ausgewertet wird.Method according to one of the preceding claims, wherein in the step of evaluating a change ( 640 ) of a steering angle of the vehicle ( 100 ) is evaluated. Verfahren gemäß Anspruch 5, bei dem der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt wird, wenn ein Verlauf (640) der Änderung des Lenkwinkels innerhalb einer Zeitspanne (t11, t12) vor dem Zeitpunkt (642) des Einlesens des Überschreitungssignals einem vorbestimmten Muster entspricht.A method according to claim 5, wherein the validity value is set to the validity indicative value when a history ( 640 ) the change of the steering angle within a period of time (t11, t12) before the time ( 642 ) of reading the overflow signal corresponds to a predetermined pattern. Verfahren gemäß Anspruch 5 oder 6, bei dem der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt wird, wenn der Verlauf (642) der Änderung des Lenkwinkels innerhalb einer ersten Zeitspanne (t11) vor dem Zeitpunkt (642) des Einlesens des Überschreitungssignals kleiner als ein erster Schwellenwert ist und innerhalb einer zweiten Zeitspanne (t12), die anschließend an die erste Zeitspanne (t11) bis zu dem Zeitpunkt (642) des Einlesens des Überschreitungssignals reicht, größer als der erste Schwellenwert ist.A method according to claim 5 or 6, wherein the validity value is set to the validity indicative value when the history ( 642 ) the change of the steering angle within a first time period (t11) before the time ( 642 ) of reading in the overflow signal is less than a first threshold and within a second period (t12) subsequent to the first period (t11) to the time ( 642 ) of reading the overflow signal is greater than the first threshold. Verfahren gemäß einem der Ansprüche 5 bis 7, bei dem der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt wird, wenn ein Verhältnis zwischen einer ersten maximalen Änderung (y1) des Lenkwinkels innerhalb einer vor dem Zeitpunkt des Einlesens des Überschreitungssignals liegenden ersten Zeitspanne (t11) und einer zweiten maximalen Änderung (y2) des Lenkwinkels innerhalb einer an die erste Zeitspanne (t11) anschließenden und bis zu dem Zeitpunkt (640) des Einlesens des Überschreitungssignals reichenden zweiten Zeitspanne (t12) ein vorbestimmtes Kriterium erfüllt.A method according to any one of claims 5 to 7, wherein the validity value is set to the validity indicative value when a ratio between a first maximum change (y1) of the steering angle is within a first time period (t11) before the time of reading the overflow signal. and a second maximum change (y2) of the steering angle within a subsequent to the first time period (t11) and to the time ( 640 ) of reading in the overflow signal second period (t12) satisfies a predetermined criterion. Verfahren gemäß Anspruch 8, bei dem der Gültigkeitswert auf den die Gültigkeit anzeigenden Wert gesetzt wird, wenn ferner die zweite maximale Änderung (y2) größer als ein zweiter Schwellenwert ist.The method of claim 8, wherein the validity value is set to the validity indicative value further when the second maximum change (y2) is greater than a second threshold. Vorrichtung (102) zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs (100), die eingerichtet ist, das Verfahren gemäß einem der vorangegangenen Ansprüche auszuführen.Contraption ( 102 ) for detecting a tiredness of a driver of a vehicle ( 100 ) arranged to carry out the method according to one of the preceding claims. Computerprogramm, das dazu eingerichtet ist, das Verfahren gemäß einem der vorangegangenen Ansprüche auszuführen.Computer program adapted to carry out the method according to one of the preceding claims. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.A machine readable storage medium storing the computer program of claim 11.
DE102015208208.3A 2015-05-04 2015-05-04 Method and device for detecting a tiredness of a driver of a vehicle Pending DE102015208208A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015208208.3A DE102015208208A1 (en) 2015-05-04 2015-05-04 Method and device for detecting a tiredness of a driver of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015208208.3A DE102015208208A1 (en) 2015-05-04 2015-05-04 Method and device for detecting a tiredness of a driver of a vehicle

Publications (1)

Publication Number Publication Date
DE102015208208A1 true DE102015208208A1 (en) 2016-11-10

Family

ID=57179020

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015208208.3A Pending DE102015208208A1 (en) 2015-05-04 2015-05-04 Method and device for detecting a tiredness of a driver of a vehicle

Country Status (1)

Country Link
DE (1) DE102015208208A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166313A (en) * 2018-09-10 2019-01-08 南京市公安局交通管理局 A kind of spilling method for early warning according to car data excessively
CN109935108A (en) * 2017-12-18 2019-06-25 姜鹏飞 A kind of traffic security early warning method of traffic control and device based on accurate location
CN110738852A (en) * 2019-10-23 2020-01-31 浙江大学 intersection steering overflow detection method based on vehicle track and long and short memory neural network
US20220194469A1 (en) * 2020-12-17 2022-06-23 Argo AI, LLC Autonomous vehicle steering juke event detector
IT202200009065A1 (en) * 2022-05-04 2023-11-04 Ferrari Spa METHOD FOR DETERMINING THE LEVEL OF TIREDNESS OR ATTENTION OF THE DRIVER OF A ROAD VEHICLE AND RELATED ROAD VEHICLE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008052827A1 (en) 2006-11-03 2008-05-08 Robert Bosch Gmbh Method and device for driver state detection
EP1674375B1 (en) * 2004-12-20 2009-03-11 Ford Global Technologies, LLC Method for determining a measure for evaluating the behaviour of a driver of a vehicle
US8179243B2 (en) * 2009-01-19 2012-05-15 National Taiwan University Of Science And Technology Lane departure warning method and system thereof
DE102011081892A1 (en) * 2011-08-31 2013-02-28 Robert Bosch Gmbh Method for lane monitoring and lane monitoring system for a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1674375B1 (en) * 2004-12-20 2009-03-11 Ford Global Technologies, LLC Method for determining a measure for evaluating the behaviour of a driver of a vehicle
WO2008052827A1 (en) 2006-11-03 2008-05-08 Robert Bosch Gmbh Method and device for driver state detection
US8179243B2 (en) * 2009-01-19 2012-05-15 National Taiwan University Of Science And Technology Lane departure warning method and system thereof
DE102011081892A1 (en) * 2011-08-31 2013-02-28 Robert Bosch Gmbh Method for lane monitoring and lane monitoring system for a vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935108A (en) * 2017-12-18 2019-06-25 姜鹏飞 A kind of traffic security early warning method of traffic control and device based on accurate location
CN109166313A (en) * 2018-09-10 2019-01-08 南京市公安局交通管理局 A kind of spilling method for early warning according to car data excessively
CN109166313B (en) * 2018-09-10 2021-06-25 南京市公安局交通管理局 Overflow early warning method according to vehicle passing data
CN110738852A (en) * 2019-10-23 2020-01-31 浙江大学 intersection steering overflow detection method based on vehicle track and long and short memory neural network
US20220194469A1 (en) * 2020-12-17 2022-06-23 Argo AI, LLC Autonomous vehicle steering juke event detector
IT202200009065A1 (en) * 2022-05-04 2023-11-04 Ferrari Spa METHOD FOR DETERMINING THE LEVEL OF TIREDNESS OR ATTENTION OF THE DRIVER OF A ROAD VEHICLE AND RELATED ROAD VEHICLE
EP4273012A1 (en) 2022-05-04 2023-11-08 FERRARI S.p.A. Method for determining the drowsiness or attention level of the driver of a road vehicle, and road vehicle thereof

Similar Documents

Publication Publication Date Title
DE102014221144A1 (en) Target detection device
DE102011004946A1 (en) Device for detecting a lane marking on a road
DE102015208208A1 (en) Method and device for detecting a tiredness of a driver of a vehicle
DE112012006288B4 (en) Drift judging device
DE102011109387A1 (en) Method for detecting traffic signs
DE102009007342A1 (en) Method and device for determining an applicable lane marking
DE102009007885A1 (en) Method for identifying motor vehicles getting into own lane or getting out of own lane, involves automatically evaluating driving characteristics relative to lane exchange based on detected data i.e. image data of camera
DE102014209585A1 (en) Collision mitigation device
DE102009028774A1 (en) Method and control unit for robust recognition of a lane change of a vehicle
EP3041725B1 (en) Method and device for determining a roadway course of a roadway of a vehicle
DE102004048010A1 (en) Method and device for driver assistance
DE102012109310A1 (en) A method and apparatus for assisting the returning of a vehicle after leaving a lane
DE112014007247T5 (en) track recognition
DE102010062129B4 (en) Method and device for providing a virtual lane boundary
DE102015203270A1 (en) Method and apparatus for adjusting a vehicle speed for a vehicle
DE102018113559A1 (en) A method of recognizing a lane mark by validating by line width; Control means; Pitch recognition system; as well as driver assistance system
DE102011113325A1 (en) Method for object recognition by image data, involves recognizing objects in vicinity of vehicle and differentiating objects in object types, where distance in Y-direction is determined for all objects recognized in vicinity
DE102014211852A1 (en) Method and apparatus for determining a maximum speed of a rail vehicle, method and apparatus for controlling the speed of a rail vehicle
DE102016223581A1 (en) Device and method for checking a functionality of a sensor
DE102016206077A1 (en) Method and device for determining a safety-critical yawing motion of a vehicle
DE102004047889A1 (en) Driver supporting process, involves outputting warning of driver in predetermined situation, and warning driver depending on history of tracing performance of driver and/or performance tracking by driver
DE102018002239A1 (en) Procedure for issuing a warning
DE102014209015A1 (en) Method and device for distance control for a vehicle
DE102017217140B4 (en) Method and device for controlling a driver assistance system using a stereo camera system with a first and a second camera
DE102015213594A1 (en) A method, computer readable medium, and system for detecting a traffic situation of one or more vehicles in an environment of an ego vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed