EP2086785A1 - Verfahren und vorrichtung zur fahrerzustandserkennung - Google Patents

Verfahren und vorrichtung zur fahrerzustandserkennung

Info

Publication number
EP2086785A1
EP2086785A1 EP07803253A EP07803253A EP2086785A1 EP 2086785 A1 EP2086785 A1 EP 2086785A1 EP 07803253 A EP07803253 A EP 07803253A EP 07803253 A EP07803253 A EP 07803253A EP 2086785 A1 EP2086785 A1 EP 2086785A1
Authority
EP
European Patent Office
Prior art keywords
driver
frequency
lane
steering
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07803253A
Other languages
English (en)
French (fr)
Inventor
Carsten Schmitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2086785A1 publication Critical patent/EP2086785A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences

Definitions

  • the invention relates to a method and a device for driver condition detection.
  • Driver warning in which a degree of attention of the driver is taken into account.
  • This degree of attention is derived from the steering angle, in particular from a change in the steering angle such as its gradient and / or the frequency of the angle changes and / or the distance of successive steering angle changes.
  • other factors influencing the recognition of the driver's condition are described, such as the accelerator pedal position and its change.
  • a clear improvement of the driver condition detection, in particular their reliability, is achieved by deriving the signal indicating the driver condition from a quantity which determines the frequency of the occurring extreme values in the time course of the tracking behavior of the driver Indicates the driver's representative size. It has been found that such a size in a drowsy or inattentive driver identifies a characteristic behavior that can be evaluated for driver condition detection. By evaluating this size, satisfactory results in terms of reliability and hit rate were achieved. In particular, the high rate of correct classification of a drowsy driver is advantageous. The corresponding evaluation of the quantity "time-to-line-crossing" has proved to be particularly advantageous.
  • Hit rate for recognizing the sleepy driver offers particular advantages in conjunction with driver assistance systems which are controlled as a function of the ascertained driver status, for example setting thresholds for triggering a warning to the driver or the type of warning (eg loud, quiet) depending on the driver's condition.
  • FIG. 1 shows a device for detecting driver states.
  • FIG. 2 shows a flow chart illustrating the implementation of a method for detecting driver states as
  • FIG. 3 shows a driver state detection with a neuronal classifier.
  • FIG. 1 shows a device for detecting driver states.
  • Essential components are an electronic control unit 10, which essentially consists of components such as input circuit 12, computer 14 and output circuit 16. These components are connected to a bus system 10 for mutual information and data exchange.
  • various sensors are connected, preferably via a bus system. In connection with the procedure described below, the sensor system described below is used in one embodiment. Alternatively, in another embodiment, another sensor, the corresponding size detected or from the measured variables corresponding quantities can be derived, are used. In addition, other sensors can be connected to the device whose signals are evaluated in the context of other functionalities. Via a supply line 20, a steering angle sensor 22 is connected to the input circuit 12. Via a further input line 24, a video camera 26, which detects the scene in front of the vehicle and is the basis for the recognition of lane edge markings, is connected to the input circuit 12.
  • sensors 34 to 38 are connected via the input lines 28 to 32, for example for detecting the accelerator pedal position, the extent of the brake actuation, etc., whose signals are important in an embodiment of the invention.
  • Information is output via the output circuit 16, for example via an output line 40, a warning lamp 42 or an information display 42, by means of which the driver status can be displayed.
  • an actuator 46 is controlled via an output line 24 for influencing the steering angle of the vehicle, the acceleration and / or the deceleration of the vehicle.
  • part of the device described in FIG. 1 is a driver assistance system which operates on the basis of lane recognition, such as, for example, so-called lane departure warning.
  • lane recognition such as, for example, so-called lane departure warning.
  • Such systems are known for example from the aforementioned prior art.
  • the course of the lane markings is recognized from the image of the video camera, the position of the own vehicle or the expected position of the own vehicle compared with these lane markings and issued a warning to the driver or an intervention in the steering, if Vehicle the lane leaves or threatens to leave.
  • An essential parameter, which is determined in this context, is the lateral distance of the vehicle to the lane edge marking or a boundary derived therefrom.
  • a driver state recognition is performed by checking this variable and determining the frequency of extreme values, preferably minima, in the time course of such a variable. The more frequently the minima occur, the sooner a sleepy or inattentive driver can be expected. If one compares the frequency of the minima with a limit value, then a sleepy or inattentive driver can be assumed if the limit value is exceeded. In particular, the magnitude of the detected lateral distance to the lane edge marking or the time that the vehicle has to reach the lane markings have
  • Lane limit is required (TLC, time-to-line-crossing) proven.
  • a variable representing the steering wheel movement by the driver is also used in one embodiment.
  • various sensors are available for determining such a variable, for example a sensor for detecting the steering wheel angle, a sensor for detecting the wheel positions, a sensor for detecting the yaw rate, a sensor for detecting the lateral acceleration, etc.
  • the time profile of the steering angle is detected and checked. If, first, a steering angle speed in the range of zero with a subsequent steering correction and a steering speed greater than a certain limit, it is from an inattentiveness of the driver or a Fatigue of the driver is assumed. This behavior represents a typical inattentive driver reaction that is frighteningly responsive to his wrong driving by severely engaging the steering wheel and making a steering correction. It is also essential that the driver before the sudden steering intervention shows no significant reaction to the steering wheel.
  • An improvement of the driver condition detection is achieved by not only checking the occurrence of such a behavioral pattern but also by monitoring a measurement of the frequency and / or the time interval of such a behavioral pattern and adopting a drowsy driver if such Steering corrections occur more frequently than specified.
  • Minima of the course of a distance size (lateral distance or TLC) to the lane boundary marking or a threshold derived therefrom with the same steering angle and subsequent steering correction is detected.
  • a neural classifier is used, to which the features to be evaluated are supplied.
  • An example of such a neural classifier is shown in FIG.
  • the classifier receives the above-mentioned signals, which represent themselves as functions of time.
  • not all These features are used, but only the evaluation of the extreme values in the course of a driver's lane behavior size (distance to lane marker, TLC) or a threshold derived therefrom and the frequency of constant steering wheel positions with and / or without subsequent steering correction. Already with it can be achieved considerable results.
  • the driver state is derived in a preferred manner from the frequency of the minima of the course of the curve of such a size. If the frequency of these minima exceeds a predetermined limit within a certain period of time, it is assumed that the driver is drowsy and / or inattentive.
  • FIG. 2 shows a corresponding procedure based on a flowchart.
  • the illustrated flowchart outlines the program of
  • Control unit 10 which is traversed at predetermined times.
  • step 100 the determined value (TLC) of the time duration which the vehicle requires in a substantially constant driving state is read in until the lane boundary marking or a threshold derived therefrom is exceeded. This value is used in step 102 along with the
  • step 104 it is calculated from the current and past values whether there is an extreme value of the curve of this quantity (TLC).
  • This extreme value is usually a minimum value of the value curve.
  • the calculation is done by forming differences over a predetermined number of values.
  • step 106 it is then checked whether there is a minimum of the curve. It is not distinguished in a preferred embodiment between the right and left side of the vehicle. The consideration of a vehicle side is sufficient. In another embodiment, this is sketched here Go through the program for the left and right margins, determine the minima and determine the frequency from both sides. If a minimum is present in step 106, a counter is incremented in step 108 in this case. This counter has the property of being incremented every time a minimum of the TLC curve is detected, after a certain time has elapsed
  • step 110 it is checked whether the counter reading has reached or exceeded a certain value. If this is the case, then, according to step 112, the driver state is classified as tired or inattentive and the program outlined again at the next point in time. In the case of negative answers in step 106 or 110, a classification of the driver state is carried out as attentive in step 114, whereupon the program outlined is repeated with step 100 at the next point in time.
  • the driver in addition to determining the minima in the TLC curve with the frequencies of constant steering wheel position for longer periods while driving and / or the frequencies of constant steering wheel position for longer periods during the ride with subsequent steering correction evaluated.
  • the driver is classified as inattentive when at least two of these characteristics exceed predetermined limits.
  • the non-moving of the steering wheel during longer periods of time is derived from the changes in steering angle or from changes in corresponding quantities, if they are within a predetermined tolerance band for a predetermined period of time.
  • Also particularly advantageous is a combination of the frequency of the minima of the TLC curve with the non-movement of the steering wheel during the crossing of lateral thresholds for estimating the inattentive driver state. If the vehicle exceeds the determined lane boundary marking or a threshold derived therefrom and in the meantime the steering wheel is not moved or only within predetermined tolerances, it is assumed that the driver is inattentive, if the frequency of the minima of the TLC curve has simultaneously reached or exceeded a certain size , It has been found that all of these approaches provide satisfactory classification results.
  • a further improvement of the classification results results from the use of a neural classifier, at least those mentioned above
  • Characteristics of the minima of the TLC curve and the frequencies of the constant steering positions with and without steering correction evaluates.
  • other variables are linked, for example, the steering speeds, which are determined on the basis of a steering wheel angle, a steering angle sensor, yaw rate or lateral acceleration sensor, wherein jerky steering movements, d. H. high steering speeds, is assumed by an inattentive driver.
  • the determination of a standard deviation of the lateral position of the vehicle in the lane has proven to be an important factor, as well as the known in the literature as Perclos operating variables of the accelerator pedal and / or brake pedal and / or the monitoring of the blinking frequency or the average time duration of closed eyelids.
  • Figure 3 shows the structure of a corresponding device for driver fatigue detection using a neural classifier
  • the neuronal classifier embodied in FIG. 3 is multi-layered. As an output of the level U3 of the neural classifier, a classification signal is output and output to a display and / or another control system 202, the classification signal indicating an inattentive driver.
  • a classification signal is output and output to a display and / or another control system 202, the classification signal indicating an inattentive driver.
  • Embodiment is present in a driver assumed to be tired a signal in an attentively classified driver no output signal.
  • the input variables input in the first level U L of the neural classifier are, in a preferred embodiment, the features described above under Perclos, ie a measure of the blink frequency or the time during which the lids are closed and / or a measure of the type of operation of Controls such as accelerator or brake pedal. Further, the standard deviation of the lateral position of the vehicle on the road is entered.
  • a third input is a measure of the size of the steering speeds, the fourth input represents the Frequency of the minimum of the TLC curve, while the fifth and last input is a measure of the frequency of a constant steering wheel position with and / or without overreactive steering corrections. It has been shown that the latter two features already show good classification results, while the additional three mentioned first
  • Characteristics for driver state detection represent a further improvement, but in some embodiments, these features or one or more thereof is dispensed with.
  • the signal supplied to the first input of the neural classifier 200 about the size of the blinking frequency or the duration of the closing of the eyelids is recorded by a camera 204 observed by the driver with corresponding image evaluation, a variable for said criteria is calculated and supplied to the neural classifier. Is used instead of or in addition to the blink frequency or the duration of closing the eyelids
  • Actuation speed of the accelerator pedal and / or brake pedal evaluated this is done in response to the corresponding position signals, the means 204 then transmits a size for the operating speed to the neural classifier.
  • the second input quantity represents a measure for the lateral distance of the vehicle to an edge marking.
  • the roadway is detected by means of a camera 206 and image evaluation unit mounted in the vehicle, and the position of the vehicle within the roadway is calculated.
  • the individual measurement results are then averaged in the calculation unit 208 and the standard deviation in the averaged measured values is determined and fed to the neural classifier.
  • the underlying consideration is that the more inaccurate the driver is, the greater the standard deviation, as he moves the vehicle back and forth within his lane.
  • Another input is the steering speed.
  • the steering wheel angle, the steering angle or one of the abovementioned comparable signals is determined in the measuring device 210 and the steering speed is determined in the calculation unit 212.
  • This quantity is then supplied to the neural classifier 200.
  • the frequency of the minima of the TLC curve is provided as the fourth input variable.
  • the time which the vehicle requires without steering correction for example, is determined by a driver assistance function (lane departure warning 214) to exceed the lane edge markings or a threshold derived therefrom.
  • a temporal progression is stored from these variables and the frequency of the minima of this curve is determined in the calculation unit 216. This quantity is then fed to the neural classifier.
  • a calculation unit 218 is provided, to which the steering angle or a comparable variable is supplied, on the basis of which the calculation unit 218 derives the frequency of constant steering wheel positions for longer periods of time, as mentioned above, with and / or without subsequent steering correction.
  • a corresponding quantity is fed to the neural classifier 200 as the fifth input variable.
  • the neural classifier 200 in another embodiment is supplied with values between 0 and 1, which were generated by comparing the determined variables with threshold values. So 1 means that one size is sure to come from an inattentive driver. Depending on the degree of recognition, this value is between 0 (attention) and 1 (inattention).
  • the individual quantities supplied are weighted with the weights deposited in the neural classifier and transmitted to the neurons of the second level.
  • the results of the first level (also values between 0 and 1) are combined, preferably multiplied and weighted with weights stored in the neurons in level 2.
  • the level 2 results will then be in the neuron of the
  • Level 3 is transmitted, which also combines the results of level 2 and generates there from the weight stored there, the output fatigue or inattention.
  • the weights (threshold values for the evaluation of the input variables) of the individual neurons are determined during a training. This training is based on results of test series in which the respective behavior of the evaluated operating variables is recorded with the actual driver state. By means of a learning algorithm, the weights of the neurons are optimized in such a way that the greatest possible classification success of the experimental data results.

Abstract

Es werden ein Verfahren und eine Vorrichtung zur Fahrerzustandserkennung vorgeschlagen. Dabei wird ein den Fahrerzustand charakterisierende Signal abgeleitet aus der Häufigkeit der Minima im zeitlichen Verlauf einer Größe, welche das Fahr spurhalte verhalten des Fahrers repräsentiert, insbesondere die " time to line crossing ", die Zeit, die bis zum überqueren der Fahrbahnmarkierung erforderlich ist.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zur Fahrerzustandserkennung
Stand der Technik
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fahrerzustandserkennung.
Die DE 102 10 130 Al beschreibt ein Verfahren und eine Vorrichtung zur
Fahrerwarnung, bei welchem ein Aufmerksamkeitsgrad des Fahrers berücksichtigt wird. Dieser Aufmerksamkeitsgrad wird abgeleitet aus dem Lenkwinkel, insbesondere aus einer Änderung des Lenkwinkels wie seines Gradienten und/oder der Frequenz der Winkeländerungen und/oder des Abstands aufeinander folgender Lenkwinkeländerungen. Darüber hinaus sind weitere Einflussgrößen zur Erkennung des Fahrerzustandes beschrieben, wie beispielsweise die Gaspedalstellung und ihre Änderung.
In der DE 102004039142 Al werden so genannte Spurverlassenswarner CLane- Departure-Warning) Systeme beschrieben, bei denen die Zeitdauer ermittelt wird, die das Fahrzeug unter Beibehaltung des aktuellen Fahrzustands bis zum Verlassen der Fahrspur benötigen wird (Time-to-line-crossing, TLC). Unterschreitet dieser Wert einen Grenzwert, wird der Fahrer gewarnt.
Offenbarung der Erfindung
Eine deutliche Verbesserung der Fahrerzustandserkennung, insbesondere deren Zuverlässigkeit, wird dadurch erreicht, dass das den Fahrerzustand signalisierende Signal aus einer Größe abgeleitet wird, welche die Häufigkeit der auftretenden Extremwerte im zeitlichen Verlauf einer das Spurverhalten des Fahrers repräsentierenden Größe anzeigt. Es hat sich gezeigt, dass eine solche Größe bei einem schläfrigen oder unaufmerksamen Fahrer ein charakteristisches Verhalten ausweist, welches zur Fahrerzustandserkennung ausgewertet werden kann. Durch Auswertung dieser Größe wurden zufrieden stellende Ergebnisse hinsichtlich Zuverlässigkeit und Trefferquote erzielt. Vorteilhaft ist insbesondere die hohe Quote der richtigen Klassifzierung eines schläfrigen Fahrers. Als besonders vorteilhaft hat sich die entsprechende Auswertung der Größe „Time- to-line-crossing" gezeigt.
Bei der Verwendung eines solchen Kriteriums ergibt sich eine sehr hohe
Trefferquote zur Erkennung des schläfrigen Fahrers. Besondere Vorteile bietet diese Methode in Verbindung mit Fahrerassistenzsytemen, welche in Abhängigkeit des ermittelten Fahrerzustandes gesteuert werden, beispielsweise Schwellen zur Auslösung einer Warnung an den Fahrer oder die Art der Warnung (z. B. laut, leise) abhängig vom Fahrerzustand einstellen.
Besondere Vorteile wurden durch den Einsatz eines neuronalen Klassifikators zur Fahrerzustandserkennung erreicht, mit dessen Hilfe die oben genannte Größe mit anderen Größen (gleich bleibende Lenkradstellung ohne Lenkkorrektur und/oder gleich bleibende Lenkradstellung mit Lenkkorrektur sowie gegebenenfalls anderer Größen) zur Fahrerzustandserkennung kombiniert werden können.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen bzw. aus den abhängigen Patentansprüchen.
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert. Figur 1 zeigt eine Vorrichtung zur Fahrerzustandserkennung. Figur 2 zeigt ein Ablaufdiagramm, welches die Realisierung eines Verfahrens zur Fahrerzustandserkennung als
Rechnerprogramm skizziert. Figur 3 schließlich zeigt eine Fahrerzustandserkennung mit neuronalem Klassifikator.
Figur 1 zeigt eine Vorrichtung zur Fahrerzustandserkennung. Wesentliche Bestandteile sind dabei eine elektronische Steuereinheit 10, die im Wesentlichen aus Komponenten wie Eingangsschaltung 12, Rechner 14 und Ausgangsschaltung 16 besteht. Diese Komponenten sind mit einem Bussystem 10 zum gegenseitigen Informations- und Datenaustausch verbunden. An der Eingangsschaltung 12 sind, vorzugsweise über ein Bussystem, verschiedene Sensoren angeschlossen. Im Zusammenhang mit der nachfolgend beschriebenen Vorgehensweise wird in einer Ausführung die nachfolgend beschriebene Sensorik angewendet. Alternativ dazu kann in einer anderen Ausführung eine andere Sensorik, die entsprechende Größe erfasst oder aus deren Messgrößen entsprechende Größen abgeleitet werden können, eingesetzt werden. Daneben können an die Vorrichtung weitere Sensoren angebunden sein, deren Signale im Rahmen anderer Funktionalitäten ausgewertet werden. Über eine Zuleitung 20 wird ein Lenkwinkelsensor 22 an die Eingangsschaltung 12 angebunden. Über eine weitere Eingangsleitung 24 wird eine Videokamera 26, die die Szene vor dem Fahrzeug erfasst und die Basis zur Erkennung von Fahrbahnrandmarkierungen ist, mit der Eingangsschaltung 12 verbunden.
Weiterhin sind über die Eingangsleitungen 28 bis 32 weitere Sensoren 34 bis 38 verbunden, beispielsweise zur Erfassung der Gaspedalstellung, des Ausmaßes der Bremsbetätigung, etc., deren Signale in einer Ausführung der Erfindung von Bedeutung sind. Über die Ausgangsschaltung 16 werden Informationen ausgegeben, beispielsweise über eine Ausgangsleitung 40, eine Warnlampe 42 bzw. ein Informationsdisplay 42 angesteuert, mittels derer der Fahrerzustand angezeigt werden kann. Über eine Ausgangsleitung 24 wird in einer Ausführung ein Aktuator 46 angesteuert zur Einflussnahme auf den Lenkwinkel des Fahrzeugs, die Beschleunigung und/oder die Verzögerung des Fahrzeugs.
In einer bevorzugten Ausführungsform ist Teil der in Figur 1 geschilderte Vorrichtung ein Fahrerassistenzsystem, welches auf der Basis einer Fahrspurerkennung arbeitet, wie beispielsweise so genannte Spurverlassenswarner (lane departure warning). Derartige Systeme sind beispielsweise aus dem eingangs genannten Stand der Technik bekannt. Bei diesen Systemen wird aus dem Bild der Videokamera der Verlauf der Fahrspurmarkierungen erkannt, die Position des eigenen Fahrzeugs bzw. die zu erwartende Position des eigenen Fahrzeugs mit diesen Fahrbahnrandmarkierungen verglichen und eine Warnung an den Fahrer bzw. einen Eingriff in die Lenkung ausgegeben, wenn das Fahrzeug die Fahrspur verlässt bzw. zu verlassen droht. Ein wesentlicher Parameter, welcher in diesem Zusammenhang ermittelt wird, ist der laterale Abstand des Fahrzeugs zur Fahrbahnrandmarkierung bzw. eine aus diesem abgeleiteten Grenze.
Zufriedenstellende Ergebnisse einer Fahrerzustandserkennung lassen sich durch
Berücksichtigung einer Größe erzielen, welche das Spurverhalten des Fahrers repräsentiert. Eine Fahrerzustandserkennung wird dadurch durchgeführt, dass diese Größe überprüft wird und die Häufigkeit von Extremwerten, vorzugsweise Minima, in dem zeitlichen Verlauf einer solchen Größe festgestellt werden. Je häufiger die Minima auftreten, desto eher kann von einem schläfrigen oder unaufmerksamen Fahrer ausgegangen werden. Vergleicht man die Häufigkeit der Minima mit einem Grenzwert, so kann bei Überschreiten des Grenzwerts von einem schläfrigen bzw. unaufmerksamen Fahrer ausgegangen werden. Als Größe haben sich insbesondere der erfassten laterale Abstand zur Fahrbahnrandmarkierung oder die Zeit, die das Fahrzeug zum Erreichen der
Fahrbahngrenze benötigen wird (TLC, time-to-line-crossing) bewährt.
Im Zusammenhang mit der nachfolgend beschriebenen Vorgehensweise zur Fahrerzustandserkennung wird in einer Ausführung auch eine die Lenkrad bewegung durch den Fahrer repräsentierende Größe verwendet. Je nach Ausführungsform stehen zur Ermittlung einer solchen Größe verschiedene Sensoren zur Verfügung, beispielsweise ein Sensor zur Erfassung des Lenkradwinkels, ein Sensor zur Erfassung der Radstellungen, ein Sensor zur Erfassung der Gierrate, ein Sensor zur Erfassung der Querbeschleunigung, etc.
Hieraus lässt sich eine weitere Möglichkeit zur Erkennung des Fahrerzustandes ableiten, indem der Verlauf wenigstens eines Betätigungssignals des Fahrers, insbesondere des Lenkwinkels bzw. ein dazu vergleichbares Signal überprüft wird und bei einem typischen Verhalten dieses Signals auf eine Unaufmerksamkeit des Fahrers oder beispielsweise einen Sekundenschlaf des
Fahrers geschlossen wird. So wird in einem bevorzugten Ausführungsbeispiel der zeitliche Verlauf des Lenkwinkels erfasst und überprüft. Ergibt sich zunächst eine Lenkwinkelgeschwindigkeit im Bereich von Null mit einer anschließenden Lenkkorrektur und einer Lenkgeschwindigkeit größer als ein bestimmter Grenzwert, so wird von einer Unaufmerksamkeit des Fahrers bzw. einer Müdigkeit des Fahrers ausgegangen. Dieses Verhalten repräsentiert eine typische Fahrerreaktion bei Unaufmerksamkeit, der schreckhaft auf sein falsches Fahren reagiert, indem er stark in das Lenkrad eingreift und eine Lenkkorrektur vornimmt. Wesentlich dabei ist auch, dass der Fahrer vor dem plötzlichen Lenkeingriff keine wesentliche Reaktion am Lenkrad zeigt.
Eine Verbesserung der Fahrerzustandserkennung wird dadurch erreicht, dass nicht nur das Auftreten eines solchen Verhaltensmusters überprüft wird, sondern dass auch eine Messung der Häufigkeit und/oder des zeitlichen Abstandes eines solchen Verhaltensmusters überwacht wird und ein schläfriger bzw. unaufmerksamer Fahrer dann angenommen wird, wenn derartige Lenkkorrekturen häufiger auftreten als vorgegeben.
Besonders genaue Ergebnisse bei der Fahrerzustandserkennung erhält man bei einer Kombination dieser Größen, nämlich dann, wenn eine große Häufigkeit von
Minima des Verlaufs einer Abstandgröße (lateraler Abstand oder TLC) zur Fahrbahnrandmarkierung oder einer daraus abgeleiteten Schwelle bei gleich bleibendem Lenkwinkel und anschließender Lenkkorrektur erkannt wird.
Weitere Größen, die zur Erkennung der Müdigkeit des Fahrers ausgewertet werden, sind beispielsweise eine Standardabweichung der lateralen Position des Fahrzeugs in der Fahrspur, die Auswertung von Lenkgeschwindigkeiten, die Auswertung der Lidschlagfrequenz und/oder der Dauer des Schließens von Augen des Fahrers oder auch die Auswertung von Fahrzeugdaten, beispielsweise der Gaspedalstellung, etc. Einige dieser Kriterien sind unter dem
Begriff „Perclos" dem Fachmann bekannt.
Es hat sich gezeigt, dass eine Kombination von wie oben dargestellten Kriterien eine weitere Verbesserung mit sich bringt und somit ein Maß für den Fahrerzustand aus einer Kombination von allen oder einigen der oben genannten
Merkmalen gefunden werden kann. Dabei wird ein neuronaler Klassifikator eingesetzt, dem die auszuwertenden Merkmale zugeführt werden. Ein Beispiel für einen solchen neuronalen Klassifikator ist in Figur 3 gezeigt. Dabei werden dem Klassifikator die oben genannten Signale zugeführt, die sich als Funktionen der Zeit darstellen. In einem bevorzugten Ausführungsbeispiel werden nicht alle diese Merkmale verwendet, sondern lediglich die Auswertung der Extremwerte im Verlauf einer das Spurverhalten des Fahrers anzeigenden Größe (Abstandsgröße zur Fahrspurrandmarkierung, TLC) bzw. einer daraus abgeleiteten Schwelle und die Häufigkeit der gleich bleibenden Lenkradstellungen mit und/oder ohne anschließende Lenkkorrektur. Bereits damit lassen sich beachtliche Ergebnisse erzielen.
Eine wesentliche Erkenntnis ist die Beobachtung des Verlaufs des lateralen Abstandes zu einer Fahrbahnrandmarkierung bzw. einer daraus abgeleiteten Größe oder auch einer vergleichbaren Größe, wie beispielsweise der Zeit, die das Fahrzeug benötigt, bei gleich bleibendem Fahrzustand die Fahrbahnrandmarkierung oder eine daraus abgeleitete Schwelle zu überschreiten. Der Fahrerzustand wird dabei in bevorzugter Weise aus der Häufigkeit der Minima des Verlaufs der Kurve einer solchen Größe abgeleitet. Übersteigt die Häufigkeit dieser Minima innerhalb einer gewissen Zeitspanne einen vorgegebenen Grenzwert, wird von einem schläfrigen und/oder unaufmerksamen Fahrer ausgegangen.
Figur 2 zeigt anhand eines Ablaufdiagramms eine entsprechende Vorgehensweise. Das dargestellte Ablaufdiagramm skizziert das Programm der
Steuereinheit 10, welches in vorgegebenen Zeitpunkten durchlaufen wird. Zunächst wird im Schritt 100 der ermittelte Wert (TLC) der Zeitdauer, die das Fahrzeug bei im Wesentlichen gleich bleibendem Fahrzustand benötigt bis zum Überschreiten der Fahrbahnrandmarkierung bzw. einer daraus abgeleiteten Schwelle, eingelesen. Dieser Wert wird in Schritt 102 zusammen mit dem
Erfassungszeitpunkt gespeichert. Daraufhin wird in Schritt 104 aus dem aktuellen und aus zurückliegenden Werten berechnet, ob ein Extremwert des Kurvenverlaufs dieser Größe (TLC) vorliegt. Dieser Extremwert ist in der Regel ein Minimalwert des Werteverlaufs. In einer Ausführung erfolgt die Berechnung durch Differenzenbildung über eine vorgegebene Anzahl von Werten. Andere
Verfahren zur Ermittlung von Extremwerten in einer zeitlichen Wertereihe können auch Anwendung finden. Im Schritt 106 wird dann überprüft, ob ein Minimum der Kurve vorliegt. Dabei wird in einer bevorzugten Ausführung nicht zwischen der rechten und linke Fahrzeugseite unterschieden. Die Betrachtung einer Fahrzeugseite reicht aus. In einer anderen Ausführung wird das hier skizzierte Programm für die linke und für die rechte Randmarkierung durchlaufen, jeweils die Minima ermittelt und die Häufigkeit aus beiden Seiten bestimmt. Liegt in Schritt 106 ein Minima vor, wird in diesem Fall im Schritt 108 ein Zähler inkrementiert. Dieser Zähler hat die Eigenschaft, dass er bei jedem Erkennen eines Minimums der TLC- Kurve inkrementiert wird, nach Ablauf einer bestimmten
Zeit jedoch dekrementiert wird. Auf diese Weise lässt sich die Häufigkeit des Auftretens von Minima in der TLC-Kurve innerhalb einer gewissen Zeitspanne feststellen. Im darauf folgenden Schritt 110 wird überprüft, ob der Zählerstand einen bestimmten Wert erreicht bzw. überschritten hat. Ist dies der Fall, so wird gemäß Schritt 112 der Fahrerzustand als müde bzw. unaufmerksam klassifiziert und das skizzierte Programm zum nächsten Zeitpunkt erneut durchlaufen. Im Falle von negativen Antworten in Schritt 106 bzw. 110 erfolgt in Schritt 114 eine Klassifizierung des Fahrerzustandes als aufmerksam, worauf das skizzierte Programm mit Schritt 100 zum nächsten Zeitpunkt wiederholt wird.
In einem weiteren vorteilhaften Ausführungsbeispiel wird ergänzend zur Ermittlung der Minima in der TLC-Kurve mit den Häufigkeiten gleich bleibender Lenkradstellung für längere Zeitspannen während der Fahrt und/oder den Häufigkeiten gleich bleibender Lenkradstellung für längere Zeitspannen während der Fahrt mit anschließender Lenkkorrektur ausgewertet. Dabei wird der Fahrer als unaufmerksam klassifiziert, wenn wenigstens zwei dieser Merkmale vorbestimmte Grenzwerte überschreiten. Das Nichtbewegen des Lenkrads während längerer Zeitspannen wird dabei aus den Lenkwinkeländerungen bzw. aus Änderungen entsprechender Größen abgeleitet, wenn diese für eine vorgegebene Zeitspanne innerhalb eines vorgegebenen Toleranzbands liegen.
Besonders vorteilhaft ist auch eine Kombination der Häufigkeit der Minima der TLC-Kurve mit dem Nichtbewegen des Lenkrads während der Überschreitung lateraler Schwellen zur Abschätzung des unaufmerksamen Fahrerzustandes. Überschreitet das Fahrzeug die ermittelte Fahrbahnrandmarkierung bzw. eine daraus abgeleitete Schwelle und wird währenddessen das Lenkrad nicht oder nur im Rahmen vorgegebener Toleranzen bewegt, wird von einem unaufmerksamen Fahrer ausgegangen, wenn gleichzeitig die Häufigkeit der Minima der TLC-Kurve eine bestimmte Größe erreicht oder überschritten haben. Es hat sich gezeigt, dass all diese Vorgehensweisen befriedigende Klassifikationsergebnisse bringen.
Eine weitere Verbesserung der Klassifikationsergebnisse ergibt sich durch den Einsatz eines neuronalen Klassifikators, der zumindest die oben genannten
Merkmale der Minima der TLC- Kurve und den Häufigkeiten der gleich bleibenden Lenkstellungen mit und ohne Lenkkorrektur auswertet. In einer vorteilhaften Erweiterung werden dabei weitere Größen verknüpft, beispielsweise die Lenkgeschwindigkeiten, die anhand eines Lenkradwinkels, eines Lenkwinkelsensors, Gierrate- oder Querbeschleunigungssensor ermittelt werden, wobei bei ruckartigen Lenkbewegungen, d. h. hohen Lenkgeschwindigkeiten, von einem unaufmerksamen Fahrer ausgegangen wird. Ferner hat sich die Ermittlung einer Standardabweichung der lateralen Position des Fahrzeugs in der Fahrspur als eine wichtige Größe erwiesen, ebenso wie die in der Literatur als Perclos bekannten Betätigungsgrößen des Fahrpedals und/oder Bremspedals und/oder der Überwachung der Lidschlagfrequenz bzw. der durchschnittlichen Zeitdauer von geschlossenen Lidern.
Figur 3 zeigt den Aufbau einer entsprechenden Vorrichtung zur Fahrermüdigkeitserkennung unter Verwendung eines neuronalen Klassifikators
200. Der in Figur 3 ausgeführte neuronale Klassifikator ist mehrlagig. Als Ausgangsgröße der Ebene U3 des neuronalen Klassifikators wird ein Klassifizierungssignal ausgegeben und an eine Anzeige und/oder ein weiteres Steuersystem 202 abgegeben, wobei das Klassifizierungssignal einen unaufmerksamen bzw. müden Fahrer anzeigt. Im bevorzugten
Ausführungsbeispiel ist bei einem als müde angenommenen Fahrer ein Signal vorhanden, bei einem als aufmerksam klassifizierten Fahrer kein Ausgangssignal vorhanden. Die in der ersten Ebene Ul des neuronalen Klassifikators eingegebenen Eingangsgrößen sind in einer bevorzugten Ausführung die oben unter Perclos bezeichneten Merkmale, d. h. ein Maß für die Lidschlagfrequenz bzw. die Zeitdauer, während der die Lider geschlossen werden, und/oder ein Maß für die Betätigungsart von Bedienelementen wie Gaspedal bzw. Bremspedal. Ferner wird die Standardabweichung der lateralen Position des Fahrzeugs auf der Fahrbahn eingegeben. Eine dritte Eingangsgröße ist ein Maß für die Größe der Lenkgeschwindigkeiten, die vierte Eingangsgröße stellt die Häufigkeit der Minima der TLC- Kurve dar, während die fünfte und letzte Eingangsgröße ein Maß für die Häufigkeit einer gleich bleibenden Lenkradstellung mit und/oder ohne überreaktive Lenkkorrekturen. Es hat sich gezeigt, dass die beiden letztgenannten Merkmale bereits gute Klassifikationsergebnisse zeigen, während die zusätzlichen erstgenannten drei
Merkmale zur Fahrerzustandserkennung eine weitere Verbesserung darstellen, in manchen Ausführungsbeispielen aber auf diese Merkmale bzw. eines oder mehrere davon verzichtet wird.
Das dem ersten Eingang des neuronalen Klassifikators 200 zugeführte Signal über die Größe der Lidschlagfrequenz bzw. der Dauer des Schließens der Lider wird von einer den Fahrer beobachteten Kamera 204 mit entsprechender Bildauswertung aufgenommen, eine Größe für die genannten Kriterien berechnet und dem neuronalen Klassifikator zugeführt. Wird anstelle oder zusätzlich zur Lidschlagfrequenz bzw. der Zeitdauer des Schließens der Lider die
Betätigungsgeschwindigkeit von Gaspedal und/oder Bremspedal ausgewertet, so erfolgt dies in Abhängigkeit der entsprechenden Stellungssignale, wobei das Mittel 204 dann eine Größe für die Betätigungsgeschwindigkeit an den neuronalen Klassifikator übermittelt.
Die zweite Eingangsgröße stellt ein Maß für den lateralen Abstand des Fahrzeugs zu einer Randmarkierung dar. Dabei wird beispielsweise mittels einer im Fahrzeug angebrachten Kamera 206 samt Bildauswerteeinheit die Fahrbahn erfasst und die Position des Fahrzeugs innerhalb der Fahrbahn berechnet. Die einzelnen Messergebnisse werden dann in der Berechnungseinheit 208 gemittelt und die Standardabweichung in den gemittelten Messwerten ermittelt und dem neuronalen Klassifikator zugeführt. Die Überlegung, die dahinter steckt, ist, dass die Standardabweichung umso größer ist, je unaufmerksamer der Fahrer ist, da er das Fahrzeug innerhalb seiner Spur sich hin und her bewegt.
Eine weitere Eingangsgröße ist die Lenkgeschwindigkeit. Dabei wird in der Messeinrichtung 210 der Lenkradwinkel, der Lenkwinkel oder eines der oben genannten vergleichbaren Signale ermittelt und in der Berechnungseinheit 212 die Lenkgeschwindigkeit ermittelt. Diese Größe wird dann dem neuronalen Klassifikator 200 zugeführt. Weiterhin ist als vierte Eingangsgröße die Häufigkeit der Minima der TLC- Kurve vorgesehen. Dabei wird beispielsweise durch eine Fahrerassistenzfunktion (Spurverlassenswarner 214) die Zeit ermittelt, die das Fahrzeug ohne Lenkkorrektur benötigt, die Fahrbahnrandmarkierungen bzw. eine daraus abgeleitete Schwelle zu überschreiten. Aus diesen Größen wird wie oben dargestellt ein zeitlicher Verlauf abgespeichert und in der Berechnungseinheit 216 die Häufigkeit der Minima dieser Kurve ermittelt. Diese Größe wird dann dem neuronalen Klassifikator zugeführt.
Ferner ist eine Berechnungseinheit 218 vorgesehen, der der Lenkwinkel bzw. eine dazu vergleichbare Größe zugeführt wird, anhand der die Berechnungseinheit 218 die Häufigkeit gleich bleibender Lenkradstellungen für längere Zeitspannen, wie oben erwähnt, mit und/oder ohne spätere Lenkkorrektur ableitet. Eine entsprechende Größe wird als fünfte Eingangsgröße dem neuronalen Klassifikator 200 zugeführt.
Anstelle der absoluten Größen werden dem neuronalen Klassifikator 200 in einem anderen Ausführungsbeispiel Werte zwischen 0 und 1 zugeführt, die durch Vergleich der ermittelten Größen mit Schwellenwerten erzeugt wurden. So bedeutet 1, dass anhand der einen Größe sicher von einem unaufmerksamen Fahrer auszugehen ist. Je nach Grad der Erkennung liegt dieser Wert zwischen 0 (Aufmerksamkeit) und 1 (Unaufmerksamkeit).
In der ersten Ebene Ul des neuronalen Klassifikators werden die einzelnen zugeführten Größen mit dem im neuronalen Klassifikator hinterlegen Gewichten gewichtet und an die Neuronen der zweiten Ebene übermittelt. Dort werden die Ergebnisse der ersten Ebene (ebenfalls Werte zwischen 0 und 1) kombiniert, vorzugsweise multipliziert und mit in den Neuronen in der Ebene 2 abgelegten Gewichte gewichtet. Die Ergebnisse der Ebene 2 werden dann in das Neuron der
Ebene 3 übermittelt, welches die Ergebnisse der Ebene 2 ebenfalls kombiniert und daraus mit dem dort hinterlegten Gewicht das Ausgangssignal Müdigkeit bzw. Unaufmerksamkeit erzeugt. Die Gewichte (Schwellenwerte für die Bewertung der Eingangsgrößen) der einzelnen Neuronen werden dabei im Rahmen eines Trainings bestimmt. Dieses Training basiert auf Ergebnissen von Versuchsreihen, in denen das jeweilige Verhalten der ausgewerteten Betriebsgrößen mit dem tatsächlichen Fahrerzustand aufgezeichnet wird. Durch einen Lernalgorithmus werden die Gewichte der Neuronen derart optimiert, dass ein möglichst großer Klassifizierungserfolg der Versuchsdaten sich ergibt.

Claims

Ansprüche
1. Verfahren zur Fahrerzustandserkennung, wobei ein den Fahrerzustand signalisierendes Signal (40, 44) erzeugt wird, dadurch gekennzeichnet, dass das den Fahrerzustand signalisierende Signal (40, 44) aus einer Größe abgeleitet wird, welche die Häufigkeit von auftretenden Extremwerten im zeitlichen Verlauf einer das Spurverhalten des Fahrers repräsentierenden Größe (TLC) anzeigt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Größe die Zeit ist, die das Fahrzeug bis zum Überschreiten der
Fahrbahnrandmarkierungen bzw. einer daraus abgeleiteten Schwelle, insbesondere ohne wesentliche Änderungen des Fahrzustandes, benötigt.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Extremwerte die Minima des zeitlichen Verlaufs sind.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zur Ableitung des Signals für den Fahrerzustand die Häufigkeit der Zeitspannen mit im Wesentlichen gleich bleibender Lenkradstellung ausgewertet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ferner das Überschreiten eines vorgegebenen lateralen Abstandes zur Fahrbahnrandmarkierung bzw. eines daraus abgeleiteten
Schwellenwertes bei gleich bleibender Lenkradstellung bzw. Lenkwinkel ausgewertet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewertung der ermittelten Größen, die den Fahrerzustand repräsentieren, mittels eines neuronalen Klassifikators (200) erfolgt.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem neuronalen Klassifikator (200) eine Größe zugeführt wird, die die Häufigkeit der Minima repräsentiert, die die Häufigkeit der gleich bleibenden Lenkradstellung mit überreaktiver Lenkkorrektur repräsentiert.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass zusätzlich
Größen wie Lenkgeschwindigkeiten, Standardabweichung der lateralen Position des Fahrzeugs in der Spur, Lidschlagfrequenzen, Lidschließzeiten, Gaspedal- und/oder Bremspedalbetätigungsgeschwindigkeiten zugeführt werden.
9. Vorrichtung zur Fahrerzustandserkennung, mit einer Rechnereinheit (14), welche ein den Fahrerzustand charakterisierendes Signal erzeugt, dadurch gekennzeichnet, dass die Rechnereinheit (14) derart ausgebildet ist, dass das den Fahrerzustand charakterisierende Signal aus der Häufigkeit von Extremwerten im zeitlichen Verlauf einer Größe (TLC) abgeleitet wird, welche das Spurhalteverhalten des Fahrers repräsentiert.
EP07803253A 2006-11-03 2007-09-05 Verfahren und vorrichtung zur fahrerzustandserkennung Withdrawn EP2086785A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006051930.2A DE102006051930B4 (de) 2006-11-03 2006-11-03 Verfahren und Vorrichtung zur Fahrerzustandserkennung
PCT/EP2007/059291 WO2008052827A1 (de) 2006-11-03 2007-09-05 Verfahren und vorrichtung zur fahrerzustandserkennung

Publications (1)

Publication Number Publication Date
EP2086785A1 true EP2086785A1 (de) 2009-08-12

Family

ID=38582362

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07803253A Withdrawn EP2086785A1 (de) 2006-11-03 2007-09-05 Verfahren und vorrichtung zur fahrerzustandserkennung

Country Status (6)

Country Link
US (1) US20090322506A1 (de)
EP (1) EP2086785A1 (de)
JP (2) JP2010508611A (de)
CN (1) CN101535079B (de)
DE (1) DE102006051930B4 (de)
WO (1) WO2008052827A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835333A (zh) * 2019-03-07 2019-06-04 吉林大学 一种保持车辆在车道中间行驶的控制系统及控制方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009026950A1 (de) * 2009-06-16 2010-12-23 Zf Lenksysteme Gmbh Verfahren zur Fahreridentifikation
FR2954744B1 (fr) * 2009-12-28 2012-01-06 Continental Automotive France Procede de determination d'un parametre representatif de l'etat de vigilance d'un conducteur de vehicule
US20210339759A1 (en) * 2010-06-07 2021-11-04 Affectiva, Inc. Cognitive state vehicle navigation based on image processing and modes
DE102010034599A1 (de) 2010-08-16 2012-02-16 Hooshiar Mahdjour Verfahren zur Erfassung des Benutzerprofils zur Müdigkeitserkennung eines Fahrzeugfahrers
DE102010049086A1 (de) * 2010-10-21 2012-04-26 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Verfahren zum Beurteilen der Fahreraufmerksamkeit
KR101163081B1 (ko) * 2010-11-01 2012-07-05 재단법인대구경북과학기술원 운전 부주의 분류시스템
DE102010064345A1 (de) * 2010-12-29 2012-07-05 Robert Bosch Gmbh Komfortmerkmal zur Förderung der Fahreraufmerksamkeit in einem Fahrerassistenzsystem
DE102011009209A1 (de) * 2011-01-22 2012-07-26 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren und System zur Spurüberwachung eines Kraftfahrzeugs, Kraftfahrzeug und Infrastruktureinrichtung
DE102011105949B4 (de) * 2011-06-29 2015-05-21 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Müdigkeits- und/oder Aufmerksamkeitsbeurteilung
DE102012024706A1 (de) 2011-12-22 2013-06-27 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Müdigkeitserkennung
US10086697B2 (en) 2011-12-22 2018-10-02 Volkswagen Ag Method and device for fatigue detection
US8743193B2 (en) * 2011-12-22 2014-06-03 Volkswagen Ag Method and device for detecting drowsiness
FR2985706B1 (fr) * 2012-01-16 2015-08-14 Peugeot Citroen Automobiles Sa Procede d'estimation du temps de franchissement de lignes pour vehicule automobile
DE102012001741A1 (de) * 2012-01-28 2013-08-01 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
JP5940972B2 (ja) * 2012-12-21 2016-06-29 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 居眠り運転警報装置および居眠り運転警報方法
EP2862741B1 (de) 2013-10-15 2017-06-28 Volvo Car Corporation Fahrerassistenzanordnung
DE102013223989A1 (de) * 2013-11-25 2015-05-28 Robert Bosch Gmbh Verfahren zum Detektieren des Aufmerksamkeitszustands des Fahrers eines Fahrzeugs
DE102014201650A1 (de) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Verfahren zum Ermitteln des Belastungszustands des Fahrers
US10046793B2 (en) * 2014-02-26 2018-08-14 GM Global Technology Operations LLC Methods and systems for automated driving
JP6126043B2 (ja) 2014-04-25 2017-05-10 本田技研工業株式会社 路外逸脱抑制支援装置および路外逸脱抑制支援方法
DE102014008791A1 (de) 2014-06-11 2015-12-17 Frank Munser-Herzog Fahrerassistenzsystem und Verfahren zur Müdigkeitserkennung und Sekundenschlaf-Vermeidung eines Fahrzeugführers
DE202014004917U1 (de) 2014-06-11 2014-07-14 Frank Munser-Herzog Fahrerassistenzsystem zur Müdigkeitserkennung und Sekundenschlaf-Vermeidung eines Fahrzeugführers
DE102015208208A1 (de) 2015-05-04 2016-11-10 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Müdigkeit eines Fahrers eines Fahrzeugs
KR101825787B1 (ko) * 2015-10-05 2018-02-07 주식회사 만도 운전자 졸음 경고 시스템 및 방법
US10974736B2 (en) * 2016-03-29 2021-04-13 Honda Motor Co., Ltd. Control assist vehicle
JP2018124789A (ja) * 2017-01-31 2018-08-09 富士通株式会社 運転評価装置、運転評価方法及び運転評価システム
CN106956591B (zh) * 2017-05-15 2019-02-22 深兰科技（上海）有限公司 一种用于判断驾驶人员驾驶权限的系统
JP6885222B2 (ja) 2017-06-30 2021-06-09 いすゞ自動車株式会社 車両用情報処理装置
DE112017007868B4 (de) 2017-09-22 2023-03-23 Mitsubishi Electric Corporation Wachheitsgrad-bestimmungsvorrichtung und wachheitsgrad-bestimmungsverfahren
CN108437989B (zh) * 2018-04-09 2019-10-22 广州大学 一种基于动态车道边界的车道偏离预警方法及系统
CN109849928A (zh) * 2019-03-15 2019-06-07 北京海纳川汽车部件股份有限公司 自动驾驶车辆的控制方法、装置及具有其的自动驾驶车辆
DE102019204892A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
KR20210052634A (ko) * 2019-10-29 2021-05-11 엘지전자 주식회사 운전자의 부주의를 판단하는 인공 지능 장치 및 그 방법
DE102021110990B4 (de) 2020-12-29 2022-09-15 B-Horizon GmbH Verfahren zum Überwachen eines Fahrers, zur Feststellung der Fahrermüdigkeit, der Augenbewegung, der Körperreaktionsgeschwindigkeit und/oder des Atemzyklus mittels eines Messsystems
CN113548057B (zh) * 2021-08-02 2023-02-10 四川科泰智能电子有限公司 一种基于驾驶痕迹的安全驾驶辅助方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05155269A (ja) 1991-12-06 1993-06-22 Toyota Motor Corp 居眠り運転検出装置
JPH06150199A (ja) * 1992-11-13 1994-05-31 Mitsubishi Electric Corp 車両予防安全装置
JP2856049B2 (ja) * 1993-11-05 1999-02-10 トヨタ自動車株式会社 居眠り運転検出装置
JPH07186993A (ja) * 1993-12-28 1995-07-25 Mitsubishi Motors Corp パワーステアリング制御装置
US5850193A (en) * 1995-03-30 1998-12-15 Sumitomo Electric Industries, Ltd. Apparatus for assisting driver in carefully driving
JPH10198897A (ja) * 1997-01-09 1998-07-31 Honda Motor Co Ltd 車両用運転状況監視装置
US5798695A (en) * 1997-04-02 1998-08-25 Northrop Grumman Corporation Impaired operator detection and warning system employing analysis of operator control actions
JP3998855B2 (ja) * 1999-05-18 2007-10-31 三菱電機株式会社 危険接近防止装置
KR100373002B1 (ko) * 2000-04-03 2003-02-25 현대자동차주식회사 차량의 차선 이탈 판단 방법
DE10210130B4 (de) * 2002-03-08 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerwarnung
DE10247662A1 (de) * 2002-10-11 2004-04-29 Audi Ag Kraftfahrzeug
DE10254525A1 (de) * 2002-11-22 2004-06-17 Audi Ag Verfahren und Vorrichtung zur Vorhersage des Fahrzeugverhaltens sowie diesbezügliches Computer-Programm-Produkt
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
EP1638801A1 (de) * 2003-06-06 2006-03-29 Volvo Technology Corporation Verfahren und anordnung zur steuerung von fahrzeugteilsystemen auf grundlage von interpretierter fahreraktivität
DE602004008541T2 (de) * 2003-07-07 2008-04-30 Nissan Motor Co., Ltd., Yokohama Steuersystem für ein Fahrzeug zum Halten der Fahrspur
JP4316962B2 (ja) * 2003-08-26 2009-08-19 富士重工業株式会社 運転者の覚醒度推定装置及び覚醒度推定方法
DE10341366A1 (de) * 2003-09-08 2005-04-07 Scania Cv Ab Erfassung unbeabsichtigter Fahrbahnabweichungen
DE10342528A1 (de) * 2003-09-12 2005-04-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
DE102004039142A1 (de) * 2004-08-12 2006-02-23 Robert Bosch Gmbh Spurhalteassistenzsystem für Kraftfahrzeuge
ITMI20050788A1 (it) * 2005-05-02 2006-11-03 Iveco Spa Sistema di ausilio alla guida per supportare il mantenimento corsia per assistere il cambio di corsia e monitorare lo stato del guidatore di un veicolo

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008052827A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109835333A (zh) * 2019-03-07 2019-06-04 吉林大学 一种保持车辆在车道中间行驶的控制系统及控制方法

Also Published As

Publication number Publication date
DE102006051930B4 (de) 2017-04-06
DE102006051930A1 (de) 2008-05-15
WO2008052827A1 (de) 2008-05-08
JP2010508611A (ja) 2010-03-18
CN101535079A (zh) 2009-09-16
US20090322506A1 (en) 2009-12-31
JP5546655B2 (ja) 2014-07-09
JP2013140605A (ja) 2013-07-18
CN101535079B (zh) 2013-06-19

Similar Documents

Publication Publication Date Title
DE102006051930B4 (de) Verfahren und Vorrichtung zur Fahrerzustandserkennung
EP1957309B1 (de) Verfahren und vorrichtung zur fahrerzustandserkennung
DE102014220759B4 (de) Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
EP1796949B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
EP1663695B1 (de) Verfahren und vorrichtung zur fahrerunterst tzung
EP1796950B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
DE19630970B4 (de) Fahrzustandsüberwachungseinrichtung für Kraftfahrzeuge
DE102004048009A1 (de) Verfahren und Vorrichtung zur Fahrerunterstützung
DE10024227B4 (de) Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
DE102009009975A1 (de) Verfahren zur Ermittlung eines die Aufmerksamkeit eines Fahrers während einer Fahrt, insbesondere einer Autobahnfahrt, beschreibenden Aufmerksamkeitswertes und Kraftfahrzeug
DE102008007149B4 (de) Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
DE102011121260A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Aufmerksamkeitsverlust mit Hilfe eines Fehlerzählers
EP1502246A1 (de) Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
EP0952039B1 (de) Vorrichtung zur Einschlafwarnung eines Kraftfahrzeugführers
DE102009004487A1 (de) Verfahren zur Müdigkeitserkennung eines Fahrers
WO2016116201A1 (de) Verfahren und vorrichtung zum erkennen von sekundenschlaf eines fahrers eines fahrzeugs
EP3268942A1 (de) Verfahren und vorrichtung zum erkennen eines müdigkeits- und/oder schlafzustandes eines fahrers eines fahrzeugs
DE102015001686B4 (de) Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
WO2021058205A1 (de) Verfahren zum betreiben eines fahrzeuges
DE102004034748A1 (de) Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
DE102004047889A1 (de) Verfahren und Vorrichtung zur Fahrerunterstützung
DE102011115878B4 (de) Verfahren und Vorrichtung zur Kollisionswarnung bei Kraftfahrzeugen
DE102018206237A1 (de) Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person
DE102004048012A1 (de) Verfahren und Vorrichtung zur Fahrerunterstützung
WO2022157039A1 (de) Erkennung des aufmerksamkeitsgrades eines fahrzeuginsassen anhand der häufigkeitsverteilung der augenöffnungsweite

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090603

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20090914

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160401