DE102015001686B4

DE102015001686B4 - Method and device for detecting a driver's responsiveness in automated driving

Info

Publication number: DE102015001686B4
Application number: DE102015001686.5A
Authority: DE
Inventors: Wolfgang Stolzmann; Christian Braunagel; Till Prangel; Simone Sieloff
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2015-02-07
Filing date: 2015-02-07
Publication date: 2017-03-16
Anticipated expiration: 2035-02-08
Also published as: DE102015001686A1

Abstract

Verfahren zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeugs, wobei eine erste Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers erfolgt, wobei eine zweite Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer erfolgt, wobei die Reaktionsfähigkeit als gegeben klassifiziert wird, wenn die erste Bewertung und/oder die zweite Bewertung die Reaktionsfähigkeit als gegeben erkannt haben/hat, dadurch gekennzeichnet, dass bei der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers die Reaktionsfähigkeit dann als gegeben klassifiziert wird, wenn mindestens ein Auge des Fahrers während eines Mindestanteils eines vorgegebenen Zeitintervalls geöffnet ist, wobei die Reaktionsfähigkeit als nicht gegeben klassifiziert wird, wenn die Bedienung der Bedieneinheit durch eine andere Person als den Fahrer oder rhythmisch erfolgt.A method for detecting a responsiveness of a driver in the automated driving of a motor vehicle, wherein a first assessment of the responsiveness by means of camera observation of the driver, wherein a second assessment of responsiveness by detecting the operation of a control unit by the driver is performed, the responsiveness is classified as given, if the first evaluation and / or the second evaluation have recognized the responsiveness as being given, characterized in that in the first assessment of responsiveness by camera observation of the driver, the responsiveness is classified as given if at least one eye of the driver during a minimum proportion a predetermined time interval is opened, wherein the responsiveness is classified as not given when the operation of the operating unit by a person other than the driver or rhythmically.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method and a device for detecting a responsiveness of a driver in the automated driving of a motor vehicle according to the preamble of claim 1.

Moderne Kraftfahrzeuge weisen zur Entlastung des Fahrers Systeme auf, die ein Fahren mit einem mehr oder weniger hohen Automatisierungs- oder Autonomiegrad ermöglichen. In einem fahrergeführten Betrieb führt der Fahrer alle Aufgaben der Längs- und Querführung des Fahrzeugs selbst aus. Beim assistierten Fahren führt der Fahrer dauerhaft entweder die Quer- oder die Längsführung aus, während die jeweils andere Aufgabe von einem Fahrerassistenzsystem übernommen wird. Beim teilautomatisierten Fahren übernimmt ein System die Quer- und Längsführung, muss aber vom Fahrer dauerhaft überwacht werden und der Fahrer muss jederzeit zur Übernahme der Steuerung bereit sein. Beim hochautomatisierten Fahren übernimmt ein System die Quer- und Längsführung, wobei der Fahrer dies nicht dauerhaft überwachen muss. Dabei muss der Fahrer nach Aufforderung durch das System mit einer gewissen Zeitverzögerung zur Übernahme der Steuerung bereit sein. Beim vollautomatisierten Fahren übernimmt ein System die Quer- und Längsführung vollständig und dauerhaft. Beim Ausbleiben der Übernahme der Steuerung durch den Fahrer muss das System selbsttätig in einen risikominimalen Zustand zurückkehren. Beim autonomen oder fahrerlosen Fahren übernimmt das System vollständig und ohne Einschränkung die komplette Steuerung und ersetzt so den Fahrer.Modern motor vehicles have to relieve the driver systems that allow driving with a more or less high degree of automation or autonomy. In a driver-managed operation, the driver carries out all tasks of longitudinal and transverse guidance of the vehicle itself. In assisted driving, the driver permanently performs either the lateral or longitudinal guidance while the other task is performed by a driver assistance system. In semi-automated driving a system takes over the lateral and longitudinal guidance, but must be permanently monitored by the driver and the driver must be ready to take over the control at any time. In highly automated driving, a system takes over the lateral and longitudinal guidance, whereby the driver does not have to monitor this permanently. At the request of the system, the driver must be ready to take over the control with a certain time delay. In fully automated driving, a system takes over the lateral and longitudinal guidance completely and permanently. If the driver fails to take control of the system, the system must automatically return to a state of minimal risk. In autonomous or driverless driving, the system completely and without restriction takes over the complete control and thus replaces the driver.

Das Überwachen einer Reaktionsbereitschaft eines Fahrers eines automatisch geführten Kraftfahrzeugs wird üblicherweise dazu durchgeführt, um ein mögliches Eingreifen des Fahrers im Falle von automatisch gegebenenfalls nicht beherrschbaren Verkehrssituationen sicherzustellen. Insbesondere sind Systeme bekannt, die erkennen, ob der Fahrer zumindest eine Hand an einem Lenkrad des automatisch geführten Kraftfahrzeugs belässt. Sofern zumindest eine Hand an dem Lenkrad erkennbar ist, wird auf eine Reaktionsbereitschaft des Fahrers für eine Querführung oder Längsführung des Fahrzeugs geschlossen.The monitoring of a responsiveness of a driver of an automatically guided motor vehicle is usually carried out in order to ensure a possible intervention of the driver in the event of automatically possibly uncontrollable traffic situations. In particular, systems are known which detect whether the driver leaves at least one hand on a steering wheel of the automatically guided motor vehicle. If at least one hand is recognizable on the steering wheel, it is concluded that the driver is ready to react for a transverse guidance or longitudinal guidance of the vehicle.

Aus der DE 10 2013 002 778 A1 ist ein Verfahren zum Überwachen einer Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs während eines längs- und quergeregelten Fahrbetriebs, insbesondere bei einem automatisch geführten Kraftfahrzeug bekannt. Um ein Überwachen einer Reaktionsbereitschaft, bei der der Fahrer möglichst gering belastet wird, zu ermöglichen, sind die Schritte:

– Trennen einer Wirkverbindung eines Fahrpedals zu einer Antriebseinheit des Kraftfahrzeugs,
– Überwachen eines Fahrpedalwerts eines Fahrpedals des Kraftfahrzeugs,
– Vorgeben einer durch eine Betätigung des Fahrpedals durch den Fahrer des Kraftfahrzeugs erfüllbaren Bedingung für den Fahrpedalwert und
– Ermitteln der Reaktionsbereitschaft in Abhängigkeit der Bedingung vorgesehen.

From the DE 10 2013 002 778 A1 is a method for monitoring a responsiveness of a driver of a motor vehicle during a longitudinally and transversely controlled driving operation, in particular in an automatically guided motor vehicle known. In order to enable a monitoring of a responsiveness, in which the driver is charged as low as possible, are the steps:

Separating an operative connection of an accelerator pedal to a drive unit of the motor vehicle,
Monitoring an accelerator pedal value of an accelerator pedal of the motor vehicle,
Predetermining a condition for the accelerator pedal value which can be fulfilled by an actuation of the accelerator pedal by the driver of the motor vehicle and
- Determining the responsiveness provided depending on the condition.

Aus der US 2013/0131905 A1 ist ein Verfahren und ein System zum Überwachen der Aufmerksamkeit des Fahrers während der Fahrt bekannt.From the US 2013/0131905 A1 For example, a method and system for monitoring the driver's attention while driving is known.

Aus der nachveröffentlichten DE 10 2013 221 867 A1 ist eine Dateneingabevorrichtung für Kraftfahrzeuge bekannt, umfassend eine Eingabeeinrichtung und eine Steuereinrichtung, wobei die Steuereinrichtung mit einem Fahrsituationssensor verbunden ist, der ein die Fahrsituation beschreibendes Signal erzeugt. Die Steuereinrichtung ist derart ausgebildet, dass sie in Abhängigkeit der Fahrsituation eine Reaktionszeit verändert, mit welcher auf eine Eingabe an der Eingabeeinrichtung eine weitere Eingabe möglich ist, und die Reaktionszeit mit Erreichen einer vorbestimmten Fahrsituation verlängert wird.From the post-published DE 10 2013 221 867 A1 a data input device for motor vehicles is known, comprising an input device and a control device, wherein the control device is connected to a driving situation sensor which generates a signal describing the driving situation. The control device is designed such that, depending on the driving situation, it alters a reaction time with which further input can be made to an input on the input device, and the reaction time is extended upon reaching a predetermined driving situation.

Aus der DE 10 2010 049 081 A1 ist ein Verfahren zum Betreiben eines Kraftfahrzeugs bekannt, wobei das Verfahren folgende Schritte aufweist. Es erfolgt ein Ermitteln, ob zumindest ein Bedienelement von einem Fahrer des Kraftfahrzeugs während einer Fahrt des Kraftfahrzeugs betätigt wird. Das zumindest eine Bedienelement ist dabei Bestandteil eines fahrzeugeigenen Systems, ausgewählt aus der Gruppe, bestehend aus einem Informations- und Unterhaltungssystem, einer Klimaanlage, einer Spiegelverstellvorrichtung, einer Sitzverstellvorrichtung, einem Navigationssystem, einem ersten Fahrerassistenzsystem und/oder einem Telefonsystem. Zudem erfolgt ein Anpassen zumindest eines Parameters eines zweiten Fahrerassistenzsystems des Kraftfahrzeugs, falls das zumindest eine Bedienelement von dem Fahrer des Kraftfahrzeugs während der Fahrt des Kraftfahrzeugs betätigt wird, Aus der DE 10 2008 047 437 A1 ist eine Assistenzvorrichtung für ein Fahrzeug bekannt. Die Assistenzvorrichtung umfasst eine Erfassungsvorrichtung zum Erfassen einer Handhabung eines Bedienelements des Fahrzeugs durch einen Benutzer des Fahrzeugs, eine Bestimmungsvorrichtung zum Bestimmen, ob der Benutzer, welcher das Bedienelement handhabt, ein Fahrer des Fahrzeugs ist, und eine Verarbeitungseinheit. Die Verarbeitungseinheit stellt eine Unterstützung des Fahrers durch die Assistenzvorrichtung in Abhängigkeit von einer Bestimmung, ob der Benutzer, welcher das Bedienelement handhabt, der Fahrer des Fahrzeugs ist, ein.From the DE 10 2010 049 081 A1 a method for operating a motor vehicle is known, wherein the method comprises the following steps. It is determined whether at least one operating element is actuated by a driver of the motor vehicle during a drive of the motor vehicle. The at least one control element is part of an on-board system selected from the group consisting of an information and entertainment system, an air conditioner, a Spiegelverstellvorrichtung, a Sitzverstellvorrichtung, a navigation system, a first driver assistance system and / or a telephone system. In addition, at least one parameter of a second driver assistance system of the motor vehicle is adapted, if the at least one operating element is actuated by the driver of the motor vehicle while the motor vehicle is traveling DE 10 2008 047 437 A1 an assistance device for a vehicle is known. The assistance device comprises a detection device for detecting a handling of an operating element of the vehicle by a user of the vehicle, a determination device for determining whether the user handling the operating element is a driver of the vehicle, and a processing unit. The processing unit provides assistance to the driver by the assistant device in accordance with a determination as to whether the user handling the operating member is the driver of the vehicle.

Aus der US 2014/0 276 090 A1 sind ein Verfahren und eine Anordnung zur optischen Überwachung eines Fahrers eines Fahrzeugs bekannt, wobei ein Teil des Fahrers unter Verwendung mindestens einer Beleuchtungseinrichtung mit elektromagnetischer Strahlung in einem infraroten Bereich des elektromagnetischen Spektrums bestrahlt wird. Bilder des beleuchteten Fahrers werden erlangt durch mindestens eine Bilderfassungsvorrichtung und die Bilder werden analysiert, um ein Maß für die Strömung von Blut in mindestens einem Blutgefäß, Kapillaren und Venen in dem Gesicht des Insassen abzuleiten. Der Blutfluss über die Zeit wird analysiert, um zu bestimmen, ob der Fahrer die Möglichkeit, das Fahrzeug weiterhin zu steuern, verloren hat. Der Verlust der Fähigkeit, weiterhin das Fahrzeug zu steuern, tritt beispielsweise ein, wenn der Fahrer schläfrig wird, einschläft oder sonst nicht in der Lage ist, das Fahrzeug zu steuern, nachdem er zunächst wach oder anderweitig in der Lage war, das Fahrzeug zu steuern. From the US 2014/0 276 090 A1 For example, a method and an arrangement for optically monitoring a driver of a vehicle are known, wherein a part of the driver is irradiated with electromagnetic radiation in an infrared region of the electromagnetic spectrum using at least one illumination device. Images of the illuminated driver are acquired by at least one image capture device and the images are analyzed to derive a measure of the flow of blood in at least one blood vessel, capillaries, and veins in the occupant's face. Blood flow over time is analyzed to determine if the driver has lost the ability to continue controlling the vehicle. The loss of the ability to continue to control the vehicle occurs, for example, when the driver becomes drowsy, falls asleep, or is otherwise unable to control the vehicle after initially being awake or otherwise able to control the vehicle ,

Aus der US 2015/0 035 685 A1 ist ein System zur Alarmierung eines Benutzers bekannt, umfassend eine erste Einrichtung zur Fahrzeug-Fußgänger-Kommunikation. Die erste Einrichtung ist von einem Fußgänger betätigbar. Das System umfasst ferner ein durch einen Fahrer bedienbares Fahrzeug, das eine zweite Vorrichtung für die Fahrzeug-Fußgänger-Kommunikation umfasst. Das System ist konfiguriert, einen zumindest an den Fahrer und/oder den Fußgänger gerichteten Alarm über die erste Vorrichtung und/oder die zweite Vorrichtung zu generieren.From the US 2015/0 035 685 A1 a system for alerting a user is known, comprising a first device for vehicle-pedestrian communication. The first device is operated by a pedestrian. The system further includes a driver-operable vehicle including a second vehicle-pedestrian communication device. The system is configured to generate an alarm directed at least to the driver and / or the pedestrian via the first device and / or the second device.

Aus der DE 10 2008 038 859 A1 ist ein System zur Erfassung der Wahrnehmung eines Menschen bekannt, umfassend eine Erfassungseinheit, die ausgebildet ist, eine Information aus einem Informationssystem wenigstens eines Menschen, insbesondere als neuronale Impulse und/oder hormonelle Signale und/oder Stoffwechselvorgänge im Nervensystem, zu erfassen, eine Wahrnehmungsumfeldbeeinflussungsvorrichtung, die ausgebildet ist, eine Einwirkung auf einen relevanten Teil eines Wahrnehmungsumfeldes des Menschen zu nehmen, wobei durch die Einwirkung auf das Wahrnehmungsumfeld ein Reiz in einem Sinnesorgan des Menschen ausgelöst oder verändert wird, und eine Auswertungseinheit, die ausgebildet ist, eine Reaktion des Menschen auf die Einwirkung anhand der erfassten Information zu identifizieren und daraus auf die Wahrnehmung des relevanten Teils des Wahrnehmungsumfeldes zu schließen.From the DE 10 2008 038 859 A1 a system for detecting the perception of a person is known, comprising a detection unit which is designed to detect information from an information system of at least one human, in particular as neuronal impulses and / or hormonal signals and / or metabolic processes in the nervous system, a perceptual environment influencing device, which is designed to take effect on a relevant part of a perceptual environment of the person, whereby a stimulus in a sense organ of the person is triggered or changed by the effect on the perceptual environment, and an evaluation unit which is designed, a reaction of the person to the human Identify impact on the basis of the information collected and to conclude on the perception of the relevant part of the perceptual environment.

Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren, insbesondere hochautomatisierten Fahren, eines Kraftfahrzeugs anzugeben.The invention is based on the object to provide an improved method and an improved device for detecting a responsiveness of a driver in automated driving, in particular highly automated driving, of a motor vehicle.

Die Aufgabe wird erfindungsgemäß gelost durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 9.The object is achieved according to the invention by a method having the features of claim 1 and by a device having the features of claim 9.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Bei einem erfindungsgemäßen Verfahren zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren, insbesondere hochautomatisierten Fahren, eines Kraftfahrzeugs wird eine erste Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers durchgeführt. Weiter wird eine zweite Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer durchgeführt, wobei die Reaktionsfähigkeit als gegeben klassifiziert wird, wenn die erste Bewertung und/oder die zweite Bewertung die Reaktionsfähigkeit als gegeben erkannt haben/hat.In a method according to the invention for detecting a driver's ability to react during automated driving, in particular highly automated driving, of a motor vehicle, a first evaluation of the reactivity is carried out by means of camera observation by the driver. Further, a second evaluation of the responsiveness is performed by the operator's recognition of the operation of an operation unit, the responsiveness being classified as given if the first evaluation and / or the second evaluation have recognized the responsiveness as given.

Erfindungsgemäß wird bei der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers die Reaktionsfähigkeit dann als gegeben klassifiziert, wenn mindestens ein Auge des Fahrers während eines Mindestanteils eines vorgegebenen Zeitintervalls geöffnet ist,According to the invention, in the first evaluation of responsiveness by camera observation of the driver, the responsiveness is classified as given if at least one eye of the driver is opened for a minimum proportion of a predetermined time interval,

Unter Reaktionsfähigkeit soll verstanden werden, dass der Fahrer auf eine Anforderung, beispielsweise zur Übernahme der Steuerung des Kraftfahrzeugs, reagieren kann. In Abgrenzung dazu soll unter Aufmerksamkeit verstanden werden, dass der Fahrer auf jede Verkehrssituation angemessen reagieren kann. Unter Übernahmebereitschaft soll verstanden werden, dass der Fahrer nach Aufforderung vor Ablauf einer Übergabezeit aufmerksam ist.Responsiveness is understood to mean that the driver can respond to a request, for example to take over the control of the motor vehicle. By contrast, attention should be given to the fact that the driver can react appropriately to any traffic situation. Takeover readiness is to be understood as meaning that the driver is alert to the request before the end of a transfer time.

Beim hochautomatisierten Fahren fährt der Fahrer generell nicht mehr selbst, sondern muss nur nach Aufforderung durch das Fahrzeug vor Ablauf einer Übergabezeit zur Übernahme der Fahraufgabe bereit sein. Er wird also zum Beobachter eines Autopiloten. Durch den erhöhten Automatisierungsgrad kann es im Vergleich zum selber Fahren zu monotoneren Situationen kommen und damit zu einer verstärkten Vigilanzminderung. Das kann im schlimmsten Fall dazu führen, dass der Fahrer die Fahraufgabe nach Aufforderung nicht mehr übernehmen kann. Um dieser Vigilanzminderung zu begegnen, wird durch eine Erkennung der Reaktionsfähigkeit des Fahrers seine Übernahmebereitschaft sichergestellt. Unter der Annahme, dass der Fahrer bis zum Zeitpunkt der Übernahme keine Informationen über die aktuelle Verkehrssituation haben muss, können Reaktionsfähigkeit und Übernahmebereitschaft gleichgesetzt werdenIn highly automated driving, the driver generally no longer drives himself, but only has to be ready to take over the driving task upon request by the vehicle before the end of a transfer time. He becomes the observer of an autopilot. The increased degree of automation can lead to more monotonous situations in comparison to driving yourself, and thus to an increased reduction in vigilance. In the worst case, this can lead to the driver being unable to take over the driving task when requested. In order to counteract this reduction in vigilance, detection of the driver's ability to react ensures that he is ready to take over. Assuming that the driver does not need to have any information about the current traffic situation until the time of the takeover, responsiveness and readiness to take over can be equated

Eine für das hochautomatisierte Fahren zu geringe Reaktionsfähigkeit kann durch Vigilanzminderung, plötzlich auftretende gesundheitliche Probleme (beispielsweise Herzinfarkt) und/oder absichtliches oder versehentliches Vernachlässigen der Überwachungsaufgabe entstehen. A lack of responsiveness for highly automated driving may result from reduced vigilance, sudden health problems (eg heart attack) and / or intentional or accidental neglect of the monitoring task.

Wird lediglich eine erste Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers durchgeführt, kann diese durch eine Brille, einen Vollbart oder besonders schmale Augen eingeschränkt sein. Auf diese Weise kann der Fahrer fälschlich als nicht reaktionsfähig klassifiziert werden.If only a first evaluation of the responsiveness is carried out by means of camera observation of the driver, this can be limited by glasses, a full beard or particularly narrow eyes. In this way, the driver may be erroneously classified as unresponsive.

Durch die Kombination der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers mit der zweiten Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer wird eine Rückfallebene geschaffen, mit der die Reaktionsfähigkeit sicherer nachgewiesen werden kann. Der Begriff „Bedieneinheit” umfasst neben der bekannten Betätigung von Schaltern sowohl den aus der Eisenbahntechnik bekannten Totmannschalter als auch andere Bedienungen wie Gestenbedienung, oder Bedienung von berührungsempfindlichen Bildschirmen (Touch-Screen oder Touch-Pad)The combination of the first assessment of the responsiveness by camera observation of the driver with the second evaluation of the responsiveness by the recognition of the operation of a control unit by the driver creates a fallback level with which the reactivity can be more reliably detected. The term "control unit" includes in addition to the known operation of switches both known from the railway engineering deadman switch as well as other operations such as gesture operation, or operation of touch-sensitive screens (touch screen or touch pad)

Die zweite Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer hat Ähnlichkeit mit der Sicherheitsfahrschaltung in einem Triebfahrzeug (Totmannschalter). Die Sicherheitsfahrschaltung bewirkt eine Zwangsbremsung und schaltet den Antrieb des Triebfahrzeuges ab, wenn der Triebfahrzeugführer handlungsunfähig geworden oder eine Fehlbedienung der Sicherheitsfahrschaltung erfolgt ist. Zum Nachweis der Handlungsfähigkeit muss der Lokführer spätestens alle 30 s einen Sicherheitsfahrschaltungs-Taster drücken (VDE-Norm 0119-207-5. Die ausschließliche Verwendung einer Sicherheitsfahrschaltung zur Erkennung der Reaktionsfähigkeit beim hochautomatisierten Fahren wäre für den Fahrer extrem belästigend und störend.The second evaluation of the responsiveness by the recognition of the operation of an operating unit by the driver is similar to the safety driving circuit in a traction vehicle (deadman switch). The safety drive circuit causes emergency braking and shuts off the drive of the traction unit when the driver has become incapacitated or a malfunction of the safety drive circuit has occurred. To demonstrate the ability to act, the driver must press a safety travel button at least every 30 seconds (VDE standard 0119-207-5.) The exclusive use of a safety driving circuit to detect the reactivity in highly automated driving would be extremely annoying and disturbing to the driver.

In einer Ausführungsform der Erfindung erfolgt die zweite Bewertung mittels Erkennung einer Berührung eines Lenkrads durch den Fahrer. Dies kann beispielsweise mittels eines mit ein oder mehreren kapazitiven Sensoren versehenen Lenkrads oder durch Ermitteln eines durch den Fahrer dem Lenkrad aufgeprägten Handmoments mittels einer Servolenkung, insbesondere einer elektrischen Servolenkung, erfolgen. Auf diese Weise wird vermieden, dass der Fahrer monoton eine ganz bestimmte Taste bedienen muss, um seine Reaktionsfähigkeit nachzuweisen.In one embodiment of the invention, the second assessment is carried out by detecting a touch of a steering wheel by the driver. This can be done, for example, by means of a steering wheel provided with one or more capacitive sensors or by determining a hand torque impressed on the steering wheel by the driver by means of a power steering, in particular an electric power steering. In this way it is avoided that the driver must monotonically operate a specific key to prove his ability to react.

Erfindungsgemäß wird die Reaktionsfähigkeit als nicht gegeben klassifiziert, wenn die Bedienung der Bedieneinheit durch eine andere Person als den Fahrer oder rhythmisch erfolgt. Die Bedienung durch den Fahrer kann sichergestellt werden, indem nur solche Bedienelemente berücksichtigt werden, die ausschließlich vom Fahrer erreichbar sind oder solchen, die erkennen, ob der Fahrer bedient (z. B. Gestenbedienung). Ebenso kann mittels Kamerabeobachtung verifiziert werden, dass der Fahrer die Bedienung vorgenommen hat. Eine rhythmische Bedienung kann vom Fahrer eventuell auch dann erfolgen, wenn er im Halbschlaf ist. Der Ausschluss vermeidet so eine Fehlklassifikation der Reaktionsfähigkeit.According to the invention, the responsiveness is classified as not given if the operation of the operating unit is performed by another person than the driver or rhythmically. The operation by the driver can be ensured by taking into account only those operating elements which are only accessible by the driver or those which detect whether the driver is operating (eg gesture operation). Likewise, it can be verified by means of camera observation that the driver has made the operation. A rhythmic operation may also be done by the driver even when he is half asleep. The exclusion thus avoids a misclassification of responsiveness.

In einer Ausführungsform der Erfindung kann mittels eines Zählers eine Zeit seit der Bedienung der Bedieneinheit ermittelt werden, wobei die Reaktionsfähigkeit als gegeben klassifiziert wird, wenn vor Ablauf eines vorgegebenen ersten Zeitintervalls eine erneute Bedienung der Bedieneinheit oder irgendeiner der Bedieneinheiten erfolgt.In one embodiment of the invention, a time since the operation of the operating unit can be determined by means of a counter, wherein the responsiveness is classified as given if a re-operation of the operating unit or any of the operating units takes place before a predetermined first time interval.

Bei Ablauf des vorgegebenen ersten Zeitintervalls ohne detektierte Bedienung der Bedieneinheit kann ein erstes Signal generiert werden, das den Fahrer zur Bedienung der Bedieneinheit oder irgendeiner Bedieneinheit oder zu einer mittels der Kamerabeobachtung detektierbaren Handlung auffordert, wobei die Reaktionsfähigkeit als gegeben klassifiziert wird, wenn eine Reaktion des Fahrers, das heißt eine Bedienung der oder einer Bedieneinheit oder eine mittels der Kamerabeobachtung detektierbare Handlung, auf das erste Signal innerhalb eines vorgegebenen zweiten Zeitintervalls detektiert wird, erfolgt.At the expiration of the predetermined first time interval without detected operation of the operating unit, a first signal can be generated, which prompts the driver to operate the operating unit or any operating unit or detectable by the camera observation action, the responsiveness is classified as given when a reaction of Driver, that is, an operation of the or a control unit or an action detectable by the camera observation, is detected on the first signal within a predetermined second time interval occurs.

Bei Ausbleiben einer Reaktion des Fahrers auf das erste Signal innerhalb des vorgegebenen zweiten Zeitintervalls kann ein zweites Signal, beispielsweise ein akustisches oder visuelles oder haptisches Signal, generiert werden, das den Fahrer zur Übernahme der Bedienung des Fahrzeugs zur Beendigung des automatisierten Fahrens auffordert.In the absence of a response of the driver to the first signal within the predetermined second time interval, a second signal, such as an audible or visual or haptic signal, may be generated which prompts the driver to take over the operation of the vehicle to terminate the automated driving.

Zum Beispiel kann das erste Signal akustisch, visuell oder haptisch sein, sollte sich aber vom 2. Signal unterscheiden. Das 2. Signal sollte so gestaltet werden, dass es vom Fahrer als dringlicher wahrgenommen wird.For example, the first signal may be auditory, visual, or haptic, but should differ from the second signal. The 2nd signal should be designed so that it is perceived by the driver as more urgent.

In einer Ausführungsform der Erfindung kann bei Ausbleiben einer Reaktion des Fahrers auf das zweite Signal innerhalb eines vorgegebenen dritten Zeitintervalls eine Verzögerung des Fahrzeugs oder ein automatisierter Not-Halt des Fahrzeugs erfolgen.In one embodiment of the invention, in the absence of a driver response to the second signal within a predetermined third time interval, a deceleration of the vehicle or an automated emergency stop of the vehicle may occur.

Bei als gegeben klassifizierter Reaktionsfähigkeit kann der Zähler zurückgesetzt werden. Der Zähler beginnt dann erneut, eine Zeit seit der Bedienung der Bedieneinheit zu ermitteln.If the reactivity is classified as given, the counter can be reset. The counter then starts again to determine a time since the operation of the operating unit.

Vorteilhaft ist dabei, dass auch bei Versagen der Kamerabeobachtung eine sichere Erkennung der Reaktionsfähigkeit durch die zweite Bewertung bestehen bleibt und dass eine Belästigung des Fahrers insgesamt insbesondere durch die erste Bewertung minimiert wird. It is advantageous that even in case of camera failure a reliable detection of the responsiveness remains through the second assessment and that annoyance of the driver is minimized overall in particular by the first assessment.

Bei der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers kann die Reaktionsfähigkeit beispielsweise auch dann als gegeben klassifiziert werden, wenn eine oder mehrere der folgenden Bedingungen erfüllt ist/sind:

– mindestens ein Auge des Fahrers blinzelt mit einer geringeren Frequenz als einer vorgegebenen Frequenz,
– eine kontrollierte Kopfbewegung wird erkannt.

For example, in the first evaluation of responsiveness by camera observation of the driver, the responsiveness may be classified as given even if one or more of the following conditions is met:

At least one eye of the driver blinks at a lower frequency than a predetermined frequency,
- a controlled head movement is detected.

Aus den oben genannten Bedingungen wird geschlossen, dass der Fahrer zwar abgelenkt aber nicht besonders müde ist. Es gilt, dass besonders müde Menschen blinzeln besonders viel während stark abgelenkte Menschen besonders wenig blinzeln.From the above conditions it is concluded that the driver is distracted but not very tired. It is true that especially tired people blink especially hard while heavily distracted people do not blink much.

Die Erkennung einer kontrollierten Kopfbewegung kann unter Berücksichtigung folgender Aspekte erfolgen:
Bei Fixationswechseln, die wegen der Größe des Winkels zwischen bisherigem und neuem Fixationsziel nicht alleine durch eine Augenbewegung stattfinden, kommt es zu kontrollierten Kopfbewegungen, die nur von wachen Menschen gemacht werden. Wird eine solche kontrollierte Kopfbewegung erkannt, so wird der Fahrer als reaktionsfähig klassifiziert.The detection of a controlled head movement can take place with consideration of the following aspects:
In fixation changes that do not take place solely by an eye movement because of the size of the angle between the previous and new fixation target, it comes to controlled head movements, which are made only by awake people. If such a controlled head movement is detected, the driver is classified as reactive.

Hierzu wird eine Kopfbewegung gemessen und einem Algorithmus übergeben. Beispielsweise wird eine horizontale Kopfbewegung des Fahrers während der Fahrt mit einer Fahrerkamera gemessen. Im Signal der horizontalen Kopfbewegung werden Bewegungsmuster erkannt. Diese Bewegungsmuster sind typisch für die Kopf-Auge-Koordination bei Blickwechseln. Durch die Erkennung von typischen Blickwechselmustern kann auf den Zustand des Fahrers, beispielsweise auf die Reaktionsfähigkeit, geschlossen werden. Ein solcher Algorithmus ist online-fähig.For this purpose, a head movement is measured and passed to an algorithm. For example, a horizontal head movement of the driver is measured while driving with a driver camera. In the horizontal head movement signal, movement patterns are detected. These movement patterns are typical for head-to-eye coordination when looking at each other. By recognizing typical Blickwechselmustern can on the condition of the driver, for example, responsiveness, closed. Such an algorithm is online-enabled.

In einer Ausführungsform der Erfindung kann zur Klassifizierung einer Kopfbewegung als kontrollierte Kopfbewegung eine Amplitude der Kopfbewegung, eine Maximalgeschwindigkeit der Kopfbewegung, eine Durchschnittsgeschwindigkeit der Kopfbewegung, eine Dauer der Kopfbewegung und ein Amplituden-Geschwindigkeits-Verhältnis der Kopfbewegung ermittelt und ausgewertet werden.In one embodiment of the invention, to classify a head movement as a controlled head movement, an amplitude of head movement, a maximum head movement speed, an average head movement speed, a head movement duration and an amplitude-to-head movement speed ratio can be determined and evaluated.

Bei einer erfindungsgemäßen Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeugs ist eine Kamera zur Beobachtung des Fahrers und eine mit der Kamera verbundene erste Auswerteeinheit für eine erste Bewertung der Reaktionsfähigkeit des Fahrers anhand der Kamerabeobachtung vorgesehen. Eine zweite Auswerteeinheit zur Erkennung der Bedienung einer Bedieneinheit durch den Fahrer ist für eine zweite Bewertung der Reaktionsfähigkeit des Fahrers vorgesehen.In a device according to the invention for detecting a reactivity of a driver during automated driving of a motor vehicle, a camera for monitoring the driver and a first evaluation unit connected to the camera are provided for a first evaluation of the driver's responsiveness based on the camera observation. A second evaluation unit for the recognition of the operation of an operating unit by the driver is provided for a second evaluation of the responsiveness of the driver.

Durch die Kombination der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers mit der zweiten Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer wird eine Rückfallebene geschaffen, mit der die Reaktionsfähigkeit sicherer nachgewiesen werden kann.The combination of the first assessment of the responsiveness by camera observation of the driver with the second evaluation of the responsiveness by the recognition of the operation of a control unit by the driver creates a fallback level with which the reactivity can be more reliably detected.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 einen Ablaufplan eines Algorithmus zur Klassifizierung einer Kopfbewegung als kontrollierte Kopfbewegung, 1 a flowchart of an algorithm for classifying a head movement as a controlled head movement,

2 ein Diagramm mit Signalmustern einer Amplitude und einer Geschwindigkeit einer horizontalen Kopfbewegung bei einem Blickwechsel, und 2 a diagram with signal patterns of an amplitude and a speed of a horizontal head movement in a change of view, and

3 eine schematische Ansicht einer Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeugs. 3 a schematic view of a device for detecting a reactivity of a driver in the automated driving of a motor vehicle.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

Bei einem Verfahren zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeugs erfolgt eine erste Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers.In a method for detecting a reactivity of a driver in the automated driving of a motor vehicle, a first evaluation of the responsiveness by means of camera observation of the driver takes place.

Hierzu wird beispielsweise eine horizontale Kopfbewegung KB_H gemessen und einem Algorithmus übergeben, dessen schematischer Ablaufplan in 1 dargestellt ist. 2 zeigt ein Diagramm mit Signalmustern einer Amplitude A und einer Geschwindigkeit v einer horizontalen Kopfbewegung KB_H. Beispielsweise wird die horizontale Kopfbewegung KB_H des Fahrers während der Fahrt mit einer Fahrerkamera gemessen. Im Signal Geschwindigkeit v der horizontalen Kopfbewegung KB_H werden in einem Schritt S1 Bewegungsmuster mit Blickwechseln erkannt. Diese Bewegungsmuster sind typisch für die Kopf-Auge-Koordination bei Blickwechseln. Durch die Erkennung von typischen Blickwechselmustern kann auf den Zustand des Fahrers, beispielsweise auf die Reaktionsfähigkeit, geschlossen werden. Ein solcher Algorithmus ist online-fähig.For this example, a horizontal head movement KB _H measured and passed to an algorithm whose schematic flowchart in 1 is shown. 2 shows a diagram with signal patterns of an amplitude A and a velocity v of a horizontal head movement KB _H. For example, the driver's horizontal head movement KB _{H is} measured while driving with a driver camera. In the signal velocity v of the horizontal head movement KB _H , motion patterns with changes of sight are detected in a step S1. These movement patterns are typical for head-to-eye coordination when looking at each other. By recognizing typical glances, the condition of the driver, For example, the responsiveness, closed. Such an algorithm is online-enabled.

In einer Ausführungsform der Erfindung kann zur Klassifizierung einer Kopfbewegung als kontrollierte Kopfbewegung eine Amplitude A der Kopfbewegung, eine Maximalgeschwindigkeit der Kopfbewegung, eine Durchschnittsgeschwindigkeit der Kopfbewegung, eine Dauer der Kopfbewegung und ein Amplituden-Geschwindigkeits-Verhältnis der Kopfbewegung ermittelt und ausgewertet werden.In one embodiment of the invention, to classify a head movement as a controlled head movement, an amplitude A of head movement, a maximum head movement speed, an average head movement speed, a head movement duration and an amplitude-to-head movement speed ratio can be determined and evaluated.

Die Bewegungsmuster im Signal liegen als Spitzen (Peaks) im Signal der Geschwindigkeit v vor (siehe 2). Das Signal der Geschwindigkeit v kann beispielsweise durch Anwendung eines Savitzky-Golay-Filters berechnet werden. Sehr hohe Winkelgeschwindigkeiten, die aufgrund physiologischer Gegebenheiten bei Kopfdrehungen nicht auftreten können, können durch eine Sättigung beschränkt werden. Anhand von Schwellwerten Θ_amp für die Amplitude A und Θ_vel für die Maximal- oder Durchschnittsgeschwindigkeit werden alle Spitzen aus dem Signal extrahiert, die eine Amplitude A > Θ_amp und eine Geschwindigkeit v > Θ_vel besitzen. Die Schwellwerte können je nach Messtechnik und Anwendungsfall angepasst werden. Eine Möglichkeit ist es, die Schwellwerte entsprechend der jeweiligen Unsicherheit in den Signalen zu wählen. Durch diesen Schritt S2 werden alle möglichen Blickwechsel mit einem vorhandenen Anteil einer horizontalen Kopfbewegung KB_H detektiert. Um einen echten Blickwechsel von einer Falschdetektion zu unterscheiden, werden für jeden detektierten möglichen Blickwechsel verschiedene Merkmale extrahiert. Anhand dieser Merkmale wird eine Klassifikation der echten Blickwechsel und der Falschdetektionen möglich. Zu diesen Merkmalen gehören nach [Johns, M. W. ”The amplitude-velocity ratio of blinks: a new method for monitoring drowsiness.” Sleep 26 (2003): A51]:

– eine Amplitude A,
– eine Maximalgeschwindigkeit v_max,
– eine Durchschnittsgeschwindigkeit v_∅,
– eine Dauer T.

The motion patterns in the signal are peaks (peaks) in the signal of velocity v (see 2 ). The signal of velocity v can be calculated, for example, by using a Savitzky-Golay filter. Very high angular velocities, which can not occur due to physiological conditions in head rotations, can be limited by a saturation. Based on thresholds Θ _amp for the amplitude A and Θ _vel for the maximum or average speed, all peaks are extracted from the signal having an amplitude A> Θ _amp and a speed v> Θ _vel . The threshold values can be adjusted depending on the measurement technique and application. One possibility is to select the thresholds according to the respective uncertainty in the signals. Through this step S2, all possible glances with an existing portion of a horizontal head movement KB _{H are} detected. In order to distinguish a real change of vision from a false detection, different features are extracted for each detected possible change of perspective. On the basis of these characteristics, a classification of the real changes of vision and the false detections becomes possible. These features include [Johns, MW "The amplitude-velocity ratio of blinks: a new method for monitoring drowsiness." Sleep 26 (2003): A51]:

An amplitude A,
A maximum velocity v _max ,
An average _velocity v _∅ ,
- a duration T.

Außerdem gehören dazu

– ein Amplituden-Geschwindigkeit-Verhältnis R_A/V.

They also belong to it

An amplitude-speed ratio R _{A / V.}

Die Schwellwerte der einzelnen Merkmale können a priori als globale Schwellwerte SW_G festgelegt werden, als gelernte Schwellwerte SW_L adaptiv gelernt werden oder durch eine Kombination beider Vorgehensweisen bestimmt werden. Online-fähige adaptive Verfahren sind u. a. in der DE 10 2005 026 457 A1 und in [Bishop, Christopher M. Pattern recognition and machine learning. Vol. 4. No. 4. New York: springer, 2006.] beschrieben. Durch diese adaptiven Verfahren können sowohl die auftretenden inter- als auch die intraindividuellen Unterschiede verschiedener Personen berücksichtigt werden. Die DE 10 2005 026 457 A1 wird durch Verweis in ihrem vollen Umfang in die vorliegende Beschreibung einbezogen.The threshold values of the individual features can be determined a priori as global threshold values SW _G , learned adaptively as learned threshold values SW _L , or determined by a combination of both approaches. Online-enabled adaptive methods are among others in the DE 10 2005 026 457 A1 and in [Bishop, Christopher M. Pattern recognition and machine learning. Vol. 4. New York: springer, 2006.]. By means of these adaptive methods, it is possible to take into account both the inter-individual and the intra-individual differences of different persons. The DE 10 2005 026 457 A1 is incorporated herein by reference in its full scope.

Bei der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers kann die Reaktionsfähigkeit beispielsweise auch dann als gegeben klassifiziert werden, wenn alternativ oder zusätzlich eine oder mehrere der folgenden Bedingungen erfüllt ist/sind:

– mindestens ein Auge des Fahrers ist während eines Mindestanteils eines vorgegebenen Zeitintervalls geöffnet,
– mindestens ein Auge des Fahrers blinzelt mit einer geringeren Frequenz als einer vorgegebenen Frequenz.

For example, in the first assessment of responsiveness by camera observation of the driver, the responsiveness may be classified as given if, alternatively or additionally, one or more of the following conditions is met:

At least one eye of the driver is opened for a minimum proportion of a predetermined time interval,
- At least one eye of the driver blinks at a lower frequency than a predetermined frequency.

Zur Bestimmung, wie lange das Auge des Fahrers über einen bestimmten Zeitraum hinweg geöffnet ist, kann ein sogenanntes PERCLOS (percent of eye closure) bestimmt werden. Es beschreibt den Zeitanteil, in denen die Augen geschlossen sind und ist beispielsweise in [Ronald R. Knipling, Walter W. Wierwille: ”Vehicle-Based Drowsy Driver Detection: Current Status and Future Prospects.” In: IVHS America Fourth Annual Meeting, Atlanta, GA, April 17–20, 1994] beschrieben.To determine how long the driver's eye is open over a period of time, a so-called PERCLOS (percent of eye closure) can be determined. It describes the time in which the eyes are closed and is, for example, in [Ronald R. Knipling, Walter W. Wierwille: "Vehicle-Based Drowsy Driver Detection: Current Status and Future Prospects." In: IVHS America's Fourth Annual Meeting, Atlanta GA, April 17-20, 1994].

PERCLOS wird in der Literatur folgendermaßen mit Müdigkeit oder Vigilanzminderung in Verbindung gebracht:
Ein PERCLOS von weniger als 0,24 bedeutet, dass der Fahrer aufmerksam ist (vgl. [H. De Rosario, J. S. Solaz, N. Rodriguez, L. M. Bergasa: ”Controlled inducement and measurement of drowsiness in a driving simulator.” In: IET Intell. Transp. Syst., 2010, Vol. 4, Iss. 4, S. 284 Table 1]).PERCLOS is associated with fatigue or reduced vigilance in the literature as follows:
A PERCLOS of less than 0.24 means that the driver is attentive (see H. De Rosario, JS Solaz, N. Rodriguez, LM Bergasa: Controlled Inducement and Measurement of Drowsiness in a Driving Simulator.) In: IET Intell. Transp. Syst., 2010, Vol. 4, Iss. 4, p. 284 Table 1]).

In [Fabian Friedrichs, Bin Yang: ”Camera-based Drowsiness Reference for Driver State Classification under Real Driving Conditions.” In: IEEE Intelligent Vehicle Symposium (IV) 2010, San Diego, USA, June 2010, 2, Table 1] wird an einem Beispiel gezeigt, dass bei einem PERCLOS von weniger als 0,2 der Fahrer sich noch nicht anstrengen muss, wach zu bleiben.In [Fabian Friedrichs, Bin Yang: "Camera-based Drowsiness Reference for Driver State Classification and Real Driving Conditions." In: IEEE Intelligent Vehicle Symposium (IV) 2010, San Diego, USA, June 2010, 2 Table 1] shows an example that with a PERCLOS of less than 0.2, the driver still does not have to make an effort to stay awake.

[Luis M. Bergasa, Miguel A. Sotelo, Rafael Barea, and Maria Elena Lopez: ”Real-Time System for Monitoring Driver Vigilance.” In: IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, Vol. 7, No. 1, March 2006, 11] vergleicht PERCLOS mit einem Aufmerksamkeitsmaß DIL, was einen Schwellwert von weniger als etwa 0,25 für Aufmerksamkeit nahe legt.[Luis M. Bergasa, Miguel A. Sotelo, Rafael Barea, and Maria Elena Lopez: "Real-Time System for Monitoring Driver Vigilance." In: IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, Vol. 1, March 2006, 11 ] compares PERCLOS with an attention measure DIL, suggesting a threshold of less than about 0.25 for attention.

Das PERCLOS-Maß erfasst insbesondere schwere Müdigkeit und ist nicht sensitiv für beginnende Müdigkeit. (vgl. [Christina Platho, Anna Pietrek, Harald Kolrep: ”Erfassung der Fahrermüdigkeit.” In: Berichte der Bundesanstalt für Straßenwesen Fahrzeugtechnik Heft F 89, S. 19]).The PERCLOS measurement specifically detects severe fatigue and is not sensitive to onset fatigue. (see [Christina Platho, Anna Pietrek, Harald Kolrep: "Recording the driver fatigue." In: Reports of the Federal Highway Research Institute for Automotive Engineering, Issue F 89, p 19]).

PERCLOSx ist der Zeitanteil, in dem das Auge zu mehr als x% geschlossen ist. Beispielsweise können PERCLOS70 und PERCLOS80 verwendet werden.PERCLOSx is the time fraction in which the eye is closed more than x%. For example, PERCLOS70 and PERCLOS80 can be used.

Bestimmt man offene oder geschlossene Augen in der Kamera durch ein klassifizierendes und nicht durch ein messendes Verfahren der Lidspalte, so kann man trotzdem ein PERCLOS-Maß berechnen, auch wenn dann kein konkretes x angegeben werden kann.If one determines open or closed eyes in the camera by a classifying and not by a measuring method of the eyelid, then one can nevertheless calculate a PERCLOS measure, even if then no concrete x can be specified.

PERCLOSx kann mit Hilfe der Kamerabeobachtung des Fahrers durch Erkennung und Vermessung einer Lidspalte bestimmt werden. Ist PERCLOSx kleiner als y%, so ist der Fahrer reaktionsbereit. Beispielsweise kann x 70 oder 80 und y 25 sein. Dabei wird PERCLOSx als gleitender Mittelwert über ein Zeitintervall von z Sekunden, beispielsweise 30 oder 60 Sekunden, bestimmt. Die Wahl von z kann je nach Qualität der Kamera (Verfügbarkeit der Messung der Lidspalte) angepasst werden. Die Wahl von z hängt jedoch nicht nur von der Wahl der Kamera ab, sondern auch davon, wie sensitiv man das PERCLOS-Maß braucht.PERCLOSx can be determined with the help of the camera observation of the driver by detection and measurement of an eyelid column. If PERCLOSx is less than y%, the driver is ready to react. For example, x may be 70 or 80 and y is 25. PERCLOSx is determined as a moving average over a time interval of z seconds, for example 30 or 60 seconds. The choice of z can be adjusted according to the quality of the camera (availability of the measurement of the eyelid column). The choice of z depends not only on the choice of the camera, but also how sensitive you need the PERCLOS measure.

Bei der Erkennung des Blinzelns eines Auges des Fahrers kann folgendes berücksichtigt werden. Die Frequenz und Dauer von Blinzlern (gleitende Mittelwerte) steigen vor Sekundenschlafereignissen oder vor dem Verlassen einer Fahrspur (siehe [C. Papadelis et al.: ”Monitoring sleepiness with on-board electrophysiological recordings for preventing sleep-deprived traffic accidents.” In: Clinical Neurophysiology 118 (2007), 1906–1922, S. 1917, 11]).In recognizing the blinking of an eye of the driver, the following may be considered. The frequency and duration of blinkers (moving averages) increase before sleep events or before leaving a lane (see [C. Papadelis et al .: "Monitoring sleepiness with on-board electrophysiological recordings of sleep-deprived traffic accidents." In: Clinical Neurophysiology 118 (2007), 1906-1922, p. 1917, 11 ]).

Die Frequenz von Blinzlern (gleitender Mittelwert) reduziert sich stark, wenn man konzentriert auf einen Bildschirm, beispielsweise ein Zentraldisplay schaut.The frequency of blinkers (moving average) is greatly reduced when looking concentrated at a screen, for example a central display.

Frequenz und Dauer von Blinzlern sind individuell stark unterschiedlich.Frequency and duration of Blinzlern are individually strongly different.

Analog zu den in der DE 10 2005 026 457 A1 genannten Quartilen mean25 und mean75 lassen sich individuelle Schwellwerte sowohl für Frequenz als auch für Dauer der Blinzler bestimmen.Analogous to those in the DE 10 2005 026 457 A1 Quartets mean25 and mean75 can be determined individual thresholds for both frequency and duration of Blinzler.

Überschreitet die Frequenz des Blinzelns einen individuellen Schwellwert analog zu der in der DE 10 2005 026 457 A1 genannten theta_Ruhe (indem man die Lenkradwinkelgeschwindigkeit durch die Blinzlerfrequenz ersetzt) und unterschreitet die Frequenz einen anderen individuellen Schwellwert analog zu theta_event, so ist der Fahrer reaktionsfähig.If the frequency of the blinking exceeds an individual threshold analogous to that in the DE 10 2005 026 457 A1 theta_rest (replacing the steering wheel angular velocity with the blinker frequency) and if the frequency falls below another individual threshold analogous to theta_event, the driver is responsive.

Unterschreitet die Dauer der Blinzler einen individuellen Schwellwert analog zu der in der DE 10 2005 026 457 A1 genannten theta event (Dauer der Blinzler statt Lenkradwinkelgeschwindigkeit), so ist der Fahrer reaktionsfähig.If the duration of the Blinzler falls below an individual threshold analogous to that in the DE 10 2005 026 457 A1 Theta event (duration of the Blinzler instead of steering wheel angular velocity), so the driver is responsive.

Weiter wird beim erfindungsgemäßen Verfahren eine zweite Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer vorgenommen, wobei die Reaktionsfähigkeit als gegeben klassifiziert wird, wenn die erste Bewertung und/oder die zweite Bewertung die Reaktionsfähigkeit als gegeben erkannt haben/hat.Furthermore, in the method according to the invention, a second evaluation of the reactivity is made by detecting the operation of an operating unit by the driver, the responsiveness being classified as given if the first evaluation and / or the second evaluation have recognized the responsiveness as given.

In einer Ausführungsform der Erfindung kann die zweite Bewertung mittels Erkennung einer Berührung eines Lenkrads durch den Fahrer erfolgen, beispielsweise mittels eines mit ein oder mehreren kapazitiven Sensoren versehenen Lenkrads oder durch Ermitteln eines durch den Fahrer dem Lenkrad aufgeprägten Handmoments mittels einer Servolenkung, insbesondere einer elektrischen Servolenkung.In one embodiment of the invention, the second evaluation may be carried out by the driver recognizing a touch of a steering wheel, for example by means of a steering wheel provided with one or more capacitive sensors or by determining a hand torque impressed on the steering wheel by the driver by means of a power steering, in particular an electric power steering ,

In einer Ausführungsform der Erfindung wird die Reaktionsfähigkeit als nicht gegeben klassifiziert, wenn die Bedienung der Bedieneinheit durch eine andere Person als den Fahrer oder rhythmisch erfolgt.In one embodiment of the invention, the responsiveness is classified as not given when the operation of the operating unit is performed by a person other than the driver or rhythmically.

Bei Ausbleiben einer Reaktion des Fahrers auf das erste (z. B. akustische, visuelle oder haptische) Signal innerhalb des vorgegebenen zweiten Zeitintervalls kann ein zweites Signal, beispielsweise ein akustisches oder visuelles oder haptisches Signal, generiert werden, das den Fahrer zur Übernahme der Bedienung des Fahrzeugs zur Beendigung des automatisierten Fahrens auffordert.In the absence of a response from the driver to the first (eg, audible, visual, or haptic) signal within the predetermined second time interval, a second signal, such as an audible or visual or haptic signal, may be generated which enables the driver to take over the operation of the vehicle to complete the automated driving prompt.

In einer Ausführungsform der Erfindung kann bei Ausbleiben einer Reaktion des Fahrers auf das zweite Signal innerhalb eines vorgegebenen dritten Zeitintervalls eine Verzögerung des Fahrzeugs oder eine Abschaltung des automatisierten Fahrens erfolgen.In one embodiment of the invention, in the absence of a response of the driver to the second signal within a predetermined third time interval, a deceleration of the vehicle or a shutdown of the automated driving may occur.

Die Bedieneinheit zum Zurücksetzen des Zählers muss kein separater Schalter sein. Es kann auch eine bestehende Taste im Fahrzeug verwendet werden, mit der beispielsweise andere Meldungen quittiert werden. Tasten am Lenkrad, wie beispielsweise eine OK-Taste, sind wegen des freihändigen Fahrens ungünstig. Beispielsweise wird eine Bedieneinheit in der Nähe der Bedienung eines Infotainments gewählt oder angeordnet, jedoch insbesondere so, dass eine Bedienung durch einen Beifahrer ausgeschlossen werden kann. Betätigt der Fahrer die Bedieneinheit, so wird der Zähler auf null zurückgesetzt. Erreicht der Zähler das erste Zeitintervall (beispielsweise 30 s oder mehr), so kann eine Aufforderung an den Fahrer erfolgen (akustisch, visuell, haptisch), die Bedieneinheit zu betätigen oder auf eine durch die Kamerabeobachtung detektierbare Weise zu reagieren. Bestätigt der Fahrer die Aufforderung nicht innerhalb eines vorgegebenen zweiten Zeitintervalls (beispielsweise 5 s), so erfolgt eine Fahrerübernahmeaufforderung zur Beendigung der hochautomatisierten Fahrt.The control unit for resetting the counter need not be a separate switch. It is also possible to use an existing button in the vehicle with which, for example, other messages are acknowledged. Keys on the steering wheel, such as an OK button, are unfavorable because of hands-free driving. For example, a control unit is selected or arranged in the vicinity of the operation of an infotainment, but in particular so that an operation by a passenger can be excluded. If the operator presses the operating unit, the counter is reset to zero. If the counter reaches the first time interval (for example 30 s or more), a request can be made to the driver (acoustically, visually, haptically) to actuate the operating unit or to respond in a manner detectable by the camera observation. If the driver does not confirm the request within a predetermined second time interval (for example 5 s), a driver takeover request is made to end the highly automated drive.

Das Verfahren kann in einer Vorrichtung 1 zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeugs entsprechend der schematischen Darstellung in 3 durchgeführt werden. Die Vorrichtung 1 umfasst eine Kamera 2 zur Beobachtung des Fahrers und eine mit der Kamera 2 verbundene erste Auswerteeinheit 3 für die erste Bewertung der Reaktionsfähigkeit des Fahrers anhand der Kamerabeobachtung. Eine zweite Auswerteeinheit 4 zur Erkennung der Bedienung mindestens einer Bedieneinheit 5 durch den Fahrer ist für die zweite Bewertung der Reaktionsfähigkeit des Fahrers vorgesehen.The method can be used in a device 1 for recognizing a responsiveness of a driver in the automated driving of a motor vehicle according to the schematic representation in FIG 3 be performed. The device 1 includes a camera 2 for watching the driver and one with the camera 2 connected first evaluation unit 3 for the first assessment of the driver's responsiveness based on camera observation. A second evaluation unit 4 for detecting the operation of at least one operating unit 5 by the driver is provided for the second evaluation of the responsiveness of the driver.

Die erste Auswerteeinheit 3 und die zweite Auswerteeinheit 4 können separat oder als Untereinheiten einer übergeordneten Steuereinheit 6 ausgebildet sein.The first evaluation unit 3 and the second evaluation unit 4 can be separate or as subunits of a parent control unit 6 be educated.

Claims

A method for detecting a responsiveness of a driver in the automated driving of a motor vehicle, wherein a first assessment of the responsiveness by means of camera observation of the driver, wherein a second assessment of responsiveness by detecting the operation of a control unit by the driver is performed, the responsiveness is classified as given, if the first evaluation and / or the second evaluation have recognized the responsiveness as being given, characterized in that in the first assessment of responsiveness by camera observation of the driver, the responsiveness is classified as given if at least one eye of the driver during a minimum proportion a predetermined time interval is opened, wherein the responsiveness is classified as not given when the operation of the operating unit by a person other than the driver or rhythmically.

A method according to claim 1, characterized in that the second evaluation is performed by detecting a touch of a steering wheel by the driver.

Method according to one of claims 1 or 2, characterized in that a time is determined by means of a counter since the operation of the operating unit, wherein the responsiveness is classified as given if a re-operation of the operating unit takes place before a predetermined first time interval.

A method according to claim 3, characterized in that at the end of the predetermined first time interval without detected operation of the operating unit, a first signal is generated, which prompts the driver to operate the control unit or any operating unit or detectable by the camera observation action, the responsiveness as is classified as if a reaction of the driver to the first signal within a predetermined second time interval is detected.

A method according to claim 4, characterized in that in the absence of a reaction of the driver to the first signal within the predetermined second time interval, a second signal is generated, which prompts the driver to take over the operation of the vehicle to terminate the automated driving.

Method according to one of Claims 4 or 5, characterized in that the counter is reset given the reactivity classified as given.

Method according to one of the preceding claims, characterized in that in the first evaluation of the responsiveness by means of camera observation of the driver, the responsiveness also is classified as given when one of the following conditions is met: - at least one eye of the driver blinks at a lower frequency than a given frequency, - a controlled head movement is detected.

A method according to claim 7, characterized in that for the classification of a head movement as a controlled head movement, an amplitude (A) of the head movement, a maximum speed of the head movement, an average speed of the head movement, a duration of the head movement and an amplitude-speed ratio of the head movement determined and evaluated become.

Contraption ( 1 ) for detecting a driver's ability to react in the automated driving of a motor vehicle, wherein a camera ( 2 ) for the observation of the driver and one with the camera ( 2 ) first evaluation unit ( 3 ) is provided for a first evaluation of the responsiveness of the driver based on the camera observation, wherein a second evaluation unit ( 4 ) for detecting the operation of a control unit ( 5 ) is provided by the driver for a second evaluation of the responsiveness of the driver, characterized in that the first evaluation unit ( 3 ) is configured to classify the responsiveness as given when at least one eye of the driver is open for a minimum portion of a predetermined time interval and classify the responsiveness as not given when the operation of the control unit is performed by a person other than the driver or rhythmically ,