DE102016206694B4 - Assistance system and method of a highly automated vehicle to improve interaction with other road users - Google Patents

Assistance system and method of a highly automated vehicle to improve interaction with other road users Download PDF

Info

Publication number
DE102016206694B4
DE102016206694B4 DE102016206694.3A DE102016206694A DE102016206694B4 DE 102016206694 B4 DE102016206694 B4 DE 102016206694B4 DE 102016206694 A DE102016206694 A DE 102016206694A DE 102016206694 B4 DE102016206694 B4 DE 102016206694B4
Authority
DE
Germany
Prior art keywords
driver
road user
information
vehicle
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016206694.3A
Other languages
German (de)
Other versions
DE102016206694A1 (en
Inventor
Uwe Lachmund
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102016206694.3A priority Critical patent/DE102016206694B4/en
Publication of DE102016206694A1 publication Critical patent/DE102016206694A1/en
Application granted granted Critical
Publication of DE102016206694B4 publication Critical patent/DE102016206694B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles

Abstract

Assistenzsystem (10) eines hoch automatisierten Fahrzeugs zur Verbesserung der Verkehrssicherheit im Zusammenwirken mit anderen Verkehrsteilnehmern (102), umfassend:mindestens eine Erfassungseinrichtung (11) im Innenraum des Fahrzeugs (1) zum Erfassen von Informationen über den Fahrer (2) des Fahrzeugs (1) als Fahrerinformationen;eine mit der mindestens einen Erfassungseinrichtung (11) gekoppelte Auswerteeinrichtung (20) zum Klassifizieren der erfassten Fahrerinformationen, wobei die erfassten Fahrerinformationen zumindest Gesten des Fahrers (2) umfassen und die Auswerteeinrichtung (20) ausgebildet ist, die Gesten des Fahrers (2) zu klassifizieren, undwobei die Auswerteeinrichtung (20) ausgebildet ist, beim Klassifizieren der Fahrerinformationen zu ermitteln, ob und mit welcher Zuverlässigkeit eine oder mehrere Fahreraktionen und/oder Fahrerreaktionen eines vorgegebenen Fahreraktions- und Fahrerreaktionskatalogs vorliegen;mindestens eine Übertragungseinrichtung (30) zum Übertragen der klassifizierten Fahrerinformationen zu einer oder mehreren Empfangseinrichtungen (131) eines oder mehrerer der anderen Verkehrsteilnehmer (102); undeine weitere Erfassungseinrichtung (15) zum Erfassen von Informationen über mindestens einen der anderen Verkehrsteilnehmer (102) als Verkehrsteilnehmerinformationen, wobei die weitere Erfassungseinrichtung (15) mit der Auswerteeinrichtung (20) oder einer weiteren Auswerteeinrichtung gekoppelt ist, um die Verkehrsteilnehmerinformation zu klassifizieren, wobei die erfassten Verkehrsteilnehmerinformationen zumindest Gesten des Verkehrsteilnehmers (102) umfassen und die Auswerteeinrichtung (20) oder die weitere Auswerteeinrichtung ausgebildet ist, die Gesten des Verkehrsteilnehmers (102) zu klassifizieren, und wobei die Auswerteeinrichtung (20) oder die weitere Auswerteeinrichtung ausgebildet ist, beim Klassifizieren der Verkehrsteilnehmerinformationen zu ermitteln, ob und mit welcher Zuverlässigkeit eine oder mehrere Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen eines vorgegebenen Verkehrsteilnehmeraktions- undVerkehrsteilnehmerreaktionskatalogs vorliegen, und die als vorliegend klassifizierten Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen einem Fahrzeugsystem (50) zum automatisierten Fahren als Eingangswert bereitzustellen.Assistance system (10) of a highly automated vehicle for improving traffic safety in cooperation with other road users (102), comprising: at least one recording device (11) in the interior of the vehicle (1) for recording information about the driver (2) of the vehicle (1 ) as driver information;an evaluation device (20) coupled to the at least one detection device (11) for classifying the captured driver information, wherein the captured driver information includes at least gestures of the driver (2) and the evaluation device (20) is designed to record the gestures of the driver ( 2) to classify, and wherein the evaluation device (20) is designed to determine, when classifying the driver information, whether and with what reliability one or more driver actions and / or driver reactions of a predetermined driver action and driver reaction catalog are present; at least one transmission device (30) for transmitting the classified driver information about one or more receiving devices (131) of one or more of the other road users (102); and a further detection device (15) for detecting information about at least one of the other road users (102) as road user information, the further detection device (15) being coupled to the evaluation device (20) or a further evaluation device in order to classify the road user information, wherein the captured road user information includes at least gestures of the road user (102) and the evaluation device (20) or the further evaluation device is designed to classify the gestures of the road user (102), and wherein the evaluation device (20) or the further evaluation device is designed to classify the To determine road user information as to whether and with what reliability one or more road user actions and/or road user reactions of a predetermined road user action and road user reaction catalog are present, and to provide the road user actions and/or road user reactions classified as present to a vehicle system (50) for automated driving as an input value.

Description

Aus dem Stand der Technik sind Fahrzeuge, insbesondere Kraftfahrzeuge, bekannt, die eine Vielzahl von Vorrichtungen und Assistenzsystemen aufweisen, welche einen weitgehenden oder vollständig automatisierten Betrieb, beispielsweise ein teilautomatisiertes oder vollständig automatisiertes Fahren im Straßenverkehr, ermöglichen. Da bisher bei weitem nicht alle Fahrzeuge einen so hohen Automatisierungsgrad aufweisen, dass diese alle vollständig autonom fahren können, treten im Verkehr immer wieder Situationen auf, in denen es notwendig ist, eine Absicht eines anderen Verkehrsteilnehmers einzuschätzen. Dies erfolgt häufig bei menschlichen Fahrern und einem nicht assistierten oder assistierten Fahren dadurch, dass ein Verhalten eines anderen Verkehrsteilnehmers, beispielsweise eines Fahrers eingeschätzt wird. Hierzu werden insbesondere körperliche Gesten oder ein Austausch von Informationen auf andere Weise genutzt. Auch bei einem hochautomatisierten Fahrzeug, welches noch nicht vollständig autonom agiert, treten solche Situationen ein, in denen das Verhalten anderer Verkehrsteilnehmer sowie das eigene Verhalten des Fahrers des hochautomatisierten Fahrzeugs einen Einfluss auf die Verkehrssituation und somit die Verkehrssicherheit haben.Vehicles, in particular motor vehicles, are known from the prior art, which have a large number of devices and assistance systems which enable extensive or completely automated operation, for example partially automated or completely automated driving in road traffic. Since not all vehicles have such a high level of automation that they can all drive completely autonomously, situations often arise in traffic in which it is necessary to assess the intention of another road user. This often occurs with human drivers and unassisted or assisted driving by assessing the behavior of another road user, for example a driver. In particular, physical gestures or the exchange of information in other ways are used for this purpose. Even with a highly automated vehicle that is not yet fully autonomous, situations arise in which the behavior of other road users as well as the driver of the highly automated vehicle's own behavior have an influence on the traffic situation and thus traffic safety.

Aus der US 8 954 252 B1 ist es bekannt, dass ein selbstfahrendes Fahrzeug seine Absicht, wie es sich im Straßenverkehr verhalten wird, einem Fußgänger bekannt gibt. Bemerkt das Fahrzeug beispielsweise einen Fußgänger, der versucht, die Fahrbahn zu überqueren, so kann das Fahrzeug abhängig von seiner derzeitigen Fahrsituation beispielsweise seine Geschwindigkeit reduzieren und dem Fußgänger mittels einer grafischen Anzeige signalisieren, dass es sicher ist, die Straße zu überqueren.From the US 8,954,252 B1 It is known that a self-driving vehicle announces to a pedestrian its intention of how it will behave in traffic. For example, if the vehicle notices a pedestrian trying to cross the road, the vehicle can, for example, reduce its speed depending on its current driving situation and use a graphic display to signal the pedestrian that it is safe to cross the road.

Aus der DE 10 2013 216 490 A1 ist ein System zur Bereitstellung eines Signals für ein Objekt in einer Umgebung des Systems bekannt, welches eine Sensoreinrichtung zum Erfassen eines Abbilds der Umgebung des Systems, eine Recheneinrichtung zur Auswertung der erfassten Abbildung der Umgebung des Systems und zum Ermitteln des bereitzustellenden Signals in Abhängigkeit von der Auswertung des erfassten Abbilds der Umgebung des Systems und eine Ausgabeeinrichtung zur Ausgabe des Signals umfasst. Das Signal kann eine Information enthalten, dass das System das Objekt erkannt hat und wie eine Gefahrensituation aus Sicht des Systems gelöst werden kann. Bei dem System kann es sich beispielsweise um ein autonom fahrendes Fahrzeug handeln und bei dem Objekt beispielsweise um einen Fußgänger.From the DE 10 2013 216 490 A1 a system for providing a signal for an object in an environment of the system is known, which has a sensor device for capturing an image of the environment of the system, a computing device for evaluating the captured image of the environment of the system and for determining the signal to be provided depending on the Evaluation of the captured image of the environment of the system and an output device for outputting the signal. The signal can contain information that the system has recognized the object and how a dangerous situation can be solved from the system's perspective. The system can be, for example, an autonomously driving vehicle and the object can be, for example, a pedestrian.

Aus der US 9 014 905 B1 sind ein Verfahren und ein System zum Erfassen eines Handsignals eines Fahrradfahrers von einem autonomen Fahrzeug beschrieben. Eine Computervorrichtung empfängt eine Vielzahl von Datenpunkten, die mit der Umgebung des autonomen Fahrzeugs korrespondieren. Die Computervorrichtung bestimmt dann ein oder mehrere Teilsätze der Datenpunkte aus der Vielzahl der Datenpunkte, die zumindest auf eine Körperregion eines Radfahrers hindeutet. Basierend auf den Vergleich einer oder mehrerer Untersätze mit einem oder mehreren vorgegebenen Sätzen von Radfahrersignalen kann die Computervorrichtung eine erwartete Anpassung für die Geschwindigkeit oder die Richtung des Radfahrers ermitteln. Abhängig hiervon kann die Computervorrichtung die Geschwindigkeit oder Bewegungsrichtung des autonom fahrenden Fahrzeugs beeinflussen.From the US 9,014,905 B1 A method and a system for detecting a cyclist's hand signal from an autonomous vehicle are described. A computing device receives a plurality of data points that correspond to the environment of the autonomous vehicle. The computing device then determines one or more subsets of the data points from the plurality of data points that indicate at least one body region of a cyclist. Based on comparing one or more subsets with one or more predetermined sets of cyclist signals, the computing device may determine an expected adjustment for the cyclist's speed or direction. Depending on this, the computing device can influence the speed or direction of movement of the autonomous vehicle.

Aus der US 2012 / 0 068 858 A1 ist ein Verfahren zur Verkehrsflusssteuerung bekannt. Mit Hilfe von Leiteinheiten, die in Fahrzeugen verbaut sind, werden Fahrzeuge zu Gruppen von Fahrzeugen zusammengestellt, die gemeinsam eine Strecke zurücklegen. Ein Fahrzeug der Gruppe dient als Führungsfahrzeug, dem die anderen Fahrzeuge folgen. Die Leiteinheiten Erfassen in einem gewissen Umfang das Fahrerverhalten und informieren benachbarte Fahrzeuge der Gruppe darüber. So können beispielsweise benachbarte Fahrzeuge darüber informiert werden, dass ein Fahrer den Blinker betätigt hat und die Spur wechseln möchte. Die benachrichtigten Fahrzeuge können daraufhin angemessen reagieren.A method for traffic flow control is known from US 2012/0 068 858 A1. With the help of control units installed in vehicles, vehicles are put together into groups of vehicles that travel a route together. One vehicle in the group serves as the lead vehicle, which the other vehicles follow. The control units record driver behavior to a certain extent and inform neighboring vehicles in the group about it. For example, neighboring vehicles can be informed that a driver has activated the turn signal and wants to change lanes. The notified vehicles can then react appropriately.

Aus der DE 10 2013 224 026 A1 ist ein Verfahren zur Bewertung des Fahrerverhaltens in einem Fahrzeug bekannt. Bei dem Verfahren werden sensorisch Messwerte ermittelt, die den unterschiedlichen Verhaltenskategorien des Fahrers mit verschiedenen Wahrscheinlichkeiten zugeordnet werden. Eine Verhaltenskategorie wird als zutreffend erkannt, falls die zugeordnete Wahrscheinlichkeit einen Schwellenwert übersteigt.From the DE 10 2013 224 026 A1 a method for evaluating driver behavior in a vehicle is known. The process uses sensory measurement values to determine which are assigned to the driver's different behavioral categories with different probabilities. A behavior category is recognized as applicable if the assigned probability exceeds a threshold value.

Aus der US 2015 / 0 112 571 A1 ist ein Fahrerassistenzsystem für den Fahrer eines Fahrzeugs bekannt. Das Fahrerassistenzsystem umfasst ein Vorhersagesystem, das das wahrscheinliche zukünftige Verhalten eines Verkehrsteilnehmers ermittelt. Dazu werden direkte Indikatoren, wie beispielsweise die Orientierung oder Bewegung eines Verkehrsteilnehmers, und indirekte Indikatoren, wie beispielsweise das Blinken oder das Aufleuchten der Bremsleuchten, ausgewertet. Die so gewonnenen Daten können für die Steuerung des Fahrzeugs genutzt werden.A driver assistance system for the driver of a vehicle is known from US 2015/0 112 571 A1. The driver assistance system includes a prediction system that determines the likely future behavior of a road user. For this purpose, direct indicators, such as the orientation or movement of a road user, and indirect indicators, such as the flashing or lighting of the brake lights, are evaluated. The data obtained in this way can be used to control the vehicle.

Aus der DE 10 2014 214 456 A1 ist ein Verfahren zur Kommunikation von Verkehrsteilnehmern untereinander bei erkannten möglichen Kollisionen zwischen zwei Verkehrsteilnehmern bekannt. Zunächst wird ein Warnhinweis auf eine erkannte mögliche Kollision für einen ersten Verkehrsteilnehmer, insbesondere einen Fußgänger, ausgegeben. Sobald eine Reaktion des ersten Verkehrsteilnehmers auf den Warnhinweis erkannt wird, wird ein entsprechender Erkennungshinweis an einen zweiten Verkehrsteilnehmer, insbesondere einen Autofahrer, gesendet. Für das Erkennen der Reaktion werden Gesten, Kopfbewegungen oder die Blickrichtung des ersten Verkehrsteilnehmers ausgewertet.From the DE 10 2014 214 456 A1 is a method for communication between road users known to each other if possible collisions between two road users are detected. First, a warning about a detected possible collision is issued for a first road user, in particular a pedestrian. As soon as a reaction of the first road user to the warning is detected, a corresponding recognition notice is sent to a second road user, in particular a driver. To recognize the reaction, gestures, head movements or the direction of gaze of the first road user are evaluated.

Aus der EP 2 870 430 B1 ist ein Verfahren zum Betreiben eines Kraftwagens bekannt. Bei dem Verfahren wird mittels einer Gestenerkennungseinheit eine Geste eines Fahrzeuginsassen erfasst, die auf ein Objekt gerichtet ist. Mittels einer Datenverarbeitungseinheit wird die Geste Interpretiert und das Objekt wird identifiziert. In Abhängigkeit von der interpretierten Geste und vom identifizierten Objekt wird ein entsprechender Steuerbefehl generiert. Ein Assistenzsystem des Kraftwagens wird dann gemäß dem Steuerbefehl mittels der Datenverarbeitungseinheit angesteuert.From the EP 2 870 430 B1 a method for operating a motor vehicle is known. In the method, a gesture of a vehicle occupant that is directed at an object is detected using a gesture recognition unit. The gesture is interpreted and the object is identified using a data processing unit. Depending on the interpreted gesture and the identified object, a corresponding control command is generated. An assistance system of the motor vehicle is then controlled according to the control command using the data processing unit.

Auch wenn die bekannten Vorrichtungen und Verfahren bereits zu einer Verbesserung der Verkehrssicherheit von hochautomatisierten oder autonom fahrenden Fahrzeugen beitragen, treten immer noch Situationen auf, in denen insbesondere eine Verständigung zwischen Fahrern oder einem Fahrer und anderen Verkehrsteilnehmern, beispielsweise zum Bewältigen ungeklärter Vorfahrtsfragen, nicht befriedigend gelöst sind.Even if the known devices and methods already contribute to improving the traffic safety of highly automated or autonomously driving vehicles, situations still arise in which, in particular, communication between drivers or a driver and other road users, for example to deal with unresolved right-of-way issues, is not satisfactorily resolved are.

Der Erfindung liegt somit die technische Aufgabe zugrunde, ein Assistenzsystem und ein Verfahren zu schaffen, die den Betrieb eines hochautomatisierten Fahrzeugs ermöglichen und die Verkehrssicherheit verbessern.The invention is therefore based on the technical task of creating an assistance system and a method that enable the operation of a highly automated vehicle and improve traffic safety.

Die technische Aufgabe wird durch ein Assistenzsystem mit den Merkmalen des Patentanspruchs 1 sowie ein Verfahren mit den Merkmalen des Patentanspruchs 6 gelöst. Vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen.The technical task is solved by an assistance system with the features of patent claim 1 and a method with the features of patent claim 6. Advantageous embodiments of the invention result from the subclaims.

Der Erfindung liegt die Idee zugrunde, einem anderen Verkehrsteilnehmer bei dessen Entscheidung über sein Verhalten dadurch zu unterstützen, dass eine Aktion oder Reaktion des Fahrers des Fahrzeugs im Fahrzeug selbst ermittelt, erkannt und klassifiziert wird und die hierbei gewonnene Information mindestens einem anderen Verkehrsteilnehmer, d.h. einem oder mehreren anderen Verkehrsteilnehmern, bereitgestellt wird. Dies bietet den Vorteil, dass dem mindestens einen anderen Verkehrsteilnehmer eine zusätzliche Information bereitgestellt wird, die dieser zur Plausibilisierung seiner eigenen Einschätzung und Erfassung nutzen kann und somit dessen Möglichkeiten zur Vorhersage des Verhaltens des Fahrzeugs deutlich verbessert werden. Sind mehrere andere Verkehrsteilnehmer vorhanden, kann jeder von diesen den Vorteil für sich selbst nutzen, d.h. seine eigenen erfassten Daten plausibilisieren.The invention is based on the idea of supporting another road user in making a decision about his behavior by determining, recognizing and classifying an action or reaction of the driver of the vehicle in the vehicle itself and passing the information obtained thereby to at least one other road user, i.e. one or several other road users. This offers the advantage that additional information is provided to at least one other road user, which they can use to make their own assessment and recording plausible, thus significantly improving their ability to predict the behavior of the vehicle. If there are several other road users, each of them can use the advantage for themselves, i.e. check the plausibility of their own recorded data.

Insbesondere wird ein Assistenzsystem eines hochautomatisierten Fahrzeugs zur Verbesserung der Verkehrssicherheit im Zusammenwirken mit anderen Verkehrsteilnehmern geschaffen, welches mindestens eine Erfassungseinrichtung im Innenraum des Fahrzeugs zum Erfassen von Informationen über den Fahrer des Fahrzeugs als Fahrerinformationen, eine mit der mindestens einen Erfassungseinrichtung gekoppelte Auswerteeinrichtung zum Klassifizieren der erfassten Fahrzeuginformationen und mindestens eine Übertragungseinrichtung zum Übertragen klassifizierter Fahrzeuginformationen zu einer oder mehreren Empfangseinrichtungen eines oder mehrerer anderer Verkehrsteilnehmer umfasst. Durch die Erfassung von Informationen über den Fahrer des Fahrzeugs in dessen Innenraum können Störeinflüsse, welche ein anderer Verkehrsteilnehmer beim Erfassen von Informationen über den Fahrer des Fahrzeugs hat, beispielsweise Spiegelungen an Fensterscheiben des Fahrgastraums oder Ähnliches, quasi umgangen bzw. ausgeschaltet werden.In particular, an assistance system of a highly automated vehicle is created to improve traffic safety in cooperation with other road users, which has at least one detection device in the interior of the vehicle for detecting information about the driver of the vehicle as driver information, an evaluation device coupled to the at least one detection device for classifying the detected Vehicle information and at least one transmission device for transmitting classified vehicle information to one or more receiving devices of one or more other road users. By recording information about the driver of the vehicle in its interior, disruptive influences that another road user has when recording information about the driver of the vehicle, for example reflections on windows in the passenger compartment or the like, can be virtually avoided or eliminated.

Ein entsprechendes Verfahren zum Unterstützen des Zusammenwirkens eines hochautomatisierten Fahrzeugs mit anderen Verkehrsteilnehmern zur Verbesserung der Verkehrssicherheit umfasst somit die Schritte:

  • Erfassen von Informationen über einen Fahrer des Fahrzeugs im Innenraum des Fahrzeugs als Fahrerinformationen;
  • Auswerten und Klassifizieren der Fahrerinformationen und
  • Übertragen klassifizierter Fahrerinformationen mittels einer Übertragungseinrichtung des Fahrzeugs zu einer Empfangseinrichtung mindestens eines anderen Verkehrsteilnehmers.
A corresponding method for supporting the interaction of a highly automated vehicle with other road users to improve traffic safety therefore includes the steps:
  • Collecting information about a driver of the vehicle in the interior of the vehicle as driver information;
  • Evaluating and classifying driver information and
  • Transmitting classified driver information using a transmission device of the vehicle to a receiving device of at least one other road user.

Die Auswerteeinrichtung ist ausgebildet, beim Klassifizieren der Fahrerinformationen zu ermitteln, ob und mit welcher Zuverlässigkeit eine oder mehrere Fahreraktionen oder Fahrerreaktionen eines vorgegebenen Fahreraktions- oder Reaktionskatalogs vorliegen. Anhand eines Fahreraktions- und/oder Fahrerreaktionskatalogs, in dem die einzelnen Fahreraktionen oder Reaktionen angegeben sind, auf deren Vorliegen ein Verhalten des Fahrers geprüft werden kann, ist es möglich, eindeutige Informationen an andere Verkehrsteilnehmer auszugeben. Als Fahreraktionen und -reaktionen werden zum einen Bewegungen von Extremitäten und Körperteilen des Fahrers, beispielsweise ein Winken mit einer Hand, ein Kopfschütteln, ein Nicken, aber auch allgemein eine Haltung des Fahrers, eine Blickrichtung, aber auch beispielsweise dessen allgemeine Aufmerksamkeit, beispielsweise ermittelt über dessen Hautwiderstand, dessen Liedschlagtätigkeit, dessen Herz- und Atmungsfrequenz, dessen akustische Ausgabe in Form von Sprache oder Ähnliches angesehen. Hierbei ist jedoch nicht eine Spracherkennung gemeint, sondern lediglich die Tatsache, ob der Fahrer spricht oder schweigt oder beispielsweise schreit oder brüllt. Zu klassifizierende Fahreraktionen und/oder Fahrerreaktionen können beispielsweise ein Signalisieren einer Zustimmung, ein Signalisieren einer Ablehnung, ein Signalisieren einer Verwirrung, ein Signalisieren von Wut, ein Signalisierung einer Erregung, ein Angeben einer beabsichtigten Fahrtrichtung, eine Aufforderung zum Halten, eine Aufforderung zum Vorbeifahren/Gehen etc. sein. Einzelnen Körperbewegungen und/oder Körperzuständen oder Kombinationen von Körperbewegungen oder -zuständen können die einzelnen Fahreraktionen und -reaktionen zugeordnet werden. Bei Vorliegen entsprechender Bewegungen, Körperhaltungen etc. kann jeweils das Vorliegen einer bestimmten Fahreraktion und/oder - reaktion oder mehrerer Fahreraktionen oder -reaktionen ermittelt werden. Dieses Ermitteln des Vorliegens einer Fahreraktion und/oder Fahrerreaktion wird als Klassifizieren der zuvor erfassten Informationen über den Fahrer bezeichnet.When classifying the driver information, the evaluation device is designed to determine whether and with what reliability one or more driver actions or driver reactions from a predetermined driver action or reaction catalog are present. Using a driver action and/or driver reaction catalog, in which the individual driver actions or reactions are specified, the presence of which can be checked for the driver's behavior, it is possible to provide clear information to other road users. As driver actions and reactions are on the one hand, movements of the driver's extremities and body parts, for example a waving with a hand, a shaking of the head, a nod, but also a general attitude of the driver, a direction of vision, but also, for example, his general attention, for example determined by his skin resistance, his song beat activity, its heart and breathing rate, its acoustic output in the form of speech or similar. However, this does not mean speech recognition, but simply the fact whether the driver is speaking or silent or, for example, screaming or shouting. Driver actions and/or driver reactions to be classified may include, for example, signaling consent, signaling rejection, signaling confusion, signaling anger, signaling excitement, indicating an intended direction of travel, a request to stop, a request to pass/ walking etc. being. The individual driver actions and reactions can be assigned to individual body movements and/or body states or combinations of body movements or states. If corresponding movements, postures, etc. are present, the presence of a specific driver action and/or reaction or several driver actions or reactions can be determined. This determination of the presence of a driver action and/or driver reaction is referred to as classifying the previously collected information about the driver.

Das Verfahren umfasst somit das Klassifizieren der Fahrerinformationen gegenüber von Fahreraktionen und/oder Fahrerreaktionen eines vorgegebenen Aktions- und Reaktionskatalogs, wobei als klassifizierte Fahrerinformationen nur mit einer Zuverlässigkeit oberhalb eines festgelegten Konfidenzniveaus erkannte Fahreraktionen und/oder Fahrerreaktionen des vorgegebenen Fahreraktions- und Fahrerreaktionskatalogs zu dem anderen Verkehrsteilnehmer übertragen werden.The method thus includes classifying the driver information against driver actions and/or driver reactions of a predetermined action and reaction catalog, with driver actions and/or driver reactions of the predetermined driver action and driver reaction catalog to the other road user recognized as classified driver information only with a reliability above a specified confidence level be transmitted.

Ein Vorteil der Verwendung eines Aktions- und Reaktionskatalogs bzw. vorgegebener Fahreraktionen und -reaktionen für die Klassifizierung besteht darin, dass andere Verkehrsteilnehmer eine eindeutige Information erhalten, deren Sinngehalt unzweideutig von ihnen zur Auswertung herangezogen werden kann. Auch wenn eine Fahreraktion oder -reaktion, welche ein Unwissen signalisiert, die beispielsweise über ein Hochziehen und Fallenlassen der Schultern des Fahrers angezeigt ist, gegebenenfalls dem anderen Verkehrsteilnehmer nicht ohne weiteres eine Aussage darüber liefert, wie weiter zu verfahren ist, ist dem Verhalten des Fahrers dennoch ein eindeutiger Aussagegehalt zugeordnet, der auf eine fragende Geste des Verkehrsteilnehmers die Antwort liefert, dass der Fahrer keine präzisere Antwort geben kann oder will.One advantage of using an action and reaction catalog or predefined driver actions and reactions for classification is that other road users receive clear information whose meaning can be unambiguously used by them for evaluation. Even if a driver action or reaction that signals ignorance, which is indicated, for example, by pulling up and dropping the driver's shoulders, may not easily provide the other road user with a statement about how to proceed, the behavior of the driver Nevertheless, a clear informative content is assigned, which provides the answer to a questioning gesture from the road user that the driver cannot or does not want to give a more precise answer.

Ein weiterer Vorteil liegt darin, dass die Informationsübertragung beispielsweise mittels eines knappen Codes erfolgen kann, der den einzelnen Fahreraktionen und/oder -reaktionen zugeordnet ist. Eine Ausführungsform der Erfindung sieht daher vor, dass das Übertragen der klassifizierten Fahrerinformation ein Übermitteln eines die als vorliegend ermittelte Fahreraktion und/oder Fahrerreaktion kennzeichnenden Codes umfasst.A further advantage is that the information transmission can take place, for example, using a short code that is assigned to the individual driver actions and/or reactions. One embodiment of the invention therefore provides that transmitting the classified driver information includes transmitting a code that identifies the driver action and/or driver reaction that has been determined to be present.

Besonders vorteilhaft umfasst die mindestens eine Erfassungseinrichtung eine Kamera zum Erfassen der Fahrerinformationen. Diese kann den Innenraum des Fahrersitzes überwachen. Mit einer Kamera können die meisten Gesten, die bei einer Kommunikation unter unterschiedlichen Verkehrsteilnehmern stattfindet, zuverlässig erfasst werden. So können Bewegungen der Körperextremitäten, des Kopfes, aber auch eine Haltung des Oberkörpers erfasst werden. Darüber hinaus ist es möglich, die Blickrichtung oder auch einen Gesichtsausdruck zu erfassen. Bei der Auswertung können für die Gestenerkennung auch Abfolgen von Bewegungen, aus denen sich Zwangsfolgen ableiten lassen, beispielsweise ein Vorbeugen, eine Kopfbewegung oder eine Handgeste, verwendet werden, um eine zuverlässigere und schnellere Erkennung von Fahreraktionen oder Fahrerreaktionen und somit der durchgeführten Gesten zu ermöglichen. Hierdurch wird es erreicht, dass die in der Geste bzw. Fahreraktion bzw. Reaktion enthaltene Information schneller und zuverlässiger erfasst und zur Verfügung gestellt werden kann.Particularly advantageously, the at least one detection device comprises a camera for recording the driver information. This can monitor the interior of the driver's seat. With a camera, most gestures that occur during communication between different road users can be reliably recorded. This allows movements of the body extremities, the head, but also the posture of the upper body to be recorded. In addition, it is possible to record the direction of gaze or a facial expression. During the evaluation, sequences of movements from which coercive consequences can be derived, for example a forward bend, a head movement or a hand gesture, can also be used for gesture recognition in order to enable more reliable and faster recognition of driver actions or driver reactions and thus of the gestures carried out. This ensures that the information contained in the gesture or driver action or reaction can be recorded and made available more quickly and reliably.

Um die Erkennung von Fahreraktionen und/oder Fahrerreaktionen, beispielsweise von Gesten, weiter zu steigern, ist bei einer Ausführungsform vorgesehen, dass die Auswerteeinrichtung mit anderen Fahrzeugsystemen des Fahrzeugs verknüpft ist und ausgebildet ist, Zustandsinformationen der anderen Fahrzeugsysteme oder über informationstechnisch mit dem Fahrzeug gekoppelte Einrichtungen im Fahrzeug zu empfangen, um diese in die Klassifikation der Fahrerinformation mit einzubeziehen. So können beispielsweise eine Fahrzeuggeschwindigkeit, aber auch GPS-Informationen, Informationen über die Sitzbelegung des Beifahrersitzes, eine Information über eine bestehende Telefonverbindung über ein mit dem Fahrzeug gekoppeltes Mobiltelefon usw. mit einbezogen werden, um eine Gestenerkennung zu verbessern. Ab einer bestimmten Geschwindigkeit wird beispielsweise eine seitlich quer zur Fahrtrichtung ausgeführte Armbewegung des Fahrers nicht als Geste zum Signalisieren der Vorfahrtsgewährung für einen Querverkehr interpretiert, wohingegen bei einer langsamen Geschwindigkeit die Geste als eben solche interpretiert wird.In order to further increase the recognition of driver actions and/or driver reactions, for example gestures, it is provided in one embodiment that the evaluation device is linked to other vehicle systems of the vehicle and is designed to receive status information from the other vehicle systems or via devices coupled to the vehicle in terms of information technology received in the vehicle in order to include this in the classification of the driver information. For example, a vehicle speed, but also GPS information, information about the occupancy of the passenger seat, information about an existing telephone connection via a cell phone coupled to the vehicle, etc. can be included in order to improve gesture recognition. For example, above a certain speed, a driver's arm movement laterally transverse to the direction of travel is not interpreted as a gesture to signal the right of way for cross traffic, whereas at a slow speed the gesture is interpreted as such.

Um die Zuverlässigkeit der Einschätzung der korrekten Verkehrssituation weiter zu verbessern, ist erfindungsgemäß vorgesehen, dass das Fahrzeug eine weitere Erfassungseinrichtung zum Erfassen von Informationen über den mindestens einen anderen Verkehrsteilnehmer als Verkehrsteilnehmerinformationen umfasst und die weitere Erfassungseinrichtung mit der Auswerteeinrichtung oder einer weiteren Auswerteeinrichtung gekoppelt ist, um die Verkehrsteilnehmerinformationen mittels der Auswerteeinrichtung oder der weiteren Auswerteeinrichtung zu klassifizieren, wobei ermittelt wird, ob und mit welcher Zuverlässigkeit eine oder mehrere Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen eines vorgegebenen Verkehrsteilnehmeraktions- und
-reaktionskatalogs vorliegt und die als vorliegend klassifizierte Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen einem Fahrzeugsystem zum automatisierten Fahren als Eingangswert bereitzustellen. Neben der Überwachung des Innenraums findet somit auch eine Überwachung des umgebenden Raums des Fahrzeugs statt. Bei der Erkennung der Verkehrsteilnehmeraktionen und Verkehrsteilnehmerreaktionen können dieselben Aktionen und Reaktionen wie beim Fahrer des Fahrzeugs selbst überwacht und klassifiziert werden. Der Verkehrsteilnehmeraktions- und -reaktionskatalog umfasst somit in der Regel zumindest eine Vielzahl gleicher Aktionen und Reaktionen wie der Fahreraktions- und -reaktionskatalog. Da im Verkehr teilweise andere Fahrzeugtypen, und somit beispielsweise Fahrrad- oder Motoradfahrer, aber auch Fußgänger auftreten, können als Verkehrsteilnehmeraktionen und - reaktionen Gesten und/oder Bewegungsabläufe des Verkehrsteilnehmers auftreten, die bei einem Fahrer des Fahrzeugs nicht auftreten. Somit kann der Verkehrsteilnehmeraktions-
und -reaktionskatalog zusätzliche Aktionen und Reaktionen umfassen. Ebenso ist es möglich, dass der Fahreraktions- und -reaktionskatalog Fahreraktionen und Fahrerreaktionen aufweist, die in einem Verkehrsteilnehmeraktions- und -reaktionskatalog nicht vorhanden sind.In order to further improve the reliability of the assessment of the correct traffic situation, it is provided according to the invention that the vehicle comprises a further detection device for recording information about the at least one other road user as road user information and the further detection device is coupled to the evaluation device or a further evaluation device to classify the road user information using the evaluation device or the further evaluation device, determining whether and with what reliability one or more road user actions and / or road user reactions of a given road user action and
reaction catalog is available and the road user actions and/or road user reactions classified as present are available as input values to a vehicle system for automated driving. In addition to monitoring the interior, the surrounding space of the vehicle is also monitored. When recognizing road user actions and road user reactions, the same actions and reactions as the driver of the vehicle themselves can be monitored and classified. The road user action and reaction catalog therefore generally includes at least a large number of the same actions and reactions as the driver action and reaction catalog. Since other types of vehicles sometimes appear in traffic, and thus, for example, cyclists or motorcyclists, but also pedestrians, gestures and/or movement sequences of the road user can occur as road user actions and reactions that do not occur with a driver of the vehicle. This allows the road user action
and reaction catalog include additional actions and reactions. It is also possible for the driver action and reaction catalog to have driver actions and driver reactions that are not present in a road user action and reaction catalog.

In der Regel wird jedoch eine Übereinstimmung vorliegen, da nur so eine zuverlässige Kommunikation möglich ist.As a rule, however, there will be a match because this is the only way reliable communication is possible.

Um die eigene Klassifikation von Verkehrsteilnehmeraktionen und -reaktionen plausibilisieren zu können, ist bei einer bevorzugten Ausführungsform vorgesehen, dass die Übertragungseinrichtung eine Empfangseinrichtung umfasst, um von einer Übertragungseinrichtung des mindestens einen anderen Verkehrsteilnehmers übertragene klassifizierte Verkehrsteilnehmer-Fahrerinformationen zu empfangen und einer mit der Übertragungseinrichtung gekoppelten Plausibilisierungseinrichtung zuzuführen, welche ausgebildet ist, die empfangene klassifizierte Verkehrsteilnehmer-Fahrerinformation mit der von der Auswerteeinrichtung oder weiteren Auswerteeinrichtung klassifizierten Verkehrsteilnehmerinformation zu vergleichen und bei einer Vereinbarkeit oder Gleichheit der klassifizierten Verkehrsteilnehmerfahrerinformation und der klassifizierten Verkehrsteilnehmerinformation die klassifizierte Verkehrsteilnehmerinformation als plausibel zu kennzeichnen und andernfalls als unplausibel zu kennzeichnen.In order to be able to check the plausibility of one's own classification of road user actions and reactions, it is provided in a preferred embodiment that the transmission device comprises a receiving device in order to receive classified road user driver information transmitted from a transmission device of at least one other road user and a plausibility checking device coupled to the transmission device which is designed to compare the received classified road user driver information with the road user information classified by the evaluation device or further evaluation device and, if the classified road user driver information and the classified road user information are compatible or equal, to mark the classified road user information as plausible and otherwise to mark it as implausible .

Als Verkehrsteilnehmer-Fahrerinformation wird eine Information bezeichnet, die von dem Fahrzeug oder einen anderen Vorrichtung des Verkehrsteilnehmers als Fahreraktion und/oder - reaktion des anderen Verkehrsteilnehmers erfasst und klassifiziert ist und über dessen Übertragungseinrichtung zu der Empfangseinrichtung des Fahrzeugs übertragen ist. Somit besteht die Möglichkeit, in der Plausibilisierungseinrichtung die von dem im Fahrzeug aus von dem Verkehrsteilnehmer erfasste Verkehrsteilnehmerinformation und deren Klassifikation im Fahrzeug mit der Klassifikation zu vergleichen, die vom an dem Fahrzeug des anderen Verkehrsteilnehmers für dieselbe Aktion oder Reaktion bzw. Geste, Haltung oder Ähnliches des anderen Verkehrsteilnehmers als dessen Fahrerinformation erfasst und klassifiziert worden ist. Hierdurch wird eine Rückkopplung zwischen den verschiedenen Verkehrsteilnehmern geschaffen. Dieses steigert die Verkehrssicherheit enorm, da Klassifizierungsfehler aufgrund von unterschiedlichen Informationserfassungen und/oder Klassifizierungsvorgängen vermieden werden können. Beide Verkehrsteilnehmer bzw. deren Fahrzeuge oder Vorrichtungen zur Verbesserung der Verkehrssicherheit gehen jeweils von derselben Information aus, d. h. derselben Geste. Sollte die Klassifikation einer Geste eines Verkehrsteilnehmers von dessen Fahrzeug anders klassifiziert werden als von dem Fahrzeug, das dieselbe Geste als externe Verkehrsteilnehmerinformation erfasst, so wird dies dem Fahrzeug mitgeteilt, welches die Informationen über den externen Verkehrsteilnehmer erfasst und klassifiziert hat.Road user driver information is information that is recorded and classified by the vehicle or another device of the road user as a driver action and/or reaction of the other road user and is transmitted via its transmission device to the receiving device of the vehicle. It is therefore possible in the plausibility check device to compare the road user information recorded by the road user in the vehicle and its classification in the vehicle with the classification obtained from the other road user's vehicle for the same action or reaction or gesture, posture or similar of the other road user has been recorded and classified as their driver information. This creates feedback between the various road users. This increases traffic safety enormously because classification errors due to different information collection and/or classification processes can be avoided. Both road users or their vehicles or devices to improve road safety are based on the same information, i.e. H. the same gesture. If the classification of a gesture by a road user is classified differently by their vehicle than by the vehicle that records the same gesture as external road user information, this will be communicated to the vehicle that has recorded and classified the information about the external road user.

Ebenso kann es auch vorgesehen sein, dass die klassifizierte Verkehrsteilnehmerinformation, die das Fahrzeug von der Geste eines externen Verkehrsteilnehmers erfasst hat, zusätzlich zu der klassifizierten Fahrerinformation über die Übertragungseinrichtung an den mindestens einen anderen Verkehrsteilnehmer übermittelt wird. Hierdurch wird auch eine Plausibilisierung bzw. Abgleichmöglichkeit der von dem anderen Verkehrsteilnehmer vorgenommenen Fahrerinformationsklassifikation in dessen Fahrzeug geschaffen. Ebenso kann die Empfangseinrichtung des Fahrzeugs selbstverständlich ausgebildet sein, die von dem anderen Verkehrsteilnehmer erfasste Verkehrsteilnehmer-Verkehrsteilnehmerinformation zu empfangen, um eine Möglichkeit zu schaffen, in dem Fahrzeug die Fahrerinformationsklassifikation zu plausibilisieren.Likewise, it can also be provided that the classified road user information that the vehicle has detected from the gesture of an external road user is transmitted to the at least one other road user in addition to the classified driver information via the transmission device. This also creates a plausibility check or possibility of comparing the driver information classification carried out by the other road user in his vehicle. Likewise, the receiving device of the vehicle can of course be designed to receive the road user information recorded by the other road user in order to make it possible create the plausibility of the driver information classification in the vehicle.

Bei einer Ausführungsform ist somit vorgesehen, dass mittels der Empfangseinrichtung eine von dem mindestens einen anderen Verkehrsteilnehmer übertragene klassifizierte Verkehrsteilnehmerinformation als Verkehrsteilnehmer-Verkehrsteilnehmerinformation, die eine Klassifikation der von dem anderen Verkehrsteilnehmer als Verkehrsteilnehmerinformation erfassten Information über den Fahrer des Fahrzeugs enthält, erfasst wird und verwendet wird, um die Klassifikation der Fahrerinformation zu plausibilisieren, indem die empfangene von einem der anderen Verkehrsteilnehmer erfassten und klassifizierten Verkehrsteilnehmer-Verkehrsteilnehmerinformationen mit der klassifizierten Fahrerinformationen verglichen und bei Vereinbarkeit und/oder Gleichheit als plausibel gekennzeichnet werden und andernfalls als unplausibel gekennzeichnet werden und die gemäß der als plausibel gekennzeichneten klassifizierten Fahrerinformationen vorliegenden Fahreraktionen und/oder -reaktionen dem Fahrzeugsystem zum automatisierten Fahren als weiterer Eingangswert bereitgestellt werden. Somit ist es für das Fahrzeug möglich, sowohl seine selbst vorgenommene Fahrerinformationsklassifizierung zum Ermitteln der Fahreraktion und/oder -reaktion als auch eine Plausibilisierung der erfassten Verkehrsteilnehmerinformationen und somit der Verkehrsteilnehmerreaktionen und -aktionen vorzunehmen. Insgesamt wird somit die Zuverlässigkeit der vorliegenden Informationen deutlich gesteigert, sodass insgesamt eine Beeinflussung von Systemen zum automatisierten Verfahren deutlich verbessert wird.In one embodiment, it is thus provided that by means of the receiving device, classified road user information transmitted by the at least one other road user is recorded and used as road user road user information, which contains a classification of the information about the driver of the vehicle recorded by the other road user as road user information , in order to make the classification of the driver information plausible by comparing the received road user information recorded and classified by one of the other road users with the classified driver information and marking it as plausible if it is compatible and/or equal and otherwise marking it as implausible and according to the as Driver actions and/or reactions present in plausibly marked classified driver information are provided to the vehicle system for automated driving as a further input value. It is therefore possible for the vehicle to carry out both its own driver information classification to determine the driver action and/or reaction as well as a plausibility check of the recorded road user information and thus the road user reactions and actions. Overall, the reliability of the available information is significantly increased, so that the overall influence on systems for the automated process is significantly improved.

Die Erfindung wird nachfolgend unter Bezugnahme auf eine Zeichnung näher erläutert. Hierbei zeigen:

  • 1 eine schematische Darstellung einer Verkehrssituation, in der sich ein Fahrer und ein anderer Verkehrsteilnehmer in ihren jeweiligen Fahrzeugen begegnen;
  • 2 eine schematische Darstellung der bei einer gegenseitigen Verständigung zwischen einem Fahrer und einem anderen Verkehrsteilnehmer ablaufenden Verfahrensschritte, wenn der Fahrer eine Geste ausführt; und
  • 3 eine schematische Darstellung der Vorgänge, die ablaufen, wenn der Verkehrsteilnehmer eine Geste ausführt.
The invention is explained in more detail below with reference to a drawing. Show here:
  • 1 a schematic representation of a traffic situation in which a driver and another road user meet in their respective vehicles;
  • 2 a schematic representation of the procedural steps involved in mutual communication between a driver and another road user when the driver performs a gesture; and
  • 3 a schematic representation of the processes that occur when the road user makes a gesture.

In 1 sind ein Fahrer 2 und ein anderer Verkehrsteilnehmer 102 jeweils in ihren Fahrzeugen 1 bzw. 101 schematisch dargestellt. Der Fahrer 2 mit seinem Fahrzeug 1 begegnet dem Verkehrsteilnehmer 102 mit dessen Fahrzeug 101 beispielsweise in einer Situation, in der die Vorfahrt nicht eindeutig geklärt ist. Im Folgenden wird die Situation aus Sicht dieses Fahrers 2 beschrieben. Bei dem Fahrzeug 1 und dem weiteren Fahrzeug 101 handelt es sich jeweils um ein hochautomatisiertes Fahrzeug, welches jeweils in der Lage ist, zumindest teilautomatisiert betrieben zu werden. Hierfür weisen das Fahrzeug 1 ein Fahrzeugsystem 50 zum automatisierten Fahren und das weitere Fahrzeug 101 ebenfalls ein Fahrzeugsystem 150 zum automatisierten Fahren auf. Um die Verkehrssituation einfach auflösen zu können, verständigen sich der Fahrer 2 und der andere Verkehrsteilnehmer 102 über Gesten. Hierunter fallen alle möglichen Arten körperlicher Bewegung und Körperhaltungen, aber auch ein Blickkontakt und Ähnliches. Beispielsweise führt der Fahrer 2 mit seinen Armen eine Winkbewegung aus, die dem anderen Verkehrsteilnehmer 102 signalisieren soll, dass dieser als erstes fahren soll.In 1 a driver 2 and another road user 102 are each shown schematically in their vehicles 1 and 101, respectively. The driver 2 with his vehicle 1 encounters the road user 102 with his vehicle 101, for example in a situation in which the right of way is not clearly clarified. The situation from the perspective of this driver 2 is described below. The vehicle 1 and the further vehicle 101 are each a highly automated vehicle, each of which is capable of being operated at least partially automatically. For this purpose, the vehicle 1 has a vehicle system 50 for automated driving and the other vehicle 101 also has a vehicle system 150 for automated driving. In order to be able to resolve the traffic situation easily, the driver 2 and the other road user 102 communicate using gestures. This includes all possible types of physical movement and postures, but also eye contact and the like. For example, the driver 2 carries out a waving movement with his arms, which is intended to signal to the other road user 102 that he should drive first.

Das Fahrzeug 1 umfasst ein Assistenzsystem 10, welches eine Erfassungseinrichtung 11 zum Erfassen des Innenraums des Fahrzeugs 1, insbesondere des Fahrers 2, umfasst. Die Erfassungseinrichtung 11 besitzt hierfür vorzugsweise eine Kamera 12. Zusätzlich oder alternativ können auch weitere Sensorsysteme 13 eingesetzt werden, beispielsweise Ultraschallwandler, kapazitive Sensoren und Ähnliches. Die Erfassungseinrichtung 11 erfasst Informationen über den Fahrer 2, welche als Fahrerinformationen bezeichnet werden. Diese erfassten Fahrerinformationen werden einer Auswerteeinrichtung 20 zugeführt. Diese klassifiziert die Fahrerinformationen, um ein Vorliegen einer Fahreraktion und/oder -reaktion zu erkennen, welche in einem vorgegebenen Fahreraktions- und/oder -reaktionskatalog enthalten sind.The vehicle 1 includes an assistance system 10, which includes a detection device 11 for detecting the interior of the vehicle 1, in particular the driver 2. For this purpose, the detection device 11 preferably has a camera 12. Additionally or alternatively, other sensor systems 13 can also be used, for example ultrasonic transducers, capacitive sensors and the like. The capture device 11 captures information about the driver 2, which is referred to as driver information. This recorded driver information is fed to an evaluation device 20. This classifies the driver information in order to recognize the presence of a driver action and/or reaction, which is contained in a predetermined driver action and/or reaction catalog.

Im vorliegenden Fall wird bei der Klassifizierung die winkende Geste als solche erkannt und als Fahreraktionen das Signalisieren des Gewähren einer Vorfahrt erkannt. Diese klassifizierte Fahrerinformation bzw. ein Code, der die entsprechende Fahreraktion eindeutig kennzeichnet, wird über eine Übertragungseinrichtung 30, welche eine Sendeeinrichtung 32 zur Fahrzeug-zu-Fahrzeug-Kommunikation enthält, zu dem anderen Fahrzeug 101 des Verkehrsteilnehmers 102 übertragen.In the present case, the waving gesture is recognized as such during the classification and the signaling of giving way is recognized as driver actions. This classified driver information or a code that uniquely identifies the corresponding driver action is transmitted to the other vehicle 101 of the road user 102 via a transmission device 30, which contains a transmission device 32 for vehicle-to-vehicle communication.

Um das Klassifizieren zu verbessern können auch Informationen anderer Fahrzeugsysteme 40 mit einbezogen werden. So können beispielsweise eine Fahrzeuggeschwindigkeit, GPS-Koordinaten, aber auch Informationen über eine Sitzbelegung des Beifahrersitzes oder anderer Sitze, eine Information darüber, ob ein Telefongespräch über ein mit der Freisprecheinrichtung gekoppelten Mobiltelefon, d.h. eine mit dem Fahrzeug gekoppelte Einrichtung 41, abgewickelt wird, ob und wenn ja welche Musik gehört wird, in die Klassifikation mit einbezogen werden. Wird beispielsweise telefoniert, so kann eine Kopfschüttelgeste oder Ähnliches auch als Reaktion auf ein den Inhalt des Telefonats ausgeführt werden und nicht als Verständigung mit einem andere externen Verkehrsteilnehmer gemeint sein. Daher ist in einer solchen Situation zusätzlich zu der Kopfbewegung für eine Klassifizierung der Kopfschüttelbewegung als Ablehnung für eine Vorschlagsgeste eines anderen Verkehrsteilnehmers, beispielsweise die Aufforderung als erster zu fahren, auch noch eine Blickrichtungsauswertung erfordern, die prüft ob der Fahrer den anderen Verkehrsteilnehmer anblickt. Nur wenn dieses der Fall ist, wird beispielsweise die Geste als ablehnende Fahrerreaktion klassifiziert.In order to improve classification, information from other vehicle systems 40 can also be included. For example, a vehicle speed, GPS coordinates, but also information about the occupancy of the passenger seat or other seats, information about whether a telephone conversation is being carried out via a mobile phone coupled to the hands-free device, ie a device 41 coupled to the vehicle, whether and if so, what music is being listened to should be included in the classification. For example, if you are talking on the phone, a head shaking gesture or something similar can also be a reaction are based on the content of the telephone call and are not intended as a communication with another external road user. Therefore, in such a situation, in addition to the head movement for a classification of the head shaking movement as a rejection of a suggestion gesture from another road user, for example a request to drive first, a gaze direction evaluation is also required, which checks whether the driver is looking at the other road user. Only if this is the case, for example, is the gesture classified as a negative driver reaction.

Das andere Fahrzeug 101 des Verkehrsteilnehmers 102 ist analog zu dem Fahrzeug 1 ausgebildet. Gleiche technische Merkmale sind mit ähnlichen Bezugszeichen versehen, die jedoch um den Betrag 100 größer sind als die entsprechenden die gleiche Merkmale kennzeichnenden Bezugszeichen beim Fahrzeug 1. Das andere Fahrzeug 101 umfasst neben der Erfassungseinrichtung 111 mit einer Innenkamera 112 zum Erfassen des Innenraums des anderen Fahrzeugs 102 und zum Erfassen von Informationen über den Verkehrsteilnehmer 102 als Verkehrsteilnehmer-Fahrerinformation eine weitere Erfassungseinrichtung 115 mit einer Kamera, welche die Umgebung des anderen Fahrzeugs 101 überwacht. Mit dieser weiteren Erfassungseinrichtung 115, welche eine sogenannte externe Kamera zum Überwachen des Außenbereichs des Fahrzeugs 101 aufweist, werden Informationen über den Fahrer 2 des Fahrzeugs 1 als Verkehrsteilnehmer-Verkehrsteilnehmerinformationen erfasst. Die von einer Außenkamera, welche nicht im Außenbereich des Fahrzeugs angebracht sein muss, sondern so benannt ist, weil sie den Außenraum des anderen Fahrzeugs 101 überwacht, werden sogenannte Verkehrsteilnehmerinformationen über den Fahrer 2 erfasst, der für den anderen Verkehrsteilnehmer 102 aus dessen Sicht ein Verkehrsteilnehmer ist. Aus Sicht des Fahrers 2 sind diese von anderen Verkehrsteilnehmern oder dessen Fahrzeug 101 erfassten Informationen Verkehrsteilnehmer-Verkehrsteilnehmerinformationen. Die Außenkamera 116 der weiteren Erfassungseinrichtung 115 des anderen Fahrzeugs 101 erfasst somit Informationen über den Fahrer 2 des Fahrzeugs 1 als sogenannte Verkehrsteilnehmerinformationen aus Sicht des anderen Fahrzeugs 101. Diese werden, da sie von dem Verkehrsteilnehmer 102 bzw. dessen Fahrzeug 101 erfasst werden, hier aus Sicht des Fahrers 2 oder dessen Fahrzeugs 1 als Verkehrsteilnehmer-Verkehrsteilnehmerinformationen bezeichnet.The other vehicle 101 of the road user 102 is designed analogously to the vehicle 1. The same technical features are provided with similar reference numbers, which, however, are larger by the amount 100 than the corresponding reference numbers characterizing the same features in vehicle 1. The other vehicle 101 includes, in addition to the detection device 111, an interior camera 112 for detecting the interior of the other vehicle 102 and to record information about the road user 102 as road user driver information, a further detection device 115 with a camera which monitors the surroundings of the other vehicle 101. With this further detection device 115, which has a so-called external camera for monitoring the outside area of the vehicle 101, information about the driver 2 of the vehicle 1 is recorded as road user road user information. So-called road user information about the driver 2 is recorded by an external camera, which does not have to be installed in the outside area of the vehicle, but is named so because it monitors the outside area of the other vehicle 101, which is a road user for the other road user 102 from his point of view is. From the perspective of the driver 2, this information recorded by other road users or his vehicle 101 is road user-road user information. The external camera 116 of the further detection device 115 of the other vehicle 101 thus records information about the driver 2 of the vehicle 1 as so-called road user information from the perspective of the other vehicle 101. Since it is recorded by the road user 102 or its vehicle 101, this is removed here View of the driver 2 or his vehicle 1 referred to as road user road user information.

Die Verkehrsteilnehmer-Verkehrsteilnehmerinformationen werden von der Auswerteeinrichtung 120 des anderen Fahrzeugs 101 gegenüber Verkehrsteilnehmeraktionen und -reaktionen eines Verkehrsteilnehmeraktions- und -reaktionskatalogs klassifiziert. Die Auswerteeinrichtung 120 klassifiziert somit die Verkehrsteilnehmer-Verkehrsteilnehmerinformation, welcher die winkende Geste des Fahrers 2 zugrunde liegt, als eine Verkehrsteilnehmeraktion aus Sicht des Verkehrsteilnehmers 102, welche ein Vorlassen des anderen Verkehrsteilnehmers 102 signalisiert. Da die Informationen über den Fahrer 2 des Fahrzeugs 1 von dem anderen Fahrzeug 101 mit der weiteren Erfassungseinrichtung 115, d.h. der Außenkamera 116, schwieriger zu erfassen sind als von der Erfassungseinrichtung 11 des Fahrzeugs 1, ist es zur Plausibilisierung der Verkehrsteilnehmer-Verkehrsteilnehmerinformationen in dem anderen Fahrzeug 101 vorteilhaft, wenn von einer Empfangseinrichtung 132 der Übertragungseinrichtung 130 des anderen Fahrzeugs die klassifizierten Fahrerinformationen des Fahrzeugs 1 empfangen werden und in einer Plausibilisierungseinrichtung 121 der Auswerteeinrichtung 120 genutzt werden, um die Verkehrsteilnehmer-Verkehrsteilnehmerinformationen anhand der empfangenen Fahrerinformationen des Fahrzeugs 1 zu plausibilisieren. Ist die Geste des Fahrers 2 des Fahrzeugs 1 somit im anderen Fahrzeug 101 in der Plausibilisierungseinrichtung 121 der Auswerteeinrichtung 120 als plausibel verifiziert, wird diese klassifizierte Verkehrsteilnehmer-Verkehrsteilnehmerinformation („Vorfahrt wird gewährt“) der Vorrichtung 150 zum autonomen Fahren des anderen Fahrzeugs 101 bereitgestellt und kann so dessen Betriebsverhalten beeinflussen.The road user road user information is classified by the evaluation device 120 of the other vehicle 101 against road user actions and reactions of a road user action and reaction catalog. The evaluation device 120 thus classifies the road user road user information, which is based on the waving gesture of the driver 2, as a road user action from the perspective of the road user 102, which signals that the other road user 102 is allowed to pass. Since the information about the driver 2 of the vehicle 1 is more difficult to capture from the other vehicle 101 with the further detection device 115, i.e. the external camera 116, than from the detection device 11 of the vehicle 1, it is necessary to check the plausibility of the road user road user information in the other Vehicle 101 is advantageous if the classified driver information of the vehicle 1 is received by a receiving device 132 of the transmission device 130 of the other vehicle and is used in a plausibility checking device 121 of the evaluation device 120 in order to check the plausibility of the road user road user information based on the received driver information of the vehicle 1. If the gesture of the driver 2 of the vehicle 1 is thus verified as plausible in the other vehicle 101 in the plausibility check device 121 of the evaluation device 120, this classified road user road user information (“right of way is granted”) is provided to the device 150 for autonomous driving of the other vehicle 101 and can thus influence its operating behavior.

Signalisiert nun der Verkehrsteilnehmer beispielsweise über ein Kopfnicken seine Zustimmung zu der von dem Fahrer 2 vorgeschlagenen Abwicklung des Verkehrs, so wird diese Geste in dem anderen Fahrzeug 101 von dessen einer Erfassungseinrichtung 111 des Assistenzsystems 110 erfasst. Die Erfassungseinrichtung 111 umfasst hierfür eine Innenraumkamera 112. Ebenfalls können andere Sensoren vorhanden sein, um Informationen über den Verkehrsteilnehmer 102 in dessen Innenraum des anderen Fahrzeugs 101 zu erfassen. Die erfassten Fahrerinformationen des anderen Fahrzeugs 101 werden hier als Verkehrsteilnehmer-Fahrerinformationen aus Sicht des Fahrers 2 des Fahrzeugs 1 bezeichnet. Die Auswerteeinrichtung 120 des anderen Fahrzeugs 101 klassifiziert diese Verkehrsteilnehmer-Fahrerinformationen gegenüber dessen Fahreraktions- und -reaktionskatalog. Ist die Geste des Kopfnickens zuverlässig als eine Fahrerreaktion bzw. -aktion des Signalisierens einer Zustimmung erkannt, so wird dieses über die Sendeeinrichtung 131 der Übertragungseinrichtung 130 zu der Empfangseinrichtung 32 der Übertragungseinrichtung 30 des Fahrzeugs 1 übertragen. Hierdurch wird die Möglichkeit geschaffen, in einer Plausibilisierungseinrichtung 21 des Fahrzeugs 1 die von einer weiteren Erfassungseinrichtung 15 des Fahrzeugs 1 erfasste Geste des anderen Verkehrsteilnehmers zu plausibilisieren. Die weitere Erfassungseinrichtung 15 des Fahrzeugs 1 umfasst hierfür ebenfalls eine Außenbereichskamera 16, mit der Informationen über den Verkehrsteilnehmer 102 erfasst werden. Von der Auswerteeinrichtung 20 werden die so erfassten Verkehrsteilnehmerinformationen gegenüber einem Verkehrsteilnehmeraktions- und - reaktionskatalog klassifiziert. Erkennt die Auswerteeinrichtung, dass der Verkehrsteilnehmer eine die Zustimmung signalisierende Geste ausgeführt hat, so kann in der Plausibilisierungseinrichtung 21 diese Klassifizierung darüber plausibilisiert werden, dass ein Vergleich mit der empfangenen Klassifizierungsinformation, nämlich der klassifizierten Verkehrsteilnehmer-Fahrerinformation, die von dem anderen Fahrzeug 101 ausgesandt wurde, ausgeführt wird. Liegt eine Übereinstimmung vor, so ist die im Fahrzeug 1 ermittelte Verkehrsteilnehmerinformation korrekt klassifiziert. Somit kann die klassifizierte Verkehrsteilnehmerinformation oder das Klassifizierungsergebnis an das Fahrzeugsystem 150 zum autonomen Fahren als Eingangsgröße abgegeben werden.If the road user signals his consent to the handling of the traffic proposed by the driver 2, for example by nodding his head, this gesture is recorded in the other vehicle 101 by one of its detection devices 111 of the assistance system 110. For this purpose, the detection device 111 includes an interior camera 112. Other sensors may also be present in order to capture information about the road user 102 in the interior of the other vehicle 101. The captured driver information of the other vehicle 101 is referred to here as road user driver information from the perspective of the driver 2 of the vehicle 1. The evaluation device 120 of the other vehicle 101 classifies this road user driver information against its driver action and reaction catalog. If the gesture of nodding the head is reliably recognized as a driver reaction or action of signaling consent, this is transmitted via the transmitting device 131 of the transmission device 130 to the receiving device 32 of the transmission device 30 of the vehicle 1. This creates the possibility of checking the plausibility of the other road user's gesture detected by a further detection device 15 of the vehicle 1 in a plausibility checking device 21 of the vehicle 1. The further detection device 15 of the vehicle 1 also includes one for this purpose Outdoor camera 16, with which information about the road user 102 is recorded. The evaluation device 20 classifies the road user information recorded in this way against a road user action and reaction catalog. If the evaluation device detects that the road user has carried out a gesture signaling consent, this classification can be checked for plausibility in the plausibility check device 21 by comparing it with the received classification information, namely the classified road user driver information that was sent by the other vehicle 101 , is performed. If there is a match, the road user information determined in vehicle 1 is correctly classified. Thus, the classified road user information or the classification result can be sent to the vehicle system 150 for autonomous driving as an input variable.

In einer Weiterbildung ist es darüber hinaus möglich, dass die von dem Fahrzeug 101 des Fahrers 2 ermittelte klassifizierte Verkehrsteilnehmerinformation bzw. das Klassifikationsergebnis an den Verkehrsteilnehmer 102 oder dessen Fahrzeug 101 übertragen wird. So ist es für den Verkehrsteilnehmer 102 beispielsweise dann möglich, dessen intern ermittelte Fahrerinformation und deren Klassifizierung, welche hier als Verkehrsteilnehmer-Fahrerinformation bezeichnet ist, zu plausibilisieren. Entsprechend kann das Fahrzeug 1 die Fahrerinformation plausibilisieren, wenn das andere Fahrzeug 101 die klassifizierte Verkehrsteilnehmer-Verkehrsteilnehmerinformation, welche die Klassifikation der von dem anderen Fahrzeug 101 erfassten Geste des Fahrers 2 angibt, übertragen wird.In a further development, it is also possible for the classified road user information or the classification result determined by the vehicle 101 of the driver 2 to be transmitted to the road user 102 or his vehicle 101. For example, it is then possible for the road user 102 to check the plausibility of his internally determined driver information and its classification, which is referred to here as road user driver information. Accordingly, the vehicle 1 can check the driver's information for plausibility if the other vehicle 101 transmits the classified road user road user information, which indicates the classification of the gesture of the driver 2 detected by the other vehicle 101.

In 2 und 3 sind die unterschiedlichen Ablaufschritte aus Sicht des Assistenzsystems 10 des Fahrzeugs 1 nach 1 dargestellt, die beim Abwickeln einer Verkehrssituation, wie sie oben im Zusammenhang mit 1 beschrieben ist, auftreten. In 2 ist die Ausführung der Geste durch den Fahrer und die Informationsübertragung der klassifizierten Fahrerinformation zu dem anderen Verkehrsteilnehmer schematisch dargestellt. Das Fahrzeug 1, dessen Assistenzsystem bzw. dessen Funktionalität beschrieben wird, ist durch eine gestrichelte Linie gekennzeichnet. Der Fahrer führt eine Geste 210 aus. Diese wird intern erfasst 220, ausgewertet 230 und hierbei klassifiziert 240. Anschließend wird die klassifizierte Fahrerinformation zu dem anderen Verkehrsteilnehmer übertragen 250. In dem anderen Fahrzeug 101 wird die Geste des Fahrers als Verkehrsteilnehmerinformation und somit aus Sicht des Fahrzeugs 1 als Verkehrsteilnehmer-Verkehrsteilnehmerinformation erfasst 260. Die für das Fahrzeug 101 externe Geste des Fahrers wird dann klassifiziert 270 und anschließend mit der empfangenen klassifizierten Fahrerinformation des Fahrzeugs 1 plausibilisiert 280. Anschließend kann eine Reaktion 290 des Fahrzeugsystems zum automatisierten Fahren des anderen Fahrzeugs 101 herbeigeführt werden.In 2 and 3 are the different process steps from the perspective of the assistance system 10 of the vehicle 1 1 shown in the handling of a traffic situation as described above in connection with 1 described occur. In 2 the execution of the gesture by the driver and the transmission of the classified driver information to the other road user is shown schematically. The vehicle 1, whose assistance system or functionality is described, is marked by a dashed line. The driver performs a gesture 210. This is recorded internally 220, evaluated 230 and classified 240. The classified driver information is then transmitted to the other road user 250. In the other vehicle 101, the driver's gesture is recorded as road user information and thus from the perspective of the vehicle 1 as road user information 260 The driver's gesture, which is external to the vehicle 101, is then classified 270 and then checked for plausibility 280 using the received classified driver information of the vehicle 1. A reaction 290 of the vehicle system can then be brought about for the automated driving of the other vehicle 101.

In 3 ist die Situation dargestellt, wo der andere Verkehrsteilnehmer eine Geste ausführt 310. Diese wird von dem anderen Fahrzeug 102 erfasst 320 und aus Sicht des Fahrzeugs 1 als Verkehrsteilnehmer-Fahrerinformation ausgewertet 330 und klassifiziert 340. Anschließend wird die klassifizierte Verkehrsteilnehmer-Fahrerinformation zu dem Fahrzeug 1 übertragen 350. In dem Fahrzeug ist parallel die Geste des anderen Verkehrsteilnehmers als Verkehrsteilnehmerinformation erfasst 360, entsprechend ausgewertet und klassifiziert worden 370 und wird dann mit der empfangenen Verkehrsteilnehmer-Fahrerinformation plausibilisiert 380. Anschließend kann diese klassifizierte Information dem Fahrzeugsystem zum automatisierten Fahren des Fahrzeugs 1 zugeführt werden, um eine Reaktion von diesem zu veranlassen 390.In 3 The situation is shown where the other road user performs a gesture 310. This is detected 320 by the other vehicle 102 and evaluated 330 and classified 340 as road user driver information from the perspective of the vehicle 1. The classified road user driver information is then assigned to the vehicle 1 transmitted 350. In parallel, the gesture of the other road user is recorded in the vehicle as road user information 360, correspondingly evaluated and classified 370 and is then checked for plausibility with the received road user driver information 380. This classified information can then be fed to the vehicle system for automated driving of the vehicle 1 to cause a reaction from this 390.

Zusätzlich ist es möglich, dass auch jeweils die Klassifikation, die ein Fahrzeug für Verkehrsteilnehmerinformationen ausgeführt hat, zum jeweils anderen Verkehrsteilnehmer übertragen wird, sodass dieser die Gelegenheit hat, die von ihm selbst als Fahrerinformation erfasste Geste und dessen Klassifikation zu plausibilisieren. Auch diese im jeweiligen Fahrzeug als Fahrerinformation erfasste Geste bzw. dessen Klassifizierung kann zur Beeinflussung des Fahrzeugsystems für das automatisierte Fahren des entsprechenden Fahrzeugs genutzt werden. Ist diese plausibilisiert, so wird die Sicherheit des Systems zusätzlich gesteigert.In addition, it is possible for the classification that a vehicle has carried out for road user information to be transmitted to the other road user, so that the other road user has the opportunity to check the plausibility of the gesture that he himself recorded as driver information and its classification. This gesture or its classification, which is recorded in the respective vehicle as driver information, can also be used to influence the vehicle system for the automated driving of the corresponding vehicle. If this is checked for plausibility, the security of the system is further increased.

Die Erfindung ist hier in Bezug auf Fahrzeuge im Straßenverkehr beschrieben. Als Fahrzeug im Sinne der hier beschriebenen Anmeldung werden jedoch auch andere Maschinen und Vorrichtungen verstanden, bei denen sich ein Fahrer oder Führer in einem teilweise automatisierten Vorgang der Vorrichtung oder Maschine durch Verständigung mit einem anderen Teilnehmer, der eine andere Vorrichtung oder Maschine ähnlichen Typs bedient, verständigen kann.The invention is described here in relation to vehicles in road traffic. However, a vehicle in the sense of the application described here also includes other machines and devices in which a driver or guide uses the device or machine in a partially automated process by communicating with another participant who operates another device or machine of a similar type. can communicate.

Die beschriebenen Merkmale können in beliebiger Kombination zur Ausführung der Erfindung genutzt werden.The features described can be used in any combination to carry out the invention.

BezugszeichenlisteReference symbol list

11
Fahrzeugvehicle
22
Fahrerdriver
1010
AssistenzsystemAssistance system
1111
ErfassungsvorrichtungDetection device
1212
Kameracamera
1313
SensorsystemeSensor systems
1515
weitere Erfassungseinrichtungfurther detection device
1616
AußenkameraOutdoor camera
2020
AuswerteeinrichtungEvaluation device
2121
PlausibilisierungseinrichtungPlausibility check facility
3030
ÜbertragungseinrichtungTransmission facility
3131
EmpfangseinrichtungReception facility
3232
SendeeinrichtungTransmitting device
4040
weitere Fahrzeugsystemeother vehicle systems
4141
gekoppelte Einrichtungencoupled facilities
5050
Fahrzeugsystem zum automatisierten FahrenVehicle system for automated driving
101101
anderes Fahrzeugother vehicle
102102
Verkehrsteilnehmer (Fahrer des anderen Fahrzeugs)Road user (driver of the other vehicle)
110110
AssistenzsystemAssistance system
111111
ErfassungsvorrichtungDetection device
112112
Kameracamera
113113
SensorsystemeSensor systems
115115
weitere Erfassungseinrichtungfurther detection device
116116
AußenkameraOutdoor camera
120120
AuswerteeinrichtungEvaluation device
121121
PlausibilisierungseinrichtungPlausibility check facility
130130
ÜbertragungseinrichtungTransmission facility
131131
EmpfangseinrichtungReception facility
132132
SendeeinrichtungTransmitting device
140140
weitere Fahrzeugsystemeother vehicle systems
141141
gekoppelte Einrichtungencoupled facilities
150150
Fahrzeugsystem zum automatisierten FahrenVehicle system for automated driving
210210
Ausführen einer Geste (durch den Fahrer)Performing a gesture (by the driver)
220220
Erfassen der Geste (Fahrerinformation)Capturing the gesture (driver information)
230230
Geste des Fahrers (intern) Auswerten (Fahrerinformation)Driver’s gesture (internal) Evaluate (driver information)
240240
Klassifizieren der Geste (Fahrerinformation)Classifying the gesture (driver information)
250250
Übertragen der klassifizierten Fahrerinformation (Geste)Transmitting the classified driver information (gesture)
260260
Erfassen der Geste im anderen Fahrzeug als Verkehrsteilnehmer-VerkehrsteilnehmerinformationCapturing the gesture in the other vehicle as road user road user information
270270
Klassifizieren der Geste (Verkehrsteilnehmer-Verkehrsteilnehmerinformation )im anderen FahrzeugClassifying the gesture (road user information) in the other vehicle
280280
Plausibilisieren der klassifizierten Verkehrsteilnehmer-VerkehrsteilnehmerinformationChecking the plausibility of the classified road user information
290290
Herbeiführen einer Reaktion des FahrzeugsInducing a reaction from the vehicle
310310
Ausführen einer Geste durch den VerkehrsteilnehmerExecution of a gesture by the road user
320320
Erfassen der Geste des Verkehrsteilnehmers im anderen Fahrzeug (Verkehrsteilnehmer-Fahrerinformation)Detecting the gesture of the road user in the other vehicle (road user driver information)
330330
Auswerten der Geste des Verkehrsteilnehmers (Verkehrsteilnehmer-Fahrerinformation)Evaluating the road user's gesture (road user driver information)
340340
Klassifizieren der Geste des Verkehrsteilnehmers (Verkehrsteilnehmer-Fahrerinformation)Classifying the road user's gesture (road user driver information)
350350
Übertragen der klassifizierten Verkehrsteilnehmer-Fahrerinformation (Geste)Transmitting the classified road user driver information (gesture)
360360
Erfassen der Geste des Verkehrsteilnehmers im Fahrzeug als VerkehrsteilnehmerinformationRecording the gesture of the road user in the vehicle as road user information
370370
Klassifizieren der Geste des Verkehrsteilnehmers (Verkehrsteilnehmerinformation)Classifying the road user's gesture (road user information)
380380
Plausibilisieren der klassifizierten VerkehrsteilnehmerinformationPlausibility check of the classified road user information
390390
Herbeiführen einer Reaktion des FahrzeugsInducing a reaction from the vehicle

Claims (8)

Assistenzsystem (10) eines hoch automatisierten Fahrzeugs zur Verbesserung der Verkehrssicherheit im Zusammenwirken mit anderen Verkehrsteilnehmern (102), umfassend: mindestens eine Erfassungseinrichtung (11) im Innenraum des Fahrzeugs (1) zum Erfassen von Informationen über den Fahrer (2) des Fahrzeugs (1) als Fahrerinformationen; eine mit der mindestens einen Erfassungseinrichtung (11) gekoppelte Auswerteeinrichtung (20) zum Klassifizieren der erfassten Fahrerinformationen, wobei die erfassten Fahrerinformationen zumindest Gesten des Fahrers (2) umfassen und die Auswerteeinrichtung (20) ausgebildet ist, die Gesten des Fahrers (2) zu klassifizieren, und wobei die Auswerteeinrichtung (20) ausgebildet ist, beim Klassifizieren der Fahrerinformationen zu ermitteln, ob und mit welcher Zuverlässigkeit eine oder mehrere Fahreraktionen und/oder Fahrerreaktionen eines vorgegebenen Fahreraktions- und Fahrerreaktionskatalogs vorliegen; mindestens eine Übertragungseinrichtung (30) zum Übertragen der klassifizierten Fahrerinformationen zu einer oder mehreren Empfangseinrichtungen (131) eines oder mehrerer der anderen Verkehrsteilnehmer (102); und eine weitere Erfassungseinrichtung (15) zum Erfassen von Informationen über mindestens einen der anderen Verkehrsteilnehmer (102) als Verkehrsteilnehmerinformationen, wobei die weitere Erfassungseinrichtung (15) mit der Auswerteeinrichtung (20) oder einer weiteren Auswerteeinrichtung gekoppelt ist, um die Verkehrsteilnehmerinformation zu klassifizieren, wobei die erfassten Verkehrsteilnehmerinformationen zumindest Gesten des Verkehrsteilnehmers (102) umfassen und die Auswerteeinrichtung (20) oder die weitere Auswerteeinrichtung ausgebildet ist, die Gesten des Verkehrsteilnehmers (102) zu klassifizieren, und wobei die Auswerteeinrichtung (20) oder die weitere Auswerteeinrichtung ausgebildet ist, beim Klassifizieren der Verkehrsteilnehmerinformationen zu ermitteln, ob und mit welcher Zuverlässigkeit eine oder mehrere Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen eines vorgegebenen Verkehrsteilnehmeraktions- und Verkehrsteilnehmerreaktionskatalogs vorliegen, und die als vorliegend klassifizierten Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen einem Fahrzeugsystem (50) zum automatisierten Fahren als Eingangswert bereitzustellen. Assistance system (10) of a highly automated vehicle for improving traffic safety in cooperation with other road users (102), comprising: at least one recording device (11) in the interior of the vehicle (1) for recording information about the driver (2) of the vehicle (1 ) as driver information; an evaluation device (20) coupled to the at least one detection device (11) for classifying the captured driver information, wherein the captured driver information includes at least gestures of the driver (2) and the evaluation device (20) is designed to classify the gestures of the driver (2). , and wherein the evaluation device (20) is designed, when classifying the driver information, to determine whether and with what reliability one or more driver actions and / or driver reactions of a given driver action and vehicle a reaction catalog is available; at least one transmission device (30) for transmitting the classified driver information to one or more receiving devices (131) of one or more of the other road users (102); and a further detection device (15) for detecting information about at least one of the other road users (102) as road user information, the further detection device (15) being coupled to the evaluation device (20) or a further evaluation device in order to classify the road user information, wherein the recorded road user information includes at least gestures of the road user (102) and the evaluation device (20) or the further evaluation device is designed to classify the gestures of the road user (102), and wherein the evaluation device (20) or the further evaluation device is designed to classify of the road user information to determine whether and with what reliability one or more road user actions and/or road user reactions of a predetermined road user action and road user reaction catalog are present, and to provide the road user actions and/or road user reactions classified as present to a vehicle system (50) for automated driving as an input value. Assistenzsystem (10) nach Anspruch 1, wobei das Übertragen der klassifizierten Fahrerinformation ein Übermitteln eines die als vorliegend ermittelte Fahreraktion und/oder -reaktion kennzeichnenden Codes umfasst.Assistance system (10). Claim 1 , wherein transmitting the classified driver information includes transmitting a code identifying the driver action and/or reaction determined to be present. Assistenzsystem (10) nach Anspruch 1 oder 2, wobei die mindestens eine Erfassungseinrichtung (11) eine Kamera (13) zum Erfassen der Fahrerinformationen umfasst.Assistance system (10). Claim 1 or 2 , wherein the at least one detection device (11) comprises a camera (13) for detecting the driver information. Assistenzsystem (10) nach einem der vorherigen Ansprüche, wobei die Übertragungseinrichtung (30) ausgebildet ist, eine von einer Übertragungseinrichtung (130) des mindestens einen anderen Verkehrsteilnehmers (102) übertragene klassifizierte Verkehrsteilnehmer-Fahrerinformation zu empfangen und einer mit der Übertragungseinrichtung (30) gekoppelten Plausibilisierungseinrichtung (21) zuzuführen, welche ausgebildet ist, die empfangene klassifizierte Verkehrsteilnehmer-Fahrerinformation mit der von der Auswerteeinrichtung (20) oder der weiteren Auswerteeinrichtung klassifizierten Verkehrsteilnehmerinformation zu vergleichen und bei einer Vereinbarkeit oder Gleichheit der klassifizierten Verkehrsteilnehmer-Fahrerinformation und der klassifizierten Verkehrsteilnehmerinformation die klassifizierte Verkehrsteilnehmerinformation als plausibel zu kennzeichnen und andernfalls als unplausibel zu kennzeichnen.Assistance system (10) according to one of the preceding claims, wherein the transmission device (30) is designed to receive classified road user driver information transmitted by a transmission device (130) of the at least one other road user (102) and one coupled to the transmission device (30). Plausibility check device (21), which is designed to compare the received classified road user driver information with the road user information classified by the evaluation device (20) or the further evaluation device and, if the classified road user driver information and the classified road user information are compatible or identical, the classified road user information to be marked as plausible and otherwise to be marked as implausible. Assistenzsystem (10) nach einem der vorherigen Ansprüche, wobei die Auswerteeinrichtung (20) mit anderen Fahrzeugsystemen(40) des Fahrzeugs verknüpft ist und ausgebildet ist, Zustandsinformationen der anderen Fahrzeugsysteme (40) oder über informationstechnisch mit dem Fahrzeug (1) gekoppelte Einrichtungen (41) im Fahrzeug zu empfangen, um diese in die eine Klassifikation der Fahrerinformation mit einzubeziehen.Assistance system (10) according to one of the preceding claims, wherein the evaluation device (20) is linked to other vehicle systems (40) of the vehicle and is designed to receive status information from the other vehicle systems (40) or via devices (41) coupled to the vehicle (1) in terms of information technology ) in the vehicle in order to include this in the classification of the driver information. Verfahren zum Unterstützen des Zusammenwirken eines hoch automatisierten Fahrzeugs (1) mit anderen Verkehrsteilnehmern (102) zur Verbesserung der Verkehrssicherheit umfassend die Schritte: Erfassen von Informationen über einen Fahrer (2) des Fahrzeugs (1) im Innenraum des Fahrzeugs (1) als Fahrerinformationen; Auswerten der Fahrerinformationen zum Klassifizieren der erfassten Fahrerinformationen, wobei die erfassten Fahrerinformationen zumindest Gesten des Fahrers (2) umfassen und die Gesten des Fahrers (2) klassifiziert werden, und wobei das Klassifizieren der Fahrerinformationen gegenüber Fahreraktionen und/oder Fahrerreaktionen eines vorgegeben Fahreraktions- und Fahrerreaktionskatalogs erfolgt; Übertragen der klassifizierten Fahrerinformationen mittels einer Übertragungseinrichtung (30) des Fahrzeugs (1) zu einer Empfangseinrichtung (131) mindestens eines anderen Verkehrsteilnehmers (102), wobei als klassifizierte Fahrerinformationen nur mit einer Zuverlässigkeit oberhalb eines festgelegten Konfidenzniveaus erkannte Fahreraktionen und/oder Fahrerreaktionen des vorgegebenen Fahreraktions- und Fahrerreaktionskatalogs übertragen werden; Erfassen von Informationen über den mindestens einen anderen Verkehrsteilnehmer (102) als Verkehrsteilnehmerinformationen; Auswerten der Verkehrsteilnehmerinformationen zum Klassifizieren der erfassten Verkehrsteilnehmerinformationen, wobei die erfassten Verkehrsteilnehmerinformationen zumindest Gesten des Verkehrsteilnehmers (102) umfassen und die Gesten des Verkehrsteilnehmers (102) klassifiziert werden, wobei ermittelt wird, ob und mit welcher Zuverlässigkeit eine oder mehrere Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen eines vorgegebenen Verkehrsteilnehmeraktions- und Verkehrsteilnehmerreaktionskatalogs vorliegen; und Bereitstellen die als vorliegend klassifizierten Verkehrsteilnehmeraktionen und/oder Verkehrsteilnehmerreaktionen einem Fahrzeugsystem (50) zum automatisierten Fahren als Eingangswert.Method for supporting the interaction of a highly automated vehicle (1) with other road users (102) to improve traffic safety, comprising the steps: Detecting information about a driver (2) of the vehicle (1) in the interior of the vehicle (1) as driver information; Evaluating the driver information to classify the captured driver information, wherein the captured driver information includes at least gestures of the driver (2) and the driver's gestures (2) are classified, and the driver information is classified against driver actions and/or driver reactions of a predetermined driver action and driver reaction catalogue; Transmitting the classified driver information by means of a transmission device (30) of the vehicle (1) to a receiving device (131) of at least one other road user (102), wherein classified driver information only includes driver actions and/or driver reactions of the predetermined driver action that are recognized with a reliability above a specified confidence level - and driver reaction catalog are transmitted; Acquiring information about the at least one other road user (102) as road user information; Evaluating the road user information to classify the recorded road user information, wherein the recorded road user information includes at least gestures of the road user (102) and the gestures of the road user (102) are classified, determining whether and with what reliability one or more road user actions and / or road user reactions specified road user action and road user reaction catalog is available; and providing the road user actions and/or road user reactions classified as present to a vehicle system (50) for automated driving as an input value. Verfahren nach Anspruch 6, wobei von dem mindestens einen anderen Verkehrsteilnehmers (102) übertragene klassifizierte Verkehrsteilnehmer-Fahrerinformationen empfangen werden und zur Plausibilisierung der klassifizierten Verkehrsteilnehmerinformationen verwendet werden, indem die klassifizierten Verkehrsteilnehmerinformationen mit den empfangenen klassifizierten Verkehrsteilnehmer-Fahrerinformation verglichen werden und jeweils bei einer Vereinbarkeit oder Gleichheit der klassifizierten Verkehrsteilnehmer-Fahrerinformation und der klassifizierten Verkehrsteilnehmerinformation die klassifizierte Verkehrsteilnehmerinformation als plausibel gekennzeichnet wird und andernfalls als unplausibel gekennzeichnet wird.Procedure according to Claim 6 , whereby at least one other road user (102) transmitted classified road user driver information is received and used to check the plausibility of the classified road user information by comparing the classified road user information with the received classified road user driver information and, if the classified road user driver information and the classified road user information are compatible or equal, the classified Road user information is marked as plausible and otherwise is marked as implausible. Verfahren nach Anspruch 6 oder 7, wobei mittels einer Empfangseinrichtung (31) eine von einem der anderen Verkehrsteilnehmer (102) übertragene klassifizierte Verkehrsteilnehmerinformation als Verkehrsteilnehmer-Verkehrsteilnehmerinformation, die eine Klassifikation der von dem andern Verkehrsteilnehmer (102) als Verkehrsteilnehmerinformation erfassten Information über den Fahrer (2) des Fahrzeugs (1) enthält, erfasst wird und verwendet wird, um die Klassifikation der Fahrerinformation zu plausibilisieren, indem die empfangene von einem der anderen Verkehrsteilnehmer (102) erfasste und klassifizierte Verkehrsteilnehmer-Verkehrsteilnehmerinformation mit der klassifizierten Fahrerinformation verglichen und bei Vereinbarkeit und/oder Gleichheit als plausibel gekennzeichnet wird und andernfalls als unplausibel gekennzeichnet wird und die Fahrerreaktion und/oder -reaktion gemäß der als plausibel gekennzeichneten klassifizierten Fahrerinformation vorliegenden Fahreraktion- und/oder -reaktion dem Fahrzeugsystem (50) zum automatisierten Fahren als weiterer Eingangswert bereitgestellt wird.Procedure according to Claim 6 or 7 , wherein by means of a receiving device (31) classified road user information transmitted by one of the other road users (102) as road user road user information, which is a classification of the information about the driver (2) of the vehicle (1.) recorded by the other road user (102) as road user information ) contains, is recorded and used to make the classification of the driver information plausible by comparing the received and classified road user road user information recorded by one of the other road users (102) with the classified driver information and marking it as plausible if it is compatible and/or identical and otherwise is marked as implausible and the driver reaction and/or reaction is provided to the vehicle system (50) for automated driving as a further input value in accordance with the driver action and/or reaction present in the classified driver information marked as plausible.
DE102016206694.3A 2016-04-20 2016-04-20 Assistance system and method of a highly automated vehicle to improve interaction with other road users Active DE102016206694B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016206694.3A DE102016206694B4 (en) 2016-04-20 2016-04-20 Assistance system and method of a highly automated vehicle to improve interaction with other road users

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016206694.3A DE102016206694B4 (en) 2016-04-20 2016-04-20 Assistance system and method of a highly automated vehicle to improve interaction with other road users

Publications (2)

Publication Number Publication Date
DE102016206694A1 DE102016206694A1 (en) 2017-10-26
DE102016206694B4 true DE102016206694B4 (en) 2023-10-05

Family

ID=60021381

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016206694.3A Active DE102016206694B4 (en) 2016-04-20 2016-04-20 Assistance system and method of a highly automated vehicle to improve interaction with other road users

Country Status (1)

Country Link
DE (1) DE102016206694B4 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017219471A1 (en) * 2017-11-02 2019-05-02 Bayerische Motoren Werke Aktiengesellschaft Control device, motor vehicle and control method for a motor vehicle
JP2019121107A (en) * 2017-12-28 2019-07-22 トヨタ自動車株式会社 On-vehicle communication device and vehicle
DE102021104349A1 (en) 2021-05-14 2022-11-17 Robert Bosch Gesellschaft mit beschränkter Haftung Method for outputting at least one warning signal from a fully automated vehicle to a road user
US11938959B2 (en) 2021-10-12 2024-03-26 Here Global B.V. Driving assistance device, system thereof, and method thereof
DE102022200883A1 (en) 2022-01-26 2023-07-27 Volkswagen Aktiengesellschaft Method for operating a motor vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120068858A1 (en) 2010-09-22 2012-03-22 Edward Fredkin Traffic negotiation system
US8954252B1 (en) 2012-09-27 2015-02-10 Google Inc. Pedestrian notifications
DE102013216490A1 (en) 2013-08-20 2015-02-26 Continental Automotive Gmbh A system for providing a signal to an object in the environment of the system
US9014905B1 (en) 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
US20150112571A1 (en) 2013-10-22 2015-04-23 Honda Research Institute Europe Gmbh Composite confidence estimation for predictive driver assistant systems
DE102013224026A1 (en) 2013-11-25 2015-05-28 Robert Bosch Gmbh Method for evaluating driver behavior in a vehicle
DE102014214456A1 (en) 2014-07-23 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Communication of road users
EP2870430B1 (en) 2012-07-06 2016-04-13 Audi AG Method and control system for operating a vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120068858A1 (en) 2010-09-22 2012-03-22 Edward Fredkin Traffic negotiation system
EP2870430B1 (en) 2012-07-06 2016-04-13 Audi AG Method and control system for operating a vehicle
US8954252B1 (en) 2012-09-27 2015-02-10 Google Inc. Pedestrian notifications
DE102013216490A1 (en) 2013-08-20 2015-02-26 Continental Automotive Gmbh A system for providing a signal to an object in the environment of the system
US20150112571A1 (en) 2013-10-22 2015-04-23 Honda Research Institute Europe Gmbh Composite confidence estimation for predictive driver assistant systems
DE102013224026A1 (en) 2013-11-25 2015-05-28 Robert Bosch Gmbh Method for evaluating driver behavior in a vehicle
US9014905B1 (en) 2014-01-28 2015-04-21 Google Inc. Cyclist hand signal detection by an autonomous vehicle
DE102014214456A1 (en) 2014-07-23 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Communication of road users

Also Published As

Publication number Publication date
DE102016206694A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
DE102016206694B4 (en) Assistance system and method of a highly automated vehicle to improve interaction with other road users
DE102013206746B4 (en) Method and device for modifying the configuration of a driver assistance system of a motor vehicle
DE102013210050B4 (en) Neurocognitive processing of a driver state
EP1957309B1 (en) Method and device for recognising the state of a driver
DE102014111023A1 (en) Method and device for controlling an automated vehicle
DE102015217386A1 (en) Method and system for operating a motor vehicle
DE102016211587A1 (en) Method and device for controlling a vehicle
DE102016218811B4 (en) Warning system in case of fatigue of a driver and procedures for this
DE102010018331A1 (en) Device and method for detecting a dangerous situation for a vehicle
DE102013219038A1 (en) A method for detecting a traffic cop by a driver assistance system of a motor vehicle and a driver assistance system
DE102016210452B4 (en) Method and device for a vehicle with an emergency assistance unit
DE102020210657A1 (en) Apparatus, method and system for controlling the travel of vehicles
DE102004034748A1 (en) Driver assistance system has warning device activated depending on how strongly/how long for/how often set driving direction/current lane occupation and current lane course/desired lane occupation to be maintained deviate from each other
DE102015001686A1 (en) Method and device for detecting a driver's responsiveness in automated driving
EP3853681A1 (en) Method for classifying a non-driving activity of a driver in respect of an interruptibility of the non-driving activity in the event of a prompt to take over the driving function, and method for re-releasing a non-driving activity following an interruption of said non-driving activity as a result of a prompt to takeover the driving function
DE102016000555A1 (en) Method for communication between at least two vehicles
DE102017217256A1 (en) Communication flow of road users in the direction of an automated moving vehicle
EP3546308A1 (en) Method for operating a control device, motor vehicle and computer program
DE102015010727A1 (en) Device for emergency monitoring of an occupant of a vehicle
DE102018210375A1 (en) Driver assistance system, vehicle, method for operating the driver assistance system, computer program and computer-readable storage medium
DE102020113611A1 (en) Method and safety system for securing an automated vehicle function and motor vehicle
DE102013220306A1 (en) A method of notifying a vehicle via an authorized person's instruction
DE102016223794A1 (en) Method and system for assessing acceptance of at least one driver assistance system of an autonomously driving motor vehicle
DE102019126208A1 (en) Emergency system for a vehicle
DE102019135131A1 (en) Procedures for improving road safety

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division