DE102020121655A1

DE102020121655A1 - System and method for directing the attention of a vehicle occupant during automated driving

Info

Publication number: DE102020121655A1
Application number: DE102020121655.6A
Authority: DE
Inventors: Frederik Naujoks; Sebastian Hergeth
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-08-18
Filing date: 2020-08-18
Publication date: 2022-02-24

Abstract

Die Erfindung betrifft ein System (10) zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren, umfassend: Eine Umfeldsensorik (101) zum Erfassen eines Fahrzeugumfelds des Fahrzeugs; eine Blickrichtungsbestimmungseinrichtung (102) zum Bestimmen einer Blickrichtung des Fahrzeuginsassen; eine Signalisierungseinrichtung (103) zum Ausgeben einer Signalisierung an den Fahrzeuginsassen; und eine Recheneinrichtung (104), die mit der Umfeldsensorik (101), der Blickrichtungsbestimmungseinrichtung (102) und der Signalisierungseinrichtung (103) verbunden ist. Die Recheneinrichtung (104) ist eingerichtet zum: Bestimmen (21) eines spezifischen Bereichs in einem Fahrzeugumfeld des Fahrzeugs, auf den der Blick des Fahrzeuginsassen gerichtet werden soll; Überprüfen (22), ob der Fahrzeuginsasse auf den spezifischen Bereich blickt; falls das Überprüfen (22) ergibt, dass der Blick des Fahrzeuginsassen nicht auf den spezifischen Bereich gerichtet ist, Ansteuern der Signalisierungseinrichtung (103), sodass die Signalisierungseinrichtung (103) eine Signalisierung erzeugt (23); erneuten Überprüfen (24), ob der Fahrzeuginsasse auf den spezifischen Bereich blickt; und falls das erneute Überprüfen (24) ergibt, dass der Blick des Fahrzeuginsassen auf den spezifischen Bereich gerichtet ist, Ansteuern der Signalisierungseinrichtung (103), sodass die Signalisierungseinrichtung (103) die Signalisierung beendet (25).The invention relates to a system (10) for directing the attention of a vehicle occupant during automated driving, comprising: an environment sensor system (101) for detecting a vehicle environment of the vehicle; a viewing direction determination device (102) for determining a viewing direction of the vehicle occupant; a signaling device (103) for outputting a signal to the vehicle occupant; and a computing device (104) which is connected to the environment sensor system (101), the viewing direction determination device (102) and the signaling device (103). The computing device (104) is set up for: determining (21) a specific area in a vehicle environment of the vehicle onto which the vehicle occupant's gaze is to be directed; checking (22) whether the vehicle occupant is looking at the specific area; if the checking (22) shows that the vehicle occupant's gaze is not directed at the specific area, activating the signaling device (103) so that the signaling device (103) generates a signal (23); re-verifying (24) whether the vehicle occupant is looking at the specific area; and if the re-checking (24) shows that the vehicle occupant's gaze is directed at the specific area, activating the signaling device (103) so that the signaling device (103) ends the signaling (25).

Description

Die Erfindung betrifft ein System und ein Verfahren zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren. Des Weiteren betrifft die Erfindung ein Computerprogramm sowie ein computerlesbares Medium, welche ein solches Verfahren unterstützen.The invention relates to a system and a method for directing the attention of a vehicle occupant during automated driving. Furthermore, the invention relates to a computer program and a computer-readable medium that support such a method.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.In the context of the document, the term "automated driving" can be understood as driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. The term "automated driving" includes automated driving with any degree of automation. Exemplary degrees of automation are assisted, partially automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication "Research compact", issue 11/2012). With assisted driving, the driver constantly performs longitudinal or lateral guidance, while the system takes over the other function within certain limits. With semi-automated driving (TAF), the system takes over longitudinal and lateral guidance for a certain period of time and/or in specific situations, whereby the driver has to constantly monitor the system, as with assisted driving. With highly automated driving (HAD), the system takes over longitudinal and lateral guidance for a certain period of time without the driver having to constantly monitor the system; however, the driver must be able to take control of the vehicle within a certain period of time. With fully automated driving (VAF), the system can automatically handle driving in all situations for a specific application; a driver is no longer required for this application. The four levels of automation mentioned above, as defined by BASt, correspond to SAE levels 1 to 4 of the SAE J3016 standard (SAE - Society of Automotive Engineering). For example, according to BASt, highly automated driving (HAF) corresponds to level 3 of the SAE J3016 standard. Furthermore, SAE J3016 also provides SAE Level 5 as the highest degree of automation, which is not included in the BASt definition. SAE Level 5 corresponds to driverless driving, in which the system can automatically handle all situations like a human driver throughout the journey; a driver is generally no longer required.

Wie erwähnt, erfordert insbesondere teilautomatisiertes Fahren (SAE-Level 2) noch eine Überwachung durch den Fahrer. Stand der Technik ist hierbei, dass eine Warnung ausgegeben wird wenn z.B. die Hände des Fahrers am Lenkrad für eine definierte Zeit nicht erkannt wurden oder wenn ein Blick des Fahrers auf die Straße für eine definierte Zeit nicht erkannt wurde. Jedoch garantiert auch ein unspezifisch nach vorne auf die Straße gerichteter Blick des Fahrers nicht, dass der Fahrer besonders relevanten oder kritischen Ausschnitten aus einer Verkehrsszene Aufmerksamkeit schenkt. Im Sinne der Sicherheit und des Komforterlebens beim automatisierten Fahren ist es daher wünschenswert, derartige Ansätze zur Lenkung der Aufmerksamkeit von Fahrzeuginsassen weiter zu verbessern.As mentioned, partially automated driving (SAE Level 2) in particular still requires monitoring by the driver. The state of the art is that a warning is issued if, for example, the driver's hands on the steering wheel were not recognized for a defined time or if the driver's gaze on the road was not recognized for a defined time. However, even if the driver looks ahead in an unspecific manner onto the road, this does not guarantee that the driver will pay attention to particularly relevant or critical sections of a traffic scene. In terms of safety and comfort in automated driving, it is therefore desirable to further improve such approaches for directing the attention of vehicle occupants.

Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes System bzw. ein verbessertes Verfahren zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren anzugeben.It is an object of the present invention to specify an improved system and an improved method for directing the attention of a vehicle occupant during automated driving.

Die Aufgabe wird durch ein System bzw. ein Verfahren gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Patentanspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung erläuterte technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object is solved by a system or a method according to the independent patent claims. Advantageous embodiments are specified in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent patent claim, a divisional application or a subsequent application. This applies equally to the technical teachings explained in the description, which can form an invention independent of the features of the independent patent claims.

Ein erster Aspekt der Erfindung betrifft ein System zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren eines Fahrzeugs.A first aspect of the invention relates to a system for directing the attention of a vehicle occupant during automated driving of a vehicle.

Der Fahrzeuginsasse kann z.B. ein Fahrer des Fahrzeugs sein.For example, the vehicle occupant may be a driver of the vehicle.

Bei dem Fahrzeug kann es sich insbesondere um ein Kraftfahrzeug handeln, d.h. um ein Landfahrzeug, das durch Maschinenkraft bewegt wird, ohne an Bahngleise gebunden zu sein. Ein Kraftfahrzeug in diesem Sinne kann z. B. als Kraftwagen, Kraftrad oder Zugmaschine ausgebildet sein.In particular, the vehicle may be a motor vehicle, i.e. a land vehicle which is moved by engine power without being bound to railroad tracks. A motor vehicle in this sense can, for. B. be designed as a car, motorcycle or tractor.

Mit dem Begriff „automatisierten Fahren“ ist, wie eingangs erwähnt, grundsätzlich ein breites Spektrum von möglichen Automatisierungsgraden, einschließlich des lediglich assistierten Fahrens, gemeint. Insbesondere kann es sich im vorliegenden Zusammenhang um wenigstens teilautomatisiertes Fahren (d.h. ab SAE-Level 2 aufwärts) handeln.As mentioned at the beginning, the term “automated driving” basically means a wide range of possible degrees of automation, including only assisted driving. In the present context, it can in particular be at least partially automated driving (i.e. from SAE Level 2 and up).

Das System umfasst eine Umfeldsensorik zum Erfassen eines Fahrzeugumfelds des Fahrzeugs. Die Umfeldsensorik kann z.B. einen oder mehrere am Fahrzeug angeordnete Ultraschallsensoren, optische Sensoren (Kameras), Radarsensoren, und/oder Lidarsensoren umfassen. Derartige Umfeldsensoren sind dem mit dem automatisierten Fahren befassten Fachmann an sich bekannt und werden daher an dieser Stelle nicht in größerem Detail erläutert.The system includes an environment sensor system for detecting a vehicle environment of the vehicle. The environment sensor system can include, for example, one or more ultrasonic sensors, optical sensors (cameras), radar sensors, and/or lidar sensors arranged on the vehicle. Such environmental sensors are known per se to those skilled in the art dealing with automated driving and are therefore not explained in greater detail at this point.

Das System umfasst ferner eine Blickrichtungsbestimmungseinrichtung zum Bestimmen (i.S.v. Ermitteln) einer Blickrichtung des Fahrzeuginsassen. Die Blickrichtungsbestimmungseinrichtung kann z.B. eine Innenraumkamera umfassen, welche Bilddaten von einer Augenpartie des Fahrzeuginsassen erfasst. Des Weiteren kann die Blickbestimmungseinrichtung eine Computervorrichtung mit einer Auswertelogik umfassen, die eingerichtet ist, aus den erfassten Bilddaten die Blickrichtung des Fahrzeuginsassen zu ermitteln.The system also includes a viewing direction determination device for determining (in the sense of determining) a viewing direction of the vehicle occupant. The line of sight determination device can include an interior camera, for example, which captures image data from an eye area of the vehicle occupant. Furthermore, the gaze determination device can include a computer device with evaluation logic that is set up to determine the viewing direction of the vehicle occupant from the captured image data.

Weiterhin umfasst das System eine Signalisierungseinrichtung zum Ausgeben einer Signalisierung an den Fahrzeuginsassen. Dabei kann die Signalisierung z.B. eine optische (d.h. visuell erfassbare) Signalisierung, eine akustische (insbesondere auditive, d.h. hörbare) Signalisierung und/oder eine vibrotaktile (d.h. eine fühlbare, z.B. mittels einer Lenkrad- oder Sitzvibration erzeugte) Signalisierung umfassen.The system also includes a signaling device for outputting a signal to the vehicle occupants. The signaling can include, for example, an optical (i.e. visually detectable) signaling, an acoustic (in particular auditory, i.e. audible) signaling and/or a vibrotactile (i.e. a tactile, e.g. generated by a steering wheel or seat vibration) signaling.

Des Weiteren umfasst das System eine Recheneinrichtung, die mit der Umfeldsensorik, der Blickrichtungsbestimmungseinrichtung und der Signalisierungseinrichtung (datentechnisch) verbunden ist.Furthermore, the system includes a computing device that is connected (data-wise) to the environment sensors, the viewing direction determination device and the signaling device.

Die Recheneinrichtung kann z.B. Teil eines Steuerungssystems des Fahrzeugs sein, welches einen oder mehrere Prozessoren (wie z.B. CPUs und/oder GPUs) umfasst, auf welchen die nötigen Rechenoperationen zur Ausführung der nachfolgend beschriebenen Schritte ablaufen.The computing device can, for example, be part of a control system of the vehicle, which comprises one or more processors (such as CPUs and/or GPUs) on which the necessary computing operations for carrying out the steps described below run.

Erfindungsgemäß ist die Recheneinrichtung eingerichtet, die folgenden Schritte auszuführen: Bestimmen (i.S.v. Festlegen) eines spezifischen Bereichs in einem Fahrzeugumfeld des Fahrzeugs, auf den der Blick des Fahrzeuginsassen gerichtet werden soll; Überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt; falls das Überprüfen ergibt, dass der Blick des Fahrzeuginsassen nicht auf den spezifischen Bereich gerichtet ist, Ansteuern der Signalisierungseinrichtung, sodass die Signalisierungseinrichtung eine Signalisierung erzeugt; erneutes Überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt; und falls (bevorzugt: sobald) das erneute Überprüfen ergibt, dass der Blick des Fahrzeuginsassen auf den spezifischen Bereich gerichtet ist, Ansteuern der Signalisierungseinrichtung, sodass die Signalisierungseinrichtung die Signalisierung beendet.According to the invention, the computing device is set up to carry out the following steps: determining (in the sense of specifying) a specific area in a vehicle environment of the vehicle on which the vehicle occupant's gaze is to be directed; checking if the vehicle occupant is looking at the specific area; if the checking reveals that the vehicle occupant's gaze is not directed at the specific area, actuating the signaling device so that the signaling device generates a signal; re-verifying whether the vehicle occupant is looking at the specific area; and if (preferably: as soon as) the re-checking reveals that the vehicle occupant's gaze is directed at the specific area, activating the signaling device so that the signaling device ends the signaling.

Es sollte beachtet werden, dass mit dem Schritt des Bestimmens eines spezifischen Bereichs im Fahrzeugumfeld nicht etwa gemeint ist, dass generell bestimmt wird, dass der Fahrzeuginsasse z.B. (irgendwie) nach vorne auf die vor dem Fahrzeug liegende Straße blicken soll. Vielmehr soll der spezifische Bereich eine bestimmte Stelle in einer Verkehrsszene enthalten, wie z.B. einen Ort, von dem potenziell eine Gefahr für das Fahrzeug ausgehen kann bzw. an welchem potenzielle eine Gefahrensituation entstehen kann, z.B. wenn das Fahrzeug den Ort erreicht.It should be noted that the step of determining a specific area in the vehicle's surroundings does not mean that it is generally determined that the vehicle occupant should, for example (kind of) look ahead at the road ahead of the vehicle. Rather, the specific area is intended to contain a specific location in a traffic scene, such as a location from which the vehicle can potentially pose a risk or at which a potentially dangerous situation can arise, e.g. when the vehicle reaches the location.

Beispielsweise kann der spezifische Bereich sich dadurch auszeichnen (und aus diesem Grund als spezifischer Bereich bestimmt werde), dass er durch die Umfeldsensorik des Fahrzeugs nicht oder nur eingeschränkt erfassbar ist (bspw. in Folge eines durch eine steile Kurve beschränkten Sensorerfassungsbereichs) oder dass er an einen (z.B. durch ein Hindernis verdeckten) Totwinkelbereich angrenzt, der von der Umfeldsensorik nicht oder nur eingeschränkt erfassbar ist, sodass z.B. die Möglichkeit besteht, dass in der nahen Zukunft ein Objekt aus dem Totwinkelbereich heraus in den spezifischen Bereich eintritt und ggf. in die Trajektorie des Fahrzeugs gelangt.For example, the specific area can be characterized (and for this reason determined as a specific area) by the fact that it cannot be detected by the vehicle's surroundings sensors or can only be detected to a limited extent (e.g. as a result of a sensor detection area limited by a steep curve) or that it adjoins a blind spot area (e.g. covered by an obstacle) that cannot be detected by the surrounding sensors or only to a limited extent, so that there is a possibility, for example, that in the near future an object will enter the specific area from the blind spot area and possibly enter the trajectory of the vehicle.

Dies kann beispielsweise einen Fußgängerüberweg betreffen, der aufgrund eines parkenden Fahrzeugs nicht vollständig erfasst werden kann. In einem solchen Szenario kann der spezifische Bereich z.B. ein Abschnitt des Fußgängerüberwegs sein, welcher an das parkende Fahrzeug angrenzt.For example, this can affect a pedestrian crossing that cannot be fully detected due to a parked vehicle. In such a scenario, the specific area may be, for example, a section of the pedestrian crossing that is adjacent to the parked vehicle.

Ein anderes Beispielszenario können Kreuzungsarme sein, die z.B. aufgrund eines begrenzten Öffnungswinkels der Bordsensorik nicht ausreichend erfasst werden können. In diesem Szenario kann der spezifische Bereich z.B. ein Kreuzungspunkt (und ggf. dessen unmittelbare Umgebung) einer Trajektorie des Fahrzeugs mit einem querenden, vorrangberechtigten Fahrstreifen sein (bspw. an einer durch Beschilderung geregelten Kreuzung), der durch die Geometrie der Kreuzung oder durch parkende Fahrzeuge bzw. andere Verkehrsteilnehmer schwer einsehbar ist.Another example scenario could be crossroads that cannot be adequately detected due to a limited opening angle of the on-board sensors. In this scenario, the specific area can be, for example, an intersection (and possibly its immediate vicinity) of a trajectory of the vehicle with a crossing, priority lane (e.g. at an intersection regulated by signs), which is limited by the geometry of the intersection or by parked vehicles or other road users is difficult to see.

Der Fahrzeuginsasse kann durch die Signalisierung insbesondere auf derartige für die Umfeldsensorik nicht einsehbare oder nur schwer einsehbare Situationen im Fahrzeugumfeld hingewiesen werden. Hierdurch kann gefährlichen Verkehrssituationen vorgebeugt werden. Beispielsweise kann ein Fahrer des Fahrzeugs nötigenfalls schneller in die Fahrzeugführung eingreifen, da die seine Aufmerksamkeit durch die Signalisierung bereits frühzeitig auf eine kritische Verkehrssituation gelenkt wird.The vehicle occupant can be informed by the signaling in particular of such situations in the vehicle environment that the environment sensors cannot see or can only see with difficulty. This can prevent dangerous traffic situations. For example, a driver of the vehicle, if necessary, faster in the Intervene in vehicle guidance, since the signaling draws his attention to a critical traffic situation at an early stage.

Durch die Blickrichtungsbestimmungseinrichtung wird dabei die Blickrichtung des Fahrzeuginsassen in der Annäherung an die jeweilige potenziell kritische Verkehrssituation erfasst. Wenn mittels der Blickrichtungsbestimmungseinrichtung und der Recheneinheit festgestellt wird, dass der Fahrzeuginsasse auf den spezifischen Bereich blickt, wird die Signalisierung in Reaktion auf diese Feststellung beendet. Vorzugsweise wird die Signalisierung unverzüglich in Reaktion auf die Feststellung, dass der Fahrzeuginsasse, dass der Blick des Fahrzeuginsassen auf den spezifischen Bereich gerichtet ist, beendet. Hierdurch erhält der Fahrzeuginsasse ein unmittelbares Feedback auf seine in Reaktion auf die Signalisierung geänderte Blickausrichtung. Ferner wird die Aufmerksamkeit des Fahrzeuginsassen durch das Beenden der Signalisierung nicht unnötig weiter beansprucht, sodass er sich sodann voll auf die ggf. kritische Verkehrssituation, die nun in seiner Blickrichtung liegt, konzentrieren kann.The viewing direction of the vehicle occupant as they approach the respective potentially critical traffic situation is detected by the viewing direction determination device. If it is determined by means of the viewing direction determination device and the computing unit that the vehicle occupant is looking at the specific area, the signaling is terminated in response to this determination. Preferably, the signaling is terminated immediately in response to the vehicle occupant determining that the vehicle occupant's gaze is directed to the specific area. As a result, the vehicle occupant receives immediate feedback on his or her viewing direction, which has changed in response to the signaling. Furthermore, the vehicle occupant's attention is not unnecessarily further required by ending the signaling, so that he can then fully concentrate on the possibly critical traffic situation that is now in his line of sight.

In Übereinstimmung mit einigen Ausführungsformen liegt demnach der Erfindung der Gedanke zu Grunde, ein Ergebnis der Blickrichtungsbestimmung mit einem realen, durch die Umfeldsensorik möglicherweise nicht genügend erfassten spezifischen Bereich des Fahrzeugumfelds in Beziehung zu setzen und den Blick eines Fahrzeuginsassen nötigenfalls mittels einer Signalisierung in die Richtung des spezifischen Bereichs zu lenken. Dabei erfolgt eine Rückkopplung auf eine Anpassung der Blickrichtung des Fahrzeuginsassen, indem die Signalisierung beendet wird, sobald der Fahrzeuginsasse in Richtung des spezifischen Bereichs blickt.In accordance with some embodiments, the invention is therefore based on the idea of relating a result of the determination of the viewing direction to a real, specific area of the vehicle environment that may not be sufficiently detected by the environment sensors and, if necessary, directing the vehicle occupant's gaze by means of a signal in the direction of the vehicle specific area. In this case, there is feedback on an adaptation of the vehicle occupant's viewing direction, in that the signaling is terminated as soon as the vehicle occupant looks in the direction of the specific area.

Vorzugsweise ist die Signalisierungseinrichtung zum Ausgeben einer gerichteten Signalisierung an den Fahrzeuginsassen eingerichtet ist, welche den Fahrzeuginsassen (richtungsmäßig) auf den spezifischen Bereich hinweist. Dadurch können z.B. Straßenbereiche die durch die Umfeldsensorik nicht genügend erfasst werden, richtungsmäßig durch die Signalisierung gekennzeichnet werden, um dem Fahrzeuginsassen einen Hinweis liefert, welcher Bereich der Verkehrssituation besonders überwacht werden muss.The signaling device is preferably set up to output a directed signal to the vehicle occupant, which indicates the vehicle occupant (in terms of direction) to the specific area. In this way, for example, road areas that are not sufficiently detected by the surrounding sensors can be indicated by the direction of the signaling in order to provide the vehicle occupants with an indication of which area of the traffic situation needs to be monitored in particular.

Gemäß einer vorteilhaften Ausführungsform ist die Signalisierungseinrichtung zum Ausgeben einer optischen Signalisierung an den Fahrzeuginsassen eingerichtet. Dementsprechend kann die Signalisierung z.B. eine (vorzugsweise gerichtete) optische Signalisierung in Form eines Lichtsignals umfassen.According to an advantageous embodiment, the signaling device is set up to output a visual signal to the vehicle occupants. Accordingly, the signaling may, for example, comprise (preferably directional) optical signaling in the form of a light signal.

In diesem Zusammenhang ist ferner bevorzugt, dass die Signalisierungseinrichtung wenigstens teilweise in einem peripheren Sichtbereich des Fahrzeuginsassen angeordnet ist, wenn der Fahrzeuginsasse nach vorn durch die Windschutzscheibe blickt. Auf diese Weise liegt die Signalisierung nicht direkt im Sichtfeld des Fahrzeuginsassen auf das Verkehrsgeschehen vor dem Fahrzeug, sodass z.B. keine für die Wahrnehmung hinderliche Verdeckung von Teilen des Fahrzeugumfelds eintritt. Zugleich kann eine solche peripher angeordnete Signalisierungseinrichtung die Aufmerksamkeit des Fahrzeuginsassen wirksam in relevante spezifische Bereiche des Fahrzeugumfelds lenken.In this context, it is also preferred that the signaling device is at least partially arranged in a peripheral field of vision of the vehicle occupant when the vehicle occupant is looking forward through the windshield. In this way, the signaling is not directly in the vehicle occupant's field of vision of the traffic situation in front of the vehicle, so that, for example, parts of the vehicle's surroundings are not obstructed. At the same time, such a peripherally arranged signaling device can effectively direct the attention of the vehicle occupant to relevant, specific areas of the vehicle environment.

Beispielsweise kann die Signalisierungseinrichtung ein LED-Lichtband umfassen. Das LED-Lichtband kann sich z.B. wenigstens teilweise im Bereich der Windschutzscheibenwurzel (also in einem peripheren Sichtbereich eines Fahrers des Fahrzeugs) horizontal erstrecken, wobei alternativ oder zusätzlich auch eine Erstreckung in seitlichen Bereichen des Fahrzeugs, wie z.B. unterhalb seitlicher Fahrzeugfenster denkbar ist. Bei einer solchen Ausführungsform kann demzufolge die optische Signalisierung wenigstens teilweise mittels des LED-Lichtbands erzeugt werden, wobei dies z.B. durch ein zeitversetztes Ansteuern der einzelnen LEDs des Lichtbands umgesetzt werden kann, sodass ein gerichtetes kometenartiges Lichtsignal entsteht, welches den Blick des Fahrzeuginsassen dynamisch zu dem spezifischen Bereich hinleitet. Beispielsweise kann ein (räumlicher) Anfang des kometenartigen Lichtsignals in einem Bereich oder in der Nähe eines Bereiches liegen, auf welchen der Fahrzeuginsasse anfänglich blickt und/oder ein (räumliches) Ende des kometenartigen Lichtsignals kann (z.B. senkrecht) unterhalb des spezifischen Bereichs (bzw. unterhalb einer Stelle auf der Windschutzscheibe, an der der Fahrzeuginsasse den spezifischen Bereich sehen kann) liegen, auf welchen die Aufmerksamkeit des Fahrzeuginsassen gelenkt werden soll.For example, the signaling device can include an LED light strip. The LED light strip can, for example, extend horizontally at least partially in the area of the windshield root (i.e. in a peripheral field of vision of a driver of the vehicle), whereby alternatively or additionally an extension in lateral areas of the vehicle, such as e.g. below the side vehicle window, is conceivable. In such an embodiment, the optical signaling can therefore be generated at least partially by means of the LED light strip, whereby this can be implemented, for example, by a time-delayed activation of the individual LEDs of the light strip, so that a directed, comet-like light signal is created, which dynamically directs the vehicle occupant's gaze to the specific area. For example, a beginning (spatial) of the comet-like light signal may be in an area or near an area at which the vehicle occupant initially looks and/or an end (spatial) of the comet-like light signal may be (e.g. vertically) below the specific area (or below a location on the windshield where the vehicle occupant can see the specific area) to which the vehicle occupant's attention is to be drawn.

Eine weitere Ausführungsform sieht vor, dass die Signalisierungseinrichtung ein Head-up-Display umfasst. Mit anderen Worten kann also die optische Signalisierung wenigstens teilweise mittels eines Head-up-Displays erzeugt werden. Eine solche Lösung ermöglicht es beispielsweise, ein Warnsymbol direkt über oder neben dem spezifischen Bereich einzublenden, wodurch die visuelle Aufmerksamkeit des Fahrzeuginsassen besonders eindeutig und direkt zum Ziel gelenkt werden kann.A further embodiment provides that the signaling device includes a head-up display. In other words, the visual signaling can be generated at least partially by means of a head-up display. Such a solution makes it possible, for example, to display a warning symbol directly above or next to the specific area, which means that the vehicle occupant's visual attention can be drawn particularly clearly and directly to the destination.

Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren eines Fahrzeugs vorgeschlagen.According to a second aspect of the invention, a method for directing the attention of a vehicle occupant during automated driving of a vehicle is proposed.

Das Verfahren umfasst die Schritte: Bestimmen (i.S.v. Festlegen) eines spezifischen Bereichs in einem Fahrzeugumfeld des Fahrzeugs, auf den der Blick des Fahrzeuginsassen gerichtet werden soll; Überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt; falls das Überprüfen ergibt, dass der Blick des Fahrzeuginsassen nicht auf den spezifischen Bereich gerichtet ist, Erzeugen einer Signalisierung; erneutes Überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt; falls das erneute Überprüfen ergibt, dass der Blick des Fahrzeuginsassen auf den spezifischen Bereich gerichtet ist, Beenden der Signalisierung. Es versteht sich dabei, dass der Schritt des Überprüfens, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt, ein mittels einer Blickbestimmungsvorrichtung ausgeführtes Bestimmen (i.S.v. Ermitteln) einer Blickrichtung des Fahrers umfassen kann.The method comprises the steps: determining (in the sense of defining) a specific area in a vehicle environment of the vehicle onto which the vehicle occupant's gaze is to be directed; checking if the vehicle occupant is looking at the specific area; if the checking reveals that the vehicle occupant's gaze is not directed to the specific area, generating a signaling; re-verifying whether the vehicle occupant is looking at the specific area; if rechecking reveals that the vehicle occupant's gaze is directed to the specific area, terminating the signaling. It goes without saying that the step of checking whether the vehicle occupant is looking at the specific area can include determining (in the sense of determining) a viewing direction of the driver carried out by means of a gaze determination device.

Ein Verfahren nach dem zweiten Aspekt der Erfindung kann beispielsweise mittels eines Systems nach dem zweiten Aspekt der Erfindung ausgeführt werden. Daher können Ausführungsformen des erfindungsgemäßen Verfahrens in analoger Weise den vorstehend und nachfolgend beschriebenen vorteilhaften Ausführungsformen des erfindungsgemäßen Systems entsprechen und umgekehrt.A method according to the second aspect of the invention can be carried out, for example, by means of a system according to the second aspect of the invention. Therefore, embodiments of the method according to the invention can correspond in an analogous manner to the advantageous embodiments of the system according to the invention described above and below, and vice versa.

Es liegt ferner im Rahmen der Erfindung, dass gemäß einigen Ausführungsformen im Rahmen des Verfahrens zunächst mittels einer Recheneinrichtung ein Bereich im Fahrzeugumfeld ermittelt werden kann, der durch die Umfeldsensorik des Fahrzeugs nicht oder nur eingeschränkt erfassbar ist oder der an einen (z.B. durch ein Hindernis verdeckten) Totwinkelbereich angrenzt, der von der Umfeldsensorik nicht oder nur eingeschränkt erfassbar ist, wie weiter oben im Zusammenhang mit Ausführungsformen des erfindungsgemäßen Systems erläutert. Dieser Bereich kann sodann als verfahrensgemäßer spezifischer Bereich festgelegt werden.It is also within the scope of the invention that, according to some embodiments, within the scope of the method, an area in the vehicle environment can first be determined by means of a computing device that cannot be detected or can only be detected to a limited extent by the vehicle's environment sensors or that is connected to a ) Blind spot area adjacent, which is not or only partially detectable by the environment sensors, as explained above in connection with embodiments of the system according to the invention. This area can then be defined as a specific area according to the method.

Ein dritter Erfindungsaspekt ist ein Computerprogramm, das Befehle umfasst, die bewirken, dass ein System gemäß dem ersten Erfindungsaspekt die Verfahrensschritte gemäß dem zweiten Erfindungsaspekt ausführt.A third aspect of the invention is a computer program comprising instructions that cause a system according to the first aspect of the invention to carry out the method steps according to the second aspect of the invention.

Ein vierter Erfindungsaspekt ist ein computerlesbares Medium, auf dem ein Computerprogramm gemäß dem dritten Erfindungsaspekt gespeichert ist.A fourth aspect of the invention is a computer-readable medium storing a computer program according to the third aspect of the invention.

Die Erfindung wird nun anhand von Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei sind die in der Beschreibung genannten und/oder in den Zeichnungen alleine gezeigten Merkmale und Merkmalskombinationen nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.

1 zeigt beispielhaft und schematisch ein System zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren.
2 zeigt beispielhaft ein schematisches Ablaufdiagramm eines Verfahrens zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen beim automatisierten Fahren.

The invention will now be explained in more detail using exemplary embodiments and with reference to the accompanying drawings. The features and feature combinations mentioned in the description and/or shown alone in the drawings can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the invention.

1 shows an example and a schematic of a system for directing the attention of a vehicle occupant during automated driving.
2 shows an example of a schematic flowchart of a method for directing the attention of a vehicle occupant in automated driving.

Die 1 zeigt schematisch und beispielhaft ein System 10 zur Lenkung der Aufmerksamkeit eines Fahrzeuginsassen (insbesondere eines Fahrers) beim automatisierten Fahren eines Fahrzeugs. Das System 10 umfasst eine Umfeldsensorik 101, eine Blickrichtungsbestimmungseinrichtung 102, eine Signalisierungseinrichtung 103 und eine Recheneinrichtung 104, wobei die Recheneinrichtung 104 mit jeder der vorgenannten Komponenten 101,102,103 datentechnisch verbunden ist.the 1 shows schematically and by way of example a system 10 for directing the attention of a vehicle occupant (in particular a driver) during automated driving of a vehicle. The system 10 comprises an environment sensor system 101, a viewing direction determination device 102, a signaling device 103 and a computing device 104, with the computing device 104 being connected to each of the aforementioned components 101, 102, 103 in terms of data technology.

Die Umfeldsensorik 101 ist zum Erfassen eines Fahrzeugumfelds des Fahrzeugs eingerichtet und kann z.B. einen oder mehrere am Fahrzeug angeordnete Ultraschallsensoren, Kameras, Radarsensoren, und/oder Lidarsensoren umfassen.Surroundings sensor system 101 is set up to detect the vehicle surroundings of the vehicle and can include, for example, one or more ultrasonic sensors, cameras, radar sensors and/or lidar sensors arranged on the vehicle.

Die Blickrichtungsbestimmungseinrichtung 102 ist zum Bestimmen einer Blickrichtung eines Fahrzeuginsassen eingerichtet und kann z.B. eine Innenraumkamera umfassen, welche Bilddaten von einer Augenpartie des Fahrzeuginsassen erfasst. Des Weiteren kann die Blickbestimmungseinrichtung 102 eine Computervorrichtung mit einer Auswertelogik umfassen, die eingerichtet ist, aus den erfassten Bilddaten die Blickrichtung des Fahrzeuginsassen zu ermitteln.The viewing direction determination device 102 is set up to determine a viewing direction of a vehicle occupant and can, for example, include an interior camera, which captures image data from an eye area of the vehicle occupant. Furthermore, the gaze determination device 102 can include a computer device with evaluation logic that is set up to determine the viewing direction of the vehicle occupant from the recorded image data.

Die Signalisierungseinrichtung 103 ist zum Ausgeben einer - vorzugsweise gerichteten - Signalisierung an den Fahrzeuginsassen eingerichtet. Dabei kann die Signalisierung z.B. eine optische (d.h. visuell erfassbare) Signalisierung, eine akustische (insbesondere auditive, d.h. hörbare) Signalisierung und/oder eine vibrotaktile (d.h. eine fühlbare, z.B. mittels einer Lenkrad- oder Sitzvibration erzeugte) Signalisierung umfassen.The signaling device 103 is set up to output a—preferably directed—signaling to the vehicle occupants. The signaling can include, for example, an optical (i.e. visually detectable) signaling, an acoustic (in particular auditory, i.e. audible) signaling and/or a vibrotactile (i.e. a tactile, e.g. generated by a steering wheel or seat vibration) signaling.

Die Recheneinrichtung 104 ist eingerichtet, einen spezifischen Bereich in einem Fahrzeugumfeld des Fahrzeugs zu bestimmen, auf den der Blick des Fahrzeuginsassen gerichtet werden soll. Beispielsweise kann die Recheneinrichtung 104 von der Umfeldsensorik 101 Informationen empfangen und in Abhängigkeit von diesen Informationen einen Bereich im Fahrzeugumfeld ermitteln, der durch die Umfeldsensorik 101 nicht oder nur eingeschränkt erfassbar ist oder der an einen (z.B. durch ein Hindernis verdeckten) Totwinkelbereich angrenzt, der von der Umfeldsensorik nicht oder nur eingeschränkt erfassbar ist. Dieser Bereich kann sodann als spezifischer Bereich festgelegt werden. Dies kann beispielsweise einen Fußgängerüberweg betreffen, der aufgrund eines parkenden Fahrzeugs nicht vollständig erfasst werden kann. In einem solchen Szenario kann der spezifische Bereich z.B. ein Abschnitt des Fußgängerüberwegs sein, welcher an das parkende Fahrzeug angrenzt.The arithmetic unit 104 is set up to determine a specific area in a vehicle environment of the vehicle at which the vehicle occupant's gaze is to be directed. For example, the computing device 104 can receive information from the surroundings sensor system 101 and, depending on this information, can determine an area in the vehicle surroundings that cannot be detected by the surroundings sensor system 101 or only to a limited extent is detectable or is adjacent to a blind spot area (eg covered by an obstacle) which cannot be detected or can only be detected to a limited extent by the surroundings sensors. This area can then be set as a specific area. For example, this can affect a pedestrian crossing that cannot be fully detected due to a parked vehicle. In such a scenario, the specific area may be, for example, a section of the pedestrian crossing that is adjacent to the parked vehicle.

Die Recheneinrichtung 104 ist ferner eingerichtet, zu überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt. Hierbei kann die Recheneinrichtung 104 von der Blickrichtungsbestimmungseinrichtung 102 Informationen bezüglich einer Blickrichtung des Fahrzeuginsassen empfangen und die empfangen Informationen mit dem spezifischen Bereich bzw. mit einer Richtung, in welcher sich der spezifische Bereich bezogen auf den Fahrzeuginsassen befindet, abgleichen.The computing device 104 is also set up to check whether the vehicle occupant is looking at the specific area. In this case, computing device 104 can receive information regarding a viewing direction of the vehicle occupant from viewing direction determination device 102 and compare the received information with the specific area or with a direction in which the specific area is located in relation to the vehicle occupant.

Falls das Überprüfen ergibt, dass der Blick des Fahrzeuginsassen nicht auf den spezifischen Bereich gerichtet ist, gibt die Recheneinrichtung 104 ein Steuersignal an die Signalisierungseinrichtung 103 aus, welches bewirkt, dass die Signalisierungseinrichtung 103 eine für den Fahrzeuginsassen wahrnehmbare Signalisierung erzeugt.If the check reveals that the vehicle occupant's gaze is not directed at the specific area, the computing device 104 outputs a control signal to the signaling device 103, which causes the signaling device 103 to generate a signal that the vehicle occupant can perceive.

Die Signalisierung kann z.B. optisch in einem Head-up-Display und/oder mittels eines im Bereich der Windschutzscheibenwurzel (d.h. in einem peripheren Sichtfeld des Fahrers) angeordneten LED-Lichtbands erzeugt werden. Bei einer solchen Ausführungsform kann z.B. durch ein zeitversetztes Ansteuern der einzelnen LEDs des Lichtbands ein gerichtetes kometenartiges Lichtsignal erzeugt werden, welches den Blick des Fahrzeuginsassen dynamisch zu dem spezifischen Bereich hinleitet. Beispielsweise kann ein (räumlicher) Anfang des kometenartigen Lichtsignals in einem Bereich oder in der Nähe eines Bereiches liegen, auf welchen der Fahrzeuginsasse anfänglich blickt und/oder ein (räumliches) Ende des kometenartigen Lichtsignals kann (z.B. senkrecht) unterhalb des spezifischen Bereichs (bzw. unterhalb einer Stelle auf der Windschutzscheibe, an der der Fahrzeuginsasse den spezifischen Bereich sieht) liegen, auf welchen die Aufmerksamkeit des Fahrzeuginsassen gelenkt werden soll.The signaling can be generated e.g. optically in a head-up display and/or by means of an LED light strip arranged in the area of the windshield root (i.e. in a peripheral field of vision of the driver). In such an embodiment, for example, a directed, comet-like light signal can be generated by a time-delayed activation of the individual LEDs of the light band, which dynamically guides the vehicle occupant's gaze to the specific area. For example, a beginning (spatial) of the comet-like light signal may be in an area or near an area at which the vehicle occupant initially looks and/or an end (spatial) of the comet-like light signal may be (e.g. vertically) below the specific area (or below a location on the windshield where the vehicle occupant sees the specific area) to which the vehicle occupant's attention is to be drawn.

Alternativ zu einer solchen optischen Signalisierung sind ist auch eine (vorzugsweise gerichtete) akustische und/oder vibrotaktile Umsetzung der Signalisierung möglich. Beispielsweise kann der Fahrzeuginsasse auch über eine Sitz- oder Lenkradvibration in bestimmen Bereichen eines Fahrzeugsitzes bzw. eines Lenkrads auf eine bestimmte Richtung hingewiesen werden, in die er seine Aufmerksamkeit lenken soll.As an alternative to such an optical signaling, a (preferably directed) acoustic and/or vibro-tactile implementation of the signaling is also possible. For example, the vehicle occupant can also be informed of a specific direction in which he should direct his attention via a seat or steering wheel vibration in specific areas of a vehicle seat or a steering wheel.

Nach dem Auslösen der Signalisierung überprüft die Recheneinrichtung 104 anhand aktualisierter Informationen, die von der Blickrichtungsbestimmungseinrichtung 102 bereitgestellt werden, erneut, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt. Diese erneute Überprüfung kann auch wiederholt (z.B. periodisch in regelmäßigen Zeitintervallen) ausgeführt werden, nachdem die Signalisierung gestartet wurde. Durch die Blickrichtungsbestimmungseinrichtung 102 wird dabei die Blickrichtung des Fahrzeuginsassen in der Annäherung an die jeweilige potenziell kritische Verkehrssituation erfasst und überprüft.After the signaling has been triggered, computing device 104 uses updated information provided by viewing direction determination device 102 to check again whether the vehicle occupant is looking at the specific area. This re-check can also be performed repeatedly (e.g. periodically at regular time intervals) after signaling has started. The viewing direction of the vehicle occupant as they approach the respective potentially critical traffic situation is recorded and checked by the viewing direction determination device 102 .

Erst wenn (und vorzugsweise sobald) die erneute Überprüfung ergibt, dass der Blick des Fahrzeuginsassen auf den spezifischen Bereich gerichtet ist, gibt die Recheneinrichtung 104 ein Steuersignal an die Signalisierungseinrichtung 103 aus, welches bewirkt, dass die Signalisierung beendet wird. Mit anderen Worten kann z.B. vorgesehen sein, dass ein gerichteter optischer Hinweis, der mittels eines LED-Lichtbands erzeugt wird, unverzüglich erlischt, sobald festgestellt wird, dass der Fahrzeuginsasse auf den spezifischen Bereich blickt.Only when (and preferably as soon as) the new check reveals that the vehicle occupant is looking at the specific area does computing device 104 emit a control signal to signaling device 103, which causes the signaling to end. In other words, it can be provided, for example, that a directed optical indication, which is generated by means of an LED light strip, goes out immediately as soon as it is determined that the vehicle occupant is looking at the specific area.

Im Einklang mit dem Vorstehenden kann ein erfindungsgemäßes Verfahren 2, welches z.B. mittels des hier beschriebenen Systems 10 ausgeführt werden kann, die folgenden, in der 2 schematisch dargestellten Schritte umfassen: Bestimmen eines spezifischen Bereichs in einem Fahrzeugumfeld des Fahrzeugs, auf den der Blick des Fahrzeuginsassen gerichtet werden soll (Schritt 21); Überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt (Schritt 22); falls das Überprüfen ergibt, dass der Blick des Fahrzeuginsassen nicht auf den spezifischen Bereich gerichtet ist, Erzeugen einer Signalisierung (Schritt 23); erneutes Überprüfen, ob der Fahrzeuginsasse auf den spezifischen Bereich blickt (Schritt 24); und falls das erneute Überprüfen ergibt, dass der Blick des Fahrzeuginsassen auf den spezifischen Bereich gerichtet ist, Beenden der Signalisierung (Schritt 25).In accordance with the foregoing, a method 2 according to the invention, which can be carried out, for example, by means of the system 10 described here, the following, in which 2 schematically illustrated steps include: determining a specific area in a vehicle environment of the vehicle on which the gaze of the vehicle occupant is to be directed (step 21); checking whether the vehicle occupant is looking at the specific area (step 22); if the checking reveals that the vehicle occupant's gaze is not directed to the specific area, generating a signaling (step 23); checking again whether the vehicle occupant is looking at the specific area (step 24); and if the re-checking reveals that the vehicle occupant's gaze is directed to the specific area, terminating the signaling (step 25).

Claims

System (10) for directing the attention of a vehicle occupant during automated driving of a vehicle, comprising: a. An environment sensor system (101) for detecting a vehicle environment of the vehicle; b. a viewing direction determining device (102) for determining a viewing direction of the vehicle occupant; c. A signaling device (103) for outputting a signal to the vehicle occupant; i.e. A computing device (104) which is connected to the environment sensor system (101), the viewing direction determination device (102) and the signaling device (103) and which is set up for: i. determining (21) a specific area in a vehicle environment of the vehicle onto which the vehicle occupant's gaze is to be directed; ii. checking (22) whether the vehicle occupant is looking at the specific area; iii. if the checking (22) shows that the vehicle occupant's gaze is not directed at the specific area, activating the signaling device (103) so that the signaling device (103) generates a signal (23); IV. re-verifying (24) whether the vehicle occupant is looking at the specific area; and V. if the renewed check (24) shows that the vehicle occupant's gaze is directed at the specific area, activating the signaling device (103) so that the signaling device (103) ends the signaling (25).

system (10) according to claim 1 , the specific area being characterized in that it cannot be detected or can only be detected to a limited extent by the environment sensors (101) or that it borders on a blind spot area which cannot be detected by the environment sensors or can only be detected to a limited extent.

System (10) according to one of the preceding claims, wherein the viewing direction determination device (102) comprises an interior camera.

System (10) according to one of the preceding claims, wherein the signaling device (103) is set up for outputting a directed signaling to the vehicle occupant, which indicates the vehicle occupant to the specific area.

A system (10) according to any one of the preceding claims, wherein the signaling comprises optical signalling.

system (10) according to claim 5 wherein the signaling device (103) is located at least partially in a peripheral field of vision of the vehicle occupant when the vehicle occupant is looking forward through the windshield.

system (10) according to claim 5 or 6 , wherein the signaling device (103) comprises an LED light band.

System (10) according to one of Claims 5 until 7 , wherein the signaling device (103) comprises a head-up display.

System (10) according to one of the preceding claims, wherein the signaling comprises an acoustic and/or vibro-tactile signaling.

Method (2) for directing the attention of a vehicle occupant during automated driving of a vehicle, comprising the steps: a. determining (21) a specific area in a vehicle environment of the vehicle onto which the vehicle occupant's gaze is to be directed; b. checking (22) whether the vehicle occupant is looking at the specific area; c. If the checking (22) reveals that the vehicle occupant's gaze is not directed to the specific area, generating (23) a signaling; i.e. checking (24) again whether the vehicle occupant is looking at the specific area; e. If the re-checking (24) reveals that the vehicle occupant's gaze is directed to the specific area, terminating (25) the signaling.

A computer program comprising instructions that cause the system (10) to operate according to any one of Claims 1 until 9 the procedural steps claim 10 executes

Computer-readable medium on which the computer program claim 11 is saved.