DE102019214004A1

DE102019214004A1 - Verfahren zum Steuern einer Vorrichtung in einer Umgebung eines ungeschützten Verkehrsteilnehmers auf Basis eines ermittelten Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers

Info

Publication number: DE102019214004A1
Application number: DE102019214004.1A
Authority: DE
Inventors: Udo Schulz; Elmar Staudacher
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-09-13
Filing date: 2019-09-13
Publication date: 2021-03-18

Abstract

Es wird ein Verfahren zum Steuern eines automatisierten Fahrzeugs (100) in einer Umgebung (400) mit wenigstens einem ungeschützten Verkehrsteilnehmer (200) beschrieben, umfassend die Schritte:- Empfangen eines Informationssignals (323) von einem von dem ungeschützten Verkehrsteilnehmer (200) mitgeführten mobilen Endgerät (300), umfassend wenigstens eine Information zu einem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200), welche durch Erfassen des ungeschützten Verkehrsteilnehmers (200) und/oder des Umfelds (402) des ungeschützten Verkehrsteilnehmers (200) mithilfe einer Kamera (311, 313) des mobilen Endgeräts (300) ermittelt wurde, und- Generieren eines Steuersignals (122) auf Basis des empfangenen Informationssignals (323), welches das automatisierte Fahrzeug (100) veranlasst, eine Planung und/oder Regelung seiner Fahrtrajektorie (101) unter Berücksichtigung des momentanen Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmern (200) durchzuführen.

Description

Die Erfindung betrifft ein Verfahren zum Steuern eines automatisierten Fahrzeugs in einer Umgebung mit einem ungeschützten Verkehrsteilnehmer, bei dem ein Aufmerksamkeitsgrad eines ungeschützten Verkehrsteilnehmers mithilfe einer Sensoreinrichtung ermittelt und zur Steuerung automatisierten Fahrzeugs verwendet wird. Ferner betrifft die Erfindung ein Verfahren zum Steuern des mobilen Endgeräts.
Stand der Technik
Automatisierte Fahrzeuge sind in der Lage, wenigstens einen Teil der Fahraufgaben automatisch durchzuführen. Je nach Autonomiestufe stellt das Fahrzeug dem Fahrer lediglich Assistenzfunktionen zur Verfügung (SAE Level 1 und 2) oder führt die Längs- und Querführung ohne menschliches Zutun automatisch durch (SAE Level 3 bis 5). Insbesondere bei Fahrzeugen der Autonomiestufen SAE Level 4 und 5, welche ohne einen Fahrer auskommen, ist ein sehr robustes Sensorset sehr wichtig, um das Fahrzeug sicher in seinem Umfeld zu bewegen. Im urbanen Bereich mit relativ geringen Geschwindigkeiten reicht es in der Regel nicht aus, lediglich die möglichen Trajektorien der Verkehrsteilnehmer in der Umgebung des automatisierten Fahrzeugs vorherzusagen. Vielmehr ist es hier wichtig, auch deren Aufmerksamkeitsgrad zu ermitteln, zu prädiktieren und gegebenenfalls an andere Verkehrsteilnehmer zu kommunizieren. Dies gilt vor allem für sogenannte ungeschützte Verkehrsteilnehmer (VRU's, Vulnerable Road Users), bei denen es sich insbesondere um Fußgänger oder Rollstuhlfahrer handelt, wobei insbesondere Fußgänger auf Verkehrsflächen immer öfter das Handy nutzen und weniger auf den Verkehr achten. Dieses Verhalten kann gerade bei elektrifizierten und damit fast lautlosen Fahrzeugen sowie autonomen Fahrzeugen insbesondere im städtischen Bereich zu kritischen Verkehrssituationen und Unfällen führen. Wird der Aufmerksamkeitsgrad solcher ungeschützten Verkehrsteilnehmer nicht berücksichtigt, so wird das automatisierte Fahrzeug ein ebenfalls zu „konservatives“ bzw. „ungelenkiges“ Fahrverhalten an den Tag legen. Für einen flüssigen Betrieb, welcher durch eine geringere Ruckhaftigkeit und einen in den Straßenbetrieb mit anderen Verkehrsteilnehmern integrierten Fahrstil gekennzeichnet ist, ist es wichtig, eine bessere Unterscheidung der erkannten Verkehrsteilnehmer im Hinblick zu treffen, wobei auch deren Aufmerksamkeitsgrad berücksichtigt wird. Entsprechend kann eine Trajektorie und das Fahrverhalten des automatisierten Fahrzeugs angepasst werden.
Offenbarung der Erfindung
Es ist daher Aufgabe der Erfindung, eine Möglichkeit zur Verbesserung des Fahrverhaltens sowie der Fahrsicherheit eines automatisierten Fahrzeugs insbesondere im urbanen Bereich bereitzustellen. Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Weitere vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen angegeben.
Der ungeschützte Verkehrsteilnehmer kann eine Person ohne gesondertes Fahrzeug oder eine Person mit bzw. auf bzw. in einem Fahrzeug sein. Das Fahrzeug kann ein Fahrzeug sein, das der Person keinen besonderen Schutz vor einer Kollision mit einem Fahrzeug, insbesondere mit dem automatisieren Fahrzeug, bietet. Der ungeschützte Verkehrsteilnehmer ist bevorzugt ein Fußgänger. Alternativ ist denkbar, dass der ungeschützte Verkehrsteilnehmer ein Rollstuhlfahrer, ein Fahrradfahrer, ein Inlineskater, ein Fahrer eines Tretrollers oder ein Fahrer eines Skateboards ist.
Dabei ist insbesondere ein Verfahren zum Steuern eines automatisierten Fahrzeugs in einer Umgebung mit wenigstens einem ungeschützten Verkehrsteilnehmer vorgesehen, bei dem in einem ersten Schritt ein Informationssignal von einem von dem ungeschützten Verkehrsteilnehmer mitgeführten mobilen Endgerät empfangen wird. Das Informationssignal umfasst dabei wenigstens eine Information zu einem momentanen Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers, welche durch erfassen des ungeschützten Verkehrsteilnehmers und/oder des Umfelds des ungeschützten Verkehrsteilnehmers mithilfe einer Kamera des mobilen Endgeräts ermittelt wurde. In einem darauffolgenden Schritt wird auf Basis des empfangenen Informationssignals ein Steuersignal generiert, welches das automatisierte Fahrzeug veranlasst, eine Planung und/oder Regelung seiner Fahrtrajektorie unter Berücksichtigung des momentanen Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers durchzuführen. Hierdurch ist es dem automatisierten Fahrzeug möglich, sein Fahrverhalten an die aktuelle Aufmerksamkeit des ungeschützten Verkehrsteilnehmers anzupassen. Durch die Aufmerksamkeitserkennung wird insgesamt ein sicheres fortbewegen des automatisierten Fahrzeugs insbesondere im urbanen Bereich erzielt. Ferner kann auch die für den urbanen Bereich typischerweise zu erwartende Ruckhaftigkeit reduziert und insgesamt ein flüssigerer Fahrstil des automatisierten Fahrzeugs erzielt werden.
In einer Ausführungsform ist vorgesehen, dass das Steuersignal das automatisierte Fahrzeug veranlasst, seine Fahrgeschwindigkeit zu reduzieren und/oder deinen Abstand zu dem ungeschützten Verkehrsteilnehmer zu erhöhen, sofern ein relativ geringer momentaner Aufmerksamkeitsgrad bei dem ungeschützten Verkehrsteilnehmer ermittelt wird. Ferner veranlasst das Steuersignal das automatisierte Fahrzeug, seine Fahrgeschwindigkeit beizubehalten oder zu erhöhen und/oder seinen Abstand zu dem ungeschützten Verkehrsteilnehmer beizubehalten oder zu verringern, sofern eine relativ hoher momentaner Aufmerksamkeitsgrad bei dem ungeschützten Verkehrsteilnehmer ermittelt wird.
Unter einem relativ geringen momentanen Aufmerksamkeitsgrad kann ein Aufmerksamkeitsgrad verstanden werden, der einen vorgegebenen und/oder vorgebbaren unteren Schwellenwert unterschreitet. Unter einem relativ hohen momentanen Aufmerksamkeitsgrad kann ein Aufmerksamkeitsgrad verstanden werden, der einen vorgegebenen und/oder vorgebbaren oberen Schwellenwert überschreitet.
Insbesondere wird das automatisierte Fahrzeug seine Fahrgeschwindigkeit nur dann deutlich verlangsamen, wenn bei dem ungeschützten Verkehrsteilnehmer auch ein relativ geringer Aufmerksamkeitsgrad ermittelt wird. Wird bei dem ungeschützten Verkehrsteilnehmer hingegen ein relativ hoher Aufmerksamkeitsgrad bei dem ungeschützten Verkehrsteilnehmer ermittelt, kann das automatisierte Fahrzeug den betreffenden Bereich mit einer höheren Fahrgeschwindigkeit passieren, ohne dass sich dadurch eine höhere Gefährdung der beteiligten Verkehrsteilnehmer ergibt. Insgesamt lässt sich durch die Berücksichtigung des Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers bei der Planung und Regelung der Fahrtrajektorie des automatisieren Fahrzeugs das Fahrverhalten des automatisierten Fahrzeugs optimieren. Dabei kann mithilfe dieser Maßnahme ein besonders flüssiger bzw. vermenschlichter Fahrstil insbesondere im urbanen Bereich erzielt werden.
In einer weiteren Ausführungsform ist vorgesehen, dass die Information zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers auf einem Erfassen wenigstens eines den ungeschützten Verkehrsteilnehmer betreffenden Merkmals oder Gegebenheit basiert. Hierzu zählt eine Feststellung, ob der ungeschützte Verkehrsteilnehmer momentan ein mobiles Endgerät in der Hand hält, auf das mobile Endgerät blickt und/oder einen Kopfhörer verwendet. Ferner zählt hierzu eine momentane Reaktion des ungeschützten Verkehrsteilnehmers auf Objekte, Personen motorisierte Verkehrsteilnehmer, Geräusche, Ereignisse und/oder Verkehrssituationen in seinem Umfeld. Ferner zählen hierzu auch eine momentane Blickrichtung und/oder ein momentaner Wahrnehmungsbereich des ungeschützten Verkehrsteilnehmers. Die Erfassung eines mobilen Endgeräts in der Hand eines ungeschützten Verkehrsteilnehmers erlaubt eine besonders gute Vorhersage seines Aufmerksamkeitsgrads, da sich der Verkehrsteilnehmer in einem solchen Fall typischerweise in einem „Handymodus“ befindet, welche durch einen besonders hohen Ablehnungsgrad gekennzeichnet ist. Auch die momentane Reaktion des ungeschützten Verkehrsteilnehmers auf bestimmte externe Einflüsse eignet sich besonders gut zur Einschätzung seines momentanen Aufmerksamkeitsgrads. Schließlich kann durch Erfassen der Blickrichtung bzw. des Wahrnehmungsbereichs auch ermittelt werden, welche Informationen dem ungeschützten Verkehrsteilnehmer in Bezug auf sein Umfeld aktuell zur Verfügung stehen.
In einer weiteren Ausführungsform ist vorgesehen, dass das empfangene Informationssignal wenigstens eine Information zu mittels einer Front-Kamera des mobilen Endgeräts erfassten Mikrobewegungen der Augen des ungeschützten Verkehrsteilnehmers umfasst. Anhand der mikroskopischen Bewegung der Augen des ungeschützten Verkehrsteilnehmers lässt sich feststellen, ob der ungeschützte Verkehrsteilnehmer ein bestimmtes Objekt gedanklich aktiv wahrgenommen hat oder lediglich vor sich her starrt. In dem Fall, dass der ungeschützte Verkehrsteilnehmer lediglich vor sich her starrt, kann von einem niedrigeren Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers ausgegangen werden.
In einer weiteren Ausführungsform ist vorgesehen, dass eine Auswertung erfolgt, bei der anhand der wenigstens einen Information zu den Mikrobewegungen der Augen des ungeschützten Verkehrsteilnehmers ermittelt wird, inwieweit der ungeschützte Verkehrsteilnehmer bestimmte Objekte, Personen oder Ereignisse in seinem Umfeld wahrnimmt. Mithilfe der Information, inwieweit der ungeschützte Verkehrsteilnehmer bestimmte Objekte, Personen oder Ereignisse in sein Umfeld wahrnimmt, lässt sich neben einer Verbesserung der Aufmerksamkeitserkennung auch eine Wahrnehmungskarte für den ungeschützten Verkehrsteilnehmer erstellen. Hierdurch kann ein angepasster und besonders flüssiger Fahrstil des harmonisierten Fahrzeugs erreicht werden.
In einer weiteren Ausführungsform ist vorgesehen, dass die wenigstens eine Information zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers nach dem Empfangen des Informationssignals ausgewertet wird, um den momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers zu ermitteln. Aufgrund der relativ hohen Rechenkapazität des automatisierten Fahrzeugs ermöglicht diese Maßnahme eine besonders genaue Ermittlung des Aufmerksamkeitsgrads des betreffenden ungeschützten Verkehrsteilnehmers. Ferner kann bei gleichzeitigem Empfang von Aufmerksamkeitsinformationen von mehreren der Nähe des automatisierten Fahrzeugs befindlichen ungeschützten Verkehrsteilnehmern mithilfe dieser Maßnahme sichergestellt werden, dass die Auswertung der Informationen bezüglich des Aufmerksamkeitsgrad der betreffenden ungeschützten Verkehrsteilnehmer nach einheitlichen Kriterien erfolgt. Hierdurch wird die Genauigkeit der auf der Aufmerksamkeitserkennung basierenden Planung und Regelung der Fahrtrajektorie des automatisierten Fahrzeugs verbessert.
In einer weiteren Ausführungsform ist vorgesehen, dass das Informationssignal wenigstens eine Information zu einer Blickrichtung und/oder einem Wahrnehmungsbereich des ungeschützten Verkehrsteilnehmers umfasst, wobei anhand einer digitalen Karte der Umgebung und der wenigstens einen Information zu der Blickrichtung und/oder dem Wahrnehmungsbereich des ungeschützten Verkehrsteilnehmers eine dem ungeschützten Verkehrsteilnehmer individuell zugeordnete digitale Aufmerksamkeitskarte erzeugt wird. Die digitale Aufmerksamkeitskarte wird dabei zur Planung und/oder Regelung der Fahrtrajektorie des automatisierten Fahrzeugs verwendet. Anhand solcher Aufmerksamkeitskarten lassen sich besonders einfach Bereiche identifizieren, in welchen von einer relativ geringen bzw. einer relativ hohen Aufmerksamkeit des ungeschützten Verkehrsteilnehmers auszugehen ist. Dies ermöglicht dem automatisieren Fahrzeug eine effizientere und flüssigere Navigation innerhalb der entsprechenden Bereiche. Einen besonderen Vorteil bietet dieser Ansatz in Umgebungen, in denen mehrere ungeschützte Verkehrsteilnehmer aufeinandertreffen und deren Aufmerksamkeitsbereiche sich überschneiden.
Ferner ist ein Verfahren zum Steuern eines mobilen Endgeräts vorgesehen, welches von einem ungeschützten Verkehrsteilnehmer in einer Umgebung mitgeführt wird. In einem ersten Schritt des Verfahrens wird ein Sensorsignal von einer Sensoreinrichtung des mobilen Endgeräts empfangen, wobei die Sensoreinrichtung den ungeschützten Verkehrsteilnehmer und/oder das Umfeld des ungeschützten Verkehrsteilnehmers mit wenigstens einer integrierten Kamera erfasst. Das Sensorsignal umfasst dabei wenigstens eine Information zu einem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers. In einem weiteren Schritt wird das Sensorsignal ausgewertet, um den momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers zu ermitteln. Sofern ein geringer Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers ermittelt wird, wird in einem darauffolgenden Schritt ein Steuersignal ausgegeben, welches das mobile Endgerät veranlasst, wenigstens eine Sicherheitsmaßnahme durchzuführen. Hierzu zählt ein Übermitteln eines auf dem Sensorsignal und/oder auf einer Auswertung des Sensorsignals basierenden Informationssignals mit der wenigstens einen Information zu dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers über eine drahtlose Kommunikationsverbindung an ein in einer Umgebung des ungeschützten Verkehrsteilnehmers befindliches automatisiertes Fahrzeug. Als eine weitere Maßnahme kann eine von dem ungeschützten Verkehrsteilnehmer momentan verwendete Funktion des mobilen Endgeräts unterbrochen werden. Als eine weitere Maßnahme ist ferner ein Ausgeben eines optischen Warnsignals mithilfe einer wenigstens teilweise entlang des Umfangs des mobilen Endgeräts angeordneten optischen Signalisierungseinrichtung des mobilen Endgeräts an den ungeschützten Verkehrsteilnehmer und/oder an einen benachbarten Verkehrsteilnehmer vorgesehen, wobei eine Leuchtstärke, eine Leuchtfarbe und/oder eine Blinkfrequenz des optischen Warnsignals in Abhängigkeit von dem ermittelten Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers und/oder einer Zeitdauer eines reduzierten Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers gesteuert wird. Als eine weitere Maßnahme ist ferner ein Ausgeben eines optischen Hinweises auf einer optischen Anzeigeeinrichtung des mobilen Endgeräts vorgesehen. Als eine weitere Maßnahme ist ferner ein Darstellen von Informationen über eine Umgebung des ungeschützten Verkehrsteilnehmers und/oder aktuelle Verkehrsinformationen in der Umgebung des ungeschützten Verkehrsteilnehmers auf der optischen Anzeigeeinrichtung des mobilen Endgeräts vorgesehen. Als eine weitere Maßnahme ist ferner ein Ausgeben eines akustischen Warnsignals mithilfe einer akustischen Signalisierungseinrichtung des mobilen Endgeräts an den ungeschützten Verkehrsteilnehmer und/oder an einen benachbarten Verkehrsteilnehmer vorgesehen. Als eine weitere Maßnahme ist schließlich ein Ausgeben eines haptischen Warnsignals an den ungeschützten Verkehrsteilnehmer mithilfe einer Vibrationseinrichtung des mobilen Endgeräts vorgesehen. Mithilfe der hier genannten Maßnahmen kann allgemein die Verkehrssicherheit in der besagten Umgebung erhöht werden. Insbesondere kann durch Anzeigen von Informationen bzw. Ausgeben von Warnhinweisen bzw. Warnsignalen die Sicherheit des Fußgängers sowie anderer Verkehrsteilnehmer in seinem Umfeld verbessert werden. Durch Übermitteln der Informationen in Bezug auf den momentanen Aufmerksamkeitsgrad an benachbarte Verkehrsteilnehmer kann eine Optimierung der Fahrtrajektorie der jeweiligen Verkehrsteilnehmer erfolgen, was insgesamt zu einem flüssigeren und damit sowohl schnelleren als auch sicheren Verkehrsfluss im genannten Umfeld führt.
In einer weiteren Ausführungsform ist vorgesehen, dass das Sensorsignal wenigstens eine Information über mittels einer Front-Kamera des mobilen Endgeräts erfasste Mikrobewegungen der Augen des ungeschützten Verkehrsteilnehmers umfasst. Ferner kann das Sensorsignal eine Information zu einer mittels einer Front-Kamera des mobilen Endgeräts erfassten Reaktion des ungeschützten Verkehrsteilnehmers auf Objekte, Personen, andere Verkehrsteilnehmer, Ereignisse, Geräusche und/oder Verkehrssituationen im Umfeld des ungeschützten Verkehrsteilnehmers umfassen. Ferner kann das Sensorsignal eine Information über eine mittels einer Front-Kamera erfasste Blickrichtung des ungeschützten Verkehrsteilnehmers umfassen. Ferner kann das Sensorsignal eine Information über mittels einer Rück-Kamera des mobilen Endgeräts erfasste Objekte, Personen, motorisierte Verkehrsteilnehmer, Hindernisse, Markierungen, Hinweis- oder Warnschilder umfassen, welche sich momentan in einer Bewegungsrichtung vor dem ungeschützten Verkehrsteilnehmer befinden. Dabei ist vorgesehen, dass der momentane Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers durch Auswertung der mit dem Sensorsignal übermittelten wenigstens einen Information ermittelt wird. Durch Erfassung und Auswertung der Mikrobewegungen der Augen lässt sich ermitteln, ob der ungeschützte Verkehrsteilnehmer sein Umfeld aktiv wahrnimmt oder lediglich vor sich her starrt. Dabei kann auch ermittelt werden, welche Personen oder Objekte der ungeschützte Verkehrsteilnehmer in seinem Umfeld wahrgenommen hat. Anhand der Reaktionen des ungeschützten Verkehrsteilnehmers lässt sich hingegen besonders gut ermitteln, wie aufmerksam der ungeschützte Verkehrsteilnehmer momentan ist. Anhand der mittels einer Front-Kamera des mobilen Endgeräts erfassten Blickrichtung des ungeschützten Verkehrsteilnehmers lassen sich besonders gut die Wahrnehmungsbereiche des ungeschützten Verkehrsteilnehmers nachvollziehen. Mithilfe der Information über mittels einer Rück-Kamera des mobilen Endgeräts erfasste Objekte, Personen motorisierte Verkehrsteilnehmer, Hindernisse, Markierungen Hinweis- oder Warnschilder, welche sich momentan in einer Bewegungsrichtung vor dem ungeschützten Verkehrsteilnehmer befinden, lässt sich das Verhalten des ungeschützten Verkehrsteilnehmers in Bezug auf drohende Kollisionen und andere Gefahren ermitteln und damit auf seinen momentanen Aufmerksamkeitsgrad schließen.
In einer weiteren Ausführungsform ist vorgesehen, dass das Sensorsignal ferner wenigstens eine der folgenden Informationen umfasst, nämlich eine Information zu wenigstens einem mittels eines Mikrofons des mobilen Endgeräts im Umfeld des ungeschützten Verkehrsteilnehmers erfassten Geräusch, welches eine Stimme des ungeschützten Verkehrsteilnehmers, eine Stimme einer benachbarten Person oder ein von einem motorisierten Verkehrsteilnehmer erzeugtes Geräusch sein kann oder eine Information zu einem momentanen mittels einer Kamera oder einem anderem Sensor des mobilen Endgeräts erfassten Stress- und/oder Gesundheitszustand des ungeschützten Verkehrsteilnehmers. Anhand des mittels eines Mikrofons erfassten Geräusches oder Stimmen aus dem Umfeld des ungeschützten Verkehrsteilnehmers lässt sich ebenfalls auf den momentanen Aufmerksamkeitsgrad schließen. Da der Stress- und/oder Gesundheitszustand einer Person häufig mit einer Einschränkung der kognitiven Fähigkeiten der betreffenden Person einhergeht, eignet sich diese Informationen ebenfalls gut zu Ermittlung des momentanen Aufmerksamkeitsgrads.
Gemäß einem weiteren Aspekt ist eine Steuervorrichtung zum Steuern eines automatisierten Fahrzeugs vorgesehen, die eingerichtet ist, wenigstens einen Teil der Schritte des oben beschriebenen Verfahrens zum Steuern eines automatisierten Fahrzeugs auszuführen.
Gemäß einem weiteren Aspekt ist eine Steuervorrichtung zum Steuern eines mobilen Endgeräts vorgesehen, die eingerichtet ist wenigstens einen Teil der Schritte des oben beschriebenen Verfahrens zum Steuern eines mobilen Endgeräts auszuführen.
Gemäß einem weiteren Aspekt ist ein Computerprogramm umfasst Befehle vorgesehen, die bei einer Ausführung des Computerprogramms auf einem Computer diesen veranlassen eines der oben beschriebenen Verfahren auszuführen.
Schließlich ist gemäß einem weiteren Aspekt ein computerlesbares Speichermedium vorgesehen, auf dem das oben genannte Computerprogramm gespeichert ist. Die Realisierung der oben beschriebenen Verfahren in Form eines Computerprogramms bietet eine besonders hohe Flexibilität.
Die Erfindung wird im Folgenden anhand von Figuren näher beschrieben. Dabei zeigen:

1 schematisch eine Verkehrssituation mit einem automatisierten Fahrzeug und einem Fußgänger mit einem mobilen Endgerät;
2 eine Detailansicht aus der 1;
3 schematisch ein mobiles Endgerät mit verschiedenen Einrichtungen zur Ausgabe von Warnhinweisen;
4 ein Blockschaltdiagramm des mobilen Endgeräts aus 3;
5 ein Ablaufdiagramm zur Verdeutlichung des Steuerungsverfahrens des automatisierten Fahrzeugs;
6 ein Ablaufdiagramm zur Verdeutlichung des Zusammenwirkens des mobilen Endgeräts und dem automatisierten Fahrzeug;
7 ein Ablaufdiagramm zur Verdeutlichung des Steuerungsverfahrens des mobilen Endgeräts gemäß einer ersten Ausführungsform;
8 Diagramm zur Verdeutlichung des Verfahrens zum Steuern des automatisierten Fahrzeugs; und
9 schematisch eine digitale Aufmerksamkeitskarte des ungeschützten Verkehrsteilnehmers, welche auf Basis einer digitalen Umgebungskarte und ermittelten Blickrichtungen des ungeschützten Verkehrsteilnehmers erzeugt wurde.

Das hier beschriebene Konzept betrifft ein Verfahren zum Steuern eines automatisierten Fahrzeugs (insbesondere SAE Level 4 und 5) in der Umgebung eines ungeschützten Verkehrsteilnehmers in Abhängigkeit von einem erfassten Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers. Des Weiteren betrifft das Konzept auch ein Steuerverfahren für das mobile Endgerät. Dabei wird mittels einer Kamera und gegebenenfalls auch mittels eines Mikrofons der aktuelle Aufmerksamkeitsgrad eines ungeschützten Verkehrsteilnehmers ermittelt. Das automatisierte Fahrzeug bzw. das mobile Endgerät führt anschließend auf Grundlage des ermittelten momentanen Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers eine Sicherheitsmaßnahme durch, mithilfe derer die Verkehrssicherheit in der betreffenden Umgebung gewährleistet bzw. der Verkehrsfluss optimiert wird. Im Falle eines automatisierten Fahrzeugs wird durch die Aufmerksamkeitserkennung insgesamt ein flüssigerer und vermenschlichter Fahrstil speziell im urbanen Bereich ermöglicht. Im Fokus, jedoch nicht ausschließlich, besteht dabei die Erkennung von Personen im „Handymodus“ oder „Kopfhörermodus“. Anhand dieser Erkennung soll das automatisierte Fahrzeug seine Fahrtrajektorie eigenständig planen bzw. regeln. Das Verfahren ist dabei grundsätzlich nicht auf den öffentlichen Bereich beschränkt, sondern kann vielmehr auch in zugangsbeschränkten Bereichen (Restricted-Area), wie zum Beispiel Logistikzentren, Lagerhaltung, Baustellen, etc., zum Einsatz kommen.
Der „Aufmerksamkeitsgrad“ eines ungeschützten Verkehrsteilnehmers stellt dabei ein Merkmal dar, welches die momentane Aufmerksamkeit und Wahrnehmungsfähigkeit der betreffenden Person beschreibt. So geht ein hoher Aufmerksamkeitsgrad mit einer hohen Wahrnehmungsfähigkeit einher und ist in der Regel mit einer geringen Ablenkung der betreffenden Person verbunden. In diesem Fall kann die betreffende Person bestimmte Objekte und Ereignisse in seiner Umgebung besonders gut wahrnehmen und darauf reagieren. Hingegen ist die Aufmerksamkeit und Wahrnehmungsfähigkeit der Person bei einem niedrigen Aufmerksamkeitsgrad reduziert, was beispielsweise bei einer Ablenkung durch ein mobiles Endgerät der Fall ist. In diesem Fall kann die betreffende Person Objekte und Ereignisse in seiner Umgebung nicht oder nur eingeschränkt wahrnehmen und daher nur unzureichend darauf reagieren.
Für einen flüssigen Betrieb (d.h. geringe Ruckhaftigkeit und integriert in den Straßenbetrieb mit anderen ungeschützten Verkehrsteilnehmern) eines automatisierten Fahrzeugs ist es wichtig, eine Unterscheidung des erkannten Objekts zu treffen. Entsprechend kann die Trajektorie und das Fahrverhalten des automatisierten Fahrzeugs angepasst werden. Dabei können beispielsweise die folgenden Situationen erkannt und unterschieden werden:

a) Ein Fußgänger quert geradlinig und dynamisch die Fahrbahn und hat Sichtkontakt mit dem automatisierten Fahrzeug aufgenommen. In diesem Fall wird ein hoher Aufmerksamkeitsgrad des Fußgängers angenommen.
b) Ein Fußgänger quert die Fahrbahn und blickt dabei auf ein mobiles Endgerät. Der Fußgänger zeigt dabei kein dynamisches Bewegungsverhalten. In diesem Fall wird ein geringer Aufmerksamkeitsgrad des Fußgängers angenommen.

Die 1 zeigt schematisch eine beispielhafte Verkehrssituation, wobei in einer Umgebung 400, wie z.B. einem urbanen Bereich, ein automatisiertes Fahrzeug 100 und ein ungeschützter Verkehrsteilnehmer 200 einander begegnen. Das automatisierte Fahrzeug 100 bewegt sich dabei auf einer Straße 410 entlang einer geplanten Fahrtrajektorie 101 fort und erfasst dabei sein Umfeld 401 mithilfe von einer Sensoreinrichtung 110 zugeordneten Umfeldsensoren, wie zum Beispiel einer Kamera 111, einem Radarsensor 113 und/oder einem Lidarsensor 114. Das automatisierte Fahrzeug führt dabei mithilfe einer internen Steuereinrichtung 120 eine Planung und Regelung seiner Fahrtrajektorie 101 unter Berücksichtigung der mittels der Umfeldsensoren 111, 113, 114 gewonnenen Sensordaten durch, wobei die Steuereinrichtung 120 zur Regelung der Fahrtrajektorie 101 dabei wenigsten eine fahrzeuginterne Aktuatoreinrichtung 140 des automatisierten Fahrzeugs 100 ansteuert. Bei der hier dargestellten Steuereinrichtung 120 kann es sich sowohl um eine einzelne Steuereinheit als auch um eine Gruppe miteinander in Verbindung stehender Steuereinheiten handeln, welche auch verschiedenen Komponenten des automatisierten Fahrzeugs 100 zugeordnet sein können. Eine typische Steuereinrichtung 120 umfasst ferner eine computerlesbare Speichereinrichtung 121, auf der ein entsprechendes Computerprogramm zum Durchführen des entsprechenden Steuerungsverfahrens gespeichert ist.
Bei dem ungeschützten Verkehrsteilnehmer 200 handelt es sich im vorliegenden Beispiel um einen Fußgänger, welcher sich auf einem neben der Straße 410 verlaufenden Gehweg 420 entlang einer Bewegungstrajektorie 201 fortbewegt. Grundsätzlich kann es sich bei dem ungeschützten Verkehrsteilnehmer 200 auch um einen Rollstuhlfahrer und in einer erweiterten Fassung gegebenenfalls auch um einen anderen nicht motorisierten Verkehrsteilnehmer handeln, wie z.B. Fahrradfahrer oder Person mit Inlineskater, Tretroller, Skateboard oder ähnlichen. Der Fußgänger 200, dessen Blick 212 auf ein mobiles Endgerät 300 in seiner Hand 220 gerichtet ist, befindet sich dabei in einem „Handymodus“, welcher in der Regel durch eine deutlich reduzierte Aufmerksamkeit gegenüber Objekten und Ereignissen innerhalb des Umfelds 402 gekennzeichnet ist. Im vorliegenden Beispiel hat der Fußgänger 200 auch einen Kopfhörer 800 auf seinem Kopf 210 aufgesetzt, sodass er sich zusätzlich auch in einem sogenannten „Kopfhörermodus“ befindet, welcher ebenfalls durch eine reduzierte Aufmerksamkeit gegenüber äußeren Umständen aufgrund der Ablenkung in der Regel gekennzeichnet ist.
Wie in der 1 gezeigt ist, können sich in der Umgebung 400 ferner wenigstens ein weiterer Verkehrsteilnehmer 600 sowie wenigstens eine Infrastrukturkomponente 500 befinden, wobei die Infrastrukturkomponente 500 im vorliegenden Beispiel einer Ampel 440 zugeordnet ist. Je nach Ausführung können die beiden Fahrzeuge 100, 600, das mobile Endgerät 300 sowie die Infrastrukturkomponente 500 mithilfe drahtloser Kommunikationseinrichtungen 130, 330, 530, 630 über drahtlose Kommunikationsverbindungen 131, 132, 331, 531, 631 miteinander kommunizieren. Dies kann über direkte Kommunikationsverbindungen oder über eine gemeinsame Infrastruktur, wie zum Beispiel eine Cloud 700, erfolgen.
Die 2 zeigt eine Detailansicht der in der 1 dargestellten Verkehrssituation, aus der hervorgeht, dass das automatisierte Fahrzeug 100 mithilfe seiner Front-Kamera 111 den Fußgänger 200 erfasst. Bei der anschließenden Auswertung der Sensordaten, welche vorzugsweise innerhalb einer Steuereinrichtung 120 des automatisierten Fahrzeugs 100 erfolgt, wird der erfasste Fußgänger 200 erkannt und als ungeschützter Verkehrsteilnehmer klassifiziert. Dabei kann eine für den geringen Geschwindigkeitsbereich verbesserte optische Erkennung nicht nur einen ungeschützten Verkehrsteilnehmer 200 identifizieren, sondern ist auch in der Lage, die Aufmerksamkeit und gegebenenfalls auch die Intention des ungeschützten Verkehrsteilnehmers 200 einzuschätzen. Dazu werden optisch detektierte Zustände, Merkmale bzw. Gegebenheiten des ungeschützten Verkehrsteilnehmers 200 als Grundlage genommen. Hierzu zählen beispielsweise die Kopfneigung, die Positionierung der Arme, ein in der Hand 220 erkanntes mobiles Endgerät 300, Kopfhörer 800 aufgesetzt, Gesten, Dynamik der jeweiligen Person 200, ob es sich um ein Kleinkind oder um eine ältere Person handelt, Körperdrehung, Handbewegung, etc. Diese einzelnen Merkmale können im Kontext auch als Grundlage für eine Intentionserkennung benutzt werden, welche neben der Aufmerksamkeitserkennung zur Planung und Regelung der Fahrtrajektorie 101 des automatisierten Fahrzeugs 100 verwendet werden kann. Insbesondere können dabei folgende Intentionen des ungeschützten Verkehrsteilnehmers 200 ermittelt werden: was könnte die Person 200 als nächstes tun, wie könnte sich die Person 200 bewegen bzw. welche Trajektorien könnte die Person 200 weiter fortsetzen. Neben dem erkannten Fußgänger 200 und seiner Merkmale können grundsätzlich auch das Umfeld 402 des Fußgängers 200 und andere Objekte 421 in seinem Umfeld 402 zur Intentionserkennung des ungeschützten Verkehrsteilnehmers 200 hinzugezogen werden.
Einen besonderen Vorteil bietet jedoch die Möglichkeit die Aufmerksamkeitserfassung des Fußgängers 200 mithilfe des vom Fußgänger 200 mitgeführten mobilen Endgeräts 300 durchzuführen, wobei das mobile Endgerät 300 den Fußgänger 200 bzw. sein Umfeld 402 mithilfe integrierter Kameras 311, 313 erfasst. Da sich der Kopf 210 des Fußgängers 200 während der Verbindung des mobilen Endgeräts 300 im Erfassungsbereich 312 der Front-Kamera 311 befindet, kann das mobile Endgerät sowohl die Blickrichtung 212 als auch die Neigung und Drehung des Kopfes 210 erfassen. Durch Auswerten dieser Informationen lässt sich somit ermitteln, ob der Fußgänger 200 momentan auf das mobile Endgerät 300 blickt bzw. welches Blickfeld er momentan aufweist. Diese Zusatzinformationen lassen sich zur Ermittlung des momentanen Aufmerksamkeitsgrads sowie des aktuellen Wahrnehmungsbereichs 213 (siehe 1) des Fußgängers 200 nutzen. Insbesondere können dabei ermittelt werden, ob und wann der Fußgänger eine Situation wahrgenommen bzw. erkannt hat und wie aktuell diese Wahrnehmung ist. Sofern mithilfe der Front-Kamera 311 auch Mikrobewegungen der Augen 211 des Fußgängers 200 erfasst werden, können diese Zusatzinformationen nach einer entsprechenden Auswertung Anhaltspunkte dafür liefern, ob der Fußgänger 200 das momentan betrachtete Objekt aktiv wahrnimmt oder er lediglich in Gedanken versunken vor sich her starrt. Darüber hinaus kann die Front-Kamera 311 des mobilen Endgeräts 300 auch die Kopfhörer 800 des Fußgängers 200 erfassen. Auch diese Informationen sind besonders gut zur Ermittlung des momentanen Aufmerksamkeitsgrads des Fußgängers 200 geeignet. Grundsätzlich lassen sich mithilfe der Front-Kamera 311 jedoch auch weitere Merkmale des Fußgängers 200 erfassen und zu Ermittlung des Aufmerksamkeitsgrads des Fußgängers 200 nutzen (z. B. Mimik, Gestik, Handbewegungen, etc.).
Neben der Erfassung des Fußgängers 200 und seiner individuellen Merkmale können mithilfe der im mobilen Endgerät 300 verbauten Kameras 311, 313 jedoch auch verschiedene Objekte im Umfeld 402 des Fußgängers 200 erfasst werden. Im vorliegenden Beispiel erfasst die hintere Kamera 313 des mobilen Endgeräts 300 einen Bereich 314 des Umfelds 402 unmittelbar vor dem Fußgänger 200 mit einem darin angeordneten Objekt 421, bei dem es sich beispielsweise um ein Hindernis handeln kann. Durch Auswertung der aktuellen Bilddaten der Front-Kamera 311 kann dabei unter Berücksichtigung der aktuellen Bewegungsrichtung des Fußgängers 200 auf eine bevorstehende Kollision zwischen Fußgänger 200 und Hindernis 421 und damit auf einen relativ geringen Aufmerksamkeitsgrad des Fußgängers 200 geschlossen werden. In analoger Weise können mithilfe der Kameras 311, 313 auch andere Objekte im Umfeld 402 des Fußgängers 200 erfasst und zu Ermittlung des aktuellen Aufmerksamkeitsgrads des Fußgängers 200 verwendet werden. Hierzu zählen beispielsweise Markierungen auf der Straße oder Gehweg, Hinweise, Warnungen, Verkehrsschilder, Wegbegrenzungen, Fußgängerüberwege, Bordsteine, Pfosten, Zäune, sowie andere Personen und Verkehrsteilnehmer, etc.
Neben der optischen Erfassung mittels der Kameras 311, 313 können sowohl der Fußgänger 200 als auch sein Umfeld 402 auch mittels eines Mikrofons 315 (siehe 3) des mobilen Endgeräts 300 erfasst und die dabei gewonnenen Informationen zu Ermittlung des momentanen Aufmerksamkeitsgrads des Fußgängers 200 verwendet werden. Beispielsweise kann mithilfe des Mikrofons 315 erkannt werden, ob sich ein Fahrzeug auf einen Fußgänger zu oder wegbewegt (Dopplereffekt). Das ist besonders vorteilhaft, wenn das betreffende Fahrzeug sich nicht im Sichtbereich des Fußgängers 200 oder der Kameras 311, 313 befindet. Mit dem Mikrofon 315 ist ferner auch eine Stimmanalyse möglich, welche einen Rückschluss auf das Alter des Fußgängers 200, ob es sich beispielsweise um ein Kind oder einen Erwachsenen handelt, und gegebenenfalls auch auf einen alkoholisierten Zustand des Fußgängers 200 und damit auf seine momentane geistige Zurechnungsfähigkeit zulässt. Die akustische Erfassung mittels des Mikrofons 315 lässt sich ferner als Ergänzung zu der optischen Erfassung mittels der Kameras 311, 313 des mobilen Endgeräts 300 nutzen, um beispielsweise zu ermitteln, ob der Fußgänger 200 die Umwelt akustisch wahrgenommen hat. Dabei werden insbesondere Reaktionen des Fußgängers 200 auf akustische Warnungen und andere Geräusche in seinem Umfeld 402 erfasst. Wird beispielsweise ein Hupsignal in der Umgebung 400 des Fußgängers 200 erfasst und gleichzeitig festgestellt, dass der Fußgänger 200 keine Reaktion darauf zeigt, kann darauf geschlossen werden, dass der Fußgänger 200 das Hupsignal nicht wahrgenommen hat. Hieraus lässt sich bei ihm auf einen geringen momentanen Aufmerksamkeitsgrad schließen.
Grundsätzlich kann auch mithilfe weiterer Sensoren des mobilen Endgeräts 300 auf Stresssituationen und damit auf eine reduzierte Aufmerksamkeit des Fußgängers 200 geschlossen werden. Hierzu können beispielsweise mithilfe geeigneter Sensoren, wie zum Beispiel Thermalkamera, Feuchtigkeitssensor, Gassensor oder Spektralsensor, etc. ermittelt werden, ob der Fußgänger 200 schwitzt bzw. feuchte Hände aufweist und damit momentan angestrengt ist, oder ob der Fußgänger 200 überhitzt und damit momentan erregt ist. Durch eine Analyse des Atems kann gegebenenfalls auch ermittelt werden, ob der Fußgänger 200 krank bzw. ungesund ist. Dabei wird angenommen, dass ein gestresster, angestrengter oder kranker Fußgänger 200 eine reduzierte Aufmerksamkeit aufweist.
Nach dem Erfassen des Fußgängers 200 bzw. seiner Merkmale und gegebenenfalls auch seines Umfelds 402 mithilfe der Kameras 311, 313, des Mikrofons 315 und gegebenenfalls auch weiterer Sensoren des mobilen Endgeräts 300 können die betreffenden Daten und Informationen ausgewertet und über eine drahtlose Kommunikationsverbindung 331 an das automatisierte Fahrzeug 100 übertragen werden. Dabei kann das mobile Endgerät 300 auch Zusatzinformationen bezüglich des Fußgängers 200, wie zum Beispiel seine aktuelle Geoposition und/oder relative Position bzw. Pose in einer semantischen Umgebungskarte, seine aktuelle Bewegung bzw. Trajektorie, an das automatisierte Fahrzeug 100 übertragen. Das automatisierte Fahrzeug 100 verwendet anschließend diese Zusatzinformationen sowie die Information bezüglich des Aufmerksamkeitsgrads des Fußgängers 200 zur Planung und Regelung seiner Fahrtrajektorie 101.
Alternativ zu der Übertragung von bereits ausgewerteten Daten und Informationen ist es auch möglich, wenigstens einen Teil der mittels der Sensoren 311, 313, 315 des mobilen Endgeräts 300 gewonnen Bild-, Audio- und weiterer Sensordaten ohne eine vorherige Auswertung durch das mobile Endgerät 300 an das automatisierte Fahrzeug 100 zu übermitteln. In diesem Fall findet die Auswertung durch die Steuereinrichtung 120 des automatisierten Fahrzeugs 100 statt. Die Übermittlung der Daten bzw. Informationen vom mobilen Endgerät 300 zum automatisierten Fahrzeug 100 kann dabei über eine gemeinsame Dateninfrastruktur (z.B. die Cloud 700) oder, wie in der 2 angedeutet ist, über eine direkte Kommunikationsverbindung 331 zwischen dem mobilen Endgerät 300 und dem automatisierten Fahrzeug 100 erfolgen.
Sofern eine auf dem mobilen Endgerät 300 erfolgte Auswertung der Sensordaten einen geringen Aufmerksamkeitsgrad des Fußgängers 200 ergibt, kann das mobile Endgerät 300 zusätzlich oder alternativ zu der Übermittlung der betreffenden Daten bzw. Informationen an das automatisierte Fahrzeug 100 auch selbstständig Sicherheitsmaßnahmen durchführen, um den Fußgänger 200 und gegebenenfalls auch benachbarte Verkehrsteilnehmer zu warnen. Hierzu können dem Fußgänger 200 auf der Anzeigeeinrichtung 340 (Display oder Displayrand) (siehe 3) des mobilen Endgeräts 300 bestimmte Verkehrsinformationen gegebenenfalls minimiert und symbolhaft dargestellt werden (z.B. Auto von rechts, Fußgänger von vorn, Straße rechts gleich/gerade betreten, Ampel rot, etc.). Darüber hinaus können auch auf Kollisionskurs befindliche Trajektorien benachbarter Verkehrsteilnehmer 100, 600 (siehe 1) auf dem mobilen Endgerät 300 des eventuell nur unaufmerksamen Fußgängers 200 eingeblendet werden. Zur Signalisierung kann beispielsweise ein roter Balken am rechten Rand der Anzeigeeinrichtung 340 (siehe 3) des mobilen Endgeräts 300 eingeblendet werden, wenn Gefahr droht. Alternativ hierzu können noch detailliertere Anzeigen auf der kompletten Anzeigeeinrichtung 340 (siehe 3) dargestellt werden.
Je nachdem, welche Sinne des Fußgängers 200 durch das mobile Endgerät 300 belegt sind, kann die aktuelle Ablenkung unterbrochen und die betreffenden Informationen durchgeschaltet werden. So kann in dem Fall, dass der Fußgänger 200 ein am sich Boden vor ihm befindliches Hindernis 421 nicht wahrgenommen hat, das erfasste Hindernis 421 bzw. das aktuelle Bild der hinteren Kamera 311 auf das Display 340 (siehe 3) des mobilen Endgeräts 300 beispielsweise mit erweiterter Realität (augmented reality) zur Verdeutlichung der Gefahr dargestellt werden. In dem Fall, dass eine andere Person den Fußgänger 200 anspricht und dieser aufgrund eines aufgesetzten Kopfhörers 800 nicht darauf reagiert, kann die entsprechende akustische Information auf den Kopfhörer 800 durchgeschaltet werden. Diese akustische Information können beispielsweise durch vorherige Aufzeichnung bereitgestellt werden. Sofern der Fußgänger 200 die Straße 410 überqueren möchte, obwohl die Ampel 440 für ihn rot signalisiert und/oder Fahrzeuge die Straße 410 überqueren, kann das mobile Endgerät 200 eine geeignete optische, akustische und/oder haptische Warnung an den Fußgänger 200 ausgeben.
Hierzu zeigt die 3 ein in Form eines Smartphones ausgebildetes mobiles Endgerät 300, welches neben einer Front-Kamera 311, einer Rück-Kamera 313 und einem Mikrofon 315 auch über ein als Anzeigeeinrichtung 340 zur optischen Ausgabe von Hinweisen 341, Warnungen und Verkehrsinformationen dienendes Display, einen als akustische Signalisierungseinrichtung 350 zur Ausgabe akustischer Hinweis- und Warnsignale 351 dienenden Lautsprecher und einen als haptische Signalisierungseinrichtung 370 zur Ausgabe haptischer Hinweis- und Warnsignale 371 dienenden Vibrationsmotor verfügt.
Grundsätzlich kann das mobile Endgerät 300 auch nach außen, d. h. zu anderen Verkehrsteilnehmern optisch und/oder akustisch signalisieren, wie der Fußgänger 200 dann abgelenkt ist. Hierzu verfügt das hier gezeigte mobile Endgerät 300 zusätzlich über eine optische Signalisierungseinrichtung 360 zur Ausgabe optischer Hinweis- bzw. Warnsignale 361 an benachbarte Verkehrsteilnehmer 100, 600, welche vorzugsweise an der Außenseite des mobilen Endgeräts 300 und insbesondere entlang seines Außenumfangs 301 angeordnet ist. Die optische Signalisierungseinrichtung 360 erzeugt dabei nach außen gut wahrnehmbare optische Leuchtsignale 361, deren Farbe, Leuchtkraft oder Leuchtdauer bzw. Blinkfrequenz in Abhängigkeit von dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 variiert. Je unaufmerksamer die betreffende Person 200 ist und je schneller sie sich bewegt, umso intensiver ist die optische Rückmeldung der optischen Signalisierungseinrichtung 360. Beispielsweise kann die Leuchtfarbe mit zunehmender Unaufmerksamkeit des Fußgängers 200 über Grün, Gelb und Orange nach Rot wechseln. Zusätzlich oder alternativ hierzu kann sich die Farbintensität mit zunehmender Unaufmerksamkeit des Fußgängers 200 von weich bis grell ändern. Zusätzlich oder alternativ hierzu kann sich die Dauer des Leuchtsignals 361 mit zunehmender Unaufmerksamkeit des Fußgängers 200 von Dauerleuchten zu zunehmender Blinkfrequenz ändern. Diese optische Rückmeldung soll sowohl für den durch das mobile Endgerät 300 abgelenkten Fußgänger 200 als auch für benachbarte Personen und Verkehrsteilnehmer gut sichtbar sein.
Die 4 zeigt ein vereinfachtes Blockschaltbild des mobilen Endgeräts 300, welches eine die Sensoren 311, 313, 315 umfassende Sensoreinrichtung 310, eine interne Steuereinrichtung 320, welche die Sensorsignale 316 der Sensoren 311, 313, 315 empfängt und auswertet, eine drahtlose Kommunikationseinrichtung 330 zum Übertragen wenigstens eines Informationssignals 323 umfassend Daten und Informationen an das automatisierte Fahrzeug 100. Das mobile Endgerät 300 umfasst ferner weitere Komponenten 340, 350, 360, 370, welche mit geeigneten Steuersignalen 322 der Steuereinrichtung 320 gesteuert werden. Hierzu zählen insbesondere eine Anzeigeeinrichtung 340 zum Ausgeben optischer Hinweise und Warnungen 341, eine akustische Signalisierungseinrichtung 350 zum Ausgeben akustischer Warnsignale, eine optische Signalisierungseinrichtung 360 zum Ausgeben optischer Hinweis- und Warnsignale 361 an den Fußgänger 200 und benachbarte Verkehrsteilnehmer und eine haptische Signalisierungseinrichtung 370 zum Ausgeben haptischer Hinweis- und Warnsignale 371. Die Steuereinrichtung 320 kann dabei sowohl als eine einzelne Steuereinheit als auch in Form mehrerer miteinander in Verbindung stehender Steuereinheiten des mobilen Endgeräts 300 ausgebildet sein. Insbesondere umfasst die Steuereinrichtung 320 auch eine Speichereinrichtung 321, auf welcher ein Computerprogramm zum Ausführen des Steuerungsverfahrens gespeichert ist.
Die 5 zeigt ein vereinfachtes Ablaufdiagramm 800 zur Veranschaulichung des Verfahrens unter Verwendung einer Sensoreinrichtung 110 des automatisierten Fahrzeugs 100. Dabei wird im Verfahrensschritt 801 ein ungeschützter Verkehrsteilnehmer 200 in der Umgebung 400 des automatisierten Fahrzeugs 100 von der Sensoreinrichtung 110 erfasst. Anschließend wird im Verfahrensschritt 802 von der Sensoreinrichtung 110 ein Sensorsignal 116 (siehe 1 und 2) generiert, welches wenigstens eine Information zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 umfasst. Im Verfahrensschritt 803 wird das Sensorsignal 116 wird von einer Steuereinrichtung 120 des automatisierten Fahrzeugs 100 empfangen, welche im Verfahrensschritt 804 die darin enthaltene Information zu dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 extrahiert und zur Planung der Fahrtrajektorie 101 des automatisierten Fahrzeugs 100 verwendet. Auf Basis der Informationen zu dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 generiert die Steuereinrichtung 120 im Verfahrensschritt 805 ein Steuersignal 122 (siehe 1 und 2), welches im Verfahrensschritt 806 an wenigstens eine Aktuatoreinrichtung 140 des automatisierten Fahrzeugs 100 ausgegeben wird, um das automatisierte Fahrzeug 100 entlang der geplanten Fahrtrajektorie 101 zu steuern.
Die 6 zeigt ein vereinfachtes Ablaufdiagramm 810 zur Veranschaulichung des Verfahrens unter Verwendung eines von dem ungeschützten Verkehrsteilnehmer 200 verwendeten mobilen Endgeräts 300. Dabei wird der ungeschützte Verkehrsteilnehmer 200 im Verfahrensschritt 811 optisch und/oder akustisch von der Sensoreinrichtung 310 des mobilen Endgeräts 300 erfasst, welche anschließend im Verfahrensschritt 812 ein Sensorsignal 316 umfassend wenigstens eine Information zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 generiert. Im Verfahrensschritt 813 empfängt die Steuereinrichtung 320 des mobilen Endgeräts 300 das Sensorsignal 316 und wertet es im Verfahrensschritt 814 aus, um die wenigstens eine Information zum dem momentan Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 zu ermitteln bzw. extrahieren. Die Steuereinrichtung 320 generiert anschließend im Verfahrensschritt 815 ein Informationssignal 323, welches Informationen zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 umfasst. Das Informationssignal 323 wird dann im Verfahrensschritt 816 an die Steuereinrichtung 120 des automatisierten Fahrzeugs 100 übertragen, welche das Informationssignal 323 im Verfahrensschritt 817 empfängt und Verfahrensschritt 818 die darin enthaltenen Informationen zu dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 extrahiert und zur Planung der Fahrtrajektorie 101 verwendet. Auf Basis der Informationen zu dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers 200 generiert die Steuereinrichtung 120 anschließend im Verfahrensschritt 819 ein Steuersignal 122, welches im Verfahrensschritt 820 an wenigstens eine Aktuatoreinrichtung 140 des automatisierten Fahrzeugs 100 ausgegeben wird, um das automatisierte Fahrzeug 100 entlang der geplanten Fahrtrajektorie 101 zu steuern.
Die 7 zeigt ein vereinfachtes Ablaufdiagramm 830 zur Veranschaulichung des Ablaufs eines ergänzenden bzw. alternativen Verfahrens auf dem mobilen Endgerät 300. Dabei generiert die Sensoreinrichtung 310 in einem Verfahrensschritt 832 nach einem in einem Verfahrensschritt 831 erfolgenden optischen und/oder akustischen Erfassen des ungeschützten Verkehrsteilnehmers 200 das Sensorsignal 316, welches in einem Verfahrensschritt 833 ausgegeben und in einem Verfahrensschritt 834 von der Steuereinrichtung 320 des mobilen Endgeräts 300 empfangen und anschließend in einem Verfahrensschritt 835 ausgewertet wird. Anschließend generiert die Steuereinrichtung 320 in einem Verfahrensschritt 836 ein geeignetes Steuersignal 322, mit welchem wenigstens eine Sicherheitsmaßnahme durchgeführt wird. Das Steuersignal 322 kann in einem Verfahrensschritt 837 von einer Anzeigeeinrichtung 340 des mobilen Endgeräts 300 empfangen werden, welche daraufhin veranlasst wird, in einem Verfahrensschritt 838 optische Hinweise bzw. Warnungen 341 an den ungeschützten Verkehrsteilnehmer 200 auszugeben. Ferner kann das Steuersignal 322 in einem Verfahrensschritt 839 von einer akustischen Signalisierungseinrichtung 350 empfangen werden, welche daraufhin veranlasst wird, in einem Verfahrensschritt 840 ein akustisches Warnsignal 351 an den ungeschützten Verkehrsteilnehmer 200 oder einen benachbarten Verkehrsteilnehmer auszugeben. Ferner kann das Steuersignal 322 in einem Verfahrensschritt 841 von einer optischen Signalisierungseinrichtung 360 des mobilen Endgeräts 300 empfangen werden, welche daraufhin veranlasst wird, in einem Verfahrensschritt 842 ein optisches Warnsignal 361 an den ungeschützten Verkehrsteilnehmer 200 oder einen benachbarten Verkehrsteilnehmer auszugeben. Schließlich kann das Steuersignal 322 in einem Verfahrensschritt 843 von einer haptischen Signalisierungseinrichtung 370 des mobilen Endgeräts 300 empfangen werden, welche daraufhin veranlasst wird, in einem Verfahrensschritt 844 ein haptisches Warnsignal 371 an den ungeschützten Verkehrsteilnehmer 200 ausgeben. Darüber hinaus kann die Steuereinrichtung 320 mittels des Steuersignals 322 auch Funktionen des mobilen Endgeräts 300 und im Extremfall sogar das mobile Endgerät 300 selbst temporär ausschalten, wenn der Fußgänger 200 durch das mobile Endgerät 300 stark abgelenkt ist und beispielsweise andere Personen anrempelt oder benachbarte Fahrzeuge zu Notbremsungen veranlasst (hier nicht dargestellt).
Das mobile Endgerät 300 kann ferner auch zur Ausgabe von Empfehlungen bzw. Vorschlägen bezüglich Laufrichtung und Laufgeschwindigkeit verwendet werden. Sofern viele bzw. alle Fußgänger 200 entsprechend ausgebildete mobile Endgeräte 300 mit sich führen und damit oder mithilfe entsprechender Sensoren benachbarter Verkehrsteilnehmer 100, 600 oder Infrastrukturkomponenten 500 lokalisiert werden, können sämtliche Trajektorien der Fußgänger 200 bestimmt und prognostiziert werden. Damit können dem beispielsweise nicht in Laufrichtung schauenden Fußgänger 200 geeignete Empfehlungen zur Laufrichtung und Laufgeschwindigkeit auf der Anzeigeeinrichtung 360 angezeigt werden. Beispielsweise können die folgenden Empfehlungen angezeigt werden: grüne Einblendungen am Displayrand zum Anzeigen von Freiflächen bzw. Mitlaufen im Fußgängerstrom, Darstellung von Laufrichtungsvorschlägen mittels Pfeile, wobei die Dicke oder Länge der jeweiligen Pfeile Tempovorschläge darstellen können. Sind in den mobilen Endgeräten 300 der Verkehrsteilnehmer 200 Termine oder Orte hinterlegt, können diese zur Bestimmung der jeweiligen Trajektorien verwendet werden damit wird die Trajektorien- und Routenplanung weniger spekulativ.
Grundsätzlich lässt sich auf dem mobilen Endgerät 300 auch eine Verhaltensanalyse aus der Vergangenheit zur Ermittlung des momentanen Aufmerksamkeitsgrads des Fußgängers 200 nutzen. Hierbei kann beispielsweise das Verhalten des Fußgängers 200 gegenüber Verkehrssituationen und Verkehrszeichen in der Vergangenheit betrachtet werden. Wenn der Fußgänger 200 beispielsweise in der Vergangenheit schon öfter bei Rot über eine Ampel bzw. schräg über die Straße gegangen ist, kann ein aktuell erfasstes entsprechendes Verhalten nicht als ein alleiniger Hinweis für eine momentane Unaufmerksamkeit des Fußgängers 200 gewertet werden. Entsprechende Verhaltensanalysen aus der Vergangenheit sowie deren Berücksichtigung bei der Aufmerksamkeitsermittlung können auch in Bezug auf das Verhalten des Fußgängers 200 bei Dunkelheit, Helligkeit, bei bestimmtem Wetter oder beim Auftreten bestimmter Umgebungsgeräusche zum Einsatz kommen.
Die 8 zeigt ein vereinfachtes Ablaufdiagramm 850 zur Verdeutlichung der Aufmerksamkeitserkennung. Dabei erfolgt in einem ersten Verfahrensschritt 851 eine optische Erfassung des bzw. der ungeschützten Verkehrsteilnehmer 200 durch Sensorik des automatisierten Fahrzeugs 100 bzw. des mobilen Endgeräts 300. In einem darauffolgenden Verfahrensschritt 852 werden die erfassten Daten bzw. Informationen in Form von Signalen an die Steuereinrichtung 120 des automatisierten Fahrzeugs 100 übertragen. Anschließend erfolgt in einem Verfahrensschritt 853 eine Auswertung der optischen Erfassung bezüglich Aufmerksamkeitserkennung der ungeschützten Verkehrsteilnehmer 200. Im Anschluss daran kann das automatisierte Fahrzeug 100 in Abhängigkeit von dem jeweiligen Fall eine Planung und Regelung der Fahrtrajektorie 101 des automatisierten Fahrzeugs 100 unter Berücksichtigung der Ergebnisse der Aufmerksamkeitserkennung durchführen. Bei der Aufmerksamkeitserkennung handelt es sich um eine weitere Objektklassifizierung, welche eine Verbesserung der bisherigen singulären Personenerkennung darstellt. Dabei kann das Vorgehen in mehrere Klassen eingeteilt werden, wobei wenigstens die folgenden drei Klassen vorgesehen sein können:

a) In einem Verfahrensschritt 854 erfolgt eine klassische Personenerkennung ohne besonderes Merkmal bezüglich Aufmerksamkeit, wobei die Planung und Regelung der Fahrtrajektorie 101 wie bisher erfolgt. Dabei kann aufgrund der prognostizierten Trajektorien des ungeschützten Verkehrsteilnehmers 200 eine mögliche Kollision mit dem automatisierten Fahrzeug 100 prognostiziert werden und bei nicht erkennbaren Ausweichmanövern oder Intentionen zum Ausweichen eine Unaufmerksamkeit geschätzt werden.
b) In einem Verfahrensschritt 855 stellt die Aufmerksamkeitserkennung eine Ablenkung des ungeschützten Verkehrsteilnehmers 200 fest (Blick auf mobiles Endgerät 300 oder Zeitung, Kopfhörer aufgesetzt, etc.). In diesem Fall erfolgt die Planung und Regelung der Fahrtrajektorie 101 defensiver (z.B. größerer Sicherheitsabstand) und gegebenenfalls autarkes Licht- und Hupsignal des automatisierten Fahrzeugs 100 zur Warnung des unaufmerksamen ungeschützten Verkehrsteilnehmers 200.
c) In einem Verfahrensschritt 856 stellt die Aufmerksamkeitserkennung fest, dass der ungeschützte Verkehrsteilnehmer 200 das automatisierte Fahrzeug 100 erkannt hat. Das kann beispielsweise durch Erfassen und Auswerten verschiedener Merkmale des ungeschützten Verkehrsteilnehmers 100 erfolgen, wie zum Beispiel der Gestik, Intentionserkennung, Handbewegung, Blickrichtungen der Augen, etc. erfolgen. In diesem Fall erfolgt die Planung und Regelung der Fahrtrajektorie 101 dynamischer, damit das automatisierte Fahrzeug 100 in einem flüssigen Betrieb bleibt.

Neben der Blickrichtungserkennung kann auch anhand der Sensierung und Analyse der mikroskopischen Augenbewegungen und Blickrichtung des ungeschützten Verkehrsteilnehmers 200 zum Beispiel mittels Kamera erkannt werden, ob der ungeschützter Verkehrsteilnehmer 200 auch Gegenstände und Situationen im Gehirn wahrgenommen hat oder nur in die Richtung gestartet hat ohne eine entsprechende Wahrnehmung der betreffenden Gegenstände und Situationen.
In der 9 ist schließlich eine digitale Aufmerksamkeitskarte 404 dargestellt, welche das automatisierte Fahrzeug 100 auf Grundlage einer von ihm durchgeführten Aufmerksamkeitserkennung für den ungeschützten Verkehrsteilnehmer 200 erstellt hat. Die Aufmerksamkeitskarte 404 basiert dabei beispielsweise auf einer Überlagerung einer digitalen Umgebungskarte 403 und einem vom automatisierten Fahrzeug 100 ermittelten Wahrnehmungsbereich 213 des ungeschützten Verkehrsteilnehmers 200. Eine solche Aufmerksamkeitskarte 404 ermöglicht es dem automatisierten Fahrzeug 100 erste Bereiche der Straße 410 zu identifizieren, welche von dem ungeschützten Verkehrsteilnehmer 200 wahrgenommen werden und welche das automatisierte Fahrzeug 100 folglich ohne besondere Einschränkungen durchqueren kann, sowie zweite Bereiche der Straße 410, welche von dem ungeschützten Verkehrsteilnehmern 200 nicht wahrgenommen werden und in welchen das automatisierte Fahrzeug 100 folglich mit besonderer Vorsicht, z.B. mit reduzierter Geschwindigkeit und größerem Abstand, durchqueren kann. Die in der 9 dargestellte Aufmerksamkeitskarte betrifft hier beispielhaft lediglich einen einzelnen Fußgänger 200. Grundsätzlich lässt sich eine entsprechende digitale Aufmerksamkeitskarte erstellen, welche gleichzeitig die Wahrnehmungsbereiche mehrerer ungeschützter Verkehrsteilnehmer in der Umgebung 400 des automatisierten Fahrzeugs 100 berücksichtigt. Wie in 9 ferner gezeigt ist, kann die Aufmerksamkeitskarte 404 auch die geplanten und/oder prognostizierten Trajektorien 101 des automatisierten Fahrzeugs 100 und 201 des ungeschützten Verkehrsteilnehmers 200 enthalten. Hierdurch kann ermittelt werden, welche Bereiche besonders beobachtet werden müssen.
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher illustriert und beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt. Vielmehr können hieraus auch andere Variationen vom Fachmann abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims

Verfahren zum Steuern eines automatisierten Fahrzeugs (100) in einer Umgebung (400) mit wenigstens einem ungeschützten Verkehrsteilnehmer (200) umfassend die Schritte: - Empfangen eines Informationssignals (323) von einem von dem ungeschützten Verkehrsteilnehmer (200) mitgeführten mobilen Endgerät (300), umfassend wenigstens eine Information zu einem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200), welche durch Erfassen des ungeschützten Verkehrsteilnehmers (200) und/oder des Umfelds (402) des ungeschützten Verkehrsteilnehmers (200) mithilfe einer Kamera (311, 313) des mobilen Endgeräts (300) ermittelt wurde, und - Generieren eines Steuersignals (122) auf Basis des empfangenen Informationssignals (323), welches das automatisierte Fahrzeug (100) veranlasst, eine Planung und/oder Regelung seiner Fahrtrajektorie (101) unter Berücksichtigung des momentanen Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers (200) durchzuführen.
Verfahren nach Anspruch 1, wobei das Steuersignal (122) das automatisierte Fahrzeug (100) veranlasst, seine Fahrgeschwindigkeit zu reduzieren und/oder seinen Abstand zu dem ungeschützten Verkehrsteilnehmer (200) zu erhöhen, sofern ein relativ geringer momentaner Aufmerksamkeitsgrad bei dem ungeschützten Verkehrsteilnehmer (200) ermittelt wird, und wobei das Steuersignal (122) das automatisierte Fahrzeug (100) veranlasst, seine Fahrgeschwindigkeit beizubehalten oder zu erhöhen und/oder seinen Abstand zu dem ungeschützten Verkehrsteilnehmer (200) beizubehalten oder zu verringern, sofern ein relativ hoher momentaner Aufmerksamkeitsgrad bei dem ungeschützten Verkehrsteilnehmer (200) ermittelt wird.
Verfahren nach Anspruch 1 oder 2, wobei die Information zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) auf einem Erfassen wenigstens eines der folgenden den ungeschützten Verkehrsteilnehmer (200) betreffenden Merkmale oder Gegebenheiten basiert: - einer Feststellung, ob der ungeschützte Verkehrsteilnehmer (200) momentan ein mobiles Endgerät (300) in der Hand (220) hält, auf ein mobiles Endgerät (300) blickt und/oder einen Kopfhörer (800) verwendet, - eine momentane Reaktion des ungeschützten Verkehrsteilnehmers (200) auf Objekte (421, 440), Personen, Fahrzeuge (100, 600), Geräusche, Ereignisse und/oder Verkehrssituationen in seinem Umfeld (402), - eine momentane Blickrichtung (212) und/oder ein momentaner Wahrnehmungsbereich (213) des ungeschützten Verkehrsteilnehmers (200).
Verfahren nach Anspruch 1 bis 3, wobei das empfangene Informationssignal (323) wenigstens eine Information zu mittels einer Front-Kamera (311) des mobilen Endgeräts (300) erfassten Mikrobewegungen der Augen (211) des ungeschützten Verkehrsteilnehmers (200) umfasst.
Verfahren nach Anspruch 4, wobei eine Auswertung erfolgt, bei der anhand der wenigstens einen Information zu den Mikrobewegungen der Augen (211) des ungeschützten Verkehrsteilnehmers ermittelt wird, inwieweit der ungeschützte Verkehrsteilnehmer (200) bestimmte Objekte, Personen oder Ereignisse in seinem Umfeld (402) wahrnimmt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die wenigstens eine Information zu dem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (100) nach dem Empfangen des Informationssignals (323) ausgewertet wird, um den momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) zu ermitteln.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Informationssignal (323) wenigstens eine Information zu einer Blickrichtung (212) und/oder einem Wahrnehmungsbereich (213) des ungeschützten Verkehrsteilnehmers (200) umfasst, wobei anhand einer digitalen Karte (403) der Umgebung (400) und der wenigstens einen Information zu der Blickrichtung (212) und/oder dem Wahrnehmungsbereich (213) des ungeschützten Verkehrsteilnehmers (200) eine dem ungeschützten Verkehrsteilnehmer (200) individuell zugeordnete digitale Aufmerksamkeitskarte (404) erzeugt wird, und wobei die digitale Aufmerksamkeitskarte (404) zur Planung und/oder Regelung der Fahrtrajektorie (101) des automatisierten Fahrzeugs (100) verwendet wird.
Verfahren zum Steuern eines mobilen Endgeräts (300), welches von einem ungeschützten Verkehrsteilnehmer (200) in einer Umgebung (400) mitgeführt wird, umfassend die Schritte: - Empfangen eines Sensorsignals (316) von einer Sensoreinrichtung (310) des mobilen Endgeräts (300), wobei die Sensoreinrichtung (310) den ungeschützten Verkehrsteilnehmer (200) und/oder das Umfeld (402) des ungeschützten Verkehrsteilnehmers (200) mit wenigstens einer integrierten Kamera (311, 313) erfasst, und wobei das Sensorsignal (316) wenigstens eine Information zu einem momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) umfasst, und - Auswerten des Sensorsignals (316), um den momentanen Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) zu ermitteln, und - Ausgeben eines Steuersignals (322) sofern ein geringer Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) ermittelt wird, welches das mobile Endgerät (300) veranlasst, wenigstens eine der folgenden Sicherheitsmaßnahmen durchzuführen: - Übermitteln eines auf dem Sensorsignal (316) und/oder auf einer Auswertung des Sensorsignals (316) basierenden Informationssignals (323) mit der wenigstens einen Information zu dem Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) über eine drahtlose Kommunikationsverbindung (131, 132, 331) an ein in einer Umgebung (400) des ungeschützten Verkehrsteilnehmers (200) befindliches automatisiertes Fahrzeug (100), - Unterbrechen einer von dem ungeschützten Verkehrsteilnehmer (200) momentan verwendeten Funktion des mobilen Endgeräts (300), - Ausgeben eines optischen Warnsignals (361) mithilfe einer wenigstens teilweise entlang des Umfangs (301) des mobilen Endgeräts (300) angeordneten optischen Signalisierungseinrichtung (360) des mobilen Endgeräts (300) an den ungeschützten Verkehrsteilnehmer (200) und/oder an einen benachbarten Verkehrsteilnehmer (100, 600), wobei eine Leuchtstärke, eine Leuchtfarbe und/oder eine Blinkfrequenz des optischen Warnsignals (361) in Abhängigkeit von dem ermittelten Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) und/oder einer Zeitdauer eines reduzierten Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers (200) gesteuert wird, - Ausgeben eines optischen Hinweises (341) auf einer optischen Anzeigeeinrichtung (340) des mobilen Endgeräts (300), - Darstellen von Informationen über eine Umgebung (400) des ungeschützten Verkehrsteilnehmers (200) und/oder aktuelle Verkehrsinformationen in der Umgebung (400) des ungeschützten Verkehrsteilnehmers (200) auf der optischen Anzeigeeinrichtung (340) des mobilen Endgeräts (300), - Ausgeben eines akustischen Warnsignals (351) mithilfe einer akustischen Signalisierungseinrichtung (350) des mobilen Endgeräts (300) an den ungeschützten Verkehrsteilnehmer (200) und/oder an einen benachbarten Verkehrsteilnehmer (100, 600), und - Ausgeben eines haptischen Warnsignals (371) an den ungeschützten Verkehrsteilnehmer (200) mithilfe einer Vibrationseinrichtung (370) des mobilen Endgeräts (300).
Verfahren nach Anspruch 8, wobei das Sensorsignal (316) und/oder das Informationssignal (323) wenigstens umfasst: - eine Information über mittels einer Front-Kamera (311) des mobilen Endgeräts (300) erfasste Mikrobewegungen der Augen (211) des ungeschützten Verkehrsteilnehmers (200), - eine Information zu einer mittels einer Front-Kamera (311) des mobilen Endgeräts (300) erfassten Reaktion des ungeschützten Verkehrsteilnehmers (200) auf Objekte (421), Personen, andere Verkehrsteilnehmer, Ereignisse, Geräusche und/oder Verkehrssituationen im Umfeld (402) des ungeschützten Verkehrsteilnehmers (200), - eine Information über eine mittels einer Front-Kamera (311) erfasste Blickrichtung (212) des ungeschützten Verkehrsteilnehmers (200), - eine Information über mittels einer Rück-Kamera (313) des mobilen Endgeräts (300) erfasste Objekte, Personen, motorisierte Verkehrsteilnehmer (100, 600), Hindernisse, Markierungen, Hinweis- oder Warnschilder, welche sich momentan in einer Bewegungsrichtung vor dem ungeschützten Verkehrsteilnehmer (200) befinden, und wobei der momentane Aufmerksamkeitsgrad des ungeschützten Verkehrsteilnehmers (200) durch Auswertung der mit dem Sensorsignal (316) übermittelten wenigstens einen Information ermittelt wird.
Verfahren nach Anspruch 8 oder 9, wobei das Sensorsignal (316) und/oder das Informationssignal (323) ferner wenigstens eine der folgenden Informationen umfasst: - eine Information zu wenigstens einem mittels eines Mikrofons (315) des mobilen Endgeräts (300) im Umfeld (402) des ungeschützten Verkehrsteilnehmers (200) erfassten Geräusch, welches eine Stimme des ungeschützten Verkehrsteilnehmers (200), eine Stimme einer benachbarten Person oder ein von einem motorisierten Verkehrsteilnehmer (100, 600) erzeugtes Geräusch sein kann, - eine Information zu einem momentanen mittels einer Kamera (311, 313) oder einem anderen Sensor des mobilen Endgeräts (300) erfassten Stress- und/oder Gesundheitszustand des ungeschützten Verkehrsteilnehmers (200).
Steuereinrichtung (120) zum Steuern eines automatisierten Fahrzeugs (100), die eingerichtet ist, wenigstens einen Teil der Schritte des Verfahrens gemäß einem der Ansprüche 1 bis 7 auszuführen.
Steuereinrichtung (320) zum Steuern eines mobilen Endgeräts (200), die eingerichtet ist, wenigstens einen Teil der Schritte des Verfahrens gemäß einem der Ansprüche 8 bis 10 auszuführen.
Computerprogramm umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 7 oder ein Verfahren gemäß einem der Ansprüche 8 bis 10 auszuführen.
Computerlesbares Speichermedium (121, 321), auf dem ein Computerprogramm nach Anspruch 13 gespeichert ist.