-
Die Erfindung betrifft ein Verfahren zur Ermittlung einer Reaktionsfähigkeit eines Fahrzeugnutzers im automatisierten Fahrbetrieb eines Fahrzeuges anhand erfasster Bilddaten einer Fahrerbeobachtungskamera.
-
Aus der
DE 10 2015 001 686 B4 sind ein Verfahren und eine Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren eines Kraftfahrzeuges bekannt. Dabei erfolgt eine erste Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers, wobei eine zweite Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinheit durch den Fahrer erfolgt. Die Reaktionsfähigkeit wird als gegeben klassifiziert, wenn die erste Bewertung und/oder die zweite Bewertung die Reaktionsfähigkeit als gegeben erkannt haben/hat. Bei der ersten Bewertung der Reaktionsfähigkeit mittels Kamerabeobachtung des Fahrers wird dann als gegeben klassifiziert, wenn mindestens ein Auge des Fahrers während eines Mindestanteiles eines vorgegebenen Zeitintervalls geöffnet ist. Die Reaktionsfähigkeit wird nicht als gegeben klassifiziert, wenn die Bedienung der Bedieneinheit durch eine andere Person als den Fahrer oder rhythmisch erfolgt.
-
Darüber hinaus beschreibt die
DE 10 2016 011 246 A1 ein Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges. Das Verfahren sieht vor, dass ein Kopf des Insassen mittels zumindest einer Lichtquelle, welche abwechselnd ein- und ausgeschaltet wird, beleuchtet wird. Ein von den Augen des Insassen reflektiertes Licht wird mittels zumindest eines Sensors erfasst, wobei zusätzlich überprüft wird, ob sich die Reflexion in Abhängigkeit der Beleuchtung durch die Lichtquelle ändert und zumindest eine Lidaktivität und/oder Kopfbewegung des Insassen erfasst werden bzw. wird.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Ermittlung einer Reaktionsfähigkeit eines Fahrzeugnutzers im automatisierten Fahrbetrieb eines Fahrzeuges anzugeben.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Ein Verfahren zur Ermittlung einer Reaktionsfähigkeit eines Fahrzeugnutzers im automatisierten Fahrbetrieb eines Fahrzeuges anhand erfasster Bilddaten einer Fahrerbeobachtungskamera sieht erfindungsgemäß vor, dass anhand fahrzeugseitig vorliegender digitaler Kartendaten und/oder anhand fahrzeugseitig erfasster Sensordaten ermittelt wird, ob sich zumindest ein vorgegebenes Objekt in einer momentanen Fahrzeugumgebung im Sichtbereich des Fahrzeugnutzers befindet. Bei zumindest einem erfassten vorgegebenen Objekt in der momentanen Fahrzeugumgebung wird anhand erfasster Bilddaten der Fahrerbeobachtungskamera ermittelt, für welche Zeitdauer und/oder Häufigkeit der Fahrzeugnutzer seinen Blick auf das erfasste zumindest eine vorgegebene Objekt richtet und bei ermittelter, eine vorgegebene Mindestzeitdauer unterschreitender Zeitdauer und/oder bei ermittelter, eine Mindesthäufigkeit unterschreitender Häufigkeit von Blickwechseln wird die Reaktionsfähigkeit des Fahrzeugnutzers als nicht gegeben bewertet.
-
Durch Anwendung des Verfahrens kann die Reaktionsfähigkeit des Fahrzeugnutzers des Fahrzeuges während des automatisierten Fahrbetriebes, in welchem das Fahrzeug eine Fahraufgabe vollumfänglich ausführt, ermittelt werden. Dabei ist unter Fahrzeugnutzer eine Person zu verstehen, welche eine Fahraufgabe des Fahrzeuges im manuellen Fahrbetrieb ausführt.
-
Insbesondere wird die Reaktionsfähigkeit ermittelt, um festzustellen, ob der Fahrzeugnutzer bei einer systembedingten Übernahmeaufforderung in Bezug auf die Fahraufgabe richtig reagieren kann und dazu eine vorliegende Situation richtig erfasst. Ein Situationsbewusstsein setzt hierzu voraus, situationsabhängige relevante Objekte und/oder Bereiche außerhalb des Fahrzeuges zu sehen und diese auch wahrzunehmen.
-
In einer Ausführungsform des Verfahrens wird ein Objekt als relevant vorgegeben, wenn sich ein solches Objekt im manuellen Fahrbetrieb des Fahrzeuges für eine vorgegebene Zeitdauer und/oder Häufigkeit im Sichtbereich des Fahrzeugnutzers befindet, d.h. wenn der Fahrzeugnutzer seinen Blick für die vorgegebene Zeitdauer und/oder Häufigkeit auf das Objekt richtet, und wenn das Objekt bei einer Fahrzeugsteuerung durch den Fahrzeugnutzer berücksichtigt wird.
-
Wird gar kein Blick oder ein vergleichsweise kurzer Blick des Fahrzeugnutzers auf ein vorgegebenes relevantes Objekt anhand der aufgenommenen Bilddaten detektiert, wird interpretiert, dass der Fahrzeugnutzer das vorgegebene relevante Objekt nicht wahrgenommen hat und dementsprechend zumindest eine geringe Reaktionsfähigkeit aufweist.
-
Als relevante Objekte werden in einer möglichen Ausführungsform des Verfahrens zumindest ein vor, seitlich und/oder hinter dem Fahrzeug befindliches weiteres Fahrzeug, ein Verkehrszeichen, eine Lichtsignalanlage, eine Warnleuchte, eine Spurmarkierung, ein Leitpfosten, Leitplanken, Leitbaken und/oder Brückenpfeiler als Objekte bei der Ermittlung der Reaktionsfähigkeit des Fahrzeugnutzers vorgegeben und/oder berücksichtigt.
-
Es gelten also solche Objekte als relevant und werden als diese vorgegeben, welche eine Fahrzeugsteuerung und somit eine Fahrweise des Fahrzeugnutzers im manuellen Fahrbetrieb des Fahrzeuges beeinflussen können und/oder sollten.
-
Eine Weiterbildung des Verfahrens sieht vor, dass eine Größe, eine Sichtbarkeit, eine relative Position und/oder eine absolute Position eines vorgegebenen Objektes in Bezug auf den Sichtbereich des Fahrzeugnutzers ermittelt und/oder berücksichtigt werden bzw. wird. Dadurch kann erfasst werden, ob der Fahrzeugnutzer in der Lage ist, ein solches vorgegebenes Objekt aus dem Fahrzeug heraus überhaupt sehen kann.
-
Dazu sieht eine Ausbildung des Verfahrens vor, dass eine Blickrichtung des Fahrzeugnutzers als Blickvektor ermittelt wird, welcher zur Ermittlung des Sichtbereiches extrapoliert wird. Insbesondere wird der Blickvektor nach außerhalb des Fahrzeuges extrapoliert und ermittelt, ob der extrapolierte Blickvektor das vorgegebene relevante Objekt trifft und der vorgegebene relevante Bereich sich somit im Sichtbereich des Fahrzeugnutzers befindet.
-
Insbesondere sieht eine mögliche weitere Ausbildung des Verfahrens vor, dass als Anfangspunkt des Blickvektors ein Mittelpunkt zwischen Pupillen des Fahrzeugnutzers vorgegeben wird. Insbesondere wird als Anfangspunkt der Mittelpunkt zwischen den Pupillen vorgegeben, wenn die Augen mit einem frontal ausgerichteten Kopf des Fahrzeugnutzers geradeaus blicken. Die Festlegung des Anfangspunktes des Blickvektors dient dazu, dass das vorgegebene relevante Objekt als Bereich insbesondere auf eine Windschutzscheibe übertragen wird und anhand des Bereiches zu ermitteln, ob der Fahrzeugnutzer auf diesen Bereich schaut.
-
In einer weiteren Ausbildung wird in Abhängigkeit einer Form und/oder einer Größe eines vorgegebenen relevanten Objektes ein Bereich um dieses definiert. Insbesondere wird ein Bereich um das vorgegebene relevante Objekt definiert, wenn dieses eine vergleichsweise komplexe Form und/oder Größe aufweist. Je kleiner dieser definierte Bereich ist, desto genauer ist eine Blick-zu-Objekt-Zuordnung möglich, so dass detektiert werden kann, ob sich das vorgegebene relevante Objekt im Sichtbereich des Fahrzeugnutzers befindet und dieses vom Fahrzeugnutzer als solches erkannt werden kann.
-
Werden mehrere Objekte erfasst, dann wird in einer möglichen Ausbildung eine Sichtbarkeit in Bezug auf ein vorgegebenes relevantes Objekt anhand einer Position, Größe und/oder Materialeigenschaft des Objektes bewertet. D. h., dass die Sichtbarkeit des vorgegebenen relevanten Objektes überprüft wird, so dass weitestgehend sichergestellt werden kann, dass sich das vorgegebene relevante Objekt im Sichtbereich des Fahrzeugnutzers befindet und nicht von einem weiteren Objekt verdeckt ist. Es wird also überprüft, ob das vorgegebene relevante Objekt für den Fahrzeugnutzer sichtbar ist.
-
In einer möglichen Weiterbildung werden bzw. wird anhand einer Blickverhaltensanalyse ein Wahrnehmungsgrad und/oder ein Situationsbewusstsein fahrzeugnutzerspezifisch ermittelt, wobei ein Blickverhalten des Fahrzeugnutzers mit einem gewöhnlichen Blickverhalten verglichen wird. Der Vergleich basiert insbesondere auf einem detektierten Blickverhalten des Fahrzeugnutzers während eines manuellen Fahrbetriebes und einem Blickverhalten im automatisierten Fahrbetrieb, so dass ermittelt werden kann, ob der Fahrzeugnutzer ein vorgegebenes relevantes Objekt, z. B. ein Verkehrszeichen, im automatisierten Fahrbetrieb des Fahrzeuges wahrgenommen hat oder nicht.
-
Wird aufgrund des Blickverhaltens des Fahrzeugnutzers ermittelt, dass die Reaktionsfähigkeit, insbesondere zur Übernahme der Fahraufgabe, nicht gegeben ist, wird zumindest eine Meldung in dem Fahrzeug ausgegeben, welche der Fahrzeugnutzer innerhalb einer vorgegebenen Zeitspanne zu quittieren hat.
-
Dabei wird die Meldung ausgegeben, um die Reaktionsfähigkeit des Fahrzeugnutzers wieder herzustellen, so dass dieser bei einer Übernahmeaufforderung in Lage ist, dieser Folge zu leisten.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch drei Ansichten mit einem Blickvektor eines Fahrzeugnutzers in einem Fahrzeug,
- 2 schematisch einen Fahrzeugnutzer in zwei verschiedenen Positionen mit jeweiligem Blickvektor,
- 3 schematisch eine Vorderansicht und Seitenansicht eines Fahrzeugnutzers mit markiertem Anfangspunkt eines Blickvektors,
- 4 schematisch einen Fahrzeugnutzer in zwei verschiedenen Positionen und einem übertragenen Bereich eines Objektes auf eine Windschutzscheibe und
- 5 schematisch einen Verfahrensablauf zur Ermittlung einer Reaktionsfähigkeit eines Fahrzeugnutzers im automatisierten Fahrbetrieb eines Fahrzeuges.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 sind drei verschiedene Ansichten mit einem zwei Fahrspuren F1, F2 umfassenden Fahrbahnabschnitt F gezeigt, wobei ein Fahrzeug 1 auf einer rechten Fahrspur F1 fährt und ein Blickvektor V eines in den 2 bis 4 gezeigten Fahrzeugnutzers 2, welcher im manuellen Fahrbetrieb ein Fahrer des Fahrzeuges 1 ist. Ein weiteres Fahrzeug 3 fährt in einer oberen Ansicht und einer mittleren Ansicht ebenfalls auf der rechten Fahrspur F1 und in einer unteren Ansicht auf einer linken Fahrspur F2.
-
Der Blickvektor V des Fahrzeugnutzers 2 ist in allen drei Ansichten der gleiche, wobei der Fahrzeugnutzer 2 jeweils verschiedene Objekte O beobachtet.
-
In der ersten Ansicht A1 ist der Blickvektor V auf das weitere Fahrzeug 3 als Objekt O, welches dem Fahrzeug 1 vorausfährt, gerichtet.
-
In der zweiten Ansicht A2 beabsichtigt das Fahrzeug 1 einen Fahrspurwechsel auf die linke Fahrspur F2 vorzunehmen, wobei das Fahrzeug 1 bereits ausgeschert ist, so dass der Blickvektor V auf die linke Fahrspur F2 gerichtet ist.
-
In der dritten Ansicht A3 fährt das weitere Fahrzeug 3 auf der linken Fahrspur F2 und das Fahrzeug 1 fährt auf der rechten Fahrspur F1, wobei der Blickvektor V des Fahrzeugnutzers 2 geradeaus, also auf die rechte Fahrspur F1 gerichtet ist.
-
Im Folgenden wird ein Verfahren beschrieben, welches vorsieht eine Reaktionsfähigkeit des Fahrzeugnutzers 2 im automatisierten Fahrbetrieb des Fahrzeuges 1 zu ermitteln, wobei ein Blickverhalten des Fahrzeugnutzers 2 erfasst und analysiert wird.
-
In dem Fahrzeug 1 ist eine nicht näher dargestellte Fahrerbeobachtungskamera angeordnet, die während eines Fahrbetriebes, unabhängig davon, ob dieser automatisiert oder manuell erfolgt, fortlaufend Bilddaten erfasst, wobei ein Erfassungsbereich der Fahrerbeobachtungskamera auf den Fahrzeugnutzer 2 gerichtet ist.
-
Anhand der aufgenommenen Bilddaten der Fahrerbeobachtungskamera wird eine Blickrichtung des Fahrzeugnutzers 2, d. h. der Blickvektor V, ermittelt.
-
In 1 ist mittels der drei Ansichten A1 bis A3 insbesondere veranschaulicht, dass der Blickvektor V zur Erkennung eines Objektes O und/oder eines Bereiches außerhalb des Fahrzeuges 1, auf welche bzw. auf welches ein Blick des Fahrzeugnutzers 2 gerichtet ist, unzureichend ist.
-
Anhand des Blickvektors V und geometrischer Daten des Fahrzeuges 1 kann ermittelt werden, ob der Fahrzeugnutzer 2, z. B. durch eine Windschutzscheibe 4 des Fahrzeuges 1 nach außerhalb des Fahrzeuges 1 schaut, also sein Blick in Richtung Windschutzscheibe 4 gerichtet ist. Dabei ist eine Zuordnung, ob der Blick des Fahrzeugnutzers 2 auf ein bestimmtes Objekt O und/oder auf einen bestimmten Bereich außerhalb des Fahrzeuges 1 gerichtet ist, nicht möglich.
-
Mittels des Verfahrens wird anhand des ermittelten Blickvektors V des Fahrzeugnutzers 2 und eines außerhalb des Fahrzeuges 1 detektierten Objektes O und dessen Eigenschaften, wie beispielsweise dessen Größe und Position, bestimmt, ob der Fahrzeugnutzer 2 dieses Objekt O gesehen hat.
-
Dass der Fahrzeugnutzer 2 ein Objekt O und/oder einen Bereich sieht, bedeutet, dass ein Blick des Fahrzeugnutzers 2 auf dieses Objekt O und/oder diesen Bereich gerichtet ist und sich das Objekt O und/oder der Bereich für eine Mindestzeitdauer im Sichtbereich des Fahrzeugnutzers 2 befindet.
-
Nachstehend wird das Verfahren in Bezug auf die Erfassung eines Objektes O durch den Fahrzeugnutzer beschrieben, wobei die Erfassung eines Bereiches mittels des Verfahrens analog durchgeführt wird.
-
Dadurch, dass ermittelt wird, wie lange der Blick des Fahrzeugnutzers 2 auf das Objekt O außerhalb des Fahrzeuges 1 gerichtet ist, kann weitestgehend ausgeschlossen werden, dass unbewusste, vergleichsweise schnelle Blicke des Fahrzeugnutzers 2, welche zur Wahrnehmung einer Situation kaum bis gar nicht beitragen, nicht berücksichtigt werden.
-
Um zu ermitteln, dass sich ein Objekt O außerhalb des Fahrzeuges 1 im Sichtbereich des Fahrzeugnutzers 2 befindet, wird der Blickvektor V nach außerhalb des Fahrzeuges 1 extrapoliert. Insbesondere wird ein Objekt O von dem Fahrzeugnutzer 2 erfasst und wahrgenommen, wenn der extrapolierte Blickvektor V das Objekt O trifft, wie in 2 gezeigt ist.
-
Insbesondere zeigt 2 den Fahrzeugnutzer 2 in zwei Sitzpositionen S1, S2 und entsprechende extrapolierte Blickvektoren V, eine stark vereinfachte Windschutzscheibe 4 des Fahrzeuges 1 und zwei Objekte O außerhalb des Fahrzeuges 1. Dabei beobachtet der Fahrzeugnutzer 2 in einer niedrigeren und näher an der Windschutzscheibe 4 befindlichen Sitzposition S1 ein Verkehrszeichen 5 zur Geschwindigkeitsbegrenzung als Objekt O und in der anderen mittels gestrichelter Linie gezeigten weiteren Sitzposition S2 ein weiteres Fahrzeug 3 als Objekt.
-
Der Fahrzeugnutzer 2 beobachtet in der jeweiligen Sitzposition ein anderes Objekt O, wobei sein Blick in Bezug auf die Windschutzscheibe 4 auf ein und denselben Punkt P gerichtet ist.
-
Bei verhältnismäßig komplexerer Form und/oder Größe eines jeweiligen Objektes O kann ein Bereich um das Objekt O herum definiert werden, wie 2 zeigt. Gemäß dem vorliegenden Ausführungsbeispiel in 2 ist das Verkehrszeichen 5 als Objekt O von einem virtuellen Rechteck R umgeben. Alternativ dazu kann auch eine andere Form als definierter, das Objekt O umgebender Bereich vorgesehen sein, wobei je kleiner dieser Bereich ist, desto genauer ist eine Blick-zu-Objekt-Zuordnung.
-
Zusätzlich wird eine Sichtbarkeit eines Objektes O überprüft, insbesondere, wenn sich mehrere Objekte O in dem gleichen Bereich befinden. Beispielsweise befinden sich zwei Objekte O aus Sicht des Fahrzeugnutzers 2 in seinem Sichtbereich, so kann der extrapolierte Blickvektor V des Fahrzeugnutzers 2 auf beide Objekte O treffen. In einem solchen Fall ist ein ferneres Objekt O vermutlich durch ein näheres Objekt O verdeckt, welchem der Blick des Fahrzeugnutzers 2 zugeordnet wird.
-
Zur Bewertung der Sichtbarkeit und Verdeckung eines Objektes O durch ein weiteres Objekt O können bzw. kann eine Position, Größe und/oder Materialeigenschaft der Objekte O verwendet werden.
-
In einer Ausführungsform wird das Objekt O oder der Bereich des Objektes O auf eine Fläche A1, A2, insbesondere der Windschutzscheibe 4, übertragen, um zu ermitteln, ob sich das Objekt O im Sichtbereich des Fahrzeugnutzers 2 befindet. Dabei ist die Übertragung des Objektes O auf die Fläche A1, A2 der Windschutzscheibe 4, wie in 4 gezeigt ist, abhängig von einer Anzahl Parameter, wie z. B. von einem in 3 dargestellten Anfangspunkt C des Blickvektors V und eine relative Position des Objektes O, insbesondere zu dem Anfangspunkt C sowie geometrischer Daten der Fläche A.
-
Eine beispielhafte Festlegung des Anfangspunktes C des Blickvektors V zeigt 3, wobei der Anfangspunkt C als Mittelpunkt zwischen Pupillen 6 des Fahrzeugnutzers 2 vorgegeben ist, wenn die Augen 7 mit einem frontal ausgerichteten Kopf 8 direkt geradeaus schauen.
-
Ändert sich die Position des Anfangspunktes C durch Positionierung des Kopfes 8, beispielsweise in seitliche Richtung, positioniert sich die Fläche A1 A2 auf der Windschutzscheibe 4 entsprechend, wie in 4 näher dargestellt ist. Aus diesem Grund spielen die Größe und eine Sitzposition des Fahrzeugnutzers 2 eine indirekte Rolle bei dieser Übertragung des Objektes O auf die Fläche A1, A2 der Windschutzscheibe 4.
-
4 zeigt den Fahrzeugnutzer 2 in zwei verschiedenen Sitzpositionen S1, S2 mit dem auf eine Fläche A1, A2 der Windschutzscheibe 4 übertragenen Bereich des Objektes O in Form eines weiteren Fahrzeuges 3.
-
Zudem ist in 4 eine Vorderansicht der Windschutzscheibe 4 mit den beiden Flächen A1, A2 des Objektes O dargestellt.
-
Weist der Fahrzeugnutzer 2 die Sitzposition S1 auf, so wird das Objekt O in Form des weiteren Fahrzeuges 3 auf eine Fläche A1 der Windschutzscheibe 4 übertragen, wohingegen das Objekt O in der weiteren Sitzposition S2 auf eine weitere Fläche A2 der Windschutzscheibe 4 übertragen wird. Das Objekt O wird also auf mehrere Flächen A1, A2 der Windschutzscheibe 4, insbesondere in Bezug auf die jeweilige Sitzposition S1, S2 übertragen.
-
Das Verfahren sieht eine Blickverhaltensanalyse vor, um somit einen Wahrnehmungsgrad und/oder eine Wahrnehmungsqualität zu ermitteln. Dazu wird das Blickverhalten des Fahrzeugnutzers 2 mit seinem gewöhnlichen Blickverhalten, insbesondere im manuellen Fahrbetrieb des Fahrzeuges 1, verglichen. So kann insbesondere ermittelt werden, ob und/oder mit welchem Wahrnehmungsgrad und/oder mit welcher Wahrnehmungsqualität der Fahrzeugnutzer 2 im automatisierten Fahrbetrieb des Fahrzeuges 1 ein vorgegebenes relevantes Objekt O, z. B. ein bestimmtes Verkehrszeichen 5, wahrgenommen hat. Dazu kann das Blickverhalten des Fahrzeugnutzers 2 in Bezug auf eine Kategorie des vorgegebenen relevanten Objektes O, z. B. auf Verkehrszeichen 5, während mehrerer durchgeführter manueller Fahrbetriebe mit seinem Blickverhalten in Bezug auf das Objekt O verglichen werden.
-
Ist z. B. gar kein Blick oder ein vergleichsweise kurzer Blick auf das vorgegebene relevante Objekt O detektiert, insbesondere ein Blick, welcher die Mindestzeitdauer unterschreitet, kann somit abgeleitet werden, dass der Fahrzeugnutzer 2 das vorgegebene relevante Objekt O nicht wahrgenommen hat und/oder der Wahrnehmungsgrad und/oder die Wahrnehmungsqualität vergleichsweise gering ist. In diesem Fall kann vorgesehen sein, dass das vorgegebene relevante Objekt O, insbesondere ein Verkehrszeichen, in einem Anzeigebereich einer Instrumententafel angezeigt wird.
-
Wird anhand der Blickverhaltensanalyse hingegen ermittelt, dass der Fahrzeugnutzer 2 das vorgegebene relevante Objekt O hinreichend wahrgenommen hat, wird dieses nicht angezeigt.
-
Denkbar ist auch, dass das gewöhnliche Blickverhalten nicht nur fahrzeugnutzerspezifisch sondern auch ortsabhängig und/oder situationsabhängig ermittelt wird. Fährt der Fahrzeugnutzer 2 öfter gleiche Fahrstrecken, so kann ein abweichendes Blickverhalten des Fahrzeugnutzers 2 an einem bestimmten Ort einer jeweiligen Fahrstrecke festgestellt werden.
-
In einer möglichen Ausführung sieht das Verfahren vor, dass die Blickverhaltensanalyse in bestimmten Betriebszuständen und/oder Zuständen des Fahrzeugnutzers 2 durchzuführen. Beispielsweise kann das Blickverhalten des Fahrzeugnutzers 2 zur Bewertung seines Wahrnehmungsgrades und/oder seiner Wahrnehmungsqualität oder seines Situationsbewusstseins im Falle einer systembedingten Übernahmeaufforderung der Fahraufgabe durch den Fahrzeugnutzer 2 analysiert werden.
-
Ein entsprechendes Ergebnis kann systemseitig bei einer Übergabe einer Fahrverantwortung an den Fahrzeugnutzer 2 berücksichtigt werden. Beispielsweise entscheidet sich der Fahrzeugnutzer 2 relativ plötzlich eine bestimmte Handlung, z. B. einen Spurwechsel, durchzuführen. Dabei wird anhand, insbesondere der Blickverhaltensanalyse, festgestellt, dass der Fahrzeugnutzer 2 nicht alle für diese Handlung relevanten Objekte O erfasst hat, d. h. gesehen hat. Beispielsweise hat der Fahrzeugnutzer 2 ein sich von hinten näherndes weiteres Fahrzeug 3 nicht gesehen, wobei der Fahrzeugnutzer 2 diesbezüglich informiert wird und/oder die beabsichtigte Handlung wird systemseitig unterdrückt oder nicht unterstützt.
-
Eine weitere Ausführungsform sieht vor, dass Blickdaten mehrerer Fahrzeugnutzer 2 verwendet werden, um das Blickverhalten einer Mehrheit zu ermitteln. Dadurch kann ermittelt werden, welche Objekte O als relevante Objekte O vorgegeben werden können und mit welchem Wahrnehmungsgrad und/oder mit welcher Wahrnehmungsqualität die meisten Fahrzeugnutzer 2 diese Objekte O betrachten. Beispielsweise handelt es sich bei diesen Objekten O um weitere Fahrzeuge 3, Verkehrszeichen 5, Lichtsignalanlagen, Warnleuchten, Spurmarkierungen, Leitpfosten, Leitbaken, Leitplanken, Brückenpfeiler etc.
-
Anhand des Blickverhaltens des Fahrzeugnutzers 2 wird also ermittelt, ob der Fahrzeugnutzer 2 einen ausreichenden Wahrnehmungsgrad und/oder eine ausreichende Wahrnehmungsqualität oder ein ausreichendes Situationsbewusstsein aufweist.
-
Ist dies der Fall, so wird die Reaktionsfähigkeit des Fahrzeugnutzers 2 als gegeben bewertet. Besteht ein Verdacht einer auf einen verringerten Wahrnehmungsgrad und/oder eine verringerte Wahrnehmungsqualität oder ein verringertes Situationsbewusstsein, so wird die Reaktionsfähigkeit des Fahrzeugnutzers 2 als nicht gegebenen bewertet.
-
Insbesondere wird die Reaktionsfähigkeit als nicht gegeben bewertet, wenn der Fahrzeugnutzer 2 z. B. seinen Blick nicht auf eines der vorgegebenen relevanten Objekte O richtet oder die Mindestzeitdauer in Bezug auf eine Blickdauer unterschritten wird.
-
Alternativ oder zusätzlich wird die Reaktionsfähigkeit als nicht gegeben bewertet, wenn eine Häufigkeit von Blickwechseln eine Mindesthäufigkeit unterschreitet, d. h., dass eine ermittelte Häufigkeit von Blickwechseln einen vorgegebenen Häufigkeitsschwellwert unterschreitet. Die Häufigkeit der Blickwechsel wird ermittelt, indem eine mittlere Zeitdauer zwischen Wechseln des Blickes auf verschiedene Objekte O bestimmt wird. Je kürzer diese Zeitdauer ist, umso höher ist die Häufigkeit der Blickwechsel.
-
Eine vergleichsweise geringe Häufigkeit der Blickwechsel kann ein Indiz für eine Ablenkung des Fahrzeugnutzers 2 sein, wobei die Ablenkung aus einer für den automatisierten Fahrbetrieb nicht zulässige Nebentätigkeit resultieren kann. Eine Nebentätigkeit ist für den automatisierten Fahrbetrieb unzulässig, da der Fahrzeugnutzer 2 sich gegebenenfalls zu sehr auf die Nebentätigkeit konzentriert und somit seinen Blick selten bis gar nicht auf ein vorgegebenes relevantes Objekt O außerhalb des Fahrzeuges 1 richtet.
-
Wie oben beschrieben, handelt es sich bei den vorgegebenen relevanten Objekten O um Objekte O, die der Fahrzeugnutzer 2 im manuellen Fahrbetrieb des Fahrzeuges 1 in einer ähnlichen Fahrsituation beobachtet und die für eine Entscheidungsfindung in Bezug auf den manuellen Fahrbetrieb, also für eine Fahrzeugsteuerung, relevant sind.
-
Wo sich derartige relevante Objekte O auf einem durch das Fahrzeug 1 momentan befahrenen Fahrbahnabschnitt befinden, wird anhand fahrzeugseitig vorliegender digitaler Kartendaten und/oder anhand fahrzeugseitig erfasster Sensordaten ermittelt.
-
Wird, wie oben beschrieben, festgestellt, dass die Reaktionsfähigkeit des Fahrzeugnutzers 2 nicht gegeben ist, werden Maßnahmen zur Wiedererlangung oder Wiederherstellung der Reaktionsfähigkeit, insbesondere fahrzeugseitig, eingeleitet.
-
Eine einzuleitende Maßnahme ist die Ausgabe einer Meldung im Fahrzeug 1 an den Fahrzeugnutzer 2, welche der Fahrzeugnutzer 2 innerhalb einer vorgegebenen Zeitspanne zur Bestätigung seiner Reaktionsfähigkeit quittieren muss. Bleibt die erforderliche Quittierung innerhalb der vorgegebenen Zeitdauer und auch nach einer oder mehreren gegebenenfalls vorgesehenen Eskalationsstufen aus, wird der Fahrzeugnutzer 2 aufgefordert, die Fahraufgabe zu übernehmen. Leistet der Fahrzeugnutzer 2 auch dieser Aufforderung nicht innerhalb einer vorgegebenen Zeitdauer Folge, wird das Fahrzeug 1 im automatisierten Fahrbetrieb gezielt in einen sicheren Stillstand überführt.
-
In gleicher Weise wird auch dann verfahren, wenn anhand erfasster Bilddaten der Fahrerbeobachtungskamera ein Schlafereignis des Fahrzeugnutzers 2 erkannt wird. Ein Schlafereignis liegt dann vor, wenn der Fahrzeugnutzer 2 seine Augen 7 in einer Größenordnung von Sekunden (Sekundenschlaf) oder länger geschlossen hat.
-
Neben der Ermittlung der Häufigkeit der Blickwechsel des Fahrzeugnutzers 2 können die aufgenommenen Bilddaten der Fahrerbeobachtungskamera auch dahingehend ausgewertet werden, dass ermittelt wird, ob sich der Fahrzeugnutzer 2 in einer übernahmefähigen Position befindet, d. h. ob er sich in einer Position befindet, von der aus der Fahrzeugnutzer 2 die Fahraufgabe des Fahrzeuges 1 übernehmen kann.
-
Anhand einer Gesichtserkennung wird der Kopf 8 des Fahrzeugnutzers 2 in den aufgenommenen Bilddaten erkannt und geprüft, ob sich der Kopf 8 innerhalb eines vorgegebenen gültigen Bereiches befindet.
-
Des Weiteren werden anhand von Bildverarbeitungsverfahren in Bezug auf die aufgenommen Bilddaten Täuschungen, z. B. durch Bilder, Puppen, etc. erkannt, um Missbrauchsfälle zu vermeiden, bei denen der Fahrzeugnutzer 2 seine Anwesenheit auf seinem Fahrzeugsitz vortäuscht. So kann z. B. weitestgehend ausgeschlossen werden, dass der Fahrzeugnutzer 2 seinen Fahrzeugsitz verlässt und in einen Fondbereich des Fahrzeuges 1 klettert.
-
Wird ermittelt, dass der Fahrzeugnutzer 2 sich nicht auf seinem Fahrzeugsitz oder in einer übernahmefähigen Position befindet, wird der automatisierte Fahrbetrieb beendet, oder falls dieser nicht aktiviert ist, nicht zur Aktivierung freigegeben.
-
Zusätzlich kann vorgesehen sein, dass wie in der
DE 10 2015 001 686 B4 beschrieben ist, Bedienaktionen des Fahrzeugnutzers
2 erfasst werden und eine Rate eines Augenblinzelns und Bewegungen des Kopfes
8 des Fahrzeugnutzers
2 erfasst werden, um eine Aktivität des Fahrzeugnutzers
2 zu ermitteln und hieraus Rückschlüsse über seine Reaktionsfähigkeit zu ziehen.
-
In 5 ist eine Übersicht zum Ablauf des Verfahrens zur Ermittlung der Reaktionsfähigkeit des Fahrzeugnutzers 2 im automatisierten Fahrbetrieb des Fahrzeuges 1 anhand erfasster Bilddaten der Fahrerbeobachtungskamera dargestellt.
-
In einem ersten Verfahrensschritt V1 wird anhand fahrzeugseitig vorliegender Kartendaten und/oder anhand fahrzeugseitig erfasster Sensordaten ermittelt, dass sich in einer dem Fahrzeug 1 vorausliegenden unmittelbaren Umgebung ein vorgegebenes relevantes Objekt O befindet.
-
Ein zweiter Verfahrensschritt V2 sieht vor, dass anhand der Bilddaten der Fahrerbeobachtungskamera eine Blickrichtung des Fahrzeugnutzers 2 ermittelt wird, wobei in einem dritten Verfahrensschritt V3 das erfasste vorgegebene relevante Objekt O klassifiziert wird und in einem vierten Verfahrensschritt V4 eine Blick-zu-Objekt-Zuordnung erfolgt. Insbesondere erfolgt die Klassifizierung dahingehend, dass ermittelt wird, ob es sich bei dem relevanten Objekt O um ein Verkehrszeichen 5, insbesondere ein Schild, d. h. ein gewöhnliches Schild, ein Verkehrszeichen 5 mit Geschwindigkeitsangabe oder ein Verkehrszeichen 5 mit Geschwindigkeitsangabe in einer Kurve, oder um einen Vorausfahrer handelt. Bei einem Vorausfahrer wird unterschieden, ob das weitere Fahrzeug 3 auf einer Fahrspur F1 des Fahrzeuges 1 fährt.
-
Kann anhand der Blickrichtung des Fahrzeugnutzers 2 ermittelt werden, dass sich das vorgegebene relevante Objekt O im Sichtbereich des Fahrzeugnutzers 2 befindet, wird in einem fünften Verfahrensschritt V5 bestimmt, ob anhand des Blickverhaltens des Fahrzeugnutzers 2 erfasst werden kann, ob der Fahrzeugnutzer 2 Eigenschaften in Bezug auf das vorgegebene relevante Objekt O erfasst hat.
-
In einem Speicher des Fahrzeuges 1 sind Daten eines gewöhnlichen Blickverhaltens des Fahrzeugnutzers 2 gespeichert, die in einem sechsten Verfahrensschritt V6 aufgerufen werden, wobei in einem siebenten Verfahrensschritt V7 das gewöhnliche Blickverhalten des Fahrzeugnutzers 2 in Bezug auf das klassifizierte relevante Objekt O ermittelt wird.
-
In einem achten Verfahrensschritt V8 wird das momentane Blickverhalten des Fahrzeugnutzers 2 im automatisierten Fahrbetrieb mit dem gewöhnlichen Blickverhalten, insbesondere im manuellen Fahrbetrieb des Fahrzeuges 1 verglichen.
-
Anschließend erfolgt in einem neunten Verfahrensschritt V9 die Bewertung des Wahrnehmungsgrades und/oder der Wahrnehmungsqualität, die in einem zehnten Verfahrensschritt V10 mit einem Soll-Wahrnehmungsgrad bzw. einer Soll-Wahrnehmungsqualität verglichen werden oder wird.
-
Ein elfter Verfahrensschritt V11 sieht eine Bestätigung der Wahrnehmung in Bezug auf das vorgegebene relevante Objekt O vor, wobei bei nicht erfolgter Bestätigung die Reaktionsfähigkeit des Fahrzeugnutzers 2 als nicht gegeben bewertet wird.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Fahrzeugnutzer
- 3
- weiteres Fahrzeug
- 4
- Windschutzscheibe
- 5
- Verkehrszeichen
- 6
- Pupille
- 7
- Auge
- 8
- Kopf
- A1, A2
- 1 Fläche
- C
- Anfangspunkt
- F
- Fahrbahnabschnitt
- F1, F2
- Fahrspur
- O
- Objekt
- R
- Rechteck
- S1, S2
- Sitzposition
- V
- Blickvektor
- V1 bis V11
- Verfahrensschritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015001686 B4 [0002, 0072]
- DE 102016011246 A1 [0003]
