DE102013213236A1

DE102013213236A1 - Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers

Info

Publication number: DE102013213236A1
Application number: DE102013213236.0A
Authority: DE
Inventors: Felix Trautwein; Erik Lesser; Andreas Offenhaeuser
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-07-05
Filing date: 2013-07-05
Publication date: 2015-01-08
Also published as: US20160167671A1; WO2015000621A1; US10407077B2; CN105358358A; CN105358358B

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Aufmerksamkeitsgrads (m, z) eines Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug, insbesondere einem Kraftfahrzeug, wobei mithilfe eines Sensors des Fahrzeugs eine Sehrichtung (rotx, roty) des Fahrzeugführers auf einen von ihm einsehbaren Bereich (1) einer Umgebung erkannt wird, und dem vom Fahrzeugführer einsehbaren Bereich (1) eine Wahrscheinlichkeitsverteilung (W) zugeordnet ist, durch welche anhand der erkannten Sehrichtung (rotx, roty) des Fahrzeugführers ein Aufmerksamkeitsgrad (m, z) des Fahrzeugführers ermittelbar ist. Ferner betrifft die Erfindung ein Computerprogrammprodukt, welches ausgebildet ist ein erfindungsgemäßes Verfahren durchzuführen; eine Recheneinheit oder eine Verarbeitungseinrichtung, bevorzugt ein Steuergerät oder eine Steuereinrichtung für ein Fahrzeug; und eine Sicherheitseinrichtung oder ein Sicherheitssystem für ein Fahrzeug, insbesondere ein Fahrerassistenzsystem für ein Kraftfahrzeug.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug, insbesondere einem Kraftfahrzeug. Ferner betrifft die Erfindung ein Computerprogrammprodukt, welches ausgebildet ist ein erfindungsgemäßes Verfahren durchzuführen; eine Recheneinheit oder eine Verarbeitungseinrichtung, bevorzugt ein Steuergerät oder eine Steuereinrichtung für ein Fahrzeug; sowie eine Sicherheitseinrichtung oder ein Sicherheitssystem für ein Fahrzeug, insbesondere ein Fahrerassistenzsystem für ein Kraftfahrzeug.
Stand der Technik
Die aktive Sicherheit ist einer der Schwerpunkte bei der Entwicklung aktueller und auch zukünftiger Kraftfahrzeugsysteme. Bekannte Sicherheits- oder Fahrerassistenzsysteme im Bereich der aktiven Sicherheit von Kraftfahrzeuginsassen, d. h. zur Unfallvermeidung des betreffenden Kraftfahrzeugs, sind beispielsweise eine elektromechanische Servolenkung EPS (Electronic Power Steering) mit automatischen Lenkeingriff, ein elektronisches Stabilitätsprogramm ESP (ESC, Electronic Stability Control) zur Stabilisierung des Kraftfahrzeugs durch Bremseingriffe im fahrdynamischen Grenzbereich sowie VDM (Vehicle Dynamic Management) als Erweiterung des ESP durch zusätzliche automatisierte Lenkeingriffe.
Eine häufige Unfallursache, welche diese Systeme jedoch nicht adressieren, ist eine Unaufmerksamkeit bzw. ein Aufmerksamkeitsgrad des Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug. Häufig kommt es zu Unfällen, da der Fahrzeugführer sich ablenken lässt und nicht mit einer wenigstens ausreichenden Konzentration an einem Verkehrsgeschehen teilnimmt. Derzeitige Systeme zur Erfassung der Unaufmerksamkeit des Fahrzeugführers basieren auf einer Interpretation seines Fahrverhaltens, wie z. B. eine schlechte Spurführung. Ferner existieren Ansätze, eine visuelle Unaufmerksamkeit, also eine Blickabwendung des Fahrzeugführers von einem Verkehrsgeschehen, über ein Erkennen einer Kopfstellung oder einer Blickrichtung des Fahrzeugführers zu realisieren. Solche Systeme unterscheiden dabei lediglich zwei Zustände, nämlich ‚aufmerksam’ und ‚nicht aufmerksam’.
Aufgabenstellung
Es ist eine Aufgabe der Erfindung, ein Verfahren zur Verfügung zu stellen, mit welchem es zuverlässig und robust möglich ist, einen Aufmerksamkeitsgrad eines Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug festzustellen. Das erfindungsgemäße Verfahren soll dabei mit einer bereits bestehenden Sicherheitseinrichtung, einem Sicherheitssystem o. ä. zusammenarbeiten können, um dessen Wirksamkeit zu erhöhen. Das erfindungsgemäße Verfahren soll sicher und zuverlässig arbeiten sowie in dessen Umsetzung kostengünstig sein. Hierbei soll das Verfahren mit einer bereits in einem Kraftfahrzeug verbauten Sensorik und/oder Aktorik umsetzbar sein. Ferner ist es eine Aufgabe der Erfindung, diesem entsprechend ein Computerprogramm, eine Recheneinheit oder eine Verarbeitungseinrichtung, und eine Sicherheitseinrichtung oder ein Sicherheitssystem anzugeben.
Offenbarung der Erfindung
Die Aufgabe der Erfindung wird durch ein Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug, insbesondere einem Kraftfahrzeug, gemäß Anspruch 1; mittels eines Computerprogrammprodukts gemäß Anspruch 7; mittels einer Recheneinheit oder einer Verarbeitungseinrichtung, bevorzugt einem Steuergerät oder einer Steuereinrichtung für ein Fahrzeug gemäß Anspruch 8; und mittels einer Sicherheitseinrichtung oder einem Sicherheitssystem für ein Fahrzeug, insbesondere einem Fahrerassistenzsystem für ein Kraftfahrzeug, gemäß Anspruch 9 gelöst. Vorteilhafte Weiterbildungen, zusätzliche Merkmale und/oder Vorteile der Erfindung ergeben sich aus den abhängigen Ansprüchen und der folgenden Beschreibung.
Bei dem erfindungsgemäßen Verfahren wird mithilfe eines Sensors, Detektors oder einer Sensorik, und einer Sicherheitseinrichtung oder eines Sicherheitssystems des Fahrzeugs eine Sehrichtung des Fahrzeugführers auf einen von ihm einsehbaren Bereich einer Umgebung erkannt, d h. sensiert, detektiert bzw. bestimmt. Gemäß der Erfindung ist dabei dem vom Fahrzeugführer einsehbaren Bereich eine bevorzugt voreingestellte Wahrscheinlichkeitsverteilung zugeordnet, durch welche anhand der erkannten Sehrichtung des Fahrzeugführers ein vorbestimmter Aufmerksamkeitsgrad des Fahrzeugführers ermittelbar und bevorzugt ausgebbar ist. Der die Sehrichtung des Fahrzeugführers sensierende oder detektierende Sensor bzw. Detektor ist bevorzugt eine Innenraum-Videokamera, wobei die Sehrichtung durch Erkennen einer Blickrichtung und/oder durch Erkennen einer Kopfstellung des Fahrzeugführers bestimmt werden kann.
Der vom Fahrzeugführer für die Erfindung relevante, einsehbare Bereich der Umgebung kann die von ihm maximal einsehbare Umgebung sein, d. h. u. a. alles, was dieser durch die Scheiben seines Fahrzeugs sehen kann inklusive eines Randbereichs, welcher z. B. ein Armaturenbrett, ein Kombiinstrument, ein Lenkrad, ein Radio etc. umfassen kann. Sinnvoll ist es jedoch, diesen maximal einsehbaren Bereich einzuschränken, z. B. einen rückwärtigen Teil wegzulassen und den nach vorne sowie rechts und links einsehbaren Bereich ca. 165° bis 270° überdecken zu lassen, welcher von den Fassungsrändern der Scheiben des Fahrzeugs begrenzt ist. Hier wird bevorzugt wenigstens ein oberer Abschnitt des Armaturenbretts, ein oberer Abschnitt des Lenkrads und eine Oberfläche eines Radios einbezogen.
Einer Sehrichtung jenseits dieses sinnvoll einsehbaren Bereichs wird ein Aufmerksamkeitsgrad für eine maximale Ablenkung des Fahrzeugführers, d. h. ein minimaler Aufmerksamkeitsgrad des Fahrzeugführers zugeordnet (siehe unten). Die Wahrscheinlichkeitsverteilung kann auch als Wahrscheinlichkeitsmatrix bzw. virtuelle Wahrscheinlichkeitsverteilung bzw. -matrix bezeichnet werden, und ist in einem elektronischen Speicherbaustein bevorzugt als eine elektronische Matrix abgelegt. D. h. der vom Fahrzeugführer einsehbare Bereich, insbesondere der vom Fahrzeugführer nach vorne, nach rechts und nach links einsehbare Bereich, ist also bevorzugt durch eine Wahrscheinlichkeitsmatrix repräsentiert. – Ferner können unter den Begriff Sensor die Begriffe Sensorik, Detektor etc. und unter den Begriff Sicherheitseinrichtung die Begriffe Sicherheitssystem, Fahrerassistenzsystem etc. subsumiert sein.
Gemäß der Erfindung kann bei der Fahrt des Fahrzeugführers mit seinem Fahrzeug ein aktueller Aufmerksamkeitsgrad des Fahrzeugführers aus der Wahrscheinlichkeitsverteilung ermittelt und/oder ausgegeben werden. Gemäß der Erfindung wird das Verfahren mit einer zeitlichen Schrittweite immer wieder wiederholt, wobei bei einem vergleichsweise lang anhaltendem niedrigen oder niedrigsten Aufmerksamkeitsgrad, z. B. t > 2,5s bis 4s, bevorzugt ein Alarm ausgegeben wird. Eine sinnvolle zeitliche Schrittweite des Verfahrens sind beispielsweise Vielfache von ca. 5ms ± 2ms. Je nach einer zeitlichen Auflösung der Videokamera kann bei jedem, jedem zweiten, jedem dritten, jedem vierten, jedem fünften, jedem sechsten, ca. jedem achten, ca. jedem zehnten, ca. jedem zwölften, ca. jedem 15tem, ca. jedem 20ten, ca. jedem 25ten oder ca. jedem 30ten Bild der Aufmerksamkeitsgrad ermittelt werden.
In Ausführungsformen der Erfindung kann durch eine Vielzahl von zeitlich hintereinander ermittelten Aufmerksamkeitsgraden des Fahrzeugführers ein ggf. normierter Integralwert oder Mittelwert des Aufmerksamkeitsgrads (z_k) gebildet werden. Hierbei kann ein solcher Integralwert oder Mittelwert des Aufmerksamkeitsgrads des Fahrzeugführers bevorzugt in seiner Höhe nach oben und unten beschränkt sein. Ferner kann ein solcher Integralwert oder Mittelwert des Aufmerksamkeitsgrads diejenigen zeitlich hintereinander ermittelten Aufmerksamkeitsgrade des Fahrzeugführers enthalten, welche von einer aktuellen Ermittlung des Aufmerksamkeitsgrads eine gewisse Zeitdauer in die Vergangenheit zurückreichen.
Gemäß der Erfindung kann der aktuelle Aufmerksamkeitsgrad des Fahrzeugführers und/oder der Integralwert oder Mittelwert des Aufmerksamkeitsgrads einer Sicherheitseinrichtung oder einem Sicherheitssystem des Fahrzeugs zur Verfügung gestellt, insbesondere an dieses ausgegeben, werden. – Bevorzugt wird eine Skala für den Aufmerksamkeitsgrad angewendet, die sich von z = –1 für den höchsten Aufmerksamkeitsgrad (konzentrierter Blick auf das vordere Verkehrsgeschehen) bis z = 1 für den niedrigsten Aufmerksamkeitsgrad (vom vorderen Verkehrsgeschehen weit weg gerichteter Blick, z. B. in das Innere des Fahrzeugs) erstreckt.
Bei Vorliegen eines vergleichsweise hohen Aufmerksamkeitsgrads – Integralwert oder Mittelwert, z. B. z_k ≈ –0,3 bis –1 ± 0,1 – kann sich die Sicherheitseinrichtung passiv verhalten. Bei Vorliegen eines vergleichsweise dauerhaft – z. B. über mehr als 2,5s bis 5s hinweg – niedrigen Aufmerksamkeitsgrads – Integralwert oder Mittelwert, z. B. z_k ≈ 0,2 bis 1 ± 0,2 – kann durch die Sicherheitseinrichtung eine Warnung an den Fahrzeugführer ausgegeben werden. Ferner kann zeitlich nach einer Warnung bei einem weiterhin – z. B. über mehr als 1s bis 3s hinweg, – niedrigen Aufmerksamkeitsgrad – Integralwert oder Mittelwert, z. B. z_k ≈ 0,2 bis 1 ± 0,2 – eine bevorzugt automatisierte Intervention in das Fahrzeug erfolgen.
Die Warnung an den Fahrzeugführer kann in einem optischen, akustischen und/oder haptischen Signal an den Fahrzeugführer bestehen. Die Intervention in das Fahrzeug kann in einem bevorzugt automatisierten Brems-, Beschleunigungs- und/oder Lenkeingriff in das Fahrzeug bestehen. Zeitlich nach der Intervention in das Fahrzeug kann eine Aufforderung zur Fahrzeugübernahme und/oder zur Beschleunigung des Fahrzeugs an den Fahrzeugführer ergehen. Bevorzugt wird die Warnung und/oder die Intervention von der als Fahrerassistenzsystem ausgebildeten Sicherheitseinrichtung des Fahrzeugs durchgeführt.
Gemäß der Erfindung kann die Wahrscheinlichkeitsverteilung als fahrzeugfest angenommen werden. Ferner kann gemäß der Erfindung die Wahrscheinlichkeitsverteilung bei einer im Wesentlichen Geradeausfahrt des Fahrzeugs fahrzeugfest sein, und die Wahrscheinlichkeitsverteilung bei einer erwartbaren oder vorgenommenen Richtungsänderung des Fahrzeugs dynamisch mit der Richtungsänderung des Fahrzeugs mit verlagert werden. Eine solche dynamische Mitverlagerung der Wahrscheinlichkeitsmatrix kann z. B. bei einem gesetzten Blinker und eines darauffolgenden Lenkeinschlags und/oder lediglich bei einem Lenkeinschlag initiiert werden. Die dynamische Mitverlagerung korreliert dabei bevorzugt mit dem Lenkeinschlag, wobei eine gefahrene Geschwindigkeit mitberücksichtigt sein kann.
Gemäß der Erfindung kann das Verfahren in einem Fahrerassistenzsystem eines Fahrzeugs zum Erhöhen der Verkehrssicherheit verwendet werden. – Das erfindungsgemäße Computerprogramm weist Programmcodemittel auf, welche ausgebildet sind ein erfindungsgemäßes Verfahren durchzuführen, wenn die Programmcodemittel auf einer Verarbeitungseinrichtung ablaufen und/oder einem computerlesbaren Datenträger gespeichert sind. – Die erfindungsgemäße Recheneinheit oder die Verarbeitungseinrichtung, bevorzugt das Steuergerät oder die Steuereinrichtung, ist derart ausgebildet, dass dadurch ein erfindungsgemäßes Verfahren durchführbar ist und/oder ein erfindungsgemäßes Computerprogramm abarbeitbar ist.
Die erfindungsgemäße Sicherheitseinrichtung oder das erfindungsgemäße Sicherheitssystem für ein Fahrzeug, insbesondere ein Fahrerassistenzsystem für ein Kraftfahrzeug, ist derart eingerichtet, dass dadurch ein erfindungsgemäßes Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers abarbeitbar ist. Ferner kann die Sicherheitseinrichtung oder das Sicherheitssystem ein erfindungsgemäßes Computerprogrammprodukt und/oder eine erfindungsgemäße Recheneinheit oder eine erfindungsgemäße Verarbeitungseinrichtung aufweisen. Gemäß der Erfindung kann die Sicherheitseinrichtung oder das Sicherheitssystem eine Erkennungseinheit, eine Interpretationseinheit und/oder eine Ausgabeeinheit aufweisen.
Gemäß der Erfindung kann ein bereits bestehendes Verfahren zum Erhöhen einer aktiven und/oder passiven Sicherheit durch das erfindungsgemäße Verfahren erweitert bzw. ergänzt werden. Ferner kann das erfindungsgemäße Verfahren in Alleinstellung als ein Warnverfahren für den Fahrzeugführer oder als Verfahren zum Einleiten einer Intervention in das Fahrzeug ausgebildet sein. Die Intervention wird dann allerdings von einem zeitlich danach ablaufenden Interventionsverfahren, z. B. in einem Ausweichassistenten, übernommen. Das erfindungsgemäße Verfahren kann sicher, robust und zuverlässig arbeiten und ist in dessen Umsetzung kostengünstig, da das Verfahren mit einer bereits in einem Kraftfahrzeug verbauten Sensorik und ggf. Aktorik umsetzbar ist.
Kurzbeschreibung der Figuren
Die Erfindung ist im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügte Zeichnung näher erläutert. In den schematischen, nicht maßstabsgetreuen Figuren (Fig.) der Zeichnung zeigen:
1 eine Wahrscheinlichkeitsverteilung über einem von einem Fahrzeugführer eines Kraftfahrzeugs einsehbaren Bereich, durch welche gemäß der Erfindung ein Aufmerksamkeitsgrad des Fahrzeugführers ermittelt wird; und
2 einen beispielhaften Programmablauf des erfindungsgemäßen Verfahrens, welcher in einer Interpretationseinheit einer Sicherheitseinrichtung des Kraftfahrzeugs abgearbeitet werden kann.
Ausführungsformen der Erfindung
Die Erfindung betrifft ein System um eine Sehrichtung rot_x, rot_y (siehe 1), insbesondere eine Kopfstellung und/oder eine Blickrichtung, eines Fahrzeugführers zu interpretieren und eine bestimmte Größe, z. B. eine visuelle Ablenkung, im Folgenden als Aufmerksamkeitsgrad m, z bezeichnet, abzuleiten. Ein erfindungsgemäßes Gesamtsystem besteht hierbei bevorzugt aus den Komponenten Erkennungseinheit 10, Interpretationseinheit 20 und Ausgabeeinheit 30 (vgl. 2).
Die Erkennungseinheit 10 ist insbesondere derart eingerichtet, dass diese eine Sehrichtung rot_x, rot_y eines Fahrzeugführers erkennt und in Form von Koordinaten zu jedem oder bestimmten Zeitpunkten ausgibt. Die Interpretationseinheit 20 ist insbesondere derart eingerichtet, dass diese aus der erkannten Sehrichtung rot_x, rot_y einen Aufmerksamkeitsgrad m, z des Fahrzeugführers ermittelt. Die Ausgabeeinheit 30 ist insbesondere derart eingerichtet, dass diese den ermittelten Aufmerksamkeitsgrad m, z des Fahrzeugführers ausgibt.
Die Interpretation der Sehrichtung rot_x, rot_y findet nicht wie im Stand der Technik üblich, über eine harte Unterscheidung in Ok- und Nicht-ok-Bereiche und deren Verweildauer statt, sondern über eine Wahrscheinlichkeitsverteilung W bzw. Wahrscheinlichkeitsmatrix W. Diese Wahrscheinlichkeitsverteilung W repräsentiert einen vom Fahrzeugführer einsehbaren allgemeinen Bereich 1. In 1 ist zu erkennen, wie auf einer x-Achse (Abszisse) eine Drehstellung bzw. eine Rotation des Kopfs des Fahrzeugführers entlang seiner Wirbelsäule (Kopfdrehung) und entlang der y-Achse (Ordinate) eine Nickstellung bzw. Nickbewegung des Kopfs aufgetragen ist.
Gemäß der Erfindung ist diskreten Punkten bzw. Bereichen eine Wahrscheinlichkeit m zugeordnet, mit welcher ein Blick des Fahrzeugführers in diese Richtung zu dessen Ablenkung von einem allgemeinen Verkehrsgeschehen führt. „Blaue“ Bereiche (Werte –0,15 bis –1) mit Werten nahe –1 bedeuten hierbei, dass diese garantiert keine visuelle Ablenkung verursachen, diese sogar reduzieren, d. h. in diesen Bereichen nimmt der Fahrzeugführer geistig am Verkehrsgeschehen teil. In der 1 ist dies z. B. ein Bereich einer Frontscheibe, den der Fahrzeugführer bei normalen Fahrten mit einem Blick auf die Straße und/oder den Vordermann betrachtet.
Am anderen Ende der Skala steht der Wert 1 („rote“ Bereiche 0,5 bis 1), welcher eine extreme Ablenkung des Fahrzeugführers repräsentiert. Dies ist z. B. ein kompletter Randbereich, wobei alle Abwendungen des Blicks über diese Grenze, die ggf. auch die Grenze der Erkennungseinheit 10 ist, als sehr weite Abwendung des Blicks und somit als eine sehr hohe Ablenkung zu verstehen sind. Die drei „gelben“ Bereiche (Werte 0,15 bis 0,3) in der Wahrscheinlichkeitsverteilung W repräsentieren die Spiegel des Fahrzeugs. Ein Blick in diese Region ist nicht stark ablenkend, kann jedoch auch zur Ablenkung führen, wenn er länger anhält.
„Orangefarbene“ Bereiche erstrecken sich dementsprechend von 0,3 bis 0,5 und „grüne“ Bereiche von 0,15 bis –0,15. Eine Vorabzuordnung der einzelnen Wahrscheinlichkeiten m zur Wahrscheinlichkeitsverteilung W über dem einsehbaren Bereich 1 erfolgt durch Überlegungen, Empirie und/oder ggf. ein Experiment. Zwischenbereiche im einsehbaren Bereich 1 bzw. in der Wahrscheinlichkeitsverteilung W können durch umliegende Punkte bzw. Bereiche interpoliert, insbesondere linear oder quadratisch interpoliert, werden, Randbereiche können ggf. extrapoliert werden.
Bei der in 1 dargestellten normierten Wahrscheinlichkeitsverteilung W, bei welcher der höchste Aufmerksamkeitsgrad m = –1 und der niedrigste Aufmerksamkeitsgrad m = 1 beträgt, können beispielsweise folgende Aufmerksamkeitsgrade m angewendet werden. Bevorzugt werden hohe und höchste Aufmerksamkeitsgrade m = –0,5 bis –1 all denjenigen Sehrichtungen rot_x, rot_y zugeordnet, die sich auf ein allgemeines vorderes Verkehrsgeschehen richten. Bevorzugt werden niedrige und niedrigste Aufmerksamkeitsgrade m = 0,6 bis 1 all denjenigen Sehrichtungen rot_x, rot_y zugeordnet, die sich abseits vom einem allgemeinen Verkehrsgeschehen befinden, was z. B. insbesondere auf Blicke innerhalb des Fahrzeugs zutrifft, wie z. B. auf das Radio, einen Scheibenrand etc.
Bei einer Sehrichtung rot_x, rot_y nach im Wesentlichen geradeaus kann also ein im Wesentlichen hoher oder höchster Aufmerksamkeitsgrad m = –0,6 bis –1 zugeordnet sein. Bei einer Sehrichtung rot_x, rot_y direkt benachbart zu einer im Wesentlichen Geradeaussehrichtung kann ein im Wesentlichen mittlerer bis hoher Aufmerksamkeitsgrad m = –0,3 bis –0,6 angewendet sein. Bei einer Sehrichtung rot_x, rot_y in einen Spiegel oder auf ein Kombiinstrument des Fahrzeugs kann ein im Wesentlichen geringfügig niedriger Aufmerksamkeitsgrad m = 0,1 bis 0,3 zugeordnet sein. Ferner ist es möglich, zeitlich vergleichsweise kurze Blicke in einen Spiegel oder auf das Kombiinstrument des Fahrzeugs unberücksichtigt zu lassen oder diese gar als einen geringfügig hohen Aufmerksamkeitsgrad m = –0,05 bis –0,1 (nicht dargestellt) zu deuten.
Bei einer Sehrichtung rot_x, rot_y abseits eines Bereichs, innerhalb welchem sich normalerweise ein Verkehrsgeschehen abspielt, kann ein im Wesentlichen mittlerer bis stark niedriger Aufmerksamkeitsgrad m = 0,5 bis 0,9 angewendet sein. Bei einer Sehrichtung rot_x, rot_y an einen Fassungsrand einer Scheibe des Fahrzeugs oder darüber hinaus kann ein im Wesentlichen niedrigster Aufmerksamkeitsgrad (m = 1) zugeordnet sein. Und ferner kann bei einer Sehrichtung rot_x, rot_y seitlich zur Fahrtrichtung des Fahrzeugs ebenfalls der im Wesentlichen niedrigste Aufmerksamkeitsgrad m = 1 zugeordnet sein.
Um aus der in 1 dargestellten Wahrscheinlichkeitsverteilung W eine Ablenkung bzw. einen Aufmerksamkeitsgrad m, z des Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug zu ermitteln, wird zu einem jeden bestimmten Zeitpunkt t die Wahrscheinlichkeit m aus der Wahrscheinlichkeitsverteilung W ausgelesen. Z. B. wird durch die Formel: z_k+1 = z_k + Δt·P·m(rot_x, rot_y) ein Aufmerksamkeitsgrad z des Fahrzeugführers berechnet. Andere Formeln sind natürlich anwendbar.
Hierbei sind: Δt – eine zeitliche Schrittweite des Verfahrens, P – ein Parameter zur Bestimmung einer Steigung bzw. eines Anstiegs/Abfalls von m in z_k+1, m(rot_x, rot_y) – eine aktuell ausgelesene Wahrscheinlichkeit m aus der Wahrscheinlichkeitsverteilung W, rot_x – eine Rotationsposition des Kopfs um die x-Achse und rot_y – eine Rotationsposition des Kopfs um die y-Achse. Eine Abstimmung von P zu Δt erfolgt z. B. durch Überlegungen, Empirie und/oder ggf. ein Experiment.
Durch ein Integrieren und/oder eine Mittelwertbildung der Wahrscheinlichkeiten W, ergibt sich ein robustes System, welches es durch die Freiheitsgrade der Wahrscheinlichkeitsmatrix W erlaubt, Übergänge zwischen den relevanten Bereichen zu gestalten. Dies ist bevorzugt, weil die Erkennungseinheit 10 nicht immer fehlerfrei arbeitet und es somit dazu kommen kann, dass Blicke des Fahrzeugführers nicht immer gleich richtig erfasst werden. Bei einer harten Unterscheidung in ok und nicht-ok führe dies zu sehr großen Abweichungen bei einem Gesamtergebnis. Bei dem erfindungsgemäßen Ansatz sind diese Auswirkungen deutlich verkleinert.
Die 2 zeigt einen beispielhaften Programmablauf des erfindungsgemäßen Verfahrens in der Interpretationseinheit 20, die im Wesentlichen eine Signalbearbeitung und eine Auswertung umfasst. Ferner kann die Interpretationseinheit 20 einen Eingang, der allerdings auch in der Erkennungseinheit 10 und einen Ausgang umfassen, welcher auch in der Ausgabeeinheit 30 realisiert sein kann.
Im Eingang werden die Eingangsdaten für das Verfahren eingelesen und ggf. validiert. Dies sind z. B. bei der Verwendung einer Videokamera als Sensor, Daten wie Kopforientierung, Kopfposition und Validität dieser Daten. Ferner können Fahrtdaten, wie Geschwindigkeit, Lenkeinschlag etc. angewendet werden. Darüber hinaus benötigt das Verfahren die Parameter für das eigentliche Verfahren wie den Parameter P, die zeitliche Schrittweite Δt, die Wahrscheinlichkeitsverteilung W etc. (siehe oben).
Die Signalbearbeitung umfasst eine Offset-Kompensation, eine Kompensation Sitzabstand und eine Modifikation Validität. In der Offset-Kompensation erfolgt eine Stabilisierung der nicht immer zuverlässigen Sensor/System-Daten, in der Kompensation Sitzabstand erfolgt eine Bestimmung eines Abstands des Kopfs des Fahrzeugführers zur virtuellen Wahrscheinlichkeitsverteilung W, und in der Modifikation Validität erfolgt eine Stabilisierung der Datengültigkeit.
In der Auswertung der Interpretationseinheit 20 wird aus einer Mehrzahl der Aufmerksamkeitsgrade m der integrale oder gemittelte Aufmerksamkeitsgrad z bestimmt. Es wird also z. B. obige Formel angewendet. Hierbei kann der Wert des integralen oder gemittelten Aufmerksamkeitsgrads z beispielsweise auf die Werte –1 und 1 begrenzt sein. Ferner können hierbei nur Aufmerksamkeitsgrade m angewendet werden, welche eine bestimmte Zeitdauer zurück in die Vergangenheit reichen. – Am Ausgang kann der Aufmerksamkeitsgrad z ausgegeben oder abgefragt werden.
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens oder der erfindungsgemäßen Sicherheitseinrichtung ist, dass die Wahrscheinlichkeitsverteilung W bzw. die Wahrscheinlichkeitsmatrix W sehr leicht gewechselt werden kann, um z. B. zu messen, wie hoch eine Wahrscheinlichkeit ist, mit welcher der Fahrzeugführer auf das Kombiinstrument sieht. In einem solchen Fall muss der Bereich des Kombiinstruments mit 1 belegt sein und alle anderen Bereiche mit –1.

Claims

Verfahren zum Ermitteln eines Aufmerksamkeitsgrads (m, z) eines Fahrzeugführers bei einer Fahrt mit seinem Fahrzeug, insbesondere einem Kraftfahrzeug, wobei mithilfe eines Sensors des Fahrzeugs eine Sehrichtung (rot_x, rot_y) des Fahrzeugführers auf einen von ihm einsehbaren Bereich (1) einer Umgebung erkannt wird, dadurch gekennzeichnet, dass dem vom Fahrzeugführer einsehbaren Bereich (1) eine Wahrscheinlichkeitsverteilung (W) zugeordnet ist, durch welche anhand der erkannten Sehrichtung (rot_x, rot_y) des Fahrzeugführers ein Aufmerksamkeitsgrad (m, z) des Fahrzeugführers ermittelbar ist.
Verfahren gemäß vorhergehendem Anspruch, dadurch gekennzeichnet, dass bei einer Fahrt des Fahrzeugführers mit seinem Fahrzeug ein aktueller Aufmerksamkeitsgrad (m_k(rot_x, rot_y)) des Fahrzeugführers aus der Wahrscheinlichkeitsverteilung (W) ermittelt wird, und das Verfahren mit einer zeitlichen Schrittweite (Δt) wiederholt wird, wobei bei einem vergleichsweise lang anhaltendem niedrigen oder niedrigsten Aufmerksamkeitsgrad (m, z) bevorzugt ein Alarm ausgegeben wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch eine Vielzahl von zeitlich hintereinander ermittelten Aufmerksamkeitsgraden (m₁, m₂, ..., m_k) des Fahrzeugführers ein ggf. normierter Integralwert oder Mittelwert des Aufmerksamkeitsgrads (z_k) gebildet wird, wobei ein solcher Integralwert oder Mittelwert des Aufmerksamkeitsgrads (z_k) des Fahrzeugführers bevorzugt in seiner Höhe nach oben und unten beschränkt ist, oder ein solcher Integralwert oder Mittelwert des Aufmerksamkeitsgrads (z_k) diejenigen zeitlich hintereinander ermittelten Aufmerksamkeitsgrade (m₁, m₂, ..., m_k) des Fahrzeugführers enthält, welche von einer aktuellen Ermittlung des Aufmerksamkeitsgrads (m_k) eine gewisse Zeitdauer in die Vergangenheit zurückreichen.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der aktuelle Aufmerksamkeitsgrad (m_k(rot_x, rot_y)) des Fahrzeugführers und/oder der Integralwert oder Mittelwert des Aufmerksamkeitsgrads (z_k) einer Sicherheitseinrichtung oder einem Sicherheitssystem des Fahrzeugs zur Verfügung gestellt, insbesondere an dieses ausgegeben, wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass, ggf. geschwindigkeitsabhängig, bei Vorliegen: • eines vergleichsweise hohen (z_k ≈ –0,3 bis –1) Aufmerksamkeitsgrads (z), sich die Sicherheitseinrichtung passiv verhält; • eines vergleichsweise dauerhaft (t > 2,5s bis 5s) niedrigen (z_k ≈ 0,2 bis 1) Aufmerksamkeitsgrads (z) durch die Sicherheitseinrichtung eine Warnung an den Fahrzeugführer ausgegeben wird; und/oder • eines zeitlich nach einer Warnung weiterhin (t > 1s bis 3s) niedrigen (z_k ≈ 0,2 bis 1) Aufmerksamkeitsgrads (z) eine Intervention in das Fahrzeug erfolgt.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass: • das Fahrzeug ein Ego-Fahrzeug ist; • der Sensor eine Innenraumkamera ist; • die Sehrichtung (rot_x, rot_y) des Fahrzeugführers durch eine Blickrichtung und/oder eine Kopfstellung des Fahrzeugführers ermittelt wird; • die zeitliche Schrittweite (Δt) des Verfahrens, mit welcher die Aufmerksamkeitsgrade (m_k(rot_x, rot_y)) des Fahrzeugführers aktualisiert wird, 10ms ± 5ms, 25ms ± 10ms, 50ms ± 15ms, 75ms ± 20ms, 100ms ± 25ms, 150ms ± 30ms, 200ms ± 40ms, 300ms ± 50ms beträgt; • die Sicherheitseinrichtung für das Fahrzeug ein Fahrerassistenzsystem ist; • die Warnung an den Fahrzeugführer in einem optischen, akustischen und/oder haptischen Signal an den Fahrzeugführer besteht; • die Intervention in das Fahrzeug in einem bevorzugt automatisierten Brems-, Beschleunigungs- und/oder Lenkeingriff in das Fahrzeug besteht; und/oder • zeitlich nach der Intervention an den Fahrzeugführer eine Aufforderung zur Fahrzeugübernahme und/oder zur Beschleunigung des Fahrzeugs ergeht.
Computerprogrammprodukt mit Programmcodemitteln, die ausgebildet sind ein Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen, wenn die Programmcodemittel auf einer Verarbeitungseinrichtung ablaufen oder auf einem computerlesbaren Datenträger gespeichert sind.
Recheneinheit oder Verarbeitungseinrichtung, bevorzugt Steuergerät oder Steuereinrichtung für ein Fahrzeug, insbesondere ein Kraftfahrzeug, welche derart ausgebildet ist, dass durch die Recheneinheit bzw. die Verarbeitungseinrichtung ein Verfahren nach einem der Ansprüche 1 bis 6 durchführbar und/oder ein Computerprogrammprodukt nach Anspruch 7 ablaufbar ist.
Sicherheitseinrichtung oder Sicherheitssystem für ein Fahrzeug, insbesondere Fahrerassistenzsystem für ein Kraftfahrzeug, dadurch gekennzeichnet, dass die Sicherheitseinrichtung bzw. das Sicherheitssystem derart eingerichtet ist, dass dadurch ein Verfahren nach einem der Ansprüche 1 bis 6 durchführbar ist, die Sicherheitseinrichtung oder das Sicherheitssystem ein Computerprogrammprodukt nach Anspruch 7, und/oder eine Recheneinheit oder eine Verarbeitungseinrichtung nach Anspruch 8 aufweist.
Sicherheitseinrichtung oder Sicherheitssystem gemäß vorhergehendem Anspruch, dadurch gekennzeichnet, dass die Sicherheitseinrichtung oder das Sicherheitssystem eine Erkennungseinheit (10), eine Interpretationseinheit (20) und/oder eine Ausgabeeinheit (30) aufweist, wobei die Erkennungseinheit (10) derart eingerichtet ist, dass diese eine Sehrichtung (rot_x, rot_y) eines Fahrzeugführers erkennt, die Interpretationseinheit (20) derart eingerichtet ist, dass diese aus der erkannten Sehrichtung (rot_x, rot_y) einen Aufmerksamkeitsgrad (m, z) des Fahrzeugführers ermittelt, und/oder die Ausgabeeinheit (30) derart eingerichtet ist, dass diese den ermittelten Aufmerksamkeitsgrad (m, z) des Fahrzeugführers ausgibt.