DE102018219672A1

DE102018219672A1 - Verfahren und System zur Erfassung einer Ablenkung eines Fahrers in einem Fahrzeug

Info

Publication number: DE102018219672A1
Application number: DE102018219672.9A
Authority: DE
Inventors: Lei Wang
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2020-05-20

Abstract

Bereitgestellt wird ein System, das dazu eingerichtet ist, eine Ablenkung eines Fahrers in einem Fahrzeug zu erfassen, wobei das System aufweist:- mindestens einen Sensor (200), der dazu eingerichtet ist, die Position von mindestens einer Hand (21, 22) und/oder eine Haltung des Kopfes (23) des Fahrers (2) zu erfassen, und- mindestens einen Sender (100), der dazu eingerichtet ist, die Position eines Objekts in den Händen und/oder in Blickrichtung des Fahrers (2) zu erfassen, und- mindestens eine Auswerteeinrichtung, die dazu eingerichtet ist, basierend auf der Erfassung des mindestens einen Sensors (200) und des mindestens einen Senders (100) einen Abstand zwischen dem Objekt und der oder den Händen (21, 22) und/oder dem Kopf (23) des Fahrers (2) zu ermitteln und abhängig davon zu bestimmen, ob eine Ablenkung vorhanden ist. Ferner wird ein entsprechendes Verfahren bereitgestellt.

Description

Die vorliegende Erfindung betrifft ein Verfahren und System zur Erfassung einer Ablenkung eines Fahrers in einem Fahrzeug, beispielsweise durch ein mobiles Endgerät in seinen Händen.
Es sind bereits Verfahren und Systeme bekannt, welche z.B. eine Kollisionsgefahr für Fahrzeuge erfassen, z.B. aus der US-Patentanmeldung US5521580A . Auch sind bereits Verfahren und Systeme bekannt, welche Aktionen des Fahrers erfassen, z.B. aus der japanischen Patentanmeldung JP 11175895A , oder welche den Zustand des Fahrers z.B. durch Überwachung seiner Kopfhaltung oder der Mimik erfassen. Auch sind bereits Verfahren und Systeme bekannt, welche das Auge bzw. die Position oder Bewegung des Auges eines Fahrers erfassen, z.B. aus der japanischen Patentanmeldung JP 11304428A . Ferner sind Systeme zum Auffinden eines Mobiltelefons bekannt, z.B. aus der chinesischen Patentanmeldung CN101004443A .
Es ist eine Aufgabe dieser Erfindung, ein Verfahren und ein System bereitzustellen, durch welches eine Ablenkung eines Fahrers eines Fahrzeugs zuverlässig erfasst werden kann. Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Bereitgestellt wird ein System, das dazu eingerichtet ist, eine Ablenkung eines Fahrers in einem Fahrzeug zu erfassen, wobei das System mindestens einen Sensor aufweist, der dazu eingerichtet ist, die Position von mindestens einer Hand und/oder eine Haltung des Kopfes des Fahrers zu erfassen. Das System weist ferner mindestens einen Sender auf, der dazu eingerichtet ist, die Position eines Objekts in den Händen und/oder in Blickrichtung des Fahrers zu erfassen, sowie mindestens eine Auswerteeinrichtung, die dazu eingerichtet ist, basierend auf der Erfassung des mindestens einen Sensors und des mindestens einen Senders einen Abstand zwischen dem Objekt und der oder den Händen und/oder dem Kopf des Fahrers zu ermitteln und abhängig davon zu bestimmen, ob eine Ablenkung vorhanden ist. Durch das System kann eine zuverlässige Bestimmung erfolgen, ob ein Fahrer durch ein Objekt, das seine Aufmerksamkeit auf sich zieht, vom Fahrgeschehen abgelenkt wird, d.h. das entsprechende Assistenzsystem wird verbessert.
Des Weiteren ist vorgesehen, dass die Auswerteeinrichtung ferner dazu eingerichtet ist, wenn bestimmt wurde, dass der Abstand einen vorgegebenen Wert über- oder unterschreitet, eine Reaktion an den Fahrer auszugeben. Des Weiteren ist vorgesehen, dass die Reaktion eines aus einer Ansteuerung einer Einrichtung zur optischen und/oder akustischen und/oder haptischen Anzeige und/oder eines Aktors zum Eingriff in das Fahrverhalten des Fahrzeugs ist. Der Fahrer kann abhängig von der Erfassung in unterschiedlicher Weise und Intensität auf sein Verhalten hingewiesen bzw. gewarnt werden, wenn eine definierte, z.B. kritische Situation vorliegt. Durch die unterschiedlichen Arten und Intensitäten der Reaktion wird die Qualität des Assistenzsystems erhöht, da der Fahrer präzisere Informationen zur aktuellen Situation und warum eine Reaktion erfolgt erhält.
Des Weiteren ist vorgesehen, dass das Objekt ein mobiles Endgerät ist und mindestens drei Sender im Fahrzeuginneren in Abständen zueinander angeordnet sind. Des Weiteren ist vorgesehen, dass der mindestens eine Sensor ein Tiefensensor ist und/oder der mindestens eine Sender ein Bluetooth-Sender ist. Die Verwendung von mehreren Sensoren erhöht die Genauigkeit der Messung. Die Verwendung von bereits im Fahrzeug vorhandenen Sendern oder Sensoren verringert den Platzbedarf und senkt die Kosten.
Des Weiteren ist ein Verfahren zur Erfassung einer Ablenkung eines Fahrers während des Fahrens in einem Fahrzeug vorgesehen, wobei die Position mindestens einer Hand und/oder des Kopfes des Fahrers und eine Position eines Objekts in den Händen und/oder in Blickrichtung des Fahrers erfasst werden und daraus der Abstand zwischen dem Objekt und der oder den Händen und/oder dem Kopf des Fahrers ermittelt wird und abhängig davon bestimmt wird, ob eine Ablenkung vorhanden ist.
Des Weiteren ist vorgesehen, dass die Position des Objekts mittels Signalstärkenmessung und Trilateration bestimmt wird. Durch Verwendung von drei Sensoren kann ein Trilaterationsverfahren angewendet werden, wodurch die Genauigkeit der Messung erhöht wird.
Des Weiteren ist vorgesehen, dass das Objekt ein mobiles Endgerät ist und abhängig von dem ermittelten Abstand auf eine Ablenkung des Fahrers durch Nutzung des mobilen Endgeräts geschlossen wird. Des Weiteren ist vorgesehen, dass, wenn der Abstand zwischen Händen und/oder Kopf des Fahrers und dem mobilen Endgerät weniger als 10 cm, weniger als 5 cm oder weniger als 2 cm beträgt, auf eine Nutzung des mobilen Endgeräts geschlossen wird. Das zuverlässige Erfassen der Nutzung eines mobilen Endgeräts und dass es eine Ablenkung darstellt, erhöht die Qualität des Assistenzsystems, da es auf diese Situation reagieren kann, aber nicht in Situationen reagiert, in denen das Objekt den Fahrer nicht ablenkt.
Des Weiteren ist vorgesehen, dass, wenn eine Ablenkung erfasst wurde, eine Reaktion erfolgt, umfassend eine optische und/oder akustische und/oder haptische Anzeige und/oder ein Eingriff in das Fahrverhalten des Fahrzeugs. Durch die unterschiedlichen Arten und Intensitäten der Reaktion wird die Qualität des Assistenzsystems erhöht, da der Fahrer präzisere Informationen zur aktuellen Situation und warum eine Reaktion erfolgt erhält.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen der Erfindung, anhand der Figuren der Zeichnung, die erfindungsgemäße Einzelheiten zeigt, und aus den Ansprüchen. Die einzelnen Merkmale können je einzeln für sich oder zu mehreren in beliebiger Kombination bei einer Variante der Erfindung verwirklicht sein.
Es ist bekannt, dass eine Ablenkung des Fahrers eines Fahrzeugs zu gefährlichen Situationen, z.B. einem Unfall, führen kann. Dies gilt vor allem, wenn der Fahrer mit einem Objekt in seiner Hand, z.B. einem mobilen Endgerät wie einem Mobiltelefon, oder Essen oder Trinken, beschäftigt ist, da er hierfür in der Regel mindestens eine seiner Hände dafür benötigt. Diese ist dann nicht mehr oder nur unzureichend am Lenkrad. Auch kann sich der Blick des Fahrers in Richtung des Objekts und damit weg von der eigentlichen Fahraufgabe richten. Es ist bereits erforscht, dass ca. 50% aller kritischen Auffahrunfälle mit der Verwendung von mobilen Endgeräten, insbesondere von Mobiltelefonen, in Zusammenhang stehen. Aus diesem Grund wird die Erfindung nachfolgend hauptsächlich mittels des Beispiels der mobilen Endgeräte beschrieben. Aber durch das vorgeschlagene System und Verfahren kann jedes Objekt, das eine Ablenkung des Fahrers verursachen kann, entsprechend erfasst werden und eine Reaktion ausgegeben werden, wie nachfolgend beschrieben.
Unter dem Begriff mobile Endgeräte sind alle möglichen tragbaren Geräte zu verstehen, die zur Kommunikation mit dem Nutzer oder des Nutzers mit der Außenwelt geeignet sind. Es fallen also Geräte unter diesen Begriff, welche zum Telefonieren geeignet sind, aber auch solche, die eine andere Kommunikation ermöglichen, z.B. Schreiben von Nachrichten über unterschiedlichste Kanäle, z.B. E-Mail, SMS oder andere Soziale-Netzwerkkanäle, Surfen im Internet, Fotografieren etc.. Es sind also simple (Mobil-)Telefone, aber auch sogenannte Smartphones, Tablets etc. unter dem Begriff mobiles Endgerät zu verstehen.
Mobile Endgeräte wie Smartphones haben heutzutage viel mehr Funktionen als es die ursprünglichen Mobiltelefone hatten, welche lediglich zum Telefonieren und evtl. sogar zum Schreiben von Kurznachrichten wie SMS geeignet waren. Heutzutage kann der Nutzer mit einem solchen Gerät wesentlich mehr als nur telefonieren, wie bereits beschrieben. Allerdings wird es immer schwieriger, die Aufmerksamkeit des Nutzers von dem mobilen Endgerät auf eine andere Situation zu lenken. Dies kann insbesondere im Straßenverkehr zu gefährlichen Situationen wie Auffahrunfällen führen.
Bisher sind zwar Systeme bekannt, welche die Aufmerksamkeit des Fahrers überwachen, also z.B. Müdigkeit erkennen oder erkennen, ob der Fahrer auf die Straße blickt. Aber es ist bisher kein System oder Verfahren bekannt, welches erfasst, dass der Fahrer sein mobiles Endgerät benutzt, und eine Reaktion darauf ausgeben kann. Hierfür ist nämlich eine deutlich genauere und bessere Erkennung als bei den oben beschriebenen Verfahren nötig, wo (an welchem Ort) sich die Hände, aber auch der Kopf, des Fahrers im Verhältnis zum Mobiltelefon befinden.
Die oben beschriebenen Verfahren und Systeme führen die Erfassung durch Analyse von aus optischen Verfahren erhaltenen Daten durch, z.B. von Videodaten. Allerdings ist es schwierig, z.B. ein mobiles Endgerät wie ein Mobiltelefon oder ein Smartphone bzw. dessen Position bzgl. Händen und/oder Kopf des Fahrers, über eine optische Erfassung zuverlässig zu erfassen, da das Gerät relativ klein ist und ein optisches System dieses nur schwer erfassen kann. Auch kann eine Erfassung durch ein optisches System schwierig sein, wenn z.B. der Fahrer seine Hände auf dem Lenkrad hat, aber das Smartphone oder ein anderes kleines Objekt in den Händen hält, oder wenn das Objekt durch Hände, Lenkrad oder andere größere Objekte wie z.B. die Mittelkonsole etc. verdeckt ist. Da es gerade in diesen Situationen wichtig ist, eine zuverlässige Erfassung bereitzustellen, stellt die vorliegende Erfindung ein System und Verfahren vor, durch welche eine verbesserte Erfassung einer Ablenkung, insbesondere einer Nutzung eines mobilen Endgeräts, durch einen Fahrer eines Fahrzeugs ermöglicht wird. Nachfolgend wird nur von mobilen Endgeräten oder Smartphones oder Mobiltelefonen gesprochen, wobei auch andere Objekte darunter fallen, welche zu einer Ablenkung des Fahrers beitragen können.
Das System wird vorteilhafterweise in einem Fahrzeug bereitgestellt, wobei sowohl PKW als auch LKW oder andere Fahrzeuge unter den Begriff Fahrzeug fallen. Ziel ist es, bei einer Erfassung einer Ablenkung, insbesondere einer Nutzung eines mobilen Endgeräts durch einen Fahrer des Fahrzeugs, eine Reaktion, z.B. eine Anzeige oder Warnung, aktiv an den Fahrer auszugeben. Eine solche Reaktion kann z.B. eine Warnung sein, dass er seine Aufmerksamkeit auf das Fahren lenken soll, d.h. sich auf das Fahren und nicht auf die Nutzung des mobilen Endgeräts konzentrieren soll. Es können aber auch andere Reaktionen erfolgen, z.B. die Warnung, dass er die Kontrolle über das Fahrzeug übernehmen soll, oder dass das Fahrzeug kontrolliert gestoppt wird, wenn er sich weiterhin mit dem mobilen Endgerät beschäftigt etc.. Eine Warnung kann dabei ein akustisches Signal sein, welches in unterschiedlichen Ausführungen, z.B. abhängig von einer erkannten Verkehrssituation, unterschiedliche Warnstufen aufweist. Solche Warnstufen können von einem einzelnen Warnton bis hin zu graduell gesteigerten Warntönen reichen. Auch kann das Fahrzeug mit oder ohne vorheriger Warnung in einen konservativen Modus gebracht werden, in dem z.B. die maximale Geschwindigkeit beschränkt wird etc.. Auch kann die Kontrolle über das Fahrzeug vom Fahrzeug selbst übernommen werden, wenn das Fahrzeug automatisiert fahren kann.
Zu der Erfassung, ob ein Fahrer abgelenkt ist, z.B. durch Nutzung eines mobilen Endgeräts während des Fahrens, werden Erfassungsmittel bereitgestellt. Durch diese kann die physikalische Entfernung zwischen den Positionen des mobilen Endgeräts und einer oder beider Hände und/oder des Kopfes des Fahrers ermittelt werden. Je nach ermittelter Entfernung wird dann eine Aktion als Reaktion auf das erfasste Verhalten des Fahrers, also ob er das mobile Endgerät nutzt oder nicht, ausgeführt. Das Erfassungsmittel kann auch derart ausgestattet sein, dass es das Vorhandensein eines Objekts in einer oder beiden Händen und/oder in Blickrichtung des Fahrers erfasst. Alternativ wird diese Information von einer anderen Erfassungseinrichtung bereitgestellt und kann somit als gegeben angenommen werden.
Beispielsweise kann bestimmt werden, dass der Fahrer das mobile Endgerät nutzt, wenn erfasst wurde, dass es sich innerhalb einer bestimmten Entfernung entweder zu Hand oder Kopf des Fahrers befindet, z.B. innerhalb von wenigen Zentimetern, z.B. weniger als 15 cm, 10 cm oder 5 cm. Die Position des mobilen Endgeräts oder des Objekts, welches die Ablenkung verursacht, kann dabei über einen Bluetooth-Sender oder andere Sender, z.B. Funksender, ermittelt werden. Solche Funksender können auch bereits im Fahrzeug vorhandene Sender sein, welche auch für andere Funktionalitäten benutzt werden. Es können also bereits vorhandene Sender, z.B. Bluetooth-Sender von Infotainment-Systemen, mit einer Zusatzfunktion ausgestattet werden, oder es werden zusätzliche Sender im Innenraum des Fahrzeugs angeordnet.
Die Position des Objekts, z.B. des mobilen Endgeräts, wird in einer Ausführung basierend auf einer Messung der Entfernung zwischen Objekt, hier also mobilem Endgerät, und dem oder den Sendern bestimmt, deren Positionen innerhalb des Fahrzeugs bereits durch Messung bzw. Bestimmung nach Herstellung und Installation im Fahrzeug bekannt sind. Zur Erfassung der Position wird der Euklidische Abstand basierend auf der Signalstärke (RSSI) zwischen Mobiltelefon und Sender bestimmt. Der RSSI, also Received Signal Strength Indicator, stellt einen Indikator für die Empfangsfeldstärke kabelloser Kommunikationsanwendungen dar, wobei grundsätzlich gilt, dass je höher der Wert ist, desto besser ist der Empfang. Dann erfolgt eine Trilateration, welche die Abstände auf eine 3-D-Position des mobilen Endgeräts überträgt, indem die 3-D-Koordinaten der Position des mobilen Endgeräts durch Lösung eines Satzes an Euklidischen Abstandsgleichungen berechnet werden. Wenn der Fahrer einen kleinen Raum einnimmt, ist z.B. Bluetooth genau genug, um einen Fehler auf ca. 5 cm oder weniger einzuschränken, so dass der Fehler der Position des mobilen Endgeräts auf einige Zentimeter, insbesondere 10cm oder weniger, oder auch 5cm oder weniger, genau bestimmt werden. Die Genauigkeit hängt dabei von der verwendeten Messmethode ab. Es kann aber auch eine Messmethode abhängig von dem maximal zulässigen Fehler ausgewählt werden. Bluetooth wird hier lediglich als Beispiel verwendet, da bereits viele Fahrzeuge entsprechende Sender/Empfänger aufweisen, die mit dieser Technologie arbeiten, so dass diese Technologie für die Erfindung von relativ einfacher Weise, d.h. ohne oder mit wenig Erweiterungen des bestehenden Systems, verwendet werden kann.
Die Erfassung der Position der Hände und/oder des Kopfes des Fahrers erfolgt in einer Ausführung mit Hilfe von Tiefensensoren, z.B. RGB-D-Sensoren. Es können aber auch andere geeignete Tiefensensoren verwendet werden. Bei Verwendung eines Tiefensensors werden dadurch die zweidimensionale Position sowie die Tiefe der erfassten Hände und/oder des Kopfes des Fahrers, erfasst und daraus deren Position bestimmt. Tiefensensoren stellen nicht nur Bildinformationen zur Verfügung, sondern auch die Abstände vom Sensor zu einem oder mehreren vorgegebenen Punkten. Ein solcher Tiefensensor kann z.B. ein strukturierter Lichtsensor oder ein time-of-flight-Sensor sein. Typischerweise wird die 2-D-Position von Hand und/oder Kopf auf dem Bild zuerst durch eine Objekterfassung berechnet bzw. bestimmt. Dann werden die 2-D-Positionen auf 3-D-Positionen basierend auf deren Tiefeninformationen und der Kalibrierungsmatrix des Sensors projiziert. Somit werden die Position von Hand und/oder Kopf bestimmt.
Wenn Position des mobilen Endgeräts und Position der Hände und/oder des Kopfes des Fahrers bestimmt sind, erfolgt eine Bestimmung des Abstands zwischen mobilem Endgerät und der Position der Hände und/oder des Kopfes des Fahrers. Daraus bzw. abhängig von vorgegebenen Grenzwerten kann auf eine Nutzung oder Nicht-Nutzung des mobilen Endgeräts geschlossen bzw. eine solche als gegeben angenommen werden und eine Reaktion auf die erfasste Nutzung erfolgen, welche abhängig von der Art der Nutzung und/oder weiteren Erfassungen, z.B. der Verkehrssituation, sein kann, wie oben beschrieben. Es kann aber auch keine Reaktion erfolgen, wenn z.B. erfasst wurde, dass der Fahrer zwar das mobile Endgerät bedient, aber die Bedienung innerhalb eines vorher festgelegten Bereichs erfolgt, z.B. wenn sich das mobile Endgerät an einer bestimmten Position befindet, wie z.B. ein Headset am Kopf des Fahrers, oder ein an der Frontscheibe oder einem definierten Bereich im Fahrzeug befestigtes und damit in der Regel als Navigationssystem dienendes Mobiltelefon.
Es ist für dieses System und Verfahren wichtig, dass eine genaue Erfassung erfolgt, ob z.B. der Fahrer lediglich eine Hand auf dem Lenkrad liegen hat oder ob er noch dazu ein anderes Objekt, z.B. ein mobiles Endgerät oder ein Getränk, in der Hand hält.
Die Auswertung der erfassten Daten des Sensors und des oder der Sender erfolgt in einer Auswerteeinrichtung, welche im Fahrzeug z.B. als ein Steuergerät vorhanden sein kann. Hierzu werden die erfassten Daten dorthin gesendet. Von dort aus kann dann auch die Reaktion erfolgen bzw. eine Ausgabe an entsprechende Einrichtungen zur Durchführung der Reaktion erfolgen. Solche Einrichtungen können signalgebende Einrichtungen sein, welche Töne oder Geräusche abgeben können, z.B. das Radio- bzw. Navigationssystem oder andere im Fahrzeuginneren angeordnete Einrichtungen. Auch können Aktoren angesteuert werden, welche z.B. eine Vibration des Lenkrads hervorrufen, um den Fahrer zu warnen. Auch kann bei entsprechender Berechtigung eine Anzeige bzw. Warnung auf dem mobilen Endgerät erfolgen, z.B. per Warnton oder optischer Mitteilung. Auch können Aktoren im Fahrzeug aktiviert werden, um z.B. eine kontrollierte Aktion auszuführen, z.B. um das Fahrzeug zumindest kurzzeitig abzubremsen, wie oben beschrieben.
In einer alternativen Ausführung kann auch das mobile Endgerät die Funktion der Auswerteeinrichtung übernehmen und als Reaktion eine entsprechende Warnung an den Fahrer ausgeben, wie oben beschrieben.
Die Sender bzw. Sensoren zur Erfassung der Position des mobilen Endgeräts sind vorteilhafterweise im Innenraum des Fahrzeugs im vorderen Bereich platziert. Sie sind mit unterschiedlichen Abständen zueinander und zur Position des Fahrers platziert, so dass möglichst unterschiedliche Signallaufzeiten vorhanden sind. Dadurch wird die Genauigkeit der Erfassung des Abstands vom zu erfassenden und auf Ablenkung des Fahrers zu beurteilendem Objekt, z.B. dem mobilen Endgerät, zu den Sendern bzw. Sensoren erhöht. Vorteilhaft sind drei oder mehr Sender bzw. Sensoren vorhanden, die links und rechts und vor dem Fahrer platziert sind. Somit kann z.B. eine Trilateration erfolgen, um die Position des Objekts genau zu bestimmen, da die Position der Sender bzw. Sensoren bekannt ist.
Zur Erfassung der Position der Hände des Fahrers und/oder seines Kopfes bzw. dessen Neigung kann ein einziger Sensor bzw. Sender (oder mehrere Sensoren bzw. Sender) angeordnet sein, insbesondere ein oder mehrere Tiefensensoren. Dieser Sensor bzw. Sender ist vorteilhaft so platziert, dass er freies „Sichtfeld“ zu den zu erfassenden Bereichen, also Hände und/oder Kopf des Fahrers, hat. Hierfür eignet sich eine Position am oberen Bereich der Windschutzscheibe. Es können aber auch andere Bereiche geeignet sein, z.B. der Rückspiegel, das Lenkrad oder der Fahrersitz. Um Redundanz zu erhalten, werden jeweils zwei oder mehr Sensoren bzw. Sender an einer Position installiert.
In einer Auswertung erfolgt anschließend eine Bewertung, ob der erfasste bzw. berechnete Abstand zwischen Objekt, also z.B. Mobiltelefon, und Hand bzw. Kopf, je nach Erfassung, einen Grenzwert über- oder unterschritten hat. Wenn dies der Fall ist, wird auf eine Ablenkung des Fahrers geschlossen und eine Reaktion eingeleitet. Diese Reaktion kann abhängig vom Abstand, aber auch von weiteren Erfassungen wie der Verkehrslage, sein, wie oben bereits beschrieben.
Bevorzugte Ausführungsformen der Erfindung werden nachfolgend anhand der beigefügten Zeichnung näher erläutert.

1 zeigt eine schematische Ansicht von für das System wichtigen Bauteilen innerhalb eines Fahrzeugs, gemäß einer Ausführung der vorliegenden Erfindung.
2a bis 2d zeigen beispielhaft unterschiedliche zu erfassende Szenarien der Nutzung eines mobilen Endgeräts.
3 zeigt ein Ablaufdiagramm zur Erfassung einer Ablenkung eines Fahrers eines Fahrzeugs gemäß einer Ausführung der vorliegenden Erfindung.

In den nachfolgenden Figurenbeschreibungen sind gleiche Elemente bzw. Funktionen mit gleichen Bezugszeichen versehen.
1 zeigt eine Ausführung der Erfindung, bei der drei Sender 100 zur Bestimmung der Position des mobilen Endgeräts 3 mittels streckenmessender Triangulation, also mittels Trilateration, angeordnet sind. Diese Sender 100 sind an bestimmten Positionen im Innenraum eines Fahrzeugs 1 angeordnet, in dieser Ausführung an beiden vorderen Seitentüren auf Höhe des Bereichs zwischen Vordertür und Fenster, und an einem Bereich mittig in der Breite des Fahrzeugs 1 an der Mittelkonsole zwischen Armaturenbrett und Windschutzscheibe. Außerdem ist ein Sensor 200 zur Bestimmung der Position der Hände und/oder des Kopfes des Fahrers 2 gezeigt, welcher in dieser Ausführung an einem oberen Bereich der Windschutzscheibe angeordnet ist. Die Bestimmung, ob der Fahrer ein mobiles Endgerät benutzt, erfolgt wie oben bereits beschrieben. Die Position der Sensoren im Fahrzeug ist bekannt, so dass aufgrund der Tatsache, dass drei oder mehr Sensoren vorhanden sind, mittels Triangulation der Abstand zwischen Objekt und Händen bestimmt und so darauf geschlossen werden kann, ob der Fahrer abgelenkt ist.
2a bis 2d zeigen unterschiedliche Szenarien, bei welchen durch das vorgeschlagene Verfahren erkannt und beurteilt werden kann, ob der Fahrer 2 durch Nutzung eines mobilen Endgeräts abgelenkt ist, d.h. ob sich das Endgerät in einer Position befindet, welche als Ablenkung eingestuft ist. Basierend auf dieser Beurteilung kann entschieden werden, ob eine Reaktion und welche Reaktion erfolgen soll. In 2a ist ein Fahrer gezeigt, der eine (rechte) Hand 21 am Lenkrad 11 hat, während er mit der anderen (linken) Hand 22 ein mobiles Endgerät 3 bedient, das zwischen Lenkrad und Seitenscheibe gehalten wird. Dabei ist seine Kopfposition 23 zum mobilen Endgerät 3 geneigt, er schaut also nicht auf die Straße vor ihm. In 2b ist ein Fahrer gezeigt, der eine (linke) Hand 22 am Lenkrad hat, während er mit der anderen (rechten) Hand 21 ein mobiles Endgerät 3 bedient, genauer telefoniert er. Dabei ist seine Kopfposition 23 nicht zum mobilen Endgerät 3 geneigt, die Blickrichtung ist prinzipiell in Richtung Straße vor ihm. In 2c ist ein Fahrer gezeigt, der eine (rechte) Hand 21 am Lenkrad 11 hat, während er mit der anderen (linken) Hand 22 ein mobiles Endgerät 3 bedient, das zwischen Lenkrad und seinem Kopf 23 gehalten wird. Dabei ist seine Kopfposition 23 zum mobilen Endgerät 3 geneigt, er schaut also nicht auf die Straße vor ihm. In 2d ist ein Fahrer gezeigt, der mit seiner linken Hand 22 ein als Navigationsgerät dienendes mobiles Endgerät 3 bedient. Dieses ist an der Windschutzscheibe, aber sehr nah am Lenkrad befestigt.
Mit dem vorgeschlagenen Verfahren und System können die in 2a bis 2d beschriebenen Szenarien und weitere Szenarien erfasst werden. Dabei können sowohl die Position des mobilen Endgeräts 3 als auch die Position der Hände 21, 22 und/oder des Kopfes 23 des Fahrers sehr genau bestimmt werden, insbesondere auf 10cm oder weniger. In den Szenarien der 2a bis 2c würde aufgrund der Erfassung, dass der Fahrer das mobile Endgerät 3 bedient, es sich also in mindestens einer der Hände 21, 22 des Fahrers 2 befindet, und in 2a und 2c sich auch noch zusätzlich die Kopfneigung 23 zum mobilen Endgerät 3 hin befindet, eine Ablenkung erkannt werden und daraufhin eine Reaktion erfolgen, z.B. eine Warnung, dass sich der Fahrer dem Fahren widmen soll. Es können auch noch andere Reaktionen wie oben beschrieben erfolgen.
Im Szenario der 2d wird zwar erfasst, dass sich die linke Hand 22 am mobilen Endgerät 3 befindet; aber es kann beispielsweise vorab erfasst oder festgelegt werden bzw. sein, dass das mobile Endgerät 3 an dieser Position bedient werden darf, also keine Reaktion erfolgt, auch wenn die Position der Hände 21, 22 und/oder des Kopfes 23 nahe des mobilen Endgeräts 3 ist. Alternativ kann eine zusätzliche Erfassung erfolgen, ob die Verkehrssituation eine Aufmerksamkeit des Fahrers 2 erfordert und basierend auf dieser Erkennung dennoch eine Warnung oder Reaktion erfolgen.
3 zeigt ein schematisches Ablaufdiagramm des Verfahrens. In einem ersten Schritt S10 wird der Abstand des mobilen Endgeräts 3 zu dem Sender oder den Sendern 100, z.B. von Bluetooth-Sendern, gemessen. In einem nächsten Schritt S11 wird durch Trilateration der gemessenen Senderdaten die Position des mobilen Endgeräts 3 im Fahrzeug 1 bestimmt.
Bevorzugt gleichzeitig, aber unabhängig von S10 und S11, erfolgt in einem Schritt S20 eine Erkennung der Position der Hände 21, 22 und/oder des Kopfes 23 des Fahrers durch einen (Tiefen-)Sensor 200, z.B. einen RGB-D-Sensor, wie oben beschrieben. Hierdurch kann die Position der Hände und/oder des Kopfes des Fahrers 1 in einem weiteren Schritt S22 ermittelt werden. In Schritt S3 erfolgt dann eine Bestimmung des Abstands zwischen mobilem Endgerät 3 und Position der Hände und/oder des Kopfes des Fahrers 1. Daraus kann in einem weiteren Schritt S4 auf die Nutzung des mobilen Endgeräts 3 geschlossen werden, z.B. wenn der Abstand zwischen einer Hand 21, 22 bzw. dem Kopf 23 des Fahrers und dem mobilen Endgerät 3 einen vorgegebenen Wert unter oder überschreitet. In einem weiteren optionalen Schritt S5 kann eine Reaktion auf die erfasste Ablenkung, in diesem Beispiel der Nutzung des mobilen Endgeräts 3, erfolgen, welche abhängig von der Art der Nutzung und/oder weiteren Erfassungen z.B. der Verkehrssituation, sein kann, wie oben beschrieben.
In den Figuren wird die Benutzung eines mobilen Endgeräts 3 beschrieben. Allerdings kann das System und Verfahren auch für die Erfassung einer Ablenkung des Fahrers 2 durch andere Tätigkeiten dienen, d.h. bei denen er ein Objekt in mindestens einer seiner Hände 21 ,22 und/oder nahe am Kopf 23 hält. Eine Ablenkung kann nicht nur durch ein mobiles Endgerät, sondern auch durch z.B. Essen oder Trinken erfolgen.
Auch können weitere Sender, welche nicht im Inneren des Fahrzeugs 1 verbaut sind, benutzt werden, wie z.B. tragbare oder in der Kleidung angeordnete Bluetooth-Geräte. Ferner können bereits im Fahrzeug verbaute Assistenzsysteme zusätzlich benutzt werden, um eine verbesserte Erfassung der Situation, also ob ein Fahrer 2 abgelenkt ist oder nicht, auch abhängig von weiteren erfassten Umgebungsbedingungen, zu ermöglichen.
Bezugszeichenliste

1: Fahrzeug
2: Fahrer
21,22: Hände
23: Kopf
3: Objekt bzw. mobiles Endgerät
100: Sender
200: Sensor

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 5521580 A [0002]
JP 11175895 A [0002]
JP 11304428 A [0002]
CN 101004443 A [0002]

Claims

System, das dazu eingerichtet ist, eine Ablenkung eines Fahrers in einem Fahrzeug zu erfassen, wobei das System aufweist: - mindestens einen Sensor (200), der dazu eingerichtet ist, die Position von mindestens einer Hand (21, 22) und/oder eine Haltung des Kopfes (23) des Fahrers (2) zu erfassen, und - mindestens einen Sender (100), der dazu eingerichtet ist, die Position eines Objekts in den Händen und/oder in Blickrichtung des Fahrers (2) zu erfassen, und - mindestens eine Auswerteeinrichtung, die dazu eingerichtet ist, basierend auf der Erfassung des mindestens einen Sensors (200) und des mindestens einen Senders (100) einen Abstand zwischen dem Objekt und der oder den Händen (21, 22) und/oder dem Kopf (23) des Fahrers (2) zu ermitteln und abhängig davon zu bestimmen, ob eine Ablenkung vorhanden ist.
System nach Anspruch 1, wobei die Auswerteeinrichtung ferner dazu eingerichtet ist, wenn bestimmt wurde, dass der Abstand einen vorgegebenen Wert über- oder unterschreitet, eine Reaktion an den Fahrer auszugeben.
System nach Anspruch 2, wobei die Reaktion eines aus einer Ansteuerung einer Einrichtung zur optischen und/oder akustischen und/oder haptischen Anzeige und/oder eines Aktors zum Eingriff in das Fahrverhalten des Fahrzeugs ist.
System nach einem der vorhergehenden Ansprüche, wobei das Objekt ein mobiles Endgerät (3) ist und mindestens drei Sender (100) im Fahrzeuginneren in Abständen zueinander angeordnet sind.
System nach einem der vorhergehenden Ansprüche, wobei der mindestens eine Sensor (200) ein Tiefensensor ist und/oder der mindestens eine Sender (100) ein Bluetooth-Sender ist.
Verfahren zur Erfassung einer Ablenkung eines Fahrers während des Fahrens in einem Fahrzeug, wobei die Position mindestens einer Hand (21, 22) und/oder des Kopfes des Fahrers (2) und eine Position eines Objekts (3) in den Händen und/oder in Blickrichtung des Fahrers (2) erfasst werden und daraus der Abstand zwischen dem Objekt (3) und der oder den Händen (21, 22) und/oder dem Kopf (23) des Fahrers (2) ermittelt wird und abhängig davon bestimmt wird, ob eine Ablenkung vorhanden ist.
Verfahren nach Anspruch 6, wobei die Position des Objekts mittels Signalstärkenmessung und Trilateration bestimmt wird.
Verfahren nach Anspruch 6 oder 7, wobei das Objekt ein mobiles Endgerät (3) ist und abhängig von dem ermittelten Abstand auf eine Ablenkung des Fahrers durch Nutzung des mobilen Endgeräts (3) geschlossen wird.
Verfahren nach Anspruch 8, wobei, wenn der Abstand zwischen Händen (21, 22) und/oder Kopf (23) des Fahrers (2) und dem mobilen Endgerät (3) weniger als 10 cm, weniger als 5 cm oder weniger als 2 cm beträgt, auf eine Nutzung des mobilen Endgeräts (3) geschlossen wird.
Verfahren nach einem der Ansprüche 6 bis 9, wobei wenn eine Ablenkung erfasst wurde, eine Reaktion erfolgt, umfassend eine optische und/oder akustische und/oder haptische Anzeige und/oder ein Eingriff in das Fahrverhalten des Fahrzeugs.