-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug, wobei im Verlauf einer Fahrt des Kraftfahrzeugs in Abhängigkeit von einem aktuellen Aufmerksamkeitsgrad eines Fahrzeuginsassen eine Assistenzmaßnahme ausgelöst wird. Die Erfindung betrifft darüber hinaus ein solches Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
-
Im Straßenverkehr kann Müdigkeit und/oder eine mangelnde Aufmerksamkeit eines Fahrzeuginsassen, insbesondere eines Fahrzeugführers, bekanntermaßen zu kritischen Verkehrssituationen führen. Da eine Müdigkeit sich graduell einstellen kann oder ein Aufmerksamkeitsgrad graduell abnehmen kann, ist es oftmals für den Fahrzeugführer selbst nicht ohne Weiteres erkennbar, wann er eine Pause einlegen sollte. Es gibt daher Bestrebungen, Fahrerassistenzsysteme zu entwickeln, welche den Kraftfahrzeugführer in einer solchen Situation unterstützen können, indem sie ihn auf seine mangelnde Aufmerksamkeit durch Assistenzmaßnahmen aufmerksam machen.
-
Bekannte Fahrerassistenzsysteme der oben beschriebenen Art basieren oftmals auf Gesichtserkennungsmethoden. Hierzu wird das Gesicht des Fahrzeugführers mithilfe einer Kamera gefilmt oder anderweitig erfasst, sodass es durch bekannte Gesichtserkennungsalgorithmen analysiert werden kann. Eine solche Gesichtserkennung ist ein sehr rechenintensiver Prozess.
-
Aus der
US 9 662 977 B2 ist ein Überwachungssystem zum Überwachen eines Zustands eines Kraftfahrzeugführers bekannt. Auch hier kommen Gesichtserkennungsalgorithmen zum Einsatz, wobei eine Kopfposition des Kraftfahrzeugführers dahingehend ausgewertet wird, ob sie ein Fokussiertsein des Kraftfahrzeugführers auf das Führen des Kraftfahrzeugs nahelegt oder ein Ermüden des Kraftfahrzeugführers beschreibt. Im Rahmen der Gesichtserkennung wird ebenfalls überprüft, ob die Augen des Kraftfahrzeugführers offen oder geschlossen sind.
-
Eine ähnliche Beobachtung liegt der Analyse eines Geisteszustands eines Kraftfahrzeugführers gemäß der
US 10 482 333 B1 zugrunde. Auch hier wird mittels einer Kamera ein Gesicht des Fahrzeugführers erfasst und mittels bekannter Gesichtserkennungsalgorithmen erkannt, ob die Augen des Fahrzeugführers geschlossen sind. Die Analyse basiert dann auf einer erkannten Blinzelrate des Fahrzeugführers. Ein Blinzeln bedeutet hier, dass die Augen des Fahrzeugführers als komplett geschlossen erkannt werden.
-
Abgesehen davon, dass die beschriebenen Gesichtserkennungsmethoden sehr rechenintensive Operationen darstellen, ist eine Blinzelerkennung sehr fehleranfällig. So kann beispielsweise ein nach unten gerichteter Blick eines Fahrzeugführers bereits fälschlicherweise als ein Blinzeln erkannt werden. Auch Personen mit sehr kleinen Augen werden oftmals fälschlicherweise als blinzelnd erkannt. Hierdurch kann eine Zuverlässigkeit einer Analyse eines Aufmerksamkeitszustands des Fahrzeugführers beeinträchtigt werden. Auch können individuelle Gesichtszüge eines einem solchen Gesichtserkennungssystem unbekannten neuen Kraftfahrzeugführers oftmals nicht korrekt erkannt werden. In der Folge muss das Gesichtserkennungssystem aufwendig für jeden Kraftfahrzeugführer neu trainiert werden.
-
Es ist die Aufgabe der vorliegenden Erfindung, einen Kraftfahrzeugführer zuverlässig auf seine abnehmende Aufmerksamkeit hinzuweisen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiter mögliche Ausgestaltungen der Erfindung sind in den Unteransprüchen, der Beschreibung und den Figuren offenbart.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass auch ohne aufwendige Gesichtserkennungsalgorithmen wertvolle Informationen bezüglich eines Aufmerksamkeitszustands eines Kraftfahrzeugführers erlangt werden können. Insbesondere wurde erkannt, dass aus einer Häufigkeitsverteilung verschiedener Augenöffnungsweiten aussagekräftige Rückschlüsse auf den Aufmerksamkeitszustand gezogen werden können, ohne auf ein zuverlässiges Zählen einzelner Blinzler angewiesen zu sein.
-
Durch die Erfindung ist ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug bereitgestellt. Im Verlauf einer Fahrt des Kraftfahrzeugs wird hierbei in Abhängigkeit von einem aktuellen Aufmerksamkeitsgrad eines Fahrzeuginsassen, insbesondere eines Fahrzeugführers, eine Assistenzmaßnahme ausgelöst. Die Assistenzmaßnahme kann beispielsweise in einem optischen und/oder einem akustischen Hinweis an den Kraftfahrzeuginsassen bestehen.
-
Zur Ermittlung des aktuellen Aufmerksamkeitsgrads wird zunächst eine Gesichtserkennung durchgeführt, die umfasst, dass zumindest einem Auge des Fahrzeuginsassen zumindest ein oberer und zumindest ein unterer Augenmesspunkt zugeordnet werden. Mit anderen Worten kann also in grundsätzlich bekannter Art und Weise ein Gesicht des Fahrzeuginsassen mittels einer Kamera gefilmt oder aufgenommen werden, wobei das Gesicht mit charakteristischen Punkten, sogenannten Facial Landmarks, versehen wird. Diese Facial Landmarks umfassen sogenannte Eye Landmarks oder charakteristische Augenmesspunkte. Erfindungsgemäß werden zumindest einem Auge des Fahrzeuginsassen also zumindest ein oberer und zumindest ein unterer Augenmesspunkt zugeordnet. Gemäß den bekannten Methoden der Gesichtserkennung würde nun ein Abgleich der Verteilung der Landmarks mit bekannten Gesichtsmodellen in rechenintensiver Weise erfolgen. Im Gegensatz hierzu wird erfindungsgemäß lediglich, wie im Folgenden beschrieben, eine Augenöffnungsweite erfasst.
-
Erfindungsgemäß wird während der Fahrt im Verlauf zumindest eines Beobachtungsintervalls mehrmals eine jeweils aktuelle Augenöffnungsweite des zumindest einen Auges des Fahrzeuginsassen erfasst. Die Augenöffnungsweite wird als Abstand zwischen dem zumindest einen oberen und dem zumindest einen unteren Augenmesspunkt erfasst oder berechnet. Der Abstand kann eine vertikale Distanz zwischen den Augenmesspunkten sein. Im Gegensatz zu bekannten Verfahren kann auf ein Erfassen eines horizontalen Abstands der Augenmesspunkte verzichtet werden. Dies verhindert in vorteilhafter Weise eine Verfälschung der Erfassung der Augenöffnungsweite, wenn der Fahrer nicht im Wesentlichen direkt in die Kamera blickt.
-
Im Verlauf des zumindest einen Beobachtungsintervalls kann auf diese Art und Weise eine Vielzahl unterschiedlicher Augenöffnungsweiten erfasst werden. Das Beobachtungsintervall kann beispielsweise vier Minuten lang sein, wobei pro Sekunde jeweils 15 Bildrahmen oder Frames aufgenommen werden können. In vorteilhafter Weise wird die jeweils aktuelle Augenöffnungsweite pro Frame erfasst. In diesem Beispiel kämen also innerhalb des Beobachtungsintervalls 3.600 jeweils aktuelle Augenöffnungsweiten zusammen. Natürlich kann das Beobachtungsintervall auch verkürzt oder verlängert werden. Dies kann gemäß bestimmten Erfordernissen gewählt werden, wie im weiteren Verlauf näher beschrieben wird.
-
Erfindungsgemäß wird nun eine Häufigkeitsverteilung der unterschiedlichen Augenöffnungsweiten für das zumindest eine Beobachtungsintervall berechnet. Mit anderen Worten wird also berechnet, wie oft und/oder über welche Dauer eine jeweilige Augenöffnungsweite innerhalb des zumindest einen Beobachtungsintervalls erfasst wurde.
-
Zusätzlich werden Vergleichshäufigkeitsverteilungen bereitgestellt, wobei einer jeweiligen Vergleichshäufigkeitsverteilung jeweils ein bekannter Aufmerksamkeitsgrad zugeordnet ist. Die Vergleichshäufigkeitsverteilungen können beispielsweise historische Häufigkeitsverteilungen für Augenöffnungsweiten umfassen, die beispielsweise für den aktuellen Fahrzeugführer und/oder für andere Fahrzeugführer aufgezeichnet worden sein können.
-
Im Folgenden kommt es erfindungsgemäß zu einem Vergleich oder Abgleich der berechneten Häufigkeitsverteilung und der Vergleichshäufigkeitsverteilungen. Im Rahmen dieses Abgleichs wird aus den Vergleichshäufigkeitsverteilungen diejenige ermittelt, die in zumindest einem Kriterium einen vorbestimmten Übereinstimmungsgrad mit der berechneten Häufigkeitsverteilung aufweist. Werden die berechnete Häufigkeitsverteilung und die Vergleichshäufigkeitsverteilungen grafisch dargestellt, so kann ein solches Kriterium beispielsweise in einer Form und/oder Regelmäßigkeit und/oder Höhe und/oder Breite der grafisch dargestellten Verteilungen bestehen. Grundsätzlich beruht der hier beschriebene Vergleich oder Abgleich auf dem Fachmann grundsätzlich bekannten statistischen Methoden.
-
Erfindungsgemäß wird der aktuelle Aufmerksamkeitsgrad des Fahrzeuginsassen als der der derart ermittelten Vergleichshäufigkeitsverteilung zugeordnete Aufmerksamkeitsgrad erkannt. Erfüllt der aktuelle Aufmerksamkeitsgrad vorbestimmte Erfordernisse nicht, weil er beispielsweise nahelegt, dass der Fahrzeugführer müde ist, kann die Assistenzmaßnahme ausgelöst werden
-
Durch die Erfindung ergibt sich der Vorteil, dass keine aufwendigen Gesichtserkennungs- und Prozessierungsalgorithmen benötigt werden, um beispielsweise eine Blinzelrate oder eine Blickrichtung des Fahrzeuginsassen zu erkennen. Der Wert der erfassten Augenöffnungsweite kann direkt verwendet werden. Er muss nicht in einem weiteren Verfahrensschritt skaliert werden. Auch dies spart in vorteilhafter Weise Rechenkapazität ein. Darüber hinaus weist das erfindungsgemäße Verfahren im Vergleich zu den bekannten Verfahren eine erhöhte Zuverlässigkeit auf. Diese ergibt sich unter anderem daraus, dass erfindungsgemäß nicht unbedingt der rein binäre Zustand Augen auf/Augen zu zuverlässig erkannt werden muss. Die oben genannte Fehleranfälligkeit der bekannten Systeme hinsichtlich eines Nachuntenblickens und/oder hinsichtlich von Personen mit kleinen Augen fällt somit im erfindungsgemäßen Verfahren weniger ins Gewicht, als bei den bekannten Verfahren.
-
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass die unterschiedlichen Augenöffnungsweiten beliebige Werte zwischen einem offenen Augenzustand und einem geschlossenen Augenzustand einnehmen. Mit anderen Worten ist das Verfahren nicht beschränkt auf das Erkennen geschlossener Augen. Hierdurch fällt, wie bereits erwähnt, ein fälschlicherweise erkanntes Blinzeln nicht oder nicht stark ins Gewicht. Weist ein Fahrer eine erhöhte Müdigkeit auf, so kann es vorkommen, dass seine Augen insgesamt eine geringere Öffnungsweite aufweisen, als im wachen Zustand. Dies muss aber nicht unbedingt mit einer erhöhten Blinzelrate einhergehen. Ein rein auf die Blinzelrate gestütztes Erkennungsverfahren könnte somit im Gegensatz zu dem hier beschriebenen Verfahren die Müdigkeit nicht zuverlässig erkennen. In der Häufigkeitsverteilung der Augenöffnungsweiten hingegen werden sich dauerhaft gering geöffnete Augen in einer charakteristischen Form der Häufigkeitsverteilung niederschlagen.
-
Eine Ausführungsform sieht vor, dass eine zeitliche Dauer des zumindest einen Beobachtungsintervalls in Abhängigkeit von einer Dauer der Fahrt des Kraftfahrzeugs gewählt wird. Mit anderen Worten kann das Beobachtungsintervall an eine Fahrtdauer angepasst werden. Alternativ oder zusätzlich können die Beobachtungsintervalle an unterschiedliche Fahrsituationen im Verlauf der Fahrtdauer angepasst werden. So können beispielsweise kürzere Beobachtungsintervalle im Verlauf einer hohen Aktivität während der Fahrt gewählt werden. Eine hohe Aktivität kann beispielsweise im dichten Stadtverkehr erwartet werden. Andererseits können die Beobachtungsintervalle länger gewählt werden, wenn wenig Aktivität vom Fahrer zu erwarten ist. Dies kann beispielsweise während einer längeren Autobahnfahrt der Fall sein. Auf diese Weise kann eine Fahrt besonders realistisch durch die Beobachtungsintervalle repräsentiert werden.
-
Alternativ oder zusätzlich kann zu Beginn einer Fahrt ein „waches“ Beobachtungsintervall für den Fahrer aufgezeichnet werden. Diese „wache“ Vergleichshäufigkeitsverteilung der Augenöffnungsweiten kann dem Vergleich mit den im folgenden Verlauf der Fahrt aufgezeichneten oder berechneten Häufigkeitsverteilungen zugrunde gelegt werden. Dies kann nach einer Pause wiederholt werden. Hierdurch steht in vorteilhafter Weise immer eine jeweils aktuelle Vergleichshäufigkeitsverteilung für das beschriebene Erkennungsverfahren zur Verfügung.
-
Der Verlauf der Fahrt des Kraftfahrzeugs kann also eine Vielzahl an Beobachtungsintervallen umfassen. Die Beobachtungsintervalle können zeitlich direkt aufeinanderfolgen, können jedoch auch durch Pausen zeitlich voneinander beabstandet sein. Bevorzugt kann der Fahrer des Kraftfahrzeugs aktiv das beschriebene Verfahren starten, wenn er das Gefühl hat, dass seine Aufmerksamkeit nachlässt.
-
Alternativ oder zusätzlich kann eine Gewichtung der einzelnen Beobachtungsintervalle in der Ermittlung des Aufmerksamkeitsgrades erfolgen. So können die Beobachtungsintervalle beziehungsweise die im Verlauf der Beobachtungsintervalle erfassten Häufigkeitsverteilungen in Abhängigkeit von ihrer zeitlichen Abfolge unterschiedlich gewichtet werden.
-
Eine vorteilhafte Weiterbildung sieht vor, dass die Beobachtungsintervalle in Abhängigkeit von dem Zeitpunkt ihres Einsetzens bezüglich eines Beginns der Fahrt unterschiedlich gewichtet werden. So kann beispielsweise ein Beobachtungsintervall nach mehreren Stunden Fahrtdauer höher gewichtet werden, als ein Beobachtungsintervall zu Beginn der Fahrt. Hierdurch wird vorteilhaft die Sensitivität des Verfahrens in in der Regel kritischeren Fahrsituationen erhöht.
-
Eine Ausführungsform sieht vor, dass die Häufigkeitsverteilung und/oder die Vergleichshäufigkeitsverteilungen als Histogramme berechnet werden. Hierdurch ergibt sich der Vorteil, dass die Form der Histogramme einfach miteinander verglichen werden kann. Bei einem durchschnittlich aufmerksamen Fahrer kann eine linksschiefe Verteilung beobachtet werden. Mit anderen Worten können bei einem durchschnittlich aufmerksamen Fahrer viele weit geöffnete Augen und nur ein paar geschlossene Augen beobachtet werden. Dies ist in einem solchen Histogramm auf den ersten Blick zu erkennen und kann daher auch durch Bilddatenverarbeitungsprogramme ohne großen Rechenaufwand erkannt werden.
-
Die Häufigkeitsverteilung und/oder die Vergleichshäufigkeitsverteilungen können bevorzugt auch als Kerndichteschätzungen berechnet werden. Hierdurch ergibt sich ein stetiges Abbild der erfassten Augenöffnungsweiten über das jeweilige Beobachtungsintervall. Ausreißer oder fehlerhafte Messungen fallen weniger ins Gewicht, als in der Histogrammdarstellung.
-
Die Erfindung betrifft darüber hinaus ein Fahrerassistenzsystem für ein Kraftfahrzeug, das dazu ausgebildet ist, im Verlauf einer Fahrt des Kraftfahrzeugs einen aktuellen Aufmerksamkeitsgrad eines Fahrzeuginsassen zu ermitteln und in Abhängigkeit von dem aktuellen Aufmerksamkeitsgrad eine Assistenzmaßnahme auszulösen. Das Fahrerassistenzsystem kann beispielsweise einen oder mehrere Kamerasensoren umfassen, mittels derer das Gesicht des Fahrzeuginsassen, insbesondere des Kraftfahrzeugführers, erfasst werden kann. Das Fahrerassistenzsystem kann auch eine zentrale Recheneinheit umfassen, in welcher Algorithmen ausgeführt werden können, die dem zumindest einen Auge des Fahrzeuginsassen zumindest einen oberen und zumindest einen unteren Augenmesspunkt zuordnen. In der Recheneinheit des Fahrerassistenzsystems kann ebenso die Berechnung der jeweils aktuellen Augenöffnungsweiten und/oder die Berechnung der Häufigkeitsverteilung der unterschiedlichen Augenöffnungsweiten berechnet werden.
-
Das Fahrerassistenzsystem kann eine Datenbank mit Vergleichshäufigkeitsverteilungen aufweisen. Alternativ oder zusätzlich kann es vorgesehen sein, dass das Fahrerassistenzsystem auf eine zentrale Servereinrichtung zugreifen kann, wobei in dem Fall die Vergleichshäufigkeitsverteilungen durch die zentrale Servereinrichtung bereitgestellt werden können.
-
In der zentralen Recheneinheit des Fahrerassistenzsystems, insbesondere durch ein Vergleichsmodul, kann, wie oben beschrieben, ermittelt werden, welche der Vergleichshäufigkeitsverteilungen in dem zumindest einen Kriterium einen vorbestimmten Übereinstimmungsgrad mit der berechneten Häufigkeitsverteilung aufweist.
-
Das Fahrerassistenzsystem ist darüber hinaus dazu ausgebildet, die genannte Assistenzmaßnahme auszulösen. Als Assistenzmaßnahme kann, wie oben beschrieben, ein optischer und/oder akustischer Hinweis an den Fahrer des Kraftfahrzeugs erzeugt werden. Je nach Grad einer Fahrzeugautonomie (vollautonom, teilautonom) kann die Assistenzmaßnahme auch in einem Eingriff beispielsweise in eine Lenkung des Kraftfahrzeugs und/oder in eine Motorsteuerung des Kraftfahrzeugs bestehen.
-
Die Erfindung betrifft darüber hinaus ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Fahrerassistenzsystems und/oder des erfindungsgemäßen Kraftfahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind und umgekehrt. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Fahrerassistenzsystems und/oder des erfindungsgemäßen Kraftfahrzeugs hier nicht noch einmal beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Weitere Merkmale der Erfindung können sich aus der nachfolgenden Figurenbeschreibung sowie anhand der Zeichnungen ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in:
- 1 eine schematische Darstellung eines Kraftfahrzeuginsassen in einem Kraftfahrzeug mit einem Fahrerassistenzsystem;
- 2 eine schematische Darstellung eines Fahrerassistenzsystems;
- 3 eine schematische Darstellung eines Verfahrens zum Betreiben eines Fahrerassistenzsystems;
- 4 eine beispielhafte Darstellung einer ersten Häufigkeitsverteilung;
- 5 eine schematische Darstellung einer weiteren Häufigkeitsverteilung;
- 6 eine schematische Darstellung einer weiteren Häufigkeitsverteilung; und
- 7 eine schematische Darstellung einer weiteren Häufigkeitsverteilung.
-
In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 10 mit einem Fahrerassistenzsystem 12. Für eine detailliertere Beschreibung des Fahrerassistenzsystems 12 ist der Leser an die nachfolgende Figurenbeschreibung, insbesondere der 2, verwiesen. In 1 ist lediglich ein Kamerasensor 14 des Fahrerassistenzsystems 12 dargestellt, mittels dessen ein Gesicht eines Fahrzeuginsassen 16 gefilmt werden kann. Das derart gefilmte Gesicht des Fahrzeuginsassen 16 kann einer Gesichtserkennung zugrunde gelegt werden, wobei die Gesichtserkennung umfasst, dass zumindest einem Auge 18 des Fahrzeuginsassen 16 zumindest ein oberer und zumindest ein unterer Augenmesspunkt 20, 22 zugeordnet werden. Der Abstand zwischen den Augenmesspunkten 20, 22 kann eine jeweils aktuelle Augenöffnungsweite 24 des Fahrzeuginsassen 16 beschreiben. Die Augenöffnungsweite 24 kann einen beliebigen Wert zwischen einem ganz geschlossenen und einem geöffneten Auge einnehmen.
-
Unter Bezugnahme auf das im Zusammenhang mit der 1 Bezeichnete und Beschriebene, zeigt 2 eine schematische Darstellung eines Fahrerassistenzsystems 12. Das Fahrerassistenzsystem 12 kann verschiedene Sensoren 14 umfassen. Neben dem bereits oben beschriebenen Kamerasensor 14 können dies weitere Sensoren sein, die ein Befinden des Fahrzeuginsassen 16 erfassen. Hierzu können beispielsweise Sensoren gehören, die einen Blutdruck und/oder eine Herzfrequenz und/oder einen Hautwiderstand des Fahrzeuginsassen erfassen. Zwischen diesen Sensoren 14 und einer zentralen Recheneinheit 26 des Fahrerassistenzsystems 12 kann eine Datenverbindung bestehen. Über eine weitere Datenverbindung kann die Recheneinheit 26 mit einer Datenbankeinrichtung 28 verbunden sein. In der Datenbankeinrichtung 28 können Vergleichshäufigkeitsverteilungen bekannter Augenöffnungsweiten 24 hinterlegt sein. Alternativ oder zusätzlich kann eine hier nicht dargestellte Kommunikationsverbindung zwischen der Recheneinheit 26 und einer zentralen Servereinrichtung bestehen, wobei in diesem Fall Vergleichshäufigkeitsverteilungen durch die Servereinrichtung für das Fahrerassistenzsystem 12 bereitgestellt werden können.
-
In der zentralen Recheneinheit 26 kann eine Berechnung einer Häufigkeitsverteilung der unterschiedlichen Augenöffnungsweiten 24 für ein jeweiliges Beobachtungsintervall berechnet werden. Zudem kann in der zentralen Recheneinheit 26 ein Vergleich zwischen der berechneten Häufigkeitsverteilung und den Vergleichshäufigkeitsverteilungen erfolgen. Als Ergebnis des Vergleichs kann durch die Recheneinheit 26 die Ausgabe einer Assistenzmaßnahme 30 ausgelöst werden. Wie oben beschrieben, kann die Assistenzmaßnahme 30 in einem optischen und/oder akustischen Hinweis an den Fahrzeuginsassen 16 bestehen. Für den Fall eines autonomen oder zumindest teilautonomen Kraftfahrzeugs 10 kann die Assistenzmaßnahme 30 auch darin bestehen, dass ein Eingriff in eine Motorsteuerung und/oder in eine Lenksteuerung des Kraftfahrzeugs 10 ausgelöst wird.
-
Unter Bezugnahme auf die im Zusammenhang mit den 1 und 2 bezeichneten und beschriebenen Komponenten zeigt 3 eine schematische Darstellung eines Verfahrens zum Betreiben eines Fahrerassistenzsystems 12. In einem Schritt S1 wird eine Gesichtserkennung eines Gesichts eines Fahrzeuginsassen 16 durchgeführt, wobei die Gesichtserkennung umfasst, dass zumindest einem Auge 18 des Fahrzeuginsassen 16 zumindest ein oberer und zumindest ein unterer Augenmesspunkt 20, 22 zugeordnet werden. Der obere Augenmesspunkt 20 kann der oberste Augenmesspunkt des Auges 18 sein und der untere Augenmesspunkt 22 kann der unterste Augenmesspunkt des Auges 8 sein. Während einer Fahrt des Kraftfahrzeugs 10 wird im Verlauf zumindest eines Beobachtungsintervalls mehrmals eine jeweils aktuelle Augenöffnungsweite 24 des zumindest einen Auges 18 des Fahrzeuginsassen 16 als Abstand zwischen dem zumindest einen oberen und dem zumindest einen unteren Augenmesspunkt 20, 22 erfasst (Schritt S2). In einem Schritt S3 wird eine Häufigkeitsverteilung der unterschiedlichen Augenöffnungsweiten 24 für das zumindest eine Beobachtungsintervall berechnet. In einem vorangeschalteten und/oder parallelen und/oder darauffolgenden Schritt S4 werden Vergleichshäufigkeitsverteilungen bereitgestellt, wobei einer jeweiligen Vergleichshäufigkeitsverteilung ein bekannter Aufmerksamkeitsgrad zugeordnet ist. In einem Schritt S5 wird aus den Vergleichshäufigkeitsverteilungen diejenige ermittelt, die in zumindest einem Kriterium einen vorbestimmten Übereinstimmungsgrad mit der berechneten Häufigkeitsverteilung aufweist. In einem Schritt S6 wird der aktuelle Aufmerksamkeitsgrad als der der derart ermittelten Vergleichshäufigkeitsverteilung zugeordnete Aufmerksamkeitsgrad erkannt. In einem Schritt S7 wird schließlich in Abhängigkeit von dem erkannten aktuellen Aufmerksamkeitsgrad des Fahrzeuginsassen 16 eine Assistenzmaßnahme 30 ausgelöst.
-
Die 4 bis 7 zeigen schematische Darstellungen jeweils beispielhafter Häufigkeitsverteilungen. Hierbei ist jeweils auf der X-Achse eine Augenöffnungsweite 24 aufgetragen. Auf der Y-Achse ist die Anzahl N für die jeweiligen Augenöffnungsweiten 24 aufgetragen. Die Häufigkeitsverteilungen sind als Histogramme 32 und als Kerndichteschätzungen 34 dargestellt. Die einzelnen Häufigkeitsverteilungen zeigen charakteristische Formen. So sind die Häufigkeitsverteilungen der 5 und 7 einem „wachen“ Fahrzeuginsassen 16 zuzuordnen. Dies ist hieran erkenntlich, dass wenige kleine und/oder ganz geschlossene Augen und viele zumindest teilweise oder ganz geöffnete Augen abgebildet sind.
-
Die Häufigkeitsverteilung der 4 hingegen zeigt einen verstärkten Übergang hin zu vermehrt weniger weit geöffneten Augen.
-
In 6 schließlich ist eine sehr unregelmäßige Häufigkeitsverteilung dargestellt, welche auf einen verminderten Aufmerksamkeitsgrad des Fahrzeuginsassen 16 schließen lässt.
-
Die gezeigten Häufigkeitsverteilungen der 4 bis 7 geben bereits anhand ihrer qualitativen Form zuverlässig Rückschluss auf einen jeweiligen Aufmerksamkeitsgrad eines Fahrzeuginsassen 16. Ein aufwendiges Durchlaufen eines Gesichtserkennungsprogramms kann hierdurch in vorteilhafter Weise vermieden werden.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung Häufigkeitsverteilungen von Augenöffnungsweiten zur Fahrzeuginsassenüberwachung genutzt werden können.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- Fahrerassistenzsystem
- 14
- Sensor
- 16
- Fahrzeuginsasse
- 18
- Auge
- 20
- oberer Augenmesspunkt
- 22
- unterer Augenmesspunkt
- 24
- Augenöffnungsweite
- 26
- Recheneinheit
- 28
- Datenbankeinrichtung
- 30
- Assistenzmaßnahme
- 32
- Histogramm
- 34
- Kerndichteschätzung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 9662977 B2 [0004]
- US 10482333 B1 [0005]
