-
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Beobachtungssystems eines Fahrers des Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1.
-
Unfallvermeidende bzw. die Folgen eines Unfalls vermindernde Systeme für Kraftfahrzeuge sind bekannt, bei denen unfallträchtige Situationen durch eine Überwachung des Kraftfahrzeugs und dessen Umfeld ermittelt und eine Eskalation der Gefahrensituation durch eine abgestufte Reaktion des Systems vermieden oder die Folgen zumindest vermindert werden. Eine hohe Unfallgefahr geht auch von dem Fahrer des Kraftfahrzeugs aus, falls dessen aktuelle Fahrfähigkeit, beispielsweise wegen Übermüdung, nachgelassen hat. Die Ermittlung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs ist daher notwendig, um ein Fahrerassistenzsystem für die Auslösung einer geeigneten Reaktion zu veranlassen und damit für eine Verringerung des Unfallrisikos Sorge zu tragen. Um den Grad der Fahrfähigkeit eines Fahrers zu ermitteln, müssen geeignete Merkmale des Fahrers detektiert und beurteilt werden. Derartige Fahrermerkmale können beispielsweise aus der Bewegung und der Aktivität des Fahrers, seiner Mimik und/oder seinem Fahrverhalten extrahiert werden.
-
So ist aus der Druckschrift
DE 10 2010 044 449 A1 ein Verfahren zu Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums bekannt, wobei die Fahrerbeobachtungskamera den Kopf des Fahrers erfasst und Bilddaten des Fahrerkopfes in zeitlicher Folge bereitstellt. Dabei erfasst die Innenraumkamera zumindest teilweise den Körper des Fahrers und stellt Bilddaten des Körpers in zeitlicher Folge bereit. Aus den Fahrerkopfbilddaten und den Körperbilddaten werden vorgegebene Fahrerparameter extrahiert und deren zeitliche Abfolge bestimmt, so dass für jeden Fahrerparameter ein Bewegungsvektor gebildet wird, wobei jeder Bewegungsvektor als Funktion der zeitlichen Entwicklung bewertet und der Grad der Fahrfähigkeit des Fahrers als Ergebnis der Bewertung ermittelt wird.
-
Die dabei verwendete Innenraumkamera muss naturgemäß kalibriert sein, um vertrauenswürdige Daten über den Fahrer zu liefern, damit die Fahrfähigkeit des Fahrers ausreichend sicher erkannt werden kann.
-
Dazu prüft zu Beginn und/oder während der Fahrt das Kamerasystem zur Beobachtung des Fahrers, ob eine erneute Kalibrierung des Systems notwendig ist. Bei einer nicht mehr ausreichenden Güte der Kalibrierung wird der Fahrer auf mögliche Fehlfunktionen, verlängerte Reaktionszeiten sowie weitere Schwierigkeiten des Fahrerbeobachtungssystems hingewiesen, die aus einer unzureichenden Kalibrierung resultieren. Die Applikation bzw. das entsprechende Fahrassistenzsystem, das auf den Signalen bzw. Ergebnissen der Fahrerbeobachtungskamera beruht, geht dabei in einen Grundzustand über, der eine geringe Abhängigkeit von den Kameraergebnissen aufweist.
-
Aus der Druckschrift
DE 10 2004 028 090 A1 ist ein Verfahren zur Kalibrierung eine Sensorik zur Fahrzeuginnenraumüberwachung bekannt, bei dem zur Kalibrierung der Sensorik der räumliche Abstand zwischen aktuell gemessenen 3D-Messpunkten mit abgelegten 3D-Oberflächendaten von ausgewählten Objekten des Fahrzeuginnenraums ermittelt wird. Dazu werden 3D-Oberflächendaten der ausgewählten Objekten des Fahrzeuginnenraums direkt oder nach Erzeugen einer Disparitätskarte zur Kalibrierung der Sensorik verwendet. Durch die 3D-Oberflächendaten ist die geometrische Lage der ausgewählten Objekte im Fahrzeuginnenraum bekannt und kann mit der von der Sensorik ermittelten geometrischen Lage zur Generierung von Kalibrierparametern verglichen werden. Allerdings kann mit diesem bekannten Verfahren keine Kalibrierung einer Fahrerbeobachtungskamera durchgeführt werden.
-
Bei allen derzeitigen kamerabasierten Fahrerbeobachtungssystemen kommt es speziell bei Brillen- oder Vollbartträgern wiederholt zu falschen Kopfmodellen, mit anderen Worten zu einer Falschmarkierung von relevanten Gesichtspunkten. Dies führt zu einer fehlerhaften Ausgabe der Signale, wie beispielsweise Augenöffnungsgrad, Kopfposition, etc., und in der Folge zu einer Fehlfunktion auf diesen Signalen basierender Assistenz- und Komfortsysteme.
-
Der Erfindung liegt daher die Aufgabe zugrunde, die Funktionalität eines Systems zur Beobachtung eines Fahrers eines Kraftfahrzeugs zu verbessern.
-
Diese Aufgabe wird durch ein Verfahren zur Kalibrierung eines Kamerasystems zur Beobachtung eines Fahrers eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
-
Das erfindungsgemäße Verfahren zur Kalibrierung eines Systems zur Beobachtung des Kopfes des Fahrers eines Kraftfahrzeugs, wobei die Kalibrierung anhand von Kalibrierungsmarkierungen eines Kopfmodells des Fahrers erfolgt, weist die folgenden Schritte auf:
- – Überprüfen der aktuellen Kalibrierung des Fahrerbeobachtungssystems zumindest zu Beginn einer Fahrt des Kraftfahrzeugs, und
- – Durchführen einer Kalibrierung des Systems in einer den Fahrbetrieb des Kraftfahrzeugs nicht gefährdenden Situation, falls der Überprüfungsschritt eine unzureichende Kalibrierung und die Notwendigkeit einer erneuten Kalibrierung feststellt.
-
Die Bestimmung der Notwendigkeit eine erneuten Kalibrierung erfolgt dabei vorzugsweise aufgrund
- – eines internen berechneten Gütewerts, der überprüft, mit welcher Wahrscheinlichkeit von der Bildverarbeitung im Fahrergesicht gefundene Merkmale an der vermuteten Stelle vorhanden und von System erkannt werden, und/oder
- – der Erkennung eines fahrzeuginternen Systems, ob Eingaben des Fahrers mit den vermuteten Aktionen zusammenpassen und eine Aktion des Fahrers zum vermuteten Ergebnis führt, und/oder
- – einer internen logischen Überprüfung des Zustandes des Fahrers im Fahrbetrieb, und/oder
- – einer manuellen Anforderung einer Neukalibrierung seitens des Fahrers.
-
Weiter bevorzugt ermittelt die interne logische Überprüfung des Fahrerzustandes, ob die bestehende Kalibrierung in regelmäßigen Abständen einen Lidschlag und/oder ein Bewegen des Kopfes des Fahrers in einem typischen Muster bei bestimmten Aktionen feststellt.
-
Ist dies nicht der Fall, so ist mit hoher Wahrscheinlichkeit das Kopfmodell des Beobachtungssystems falsch, mit anderen Worten die Kalibrierungsmarkierungen im Gesicht des Fahrers, welche insbesondere den Mund, die Augen und die Nase beschreiben, sind fehlerhaft.
-
Vorzugsweise erfolgt bei einer unzureichenden Kalibrierung des Beobachtungssystems eine Warnung an den Fahrer, mit der dieser auf mögliche Konsequenzen der unzureichenden Kalibrierung hingewiesen wird. Diese Konsequenzen können beispielsweise Fehlfunktionen nachgeschalteter Assistenzsysteme sein, die von den Daten des Beobachtungssystems abhängig sind.
-
Weiter bevorzugt erfolgt die erneute Kalibrierung des Beobachtungssystems durch die Ausgabe von Handlungsaufforderungen an den Fahrer, die dieser zur Durchführung der Kalibrierung beachten muss. So kann beispielsweise das Beobachtungssystem dem Fahrer mitteilen, auf welche Kalibrierungspunkte am oder im Fahrzeug oder im Cockpit er schauen soll.
-
Dabei können beispielsweise folgende Kalibrierungspunkte in Betracht kommen:
- – markante Punkten im Fahrzeuginnenraum, die vor dem Fahrer positioniert sind,
- – LED-Lichtleiste auf der Oberseite des Kombiinstruments,
- – LEDs in Außenspiegeln,
- – Digitale Anzeigen im Kombiinstrument und/oder in der Mittelkonsole,
- – Anzeigen im Headup-Display und
- – markante Punkte vor dem Fahrzeug, die durch eine geeignete Außensensorik erkannt und klassifiziert wurden.
-
Vorzugsweise wird der Fahrer nacheinander zum Anschauen der Kalibrierungspunkte aufgefordert und die Ausführung der Aufforderung seitens des Fahrers bestätigt.
-
Weiter bevorzugt kann die erneute Kalibrierung adaptiv erfolgen. Dabei kann mit Hilfe einer Gesichtsbiometrie oder durch eine Eingabe der Fahreridentität eine Erkennung des Fahrers erfolgen und die Kalibrierungsprozedur an den erkannten Fahrer angepasst werden. Ferner kann weiter bevorzugt die Kalibrierungshistorie des jeweiligen Fahrers bei der erneuten Kalibrierung berücksichtigt werden.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
-
1 ein Fahrergesicht in verschiedenen Aufnahmesituationen mit zugehörigen Kalibrierungsmarken, und
-
2 eine Möglichkeit der Kontrolle der Kalibrierung durch den Fahrer.
-
1 zeigt Beispiele a bis e eines Kopfmodells für den Kopf 2 eines Fahrers, wobei das Kopfmodell durch Kalibrierungsmarkierungen 3 gebildet wird, die durch zwei Markierungen den Mund des Fahrers, durch zwei weitere Markierungen die Nase, hier die Nasenlöcher, und durch jeweils zwei weitere Markierungen für jedes Auge des Fahrers die Lage wesentlicher Bestandteile des Gesichts des Fahrers im Modell beschreiben.
-
Im Beispiel a der 1 können aus der Beobachtung des Kopfes 2 des Fahrers keine Kalibrierungsmarkierungen 3 entnommen werden, da das Gesicht teilweise verdeckt ist. Dies kann durch eine Armbewegung des Fahrers erfolgt sein oder die Beobachtungskamera (nicht dargestellt) ist, aus welchen Gründen auch immer, verdeckt.
-
Im Beispiel b der 1 können die Kalibrierungsmarkierungen 3 der Beobachtung des Gesichts des Fahrerkopfes 2 entnommen werden. Da die Kalibrierungsmarkierungen 3 im Beispiel b dort liegen, wo sich auch der Mund, die Nase und die Augen des Fahrers befinden, ist die Kalibrierung und damit das Kopfmodell in Ordnung.
-
Das Beispiel c der 1 entspricht der Situation des Beispiels a. Auch hier ist das Gesicht des Fahrerkopfes 2 teilweise verdeckt, so dass keine Kalibrierungsmarkierungen 3 im Gesicht des Fahrers zu erkennen sind.
-
Im Beispiel d der 1 sind die Kalibrierungsmarkierungen 3 des Fahrerkopfes 2 deutlich zu erkennen und sie beschreiben auch an den richtigen Positionen die entsprechenden Gesichtsmerkmale Mund, Nase und Augen des Fahrerkopfes 2. Folglich ist auch in diesem Fall die Kalibrierung in Ordnung.
-
Deutlich ist im Beispiel e der 1 zu erkennen ist, dass die Kalibrierungsmarkierungen 3 des Gesichts des Fahrerkopfes 2 nicht mit den Gesichtsmerkmalen Mund, Nase und Auge des Gesichts des Fahrerkopfes 2 zusammenfallen, sondern beträchtlich von den Positionen der Gesichtsmerkmale abweichen. Mit anderen Worten, die Kalibrierung des Beobachtungssystem ist unzureichend und es muss eine erneute Kalibrierung durchgeführt werden.
-
Wie bereits erwähnt, kommt es bei allen erhältlichen kamerabasierten Fahrerbeobachtungssystemen speziell bei Brillen- oder Vollbartträgern wiederholt zu falschen Kopfmodellen, also zu einer Falschmarkierung von relevanten Gesichtspunkten. Dies führt zu einer fehlerhaften Ausgabe der Signale wie Augenöffnungsgrad, Kopfposition, etc. und in der Folge zu einer Fehlfunktion der Assistenz- und Komfortsysteme, die von diesen Informationen abhängen.
-
Zu Beginn und/oder während der Fahrt prüft daher das Fahrerbeobachtungskamerasystem, ob eine erneute Kalibrierung des Systems erforderlich ist.
-
Wenn dies der Fall ist, weist das Fahrzeugsystem auf eine erforderliche erneute Kalibrierung hin, beispielsweise über Displayanzeigen oder Sprachausgabe, und gibt eine qualitative oder quantitative Information zur bisherigen Güte der aktuellen Kalibrierung und eine Empfehlung wie dringend eine erneute Kalibrierung vom Fahrer durchgeführt werden sollte. Die Bestimmung der Notwendigkeit geschieht über
- – einen internen berechneten Gütewert, der überprüft, mit welcher Wahrscheinlichkeit von der Bildverarbeitung im Fahrergesicht gefundene Merkmale an der vermuteten Stelle vorhanden und von System erkannt werden,
- – die Erkennung des fahrzeuginternen Systems, ob Eingaben des Fahrers mit den vermuteten Aktionen zusammenpassen und eine Aktion des Fahrers zum vermuteten Ergebnis führt,
- – eine interne logische Überprüfung des Zustandes im Fahrbetrieb, indem beispielsweise überprüft wird, ob die bestehende Kalibrierung des Fahrers in regelmäßigen Abständen einen Lidschlag detektiert oder ob sich der Kopf in einem typischen Muster in bestimmten Aktionen bewegt, etc.. Ein Ausbleiben des Lidschlags für mehrere Minuten deutet auf eine falsche Erkennung der Kalibrierungsmarkierungen hin, ebenso kann bei einer Lenkraddrehung und eine damit einhergehende Kameraverdeckung keine Markierung des Kopfmodells gefunden werden, oder
- – eine manuelle Eingabe des Fahrers betreffend eine Neukalibrierung.
-
Bei einer nicht mehr ausreichenden Güte der Kalibrierung wird der Fahrer auf mögliche Fehlfunktionen, verlängerte Reaktionszeiten sowie weitere Schwierigkeiten des Fahrerbeobachtungskamerasystems hingewiesen, die aus einer unzureichenden Kalibrierung resultieren. Dies erfolgt gegebenenfalls situativ-adaptiv als Funktion der vom Fahrer genutzten Applikationen und der vorliegenden Situation. Die aktive Applikation, die auf Signalen der Fahrerbeobachtungskamera beruht, geht dabei in einen Grundzustand über, der eine geringe Abhängigkeit von Werten der Fahrerbeobachtung aufweist.
-
Die erneute Kalibrierung des Fahrerbeobachtungskamerasystems kann durch den Fahrer über eine Benutzungsschnittstelle oder eine Spracheingabe separat gestartet werden oder der Start der Kalibrierungsapplikation wird dem Fahrer in einer dafür geeigneten, den Fahrbetrieb nicht gefährdenden Situation automatisch angeboten.
-
Das Fahrzeugsystem gibt über Sprachausgaben und/oder Anzeigen von Fahrerinformationen entsprechende Handlungsaufforderungen an den Fahrer aus, die dieser für die Durchführung einer richtigen Kalibrierung beachten muss. Das Fahrzeugsystem teilt dem Fahrer beispielsweise über Sprachausgaben und/oder Anzeigen mit, auf welche Punkte der Fahrer am oder im Fahrzeug bzw. im Cockpit schauen soll. Dem Fahrer werden zur Kalibrierung sowohl am Fahrzeug fest vorhandenen Kalibrierungspunkte als auch variable durch das Fahrzeugsystem angezeigte Kalibrierungspunkte über die Anzeigeflächen wie Displays, Beamer und LED gegebenenfalls adaptiv vorgegeben. Hierbei eignen sich insbesondere eine LED-Laufleiste auf der Oberseite des Kombiinstrumentes, fixe Punkte vor dem Fahrzeug, die über eine nach vorne schauende Kamera erfasst und dem Fahrer zur Kalibrierung angezeigt oder angesagt werden oder auch über ein Head-Up-Display definierte Punkte. Hierbei eignen sich insbesondere Methoden und Kalibrierungsabläufe, die nicht vom normalen Handeln im Fahrzeug abweichen, indem beispielsweise Punkte im Fahrzeuginnenraum verwendet werden, die in den Nutzungsablauf des Fahrers integriert sind.
-
Der Kalibrierungsvorgang kann beispielsweise mittels einer Sprachausgabe mit geeignet eingelegten Anweisungspausen erfolgen. So kann eine Sprachausgabe beispielsweise wie folgt ablaufen:
- – "Schauen Sie bitte der Reihe nach auf die im Folgenden genannten Punkte:
- – auf die Mitte vom MFA,
- – auf die Mitte vom Tachoinstrument,
- – auf das Icon für Scheinwerferlicht im Kombi,
- – auf das äußere Ende des linken Spiegels,
- – auf das äußere Ende des rechten Spiegels, ...".
-
Der Kalibrierungsvorgang kann auch über Displayanzeigen im Cockpit erfolgen, indem auf diesen eine Auflistung der Punkte erfolgt, auf die der Fahrer schauen soll. Weiterhin können auch unterstützend diese Punkte an einem schematisch dargestellten Fahrzeug dargestellt werden, beispielweise in einer ablaufenden Simulation. Töne können jeweils zur Aufforderung zum Anschauen des nächsten Punktes eingesetzt werden. Weiterhin können auch Kalibrierungspunkte über die Displays und weitere Anzeigeflächen im Fahrzeug angezeigt werden, beispielsweise über Beamer und LEDs. Wenn der Fahrer jeweils richtig auf den genannten bzw. angezeigten Kalibrierungspunkt gesehen hat, erfolgt eine Bestätigung bzw. eine Aufforderung auf den nächsten Punkt zu schauen.
-
Die Kalibrierung kann vom System jeweils adaptiv erfolgen. So kann beispielsweise die Anzahl der Punkte, die der Fahrer ansehen soll, je nach bisheriger Güte der Kalibrierung und erforderlichen Anpassungen oder je nach gewünschtem Aufwand der Kalibrierungsprozedur des Fahrers unterschiedlich sein. Weiterhin kann der Fahrer mit Hilfe der Gesichtsbiometrie, mit Hilfe weiterer biometrischer Verfahren, durch Spracheingabe des Identifikationsnamens des Fahrers oder manuelle Eingabe über die Benutzerschnittstelle identifiziert werden. Aufgrund der Identifikation können auf den Fahrer angepasste Kalibrierungsprozeduren ablaufen oder sein altes Kalibrierungsprofil sowie manuell markierte Gesichtsmerkmale aufgerufen werden. Ferner kann die interne Bildverarbeitung zusätzlich spezifische Merkmale des Fahrers, wie Brille, Sonnenbrille, spezifische Augenmerkmale, wie Unregelmäßigkeiten eines Auges bei Personen, Gesichtsmerkmale, Alter, Geschlecht und Ethnizität, beispielsweise über die Augenform sowie Reflektionscharakteristika der Haut, finden, die bei der Kalibrierung berücksichtigt werden. Weiterhin kann eine Kalibrierungshistorie zu diesem Fahrer sowie gespeicherte Vorlieben des Fahrers zur Kalibrierung berücksichtigt werden.
-
Durch die vom Fahrzeugsystem adaptiv gesteuerte Kalibrierung kann die vollautomatische Kalibrierung des Fahrerbeobachtungskamerasystems, die durch den Zulieferer mitgeliefert wird, verbessert und ergänzt werden bzw. in speziellen Fällen ersetzt werden, beispielsweise wenn die vollautomatische Kalibrierung bei einer konkreten Person nicht funktioniert bzw. zu ungenau ist.
-
Geeignete Punkte, sogenannte Kalibrierungspunkte, auf die der Fahrer schauen sollte, sind:
- – Anordnung von markanten Punkten im Fahrzeuginnenraum, die vor dem Fahrer positioniert sind,
- – LED-Lichtleiste auf der Oberseite des Kombiinstruments, wie sie bei der Fußgängerwarnung-/Pre-Crash-Funktion verwendet wird,
- – LEDs in Außenspiegeln, die beispielsweise beim Spurwechselassistenten eingesetzt werden,
- – Digitale Anzeigen im Kombiinstrument und/oder in der Mittelkonsole,
- – Anzeigen im Headup-Display, und
- – markante Punkte vor dem Fahrzeug, die durch eine geeignete Außensensorik erkannt und klassifiziert wurden.
-
Ein Beispiel für einen Kalibrierungsablauf einer erneuten Kalibrierung ist wie folgt:
- – Prüfung und/oder Anpassung der Kalibrierung vor jeder Fahrt, gegebenenfalls in Abhängigkeit der durch biometrische Erkennungssystem erkannten Person und deren bereits erkannte Gesichtsmerkmale oder gewünschten Kalibrierungspunkte,
- – Prüfung und/oder Anpassung der Kalibrierung in regelmäßigen Abständen, und
- – Anpassung der Kalibrierung an durch das Bildverarbeitungssystem erkannte Änderungen an der Person wie andere Brille, Frisur, Gesichtsbehaarung, etc..
-
Als Kalibrierungsmethoden kommen in Frage:
- – Überlagerung von Bildern zur Anzeige der vermuteten Punkte in einem schematischen Bild, beispielsweise durch Verschieben der Punkte über Touchscreen und/oder Dreh-Drück-Steller,
- – Speicherung der Kalibrierungsprofile über biometrische Anwendung, und
- – Ausgeben einer Empfehlung für definierte Typen, wie Kombination aus Gesichtsform, Augenform, Gesichtsbehaarung, Verwendung Brille/Sonnenbrille sowie Sitzposition.
-
2 zeigt eine Kontrolle der Kalibrierungsmarkierungen nach der erneuten Kalibrierung, welche empfehlenswert ist. In einer Anzeige 1 wird im oberen Teil a der Kopf 2 des Fahrers von dem Beobachtungssystems dargestellt. Im unteren Teil b sind ermittelte Kalibrierungsmarkierungen 3 zum Aufleuchten gebracht, so dass der Fahrer überprüfen kann, ob dies Kalibrierungsmarkierungen mit seinen Gesichtsmerkmalen übereinstimmen. Stimmen die Merkmale 3 überein, so wird der Kalibrierung seitens des Fahrers zugestimmt. Trifft dies nicht zu, so muss die Kalibrierung fortgesetzt werden oder die Kalibrierungsmarkierungen 3 werden vom Fahrer mittels Verschieben der Markierungen über den Touchscreen oder über entsprechende Dreh-Drück-Steller platziert bzw. korrigiert.
-
Bezugszeichenliste
-
- 1
- Display
- 2
- Kopfdarstellung
- 3
- Kalibrierungsmarkierungen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010044449 A1 [0003]
- DE 102004028090 A1 [0006]
