DE102020200221A1 - Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs - Google Patents

Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs Download PDF

Info

Publication number
DE102020200221A1
DE102020200221A1 DE102020200221.5A DE102020200221A DE102020200221A1 DE 102020200221 A1 DE102020200221 A1 DE 102020200221A1 DE 102020200221 A DE102020200221 A DE 102020200221A DE 102020200221 A1 DE102020200221 A1 DE 102020200221A1
Authority
DE
Germany
Prior art keywords
driver
model
vehicle
eye position
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020200221.5A
Other languages
English (en)
Inventor
Micha Helbig
Kevin Thiel
Anwar Shad
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102020200221.5A priority Critical patent/DE102020200221A1/de
Priority to PCT/EP2021/050021 priority patent/WO2021140069A1/de
Priority to CN202180009970.6A priority patent/CN115003539A/zh
Publication of DE102020200221A1 publication Critical patent/DE102020200221A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B60K35/50
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • B60K35/10
    • B60K35/28
    • B60K35/81
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • B60K2360/149
    • B60K2360/167
    • B60K2360/48

Abstract

Die Erfindung betrifft ein Verfahren zum Schätzen einer Augenposition (20) eines Fahrers eines Fahrzeugs (50), wobei Zustandsdaten (10) des Fahrzeugs (50) mittels mindestens eines Sensors (51) erfasst und/oder bei einer Fahrzeugsteuerung (52) abgefragt werden, wobei die erfassten und/oder abgefragten Zustandsdaten (10) des Fahrzeugs (50) einem mittels einer Recheneinrichtung (2) bereitgestellten Modell (15) für den Fahrer als Eingangsdaten zugeführt werden, und wobei die Augenposition (20) des Fahrers mittels des Modells (15) geschätzt und bereitgestellt wird. Ferner betrifft die Erfindung eine Vorrichtung (1) zum Schätzen einer Augenposition (20) eines Fahrers eines Fahrzeugs (50) und ein Fahrzeug (50) mit einer solchen Vorrichtung (1).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs. Ferner betrifft die Erfindung ein Fahrzeug mit einer solchen Vorrichtung.
  • In modernen Fahrzeugen kommen vermehrt Head-Up-Displays (HUD) zum Einsatz, bei denen Informationen in ein Sichtfeld eines Fahrers projiziert werden. Bei zukünftigen HUDs in Fahrzeugen sollen Informationen über andere Verkehrsteilnehmer räumlich direkt am Objekt dargestellt werden. Damit die angezeigten Informationen in der Darstellung direkt an einem Objekt des Umfeldes oder auf einer Fahrbahnebene angezeigt werden können, ist die Kenntnis einer Augenposition des Fahrers relativ zum Fahrzeug erforderlich. Derzeit werden die Augen des Fahrers hierzu mittels eines Sensors, beispielsweise einer Kamera, erfasst und eine aktuelle Augenposition wird auf Grundlage der erfassten Daten geschätzt. Aufgrund hoher Anforderungen und nur begrenzt zur Verfügung stehender Rechenressourcen ist eine ausgehend von einer derart geschätzten Augenposition im HUD projizierte Darstellung jedoch oft verzögert, sodass die Objekte im Umfeld des Fahrzeugs nicht mehr korrekt markiert werden können, da unerwünschte Latenzen und ein Versatz bei der Darstellung auftreten.
  • Aus der US 2018/0144483 A1 sind ein Verfahren und eine Vorrichtung zum Verfolgen der Augen eines Benutzers bekannt.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs zu verbessern.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 8 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Insbesondere wird ein Verfahren zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs zur Verfügung gestellt, wobei Zustandsdaten des Fahrzeugs mittels mindestens eines Sensors erfasst und/oder bei einer Fahrzeugsteuerung abgefragt werden, wobei die erfassten und/oder abgefragten Zustandsdaten des Fahrzeugs einem mittels einer Recheneinrichtung bereitgestellten Modell für den Fahrer als Eingangsdaten zugeführt werden, und wobei die Augenposition des Fahrers mittels des Modells geschätzt und bereitgestellt wird.
  • Ferner wird insbesondere eine Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs geschaffen, umfassend eine Recheneinrichtung, wobei die Recheneinrichtung dazu eingerichtet ist, mittels mindestens eines Sensors erfasste Zustandsdaten des Fahrzeugs und/oder bei einer Fahrzeugsteuerung abgefragte Zustandsdaten zu empfangen, ein Modell für den Fahrer bereitzustellen, die erfassten und/oder abgefragten Zustandsdaten des Fahrzeugs dem Modell für den Fahrer als Eingangsdaten zuzuführen, und die Augenposition des Fahrers mittels des Modells zu schätzen und bereitzustellen.
  • Das Verfahren und die Vorrichtung ermöglichen es, eine Augenposition des Fahrers ausgehend von Zustandsdaten des Fahrzeugs zu schätzen. Hierzu wird ein Modell des Fahrers verwendet, das auf Grundlage der Zustandsdaten des Fahrzeugs die aktuelle Augenposition schätzt. Das Modell bildet hierbei einen Einfluss des Fahrzeugs auf den Fahrer bzw. die Augenposition ab.
  • Ein Vorteil des Verfahrens und der Vorrichtung ist, dass das Schätzen der Augenposition ausgehend von den Zustandsdaten nur eine geringe Rechenleistung benötigt, da die Zustandsdaten in der Regel weniger umfangreich sind als die beim Erfassen der Augenposition anfallenden Sensordaten. Hierdurch kann die geschätzte Augenposition mit einer geringeren Verzögerung bereitgestellt werden, sodass die geschätzte Augenposition näher bei der realen Augenposition liegt.
  • Zustandsdaten können insbesondere eine Geschwindigkeit, eine Längs- und/oder Quer- und/oder Vertikalbeschleunigung, einen Lenkwinkel, eine Lenkwinkeländerung, einen Radwinkel, eine Radwinkeländerung usw. umfassen. Eine Vertikalbeschleunigung kann beispielsweise beim Überfahren einer Bremsschwelle (bzw. Fahrbahnschwelle) auftreten und aufgrund einer hieraus resultierenden Kopfbewegung starke Auswirkungen auf die Augenposition haben. Die Zustandsdaten können mittels mindestens eines Sensors erfasst werden. Alternativ oder zusätzlich können die Zustandsdaten des Fahrzeugs auch von einer Fahrzeugsteuerung des Fahrzeugs abgefragt werden, beispielsweise über einen Controller Area Network (CAN)-Bus.
  • Teile der Vorrichtung, insbesondere die Recheneinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.
  • Das Fahrzeug ist insbesondere ein Kraftfahrzeug. Prinzipiell kann das Fahrzeug jedoch auch ein anderes Land-, Wasser-, Schienen-, Luft- oder Raumfahrzeug sein.
  • In einer Ausführungsform ist vorgesehen, dass zusätzlich mindestens eine Augenposition des Fahrers mittels mindestens eines Sensors erfasst wird, wobei die erfasste mindestens eine Augenposition dem Modell ebenfalls als Eingangsdaten zugeführt wird, wobei das Schätzen der Augenposition unter Berücksichtigung der erfassten mindestens einen Augenposition erfolgt. Trotz einer auftretenden Latenz beim Berücksichtigen der erfassten Augenposition bzw. beim Schätzen einer aktuellen Augenposition ausgehend von der erfassten Augenposition kann das Schätzen der Augenposition insgesamt verbessert werden, da beim Schätzen der aktuellen Augenposition sowohl eine (latenzbehaftete) erfasste Augenposition als auch die erfassten und/oder abgefragten Zustandsdaten des Fahrzeugs berücksichtigt werden. Hierdurch kann insbesondere eine Blickrichtung verbessert berücksichtigt werden. Die Augenposition wird dann sowohl unter Berücksichtigung der über die Zustandsdaten des Fahrzeugs geschätzten Augenposition als auch der erfassten mindestens einen Augenposition geschätzt. Insbesondere kann vorgesehen sein, dass zu früheren Zeitpunkten erfasste Augenpositionen beim Schätzen berücksichtigt werden.
  • In einer Ausführungsform ist vorgesehen, dass das Modell zumindest teilweise mittels mindestens eines Verfahrens des Maschinenlernens bereitgestellt wird. Das Verfahren des Maschinenlernens umfasst insbesondere den Einsatz eines trainierten künstlichen Neuronalen Netzes. Das Neuronale Netz kann ein tiefes Neuronales Netz sein. Das Neuronale Netz erhält als Eingangsdaten die erfassten und/oder abgefragten Zustandsdaten des Fahrzeugs und schätzt als Ausgangsdaten ausgehend von diesen Eingangsdaten die Augenposition des Fahrers.
  • In einer Ausführungsform ist vorgesehen, dass das Modell zumindest teilweise mittels eines physikalischen Modells für einen Körper des Fahrers bereitgestellt wird. Das physikalische Modell des Fahrers bildet hierbei insbesondere einen physikalischen bzw. mechanischen Zusammenhang zwischen einem über die Zustandsdaten beschriebenen Zustand des Fahrzeugs und der Augenposition des Fahrers ab. So kann der menschliche Körper beispielsweise vereinfacht als über elastische Federn miteinander gekoppelte Massen modelliert werden. Die miteinander über die Federn gekoppelten Massen sind am unteren Ende über den Fahrersitz mechanisch mit dem Fahrzeug verbunden. Am oberen Ende befindet sich die Augenposition. Für dieses Modell kann zur Verdeutlichung beispielsweise eine Quer- oder Längsbeschleunigung des Fahrzeugs betrachtet werden. Aufgrund der Massenträgheit und der Kopplung über die Federn, überträgt sich eine Bewegungsänderung bzw. Beschleunigung des Fahrzeugs zeitlich verzögert auf eine Masse, die den Kopf des Fahrers repräsentiert und deren Bewegung oder Trajektorie sich auch auf die Augenposition auswirkt. Das physikalische Modell kann über ein System aus gekoppelten Differentialgleichungen mathematisch beschrieben und gelöst werden. Die Recheneinrichtung verwendet dann die Lösung, um ausgehend von den Zustandsdaten die Augenposition zu schätzen. Es können ferner auch bekannte Mensch-Modelle, wie beispielsweise das Finite-Elemente-Mensch-Modell HUMOS (Human Model for Safety; Projekt der Europäischen Union), THUMS (Total Human Model for Safety) und/oder das H-Model (ESI Group), verwendet werden. Muskelaktivierungen innerhalb eines Mensch-Modells können beispielsweise mittels des Modells von Hill (engl. Hill's muscle model) beschrieben werden.
  • Es kann vorgesehen sein, dass das physikalische Modell neben dem Körper des Fahrers weitere Komponenten beinhaltet bzw. modelliert. So kann beispielsweise auch ein Fahrersitz berücksichtigt werden, da dieser in der Regel nicht starr ausgebildet ist, sodass Bewegungen und Bewegungsänderungen des Fahrzeugs nicht sofort an den Körper des Fahrers übertragen werden, sondern eine zeitliche Verzögerung bzw. eine Dämpfung über ein elastisches Sitzpolster erfahren. Dies kann über entsprechende Dämpfungsglieder bzw. zusätzliche Federn in dem Modell berücksichtigt werden.
  • Es kann auch vorgesehen sein, ein physikalisches Modell und mindestens ein Verfahren des Maschinenlernens gemeinsam zu verwenden, um die Augenposition zu schätzen. Die jeweiligen Ergebnisse können beispielsweise gewichtet zusammengefasst und bereitgestellt werden.
  • Es kann auch vorgesehen sein, dass eine vom physikalischen Modell bereitgestellte Lösung dem mindestens einen Verfahren des Maschinenlernens, beispielsweise einem (trainierten) Neuronalen Netz, als Eingangsdaten zugeführt werden. Das mindestens eine Verfahren des Maschinenlernens, beispielsweise das (trainierte) Neuronale Netz, schätzt die Augenposition dann zumindest auch auf Grundlage der von dem physikalischen Modell bereitgestellten Lösung.
  • In einer Ausführungsform ist vorgesehen, dass Parameter des Modells mittels Trainingsdaten bestimmt werden oder bestimmt wurden, wobei die Trainingsdaten erfasste und/oder abgefragte Zustandsdaten des Fahrzeugs und jeweils zeitgleich mittels eines Sensors erfasste Augenpositionen des Fahrers umfassen. Die erfassten und/oder abgefragten Zustandsdaten und die jeweils zugehörig erfasste Augenposition sind insbesondere zeitlich zueinander synchronisiert. Die Trainingsdaten werden zum Bestimmen der Parameter des Modells verwendet. Wird das Modell mittels eines Neuronalen Netzes bereitgestellt, so wird das Neuronale Netz mittels der Trainingsdaten trainiert. Dies erfolgt beispielsweise wie folgt: Dem Neuronalen Netz werden hierzu in einer Trainingsphase die erfassten und/oder abgefragten Zustandsdaten als Eingangsdaten zugeführt. Die erfasste und zu den jeweiligen Zustandsdaten zeitlich synchronisierten Augenpositionen werden hierbei jeweils als Grundwahrheit (engl. ground truth) verwendet. Für die Trainingsdaten wird eine Abweichung einer Ausgabe (für eine gegebene Parametrierung) des Neuronalen Netzes von der jeweiligen Grundwahrheit bestimmt (der sogenannte Loss). Die hierbei verwendete Lossfunktion wird insbesondere in einer Weise gewählt, dass die Parameter des Neuronalen Netzes differenzierbar von dieser abhängen. Im Rahmen des Gradientenabstiegsverfahrens werden in jedem Trainingsschritt die Parameter des Neuronalen Netzes in Abhängigkeit der Ableitung der (auf mehreren Beispielen ermittelten) Abweichung angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich der Loss nicht mehr verringert. Das auf diese Weise (oder auf andere geeignete Weise) trainierte Neuronale Netz wird anschließend von der Recheneinrichtung zum Schätzen der Augenposition verwendet. Bei der Verwendung eines physikalischen Modells kann ausgehend von den als Trainingsdaten erfassten und/oder abgefragten Zustandsdaten des Fahrzeugs und der jeweils zeitlich hierzu synchronisierten Augenposition des Fahrers ein klassisches Parameterfitting erfolgen.
  • Das Erfassen und/oder Abfragen der Trainingsdaten kann beispielsweise auf einer hierfür vorgesehenen bzw. ausgewählten Teststrecke erfolgen. Alternativ oder zusätzlich können auch fortlaufend Trainingsdaten erfasst bzw. abgefragt werden, sodass ein fortlaufendes oder zumindest regelmäßiges Anpassen bzw. Aktualisieren des Modells möglich ist.
  • In einer Ausführungsform ist vorgesehen, dass die Parameter des Modells unter Berücksichtigung mindestens einer Fahrereigenschaft bestimmt werden oder bestimmt wurden und/oder dass das Modell unter Berücksichtigung mindestens einer Fahrereigenschaft bereitgestellt wird. Hierdurch kann das Modell speziell für bestimmte Fahrer bzw. Fahrereigenschaften bereitgestellt werden. Eine Fahrereigenschaft kann beispielsweise eine der folgenden sein: Name, Alter, Geschlecht, Größe, Gewicht, Masseverteilung, Körperbautyp/Somatotyp (z.B. ektomorph, mesomorph, endomorph) etc. Die mindestens eine Fahrereigenschaft wird dem Modell ebenfalls als Eingangsdaten zugeführt. Beim Bestimmen der Parameter wird die mindestens eine Fahrereigenschaft entsprechend als Eingangsdaten berücksichtigt.
  • In einer Ausführungsform ist vorgesehen, dass das Modell in einer Feinabstimmungsphase angepasst wird bzw. angepasst werden kann. Hierdurch können Parameter des Modells in einer ersten Trainingsphase grob bestimmt werden, um anschließend in der Feinabstimmungsphase spezifisch auf einen oder mehrere Fahrer eines Fahrzeugs feinabgestimmt zu werden. Hierdurch kann bei einem Neufahrzeug beispielsweise ein Modell bereitgestellt werden, dass die Augenposition bereits grob schätzen kann. Dieses Modell kann anfangs beispielsweise durch Angabe der mindestens einen Fahrereigenschaft parametriert werden. Nach Auslieferung des Fahrzeugs kann dann die Feinabstimmungsphase durchgeführt werden, beispielsweise indem für einen Fahrer des Fahrzeugs für eine vorgegebene Dauer Zustandsdaten des Fahrzeugs erfasst und/oder abgefragt und als Trainingsdaten gesammelt werden. Entweder zeitgleich oder in einer erneuten Trainingsphase werden die Parameter des Modells auf Grundlage der gesammelten Trainingsdaten feinabgestimmt.
  • Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
  • Weiter wird auch ein Fahrzeug geschaffen, umfassend mindestens eine Vorrichtung nach einer der beschriebenen Ausführungsformen.
  • In einer Ausführungsform des Fahrzeugs ist vorgesehen, dass das Fahrzeug ein Head Up-Display umfasst, wobei das Head Up-Display dazu eingerichtet ist, die geschätzte und bereitgestellte Augenposition als Eingangsdaten beim Erzeugen und Bereitstellen einer vom Fahrer wahrnehmbaren Darstellung zu verwenden. Insbesondere berechnet das Head-Up-Display ausgehend von der geschätzten und bereitgestellten Augenposition eine perspektivisch korrekte Darstellung für den Fahrer bzw. eine korrekte Darstellung von Informationen im Blickfeld des Fahrers.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figur näher erläutert. Hierbei zeigt:
    • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs.
  • In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Schätzen einer Augenposition 20 eines Fahrers eines Kraftfahrzeugs 50 gezeigt. Die Vorrichtung 1 ist im gezeigten Beispiel in dem Kraftfahrzeug 50 ausgebildet. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren aus.
  • Die Vorrichtung 1 umfasst eine Recheneinrichtung 2 und eine Speichereinrichtung 3. Die Speichereinrichtung 3 kann auch als Teil der Recheneinrichtung 2 ausgebildet sein. Die Recheneinrichtung 2 ist als eine Kombination von Hardware und Software ausgebildet, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Die Recheneinrichtung 2 kann auf die Speichereinrichtung 3 zugreifen und Rechenoperationen auf darin hinterlegten Daten durchführen.
  • Der Recheneinrichtung 2 werden die Zustandsdaten 10 des Kraftfahrzeugs 50 zugeführt, beispielsweise über eine hierfür eingerichtete Eingangsschnittstelle (nicht gezeigt). Die Zustandsdaten 10 werden mittels eines Sensors 51 des Kraftfahrzeugs 50 erfasst und/oder von einer Fahrzeugsteuerung 52 abgefragt und übermittelt. Zustandsdaten können insbesondere eine Geschwindigkeit, eine Längs- und/oder Querbeschleunigung, einen Lenkwinkel, eine Lenkwinkeländerung, einen Radwinkel, eine Radwinkeländerung usw. umfassen.
  • Die Recheneinrichtung 2 stellt ein Modell 15 für den Fahrer des Kraftfahrzeugs 50 bereit. Das Modell 15 beschreibt hierbei einen Zusammenhang zwischen den Zustandsdaten 10 des Kraftfahrzeugs 10 und einer Augenposition 20 des Fahrers des Kraftfahrzeugs 50 bzw. bildet einen solchen Zusammenhang ab. Die erfassten und/oder abgefragten Zustandsdaten 10 werden von der Recheneinrichtung 2 dem Modell 15 zugeführt. Mittels des Modells 15 schätzt die Recheneinrichtung 2 die Augenposition 20 des Fahrers und stellt die geschätzte Augenposition 20 bereit. Insbesondere gibt die Recheneinrichtung 2, beispielsweise über eine hierfür eingerichtete Ausgabeschnittstelle (nicht gezeigt), die geschätzte Augenposition 20 aus, beispielsweise als analoges oder digitales Augenpositionssignal. Das Augenpositionssignal umfasst insbesondere eine Augenposition in Form von dreidimensionalen Koordinaten in einem fahrzeugbezogenen Koordinatensystem.
  • Das Schätzen der Augenposition 20 wird insbesondere fortlaufend bzw. zyklisch wiederholt, sodass ausgehend von aktuellen erfassten und/oder abgefragten Zustandsdaten 10 des Kraftfahrzeugs 50 fortlaufend aktuelle Augenpositionen 20 des Fahrers geschätzt und bereitgestellt werden.
  • Es kann vorgesehen sein, dass zusätzlich mindestens eine Augenposition 11 des Fahrers mittels mindestens eines Sensors 53 erfasst wird. Die erfasste mindestens eine Augenposition 11 wird dem Modell 15 ebenfalls als Eingangsdaten 10 zugeführt wird, wobei das Schätzen der Augenposition 20 mittels des Modells 15 unter Berücksichtigung der erfassten mindestens einen Augenposition 11 erfolgt.
  • Es kann vorgesehen sein, dass das Modell 15 zumindest teilweise mittels mindestens eines Verfahrens des Maschinenlernens bereitgestellt wird. Insbesondere kann das Modell mittels eines trainierten Neuronalen Netzes bereitgestellt werden.
  • Es kann vorgesehen sein, dass das Modell 15 zumindest teilweise mittels eines physikalischen Modells 15 für einen Körper des Fahrers bereitgestellt wird. Dieses physikalische Modell umfasst insbesondere ein Beschreibung von miteinander über elastische Federn gekoppelten Massen.
  • Es kann vorgesehen sein, dass Parameter des Modells 15 mittels Trainingsdaten bestimmt werden oder bestimmt wurden, wobei die Trainingsdaten erfasste und/oder abgefragte Zustandsdaten 10 des Kraftfahrzeugs 50 und jeweils zeitgleich mittels eines Sensors 53 erfasste Augenpositionen 11 des Fahrers umfassen.
  • Es kann vorgesehen sein, dass die Parameter des Modells 15 unter Berücksichtigung mindestens einer Fahrereigenschaft 12 bestimmt werden oder bestimmt wurden und/oder dass das Modell 15 unter Berücksichtigung mindestens einer Fahrereigenschaft 12 bereitgestellt wird. Beispielsweise kann vorgesehen sein, dass ein Fahrer bei einer ersten Fahrt mit dem Kraftfahrzeug 50 seine Fahrereigenschaften 12 einstellen kann. Ausgehend von den eingestellten Fahrereigenschaften 12 werden dann Parameter des Modells 15 ausgewählt und eingestellt. Beispielsweise kann vorgesehen sein, Parameter des Modells 15 nach Fahrereigenschaften 12 sortiert in einer Datenbank zu hinterlegen und diese bei Bedarf bzw. nach dem Einstellen der Fahrereigenschaften aus der Datenbank abzufragen und das Modell 15 entsprechend zu parametrieren.
  • Es kann ferner vorgesehen sein, dass das Modell 15 in einer Feinabstimmungsphase angepasst wird bzw. angepasst werden kann. Im vorgenannten Beispiel kann dies nach dem Einstellen der Fahrereigenschaften 12 durchgeführt werden. Durch die Fahrereigenschaften 12 (z.B. Geschlecht: weiblich, Alter: 25, Größe: 1,69 m, Gewicht: 60 kg, Körperbautyp: mesomorph) wird das Modell 15 grob parametriert. Es kann hierbei vorgesehen sein, dass Parameter für das Modell 15 ausgehend von den Fahrereigenschaften 12 interpoliert oder extrapoliert werden, beispielsweise wenn für eine Fahrereigenschaft oder die Kombinationen von Fahrereigenschaften keine Parameter bekannt oder hinterlegt sind. Über die Feinabstimmungsphase werden die Parameter des Modells 15 dann auf den Fahrer abgestimmt. Hierzu werden als Trainingsdaten erneut Zustandsdaten des Kraftfahrzeugs 50 erfasst und/oder abgefragt und zeitlich synchronisierte Augenpositionen des Fahrers erfasst. Anschließend wird das Modell 15 an die erfassten Trainingsdaten angepasst. Bei der Verwendung eines Neuronalen Netzes zum Bereitstellen des Modells 15 erfolgt insbesondere ein Nachtrainieren (auch als „Finetuning“ bezeichnet).
  • Insbesondere ist vorgesehen, dass die geschätzten Augenpositionen 20 einem Head-Up-Display 54 des Kraftfahrzeugs 50 zugeführt werden. Die geschätzten und bereitgestellten Augenpositionen 20 werden von dem Head-Up-Display 54 beim Erzeugen und Bereitstellen einer vom Fahrer wahrnehmbaren Darstellung verwendet, um eine Perspektive des Fahrers zu schätzen bzw. zu berechnen.
  • Die Vorrichtung 1 und das hiermit ausgeführte Verfahren ermöglichen es, eine Augenposition 20 des Fahrers mit einer Latenzzeit zu schätzen, die gegenüber einem Erfassen und Schätzen der Augenposition auf Grundlage von Sensordaten von Sensoren, die die Augenposition erfassen, deutlich verringert ist.
  • Bezugszeichenliste
  • 1
    Vorrichtung
    2
    Recheneinrichtung
    3
    Speichereinrichtung
    10
    Zustandsdaten
    11
    erfasste Augenposition
    12
    Fahrereigenschaft(en)
    15
    Modell des Fahrers
    20
    geschätzte Augenposition
    50
    (Kraft-) Fahrzeug
    51
    Sensor
    52
    Fahrzeugsteuerung
    53
    Sensor
    54
    Head-Up-Display
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2018/0144483 A1 [0003]

Claims (10)

  1. Verfahren zum Schätzen einer Augenposition (20) eines Fahrers eines Fahrzeugs (50), wobei Zustandsdaten (10) des Fahrzeugs (50) mittels mindestens eines Sensors (51) erfasst und/oder bei einer Fahrzeugsteuerung (52) abgefragt werden, wobei die erfassten und/oder abgefragten Zustandsdaten (10) des Fahrzeugs (50) einem mittels einer Recheneinrichtung (2) bereitgestellten Modell (15) für den Fahrer als Eingangsdaten zugeführt werden, und wobei die Augenposition (20) des Fahrers mittels des Modells (15) geschätzt und bereitgestellt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zusätzlich mindestens eine Augenposition (11) des Fahrers mittels mindestens eines Sensors (53) erfasst wird, wobei die erfasste mindestens eine Augenposition (11) dem Modell (15) ebenfalls als Eingangsdaten zugeführt wird, wobei das Schätzen der Augenposition (20) unter Berücksichtigung der erfassten mindestens einen Augenposition (11) erfolgt.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Modell (15) zumindest teilweise mittels mindestens eines Verfahrens des Maschinenlernens bereitgestellt wird.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Modell (15) zumindest teilweise mittels eines physikalischen Modells für einen Körper des Fahrers bereitgestellt wird.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Parameter des Modells (15) mittels Trainingsdaten bestimmt werden oder bestimmt wurden, wobei die Trainingsdaten erfasste und/oder abgefragte Zustandsdaten (10) des Fahrzeugs (50) und jeweils zeitgleich mittels eines Sensors (53) erfasste Augenpositionen (11) des Fahrers umfassen.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Parameter des Modells (15) unter Berücksichtigung mindestens einer Fahrereigenschaft (12) bestimmt werden oder bestimmt wurden und/oder dass das Modell (15) unter Berücksichtigung mindestens einer Fahrereigenschaft (12) bereitgestellt wird.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Modell (15) in einer Feinabstimmungsphase angepasst wird bzw. angepasst werden kann.
  8. Vorrichtung (1) zum Schätzen einer Augenposition (20) eines Fahrers eines Fahrzeugs (50), umfassend eine Recheneinrichtung (2), wobei die Recheneinrichtung (2) dazu eingerichtet ist, mittels mindestens eines Sensors (51) erfasste Zustandsdaten (10) des Fahrzeugs (50) und/oder bei einer Fahrzeugsteuerung (52) abgefragte Zustandsdaten (10) zu empfangen, ein Modell (15) für den Fahrer bereitzustellen, die erfassten und/oder abgefragten Zustandsdaten (10) des Fahrzeugs (50) dem Modell (50) für den Fahrer als Eingangsdaten zuzuführen, und die Augenposition (20) des Fahrers mittels des Modells (15) zu schätzen und bereitzustellen.
  9. Fahrzeug (50), umfassend mindestens eine Vorrichtung (1) nach Anspruch 8.
  10. Fahrzeug (50) nach Anspruch 9, gekennzeichnet durch ein Head Up-Display (54), wobei das Head Up-Display (54) dazu eingerichtet ist, die geschätzte und bereitgestellte Augenposition (20) als Eingangsdaten beim Erzeugen und Bereitstellen einer vom Fahrer wahrnehmbaren Darstellung zu verwenden.
DE102020200221.5A 2020-01-09 2020-01-09 Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs Pending DE102020200221A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020200221.5A DE102020200221A1 (de) 2020-01-09 2020-01-09 Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs
PCT/EP2021/050021 WO2021140069A1 (de) 2020-01-09 2021-01-04 Verfahren und vorrichtung zum schätzen einer augenposition eines fahrers eines fahrzeugs
CN202180009970.6A CN115003539A (zh) 2020-01-09 2021-01-04 用于估计交通工具的驾驶员的眼睛位置的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020200221.5A DE102020200221A1 (de) 2020-01-09 2020-01-09 Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102020200221A1 true DE102020200221A1 (de) 2021-07-15

Family

ID=74183128

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020200221.5A Pending DE102020200221A1 (de) 2020-01-09 2020-01-09 Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs

Country Status (3)

Country Link
CN (1) CN115003539A (de)
DE (1) DE102020200221A1 (de)
WO (1) WO2021140069A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005047967A1 (de) * 2005-01-04 2006-07-13 Agilent Technologies, Inc. (n.d.Ges.d.Staates Delaware), Palo Alto Erfassen eines Auges eines Benutzers und Bestimmen von Ort und Blinzelzustand des Benutzers
DE102013205287A1 (de) * 2012-04-02 2013-10-02 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) System und Verfahren zum automatischen Anpassen von Fahrzeugspiegeln auf der Grundlage der Fahrerkopfposition
US20150098633A1 (en) * 2013-10-09 2015-04-09 Aisin Seiki Kabushiki Kaisha Face detection apparatus, face detection method, and program
EP3033999B1 (de) * 2014-12-15 2017-04-19 Aisin Seiki Kabushiki Kaisha Vorrichtung und verfahren zur bestimmung des zustands eines fahrers
DE102016214047A1 (de) * 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit einstellbarem Head-up-Display
US20180144483A1 (en) 2016-11-22 2018-05-24 Samsung Electronics Co., Ltd. Method and apparatus for tracking eyes of user and method of generating inverse-transform image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160147299A1 (en) * 2014-11-24 2016-05-26 Hyundai Motor Company Apparatus and method for displaying image of head up display
DE102015204281A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
DE102015214116A1 (de) * 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
KR20200011405A (ko) * 2016-07-01 2020-02-03 아이사이트 모빌 테크놀로지 엘티디 운전자 모니터링을 위한 시스템 및 방법
US11279279B2 (en) * 2016-12-22 2022-03-22 Sri International Driver monitoring and response system
CN110341617B (zh) * 2019-07-08 2021-05-28 北京七鑫易维信息技术有限公司 眼球追踪方法、装置、车辆和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005047967A1 (de) * 2005-01-04 2006-07-13 Agilent Technologies, Inc. (n.d.Ges.d.Staates Delaware), Palo Alto Erfassen eines Auges eines Benutzers und Bestimmen von Ort und Blinzelzustand des Benutzers
DE102013205287A1 (de) * 2012-04-02 2013-10-02 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) System und Verfahren zum automatischen Anpassen von Fahrzeugspiegeln auf der Grundlage der Fahrerkopfposition
US20150098633A1 (en) * 2013-10-09 2015-04-09 Aisin Seiki Kabushiki Kaisha Face detection apparatus, face detection method, and program
EP3033999B1 (de) * 2014-12-15 2017-04-19 Aisin Seiki Kabushiki Kaisha Vorrichtung und verfahren zur bestimmung des zustands eines fahrers
DE102016214047A1 (de) * 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit einstellbarem Head-up-Display
US20180144483A1 (en) 2016-11-22 2018-05-24 Samsung Electronics Co., Ltd. Method and apparatus for tracking eyes of user and method of generating inverse-transform image

Also Published As

Publication number Publication date
CN115003539A (zh) 2022-09-02
WO2021140069A1 (de) 2021-07-15

Similar Documents

Publication Publication Date Title
DE102012205915A1 (de) Vorrichtung zur Steuerung der Körperhaltung eines Fahrers
DE102014215258A1 (de) Verfahren und Vorrichtung zum automatischen Auswählen von Fahrmodi
DE102014218050A1 (de) Übergang von autonomer Fahrzeugsteuerung zu Fahrer-Steuerung
DE102010014076A1 (de) Verfahren zur Adaption eines Fahrverhaltens eines Fahrzeuges bei Fahrerwechsel
DE102018202146A1 (de) Verfahren zum Auswählen eines Fahrprofils eines Kraftwagens, Fahrassistenzsystem und Kraftwagen
DE102015013808A1 (de) Vorrichtung und Verfahren zur Steuerung der Dämpfung eines Fahrzeugs
DE112020001543T5 (de) Fahrzeugpositions-Detektionsvorrichtung und Parametersatz-Erzeugungsvorrichtung zur Detektion der Fahrzeugposition
DE102019106122A1 (de) Automatisiertes Fahrsystem
DE10007169A1 (de) Verfahren und Vorrichtung zur Steuerung der Darbietung von Informationen für den Fahrer eines Kraftfahrzeuges
DE102012024613A1 (de) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019204212A1 (de) Änderung der Zuordnung der Drosselklappeneingabe zur Drehmomentanforderung
WO2019081206A1 (de) Vorrichtung und verfahren zur adaptiven fahrzeugregelung
EP3278318A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
DE102020200221A1 (de) Verfahren und Vorrichtung zum Schätzen einer Augenposition eines Fahrers eines Fahrzeugs
DE102012024718A1 (de) Verfahren zum Anpassen einer Komponente eines Kraftwagens
DE102020201851B4 (de) Verfahren zum Betreiben eines Assistenzsystems, sowie Assistenzsystem
DE102018204288A1 (de) Verfahren zum Betreiben eines Fahrzeugs in einem dem Fahrzeug und/oder einem Fahrzeugfahrer unbekannten geografischen Gebiet und Verfahren zum Erstellen eines Fahrprofils für ein Fahrzeug für ein vorbestimmtes geografisches Gebiet
DE102012020855A1 (de) Verfahren zum Anpassen einer Einstellung eines Fahrzeugsitzes und Fahrzeug mit zu-mindest einem Fahrzeugsitz
DE102019131740A1 (de) Verfahren und Anzeigevorrichtung zur Erzeugung eines Tiefeneffekts in der Perspektive eines Beobachters auf einem flachen Anzeigemedium sowie Kraftfahrzeug
DE102019130172A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines automatisierten Fahrzeuges
DE102014018033A1 (de) Automatische Einstellung einer Betriebsfunktion eines Kraftfahrzeugs
DE102016206311B4 (de) Verfahren für ein Fahrzeug
DE102018217611A1 (de) Konzept zum Einstellen einer einstellbaren Komponente eines Kraftfahrzeugs
DE102015207338A1 (de) Verfahren zum Bestimmen einer Fahrqualität eines ersten Fahrers eines ersten Fahrzeuges und entsprechende Einrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication