DE102017214546A1 - Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem - Google Patents

Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem Download PDF

Info

Publication number
DE102017214546A1
DE102017214546A1 DE102017214546.3A DE102017214546A DE102017214546A1 DE 102017214546 A1 DE102017214546 A1 DE 102017214546A1 DE 102017214546 A DE102017214546 A DE 102017214546A DE 102017214546 A1 DE102017214546 A1 DE 102017214546A1
Authority
DE
Germany
Prior art keywords
characteristic value
determined
vehicle
rest
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017214546.3A
Other languages
English (en)
Other versions
DE102017214546B4 (de
Inventor
Joris Wolters
Florian Bade
Moritz Blume
Martin Buchner
Julia Niemann
Michael Wolfram
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102017214546.3A priority Critical patent/DE102017214546B4/de
Priority to CN201880046821.5A priority patent/CN110892307B/zh
Priority to PCT/EP2018/062668 priority patent/WO2019037906A1/de
Publication of DE102017214546A1 publication Critical patent/DE102017214546A1/de
Priority to US16/796,706 priority patent/US11640199B2/en
Application granted granted Critical
Publication of DE102017214546B4 publication Critical patent/DE102017214546B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0085—Setting or resetting initial positions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road

Abstract

Es wird ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug sowie ein korrespondierendes Assistenzsystem angegeben, welches eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts umfasst, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs. Bei dem Verfahren wird ein Kalibrierungskennwert bereitgestellt, der repräsentativ ist für eine Ruheblickrichtung eines Normfahrers; es wird wenigstens ein initialer Richtungskennwert ermittelt abhängig dessen ein Ruhekennwert ermittelt wird, der repräsentativ ist für eine Ruheblickrichtung des Fahrers; weiterhin wird abhängig von dem Ruhekennwert ein Transformationskennwert ermittelt, der repräsentativ ist für eine Transformation zwischen dem Ruhekennwert und dem Kalibrierungskennwert; schließlich werden abhängig von dem Transformationskennwert nachfolgend ermittelte Richtungskennwerte korrigiert. Weiterhin wird ein korrespondierendes Assistenzsystem angegeben.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug sowie ein korrespondierendes Assistenzsystem, Computerprogramm und Computerprogrammprodukt.
  • Heutige Assistenzsysteme zur Erfassung einer visuellen Aufmerksamkeit des Fahrers können beispielsweise einen Kamerasensor umfassen, der eine Kopfpose, Blickrichtung und/oder -position eines Benutzers erfasst, beispielsweise anhand von Gesichtsmerkmalen.
  • Ein hierbei verwendetes Kopfmodell beruht meist auf spezifischen anatomischen oder physiologischen Merkmalen wie Augen-, Mundwinkeln, Nasenspitze, deren Relation zueinander über verschiedene Kopftypen hinweg generell unterschiedlich ist. Bei Bestimmung der Blickrichtung und/oder Kopfpose können daher Fehler auftreten, die die Erfassung der Aufmerksamkeit des Fahrers beeinträchtigen.
  • Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug sowie ein korrespondierendes Assistenzsystem zu schaffen, das nutzerübergreifend eine präzise Erfassung der Aufmerksamkeit des Fahrers erlaubt.
  • Die Aufgabe wird gelöst durch die unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
  • Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug. Das Assistenzsystem umfasst dabei eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs.
  • Bei dem Verfahren wird ein Kalibrierungskennwert bereitgestellt, der repräsentativ ist für eine Ruheblickrichtung eines Normfahrers; es wird wenigstens ein initialer Richtungskennwert ermittelt abhängig dessen ein Ruhekennwert ermittelt wird, der repräsentativ ist für eine Ruheblickrichtung des Fahrers; weiterhin wird abhängig von dem Ruhekennwert und dem Kalibrierungskennwert ein Transformationskennwert ermittelt, der repräsentativ ist für eine Transformation zwischen dem Ruhekennwert und dem Kalibrierungskennwert; schließlich werden abhängig von dem Transformationskennwert nachfolgend ermittelte Richtungskennwerte korrigiert.
  • In vorteilhafter Weise ermöglicht dies eine genauere Messung der Blickrichtung als dies ohne Kalibrierung bzw. Anpassung auf die individuelle Anatomie des entsprechenden Fahrers möglich ist. Damit können z.B. mit größerer Genauigkeit Aussagen darüber getroffen werden, wo der Fahrer hinschaut, welche Objekte vom Fahrer fokussiert werden und/oder wo seine visuelle Aufmerksamkeit liegt. Insbesondere kann so eine erhöhte Qualität für Aussagen gewährleistet werden, ob der Fahrer bezogen auf eine Fahrsituation angemessen aufmerksam ist.
  • Hierbei wird insbesondere die Erkenntnis genutzt, dass die Relation vorgenannt spezifisch anatomischer oder physiologische Merkmale zueinander über verschiedene Kopftypen hinweg generell unterschiedlich ist und es bei der Bestimmung vor allem der Kopfhorizontalen zu intraindividuell relativ konstanten Abweichungen kommt. Durch die Kalibrierung gemäß dem ersten Aspekt kann bei Bewertung der vertikalen Ausrichtung („pitch“ oder Neigung) eine Diskrepanz zwischen realem Aufmerksamkeitsbereich (in dem ein Blickwinkel des Fahrers tatsächlich liegt) und gemessener Kopfneigung (und einem davon abgeleiteten Aufmerksamkeitsbereich) verringert werden. Dadurch kann eine besonders präzise Erfassung der visuellen Aufmerksamkeit gewährleistet werden.
  • Bei der Sensoreinrichtung kann es sich insbesondere um eine Kamera handeln. Der Richtungskennwert beschreibt insbesondere eine Kopfpose des Fahrers. Die Kopfpose umfasst beispielsweise eine Neigung des Kopfes des Fahrers. Alternativ oder zusätzlich kann die Kopfpose auch eine Drehung („yaw“) des Kopfes umfassen. Beispielhaft kann die Kopfpose über einen Nasenvektor beschrieben werden. Je Kalibrierungsvorgang bzw. Ermittlung des Transformationskennwerts können beispielsweise zwischen 1 und 10000, insbesondere 5000 initiale Richtungskennwerte ermittelt werden.
  • Unter einer Ruheblickrichtung wird insbesondere eine Blickrichtung bzw. Kopfpose verstanden, die ein Fahrer beim „geradeaus schauen“ annimmt. Beispielsweise kann es sich hierbei um eine gemittelte Blickrichtung bzw. Kopfpose im Normbetrieb des Fahrzeugs handeln. Als Ruheblickrichtung eines Normfahrers wird insbesondere eine ermittelte oder geschätzte Durchschnittsruheblickrichtung einer Vielzahl an Vergleichspersonen bezeichnet.
  • Bei dem Transformationskennwert kann es sich beispielhaft um eine Transformationsmatrix handeln. Alternativ kann der Transformationskennwert auch einen Offset beschreiben, welcher von nachfolgenden Richtungskennwerten subtrahiert wird.
  • In einer vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird der Ruhekennwert einmalig in einem vorgegebenen Zeitfenster ermittelt. Beispielsweise wird der Ruhekennwert einmalig zu jedem Fahrbeginn ermittelt.
  • Alternativ wird der Ruhekennwert jeweils in vorgegebenen beabstandeten Zeitfenstern ermittelt. Beispielsweise kann der Ruhekennwert im Abstand von einer bis mehreren Stunden jeweils erneut ermittelt werden. In vorteilhafter Weise kann das Assistenzsystem so auf eine Veränderung der Sitzhaltung des Fahrers bei längeren Fahrten angepasst werden. Die in diesem Zusammenhang ermittelten initialen Richtungskennwerte können zur Ermittlung des jeweils aktuellen Ruhekennwerts beispielhaft akkumuliert, beispielhaft gemittelt werden. Alternativ können vorige initiale Richtungskennwerte bei Ermittlung des jeweils aktuellen Ruhekennwerts verworfen werden. In diesem Zusammenhang ist denkbar, vorige initiale Richtungskennwerte zur Plausibilisierung des jeweils aktuellen Ruhekennwerts zu verwenden. Auch eine (laufende) Mittelung der ermittelten Ruhekennwerte ist denkbar.
  • In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird der Ruhekennwert ferner abhängig von einem oder mehreren folgender Parameter ermittelt:
    • - aktuelle Geschwindigkeit des Fahrzeugs,
    • - aktuelle Lenkwinkel und/oder Gierrate des Fahrzeugs,
    • - aktuelle Abweichung des Richtungskennwerts von dem Kalibrierungskennwert
    • - aktuell befahrener Straßentyp.
  • Beispielhaft beträgt eine Mindestgeschwindigkeit zur Ermittlung des Ruhekennwerts 10 m/s. Alternativ oder zusätzlich beträgt beispielhaft ein minimaler Kurvenradius des Fahrzeugs zur Ermittlung des Ruhekennwerts mehr als 50m bis 500m; insbesondere kann das Fahrzeug auch geradeaus fahren. Alternativ oder zusätzlich beträgt beispielhaft eine maximale Gierrate des Fahrzeugs zur Ermittlung des Ruhekennwerts 1/100 rad/s. Alternativ oder zusätzlich beträgt beispielhaft eine maximale Drehung des Kopfes des Fahrers zur Ermittlung des Ruhekennwerts zwischen 5° und 10°; ob eine Drehung des Kopfes die maximale Drehung übersteigt kann beispielsweise abhängig von einer Abweichung des Richtungskennwerts von dem Kalibrierungskennwert ermittelt werden. Alternativ oder zusätzlich erfolgt eine Ermittlung des Ruhekennwerts abhängig von einem gerade befahrenen Straßentyp; so wird der Ruhekennwert beispielsweise nicht ermittelt, wenn sich das Fahrzeug in einer Ortschaft befindet; der Ruhekennwert wird beispielsweise ausschließlich bei Befahren einer Autobahn ermittelt.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung ein Assistenzsystem für ein Fahrzeug. Das Assistenzsystem umfasst eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs. Weiterhin umfasst das Assistenzsystem eine Steuereinheit, die eingerichtet ist das Verfahren gemäß dem ersten Aspekt durchzuführen.
  • Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm zum Betreiben eines Assistenzsystems. Das Computerprogramm ist ausgebildet, ein Verfahren gemäß dem ersten Aspekt bei seiner Ausführung auf einer Datenverarbeitungsvorrichtung durchzuführen.
  • Gemäß einem vierten Aspekt betrifft die Erfindung ein Computerprogrammprodukt umfassend ausführbaren Programmcode. Der Programmcode führt bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren gemäß dem ersten Aspekt aus.
  • Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnung näher erläutert.
  • 1 zeigt ein beispielhaftes Ablaufdiagramm eines Verfahrens zum Betreiben eines erfindungsgemäßen Assistenzsystems. Bei dem Assistenzsystem kann es sich beispielhaft um eine Vorrichtung zur Erfassung einer visuellen Aufmerksamkeit des Fahrers handeln, welche eingerichtet ist, eine Kopfpose des Fahrers zu detektieren und abhängig davon weitere Schritte einzuleiten. Beispielhaft kann die ermittelte Kopfpose genutzt werden, um die Aufmerksamkeit des Fahrers zu überwachen und ggf. Warnungen auszusprechen. Alternativ oder zusätzlich kann die ermittelte Kopfpose genutzt werden, um bei der Blickrichtungsdetektion zu unterstützen und/oder gezielt Zusatzfunktionen des Fahrzeugs zu aktivieren.
  • Das Assistenzsystem umfasst eine Sensoreinheit mit einer Kamera, die dem Fahrer zugewandt angeordnet und eingerichtet ist, seine Kopfpose zu erfassen. Zusätzlich kann die Kamera eingerichtet sein, eine Blickrichtung und/oder Kopfposition des Fahrers zu erfassen. Bei der Ermittlung der Kopfpose, Blickrichtung und/oder Kopfposition können beispielhaft anatomische Merkmale wie Nasen(spitzen)-, Augen- und/oder Pupillenposition, Augenwinkel und/oder Mundwinkel des Fahrers sowie Relationen dieser Merkmale zueinander genutzt werden. Die Sensoreinheit kann darüber hinaus eine optionale Beleuchtungseinrichtung umfassen. Weiterhin umfasst das Assistenzsystem eine Steuereinheit mit einem Daten- und Programmspeicher, in dem ein Programm zum Betreiben des Assistenzsystems gespeichert ist, welches anhand des Ablaufdiagramms der 1 im Folgenden näher erläutert ist.
  • Das Programm wird in einem Schritt S1 gestartet, in dem beispielsweise Variablen initialisiert werden. Insbesondere kann zu diesem Zeitpunkt ein Kalibrierungskennwert K bereitgestellt werden, der repräsentativ ist für eine Ruhekopfpose eines Normfahrers, also einer Kopfpose eines durchschnittlichen Fahrers beim „geradeaus schauen“. Das Programm wird anschließend in einem Schritt S3 fortgesetzt.
  • In dem Schritt S3 wird ein vorgegebenes Zeitfenster Z zur Kalibrierung des Assistenzsystems gestartet. Dies kann beispielhaft einmalig zur Inbetriebnahme des Fahrzeugs oder aber zu Beginn einer (jeden) Fahrt mit dem Fahrzeug erfolgen. In anderen Ausführungsvarianten kann das vorgegebene Zeitfenster Z auch nach Ablauf eines vorgegebenen Zeitintervalls (z.B. alle 2 Stunden) gestartet werden, beispielhaft um eine fortlaufende Kalibrierung des Assistenzsystems zu gewährleisten. Das Programm wird anschließend in einem Schritt S5 fortgesetzt.
  • In dem Schritt S5 wird mit Hilfe der Sensoreinheit ein Richtungskennwert R ermittelt, der repräsentativ ist für eine aktuelle Kopfpose und/oder eine aktuelle Blickrichtung des Fahrers. Das Programm wird anschließend in dem Schritt S7 fortgesetzt.
  • In dem Schritt S7 wird geprüft, ob spezifische Bedingungen vorliegen, die es erlauben, die Kalibrierung durchzuführen. Beispielhaft wird hierzu in einem Schritt S7a eine aktuelle Geschwindigkeit v des Fahrzeugs ermittelt und geprüft, ob eine vorgegebene Mindestgeschwindigkeit Vmin des Fahrzeugs erreicht bzw. überschritten ist. Im Falle, dass die aktuelle Geschwindigkeit v unter der vorgegebenen Mindestgeschwindigkeit Vmin liegt, wird der aktuelle Richtungskennwert R nicht berücksichtigt. Das Programm wird in diesem Fall nach einer vorgegebenen Wartezeit in dem Schritt S5 fortgesetzt.
  • Anderenfalls wird das Programm beispielhaft in einem Schritt S7b fortgesetzt, in dem eine aktuelle Drehung Φ des Fahrzeugs ermittelt wird und geprüft wird, ob eine vorgegebene maximale Drehung Φmax des Fahrzeugs erreicht bzw. überschritten ist. Unter einer Drehung Φ des Fahrzeugs kann zum Beispiel ein eingeschlagener Lenkwinkel und/oder eine Gierrate des Fahrzeugs fallen. Im Falle, dass die aktuelle Drehung Φ des Fahrzeugs über der vorgegebenen maximalen Drehung Φmax des Fahrzeugs liegt, wird der aktuelle Richtungskennwert R nicht berücksichtigt. Das Programm wird in diesem Fall nach einer vorgegebenen Wartezeit in dem Schritt S5 fortgesetzt.
  • Anderenfalls wird das Programm beispielhaft in einem Schritt S7c fortgesetzt, in dem eine aktuelle Drehung Θ des Kopfes des Fahrers ermittelt wird und geprüft wird, ob eine vorgegebene maximale Drehung Θmax des Kopfes des Fahrers erreicht bzw. überschritten ist. Die Drehung Θ des Kopfes des Fahrers kann zum Beispiel von dem aktuellen Richtungskennwert R abgeleitet werden. Insbesondere kann die Drehung Θ des Kopfes des Fahrers abhängig von dem (unkalibrierten) Richtungskennwert R und dem bereitgestellten, beispielhaft im Speicher hinterlegten Kalibrierungskennwert K ermittelt werden. Beispielsweise wird in diesem Zusammenhang eine Abweichung des Richtungskennwerts R von dem Kalibrierungskennwert K ermittelt. Im Falle, dass die aktuelle Drehung Θ des Kopfes über der vorgegebenen maximalen Drehung des Kopfes Θmax liegt, wird der aktuelle Richtungskennwert R nicht berücksichtigt. Das Programm wird in diesem Fall nach einer vorgegebenen Wartezeit in dem Schritt S5 fortgesetzt.
  • Anderenfalls wird das Programm anschließend in dem Schritt S9 fortgesetzt. Abweichend von der dargestellten und beschriebenen Ausführungsvariante können einzelne oder alle Teilschritte S7a-S7c in weiteren Ausführungsvarianten in einer anderen Reihenfolge durchlaufen werden oder lediglich optional sein.
  • In dem Schritt S9 wird der durch die Sensoreinheit aktuell ermittelte Richtungskennwert R in einen Zwischenspeicher geschrieben. Das Programm wird anschließend in einem Schritt S11 fortgesetzt.
  • In dem Schritt S11 wird geprüft, ob das vorgegebene Zeitfenster Z abgelaufen ist. In diesem Fall wird das Programm in einem Schritt S13 fortgesetzt, anderenfalls wird das Programm in dem Schritt S5 fortgesetzt.
  • In dem Schritt S13 wird abhängig von den Richtungskennwerten R in dem Zwischenspeicher ein Ruhekennwert P ermittelt, der repräsentativ ist für eine Ruhekopfpose des Fahrers, also eine individuelle Kopfpose des Fahrers beim „geradeaus schauen“. Hierzu werden die Richtungskennwerte R beispielsweise akkumuliert und ein Mittelwert oder ähnliches ermittelt. Die Ruhekopfpose kann auch als „Normal-Null-Kopfpose“ bezeichnet werden. Das Programm wird anschließend in einem Schritt S15 fortgesetzt.
  • In dem Schritt S15 wird ein Transformationskennwert T ermittelt, der repräsentativ ist für eine Transformation zwischen dem Ruhekennwert P, beispielsweise also einer mittleren Ruhekopfpose des Fahrers, und dem Kalibrierungskennwert K, also einer durchschnittlichen Ruhekopfpose anderer Fahrer. Bei der Transformation kann es sich insbesondere um eine rigide Transformation handeln, die z.B. durch eine homogene 4 × 4 Transformationsmatrix als Transformationskennwert T beschrieben werden kann. Der Ruhekennwert P und der Kalibrierungskennwert K können in diesem Zusammenhang beispielsweise als homogene Vektoren beschrieben werden. Der Transformationskennwert T kann anschließend für den entsprechenden Fahrer gespeichert und das Programm beendet werden. Alternativ kann das Programm anschließend auch in einem Schritt S17 fortgesetzt werden.
  • In dem Schritt S17 wird der Transformationskennwert T für den entsprechenden Fahrer bereitgestellt. Ferner wird ein neuer, aktueller Richtungskennwert Rneu ermittelt. Abhängig von dem Transformationskennwert T und dem neuen Richtungskennwert Rneu wird daraufhin ein korrigierter Richtungskennwert Rkorrigiert ermittelt. Der korrigierte Richtungskennwert Rkorrigiert ist insbesondere repräsentativ für eine um die unbekannte, individuelle Anatomie des Fahrers kompensierte Kopfpose des Fahrers.
  • In anderen Worten kann für alle zukünftigen Messungen, die die Sensoreinheit bereitstellt, der gemessene Richtungskennwert Rneu mit der Transformation korrigiert werden. Im Falle einer homogenen 4 × 4 Transformationsmatrix entspräche das einer Matrix-Vektor-Multiplikation des Transformationskennwerts T mit dem homogenen Vektor, dem Richtungskennwert Rneu, welcher die gemessene Kopfpose beschreibt.
  • Das Programm kann darauffolgend in einem Schritt S19 fortgesetzt werden, in dem abhängig von dem korrigierten Richtungskennwert Rkorrigiert ein Steuersignal zur Bedienung weiterer Funktionen des Fahrzeugs ermittelt wird. Das Programm wird im Anschluss beendet.
  • In dieser Ausführungsvariante werden die Schritte S5 bis S15 lediglich solange wiederholt, bis das eine vorgegebene Zeitfenster Z abgelaufen ist. In anderen Ausführungsvarianten kann nach Ablauf des vorgegebenen Zeitfensters Z ein Zeitintervall in dem Schritt S15 gestartet werden, nach dessen Ablauf das Programm wiederum in dem Schritt S3 beginnt, um so eine laufende, in definierten zeitlichen Abständen, Kalibrierung durchzuführen.

Claims (6)

  1. Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug, umfassend eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs, wobei bei dem Verfahren - ein Kalibrierungskennwert (K) bereitgestellt wird, der repräsentativ ist für eine Ruheblickrichtung eines Normfahrers, - wenigstens ein initialer Richtungskennwert (R) ermittelt wird, und abhängig von dem wenigstens einen initialen Richtungskennwert ein Ruhekennwert (P) ermittelt wird, der repräsentativ ist für eine Ruheblickrichtung des Fahrers, - abhängig von dem Ruhekennwert (P) und dem Kalibrierungskennwert (K) ein Transformationskennwert (T) ermittelt wird, der repräsentativ ist für eine Transformation zwischen dem Ruhekennwert (P) und dem Kalibrierungskennwert (K), und - abhängig von dem Transformationskennwert (T) nachfolgend ermittelte Richtungskennwerte (R) korrigiert werden.
  2. Verfahren nach Anspruch 1, bei dem - der Ruhekennwert einmalig in einem vorgegebenen Zeitfenster ermittelt wird, oder - der Ruhekennwert jeweils in vorgegebenen beabstandeten Zeitfenstern ermittelt wird.
  3. Verfahren nach einem der vorstehenden Ansprüche, bei dem der Ruhekennwert ferner abhängig von einem oder mehreren folgender Parameter ermittelt wird: - aktuelle Geschwindigkeit des Fahrzeugs, - aktuelle Lenkwinkel und/oder Gierrate des Fahrzeugs, - aktuelle Abweichung des Richtungskennwerts von dem Kalibrierungskennwert - aktuell befahrener Straßentyp.
  4. Assistenzsystem für ein Fahrzeug, umfassend - eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs, und - eine Steuereinheit, die eingerichtet ist das Verfahren nach einem der Ansprüche 1 bis 3 durchzuführen.
  5. Computerprogramm zum Betreiben eines Assistenzsystems, wobei das Computerprogramm ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 3 bei seiner Ausführung auf einer Datenverarbeitungsvorrichtung durchzuführen.
  6. Computerprogrammprodukt umfassend ausführbaren Programmcode, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren nach einem der Ansprüche 1 bis 3 ausführt.
DE102017214546.3A 2017-08-21 2017-08-21 Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem Active DE102017214546B4 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102017214546.3A DE102017214546B4 (de) 2017-08-21 2017-08-21 Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
CN201880046821.5A CN110892307B (zh) 2017-08-21 2018-05-16 用于运行用于车辆的辅助系统的方法和辅助系统
PCT/EP2018/062668 WO2019037906A1 (de) 2017-08-21 2018-05-16 Verfahren zum betreiben eines assistenzsystems für ein fahrzeug und assistenzsystem
US16/796,706 US11640199B2 (en) 2017-08-21 2020-02-20 Method for operating an assist system for a vehicle, and assist system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017214546.3A DE102017214546B4 (de) 2017-08-21 2017-08-21 Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem

Publications (2)

Publication Number Publication Date
DE102017214546A1 true DE102017214546A1 (de) 2019-02-21
DE102017214546B4 DE102017214546B4 (de) 2023-02-02

Family

ID=62486550

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017214546.3A Active DE102017214546B4 (de) 2017-08-21 2017-08-21 Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem

Country Status (4)

Country Link
US (1) US11640199B2 (de)
CN (1) CN110892307B (de)
DE (1) DE102017214546B4 (de)
WO (1) WO2019037906A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062158B2 (en) 2017-11-15 2021-07-13 Omron Corporation Driver state determination apparatus, method, and recording medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11752951B2 (en) * 2021-07-06 2023-09-12 Robert Bosch Gmbh Vehicle mounted virtual visor system that localizes a resting head pose

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013019117A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug
DE102014008852A1 (de) * 2014-06-14 2015-12-17 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
DE102015214116A1 (de) * 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
DE102015215994A1 (de) * 2015-08-21 2017-02-23 Bayerische Motoren Werke Aktiengesellschaft System zur Kalibrierung der Blickrichtungserfassung
DE102015222682A1 (de) * 2015-11-17 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Aktivieren eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009001742A1 (de) * 2009-03-23 2010-09-30 Robert Bosch Gmbh Verfahren sowie Vorrichtung zum Bestimmen der Position und Ausrichtung einer Fahrerassistenzsystem-Kamera eines Fahrzeugs zu dem Fahrzeug
US8589015B2 (en) * 2010-02-12 2013-11-19 Webtech Wireless Inc. Vehicle sensor calibration for determining vehicle dynamics
JP5414946B2 (ja) * 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
DE102011115668A1 (de) * 2011-09-28 2013-03-28 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Ermitteln einer Geschwindigkeit eines Fahrzeugs und Fahrzeug
DE102011084619A1 (de) * 2011-10-17 2013-04-18 Robert Bosch Gmbh Vorrichtung und Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug
DE102011121260A1 (de) * 2011-12-15 2013-06-20 Gm Global Technology Operations, Llc Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Aufmerksamkeitsverlust mit Hilfe eines Fehlerzählers
AT514754B1 (de) * 2013-09-05 2018-06-15 Avl List Gmbh Verfahren und Vorrichtung zur Optimierung von Fahrassistenzsystemen
KR101470243B1 (ko) * 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
FR3015660B1 (fr) * 2013-12-19 2020-06-05 Continental Automotive France Procede, support et systeme de calibration d'une camera d'un vehicule
DE102014207807A1 (de) * 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Personenbezogene Fahrerunterstützung
KR101551215B1 (ko) * 2014-05-28 2015-09-18 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
EP3046076B1 (de) * 2015-01-16 2018-03-14 Delphi Technologies, Inc. Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
DE102016218424B4 (de) * 2015-10-13 2021-11-11 Ford Global Technologies, Llc Fahrerassistenzsystem
US11341756B2 (en) * 2017-10-02 2022-05-24 Fotonation Limited Human monitoring system incorporating calibration methodology

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013019117A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug
DE102014008852A1 (de) * 2014-06-14 2015-12-17 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
DE102015214116A1 (de) * 2015-07-27 2017-02-02 Robert Bosch Gmbh Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
DE102015215994A1 (de) * 2015-08-21 2017-02-23 Bayerische Motoren Werke Aktiengesellschaft System zur Kalibrierung der Blickrichtungserfassung
DE102015222682A1 (de) * 2015-11-17 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Aktivieren eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062158B2 (en) 2017-11-15 2021-07-13 Omron Corporation Driver state determination apparatus, method, and recording medium
DE102018127163B4 (de) 2017-11-15 2021-09-09 Omron Corporation Vorrichtung, verfahren und programm zur fahrerzustandsbestimmung

Also Published As

Publication number Publication date
WO2019037906A1 (de) 2019-02-28
DE102017214546B4 (de) 2023-02-02
US20200192476A1 (en) 2020-06-18
CN110892307B (zh) 2022-10-04
US11640199B2 (en) 2023-05-02
CN110892307A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
DE102015203354B4 (de) Einstellungen von fahrzeugbedienerüberwachung und betriebsabläufen
EP1502246B1 (de) Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
EP2504209B1 (de) Verfahren zur schätzung des rollwinkels in einem fahrenden fahrzeug
DE102012223481B4 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
WO2019223974A1 (de) Trainingsverfahren für ein fahrerassistenzverfahren, fahrerassistenzverfahren, steuergerät und fahrzeug mit dem steuergerät
EP3934859A1 (de) Verfahren zum ermitteln einer trajektorie eines roboters
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE10311518A1 (de) Verfahren und Vorrichtung zur Fahrerinformation bzw. zur Reaktion bei Verlassen der Fahrspur
DE102019118210A1 (de) Vorrichtung und Verfahren zur Kompensation eines Richtungswinkels
EP3673475A1 (de) Verfahren zum betreiben eines assistenzsystems für ein fahrzeug und assistenzsystem
DE102017123842A1 (de) Fahrspurerfassungsverfahren
EP3857437A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
DE102017214546A1 (de) Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017214542A1 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Verifikation eines Fahrerassistenzsystems
DE102008002401A1 (de) Verfahren und Vorrichtung für die Steuerung eines Fahrerassistenzsystems
DE102004047889A1 (de) Verfahren und Vorrichtung zur Fahrerunterstützung
DE102019110018B4 (de) Verfahren zur Kollisionsvermeidung, System, fahrzeuginternes System, Zugfahrzeug und Signal
EP2688768B1 (de) Fahrerassistenzsystem und fahrerassistenzverfahren für ein fahrzeug
DE102018127161A1 (de) Fahrerbestimmungsvorrichtung und fahrerzustandsbestimmungsvorrichtung, die die fahrerbestimmungsvorrichtung enthält, und verfahren und programm zur fahrerbestimmung und fahrerzustandsbestimmung
DE102018122115A1 (de) Verfahren zur Umgebungserfassung eines Fahrzeugs
DE102018210367A1 (de) Fahrerassistenzsystem, Fahrzeug, Verfahren zum Betreiben des Fahrerassistenzsystems, Computerprogramm und computerlesbares Speichermedium
DE112014003725B4 (de) Verfahren und System zur Feststellung von Fahrmerkmalen bei einem Fahrzeug
WO2021063567A1 (de) Verfahren und vorrichtung zum führen eines kraftfahrzeuges in einer fahrspur
DE102019209813A1 (de) Vorrichtung zum Navigieren eines Ist-Fahrzeugs durch zumindest einen Abschnitt einer Soll-Trajektorie, Verfahren und Verwendung
WO2006037691A1 (de) Verfahren und vorrichtung zur fahrerunterstützung

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final