DE102021107961A1 - Method for determining a viewing direction - Google Patents

Method for determining a viewing direction Download PDF

Info

Publication number
DE102021107961A1
DE102021107961A1 DE102021107961.6A DE102021107961A DE102021107961A1 DE 102021107961 A1 DE102021107961 A1 DE 102021107961A1 DE 102021107961 A DE102021107961 A DE 102021107961A DE 102021107961 A1 DE102021107961 A1 DE 102021107961A1
Authority
DE
Germany
Prior art keywords
rotation
angle
current angle
head
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021107961.6A
Other languages
German (de)
Inventor
Dorin Aiteanu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021107961.6A priority Critical patent/DE102021107961A1/en
Publication of DE102021107961A1 publication Critical patent/DE102021107961A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Abstract

Bereitgestellt wird ein Verfahren zur Bestimmung einer Blickrichtung eines Fahrzeuginsassen eines Kraftfahrzeugs, wobei das Kraftfahrzeug eine Datenbank aufweist, in der zu zumindest einem Winkel einer Kopfrotation des Fahrzeuginsassen ein korrelierender Winkel einer Augenrotation des Fahrzeuginsassen gespeichert ist, dadurch gekennzeichnet, dass das Verfahren ein Messen eines aktuellen Winkels einer Kopfrotation des Fahrzeuginsassen und ein Bestimmen der Blickrichtung basierend auf dem gemessenen aktuellen Winkel der Kopfrotation und dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation aufweist.A method is provided for determining a viewing direction of a vehicle occupant of a motor vehicle, the motor vehicle having a database in which a correlating angle of an eye rotation of the vehicle occupant is stored for at least one angle of a head rotation of the vehicle occupant, characterized in that the method involves measuring a current Angle of head rotation of the vehicle occupant and determining the line of sight based on the measured current angle of head rotation and the measured current angle of head rotation correlating, stored in the database angle of eye rotation.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer Blickrichtung eines Fahrzeuginsassen eines Kraftfahrzeugs. Ferner betrifft die Erfindung ein Steuergerät, das ausgestaltet ist, das Verfahren auszuführen und ein Kraftfahrzeug aufweisend ein solches Steuergerät.The present invention relates to a method for determining a viewing direction of a vehicle occupant of a motor vehicle. Furthermore, the invention relates to a control device that is designed to carry out the method and a motor vehicle having such a control device.

Die Blickrichtung eines Fahrzeuginsassen kann als eine Eingangsgröße für Fahrassistenzsysteme verwendet werden. Beispielsweise kann die Blickrichtung für eine blickbasierte, interaktive Bedienung von Schaltflächen und/oder zu einer Ermittlung einer objektbasierten Aufmerksamkeit eines Fahrers eines Kraftfahrzeugs verwendet werden.The viewing direction of a vehicle occupant can be used as an input variable for driver assistance systems. For example, the viewing direction can be used for a look-based, interactive operation of buttons and/or for determining an object-based attention of a driver of a motor vehicle.

Es sind Sensoren bekannt, die ausgestaltet sind, um in im Wesentlichen Echtzeit die Rotation eines Auges eines Menschen zu messen. Zur Bestimmung der Rotation wird das Auge mit einer Infrarotlichtquelle bestrahlt. Mithilfe einer Infrarotlicht-Kamera wird dann die Reflexion des Infrarotlichts erkannt. Aus dem Wissen über die Position der Infrarotlichtquelle kann auf die Augenrotation rückgeschlossen werden.Sensors are known which are configured to measure, in substantially real time, the rotation of a human eye. To determine the rotation, the eye is irradiated with an infrared light source. The reflection of the infrared light is then detected using an infrared light camera. From knowing the position of the infrared light source, conclusions can be drawn about the eye rotation.

Darüber hinaus existieren Kopfrichtungserkennungs-Sensoren, die ausgestaltet sind, um in im Wesentlichen Echtzeit die Ausrichtung bzw. Rotation eines Kopfes eines Menschen zu messen. Zur Bestimmung der Kopfrotation wird mittels einer Kamera eine Aufnahme des Kopfes im Bereich des sichtbaren Lichts gemacht. Mithilfe von Bildverarbeitung kann aus dieser Aufnahme die Rotation des Kopfes bestimmt werden. Ebenfalls sind Systeme zur Kopfrichtungserkennung denkbar, die im Infrarotbereich arbeiten.In addition, there are head direction detection sensors that are designed to measure the orientation or rotation of a human's head in essentially real time. To determine the head rotation, a camera is used to take a picture of the head in the visible light range. With the help of image processing, the rotation of the head can be determined from this recording. Systems for detecting the direction of the head that work in the infrared range are also conceivable.

Aufgrund der unterschiedlichen Wirkweise der Systeme ist die Messung der Kopfausrichtung bzw. der Kopfrotation weniger anfällig für Störung durch Umweltfaktoren (vor allem einfallendes Sonnenlicht) und Personenfaktoren (vor allem Brillen) gegenüber der Messung der Augenrotation.Due to the different modes of operation of the systems, the measurement of head orientation or head rotation is less susceptible to interference from environmental factors (mainly incident sunlight) and personal factors (mainly glasses) than measurement of eye rotation.

Der Blickwinkel wird herkömmlich durch eine geometrische Addition zweier Komponenten, d.h. des Winkels der Kopfrotation in Bezug auf ein externes Koordinatensystem und des Winkels der Augenrotation in Bezug auf das Kopfkoordinatensystem, bestimmt.The angle of view is conventionally determined by a geometric addition of two components, i.e. the angle of head rotation with respect to an external coordinate system and the angle of eye rotation with respect to the head coordinate system.

Die DE102014222752 beschreibt eine Bedienung von Schaltflächen auf Basis der Blickrichtung. Bei einer Störung der Messung der Augenrotation wird die Blickrichtung auf Basis der Kopfrichtung bestimmt.the DE102014222752 describes an operation of buttons based on the viewing direction. If the measurement of eye rotation is disturbed, the direction of gaze is determined based on the direction of the head.

Die DE102017214505 beschreibt eine Ermittlung einer Aufmerksamkeit eines Fahrers durch die Ermittlung einer Kopfpose (Kopfposition und -rotation) und der Blickrichtung.the DE102017214505 describes a determination of a driver's attention by determining a head pose (head position and rotation) and the viewing direction.

Die DE102017214539 beschreibt eine Einteilung eines Blickraums in fahrzeugspezifische Blicksektoren und eine Berechnung einer Wahrscheinlichkeit, dass ein Blick des Fahrers die benannten Sektoren kreuzt.the DE102017214539 describes a division of a gaze space into vehicle-specific gaze sectors and a calculation of a probability that a driver's gaze crosses the designated sectors.

Die benannten Verfahren verwenden grundsätzlich die Kopfrichtung als einfachen Ersatz bzw. Rückfallebene bei Nichtverfügbarkeit der Messung der Augenrotation.The methods mentioned basically use the direction of the head as a simple substitute or fall-back level if the measurement of the eye rotation is not available.

Bei Nichtverfügbarkeit der Messung der Augenrotation führt das direkte Ersetzen der Blickrichtung mit der Kopfrotation zu erheblichen Ungenauigkeiten und zu fehlerhaften Funktionalität von blickrichtungsbasierten Fahrassistenzsystemen.If the measurement of the eye rotation is not available, the direct replacement of the direction of view with the rotation of the head leads to considerable inaccuracies and to incorrect functionality of driver assistance systems based on the direction of view.

Aufgabe der Erfindung ist es daher ein Verfahren bereitzustellen, dass unter anderem ausgestaltet ist, den oben beschriebenen Nachteil aus dem Stand der Technik zu überwinden.The object of the invention is therefore to provide a method that is designed, among other things, to overcome the above-described disadvantage of the prior art.

Diese Aufgabe wird erfindungsgemäß gelöst durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This object is achieved according to the invention by the features of the independent claims. Advantageous configurations are specified in the dependent claims.

Danach wird die Aufgabe gelöst durch ein Verfahren zur Bestimmung einer Blickrichtung eines Fahrzeuginsassen eines Kraftfahrzeugs. Das Kraftfahrzeug weist eine Datenbank auf, in der zu zumindest einem Winkel einer Kopfrotation des Fahrzeuginsassen ein korrelierender Winkel einer Augenrotation des Fahrzeuginsassen gespeichert ist.According to this, the object is achieved by a method for determining a viewing direction of a vehicle occupant of a motor vehicle. The motor vehicle has a database in which a correlating angle of an eye rotation of the vehicle occupant is stored for at least one angle of a head rotation of the vehicle occupant.

Das Verfahren weist ein Messen eines aktuellen Winkels einer Kopfrotation des Fahrzeuginsassen und ein Bestimmen der Blickrichtung basierend auf dem gemessenen aktuellen Winkel der Kopfrotation und dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation auf.The method includes measuring a current angle of head rotation of the vehicle occupant and determining the line of sight based on the measured current angle of head rotation and the angle of eye rotation correlating to the measured current angle of head rotation and stored in the database.

Unter dem Winkel der Kopfrotation kann hier ein Winkel einer Rotation eines Kopfes ausgehend von einer Normallage oder eines Nullvektors verstanden werden. Diese Normallage kann zum Beispiel eine Lage sein, in der ein Nasenvektor in eine Richtung parallel zu einer Fahrzeuglängsrichtung zeigt, wobei der Nasenvektor eine Richtung angeben kann, in die im Wesentlichen eine Nase des Fahrzeuginsassen zeigt. Die Rotation des Kopfes kann dabei unter anderem um eine Achse erfolgen, die im Wesentlichen parallel zu einer Fahrzeughöhenrichtung bzw. zur Vertikalen sein kann, als auch um eine weitere Achse, die im Wesentlichen parallel zu einer Fahrzeugbreitenrichtung oder einer Fahrzeuglängsrichtung bzw. zur Horizontalen sein kann.The angle of the head rotation can be understood here as an angle of a rotation of a head starting from a normal position or from a zero vector. This normal position can be, for example, a position in which a nose vector points in a direction parallel to a vehicle longitudinal direction, wherein the nose vector can indicate a direction in which a nose of the vehicle occupant is essentially pointing. The rotation of the head can take place, among other things, about an axis which is essentially parallel to a vertical plane of the vehicle direction or to the vertical, as well as about a further axis, which can be substantially parallel to a vehicle width direction or a vehicle longitudinal direction or to the horizontal.

Unter dem Winkel der Augenrotation kann hier ein Winkel einer Rotation der Augen ausgehend von einer Normallage der Augen verstanden werden. Insbesondere kann die Rotation zusammenfassend für beide Augen zusammen betrachtet werden, anstatt für jedes Auge einzeln. Dafür kann angenommen werden, dass ein Sehstrahl einen Ursprung mittig zwischen den beiden Augen des Fahrzeuginsassen hat. Die Normallage der Augen, beziehungsweise des Sehstrahls, kann dabei eine Lage sein, bei der der Sehstrahl in eine Richtung zeigt, die im Wesentlichen parallel zum Nasenvektor verläuft. Die Rotation der Augen kann dabei unter anderem um die Achse erfolgen, die im Wesentlichen parallel zu der Fahrzeughöhenrichtung bzw. zur Vertikalen sein kann, als auch um die weitere Achse, die im Wesentlichen parallel zu der Fahrzeugbreitenrichtung oder der Fahrzeuglängsrichtung bzw. zur Horizontalen sein kann.The angle of the eye rotation can be understood here as an angle of a rotation of the eyes starting from a normal position of the eyes. In particular, the rotation can be viewed collectively for both eyes together, rather than for each eye individually. For this it can be assumed that a visual ray has an origin in the middle between the two eyes of the vehicle occupant. The normal position of the eyes, or of the line of sight, can be a position in which the line of sight points in a direction that runs essentially parallel to the nose vector. The rotation of the eyes can take place, among other things, around the axis, which can be essentially parallel to the vehicle height direction or to the vertical, as well as around the other axis, which can be essentially parallel to the vehicle width direction or the vehicle longitudinal direction or to the horizontal .

Bei einer bestimmten Person, insbesondere eines bestimmten Fahrzeuginsassen, können der Winkel der Kopfrotation und der Winkel der Augenrotation korrelieren. Dadurch können diese reproduzierbar und prädizierbar sein. Das bedeutet in anderen Worten, dass bei einer bestimmten Person eine Blickrichtung mit stets im Wesentlichen den gleichen Anteilen von Kopf- und Augenrotation erreicht wird. Dadurch kann bei einer Bestimmung der Blickrichtung basierend auf dem gemessenen aktuellen Winkel der Kopfrotation und dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation die Blickrichtung genauer bestimmt werden als bei einer Verwendung der Kopfrotation als Blickrichtung. Daher kann mithilfe des oben beschriebenen Verfahrens die Blickrichtung bei einem Ausfall einer Messung der Augenrotation genauer bestimmt werden als bei herkömmlichen Verfahren.For a given individual, particularly a given vehicle occupant, the angle of head rotation and the angle of eye rotation may correlate. As a result, these can be reproducible and predictable. In other words, this means that in the case of a specific person, a viewing direction is always achieved with essentially the same proportions of head and eye rotation. As a result, when determining the viewing direction based on the measured current angle of the head rotation and the angle of the eye rotation correlating to the measured current angle of the head rotation and stored in the database, the viewing direction can be determined more precisely than when using the head rotation as the viewing direction. Therefore, with the aid of the method described above, the line of sight can be determined more accurately than with conventional methods if a measurement of the eye rotation fails.

Das Verfahren kann ein Überprüfen aufweisen, ob ein Messen eines aktuellen Winkels einer Augenrotation möglich ist. Denkbar ist, dass das Bestimmen der Blickrichtung basierend auf dem gemessenen aktuellen Winkel der Kopfrotation und dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation nur dann erfolgt, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation nicht messbar ist.The method may include checking whether measuring a current angle of eye rotation is possible. It is conceivable that the direction of gaze is determined based on the measured current angle of head rotation and the angle of eye rotation that correlates to the measured current angle of head rotation and is stored in the database only if the check shows that the current angle of eye rotation is not is measurable.

Das Verfahren kann ein Messen des aktuellen Winkels der Augenrotation und ein Bestimmen der Blickrichtung basierend auf dem gemessenen aktuellen Winkel der Kopfrotation und dem gemessenen aktuellen Winkel der Augenrotation aufweisen, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation messbar ist.The method may include measuring the current angle of eye rotation and determining the gaze direction based on the measured current angle of head rotation and the measured current angle of eye rotation if the checking reveals that the current angle of eye rotation is measurable.

Das heißt, dass bei diesem Verfahren zunächst der Winkel der aktuellen Kopfrotation gemessen werden kann und anschließend und/oder gleichzeitig versucht werden kann, den aktuellen Winkel der Augenrotation zu messen. Wenn Letzteres möglich ist, kann die Blickrichtung basierend auf dem gemessenen Winkel der Kopfrotation und dem gemessenen Winkel der Augenrotation bestimmt werden. Wenn das Messen der aktuellen Augenrotation nicht möglich ist, kann die Blickrichtung basierend auf dem gemessenen Winkel der Kopfrotation und dem zu dem gemessenen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation erfolgen.This means that with this method the angle of the current head rotation can first be measured and then and/or at the same time an attempt can be made to measure the current angle of the eye rotation. If the latter is possible, the direction of gaze can be determined based on the measured angle of head rotation and the measured angle of eye rotation. If measuring the current eye rotation is not possible, the gaze direction can be determined based on the measured head rotation angle and the eye rotation angle stored in the database and correlating to the measured head rotation angle.

Das Verfahren kann ein Speichern des gemessenen aktuellen Winkels der Kopfrotation zusammen mit dem gemessenen aktuellen Winkel der Augenrotation in der Datenbank aufweisen, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation messbar ist.The method may include storing the measured current angle of head rotation together with the measured current angle of eye rotation in the database if the checking reveals that the current angle of eye rotation is measurable.

Dadurch, dass bei einer verfügbaren Messung des aktuellen Winkels der Augenrotation die korrelierenden gemessenen Winkel der Kopf- und Augenrotation in der Datenbank gespeichert und insbesondere auch aktualisiert werden können, kann die Genauigkeit des Verfahrens in einem Betrieb stetig erhöht werden.Because the correlating measured angles of the head and eye rotation can be stored in the database and, in particular, also updated when a measurement of the current angle of the eye rotation is available, the accuracy of the method in a company can be continuously increased.

Das Bestimmen der Blickrichtung kann eine geometrische Addition des gemessenen aktuellen Winkels der Kopfrotation mit dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten und/oder dem gemessenen aktuellen Winkel der Augenrotation aufweisen.The determination of the viewing direction can include a geometric addition of the measured current angle of the head rotation with the measured current angle of the head rotation and stored in the database and/or the measured current angle of the eye rotation.

Das heißt, wenn die Überprüfung ergibt, dass der aktuelle Winkel der Augenrotation nicht messbar ist, kann die Blickrichtung durch die geometrische Addition des gemessenen aktuellen Winkels der Kopfrotation mit dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation bestimmt werden. Wenn die Überprüfung ergibt, dass der aktuelle Winkel der Augenrotation messbar ist, kann die Blickrichtung durch die geometrische Addition des gemessenen aktuellen Winkels der Kopfrotation mit dem gemessenen aktuellen Winkel der Augenrotation bestimmt werden. Denkbar ist, dass im letzteren Fall z.B. zur Plausibilisierung des gemessenen aktuellen Winkels der Augenrotation der korrelierende gespeicherte Winkel der Augenrotation herangezogen wird.This means that if the check reveals that the current angle of eye rotation cannot be measured, the viewing direction can be determined by geometrically adding the measured current angle of head rotation to the angle of eye rotation that correlates to the measured current angle of head rotation and is stored in the database will. If the check shows that the current angle of eye rotation is measurable, the gaze direction can be determined by geometrically adding the measured current angle of head rotation to the measured current angle of eye rotation. It is conceivable that in the latter case, for example, the correlating stored angle of eye rotation is used to check the plausibility of the measured current angle of eye rotation.

Das Messen des Winkels der Augenrotation und/oder des Winkels der Kopfrotation kann durch eine Blicksensoreinrichtung erfolgen. Die Blicksensoreinrichtung kann eine Kamera zum Messen der aktuellen Kopfrotation und/oder eine Infrarotlicht-Kamera zum Messen der aktuellen Augenrotation aufweisen.The angle of eye rotation and/or the angle of head rotation can be measured by a gaze sensor device. The gaze sensor device can have a camera for measuring the current head rotation and/or an infrared light camera for measuring the current eye rotation.

Die Erfindung betrifft weiterhin ein Steuergerät, das ausgestaltet ist, das vorher beschriebene Verfahren auszuführen. Weiterhin betrifft die Erfindung ein Kraftfahrzeug, das das vorher beschriebene Steuergerät sowie eine Blicksensoreinrichtung aufweist. Das oben mit Bezug zum Verfahren Beschriebene gilt analog auch für das Steuergerät sowie das Kraftfahrzeug und umgekehrt.The invention also relates to a control device that is designed to carry out the method described above. Furthermore, the invention relates to a motor vehicle that has the control unit described above and a gaze sensor device. What was described above with reference to the method also applies analogously to the control unit and the motor vehicle and vice versa.

Nachfolgend wird eine Ausführungsform mit Bezug zu 1 und 2 beschrieben.

  • 1 zeigt schematisch einen Kopf eines Fahrzeuginsassen eines Kraftfahrzeugs.
  • 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer Blickrichtung des Fahrzeuginsassen.
The following is an embodiment related to 1 and 2 described.
  • 1 shows schematically a head of a vehicle occupant of a motor vehicle.
  • 2 shows a schematic flow chart of a method for determining a viewing direction of the vehicle occupant.

In 1 ist eine schematische Darstellung eines Kopfes 2 eines Fahrzeuginsassen 1 eines Kraftfahrzeugs gezeigt. Der Kopf 2 weist Augen 3 auf. Ferner ist eine Normallage 4, ein Nasenvektor 5 sowie eine Blickrichtung 6 des Kopfes 2 dargestellt. Die Blickrichtung 6 des Kopfes 2 ist auf ein Objekt 7 gerichtet.In 1 a schematic representation of a head 2 of a vehicle occupant 1 of a motor vehicle is shown. The head 2 has 3 eyes. A normal position 4, a nose vector 5 and a viewing direction 6 of the head 2 are also shown. The line of sight 6 of the head 2 is directed towards an object 7 .

Weiterhin ist in 1 ein kartesisches Koordinatensystem dargestellt, wobei X die Fahrzeuglängsrichtung, Y die Fahrzeugbreitenrichtung und Z die Fahrzeughöhenrichtung darstellt.Furthermore, in 1 a Cartesian coordinate system is shown, where X represents the vehicle longitudinal direction, Y represents the vehicle width direction and Z represents the vehicle height direction.

Der Nasenvektor 5 zeigt in eine Richtung, die durch eine Nasenspitze und einen Mittelpunkt des Kopfes 2 verläuft. Die Normallage 4 ist eine Lage des Kopfes 2, bei der der Nasenvektor 5 zudem in eine Richtung parallel zur Fahrzeuglängsrichtung X zeigt.The nose vector 5 points in a direction passing through a tip of the nose and a center of the head 2 . The normal position 4 is a position of the head 2 in which the nose vector 5 also points in a direction parallel to the longitudinal direction X of the vehicle.

Wenn der Fahrzeuginsasse 1 auf das Objekt 7 blickt, kann er dazu seinen Kopf 2 und/oder seine Augen 3 rotieren. Bei einer Rotation des Kopfes 2 weist der Nasenvektor 5 bezogen auf die Normallage 4 des Kopfes 2 einen Winkel auf, der einem Winkel der Kopfrotation α entspricht. In 1 ist lediglich die Rotation des Kopfes 2 um eine Achse dargestellt, die im Wesentlichen parallel zur Fahrzeughöhenrichtung Z verläuft. Eine reine oder zusätzliche Rotation des Kopfes 2 um eine Achse, die im Wesentlichen parallel zur Fahrzeugbreitenrichtung Y verläuft, ist ebenso möglich. Wenn der Fahrzeuginsasse seinen Kopf 2 nicht rotiert, entspricht der Nasenvektor 5 der Normallage 4 des Kopfes.When the vehicle occupant 1 looks at the object 7, he can rotate his head 2 and/or his eyes 3 for this purpose. When the head 2 rotates, the nose vector 5 has an angle relative to the normal position 4 of the head 2 that corresponds to an angle of the head rotation α. In 1 only the rotation of the head 2 is shown about an axis which runs essentially parallel to the vertical direction Z of the vehicle. A pure or additional rotation of the head 2 about an axis that runs essentially parallel to the vehicle width direction Y is also possible. When the vehicle occupant does not rotate his head 2, the nose vector 5 corresponds to the normal position 4 of the head.

Für eine Betrachtung einer Rotation der Augen 3 wird zur Vereinfachung nicht jedes Auge 3 einzeln betrachtet. Stattdessen werden für diese Betrachtung beide Augen 3 zusammengefasst zu einem Punkt, der mittig zwischen den beiden Augen 3 liegt und einem Ursprungspunkt der Blickrichtung 6 entspricht. Denkbar ist jedoch auch, dass beide Augen 3 einzeln betrachtet werden.For a consideration of a rotation of the eyes 3, not each eye 3 is considered individually for the sake of simplicity. Instead, for this consideration, both eyes 3 are combined to form a point that lies in the middle between the two eyes 3 and corresponds to an origin of the viewing direction 6 . However, it is also conceivable that both eyes 3 are viewed individually.

Bei der Rotation der Augen 3 weist die Blickrichtung 6 bezogen auf den Nasenvektor 5 einen Winkel auf, der einem Winkel der Augenrotation β entspricht. In 1 ist lediglich die Rotation der Augen 3 um eine Achse dargestellt, die im Wesentlichen parallel zur Fahrzeughöhenrichtung Z verläuft. Eine reine oder zusätzliche Rotation der Augen 3 um eine Achse, die im Wesentlichen parallel zur Fahrzeugbreitenrichtung Y verläuft, ist ebenso möglich. Wenn der Fahrzeuginsasse seine Augen 3 nicht rotiert, entspricht die Blickrichtung 6 dem Nasenvektor 5.When the eyes 3 rotate, the viewing direction 6 has an angle with respect to the nose vector 5 which corresponds to an angle of the eye rotation β. In 1 only the rotation of the eyes 3 is shown about an axis which runs essentially parallel to the vertical direction Z of the vehicle. A pure or additional rotation of the eyes 3 about an axis that runs essentially parallel to the vehicle width direction Y is also possible. If the vehicle occupant does not rotate his eyes 3, the viewing direction 6 corresponds to the nose vector 5.

Um den aktuellen Winkel der Blickrichtung γ und damit die Blickrichtung 6 zu bestimmen, ist es daher nötig, den Winkel der Kopfrotation α sowie den Winkel der Augenrotation β zu bestimmen. Wenn bei einer Nichtverfügbarkeit einer Messung des Winkels der Augenrotation β, der Winkel der Blickrichtung γ durch den Winkel der Kopfrotation α ersetzt wird, führt dies zu erheblichen Ungenauigkeiten und zu einer fehlerhaften Funktionalität von blickrichtungsbasierten Fahrassistenzsystemen.In order to determine the current angle of the viewing direction γ and thus the viewing direction 6, it is therefore necessary to determine the angle of the head rotation α and the angle of the eye rotation β. If a measurement of the angle of the eye rotation β is not available, the angle of the viewing direction γ is replaced by the angle of the head rotation α, this leads to considerable inaccuracies and to incorrect functionality of driver assistance systems based on the viewing direction.

In 2 ist ein Ablaufdiagramm eines Verfahrens zur Bestimmung der Blickrichtung 6 des Fahrzeuginsassen 1 eines Kraftfahrzeugs dargestellt. Das Verfahren weist Schritte S1 bis S7 auf.In 2 a flowchart of a method for determining the viewing direction 6 of the vehicle occupant 1 of a motor vehicle is shown. The method has steps S1 to S7.

Der erste Schritt S1 weist ein Messen eines aktuellen Winkels der Kopfrotation α des Fahrzeuginsassen 1 auf. Dies erfolgt anhand einer auf Kamerabildern basierenden Blicksensoreinrichtung.The first step S1 includes measuring a current angle of the head rotation α of the vehicle occupant 1 . This is done using a gaze sensor device based on camera images.

Der zweite Schritt weist ein Überprüfen auf, ob ein Messen des aktuellen Winkels einer Augenrotation β des Fahrzeuginsassen 1 möglich ist. Wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation β messbar ist, folgen die Schritte S3 bis S5. Wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation β nicht messbar ist, folgen die Schritte S6 und S7.The second step includes checking whether it is possible to measure the current angle of eye rotation β of the vehicle occupant 1 . If the checking reveals that the current angle of eye rotation β can be measured, steps S3 to S5 follow. If the checking reveals that the current angle of eye rotation β cannot be measured, steps S6 and S7 follow.

Der dritte Schritt S3 weist ein Messen des aktuellen Winkels der Augenrotation β des Fahrzeuginsassen 1 auf. Dies erfolgt ebenfalls anhand der Blicksensoreinrichtung, jedoch in diesem Fall anhand von Daten einer Infrarotlicht-Kamera.The third step S3 includes measuring the current angle of eye rotation β of the vehicle occupant 1 . This is also done using the gaze sensor device, but in this case using data from an infrared light camera.

Basierend auf dem im ersten Schritt S1 gemessenen aktuellen Winkel der Kopfrotation α und dem gemessenen aktuellen Winkel der Augenrotation β wird im vierten Schritt S4 der Winkel der Blickrichtung γ und damit die Blickrichtung 6 durch eine geometrische Addition bestimmt.Based on the current angle of the head rotation α measured in the first step S1 and the measured current angle of the eye rotation β, the angle of the viewing direction γ and thus the viewing direction 6 is determined in the fourth step S4 by a geometric addition.

Der fünfte Schritt S5 weist ein Speichern des gemessenen aktuellen Winkels der Kopfrotation α zusammen mit dem gemessenen aktuellen Winkel der Augenrotation β in einer Datenbank auf.The fifth step S5 includes storing the measured current angle of the head rotation α together with the measured current angle of the eye rotation β in a database.

Der sechste Schritt S6 wird anstatt des dritten Schrittes S3 nach dem zweiten Schritt S2 ausgeführt, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation β nicht messbar ist. Der sechste Schritt S6 weist ein Auslesen eines dem zu dem im ersten Schritt S1 gemessenen aktuellen Winkel der Kopfrotation α korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation β auf.The sixth step S6 is carried out after the second step S2 instead of the third step S3 if the check reveals that the current angle of eye rotation β cannot be measured. The sixth step S6 includes reading out an angle of the eye rotation β that is stored in the database and correlates to the current angle of the head rotation α measured in the first step S1.

Basierend auf dem im ersten Schritt S1 gemessenen aktuellen Winkel der Kopfrotation α und dem ausgelesenen Winkel der Augenrotation β wird im siebten Schritt S7, vergleichbar wie im vierten Schritt S4, der Winkel der Blickrichtung γ und damit die Blickrichtung 6 durch eine geometrische Addition bestimmt.Based on the current angle of the head rotation α measured in the first step S1 and the angle of the eye rotation β read out, the angle of the viewing direction γ and thus the viewing direction 6 is determined by geometric addition in the seventh step S7, comparable to the fourth step S4.

Da bei diesem Verfahren als Rückfallebene bei einer Nichtverfügbarkeit der Messung des Winkels der Augenrotation β die Blickrichtung 6 mithilfe des gemessenen aktuellen Winkels der Kopfrotation α und dem zu dem gemessenen aktuellen Winkel der Kopfrotation korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation β bestimmt wird, ist es bei einer Nichtverfügbarkeit der Messung des Winkels der Augenrotation β deutlich genauer als ein Verfahren, bei dem als Rückfallebene nur der aktuelle Winkel der Kopfrotation α als Blickrichtung γ verwendet wird.Since in this method, as a fallback level, if the measurement of the angle of the eye rotation β is not available, the viewing direction 6 is determined using the measured current angle of the head rotation α and the angle of the eye rotation β that correlates to the measured current angle of the head rotation and is stored in the database If the measurement of the angle of the eye rotation β is not available, it is significantly more precise than a method in which only the current angle of the head rotation α is used as the viewing direction γ as a fallback level.

BezugszeichenlisteReference List

11
Fahrzeuginsassevehicle occupant
22
Kopfhead
33
AugeEye
44
Normallagenormal position
55
Nasenvektornose vector
66
Blickrichtungline of sight
77
Objekt object
αa
Winkel der KopfrotationAngle of head rotation
ββ
Winkel der Augenrotationangle of eye rotation
γg
Winkel der Blickrichtung angle of view
XX
Fahrzeuglängsrichtungvehicle longitudinal direction
YY
Fahrzeugbreitenrichtungvehicle width direction
ZZ
Fahrzeughöhenrichtungvehicle height direction

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 102014222752 [0007]DE 102014222752 [0007]
  • DE 102017214505 [0008]DE 102017214505 [0008]
  • DE 102017214539 [0009]DE 102017214539 [0009]

Claims (8)

Ein Verfahren zur Bestimmung einer Blickrichtung (6) eines Fahrzeuginsassen (1) eines Kraftfahrzeugs, wobei das Kraftfahrzeug eine Datenbank aufweist, in der zu zumindest einem Winkel einer Kopfrotation (α) des Fahrzeuginsassen (1) ein korrelierender Winkel einer Augenrotation (β) des Fahrzeuginsassen (1) gespeichert ist, dadurch gekennzeichnet, dass das Verfahren ein Messen eines aktuellen Winkels einer Kopfrotation (α) des Fahrzeuginsassen und ein Bestimmen der Blickrichtung (6) basierend auf dem gemessenen aktuellen Winkel der Kopfrotation (α) und dem zu dem gemessenen aktuellen Winkel der Kopfrotation (α) korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation (β) aufweist.A method for determining a line of sight (6) of a vehicle occupant (1) of a motor vehicle, the motor vehicle having a database in which at least one angle of a head rotation (α) of the vehicle occupant (1) has a correlating angle of an eye rotation (β) of the vehicle occupant (1) is stored, characterized in that the method involves measuring a current angle of head rotation (α) of the vehicle occupant and determining the line of sight (6) based on the measured current angle of head rotation (α) and the measured current angle has the head rotation (α) correlating angles of the eye rotation (β) stored in the database. Das Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass das Verfahren ein Überprüfen aufweist, ob ein Messen eines aktuellen Winkels einer Augenrotation (β) möglich ist, und dass das Bestimmen der Blickrichtung (6) basierend auf dem gemessenen aktuellen Winkel der Kopfrotation (α) und dem zu dem gemessenen aktuellen Winkel der Kopfrotation (α) korrelierenden, in der Datenbank gespeicherten Winkel der Augenrotation (β) nur dann erfolgt, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation (β) nicht messbar ist.The procedure according to claim 1 , characterized in that the method comprises checking whether measuring a current angle of eye rotation (β) is possible, and that determining the viewing direction (6) based on the measured current angle of head rotation (α) and the measured to the current angle of head rotation (α) correlating angle of eye rotation (β) stored in the database only takes place if the checking shows that the current angle of eye rotation (β) cannot be measured. Das Verfahren gemäß Anspruch 2, dadurch gekennzeichnet, dass das Verfahren ein Messen des aktuellen Winkels der Augenrotation (β) und ein Bestimmen der Blickrichtung (6) basierend auf dem gemessenen aktuellen Winkel der Kopfrotation (α) und dem gemessenen aktuellen Winkel der Augenrotation (β) aufweist, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation (β) messbar ist.The procedure according to claim 2 , characterized in that the method comprises measuring the current angle of eye rotation (β) and determining the line of sight (6) based on the measured current angle of head rotation (α) and the measured current angle of eye rotation (β) if the Checking shows that the current angle of eye rotation (β) is measurable. Das Verfahren gemäß Anspruch 3, dadurch gekennzeichnet, dass das Verfahren ein Speichern des gemessenen aktuellen Winkels der Kopfrotation (α) zusammen mit dem gemessenen aktuellen Winkel der Augenrotation (β) in der Datenbank aufweist, wenn das Überprüfen ergibt, dass der aktuelle Winkel der Augenrotation (β) messbar ist.The procedure according to claim 3 , characterized in that the method comprises storing the measured current angle of head rotation (α) together with the measured current angle of eye rotation (β) in the database if the checking reveals that the current angle of eye rotation (β) is measurable . Das Verfahren gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Bestimmen der Blickrichtung (6) eine geometrische Addition des gemessenen aktuellen Winkels der Kopfrotation (α) mit dem zu dem gemessenen aktuellen Winkel der Kopfrotation (α) korrelierenden, in der Datenbank gespeicherten und/oder dem gemessenen aktuellen Winkel der Augenrotation (β) aufweist.The method according to any one of the preceding claims, characterized in that the determination of the viewing direction (6) requires a geometric addition of the measured current angle of the head rotation (α) with the measured current angle of the head rotation (α) and stored in the database and correlating /or the measured current angle of eye rotation (β). Das Verfahren gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Messen des Winkels der Augenrotation (β) und/oder des Winkels der Kopfrotation (α) durch eine Blicksensoreinrichtung erfolgt und dass die Blicksensoreinrichtung eine Kamera zum Messen des aktuellen Winkels der Kopfrotation (α) und eine Infrarotlicht-Kamera zum Messen des aktuellen Winkels Augenrotation (β) aufweist.The method according to any one of the preceding claims, characterized in that the angle of eye rotation (β) and/or the angle of head rotation (α) is measured by a gaze sensor device and that the gaze sensor device comprises a camera for measuring the current angle of head rotation (α ) and an infrared light camera for measuring the current angle of eye rotation (β). Ein Steuergerät, dadurch gekennzeichnet, dass das Steuergerät ausgestaltet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 6 auszuführen.A control device, characterized in that the control device is designed, a method according to one of Claims 1 until 6 to execute. Ein Kraftfahrzeug, dadurch gekennzeichnet, dass das Kraftfahrzeug ein Steuergerät gemäß Anspruch 7 sowie eine Blicksensoreinrichtung aufweist.A motor vehicle, characterized in that the motor vehicle according to a control unit claim 7 as well as a gaze sensor device.
DE102021107961.6A 2021-03-30 2021-03-30 Method for determining a viewing direction Pending DE102021107961A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021107961.6A DE102021107961A1 (en) 2021-03-30 2021-03-30 Method for determining a viewing direction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021107961.6A DE102021107961A1 (en) 2021-03-30 2021-03-30 Method for determining a viewing direction

Publications (1)

Publication Number Publication Date
DE102021107961A1 true DE102021107961A1 (en) 2022-10-06

Family

ID=83282663

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021107961.6A Pending DE102021107961A1 (en) 2021-03-30 2021-03-30 Method for determining a viewing direction

Country Status (1)

Country Link
DE (1) DE102021107961A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014222752A1 (en) 2014-11-07 2016-05-12 Bayerische Motoren Werke Aktiengesellschaft Operation via head direction as a replacement for the viewing direction
DE102017214539A1 (en) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft A method, apparatus, computer program and computer program product for detecting a driver's attention of a vehicle
DE102017214505A1 (en) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014222752A1 (en) 2014-11-07 2016-05-12 Bayerische Motoren Werke Aktiengesellschaft Operation via head direction as a replacement for the viewing direction
DE102017214539A1 (en) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft A method, apparatus, computer program and computer program product for detecting a driver's attention of a vehicle
DE102017214505A1 (en) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system

Similar Documents

Publication Publication Date Title
EP3646184B1 (en) Method, apparatus and computer-readable storage medium having instructions for cancelling a redundancy of two or more redundant modules
DE102012219280A1 (en) Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person
EP2246664B1 (en) Method for automatic determination of at least one target factor describing changes in the position of a motor vehicle
DE102015214116A1 (en) A method and apparatus for estimating a gaze direction of a vehicle occupant, method and apparatus for determining a vehicle occupant specific headmovement gain parameter, and method and apparatus for gaze estimating a vehicle occupant
DE112018006164B4 (en) VISUAL DIRECTION CALIBRATION DEVICE, VISUAL DIRECTION CALIBRATION PROCEDURE, AND VISUAL DIRECTION CALIBRATION PROGRAM
EP0631154B1 (en) Method for surveying objects using an intelligent distance picture sensing camera
DE102018221695A1 (en) Method for quantitative magnetic resonance imaging, magnetic resonance device, computer program and electronically readable data carrier
DE102017215163A1 (en) System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle
DE102007030378A1 (en) Camera system e.g. eye tracking system, position determining method for use in vehicle, involves performing determination of position of camera system with respect to reference system under consideration of position of display system
DE102020126953B3 (en) System and method for detecting a spatial orientation of a portable device
DE112016006769T5 (en) Sign language input to a user interface of a vehicle
DE102009007412B4 (en) Method for tracking at least one object
DE102021107961A1 (en) Method for determining a viewing direction
DE102017011551A1 (en) Method for measuring a steering wheel angle position in a vehicle
DE102010012340B4 (en) Method for detecting the movement of a human in a manufacturing process, in particular in a manufacturing process for a motor vehicle
DE102019201134B4 (en) Method, computer program with instructions and system for measuring augmented reality glasses and augmented reality glasses for use in a motor vehicle
EP0583647A2 (en) Method and device for securing data merged into a picture
EP3922526B1 (en) Determination of a roll angle or pitch angle of a mode of transport
WO2017032562A1 (en) System for calibrating the detection of line of sight
DE102017212446A1 (en) Method for monitoring a display device
WO2020260134A1 (en) Method for locating a vehicle
EP3499461A1 (en) Representation of markers in medical imaging
DE102018109097A1 (en) Method for testing the position of elements in a tire in an X-ray inspection system, X-ray inspection system for carrying out such a method and use of such an X-ray inspection system for carrying out such a method
EP3800622B1 (en) Method and device for recording a traffic situation when a vehicle passes a recording apparatus
DE102019209281A1 (en) Method and apparatus for recognizing a feature of a face of an occupant of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified