DE102014009638A1 - Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle - Google Patents
Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle Download PDFInfo
- Publication number
- DE102014009638A1 DE102014009638A1 DE102014009638.6A DE102014009638A DE102014009638A1 DE 102014009638 A1 DE102014009638 A1 DE 102014009638A1 DE 102014009638 A DE102014009638 A DE 102014009638A DE 102014009638 A1 DE102014009638 A1 DE 102014009638A1
- Authority
- DE
- Germany
- Prior art keywords
- driver
- viewing direction
- focus
- determined
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims description 39
- 239000013598 vector Substances 0.000 claims abstract description 32
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
Abstract
Die Erfindung betrifft ein Verfahren zum Erfassen einer Blickrichtung eines Fahrers (10) in einem Kraftfahrzeug und zum Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt (12). Dabei werden ein erster vom ersten Auge (10a; 10b) aus in die erste Blickrichtung weisender Blickrichtungsvektor (VL; VR) und ein zweiter vom zweiten Auge (10b; 10a) aus in die zweite Blickrichtung weisender Blickrichtungsvektor (VR; VL) ermittelt, ein Fokus (F) durch den Schnittpunkt des ersten Blickrichtungsvektors (VL; VR) mit dem zweiten Blickrichtungsvektor (VR; VL) ermittelt, zumindest ein Positionswerts (FZ; A) des Fokus (F) in Bezug auf zumindest ein vorbestimmtes Bezugssystem ermittelt, weiterhin überprüft, ob der ermittelte Positionswert (FZ; A) in einem vorbestimmten Wertebereich (FZ) liegt, und, zumindest falls der ermittelte Positionswert (FZ) in dem vorbestimmten Wertebereich (FZ; A) liegt, der ermittelte Fokus (F) dem vorbestimmten Objekt (12) zugeordnet.The invention relates to a method for detecting a viewing direction of a driver (10) in a motor vehicle and for assigning the detected viewing direction to a predetermined object (12). In this case, a first line of sight (V L ; V R ) pointing from the first eye (10a; 10b) and a second line of sight (V R ; V L. ) Pointing from the second eye (10b; 10a) into the second line of sight become visible ), a focus (F) determined by the intersection of the first sight line vector (V L ; V R ) with the second line of sight vector (V R ; V L ), at least one position value (F Z ; A) of the focus (F) further checked determines at least a predetermined reference system, whether the detected positional value (F Z; a) in a predetermined value range (F Z), and, at least if the detected positional value (F Z) (in the predetermined range of values F Z; a ), the determined focus (F) is associated with the predetermined object (12).
Description
Die Erfindung geht aus von einem Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt sowie von einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug.The invention is based on a method for detecting a viewing direction of a driver in a motor vehicle and assigning the detected viewing direction to a predetermined object and of a sight line detection device for a motor vehicle.
Aus dem Stand der Technik sind Kraftfahrzeuge mit Blickrichtungserfassungseinrichtungen, wie Eye-Tracking-Systemen, für verschiedene Anwendungen bekannt. Solche Systeme können beispielsweise die Kopfposition und die Augenposition eines Benutzers erfassen, sowie auch die Blickrichtung des Benutzers, und durch Zuordnung der Augenposition zu einer Position in einem fahrzeugfesten Koordinatensystem und anhand der ermittelten Blickrichtung bestimmen, auf welche Komponente, wie z. B. das Mitteldisplay, des Fahrzeugs der Benutzer gerade seinen Blick richtet. Dabei kann vorteilhafterweise die Tatsache ausgenutzt werden, dass vom Benutzer aus in eine bestimmte Richtung nur eine Komponente bzw. nur ein bestimmter Bereich einer Komponente angeordnet ist und nicht mehrere unterschiedliche Komponenten in einer Richtung in unterschiedlicher Tiefe hintereinander, so dass es ausreichend ist, durch das Eye-Tracking-System nur die Richtung eines erfassten Blicks zu bestimmen und daraus abzuleiten, auf welchen Bereich ein Blick gerichtet ist, da die Position der fahrzeugfesten Komponenten im fahrzeugfesten Koordinatensystem bekannt ist.From the state of the art motor vehicles with viewing direction detection devices, such as eye tracking systems, are known for various applications. Such systems can detect, for example, the head position and the eye position of a user, as well as the line of sight of the user, and by assigning the eye position to a position in a vehicle-fixed coordinate system and based on the determined line of sight determine which component, such as. As the center display, the vehicle of the user just directed his gaze. In this case, the fact can advantageously be exploited that only one component or only a specific area of a component is arranged by the user in a specific direction and not several different components in one direction at different depths one behind the other, so that it is sufficient Eye tracking system to determine only the direction of a detected view and deduce from which area a look is directed, since the position of the vehicle-fixed components in the vehicle-fixed coordinate system is known.
Nun gibt es jedoch auch die Möglichkeit, Head-Up-Displays im Fahrzeug zu nutzen, die ein anzuzeigendes Bild auf die Windschutzscheibe projizieren, das der Benutzer als virtuelles Bild wahrnimmt. Da hier also das durch das Head-Up-Display angezeigte virtuelle Bild dem realen durch die Windschutzscheibe wahrnehmbaren Umgebungsbild überlagert ist, ist es mit herkömmlichen Eye-Tracking-Systemen nicht möglich, allein durch die Bestimmung der Blickrichtung eines Benutzers unterscheiden zu können, ob der Benutzer gerade auf ein durch das Head-Up-Display angezeigtes virtuelles Bild blickt oder auf die Straße.However, there is also the possibility of using head-up displays in the vehicle, which project an image to be displayed on the windscreen, which the user perceives as a virtual image. Since here the virtual image displayed by the head-up display is superimposed on the real environmental image perceivable by the windshield, it is not possible with conventional eye-tracking systems to be able to distinguish solely by determining the viewing direction of a user User is looking at a virtual image displayed by the head-up display or on the street.
Weiterhin sind aus dem Stand der Technik Systeme bekannt, die einen Fokus eines Benutzers bestimmen können. Insbesondere kann dies dadurch erfolgen, dass für jedes Auge einzeln die Blickrichtung bestimmt wird und der Schnittpunkt der ermittelten Blickrichtungsvektoren den Fokus liefert. Solche Systeme sind beispielsweise in der
In einem Kraftfahrzeug mit Head-Up-Display herrschen jedoch andere Vorraussetzungen, die die Situation erschweren. Zum einen können Erfassungsmittel zum Erfassen der Blickrichtung, wie z. B. Kameras, nicht in direkter Augennähe angeordnet werden. Im Gegensatz zu am Kopf tragbaren Einrichtungen muss im Kraftfahrzeug berücksichtig werden, dass Blickrichtungen auch erfasst werden sollen können, wenn der Benutzer seinen Kopf dreht. Der durch Erfassungsmittel abzudeckende Raumbereich ist somit im Kraftfahrzeug sehr groß. Zudem ist im Fall eines Blicks auf die Straße der Fokus sehr weit vom Benutzer entfernt. Dadurch bedingt lässt sich durch die oben beschriebenen Systeme der Fokus des Benutzers nur sehr unpräzise bestimmen, wenn überhaupt. Folglich ließe sich also die Entfernung des Fokus zum Benutzer entweder nur mit großen Messfehlern bestimmen, oder die Systeme müssten sehr aufwendig und teuer ausgestaltet werden.In a motor vehicle with head-up display, however, there are other conditions that complicate the situation. On the one hand detection means for detecting the line of sight, such. As cameras, not be placed in the immediate vicinity of the eyes. In contrast to head-worn devices, it must be taken into account in the motor vehicle that viewing directions can also be detected when the user turns his head. The space to be covered by detection means is thus very large in the motor vehicle. In addition, in the case of a view of the street, the focus is very far away from the user. As a result, can be determined by the systems described above, the focus of the user only very imprecisely, if at all. Consequently, the distance of the focus to the user could either be determined only with large measurement errors, or the systems would have to be made very expensive and expensive.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und eine Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug bereitzustellen, welche auf möglichst kostengünstige und wenig aufwendige Weise eine Blickrichtungserfassung und eine Zuordnung der erfassten Blickrichtung zu einem vorbestimmten Objekt erlauben.Object of the present invention is therefore to provide a method for detecting a line of sight of a driver in a motor vehicle and a viewing direction detection device for a motor vehicle, which allow the most cost-effective and less expensive way a viewing direction detection and assignment of the detected line of sight to a predetermined object.
Diese Aufgabe wird gelöst durch ein Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und eine Blickrichtungserfassungseinrichtung gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den abhängigen Ansprüchen.This object is achieved by a method for detecting a viewing direction of a driver in a motor vehicle and a sight line detection device according to the independent claims. Advantageous embodiments of the invention can be found in the dependent claims.
Bei dem erfindungsgemäßen Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und zum Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt, wie z. B. dem virtuellen Bild eines Head-Up-Displays, mittels einer Blickrichtungserfassungseinrichtung wird in einem Schritt a) eine erste Blickrichtung eines ersten Auges des Fahrers ermittelt und die erste Blickrichtung zu einem ersten vom ersten Auge aus in die erste Blickrichtung weisenden Blickrichtungsvektor zugeordnet. Weiterhin wird in einem Schritt b) eine zweite Blickrichtung eines zweiten Auges des Fahrers ermittelt und die zweite Blickrichtung zu einem zweiten vom zweiten Auge aus in die zweite Blickrichtung weisenden Blickrichtungsvektor zugeordnet. Anschließend wird in einem Schritt c) ein Fokus durch einen Schnittpunkt des ersten Blickrichtungsvektors mit dem zweiten Blickrichtungsvektor ermittelt und in einem Schritt d) zumindest ein Positionswert des Fokus in Bezug auf ein vorbestimmtes Bezugssystem ermittelt. Daraufhin wird in einem Schritt e) überprüft, ob der ermittelte Positionswert in einem vorbestimmten Wertebereich liegt und in einem Schritt f), zumindest falls der ermittelte Positionswert in dem vorbestimmten Wertebereich liegt, der ermittelte Fokus zu dem vorbestimmten Objekt zugeordnet. Das „zumindest” ist hier so zu verstehen, dass optional noch weitere Bedingungen vorgesehen werden können, die erfüllt sein müssen, damit der ermittelte Fokus dem vorbestimmten Objekt zugeordnet wird, wie beispielsweise, dass auch die Blickrichtung des Fahrers in Richtung des vorbestimmten Objekts gerichtet ist, und nicht daran vorbei. Diese weitere Bedingung kann beispielsweise dadurch bereitgestellt sein, dass zusätzlich überprüft wird, ob ein oder zwei weitere Positionswerte des Fokus ebenfalls in einem vorgegebenen Wertebereich, der z. B. zu einer x- und y-Ausdehnung des virtuellen Bildes in Bezug auf ein fahrzeugfestes Koordinatensystem mit einer y-Achse parallel zur Hochachse des Fahrzeugs und einer x-Achse parallel zu einer Querachse des Fahrzeugs korrespondiert.In the inventive method for detecting a viewing direction of a driver in a motor vehicle and for associating the detected viewing direction to a predetermined object, such. B. the virtual image of a head-up display, by means of a sight line detection device is in a step a) determines a first viewing direction of a first eye of the driver and assigns the first viewing direction to a first from the first eye out in the first direction pointing viewing direction vector. Furthermore, in a step b), a second viewing direction of a second eye of the driver is determined, and the second viewing direction is assigned to a second viewing direction vector pointing from the second eye in the second viewing direction. Subsequently, in a step c), a focus is determined by an intersection of the first sighting direction vector with the second sighting direction vector, and in a step d) at least one position value of the focus is determined with respect to a predetermined reference system. Subsequently, in a step e), it is checked whether the determined position value lies within a predetermined range of values and, in a step f), at least if the determined position value lies within the predetermined value range, the determined focus is assigned to the predetermined object. The "at least" is to be understood here as meaning that optionally further conditions can be provided which must be fulfilled so that the determined focus is assigned to the predetermined object, such as, for example, that the driver's line of sight is also directed in the direction of the predetermined object , and not over. This further condition can be provided, for example, by additionally checking whether one or two further position values of the focus are likewise present in a predetermined value range, which is eg. B. corresponds to an x and y extension of the virtual image with respect to a vehicle-fixed coordinate system with a y-axis parallel to the vertical axis of the vehicle and an x-axis parallel to a transverse axis of the vehicle.
Die Erfindung beruht dabei auf der Erkenntnis, dass es, um festzustellen, ob ein Fahrer auf ein vorbestimmtes Objekt, wie z. B. das virtuelle Bild eines Head-Up-Displays, blickt oder nicht, für fahrzeugrelevante Anwendungen ausreichend ist, ein binäres Entscheidungskriterium anzulegen, d. h. zu überprüfen, ob die ermittelte Fokusposition in einem bestimmen Wertebereich liegt oder nicht, um auch bei großen Messungenauigkeiten genau bestimmen zu können, ob der Blick auf das vorbestimmte Objekt, wie das virtuelle Bild, oder die Straße gerichtet ist. Dabei kann insbesondere die Tatsache ausgenutzt werden, dass sich die tatsächliche Fokusposition des Fahrers bei z. B. auf das virtuelle Bild gerichtetem Blick deutlich von der tatsächlichen Fokusposition bei auf die Straße gerichtetem Blick unterscheidet, insbesondere in Fahrzeuglängsrichtung betrachtet. Auch wenn also die ermittelte Fokusposition von der tatsächlichen Fokusposition abweicht, ist es durch den großen Unterschied in den Fokuspositionen in diese beiden Situationen möglich, den vorbestimmten Wertebereich so groß zu wählen, dass mögliche Messungenauigkeiten berücksichtigt sind, ohne Gefahr laufen zu müssen, eine Fehlzuordnung vorzunehmen. Trotz möglicher Messungenauigkeiten kann mit dem erfindungsgemäßen Verfahrens auf besonders einfache Weise also dennoch genau bestimmt werden, ob der Fahrer auf das virtuelle Bild blickt oder nicht. Dies erlaubt eine besonders kostengünstige und einfache Ausgestaltung der Blickrichtungserfassungseinrichtung, da durch das erfindungsgemäße Verfahren, trotz möglicher Ungenauigkeiten in der Fokusermittlung, eine präzise Zuordnung zu dem vorbestimmten Objekt möglich ist. Das erfindungsgemäße Verfahren ist aufgrund seiner Einfachheit damit deutlich robuster und weniger fehleranfällig, was besonders im Straßenverkehr aufgrund der erhöhten Sicherheit große Vorteile mit sich bringt, und zudem sehr kostengünstig und dennoch zuverlässig.The invention is based on the recognition that, to determine whether a driver on a predetermined object such. B. the virtual image of a head-up display, looks or not, is sufficient for vehicle-relevant applications to create a binary decision criterion, d. H. to check whether the determined focus position is within a certain range of values or not, to be able to accurately determine whether the view of the predetermined object, such as the virtual image, or the road is directed even in large inaccuracies. In particular, the fact can be exploited that the actual focus position of the driver at z. B. on the virtual image directed view differs significantly from the actual focus position when looking at the road view, especially in the vehicle longitudinal direction considered. Thus, even if the determined focus position differs from the actual focus position, the large difference in the focus positions in these two situations makes it possible to set the predetermined range of values so large that possible measurement inaccuracies are taken into account without having to make a misadjustment mistake , Despite possible measurement inaccuracies, the method according to the invention can nevertheless be used to determine in a particularly simple manner whether the driver is looking at the virtual image or not. This allows a particularly cost-effective and simple embodiment of the sight line detection device, as by the method according to the invention, despite possible inaccuracies in the focus detection, a precise assignment to the predetermined object is possible. Due to its simplicity, the method according to the invention is therefore considerably more robust and less susceptible to errors, which brings great advantages, especially in road traffic, because of the increased safety, and also very cost-effectively and nevertheless reliably.
Dabei stellt das vorbestimmte Objekt, wie beschrieben, bevorzugt ein virtuelles Bild eines Head-Up-Displays des Kraftfahrzeugs dar, da gerade in diesem Anwendungsfall vorteilhafterweise die Tatsache genutzt werden kann, dass sich die Fokuspositionen bei auf das virtuelle Bild gerichtetem Blick und auf die Straße gerichtetem Blick deutlich unterscheiden. Mit anderen Worten, sollte dagegen der Fokus auf zwei in der Tiefe betrachtet sehr nahe gelegene Objekte unterschieden werden können, so würde dies eine sehr hohe Messgenauigkeit und damit eine sehr aufwendige und teure Ausgestaltung der Erfassungseinrichtung erfordern. Bei der Anwendung im Zusammenhang mit einem Head-Up-Display ist das jedoch nicht so. Das Head-Up-Display projiziert ein Bild derart an die Windschutzscheibe des Kraftfahrzeugs, dass für den Fahrer ein virtuelles Bild in einem Abstand von ca. 1,5 m bis 2 m in Blickrichtung hinter der Windschutzscheibe entsteht. Der Abstand kann dabei von Fahrzeugtyp zu Fahrzeugtyp variieren, jedoch ist der Abstand des virtuellen Bildes für ein gegebenes Fahrzeug mit einem gegebenen Head-Up-Display bevorzugt konstant und kann der Blickrichtungserfassungseinrichtung z. B. vorgegeben sein, insbesondere als Position des virtuellen Bildes in Bezug auf das fahrzeugfeste Koordinatensystem. Richtet ein Fahrer seinen Blick auf die Straße liegt der tatsächliche Fokus des Fahrers dabei in einem deutlich größeren Abstand zur Windschutzscheibe, durchschnittlich in etwa bei 20 m, und ist damit deutlich weiter entfernt als 2 m. Daher ist es in diesem Anwendungsfall besonders vorteilhaft, ein binäres Entscheidungskriterium bei der Zuordnung des Fokus zum virtuellen Bild des Head-Up-Displays anzulegen, da gar nicht exakt bestimmt werden muss, wo die tatsächliche Fixationsebene des Fahrers liegt, sondern bereits durch Vergleich des ermittelten Fokus, der also nicht genau mit dem tatsächlichen Fokus der Fahrer übereinstimmen muss, z. B. mit einem Grenzwert des vorbestimmten Wertebereichs mit hoher Wahrscheinlichkeit richtig bestimmt werden kann, ob der Fahrer auf das virtuelle Bild blickt oder nicht.In this case, the predetermined object, as described, preferably represents a virtual image of a head-up display of the motor vehicle, since it is precisely in this application case that the fact that the focus positions are aimed at the virtual image and onto the street can be used to advantage Clearly distinguish directed view. In other words, on the other hand, if the focus on two objects that are very close in depth can be distinguished, this would require a very high measurement accuracy and thus a very complex and expensive design of the detection device. However, this is not the case when used in conjunction with a head-up display. The head-up display projects an image onto the windshield of the motor vehicle in such a way that a virtual image is produced for the driver at a distance of approximately 1.5 m to 2 m in the direction behind the windshield. The distance may vary from vehicle type to vehicle type, however, the distance of the virtual image for a given vehicle with a given head-up display is preferably constant and the gaze direction detection device z. B., in particular as a position of the virtual image with respect to the vehicle-fixed coordinate system. If a driver turns his gaze to the road, the driver's actual focus is at a much greater distance from the windshield, at an average of about 20 m, which is significantly more than 2 m away. Therefore, in this application, it is particularly advantageous to create a binary decision criterion when assigning the focus to the virtual image of the head-up display, since it is not necessary to determine exactly where the actual fixation level of the driver lies, but already by comparing the determined Focus that does not have to be exactly in line with the driver's actual focus, eg. B. with a limit of the predetermined range of values with high probability can be correctly determined whether the driver looks at the virtual image or not.
Bei einer besonders vorteilhaften Ausgestaltung der Erfindung wird in Schritt c) bei der Ermittlung des Fokus durch den Schnittpunkt der beiden Blickrichtungsvektoren der Fokus ermittelt, indem der Schnittpunkt der senkrechten Projektionen der Blickrichtungsvektoren bzw. ihrer Verlängerungen auf eine selbe Ebene ermittelt wird. Bevorzugt stellt diese selbe Ebene eine horizontale Ebene dar, d. h. eine Ebene senkrecht zur Hochachse des Kraftfahrzeugs. Dies ist besonders vorteilhaft, da es bei einer Ermittlung der Blickrichtungsvektoren im 3D-Raum und insbesondere bereits bei kleinen Ungenauigkeiten in dieser Ermittlung nicht immer dazu kommt, dass sich die Blickrichtungsvektoren auch schneiden, sondern windschief zueinander verlaufen. Durch die Ermittlung des Schnittpunkts durch eine senkrechte Projektion der Blickrichtungsvektoren auf eine selbe Ebene ist auch bei windschief zueinander verlaufenden Blickrichtungsvektoren immer gewährleistet, dass diese oder ihre Verlängerungen sich auch schneiden. In a particularly advantageous embodiment of the invention, the focus is determined in step c) in determining the focus by the intersection of the two line of sight vectors by the intersection of the vertical projections of the line of sight vectors or their extensions is determined to a same level. Preferably, this same level represents a horizontal plane, ie a plane perpendicular to the vertical axis of the motor vehicle. This is particularly advantageous since it is not always the case when determining the line of sight vectors in 3D space and in particular even with small inaccuracies in this determination that the line of sight vectors also intersect but are skewed relative to one another. By determining the point of intersection by means of a vertical projection of the line of sight vectors on a same plane, it is always ensured even when the viewing direction vectors are skewed relative to one another that these or their extensions also intersect.
Bevorzugt wird der mindestens eine Positionswert des Fokus so ermittelt, dass der Positionswert die Position des Fokus in Bezug auf eine Koordinatenachse des vorbestimmten Bezugssystems, die parallel zur Fahrzeuglängsachse verläuft, angibt. Um zu unterscheiden, ob der Fahrer auf die Straße blick oder auf das virtuelle Bild ist gerade die z-Koordinate des Fokus, also der Ort des Fokus in Richtung der Fahrzeuglängsachse, relevant. Dabei ist es zunächst unerheblich, ob es sich beidem vorbestimmten Bezugssystem um das fahrzeugfeste Koordinatensystem handelt oder z. B. um das Fahrerbezugssystem, also z. B. ein Koordinatensystem das in Bezug auf die Fahrerposition fix ist. Im Übrigen können diese beiden Bezugssysteme einfach ineinander umgerechnet werden, indem die Fahrerposition in Bezug auf das fahrzeugfeste Koordinatensystem der Blickrichtungserfassungseinrichtung vorgegeben wird oder durch diese ermittelt wird. Eine derartige Umrechnung bedeutet für die relevante z-Koordinate lediglich eine Ursprungsverschiebung eines Bezugssystems parallel zur Fahrzeuglängsachse. Der Positionswert des Fokus gibt damit also die oben definierte z-Koordinate des vorbestimmten Bezugssystems an. Dies gilt sowohl, wenn der Positionswert des Fokus in Bezug auf den Fahrer als vorbestimmtes Bezugssystem ermittelt wird als auch wenn der Positionswert des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem als vorbestimmtes Bezugssystem ermittelt wird.The at least one position value of the focus is preferably determined such that the position value indicates the position of the focus with respect to a coordinate axis of the predetermined reference system that runs parallel to the vehicle longitudinal axis. In order to distinguish whether the driver is looking at the road or on the virtual image is just the z-coordinate of the focus, so the location of the focus in the direction of the vehicle longitudinal axis, relevant. It is initially irrelevant whether it is the predetermined reference system to the vehicle-fixed coordinate system or z. B. to the driver reference system, ie z. B. a coordinate system that is fixed in relation to the driver's position. Incidentally, these two reference systems can be easily converted into each other by the driver position with respect to the vehicle-fixed coordinate system of the sight line detection device is predetermined or determined by them. Such a conversion means for the relevant z-coordinate only an origin shift of a reference system parallel to the vehicle longitudinal axis. The position value of the focus thus indicates the above-defined z-coordinate of the predetermined reference system. This applies both when the position value of the focus with respect to the driver is determined as a predetermined reference system and when the position value of the focus with respect to the vehicle-fixed coordinate system is determined as a predetermined reference system.
Darüber hinaus, wie bereits eingangs erwähnt, kann es zusätzlich noch vorgesehen sein, dass noch ein oder zwei weitere Positionswerte des Fokus, z. B. korrespondierend zu einer x- und y-Koordinate in Bezug auf das vorbestimmte Bezugssystem ermittelt werden. Hierbei sei noch erwähnt, dass sich Messungenauigkeiten bei der Ermittlung der jeweiligen Richtungsvektoren deutlich stärker auf die dadurch bedingte Verschiebung des Schnittpunkts in z-Richtung auswirken als in x- und/oder y-Richtung, weshalb es unproblematisch ist, x- und y-Koordinaten als Positionswerte des Fokus aus dem Schnittpunkt genau zu bestimmen, im Gegensatz zur z-Koordinate. Alternativ oder auch zusätzlich als Verifizierung dieser Ermittlung können die x- und y-Koordinate auch auf herkömmliche Weise ermittelt werden, d. h. über die z. B. für beide Augen gemittelte Richtung des Blicks, insbesondere für eine gegebene z-Koordinate, ohne dabei zwangsläufig einen Fokus bzw. den genannten Schnittpunkt bestimmen zu müssen.In addition, as already mentioned, it may additionally be provided that one or two further position values of the focus, for. B. corresponding to an x and y coordinate with respect to the predetermined reference system can be determined. It should also be mentioned that measurement inaccuracies in the determination of the respective direction vectors have a much stronger effect on the consequent shift of the point of intersection in the z-direction than in the x and / or y direction, which is why it is unproblematic, x and y coordinates as positional values of the focus from the point of intersection, as opposed to the z-coordinate. Alternatively or additionally as a verification of this determination, the x and y coordinates can also be determined in a conventional manner, i. H. about the z. B. for both eyes averaged direction of the gaze, in particular for a given z-coordinate, without necessarily having to determine a focus or said intersection.
Bei einer Ausgestaltung der Erfindung wird als Positionswert in Schritt d) der Abstand des Fokus vom Fahrer ermittelt, insbesondere in z-Richtung. Hierbei stellt dann der Fahrer selbst das vorbestimmte Bezugssystem dar. Liegt dieser Abstand beispielsweise in einem vorbestimmten Wertebereich, z. B. zwischen 0 m und einem oberen Grenzwert, der insbesondere so bemessen ist, dass das vorbestimmte Objekt, also z. B. das virtuelle bild, sich in einem gleichen oder geringeren Abstand zum Fahrer als der obere Grenzwert befindet, so wird der Fokus dem vorbestimmten Objekt zugeordnet. Hierbei ist wieder vorausgesetzt, dass auch die Bedingung erfüllt ist, dass der Fahrer auch in Richtung des vorbestimmten Objekts blickt. Bei der Bemessung des vorbestimmten Bereichs können auch fahrzeugspezifische oder andere bestimmte, vorgegebene Abmessungen eingehen, wie z. B. die Position des vorbestimmten Objekts in Bezug auf das Fahrzeugkoordinatensystem, d. h. das fahrzeugfeste Koordinatensystem, und/oder die Sitzposition und/oder Kopfposition und/oder Augenposition des Fahrers in Bezug auf das Fahrzeugkoordinatensystem. Bei der Bemessung des vorbestimmten Bereichs kann auch fahrzeugunabhängig ein bestimmter oberer Grenzwert betreffend den Abstand zum Fahrer in z-Richtung, beispielsweise in einem Bereich zwischen 3 m und 6 m, vorgegeben werden. Bereits durch eine derartige pauschale Vorgabe kann auf besonders einfache Weise eine hohe Erfolgsquote der richtigen Zuordnung erzielt werden.In one embodiment of the invention, the distance of the focus from the driver is determined as the position value in step d), in particular in the z-direction. In this case, then the driver himself represents the predetermined reference system. If this distance is, for example, in a predetermined range of values, for. B. between 0 m and an upper limit, which is particularly such that the predetermined object, ie z. B. the virtual image is located at an equal or lesser distance from the driver than the upper limit, the focus is assigned to the predetermined object. In this case, it is again assumed that the condition is met that the driver also looks in the direction of the predetermined object. When dimensioning the predetermined range can also be vehicle-specific or other specific, given dimensions, such. B. the position of the predetermined object with respect to the vehicle coordinate system, d. H. the vehicle-fixed coordinate system, and / or the sitting position and / or head position and / or eye position of the driver with respect to the vehicle coordinate system. When dimensioning the predetermined area, a specific upper limit value regarding the distance to the driver in the z-direction, for example in a range between 3 m and 6 m, can also be specified independently of the vehicle. Already by such a blanket specification, a high success rate of the correct assignment can be achieved in a particularly simple manner.
Bei einer weiteren Ausgestaltung der Erfindung wird der Positionswert in Schritt d) in Bezug auf ein fahrzeugfestes Koordinatensystem ermittelt. Beispielsweise kann dies dadurch erfolgen, dass die Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem ermittelt wird und die ermittelte Fahrerposition bei der Ermittlung des Positionswerts des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem eingeht. Mit anderen Worten, wird z. B. der Abstand des Fokus zum Fahrer bestimmt und die Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem, dann ist auch die Position des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem bestimmt. Da darüber hinaus auch die Position des virtuellen Bildes in Bezug auf das fahrzeugfeste Koordinatensystem vorgegeben sein oder ermittelt werden kann, kann auf diese Weise eine sehr zuverlässige Zuordnung des Fokus zum virtuellen Bild erfolgen, wenn der Positionswert des Fokus im vorbestimmten Wertebereich liegt. Alternativ zur Ermittlung der Fahrerposition kann auch eine Durchschnitts-Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem angenommen und vorgegeben werden, so dass sich darüber der Positionswert des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem ermitteln lässt. Die Fahrerposition, z. B. die Kopfposition des Fahrer oder auch die Augenposition des Fahrers, in Bezug auf das fahrzeugfeste Koordinatensystem lässt sich mittels einer oder mehrerer Kameras jedoch leicht bestimmen, so dass die Ermittlung der Fahrerposition eine sehr einfache und das Verfahren in seiner Genauigkeit verbessernde vorteilhafte Ausgestaltung darstellt.In a further embodiment of the invention, the position value in step d) is determined with reference to a vehicle-fixed coordinate system. For example, this can be done by determining the position of the driver with respect to the vehicle-fixed coordinate system and entering the determined driver position when determining the position value of the focus with respect to the vehicle-fixed coordinate system. In other words, z. B. determines the distance of the focus to the driver and the position of the driver with respect to the vehicle-fixed coordinate system, then the position of the focus with respect to the vehicle-fixed coordinate system is determined. In addition, since the position of the virtual image with respect to the vehicle-fixed coordinate system to be predetermined or determined can be done in this way, a very reliable assignment of the focus to the virtual image, if the position value of the focus is in the predetermined range of values. As an alternative to determining the driver's position, an average position of the driver with respect to the vehicle-fixed coordinate system can also be assumed and predefined so that the positional value of the focus with respect to the vehicle-fixed coordinate system can be determined. The driver position, z. B. the head position of the driver or the eye position of the driver with respect to the vehicle fixed coordinate system can be easily determined by one or more cameras, however, so that the determination of the driver's position is a very simple and the method in its accuracy improving advantageous embodiment.
Im Allgemeinen kann also eine Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem ermittelt werden oder die Position des Fahrers als Durchschnitts-Fahrerposition in Bezug auf das fahrzeugfeste Koordinatensystem vorgegeben sein, wobei die Position des Fahrers bei der Ermittlung des Positionswerts des Fokus oder durch den vorbestimmten Wertebereich berücksichtigt wird. Die Berücksichtung der Fahrerposition durch den vorbestimmten Wertebereich kann beispielsweise dergestalt sein, dass der Positionswert des Fokus als Abstand zum Fahrer bestimmt wird. Nun aber nicht die ermittelte Fahrerposition verwendet wird, um die Position des Fokus in Bezug zum fahrzeugfesten Koordinatensystem zu ermitteln, sondern um den vorbestimmten Wertebereich in Abhängigkeit von der Fahrerposition zu errechnen. Oder anders ausgedrückt, es kann die Position des Fokus in Relation zum Fahrer als Bezugssystem ermittelt werden und durch Vorgabe oder Ermittlung der Fahrerposition im Fahrzeugkoordinatensystem die Fokusposition in Fahrzeugkoordinatensystem transformiert werden und mit dem sich auf das Fahrzeugkoordinatensystem beziehenden, vorgegebenen Wertebereich verglichen werden oder es kann die Position des Fokus in Relation zum Fahrer als Bezugssystem ermittelt werden und der sich auf das fahrzeugfeste Koordinatensystem beziehende, vorbestimmte Wertebereich durch Vorgabe oder Ermittlung der Fahrerposition im Fahrzeugkoordinatensystem in das Bezugssystem des Fahrers transformiert werden.In general, therefore, a position of the driver with respect to the vehicle-fixed coordinate system can be determined or the driver's position can be specified as the average driver position with respect to the vehicle-fixed coordinate system, wherein the position of the driver in determining the position value of the focus or by the predetermined Value range is taken into account. The consideration of the driver position by the predetermined range of values may be, for example, such that the position value of the focus is determined as the distance to the driver. But now the determined driver position is not used to determine the position of the focus with respect to the vehicle-fixed coordinate system, but to calculate the predetermined range of values in dependence on the driver's position. In other words, it is possible to determine the position of the focus in relation to the driver as a reference system and to transform the focus position into vehicle coordinate system by presetting or determining the driver position in the vehicle coordinate system and to compare it with the predefined value range relating to the vehicle coordinate system Position of the focus in relation to the driver can be determined as a reference system and the reference to the fixed vehicle coordinate system, predetermined range of values are transformed by default or determination of the driver position in the vehicle coordinate system in the frame of reference of the driver.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist der vorbestimmte Wertebereich so bemessen, dass dieser einen Bereich bis zu einer vorbestimmten Grenze in Fahrtrichtung bzw. z-Richtung hinter der Windschutzscheibe abdeckt, wie z. B. bis ca. 2,5 m–4 m hinter der Windschutzscheibe. Liegt der ermittelte Fokus in diesem Bereich, so kann davon ausgegangen werden, dass der Fahrer auf das virtuelle Bild blickt, vorausgesetzt der Fahrer blickt in die Richtung des virtuellen Bildes. Ein solcher Grenzwert erlaubt, insbesondere in Kombination mit einem oben beschriebenen Head-Up-Display, das ein virtuelles Bild in einem Abstand von 1,5 m bis 2 m vor die Windschutzscheibe projiziert, eine eindeutige Unterscheidung, ob der Fahrer bzw. die Fahrer auf die Straße schaut oder auf das virtuelle Bild des Head-Up-Displays. Selbst wenn also bei der Fokusermittlung Abweichungen vom tatsächlichen Fokus auftreten würden, die im mehrstelligen Zentimeterbereich liegen, kann vorteilhafterweise dennoch eine zuverlässige Zuordnung des Fokus zum virtuellen Bild des Head-Up-Displays gewährleistet werden. Der vorbestimmte Wertebereich kann insbesondere so ausgestaltet sein, dass er in eine Richtung durch, z. B. den oben genannten, Grenzwert begrenzt ist und in die andere Richtung offen. Dies ermöglich eine besonders einfache Ausgestaltung des Verfahrens und ist besonders für den genannten Anwendungsfall geeignet, da lediglich eine Grenze in z-Richtung festgelegt werden muss, anhand welcher unterschieden werden kann, ob der Fahrer auf das virtuelle Bild blickt oder auf die Straße. Eine untere Grenze, die also den vorbestimmten Wertebereich auch in die andere Richtung begrenzt, ist nicht erforderlich, da selten Situationen auftreten, in denen unterschieden werden muss, ob ein Fahrer z. B. direkt auf die Windschutzscheibe blickt oder auf das virtuelle Bild dahinter.In a further advantageous embodiment of the invention, the predetermined range of values is such that it covers an area up to a predetermined limit in the direction of travel or z-direction behind the windshield, such. B. to about 2.5 m-4 m behind the windshield. If the determined focus is in this area, it can be assumed that the driver looks at the virtual image, provided the driver looks in the direction of the virtual image. Such a limit, especially in combination with a head-up display described above, which projects a virtual image at a distance of 1.5 m to 2 m in front of the windshield, allows a clear distinction whether the driver or the driver on the street looks or the virtual image of the head-up display. Even if, therefore, deviations from the actual focus would occur in the focus detection, which are in the range of several centimeters, advantageously a reliable assignment of the focus to the virtual image of the head-up display can be ensured. The predetermined range of values may in particular be designed so that it in a direction through, z. B. the above limit is limited and open in the other direction. This allows a particularly simple embodiment of the method and is particularly suitable for the application mentioned, since only a limit in the z-direction must be determined, based on which it can be distinguished whether the driver looks at the virtual image or on the road. A lower limit, which also limits the predetermined value range in the other direction, is not required, since situations rarely occur in which a distinction must be made whether a driver z. B. looks directly at the windscreen or on the virtual image behind it.
Dennoch kann auch noch ein solcher zweiter Grenzwert vorgesehen sein, der den vorbestimmten Bereich entgegen Fahrtrichtung begrenzt. Der zweite Grenzwert kann dabei z. B. bei ca. 1 m bis 1,3 m in Fahrtrichtung hinter der Windschutzscheibe liegen. Dadurch kann beispielsweise auch unterschieden werden, ob der Fahrer gerade nur auf die Windschutzscheibe blickt, oder auf das virtuelle Bild des Head-Up-Displays. Auch um diese Unterscheidung zu ermöglichen, ist keine besonders hohe Messgenauigkeit der Blickrichtungserfassungseinrichtung erforderlich, was wiederum eines besonders zuverlässige und gleichzeitig einfache und kostengünstige Ausgestaltung der Blickrichtungserfassungseinrichtung erlaubt.Nevertheless, even such a second limit value may be provided which limits the predetermined range in the opposite direction of travel. The second limit can be z. B. at about 1 m to 1.3 m in the direction behind the windshield. As a result, it can also be distinguished, for example, whether the driver is just looking at the windshield or at the virtual image of the head-up display. Also, to allow for this distinction, no particularly high measurement accuracy of the sight line detection device is required, which in turn allows a particularly reliable and at the same time simple and cost-effective embodiment of the sight line detection device.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist der Blickrichtungserfassungseinrichtung eine tatsächliche Entfernung des vorbestimmten Objekts vom Fahrer bereitgestellt, wobei, falls in Schritt f) der ermittelte Fokus dem vorbestimmten Objekt zugeordnet wird, ein Teilbereich des vorbestimmten Objekts als vom Benutzer anvisierter Bereich identifiziert wird, indem die erste Blickrichtung und/oder die zweite Blickrichtung und/oder eine gemittelte Blickrichtung in Bezug auf die tatsächliche Entfernung durch die Blickrichtungserfassungseinrichtung ausgewertet wird. Ist also erstmal festgestellt, dass der Fahrer auf das vorbestimmte Objekt blickt, ist also zur Bestimmung eines anvisierten Teilbereichs des Objekts ebenfalls die Genauigkeit der Fokusermittlung unerheblich. Denn kennt die Blickrichtungserfassungseinrichtung den tatsächlichen Abstand des Fahrers vom virtuellen Bild und es wurde auch festgestellt, dass der Fahrer das virtuelle Bild anvisiert, dann kann zur weiteren Ermittlung des anvisierten Teilbereichs des virtuellen Bildes einfach der tatsächliche Fokusabstand herangezogen werden.In a further advantageous embodiment of the invention, the viewing direction detection device is provided an actual removal of the predetermined object from the driver, wherein, if in step f) the determined focus is assigned to the predetermined object, a partial area of the predetermined object is identified as a user-targeted area by the first viewing direction and / or the second viewing direction and / or an average viewing direction with respect to the actual distance is evaluated by the sight line detection device. Thus, once it has been established that the driver is looking at the predetermined object, the accuracy of the focus detection is irrelevant for determining a targeted partial area of the object. Because knows the gaze direction detecting device detects the actual distance of the driver from the virtual image and it has also been determined that the driver is aiming at the virtual image, then the actual focal distance can simply be used to further determine the targeted portion of the virtual image.
Die tatsächliche Entfernung des vorbestimmten Objekts von einer fahrzeugfesten Komponente bzw. die Position des vorbestimmten Objekts in Bezug auf das fahrzeugfeste Koordinatensystem kann beispielsweise in einem Speicher der Blickrichtungserfassungseinrichtung bzw. in einem der Blickrichtungserfassungseinrichtung zugänglichen Speicher abgelegt sein. Wenn es sich bei dem vorbestimmten Objekt z. B. um das virtuelle Bild eines Head-Up-Displays handelt, das das virtuelle Bild immer in einem konstanten Abstand zur Windschutzscheibe in Blickrichtung hinter die Windschutzscheibe projiziert, so kann dieser Projektionsabstand z. B. als fester Wert in der Blickrichtungserfassungseinrichtung abgelegt sein. Um den aktuellen Abstand des Bildes vom Fahrer zu ermitteln, der dann von der Fahrerposition oder Fahrersitzeinstellung abhängen kann, kann die Fahrerposition, insbesondere dessen Kopf- oder Augenposition in Bezug auf das Fahrzeugkoordinatensystem bestimmt werden und daraus dann der Abstand des virtuellen Bildes vom Fahrer. Wenn das Head-Up-Display das virtuelle Bild in unterschiedliche Weiten projiziert werden kann, kann es auch vorgesehen sein, dass die aktuelle Projektionsweite vom Head-Up-Display an die Blickrichtungserfassungseinrichtung übermittelt werden kann. Dann ist so zu jedem Zeitpunkt der aktuelle Abstand des Fahrers vom virtuellen Bild der Blickrichtungserfassungseinrichtung bereitgestellt. In diesem Fall kann auch der vorbestimmte Wertebereich in Abhängigkeit der aktuellen Projektionsweite angepasst werden.The actual distance of the predetermined object from a vehicle-fixed component or the position of the predetermined object with respect to the vehicle-fixed coordinate system can be stored, for example, in a memory of the sight line detection device or in a memory accessible to the sight line detection device. If the predetermined object z. B. is the virtual image of a head-up display, which always projects the virtual image at a constant distance from the windshield in the direction behind the windshield, so this projection distance z. B. be stored as a fixed value in the sight line detection device. To determine the current distance of the image from the driver, which may then depend on the driver position or driver's seat setting, the driver's position, in particular its head or eye position with respect to the vehicle coordinate system can be determined and then the distance of the virtual image from the driver. If the head-up display, the virtual image can be projected in different widths, it can also be provided that the current projection width can be transmitted from the head-up display to the sight line detection device. Then, the driver's current distance from the virtual image of the sight line detection device is thus provided at all times. In this case, the predetermined value range can also be adapted as a function of the current projection width.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird nach einer Identifizierung eines Bereichs des vorbestimmten Objekts als vom Benutzer anvisierter Bereich, einem diesem Bereich zugeordnete Funktion aktiviert. Somit wird es durch das erfindungsgemäße Verfahren vorteilhafterweise auch ermöglicht auch für das Head-Up-Display eine Bedienkonzeptunterstützung durch Blickrichtungserfassung bereitzustellen.In a further advantageous embodiment of the invention, after identification of a region of the predetermined object as an area targeted by the user, a function associated with this area is activated. Thus, it is advantageously also made possible by the inventive method also for the head-up display to provide an operating concept support by viewing direction detection.
Bei einer vorteilhaften Ausgestaltung wird nach den Schritten a) und/oder b) überprüft, ob die ermittelte erste Blickrichtung und/oder die ermittelte zweite Blickrichtung in einem vorbestimmten Raumwinkelbereich in Bezug auf den Fahrer liegt, und weiterhin die Schritte c), d), e) und f) nur ausgeführt, falls dem so ist. Mit anderen Worten wird hier zunächst überprüft, ob der Fahrer seinen Blick überhaupt in Richtung des virtuellen Bildes richtet, und erst wenn dem so ist, wird Überprüft, ob der Fahrer das virtuelle Bild anvisiert oder die Straße. Die Ermittlung der Fokusposition ist insbesondere nur dann relevant, wenn unterschieden werden muss, ob der Fahrer auf das virtuelle Bild oder die Straße blickt, also eine Tiefeninformation des Blicks und nicht nur die Richtung relevant ist. Ist dem nicht so und blickt der Fahrer beispielsweise auf die Mittelkonsole, oder in anderer Weise am virtuellen Bild vorbei, so kann die Anvisierung der Mittelkonsole oder andere Komponenten in herkömmlicher Weise erfasst werden, ohne dass dabei eine Tiefeninformation, die durch die Ermittlung des Fokus bereitgestellt wird, erforderlich ist. Richtet also der Fahrer seinen Blick nicht in Richtung des virtuellen Bildes, so ist nicht zwingend die Ermittlung der Fokusposition erforderlich um einen erfassten Blick einem anvisierten Objekt zuordnen zu können. Jedoch können auch x- und y-Koordinaten, wie bereits beschreiben, aus dem Schnittpunkt der Blickrichtungsvektoren ermittelt werden, wodurch sich auch feststellen lässt, auf welche anderen Komponenten des Fahrzeugs der Fahrer gerade blickt.In an advantageous embodiment, it is checked after steps a) and / or b) whether the determined first viewing direction and / or the determined second viewing direction lies in a predetermined solid angle range with respect to the driver, and further steps c), d), e) and f) only executed if so. In other words, it is first checked here whether the driver directs his gaze at all in the direction of the virtual image, and only if so is Checked, whether the driver anvisiert the virtual image or the road. The determination of the focus position is relevant only if it is necessary to distinguish whether the driver is looking at the virtual image or the road, that is to say a depth information of the gaze and not only the direction is relevant. If this is not the case and if the driver is looking, for example, at the center console or otherwise past the virtual image, then the center console or other components can be detected in a conventional manner without providing any depth information provided by the determination of the focus is required. Thus, if the driver does not direct his gaze in the direction of the virtual image, it is not absolutely necessary to determine the focus position in order to be able to assign a detected gaze to a targeted object. However, as already described, x and y coordinates can also be determined from the intersection of the line of sight vectors, which also makes it possible to determine which other components of the vehicle the driver is currently looking at.
Die erfindungsgemäße Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und zum Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt des Kraftfahrzeugs ist dazu ausgelegt, eine erste Blickrichtung eines ersten Auges des Fahrers zu erfassen und die erste Blickrichtung zu einem ersten vom ersten Auge aus in die erste Blickrichtung weisenden Blickrichtungsvektor zuzuordnen, eine zweite Blickrichtung eines zweiten Auges des Fahrers zu erfassen und die zweite Blickrichtung zu einem zweiten vom zweiten Auge aus in die zweite Blickrichtung weisenden Blickrichtungsvektor zuzuordnen, und einen Fokus durch einen Schnittpunkt des ersten Blickrichtungsvektors mit dem zweiten Blickrichtungsvektor zu ermitteln. Weiterhin ist sie dazu ausgelegt, zumindest einen Positionswert des Fokus in Bezug auf zumindest ein vorbestimmtes Bezugssystem zu ermitteln, zu überprüfen, ob der ermittelte Positionswert in einem vorbestimmten Wertebereich liegt, und zumindest falls der ermittelte Positionswert in dem vorbestimmten Wertebereich liegt, den ermittelten Fokus zu dem vorbestimmten Objekt zuzuordnen.The viewing direction detection device according to the invention for a motor vehicle for detecting a viewing direction of a driver in a motor vehicle and for associating the detected viewing direction to a predetermined object of the motor vehicle is adapted to detect a first viewing direction of a first eye of the driver and the first viewing direction to a first of the first Assign eye from the direction of view direction pointing in the first direction of view, to capture a second line of sight of a second eye of the driver and assign the second line of sight to a second from the second eye in the second line of sight viewing direction vector, and a focus through an intersection of the first line of sight vector with the to determine the second line of sight vector. Furthermore, it is designed to determine at least one position value of the focus with respect to at least one predetermined reference system, to check whether the determined position value is within a predetermined value range, and at least if the determined position value is in the predetermined value range, the determined focus attributable to the predetermined object.
Die für das erfindungsgemäße Verfahren und seine Ausgestaltungen beschriebenen Merkmale, Merkmalskombinationen und deren Vorteile gelten in gleicher Weise auch für die erfindungsgemäße Blickrichtungserfassungseinrichtung. Darüber hinaus kann die erfindungsgemäße Blickrichtungserfassungseinrichtung auch ausgelegt sein, die im Zusammenhang mit den Ausgestaltungen des erfindungsgemäßen Verfahrens genannten weiteren Verfahrensschritte auszuführen. Insbesondere ermöglichen dabei die im Zusammenhang mit dem erfindungsgemäßen Verfahren und seinen Ausgestaltungen genannten Merkmale die Weiterbildung der erfindungsgemäßen Blickrichtungserfassungseinrichtung durch weitere gegenständliche Merkmale.The features, feature combinations and their advantages described for the method according to the invention and its embodiments also apply in the same way to the sight line detection device according to the invention. In addition, the sight line detection device according to the invention can also be designed to carry out the further method steps mentioned in connection with the embodiments of the method according to the invention. In particular, the features mentioned in connection with the method according to the invention and its embodiments make possible the further development of Viewing direction detection device according to the invention by further objective features.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnung.Further advantages, features and details of the invention will become apparent from the claims, the following description of preferred embodiments and from the drawing.
Dabei zeigt die einzige Figur eine schematische Darstellung einer Draufsicht auf ein nur zum Teil dargestelltes Kraftfahrzeug zur Veranschaulichung der Ermittlung der Fokusposition FZ eines Fahrers
Dabei kann zunächst überprüft werden, ob der Blick in Richtung des virtuellen Bildes
Da der Positionswert FZ bereits in Bezug auf das Fahrzeugkoordinatensystem, wie oben beschreiben, ermittelt ist, wird nun verglichen, ob dieser Positionswert FZ innerhalb des vorbestimmten Bereichs Δ liegt. Ist dies der Fall, wie hier dargestellt, wird der Fokus F dem virtuellen Bild
Nun kann bestimmt werden, welchen Teilbereich des virtuellen Bildes
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 19537499 A1 [0004] DE 19537499 A1 [0004]
- US 2013/0300653 A1 [0004] US 2013/0300653 A1 [0004]
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014009638.6A DE102014009638A1 (en) | 2014-06-27 | 2014-06-27 | Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014009638.6A DE102014009638A1 (en) | 2014-06-27 | 2014-06-27 | Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102014009638A1 true DE102014009638A1 (en) | 2015-12-31 |
Family
ID=54839486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102014009638.6A Withdrawn DE102014009638A1 (en) | 2014-06-27 | 2014-06-27 | Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102014009638A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017213679A1 (en) * | 2017-08-07 | 2019-02-07 | Bayerische Motoren Werke Aktiengesellschaft | Driver condition assessment method and apparatus and vehicle |
| DE102017218444A1 (en) | 2017-10-16 | 2019-04-18 | Audi Ag | Method for operating a safety system for a seat system of a motor vehicle and safety system for a seat system of a motor vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19537499A1 (en) | 1995-09-25 | 1997-03-27 | Hertz Inst Heinrich | Autostereoscopic image reproduction device |
| US6191892B1 (en) * | 1996-04-02 | 2001-02-20 | Canon Kabushiki Kaisha | Image display apparatus |
| US20130300653A1 (en) | 2011-08-29 | 2013-11-14 | John R. Lewis | Gaze detection in a see-through, near-eye, mixed reality display |
| DE102013210587A1 (en) * | 2013-06-07 | 2014-12-24 | Bayerische Motoren Werke Aktiengesellschaft | Display system with data glasses |
-
2014
- 2014-06-27 DE DE102014009638.6A patent/DE102014009638A1/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19537499A1 (en) | 1995-09-25 | 1997-03-27 | Hertz Inst Heinrich | Autostereoscopic image reproduction device |
| US6191892B1 (en) * | 1996-04-02 | 2001-02-20 | Canon Kabushiki Kaisha | Image display apparatus |
| US20130300653A1 (en) | 2011-08-29 | 2013-11-14 | John R. Lewis | Gaze detection in a see-through, near-eye, mixed reality display |
| DE102013210587A1 (en) * | 2013-06-07 | 2014-12-24 | Bayerische Motoren Werke Aktiengesellschaft | Display system with data glasses |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017213679A1 (en) * | 2017-08-07 | 2019-02-07 | Bayerische Motoren Werke Aktiengesellschaft | Driver condition assessment method and apparatus and vehicle |
| US11628845B2 (en) | 2017-08-07 | 2023-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for driver state evaluation and vehicle |
| DE102017218444A1 (en) | 2017-10-16 | 2019-04-18 | Audi Ag | Method for operating a safety system for a seat system of a motor vehicle and safety system for a seat system of a motor vehicle |
| WO2019076648A1 (en) | 2017-10-16 | 2019-04-25 | Audi Ag | Method for operating a safety system for a seat system of a motor vehicle, and safety system for a seat system of a motor vehicle |
| DE102017218444B4 (en) * | 2017-10-16 | 2020-03-05 | Audi Ag | Method for operating a safety system for a seat system of a motor vehicle and safety system for a seat system of a motor vehicle |
| US11498458B2 (en) | 2017-10-16 | 2022-11-15 | Audi Ag | Method for operating a safety system for a seat system of a motor vehicle, and safety system for a seat system of a motor vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102011075703A1 (en) | Method and device for calibrating a projection device of a vehicle | |
| DE102012025322A1 (en) | Motor vehicle with camera monitor system | |
| DE102015206477A1 (en) | Method for displaying a vehicle environment of a vehicle | |
| WO2014170278A1 (en) | Method for determining whether a vehicle occupant has noticed relevant objects in the area surrounding the vehicle | |
| DE102009019399B4 (en) | Method for automatically determining at least one target variable describing the change in the position of a motor vehicle | |
| DE102012218837A1 (en) | Method for displaying a representation on head-up display or head-mounted display e.g. LCD in passenger car, involves determining representation that is to-be-superimposed from view of user in environment, and assigning representation | |
| DE102014002493A1 (en) | System with and method for automatically switching on / off a setting device for a head-up display device | |
| DE102015214116A1 (en) | A method and apparatus for estimating a gaze direction of a vehicle occupant, method and apparatus for determining a vehicle occupant specific headmovement gain parameter, and method and apparatus for gaze estimating a vehicle occupant | |
| DE102013020950B4 (en) | Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle | |
| DE102018102047A1 (en) | A method of representing a surrounding area of a motor vehicle with virtual, elongated distance markings in an image, computer program product, and display system | |
| DE102014207398A1 (en) | Object association for contact-analogue display on an HMD | |
| DE102016208398B4 (en) | Method for calibrating a vehicle camera | |
| DE102015004749A1 (en) | Method for operating a virtual reality glasses and system with a virtual reality glasses | |
| DE102017208936A1 (en) | Method for operating a virtual reality system and virtual reality system | |
| DE102006037600B4 (en) | Method for the resolution-dependent representation of the environment of a motor vehicle | |
| DE102016225261A1 (en) | Method and device for operating a display system with data glasses | |
| DE102014013408A1 (en) | Method for displaying environmental information of a vehicle | |
| DE102016214047A1 (en) | Vehicle with adjustable head-up display | |
| EP2956812B1 (en) | Method and device for operating a heads-up display unit | |
| DE102015015676A1 (en) | A method for automatically connecting an environmental image on a display unit of a vehicle | |
| DE102014009638A1 (en) | Method for detecting a viewing direction of a driver in a motor vehicle and viewing direction detection device for a motor vehicle | |
| DE102017221317A1 (en) | Method and device for operating a data glasses in a motor vehicle | |
| DE102015208738B4 (en) | Head-up display for a vehicle | |
| DE102014013205A1 (en) | Method for illuminating a surrounding area of a vehicle, headlight and motor vehicle | |
| DE102013012778A1 (en) | Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R082 | Change of representative |
Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE |
|
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |