DE102014008852A1 - Calibration of a motor vehicle eye tracking system - Google Patents

Calibration of a motor vehicle eye tracking system Download PDF

Info

Publication number
DE102014008852A1
DE102014008852A1 DE102014008852.9A DE102014008852A DE102014008852A1 DE 102014008852 A1 DE102014008852 A1 DE 102014008852A1 DE 102014008852 A DE102014008852 A DE 102014008852A DE 102014008852 A1 DE102014008852 A1 DE 102014008852A1
Authority
DE
Germany
Prior art keywords
tracking system
eye tracking
calibration
calibration profile
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014008852.9A
Other languages
German (de)
Inventor
Tahar Bouaziz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102014008852.9A priority Critical patent/DE102014008852A1/en
Publication of DE102014008852A1 publication Critical patent/DE102014008852A1/en
Granted legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Chemical & Material Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Anpassen eines Eyetrackingsystems (12) eines Kraftfahrzeugs (10) an einen Benutzer (34), wobei eine beim Betrachten einer vorbestimmten Bildsequenz (40) vom Benutzer (34) eingenommene Augenstellung erfasst und aus der erfassten Augenstellung ein nutzerspezifisches Kalibrierprofil (20) für das Eyetrackingsystem (12) erzeugt wird. Der Erfindung liegt die Aufgabe zugrunde, das Eyetrackingsystem (12) an einen spezifischen Benutzer (34) anzupassen. Die Augenstellung wird hierzu durch eine von dem Eyetrackingsystem (12) verschiedene Erfassungseinrichtung (32) erfasst und eine Kalibiereinrichtung (38) erzeugt ein vorläufiges Kalibrierprofil (50) für die Erfassungseinrichtung (32). Eine Transformationseinrichtung (52, 52') wandelt dann das vorläufige Kalibrierprofil (50) mittels einer vorbestimmten Abbildungsvorschrift (54) in das Kalibierprofil (20) für das Eyetrackingsystem (12) um.The invention relates to a method for adapting an eye tracking system (12) of a motor vehicle (10) to a user (34), wherein an eye position assumed by the user (34) when viewing a predetermined image sequence (40) and a user-specific calibration profile from the detected eye position are detected (20) is generated for the eye tracking system (12). The invention has for its object to adapt the eye tracking system (12) to a specific user (34). For this purpose, the eye position is detected by a detection device (32) that is different from the eye tracking system (12), and a calibration device (38) generates a preliminary calibration profile (50) for the detection device (32). A transformation device (52, 52 ') then converts the preliminary calibration profile (50) into the calibration profile (20) for the eye tracking system (12) by means of a predetermined mapping rule (54).

Description

Die Erfindung betrifft ein Verfahren zum Anpassen eines Eyetrackingsystems eines Kraftfahrzeugs an einen Benutzer. Mit anderen Worten wird das Eyetrackingsystem für den Benutzer kalibriert. Hierbei wird eine Augenstellung des Benutzers erfasst, die er beim Betrachten einer Bildsequenz einnimmt. Aus der erfassten Augenstellung wird dann ein nutzerspezifisches Kalibrierprofil für das Eyetrackingsystem erzeugt. Eine andere Bezeichnung für Eyetracking ist Blickrichtungserkennung.The invention relates to a method for adapting an eye tracking system of a motor vehicle to a user. In other words, the eye tracking system is calibrated for the user. Here, an eye position of the user is detected, which he occupies when viewing a picture sequence. From the detected eye position then a user-specific calibration profile for the eye tracking system is generated. Another term for eye tracking is sight line recognition.

Das Kalibrieren eines Eyetrackingsystems ist beispielsweise in der WO 2013/059940 A1 beschrieben. Danach benutzt der Benutzer das Eyetrackingsystem, während ihm eine Bildsequenz angezeigt wird, bei welcher bekannt ist, wohin der Benutzer schauen müsste. Anhand der ermittelten Augenstellung und der für die Bildsequenz vorgesehene Sollstellung der Augen kann dann das Kalibrierprofil für den Benutzer erstellt werden.Calibrating an eye tracking system is for example in the WO 2013/059940 A1 described. Thereafter, the user uses the eye tracking system while being presented with an image sequence that knows where the user should look. Based on the determined eye position and the intended for the image sequence target position of the eyes then the calibration profile can be created for the user.

Eine solche Selbstkalibrierung eines Eyetrackers ist im Zusammenhang mit einer Datenbrille auch aus der DE 10 2009 049 073 A1 bekannt. Hierbei wird die Kalibrierung eines Eyetrackingsystems im Zusammenhang mit der Kalibrierung einer Anzeigeeinrichtung für einen Virtual-Reality-Effect kombiniert.Such a self-calibration of an eyetracker is in connection with a data glasses also from the DE 10 2009 049 073 A1 known. Here, the calibration of an eye tracking system in connection with the calibration of a display device for a virtual reality effect is combined.

Aus der US 2012/0235902 A1 ist eine Datenbrille mit einer Selbstkalibrierung für eine Gestenerkennung bekannt. Die Selbstkalibrierung kann über ein Smartphone oder eine andere Fernbedienung ausgelöst werden.From the US 2012/0235902 A1 is a data glasses with a self-calibration for gesture recognition known. Self-calibration can be triggered via a smartphone or another remote control.

Die aus dem Stand der Technik bekannten Eyetrackingsysteme weisen den Nachteil auf, dass man sie benutzen muss, um sie zu kalibrieren.The eyetracking systems known from the prior art have the disadvantage that they have to be used to calibrate them.

Im Zusammenhang mit Kraftfahrzeugen ist ebenfalls der Einsatz von Eyetrackingsystemen bekannt, um anhand der Blickrichtung eines Benutzers unterschiedliche Funktionen im Kraftfahrzeug nur per Blick aktivieren oder bedienen zu können. Beispielsweise kann bei einem Infotainmentsystem eines Kraftfahrzeugs eine Auswahl eines Menüeintrags aus einem Bedienmenü blickrichtungsgesteuert erfolgen.In the context of motor vehicles, the use of eye tracking systems is also known in order to be able to activate or operate different functions in the motor vehicle only by looking at the viewing direction of a user. For example, in the case of an infotainment system of a motor vehicle, a selection of a menu entry from an operating menu can take place in the direction of the view direction.

Da heutige Eyetrackingsysteme bei der ersten Anwendung durch einen bestimmten Benutzer eine Kalibrierung benötigen, muss der Benutzer sich in das Kraftfahrzeug setzen und eine bestimmte Bedienaufgabe durchzuführen, beispielsweise Punkte auf einer Anzeigeeinrichtung fokussieren. Dies kann für einen Benutzer im Zusammenhang mit einem Neuwagenkauf sehr umständlich sein, insbesondere wenn das Eyetrackingsystem auch bei Fahraufgaben unterstützen, also eine Fahrerassistenz bereitstellen soll. Falls der Benutzer das Eyetrackingsystem bis dahin noch nicht kalibriert hat, kann dies zu einer unerwünschten Ablenkung bei den ersten Fahrten führen.Because today's eye tracking systems require calibration at the first application by a particular user, the user must sit in the vehicle and perform a particular operator task, such as focusing points on a display device. This can be very cumbersome for a user in connection with a new car purchase, especially if the eye tracking system is also intended to support driving tasks, ie to provide driver assistance. If the user has not yet calibrated the eye tracking system, this can lead to an undesirable distraction on the first rides.

Der Erfindung liegt die Aufgabe zugrunde, ein Eyetrackingsystem eines Kraftfahrzeugs an einen spezifischen Benutzer anzupassen.The invention has for its object to adapt an eyetracking system of a motor vehicle to a specific user.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.The object is solved by the subject matters of the independent claims. Advantageous developments of the invention will become apparent from the features of the dependent claims.

Das erfindungsgemäße Verfahren geht von dem eingangs beschriebenen Kalibriervorgang aus, bei welchem eine beim Betrachten einer vorbestimmten Bildsequenz vom Benutzer eingenommene Augenstellung erfasst und aus der erfassten Augenstellung ein nutzerspezifisches Kalibrierprofil für das Eyetrackingsystem erzeugt wird. Mit diesem Kalibrierprofil kann also das Eyetrackingsystem dahingehend an den Benutzer angepasst werden, dass nachher in bekannter Weise eine von dem Eyetrackingsystem erfasste Augenstellung korrekt in diejenige Koordinate eines Punktes auf einer Anzeigeeinrichtung umgerechnet wird, welchen der Benutzer tatsächlich betrachtet.The method according to the invention is based on the calibration process described above, in which an eye position taken by the user when viewing a predetermined image sequence is detected and a user-specific calibration profile for the eye tracking system is generated from the detected eye position. Thus, with this calibration profile, the eye tracking system can be adapted to the user such that afterwards, in a known manner, an eye position detected by the eye tracking system is correctly converted into that coordinate of a point on a display device which the user actually views.

Bei dem erfindungsgemäßen Verfahren wird nun für den beschriebenen Kalibriervorgang die Augenstellung nicht mit dem Eyetrackingsystem erfasst, sondern durch eine von dem Eyetrackingsystem verschiedene Erfassungseinrichtung. Mit anderen Worten muss der Benutzer also nicht im Kraftfahrzeug sitzen. Mittels der Daten, welche die erfasste Augenstellung beschreiben, wird dann durch eine Kalibriereinrichtung ein vorläufiges Kalibrierprofil für diese Erfassungseinrichtung erzeugt. Mit anderen Worten kann also insbesondere ein anderes Eyetrackingsystem verwendet und dies in an sich bekannter Weise kalibriert werden. Hierdurch erhält man das vorläufige Kalibrierprofil. Erfindungsgemäß wird nun das vorläufige Kalibrierprofil durch eine Transformationseinrichtung in das Kalibrierprofil für das Eyetrackingsystem umgewandelt. Hierzu wird durch die Transformationseinrichtung eine vorbestimmte Abbildungsvorschrift genutzt, welche beschreibt, wie Kalibrierdaten des vorläufigen Kalibrierprofils umzuwandeln sind, damit sich Kalibrierdaten für das Kalibrierprofil des Eyetrackingsystems ergeben.In the method according to the invention, the eye position is not detected by the eye tracking system for the described calibration process, but by a detection device that is different from the eye tracking system. In other words, the user does not have to sit in the vehicle. By means of the data which describe the detected eye position, a preliminary calibration profile for this detection device is then generated by a calibration device. In other words, it is thus possible in particular to use another eye-tracking system and to calibrate this in a manner known per se. This gives the preliminary calibration profile. According to the invention, the preliminary calibration profile is then converted by a transformation device into the calibration profile for the eye tracking system. For this purpose, a predetermined mapping rule is used by the transformation means, which describes how calibration data of the preliminary calibration profile are to be converted so that calibration data for the calibration profile of the eye tracking system result.

Die Erfindung weist den Vorteil auf, dass das Kalibrierprofil für das Eyetrackingsystem des Kraftfahrzeugs bereits erzeugt werden kann, bevor der Benutzer das erste Mal das Kraftfahrzeug benutzt. Das Kalibrierprofil kann einfach in dem Eyetrackingsystem des Kraftfahrzeugs gespeichert werden. Besteigt dann der Benutzer das erste Mal das Kraftfahrzeug und benutzt dessen Eyetrackingsystem, so ist dieses bereits an den Benutzer angepasst, das heißt benutzerspezifisch kalibriert.The invention has the advantage that the calibration profile for the eye tracking system of the motor vehicle can already be generated before the user uses the motor vehicle for the first time. The calibration profile can be easily stored in the eye tracking system of the motor vehicle. Then the user climbs that for the first time Motor vehicle and uses its eye tracking system, this is already adapted to the user, that is calibrated user-specific.

Falls das Kraftfahrzeug zwei Eyetrackingsysteme aufweist, kann natürlich auch das vorläufige Kalibrierprofil mit einem der Eyetrackingsysteme und dann mittels der Transformationseinrichtung das Kalibrierprofil für das andere Eyetrackingsystem erzeugt werden. Bevorzugt ist aber eine von dem Kraftfahrzeug verschiedene Anpassungsvorrichtung vorgesehen, welche sowohl eine Anzeigeeinrichtung zum Anzeigen der Bildsequenz, also beispielsweise einen Monitor, und die Erfassungseinrichtung zum Erfassen der Augenstellung sowie die Kalibriereinrichtung zum Erzeugen des vorläufigen Kalibrierprofils aufweist. Die Anpassungsvorrichtung ist also bevorzugt ein fahrzeugexternes, selbstkalibrierendes Eyetrackingsystem.If the motor vehicle has two eyetracking systems, it is of course also possible to generate the preliminary calibration profile with one of the eye tracking systems and then by means of the transformation device the calibration profile for the other eye tracking system. Preferably, however, a different from the motor vehicle adaptation device is provided, which has both a display device for displaying the image sequence, so for example a monitor, and the detection device for detecting the eye position and the calibration device for generating the preliminary calibration. The adaptation device is therefore preferably an off-board, self-calibrating eye tracking system.

Es ergeben sich nun zwei verschiedene Weiterbildungen der Erfindung, die auch zu zwei unterschiedlichen Vorrichtungen führen.There are now two different developments of the invention, which also lead to two different devices.

In einer Ausführungsform kann durch die fahrzeugexterne Anpassungsvorrichtung auch die Transformationseinrichtung bereitgestellt sein. Mit anderen Worten wird also durch das fahrzeugexterne Kalibriergerät bereits das fertige Kalibrierprofil für das Eyetrackingsystem des Kraftfahrzeugs bereitgestellt.In one embodiment, the transformation device may also be provided by the vehicle external adaptation device. In other words, the finished calibration profile for the eyetracking system of the motor vehicle is thus already provided by the vehicle-external calibration device.

In diesem Zusammenhang sieht die Erfindung auch eine solche fahrzeugexterne Anpassungsvorrichtung für ein Eyetrackingsystem eines Kraftfahrzeugs vor, die die beschriebene Anzeigeeinrichtung für die Bildsequenz, die Erfassungseinrichtung für die Erfassung der Augenstellung und die Kalibriereinrichtung für die Selbstkalibrierung aufweist. Die erfindungsgemäße Anpassungsvorrichtung kennzeichnet sich durch eine eigene Transformationseinrichtung aus, die dazu ausgelegt ist, das vorläufige Kalibrierprofil mittels einer vorbestimmten Abbildungsvorschrift in ein Kalibrierprofil für das Eyetrackingsystem umzuwandeln. Eine solche Anpassungsvorrichtung weist den Vorteil auf, dass sie ein unmittelbar ohne weitere Anpassungsschritte in einem Kraftfahrzeug verwendbares Kalibrierprofil für ein Eyetrackingsystem bereitstellen kann.In this connection, the invention also provides such an off-vehicle adaptation device for an eyetracking system of a motor vehicle, which has the described image sequence display device, the eye position detection device and the calibration device for the self-calibration. The adaptation device according to the invention is characterized by its own transformation device, which is designed to convert the preliminary calibration profile into a calibration profile for the eye-tracking system by means of a predetermined mapping rule. Such a matching device has the advantage that it can provide a calibration profile for an eye-tracking system which can be used directly without further adaptation steps in a motor vehicle.

Gemäß einer anderen Ausführungsform der Erfindung wird durch die Anpassungsvorrichtung dagegen nur das vorläufige Kalibrierprofil bereitgestellt. Hier ist nun vorgesehen, dass das vorläufige Kalibrierprofil durch das Eyetrackingsystem des Kraftfahrzeugs selbst mittels der Abbildungsvorschrift umgewandelt wird. Die Transformationseinrichtung ist also durch das Eyetrackingsystem des Kraftfahrzeugs selbst bereitstellt.In contrast, according to another embodiment of the invention, only the preliminary calibration profile is provided by the adapter. Here it is now provided that the preliminary calibration profile is converted by the eye tracking system of the motor vehicle itself by means of the mapping rule. The transformation device is thus provided by the eye tracking system of the motor vehicle itself.

In diesem Zusammenhang sieht die Erfindung ein Eyetrackingsystem oder eine Eyetrackingvorrichtung für ein Kraftfahrzeug vor, welches aufweist: eine Empfangseinrichtung zum Empfangen eines vorläufigen Kalibrierprofils für eine von dem Eyetrackingsystem verschiedene Erfassungseinrichtung. Das Eyetrackingsystem des Kraftfahrzeugs kann also das vorläufige Kalibrierprofil empfangen. Des Weiteren weist das Eyetrackingsystem eine Transformationseinrichtung auf, die dazu ausgelegt ist, dieses empfangene vorläufige Kalibrierprofil mittels einer vorbestimmten Abbildungsvorschrift in ein Kalibrierprofil für das Eyetrackingsystem umzuwandeln. Hierdurch ergibt sich der Vorteil, dass der Benutzer ein allgemeingültiges Standard-Kalibrierprofil, nämlich das vorläufige Kalibrierprofil, benutzen kann und dies an das Eyetrackingsystem übertragen kann, welches dann das Standard-Kalibrierprofil in ein Kalibrierprofil umwandelt, welches von dem Eyetrackingsystem genutzt werden kann. Der Benutzer kann also mit einem einzigen vorläufigen Kalibrierprofil eine Kalibrierung mehrerer der erfindungsgemäßen Eyetrackingsysteme vornehmen. Diese wandeln bei Bedarf das vorläufige Kalibrierprofil in ein spezifisches Kalibrierprofil für das jeweilige Eyetrackingsystem um.In this connection, the invention provides an eye tracking system or an eye tracking device for a motor vehicle, comprising: receiving means for receiving a preliminary calibration profile for a detection device different from the eye tracking system. The eye tracking system of the motor vehicle can thus receive the preliminary calibration profile. Furthermore, the eye tracking system has a transformation device which is designed to convert this received preliminary calibration profile into a calibration profile for the eye tracking system by means of a predetermined mapping rule. This has the advantage that the user can use a generally valid standard calibration profile, namely the preliminary calibration profile, and this can be transmitted to the eye tracking system, which then converts the standard calibration profile into a calibration profile that can be used by the eye tracking system. The user can thus carry out a calibration of a plurality of the eyetracking systems according to the invention with a single preliminary calibration profile. If necessary, these convert the preliminary calibration profile into a specific calibration profile for the respective eye tracking system.

Um das Kalibrieren des Kraftfahrzeug-Eyetrackingsystems noch weiter zu vereinfachen, sieht eine Ausführungsform der Erfindung vor, dass das vorläufige Kalibrierprofil oder das Kalibrierprofil für das Eyetrackingsystem über eine Kommunikationsverbindung in das Kraftfahrzeug übertragen werden.In order to further simplify the calibration of the motor vehicle eye tracking system, an embodiment of the invention provides that the preliminary calibration profile or the calibration profile for the eye tracking system is transmitted to the motor vehicle via a communication link.

Bei der Kommunikationsverbindung kann es sich um eine Funkverbindung handeln, wie sie beispielsweise mittels WLAN (Wireless Local Area Network) oder mittels Mobilfunk (GSM, UMTS, LTE) aufgebaut werden kann. Es kann auch eine drahtgebundene Kommunikationsverbindung vorgesehen sein, wie sie beispielsweise auf Grundlage des Ethernet-Standards aufgebaut werden kann.The communication connection can be a radio connection, as can be established, for example, by means of WLAN (Wireless Local Area Network) or by means of mobile radio (GSM, UMTS, LTE). It may also be provided a wired communication connection, as it can be constructed, for example, based on the Ethernet standard.

Die bereits beschriebene Abbildungsvorschrift zum Umwandeln des vorläufigen Kalibrierprofils in das Fahrzeug-Kalibrierprofil ist dazu ausgelegt, Profildaten des vorläufigen Kalibrierprofils in Profildaten umzuwandeln, die zum Kalibrieren des Eyetrackingsystems des Kraftfahrzeugs geeignet sind. Hierzu kann die Abbildungsvorschrift eine geometrische Transformation einer Geometrie der Erfassungseinrichtung auf eine Geometrie des Eyetrackingsystems umfassen. Hierdurch kann dann in vorteilhafter Weise eine relative Lage des Erfassungssystems, also beispielsweise einer Kamera, zu der vom Benutzer zu betrachtenden Anzeigeeinrichtung, beispielsweise einem Bildschirm, angepasst oder umgerechnet oder transformiert werden. Mit anderen Worten wird z. B. ein Koordinatensystem X der fahrzeugexternen Anpassungsvorrichtung an ein Koordinatensystem Y des Eyetrackingsystems des Kraftfahrzeugs angepasst.The mapping rule described above for converting the preliminary calibration profile into the vehicle calibration profile is designed to convert profile data of the preliminary calibration profile into profile data that is suitable for calibrating the eye tracking system of the motor vehicle. For this purpose, the mapping rule may include a geometric transformation of a geometry of the detection device to a geometry of the eye tracking system. As a result, a relative position of the detection system, that is to say, for example, a camera, can then be adapted or converted or transformed to the display device to be viewed by the user, for example a screen. In other words, z. B. a coordinate system X of the vehicle external adaptation device to a Coordinate system Y of the eyetracking system of the motor vehicle adapted.

Im Zusammenhang mit dem erfindungsgemäßen Eyetrackingsystem, das im Kraftfahrzeug bereitgestellt wird und eine eigene Transformationseinrichtung aufweist, sieht eine Weiterbildung der Erfindung eine Nachschärfung der Profildaten vor. Dies geschieht während des Betriebs des Eyetrackingsystems, nachdem dieses also mit dem beschriebenen Kalibrierprofil kalibriert oder angepasst wurde und während der Benutzer bereits mindestens eine Funktion des Kraftfahrzeugs mittels des Eyetrackingsystems bedient. Während des Betriebs werden Stellungsdaten einer Augenstellung des Benutzers durch eine Erfassungseinrichtung des Eyetrackingsystems erfasst, also beispielsweise durch eine Kamera die Augenstellung ermittelt. Anhand der Stellungsdaten wird durch eine Korrektureinrichtung eine Fehlkalibrierung erkannt. Beispielsweise kann auf Grundlage einer statistischen Analyse ermittelt werden, dass bei dem Eyetrackingsystem die Blickrichtungserkennung stets zunächst Koordinaten auf der Anzeigeeinrichtung ermittelt, die neben ein bestimmtes Icon oder anderes graphisches Objekt deuten und der Benutzer dann stets zunächst durch Ändern der Augenstellung einen Korrekturschritt auf das graphische Objekt hin macht. Wenn also beispielsweise die ersten Koordinaten stets links neben ein graphisches Objekt weisen und dann innerhalb einer vorbestimmten Zeit, beispielsweise innerhalb von einer Sekunde oder zwei Sekunden, eine Korrektur nach rechts auf das graphische Objekt erfolgt, so ist davon auszugehen, dass eine Fehlkalibrierung vorliegt, die der Benutzer durch gezieltes Daneben-Gucken ausgleicht.In connection with the eyetracking system according to the invention, which is provided in the motor vehicle and has its own transformation device, a development of the invention provides a sharpening of the profile data. This happens during operation of the eye tracking system, after it has been calibrated or adjusted with the described calibration profile, and while the user is already operating at least one function of the motor vehicle by means of the eye tracking system. During operation, position data of an eye position of the user are detected by a detection device of the eye tracking system, that is, for example, the eye position is determined by a camera. Based on the position data is detected by a correction device incorrect calibration. For example, it can be determined on the basis of a statistical analysis that the eyetracking system always first determines coordinates on the display device which indicate a certain icon or other graphic object and the user then always first by changing the eye position a correction step on the graphic object makes. Thus, if, for example, the first coordinates always point to the left of a graphical object and then correct within a predetermined time, for example within one second or two seconds, to the graphical object, it is assumed that there is a Fehlkalibrierung, the user balances by deliberate looking aside.

Die Korrektureinrichtung verändert dann in Abhängigkeit von der erkannten Fehlkalibrierung das Kalibrierprofil für das Eyetrackingsystem, um hierdurch die Fehlkalibrierung zu verringern. Beispielsweise wird also ein Offset für die Erkennung der Augenstellung eingeführt, so dass in dem beschriebenen Beispiel schon der erste Blick auf das graphische Objekt richtig durch das Eyetrackingsystem erkannt wird.The correction means then changes the calibration profile for the eye tracking system in response to the detected mis-calibration, thereby reducing the mis-calibration. For example, an offset is thus introduced for the recognition of the eye position, so that in the described example the first glance at the graphic object is already correctly recognized by the eye tracking system.

Zu der Erfindung gehört schließlich auch ein Kraftfahrzeug, das eine Ausführungsform des erfindungsgemäßen Eyetrackingsystems aufweist. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen ausgestaltet.The invention finally also includes a motor vehicle having an embodiment of the eye tracking system according to the invention. The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Anpassungsvorrichtung.In the following an embodiment of the invention is described. For this purpose, the single FIGURE (FIG.) Shows a schematic representation of an embodiment of the adaptation device according to the invention.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, however, the described components of the embodiment each represent individual features of the invention, which are to be considered independently of each other, which also develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

Die Erfindung zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln kann. Das Kraftfahrzeug 10 kann ein in an sich bekannter Weise ausgestaltetes Eyetrackingsystem 12 aufweisen, mittels welchem beispielsweise ein Infotainmentsystem 14 des Kraftfahrzeugs 10 blickrichtungsgesteuert bedient werden kann. Beispielsweise kann auf einem Bildschirm ein Menü 16 mit Menüeinträgen 18 angezeigt und von einem Benutzer einer davon ausgewählt werden, indem einer der Menüeinträge 18 angeschaut wird. Das Eyetrackingsystem 12 erfasst dann die Augenstellung des Benutzers und erkennt anhand der Augenstellung, welche Koordinate auf dem Bildschirm, also insbesondere welcher Menüeintrag 18, gerade angeblickt wird. Es kann aus vorgesehen sein, dass anhand der Augenstellung ein Blickrichtungsvektor erzeugt wird, welcher beschreibt, wohin der Benutzer gerade blickt.The invention shows a motor vehicle 10 which may be a motor vehicle, in particular a passenger car. The car 10 can be configured in a conventional manner eyetracking system 12 by means of which, for example, an infotainment system 14 of the motor vehicle 10 can be operated directionally controlled. For example, a menu may appear on a screen 16 with menu entries 18 and be selected by a user of one of them by selecting one of the menu items 18 is looked at. The eye tracking system 12 then detects the eye position of the user and recognizes based on the eye position, which coordinate on the screen, so in particular which menu item 18 , just being eyed. It may be provided that a sight line vector is generated based on the eye position, which describes where the user is looking.

Damit ausgehend von beispielsweise Kamerabilddaten einer Kamera des Eyetrackingsystems 12, oder allgemein einer Erfassungseinrichtung für die Augenstellung, eine korrekte Berechnung der Koordinaten erfolgt, ist in dem Eyetrackingsystem 12 ein Kalibrierprofil 20 für den aktuellen Benutzer gespeichert. Das Kalibrierprofil 20 kann eine Zuordnungsvorschrift von erfasster Augenstellung zu Koordinaten auf dem Bildschirm des Infotainmentsystems 14 oder eine Zuordnungsvorschrift von erfasster Augenstellung zu einem Blickrichtungsvektor aufweisen.Starting from, for example, camera image data of a camera of the eye tracking system 12 , or in general an eye-position detector, a correct calculation of the coordinates, is in the eyetracking system 12 a calibration profile 20 saved for the current user. The calibration profile 20 may be an assignment rule from detected eye position to coordinates on the screen of the infotainment system 14 or an assignment rule of detected eye position to a sight line vector.

Bei dem Kraftfahrzeug 10 ist es nicht nötig, dass man in das Kraftfahrzeug 10 einsteigt und das Eyetrackingsystem 12 benutzt, um das Kalibrierprofil 20 zu erstellen. Das Kalibrierprofil 20 kann bei dem Kraftfahrzeug 10 über eine Empfangseinrichtung 22 des Kraftfahrzeugs 10 von außerhalb des Kraftfahrzeugs 10 empfangen worden sein. Hierzu kann durch die Empfangseinrichtung 22, beispielsweise ein Mobilfunkmodul oder ein WLAN-Modul, eine Funkverbindung 24 zu einer fahrzeugexternen Anpassungsvorrichtung 26 aufgebaut worden sein. Die Funkverbindung 24 kann auch von Seiten der Anpassungsvorrichtung 26 durch eine Sendeeinrichtung 28 der Anpassungsvorrichtung 26 aufgebaut worden sein. Die Kommunikationsverbindung kann auch über das Internet aufgebaut worden sein.In the motor vehicle 10 it is not necessary to get in the car 10 get in and the eye tracking system 12 used the calibration profile 20 to create. The calibration profile 20 can in the motor vehicle 10 via a receiving device 22 of the motor vehicle 10 from outside the motor vehicle 10 have been received. For this purpose, by the receiving device 22 , For example, a mobile module or a WLAN module, a radio link 24 to an external vehicle adaptation device 26 been built. The radio connection 24 may also be on the part of the adapter 26 by a transmitting device 28 the adaptation device 26 been built. The communication connection may also have been established via the Internet.

Zum Erzeugen des Kalibrierprofils 20 kann die Anpassungsvorrichtung 26 ein eigenes Eyetrackingsystem 30 mit einer Erfassungseinrichtung 32 zum Erfassen einer Augenstellung eines Benutzers 34 sowie mit einer Anzeigeeinrichtung 36 zum Anzeigen von Bildinformationen, insbesondere einer Bildsequenz, aufweisen. Das Eyetrackingsystem 30 kann selbstkalibrierend sein, das heißt es kann eine eigene Kalibriereinrichtung 38 aufweisen. Die Kalibriereinrichtung 38 kann die Anzeigeeinrichtung 36 ansteuern und hierdurch eine Bildsequenz 40 anzeigen. Die Bildsequenz 40 kann beispielsweise ein graphisches Objekt 42, beispielsweise ein Kreuz oder einen Punkt oder auch eine Figur, umfassen, die sich entlang einer vorbestimmten Bewegungsbahn 44 auf der Anzeigeeinrichtung 36 bewegen kann. Der Benutzer 34 muss mit den Augen dem graphischen Objekt 42 folgen. Dabei wird die Augenstellung des Benutzers 34 durch die Erfassungseinrichtung 32 erfasst und es werden Stellungsdaten 46 an die Kalibriereinrichtung 38 übertragen. Von der Bildsequenz ist bekannt, wo sich das graphische Objekt befindet, d. h. die Koordinaten des graphischen Objekts sind bekannt. Die erfasste Augenstellung beim Betrachten des Objekts und die Koordinaten, die das Objekt dabei aufweist, sind also bekannt.For generating the calibration profile 20 can the adaptation device 26 an own eye tracking system 30 with a detection device 32 for detecting an eye position of a user 34 as well as with a display device 36 for displaying image information, in particular a sequence of images. The eye tracking system 30 can be self-calibrating, that means it can have its own calibration device 38 exhibit. The calibration device 38 can the display device 36 drive and thereby a picture sequence 40 Show. The picture sequence 40 can for example be a graphical object 42 , For example, a cross or a point or a figure, which extend along a predetermined trajectory 44 on the display device 36 can move. The user 34 must with the eyes the graphic object 42 consequences. This will be the eye position of the user 34 by the detection device 32 captured and it will be position data 46 to the calibration device 38 transfer. From the image sequence it is known where the graphical object is located, ie the coordinates of the graphical object are known. The detected eye position when viewing the object and the coordinates, which has the object thereby, are known.

Die Kalibriereinrichtung 38 kann dann in an sich bekannter Weise aus den Stellungsdaten 48 in vorläufiges Kalibrierprofil 50 erzeugen, mittels welchem sich das Eyetrackingsystem 30 kalibrieren lässt.The calibration device 38 can then in a conventional manner from the position data 48 in preliminary calibration profile 50 generate, by means of which the eye tracking system 30 calibrate.

Das vorläufige Kalibrierprofil 50 wird bei der Anpassungsvorrichtung 26 genutzt, um auf das Kalibrierprofil 20 für das Eyetrackingsystem 12 des Kraftfahrzeugs 10 zu erzeugen. Hierzu weist die Anpassungsvorrichtung 26 eine Transformationseinrichtung 52 auf, welche eine Abbildungsvorschrift 54 gespeichert hat, durch welche angegeben ist, wie aus Kalibrierdaten des vorläufigen Kalibrierprofils 50 für das Eyetrackingsystem 30 Kalibrierdaten für das Kalibierprofil 20 des Eyetrackingsystems 12 berechnet werden können. Eine solche Abbildungsvorschrift 54 kann durch einfache Versuche und/oder geometrische Berechnungen und/oder in Abhängigkeit von der Geometrie der Anpassungsvorrichtung 26 und der Geometrie des Eyetrackingsystems 12 ermittelt werden. Insbesondere wird die relative Lage der Erfassungseinrichtung 32 zur Anzeigeeinrichtung 36 einerseits und die relative Lage des Eyetrackingsystems 12 zu der zu betrachtenden Anzeigeeinrichtung im Kraftfahrzeug 10 andererseits zugrunde gelegt.The preliminary calibration profile 50 becomes in the fitting device 26 used to go to the calibration profile 20 for the eye tracking system 12 of the motor vehicle 10 to create. For this purpose, the adaptation device 26 a transformation device 52 which is a mapping rule 54 which indicates how from calibration data of the preliminary calibration profile 50 for the eye tracking system 30 Calibration data for the calibration profile 20 of the eye tracking system 12 can be calculated. Such a mapping rule 54 can by simple experiments and / or geometric calculations and / or in dependence on the geometry of the adjustment device 26 and the geometry of the eye tracking system 12 be determined. In particular, the relative position of the detection device 32 to the display device 36 on the one hand and the relative position of the eye tracking system 12 to the viewing device to be considered in the motor vehicle 10 on the other hand.

Das Kalibrierprofil 20 kann dann von der Transformationseinrichtung 52 an die Sendeeinrichtung 28 übertragen werden, welcher das Kalibrierprofil 20 über die Funkverbindung 24 an den Empfänger 22 übertragen kann, damit das Kalibrierprofil 20 dann in dem Eyetrackingsystem 12 gespeichert werden kann.The calibration profile 20 can then be from the transformation facility 52 to the transmitting device 28 which is the calibration profile 20 over the radio connection 24 to the recipient 22 can transfer so that the calibration profile 20 then in the eye tracking system 12 can be stored.

Es kann auch vorgesehen sein, dass die Transformationseinrichtung 52 nicht Bestandteil der Anpassungsvorrichtung 26, sondern Bestandteil des Eyetrackingsystems 12 ist, was in der Fig. durch eine Transformationseinrichtung 52' im Eyetrackingsystem 12 veranschaulicht ist. Dann kann die Kalibriereinrichtung 38 das vorläufige Kalibrierprofil 50 anstelle des Kalibrierprofils 20 mittels der Sendeeinrichtung 28 über die Funkverbindung 24 an den Empfänger 22 übertragen. Der Empfänger 22 überträgt dann das empfangene vorläufige Nutzerprofil 50 an die Transformationseinrichtung 52'. In diesem Fall kann die Anpassungsvorrichtung 26 dann z. B. ein an sich aus dem Stand der Technik bekanntes Eyetrackingsystem mit Selbstkalibrierung sein. Die Transformation wird dann durch das Eyetrackingsystem 12 des Kraftfahrzeugs durchgeführt.It can also be provided that the transformation device 52 not part of the adapter 26 but part of the eye tracking system 12 is what in the figure by a transformation device 52 ' in the eye tracking system 12 is illustrated. Then the calibration device 38 the preliminary calibration profile 50 instead of the calibration profile 20 by means of the transmitting device 28 over the radio connection 24 to the recipient 22 transfer. The recipient 22 then transmits the received preliminary user profile 50 to the transformation facility 52 ' , In this case, the adaptation device 26 then z. B. Be a known per se from the prior art eye tracking system with self-calibration. The transformation then becomes through the eye tracking system 12 carried out of the motor vehicle.

Nachdem der Benutzer 34 nun die Anpassungsvorrichtung 26 genutzt hat, kann er in das Kraftfahrzeug 10 einsteigen und das Eyetrackingsystem 12 ohne eine vorherige Kalibrierphase im Kraftfahrzeug 10 nutzen.After the user 34 now the adjustment device 26 he has used in the motor vehicle 10 get in and the eye tracking system 12 without a previous calibration phase in the motor vehicle 10 use.

Die Anpassungsvorrichtung 26 kann als stationäres Gerät beispielsweise bei einem Kraftfahrzeughändler aufgebaut sein. Mit der Anpassungsvorrichtung 26 ist eine Remote-Kalibrierung also Fernkalibrierung ermöglicht. Das Gerät kann zum Beispiel die Form einer Brille haben oder eine kurze Simulation auf einem Aufbau mit Screen und Sensoren umfassen. Der Benutzer 34 bekommt beim Bestellen seines Fahrzeugs eine kurze Bedienaufgabe durchzuführen, die auch einen unterhaltsamen, lustigen Inhalt aufweisen kann, um hierdurch die Aufmerksamkeit des Benutzers 34 besonders intensiv auf bestimmte graphische Objekte zu lenken. Beispielsweise kann der Benutzer 34 sein bestelltes Fahrzeug als 3D-Modell angezeigt bekommen, damit er dieses Modell mit seinen Blicken bewegt, Türen des Modells durch Blicksteuerung öffnet und/oder weitere Funktionen bedient. Ohne dass der Benutzer 34 es hierbei merkt, können durch die Sensoren der Erfassungseinrichtung die Parameter/Daten für das Erstellen des Nutzerprofils erfasst werden, also insbesondere die Stellungsdaten 48.The adaptation device 26 may be constructed as a stationary device, for example, in a motor vehicle dealer. With the adjustment device 26 is a remote calibration so remote calibration allows. For example, the device may be in the form of glasses or may include a short simulation on a screen and sensor assembly. The user 34 When ordering his vehicle, he has to perform a short operating task, which can also have entertaining, funny content, thereby attracting the user's attention 34 to focus particularly intensively on certain graphic objects. For example, the user may 34 display his ordered vehicle as a 3D model, so that he moves this model with his eyes, opens the model's doors by gaze control and / or operates other functions. Without the user 34 If this is noticed, the parameters / data for creating the user profile can be detected by the sensors of the detection device, that is to say in particular the position data 48 ,

Bei Lieferung des Kraftfahrzeugs 10 braucht der Benutzer 34 dann keine Kalibrierung mehr, da das Eyetrackingsystem 12 bereits seine Parameter oder zumindest einige davon bereits gespeichert hat. Es kann eine Nachschärfung der Kalibrierung im Kraftfahrzeug 10 ermöglicht oder vorgesehen sein. Diese läuft allerdings im Hintergrund, ohne dass hierbei die Bedienfunktion unterbrochen werden muss und belästigt daher den Benutzer 34 nicht. Der Benutzer 34 kann also direkt mit dem Kraftfahrzeug 10 losfahren und das Eyetrackingsystem 12 nutzen.Upon delivery of the motor vehicle 10 the user needs 34 then no calibration, because the eye tracking system 12 already has its parameters or at least some of them already saved. It may be a re-sharpening the calibration in the motor vehicle 10 allowed or provided. However, this runs in the background without the operating function having to be interrupted and therefore bothers the user 34 Not. The user 34 can therefore directly with the motor vehicle 10 drive off and the eye tracking system 12 use.

Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Remote-Kalibrierung für ein Eyetrackingsystem 12 bereitgestellt werden kann.Overall, the example shows how, through the invention, a remote calibration for an eye tracking system 12 can be provided.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 2013/059940 A1 [0002] WO 2013/059940 A1 [0002]
  • DE 102009049073 A1 [0003] DE 102009049073 A1 [0003]
  • US 2012/0235902 A1 [0004] US 2012/0235902 A1 [0004]

Claims (10)

Verfahren zum Anpassen eines Eyetrackingsystems (12) eines Kraftfahrzeugs (10) an einen Benutzer (34), wobei eine beim Betrachten einer vorbestimmten Bildsequenz (40) vom Benutzer (34) eingenommene Augenstellung erfasst und aus der erfassten Augenstellung ein nutzerspezifisches Kalibrierprofil (20) für das Eyetrackingsystem (12) erzeugt wird, dadurch gekennzeichnet, dass die Augenstellung durch eine von dem Eyetrackingsystem (12) verschiedene Erfassungseinrichtung (32) erfasst wird, eine Kalibiereinrichtung (38) ein vorläufiges Kalibrierprofil (50) für die Erfassungseinrichtung (32) erzeugt und eine Transformationseinrichtung (52, 52') das vorläufige Kalibrierprofil (50) in das Kalibierprofil (20) für das Eyetrackingsystem (12) umwandelt.Method for adapting an eye tracking system ( 12 ) of a motor vehicle ( 10 ) to a user ( 34 ), one in viewing a predetermined image sequence ( 40 ) by the user ( 34 ) captured eye position and from the detected eye position a user-specific calibration profile ( 20 ) for the eye tracking system ( 12 ) is generated, characterized in that the eye position by one of the eye tracking system ( 12 ) different detection device ( 32 ), a calibration device ( 38 ) a preliminary calibration profile ( 50 ) for the detection device ( 32 ) and a transformation device ( 52 . 52 ' ) the preliminary calibration profile ( 50 ) into the calibration profile ( 20 ) for the eye tracking system ( 12 ) converts. Verfahren nach Anspruch 1, wobei eine Anzeigeeinrichtung (36) zum Anzeigen der Bildsequenz (40), die Erfassungseinrichtung (32) und die Kalibriereinrichtung (38) durch eine von dem Kraftfahrzeug (10) verschiedene Anpassungsvorrichtung (26) bereitgestellt sind.Method according to claim 1, wherein a display device ( 36 ) to display the image sequence ( 40 ), the detection device ( 32 ) and the calibration device ( 38 ) by one of the motor vehicle ( 10 ) various adaptation device ( 26 ) are provided. Verfahren nach Anspruch 2, wobei die Transformationseinrichtung (52) durch die Anpassungsvorrichtung (26) bereitgestellt wird.Method according to claim 2, wherein the transformation device ( 52 ) by the adaptation device ( 26 ) provided. Verfahren nach Anspruch 1, wobei die Transformationseinrichtung (52') durch das Eyetrackingsystem (12) bereitgestellt wird.Method according to claim 1, wherein the transformation device ( 52 ' ) through the eye tracking system ( 12 ) provided. Verfahren nach einem der vorhergehenden Ansprüche, wobei das vorläufige Kalibrierprofil (50) für die Erfassungseinrichtung (32) oder das Kalibrierprofil (20) für das Eyetrackingsystem (12) über eine Kommunikationsverbindung (24) in das Kraftfahrzeug (10) übertragen werden.Method according to one of the preceding claims, wherein the preliminary calibration profile ( 50 ) for the detection device ( 32 ) or the calibration profile ( 20 ) for the eye tracking system ( 12 ) via a communication connection ( 24 ) in the motor vehicle ( 10 ) be transmitted. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Abbildungsvorschrift (54) eine geometrische Transformation einer Geometrie der Erfassungseinrichtung (52) auf eine Geometrie des Eyetrackingsystems (12) umfasst.Method according to one of the preceding claims, wherein the mapping rule ( 54 ) a geometric transformation of a geometry of the detection device ( 52 ) on a geometry of the eye tracking system ( 12 ). Anpassungsvorrichtung (26) für ein Eyetrackingsystem (12) eines Kraftfahrzeugs (10), mit einer Anzeigeeinrichtung (36) zum Anzeigen der Bildsequenz (40), einer Erfassungseinrichtung (32) zum Erfassen einer Augenstellung eines Benutzers (34) beim Anzeigen der Bildsequenz (40), einer Kalibiereinrichtung (38) zum Erzeugen eines vorläufigen Kalibrierprofils (50) für die Erfassungseinrichtung (32), dadurch gekennzeichnet, dass die Anpassungsvorrichtung (26) eine Transformationseinrichtung (50) aufweist, die dazu ausgelegt ist, das vorläufige Kalibrierprofil (50) mittels einer vorbestimmten Abbildungsvorschrift (54) in ein Kalibierprofil (20) für das Eyetrackingsystem (12) umzuwandeln.Adjustment device ( 26 ) for an eye tracking system ( 12 ) of a motor vehicle ( 10 ), with a display device ( 36 ) to display the image sequence ( 40 ), a detection device ( 32 ) for detecting an eye position of a user ( 34 ) when displaying the image sequence ( 40 ), a calibration device ( 38 ) for generating a preliminary calibration profile ( 50 ) for the detection device ( 32 ), characterized in that the adaptation device ( 26 ) a transformation device ( 50 ), which is adapted to the preliminary calibration profile ( 50 ) by means of a predetermined mapping rule ( 54 ) into a calibration profile ( 20 ) for the eye tracking system ( 12 ) to convert. Eyetrackingsystem (12) für ein Kraftfahrzeug (10), dadurch gekennzeichnet, dass das Eyetrackingsystem (12) aufweist: – eine Empfangseinrichtung (22) zum Empfangen eines vorläufigen Kalibrierprofils (50) für eine von dem Eyetrackingsystem (12) verschiedene Erfassungseinrichtung (32) zum Erfassen einer Augenstellung eines Benutzers (34) und – eine Transformationseinrichtung (52'), die dazu ausgelegt ist, das vorläufige Kalibrierprofil (50) mittels einer vorbestimmten Abbildungsvorschrift (54) in ein Kalibierprofil (20) für das Eyetrackingsystem (12) umzuwandeln.Eyetracking system ( 12 ) for a motor vehicle ( 10 ), characterized in that the eyetracking system ( 12 ): - a receiving device ( 22 ) for receiving a preliminary calibration profile ( 50 ) for one of the eye tracking systems ( 12 ) different detection device ( 32 ) for detecting an eye position of a user ( 34 ) and - a transformation device ( 52 ' ), which is designed to use the preliminary calibration profile ( 50 ) by means of a predetermined mapping rule ( 54 ) into a calibration profile ( 20 ) for the eye tracking system ( 12 ) to convert. Eyetrackingsystem (12) nach Anspruch 8, wobei eine Korrektureinrichtung des Eyetrackingsystems (12) dazu ausgelegt ist, bei einem Betrieb des Eyetrackingsystems (12) mit dem Kalibrierprofil (20) für das Eyetrackingsystem (12) in Abhängigkeit von Stellungsdaten einer durch eine Erfassungseinrichtung des Eyetrackingsystems (12) erfassten Augenstellung eine Fehlkalibrierung zu erkennen und in Abhängigkeit von der erkannten Fehlkalibrierung das Kalibrierprofil (20) für das Eyetrackingsystem (12) zur Verringerung der Fehlkalibrierung zu verändern.Eyetracking system ( 12 ) according to claim 8, wherein a correction device of the eye tracking system ( 12 ) is designed to operate during the operation of the eye tracking system ( 12 ) with the calibration profile ( 20 ) for the eye tracking system ( 12 ) depending on position data of a by a detection device of the eye tracking system ( 12 ) recognize a mis-calibration and, depending on the detected incorrect calibration, the calibration profile ( 20 ) for the eye tracking system ( 12 ) to reduce misregistration. Kraftfahrzeug (10) mit einem Eyetrackingsystem (12) nach einem der Ansprüche 8 oder 9.Motor vehicle ( 10 ) with an eye tracking system ( 12 ) according to one of claims 8 or 9.
DE102014008852.9A 2014-06-14 2014-06-14 Calibration of a motor vehicle eye tracking system Granted DE102014008852A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014008852.9A DE102014008852A1 (en) 2014-06-14 2014-06-14 Calibration of a motor vehicle eye tracking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014008852.9A DE102014008852A1 (en) 2014-06-14 2014-06-14 Calibration of a motor vehicle eye tracking system

Publications (1)

Publication Number Publication Date
DE102014008852A1 true DE102014008852A1 (en) 2015-12-17

Family

ID=54706079

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014008852.9A Granted DE102014008852A1 (en) 2014-06-14 2014-06-14 Calibration of a motor vehicle eye tracking system

Country Status (1)

Country Link
DE (1) DE102014008852A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211817A1 (en) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Operator control comprising eye tracker unit and method for calibrating an eye tracker unit for an operator control
DE102017214546A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system
DE102017214513A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system
CN110855733A (en) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 Vehicle introduction method, system, server and vehicle
CN111190482A (en) * 2018-11-15 2020-05-22 托比股份公司 Method and apparatus for calibrating an eye tracker
DE102020123744A1 (en) 2020-09-11 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Determining a line of sight of a person

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (en) 2009-10-12 2011-04-21 Metaio Gmbh Method for presenting virtual information in a view of a real environment
US20120235902A1 (en) 2009-10-13 2012-09-20 Recon Instruments Inc. Control systems and methods for head-mounted information systems
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
WO2014020323A1 (en) * 2012-07-30 2014-02-06 Haddon John Cursor movement device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (en) 2009-10-12 2011-04-21 Metaio Gmbh Method for presenting virtual information in a view of a real environment
US20120235902A1 (en) 2009-10-13 2012-09-20 Recon Instruments Inc. Control systems and methods for head-mounted information systems
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
WO2014020323A1 (en) * 2012-07-30 2014-02-06 Haddon John Cursor movement device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211817A1 (en) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Operator control comprising eye tracker unit and method for calibrating an eye tracker unit for an operator control
DE102016210288A1 (en) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Eyetracker unit operating device and method for calibrating an eyetracker unit of an operating device
US10635170B2 (en) 2016-06-10 2020-04-28 Volkswagen Aktiengesellschaft Operating device with eye tracker unit and method for calibrating an eye tracker unit of an operating device
DE102017214546A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system
DE102017214513A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system
DE102017214546B4 (en) 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system
US11640199B2 (en) 2017-08-21 2023-05-02 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assist system for a vehicle, and assist system
CN110855733A (en) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 Vehicle introduction method, system, server and vehicle
CN111190482A (en) * 2018-11-15 2020-05-22 托比股份公司 Method and apparatus for calibrating an eye tracker
CN111190482B (en) * 2018-11-15 2024-01-26 托比股份公司 Method and apparatus for calibrating an eye tracker
DE102020123744A1 (en) 2020-09-11 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Determining a line of sight of a person

Similar Documents

Publication Publication Date Title
DE102014008852A1 (en) Calibration of a motor vehicle eye tracking system
EP2752036B1 (en) Motor vehicle
EP3619074B1 (en) Mobile sensor apparatus for a head-worn visual output device usable in a vehicle, and method for operating a display system
DE102011084264A1 (en) Method and device for calibrating an environmental sensor
DE102011018555A1 (en) Interface for data transmission in a motor vehicle and computer program product
WO2017211817A1 (en) Operator control comprising eye tracker unit and method for calibrating an eye tracker unit for an operator control
DE102019127986A1 (en) USER INTERFACES FOR REMOTE CONTROLLED VEHICLE PARKING AID
DE102013016096A1 (en) Motor vehicle configuration by means of communication terminal
DE102017211748A1 (en) Method for operating an output device of a motor vehicle, driver assistance device, and motor vehicle
DE102015214802A1 (en) Method and device for guiding a vehicle
DE102012009429A1 (en) Method for remote configuration of electric car, involves displaying visually perceptible connection between two graphic elements of two display modes, where one of modes corresponds to actual control arrangement in vehicle
DE102016224122A1 (en) Method for operating a VR glasses in an interior of a motor vehicle and control device and motor vehicle
WO2020048718A1 (en) Concept for monitoring and planning the movement of a means of transportation
DE102018205496A1 (en) Method for controlling the operation of a medical device, operating device, operating system, medical device, computer program and electronically readable data carrier
DE102018131805A1 (en) DEVICE FOR DETECTING A FACIAL POSITION
DE102020105196A1 (en) Method for operating data glasses in a motor vehicle and a system with a motor vehicle and data glasses
DE102013019909A1 (en) Position-dependent control of a communication device in the vicinity of a motor vehicle
DE102015225374A1 (en) Arrangement, means of locomotion and method for guiding a means of transportation
DE102016206694A1 (en) Assistance system and procedure of a highly automated vehicle to improve interaction with other road users
DE102014008204A1 (en) Motor vehicle with media reproduction
DE102017006924A1 (en) Method and system for remote control of a function of a vehicle
EP3278318A1 (en) Method for supplying, on a communication interface, height data about an object located in the surroundings of a motor vehicle, sensor device, processing device and motor vehicle
EP3802204B1 (en) Computer program for the electrical configuration of vehicle seat, configuration system and vehicle
EP3966084A1 (en) Method for maneuvering a motor vehicle with a user attention evaluation process, and maneuvering assistance system for a motor vehicle
DE102012023409A1 (en) Method for adjusting components e.g. seat of vehicle, involves determining target set point based on the body mass of person such that vehicle seat is controlled by seat control unit based on target set point

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER - PATENT- UND R, DE

R018 Grant decision by examination section/examining division