DE102007001738B4

DE102007001738B4 - Method and computer program product for eye tracking

Info

Publication number: DE102007001738B4
Application number: DE102007001738.5A
Authority: DE
Inventors: Michael MISCHKE; Dipl.-Psych. Hummel Stephan; Dipl.-Ing. Knorr Günther; Dipl.-Ing. Zettl Stefan
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2007-01-11
Filing date: 2007-01-11
Publication date: 2016-04-14
Anticipated expiration: 2027-01-12
Also published as: DE102007001738A1

Abstract

Die Erfindung betrifft ein Verfahren zur Blickerfassung eines Probanden sowie ein auf einer Datenverarbeitungsvorrichtung ausführbares Computerprogrammprodukt zur Analyse von in digitaler Form vorliegenden Bildaufnahmen. Dabei liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und ein Computerprogrammprodukt zur Verfügung zu stellen, welche den Kalibrationsaufwand für eine Blickerfassung reduzieren und welche eine zuverlässige Blickerkennung ermöglichen. Gemäß dem erfindungsgemäßen Verfahren, mit welchem ist feststellbar ist, ob ein Proband seinen Blick auf einen Beobachtungsbereich richtet, werden folgende Schritte durchgeführt: a) Es wird ein räumlich begrenzter Beobachtungsbereich festgelegt, b) in dem Beobachtungsbereich selbst oder in unmittelbarer Umgebung des Beobachtungsbereiches wird eine Kamera angeordnet, c) mit der Kamera wird mindestens eine Bildaufnahme gemacht, d) mit Hilfe einer Datenverarbeitungseinrichtung wird eine graphische Analyse der Bildaufnahme durchgeführt und e) aufgrund der graphischen Analyse wird festgestellt, ob der Proband seinen Blick während der Bildaufnahme in den Beobachtungsbereich gerichtet hat.The invention relates to a method for the gaze detection of a subject and to a computer program product executable on a data processing device for the analysis of image recordings in digital form. The invention has the object to provide a method and a computer program product available, which reduce the calibration effort for a gaze detection and which allow reliable gaze recognition. According to the method according to the invention, with which it is possible to determine whether a subject directs his gaze to an observation area, the following steps are carried out: a) a spatially limited observation area is established, b) in the observation area itself or in the immediate vicinity of the observation area becomes Camera is arranged, c) at least one image is taken with the camera, d) a graphic analysis of the image acquisition is carried out with the aid of a data processing device and e) on the basis of the graphic analysis, it is determined whether the subject has directed his gaze into the observation area during image acquisition ,

Description

Die Erfindung betrifft ein Verfahren zur Blickerfassung eines Probanden sowie eine Vorrichtung mit einem auf einer Datenverarbeitungsvorrichtung ausführbaren Computerprogrammprodukt zur Analyse von in digitaler Form vorliegenden Bildaufnahmen.The invention relates to a method for capturing the gaze of a subject and to a device having a computer program product executable on a data processing device for analyzing image recordings in digital form.

Für die Analyse menschlichen Verhaltens ist es nützlich, wenn mit Hilfe von technischen Hilfsmitteln analysierbar ist, wo Menschen zu welchen Zeitpunkten hinschauen. Insbesondere wenn der Mensch mit komplexen Aufgaben, wie beispielsweise mit der Führung eines Kraftfahrzeuges beschäftigt ist, ist es lebenswichtig, dass der Fahrzeugführer seine Aufmerksamkeit primär der Steuerung des Fahrzeuges mit Hilfe von Lenkrad und Pedalerie sowie der permanenten Erfassung der Verkehrssituation widmet. Nebentätigkeiten, welche den Fahrer von der Fahrzeugführung ablenken, beispielsweise das Bedienen eines Radios, eines Navigationssystems einer Klimaanlage oder die Vornahme sonstiger Einstellungen im Fahrzeug, sollen möglichst schnell und unkompliziert ablaufen, damit dem Fahrzeugführer nach möglichst kurzer Zeit wieder seine volle Aufmerksamkeit für Fahrzeugführung und Beobachtung des Verkehrs zur Verfügung steht.For the analysis of human behavior, it is useful to be able to analyze, with the help of technical aids, where people are looking at which times. In particular, when the person is engaged in complex tasks, such as the management of a motor vehicle, it is vital that the driver devotes his attention primarily to the control of the vehicle by means of steering wheel and pedals and the permanent detection of the traffic situation. Ancillary activities that distract the driver from the vehicle management, such as operating a radio, a navigation system of an air conditioner or making other settings in the vehicle, should run as quickly and easily as possible, so that the driver again after the shortest possible time his full attention to driving and observation of traffic is available.

Um dies zu erreichen, werden seit geraumer Zeit Versuche mit Fahrsimulationssystemen durchgeführt, bei welchen Versuchspersonen (Probanden) in realen Fahrzeugen sitzen, das Fahrzeug durch simulierte Fahrsituationen steuern und währenddessen verschiedene, vorgegebene Nebentätigkeiten durchführen. Durch eine Analyse des Verhaltens der Probanden und durch Variation des Fahrzeuginnenraumes kann beispielsweise ermittelt werden, durch welche Art und/oder Anordnung von Bedienelementen die Durchführung von Nebentätigkeiten besonders wenig Zeit in Anspruch nehmen.In order to achieve this, experiments with driving simulation systems have been carried out for quite some time in which test persons (test persons) sit in real vehicles, control the vehicle by means of simulated driving situations and in the meantime carry out various, prescribed secondary activities. By analyzing the behavior of the subjects and by varying the vehicle interior, it can be determined, for example, by which type and / or arrangement of operating elements the carrying out of ancillary activities takes up very little time.

Zur Analyse des Verhaltens der Probanden stehen unterschiedliche Kamerasysteme zur Verfügung. Ein aus der Praxis bekanntes System zeichnet das Verhalten des jeweiligen Probanden mit Hilfe von vier Kameras auf, wobei vor der Analyse jeder Versuchsperson drei Schritte zur Kalibration des Systems durchgeführt werden.Different camera systems are available for analyzing the behavior of the subjects. A system known from practice records the behavior of each subject using four cameras, with three steps taken to calibrate the system prior to analyzing each subject.

In einem ersten Schritt muss die relative Lage der Kameras zueinander eingestellt werden.In a first step, the relative position of the cameras to each other must be set.

In einem zweiten Schritt muss das so genannte Kopfmodell des zu analysierenden Probanden erstellt werden, d. h. es müssen Fotos von dem Probanden aus verschiedenen Perspektiven gemacht werden, und in den Fotos müssen markante Punkte markiert werden.In a second step, the so-called head model of the subject to be analyzed has to be created, i. H. photos of the subject must be taken from different perspectives, and prominent photos must be marked in the photos.

In einem dritten Schritt muss das so genannte Weltmodell erstellt werden. Dazu werden den Kameras Bereiche oder Punkte vorgegeben, welche insofern von besonderem Interesse ist, als mit dem System erkannt werden soll, wenn der Proband während der Aufnahme seinen Blick in diesen Bereich bzw. auf diesen Punkt richtet.In a third step, the so-called world model has to be created. For this purpose, the cameras are given areas or points which are of particular interest insofar as they should be recognized by the system if the test person directs his view into this area or to this point during the recording.

Zu diesem hohen Kalibrationsaufwand kommt hinzu, dass das System sehr sensibel ist, d. h. dass bereits kleine Positionsveränderungen einzelner Kameras, welche beispielsweise durch das Schließen der Fahrzeugtür hervorgerufen werden können, zur Folge haben können, dass der erste und der dritte Schritt wiederholt werden müssen.In addition to this high calibration effort, the system is very sensitive, i. E. H. that even small changes in position of individual cameras, which can be caused for example by the closing of the vehicle door, can result in that the first and the third step must be repeated.

Ein weiterer Nachteil des bekannten Systems besteht darin, dass Probanden mit wenig kontrastreichem Gesicht und/oder Brillenträger häufig nur schlecht oder gar nicht analysiert werden können.Another disadvantage of the known system is that subjects with low-contrast face and / or glasses wearer often poor or not at all can be analyzed.

Aus der DE 100 46 859 A1 ist ein System zur Blickrichtungsdetektion bekannt, welches aus einer Vorrichtung zur Detektion der Augen und einer nachgeschalteten Einheit zur Bestimmung der Blickrichtung einer beobachteten Person besteht. Die Vorrichtung enthält zur Detektion der Augen eine Einheit zur Radienanpassung, an welche sich eine Vorrichtung zur Kreisdetektion anschließt, der ein Klassifikator nachgeordnet ist, welcher die Ergebnisse der Vorrichtung zur Kreisdetektion auswertet und somit die Position der Augen innerhalb der Bilddaten bestimmt. Zur Bestimmung der Blickrichtung enthält die Vorrichtung auch ein Einrichtungen zur Segmentierung der den Augen und der Nase zugehörigen Bilddaten, welchen ein gemeinsamer Klassifikator nachgeschaltet ist.From the DE 100 46 859 A1 For example, there is known a sight-direction detection system which consists of a device for detecting the eyes and a downstream unit for determining the viewing direction of an observed person. The device contains a unit for radii adaptation for detection of the eyes, to which a device for circle detection adjoins, which is followed by a classifier, which evaluates the results of the device for circle detection and thus determines the position of the eyes within the image data. To determine the viewing direction, the device also contains a device for segmenting the image data associated with the eyes and the nose, which is followed by a common classifier.

Die US 2003/0098954 A1 beschreibt ein Verfahren zur Verfolgung der Blickrichtung eines Auges, wobei eine Kamera auf ein Auge einer Person gerichtet wird und mittels einer benachbart angebrachten Lichtquelle das Auge beleuchtet wird. Im Rahmen des Verfahrens werden bestimmte Bildelemente lokalisiert und identifiziert, nämlich zumindest die Pupille des Auges und eine Lichtreflexion im Auge. Sodann erfolgt die Berechnung einer Linie, welche einen Bezugspunkt auf einem Bildschirm enthält, wobei für die Berechnung die Bildelemente die Kameraposition und Orientierungsdaten herangezogen werden.The US 2003/0098954 A1 describes a method for tracking the viewing direction of an eye, wherein a camera is aimed at an eye of a person and the eye is illuminated by means of an adjacently mounted light source. In the process, certain picture elements are localized and identified, namely at least the pupil of the eye and a light reflection in the eye. Then, the calculation of a line which contains a reference point on a screen, wherein the camera elements and orientation data are used for the calculation of the pixels.

Aus der US 5,604,818 ist ebenfalls eine Vorrichtung für das Messen einer Anvisierrichtung des menschlichen Auges bekannt. Eine Kamera ist in Richtung eines Auges orientiert und nimmt Bilder von diesem auf, wobei koaxial zur Kamera eine Lichtquelle angeordnet ist, die das Auge beleuchtet. Zusätzlich ist analog eine zweite Lichtquelle vorgesehen, die von der ersten Lichtquelle verschieden ist und ebenfalls das Auge beleuchtet. Über die Pupillenposition und Reflexionen von Licht der ersten und zweiten Lichtquelle im Auge lässt sich die Anvisierrichtung berechnen.From the US 5,604,818 Also, an apparatus for measuring a sighting direction of the human eye is known. A camera is oriented in the direction of an eye and takes pictures of this, wherein coaxial with the camera, a light source is arranged, which illuminates the eye. In addition, a second light source is provided analogously, which is different from the first light source and also illuminates the eye. About the pupil position and reflections of light from the first and second light sources in the eye, the sighting direction can be calculated.

Die US 5,471,542 beschreibt eine Vorrichtung, mit der sich die Blickrichtung einer Bedienperson erfassen lässt. Hierfür ist eine Kamera dazu ausgebildet, die Außengrenze des Iriskranzes eines Auges der Bedienperson zu erfassen. Darin enthaltene Punkte werden von einem Computer identifiziert und für die Bestimmung der Irisgröße und -position herangezogen. Daraus lässt sich schließlich die Blickrichtung des Auges relativ zur Kamera bestimmen.The US 5,471,542 describes a device with which the viewing direction of an operator can be detected. For this purpose, a camera is designed to detect the outer boundary of the iris ring of an eye of the operator. Dots contained within are identified by a computer and used to determine iris size and position. From this it is finally possible to determine the viewing direction of the eye relative to the camera.

Die Druckschrift Cheng-Chin CHIANG Chi-Lun HUANG: A Neural-Based Surveillance System for Detecting Dangerous Non-frontal Gazes for Car Drivers; In: IEICE TRANSACTIONS an Information and Systems, Vol. E87-D, 2004/09/01, No. 9, 2229–2238 beschreibt ein Blickerkennungssystem basierend auf neuronalen Netzen, um nicht nach vorne gerichtete Blicke von Fahrern zu detektieren.Cheng-chin CHIANG Chi-Lun HUANG: A Neural-Based Surveillance System for Detecting Dangerous Non-frontal Gauzes for Car Drivers; In: IEICE TRANSACTIONS an Information and Systems, Vol. E87-D, 2004/09/01, no. 9, 2229-2238 describes a gaze detection system based on neural networks to detect non-forward gazes from drivers.

Die Druckschrift Qiang Ji, Zhiwei Zhu: Eye and Gaze Tracking for Interactive Graphic Display; In: Machine Vision and Applications, Volume 15, July 2004, Issue 3, 139–148 beschreibt eine Augen- und Blickrichtungserkennung für ein interaktives graphisches Display. Dabei ist eine Kamera am Display angeordnet und es soll erkannt werden, in welchen Bereich des Displays der Proband schaut. Zunächst werden dafür die Pupille und ein Lichtreflex durch die Bilddifferenz zweier aufeinanderfolgend aufgenommener Bilder detektiert, bei denen das Auge mit zwei unterschiedlichen Lichtquellen beleuchtet wurde. Aus der Position der Pupille und dem Lichtreflex kann dann die Blickrichtung berechnet werden.The publication Qiang Ji, Zhiwei Zhu: Eye and Gaze Tracking for Interactive Graphic Display; In: Machine Vision and Applications, Volume 15, July 2004, Issue 3, 139-148 describes eye and eye sight recognition for an interactive graphical display. In this case, a camera is arranged on the display and it should be recognized in which area of the display the subject looks. First of all, the pupil and a light reflection are detected by the image difference of two consecutively recorded images in which the eye was illuminated with two different light sources. The viewing direction can then be calculated from the position of the pupil and the light reflex.

Die DE 197 19 695 A1 beschreibt ein Verfahren und eine Vorrichtung zum Erfassen der Aufmerksamkeit von Lebewesen innerhalb einer Menge, wobei Licht auf die Mengte ausgesendet wird, und das von den Lebewesen reflektierte Licht in Gestalt eines Bildes erfasst wird. Das Bild wird analysiert, derart, dass von Augenhintergründen der Lebewesen reflektiertes Licht ausgefiltert und als Bildpunkt erkannt wird. Die Bildpunkte werden gezählt.The DE 197 19 695 A1 describes a method and a device for detecting the attention of living beings within a crowd, wherein light is emitted to the crowd, and the light reflected by the living beings is detected in the form of an image. The image is analyzed in such a way that light reflected from the background of the living beings is filtered out and recognized as a pixel. The pixels are counted.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Verfügung zu stellen, welche den Kalibrationsaufwand für eine Blickerfassung reduzieren und welche eine zuverlässige Blickerkennung ermöglichen.The invention has for its object to provide a method and an apparatus available, which reduce the calibration effort for a gaze detection and which allow reliable visual recognition.

Die Lösung der Aufgabe erfolgt erfindungsgemäß mit den Merkmalen der Ansprüche 1 bzw. 9.The object is achieved according to the invention with the features of claims 1 and 9, respectively.

Gemäß dem erfindungsgemäßen Verfahren zur Blickerfassung eines Probanden, mit welchem feststellbar ist, ob der Proband seinen Blick auf einen Beobachtungsbereich richtet, werden folgende Schritte durchgeführt:

a) Es wird ein räumlich begrenzter Beobachtungsbereich festgelegt,
b) in dem Beobachtungsbereich selbst oder in unmittelbarer Umgebung des Beobachtungsbereiches wird eine Kamera angeordnet,
c) mit der Kamera wird mindestens eine Bildaufnahme gemacht,
d) mit Hilfe einer Datenverarbeitungseinrichtung wird eine graphische Analyse der Bildaufnahme durchgeführt und
e) aufgrund der graphischen Analyse wird festgestellt, ob der Proband seinen Blick während der Bildaufnahme in den Beobachtungsbereich gerichtet hat.

According to the method according to the invention for detecting the gaze of a test person, with which it is possible to determine whether the subject directs his gaze to an observation area, the following steps are carried out:

(a) a limited area of observation shall be established;
b) a camera is arranged in the observation area itself or in the immediate vicinity of the observation area,
c) at least one image is taken with the camera,
d) with the aid of a data processing device, a graphical analysis of the image acquisition is performed and
e) based on the graphic analysis, it is determined whether the subject has his eyes in the observation area during image acquisition.

Dabei wird im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse für mindestens eine Bildaufnahme ermittelt, wie viele schwarze, im Wesentlichen kreisförmige Flächen mit einem Durchmesser zwischen 1 und 10 mm die Bildaufnahme aufweist. Jede Bildaufnahme kann dazu beispielsweise digitalisiert und in digitalisierter Form auf schwarze, im Wesentlichen kreisförmige Flächen mit einem Durchmesser zwischen 1 mm und 10 mm analysiert werden. Die Regenbogenhaut eines menschlichen Auges kann die Pupille bis auf 1,5 mm verengen oder bis auf 8 mm erweitern. Dementsprechend erscheinen auf Bildaufnahmen in der Augenmitte des Probanden schwarze Flächen, welche genau dann kreisförmig sind, wenn der Proband genau in die Kamera blickt und welche im Wesentlichen kreisförmig sind, wenn der Proband seinen Blick in einen Bereich nahe der Kamera richtet.As part of the analysis performed with the data processing device for at least one image acquisition is determined how many black, substantially circular areas having a diameter between 1 and 10 mm, the image pickup. For example, each image acquisition can be digitized and analyzed in digitized form on black, substantially circular surfaces with a diameter between 1 mm and 10 mm. The iris of a human eye can narrow the pupil down to 1.5 mm or expand it to 8 mm. Accordingly, on subjects in the eye center of the subject black areas appear, which are circular if and only if the subject looks exactly into the camera and which are essentially circular when the subject directs his gaze into an area near the camera.

Zusätzlich werden Referenzaufnahmen von dem Kopf des Probanden gemacht und in der Datenverarbeitungseinrichtung gespeichert, wobei die Referenzaufnahmen Pro-Referenzaufnahmen darstellen, während welchen der Proband seinen Blick auf unterschiedliche Punkte innerhalb des Beobachtungsbereiches richtet, und/oder wobei die Referenzaufnahmen Contra-Referenzaufnahmen darstellen, während welchen der Proband seinen Blick auf unterschiedliche Punkte außerhalb des Beobachtungsbereiches richtet, wobei auf Basis der Referenzaufnahmen ermittelt wird, in welchem Maße Abweichungen von der Kreisform der Pupille des Probanden bei Blicken in den Beobachtungsbereich vorkommen und in Abhängigkeit davon das vorgegebene Maß bestimmt wird.In addition, reference images are taken from the subject's head and stored in the data processing device, the reference images representing pro-reference images during which the subject directs his view to different points within the observation region, and / or the reference images represent contra-reference images during which the test person directs his gaze to different points outside the observation area, it being determined on the basis of the reference recordings to what extent deviations from the circular shape of the subject's pupil occur when looking into the observation area and depending on this the predetermined measure is determined.

Was als schwarz im Sinne der Erfindung angesehen wird, kann frei definiert werden. Vorzugsweise werden an dem jeweiligen Versuchsort zunächst einige Probeaufnahmen gemacht und aufgrund dieser Probeaufnahmen festgestellt, welche Schwarztöne unter den Versuchsbedingungen auf den Bildaufnahmen zu erwarten sind. Auf dieser Grundlage kann dann ein Spektrum von Schwarztönen, welche gegebenenfalls auch dunkle Graustufen umfassen können, als schwarz im Sinne der Erfindung definiert werden.What is considered black in the sense of the invention can be freely defined. Preferably, a few test recordings are first made at the respective test site and, on the basis of these test recordings, it is ascertained which blacks are to be expected on the image recordings under the experimental conditions. On this Basis can then be defined as black in the context of the invention, a spectrum of blacks, which may optionally include dark gray levels.

Bis zu welchem Maß Abweichungen von der Kreisform toleriert werden sollen, hängt von Größe des Beobachtungsbereiches und der relativen Position der Kamera zum Beobachtungsbereich ab. Je größer der Beobachtungsbereich gewählt wird und je weiter die Kamera von dem Beobachtungsbereich beabstandet ist, desto größer muss die zulässige Toleranz bezüglich der Kreisform sein.To what extent deviations from the circular shape are to be tolerated depends on the size of the observation area and the relative position of the camera to the observation area. The larger the observation area is selected and the farther the camera is from the observation area, the larger must be the allowable tolerance with respect to the circular shape.

Um zu gewährleisten, dass der in der graphischen Analyse ermittelte Durchmesser des Auges den tatsächlichen Maßen entspricht, kann in gleicher Entfernung wie die Augen des Probanden in das Blickfeld der Kamera ein Referenzobjekt positioniert werden, welches durch graphische Analyse leicht ermittelbar und dessen tatsächliche Länge bekannt ist. So kann durch Vergleich der Länge des Referenzobjektes auf der Bildaufnahme und der tatsächlichen Länge des Referenzobjektes stets ermittelt werden, welchen Durchmesser schwarze, im Wesentlichen kreisförmige Flächen auf der Bildaufnahme haben müssen, wenn diese tatsächlich einen Durchmesser zwischen 1 mm und 10 mm haben sollen.In order to ensure that the diameter of the eye determined in the graphic analysis corresponds to the actual dimensions, a reference object can be positioned at the same distance as the eyes of the subject in the field of view of the camera, which object can be easily determined by graphical analysis and whose actual length is known , Thus, by comparing the length of the reference object on the image pickup and the actual length of the reference object, it can always be determined which diameter black, substantially circular areas must have on the image recording, if they are to actually have a diameter between 1 mm and 10 mm.

Die Erfindung ermöglicht es folglich, durch eine graphische Analyse, d. h. durch einfache Verarbeitung einer Bildaufnahme, ob ein Proband seinen Blick während der Bildaufnahme in den Beobachtungsbereich gerichtet hat. Eine spezielle vorherige Kalibrierung ist dazu nicht erforderlich und auch eine geringfügige Umpositionierung der Kamera führt nicht unmittelbar dazu, dass die Ergebnisse unbrauchbar sind. Das Verfahren reduziert daher nicht nur den Kalibrationsaufwand, sondern ist darüber hinaus wesentlich unanfälliger für Störungen.The invention thus makes it possible, through a graphical analysis, i. H. by simply processing an image recording, whether a test person has directed his gaze into the observation area during image acquisition. A special previous calibration is not required and even a slight repositioning of the camera does not immediately lead to the results being useless. Therefore, the method not only reduces the calibration effort, but is also much less susceptible to interference.

Wenn ein Beobachtungszeitraum festlegt wird, während dessen mehrere Bildaufnahmen in periodischen Abständen gemacht werden wenn und aufgrund der graphischen Analyse festgestellt wird, zu welchen Zeitpunkten der Proband seinen Blick in den Beobachtungsbereich gerichtet hat, kann bei hinreichend klein gewählten periodischen Abständen mit hoher Wahrscheinlichkeit festgestellt werden, über welche Dauer der Proband seinen Blick in den Beobachtungsbereich gerichtet hat. Dazu kann beispielsweise eine Periodendauer von 100 Millisekunden gewählt und die Annahme getroffen werden, dass der Proband seinen Blick zwischen zwei aufeinander folgenden Bildaufnahmen permanent in den Beobachtungsbereich gerichtet hat, wenn anhand der graphischen Analyse ermittelt wurde, dass der Proband zum Zeitpunkt der ersten und zum Zeitpunkt der zweiten Bildaufnahme in den Beobachtungsbereich gerichtet hat. Die Periodendauer ist frei wählbar, wobei eine kürzere Periodendauer als 100 Millisekunden genauere Ergebnisse liefert und damit die Wahrscheinlichkeit steigt, dass die getroffene Annahme richtig ist. Eine längere Periodendauer als 100 Millisekunden hat den Vorteil, dass weniger Daten analysiert werden müssen und bei gleichen Systemvoraussetzungen der Datenverarbeitungseinrichtung daher kürzere Rechenzeiten benötigt werden.If an observation period is determined during which several image recordings are made at periodic intervals and if, based on the graphical analysis, it is determined at which times the test person has directed his view into the observation area, it can be determined with a high probability at sufficiently small selected periodic intervals over which duration the test person directed his view into the observation area. For this purpose, for example, a period of 100 milliseconds can be selected and the assumption made that the test person has directed his gaze permanently between two consecutive image recordings in the observation area, if it was determined based on the graphical analysis that the subject at the time of the first and at the time has directed the second image capture in the observation area. The period is freely selectable, with a shorter period than 100 milliseconds provides more accurate results and thus increases the probability that the assumption is correct. A longer period of time than 100 milliseconds has the advantage that less data must be analyzed and therefore shorter computation times are required given the same system requirements of the data processing device.

Gemäß einer weiter bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse für mindestens eine Bildaufnahme der Abstand zwischen den Mittelpunkten aller schwarzen, im Wesentlichen kreisförmigen Flächen ermittelt. Die gemessenen Abstände können als Auswahlkritierium herangezogen werden, wenn mehr als zwei schwarze, im Wesentlichen kreisförmige Flächen bei der graphischen Analyse ermittelt werden. Da der durchschnittliche menschliche Augenabstand ca. 62 mm beträgt und Abweichungen dieses Abstandes sehr gering sind, kann dementsprechend bei der graphischen Analyse berücksichtigt werden, dass ermittelte schwarze Flächen, deren tatsächlicher Abstand größer als 70 mm und kleiner als 50 mm ist, keine Augenpaare sein können. Zur Ermittlung des tatsächlichen Abstandes kann analog vorgegangen werden wie bei den Maßen des Durchmessers.According to a further preferred embodiment of the method according to the invention, the distance between the centers of all black, essentially circular surfaces is determined within the scope of the analysis performed with the data processing device for at least one image acquisition. The measured distances can be used as a selection criterion if more than two black, essentially circular areas are determined during the graphic analysis. Since the average human eye distance is about 62 mm and deviations of this distance are very small, it can accordingly be taken into account in the graphical analysis that determined black areas whose actual distance is greater than 70 mm and less than 50 mm can not be pairs of eyes , To determine the actual distance can proceed analogously as the dimensions of the diameter.

Die Berücksichtigung der Abstände zwischen den Mittelpunkten aller schwarzen, im Wesentlichen kreisförmigen Flächen kann ferner zur Plausibilitätskontrolle eingesetzt werden, wenn genau zwei schwarze, im Wesentlichen kreisförmige Flächen ermittelt wurden. Liegt der tatsächliche Abstand dieser Flächen nicht in dem oben genannten Intervall zwischen 50 mm und 70 mm, ist eine der beiden Flächen kein Auge. Dann muss anhand weiterer Kriterien festgestellt werden, welche der Flächen gegebenenfalls das Auge des Probanden ist.The consideration of the distances between the centers of all black, substantially circular surfaces can also be used for plausibility control, if exactly two black, substantially circular surfaces were determined. If the actual distance between these surfaces is not between 50mm and 70mm in the interval above, one of the two surfaces will not be an eye. Then it has to be determined on the basis of further criteria which of the surfaces is possibly the eye of the subject.

Um ein weiteres Kriterium prüfen zu können, kann beispielsweise im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse für mindestens eine Bildaufnahme überprüft werden, ob die Bildaufnahme in einem sich um den Mittelpunkt einer schwarzen, im Wesentlichen kreisförmigen Fläche erstreckenden kreisförmigen Bereich mit einem Durchmesser von ca. 30 mm mindestens eine im Wesentlichen weiße Fläche aufweist. Denn obwohl alle Menschen um die Pupille herum verschiedenfarbige Ringe aufweisen, so ist Ihnen wiederum gemein, dass der jeweils individuelle Farbring von im Wesentlichen weißen Flächen umgeben ist. Daher muss in einem kreisförmigen Bereich mit einem Durchmesser von ca. 30 mm um den Mittelpunkt einer schwarzen, im Wesentlichen kreisförmigen Fläche eine im Wesentlichen weiße Fläche anzutreffen sein. Ist dieses Kriterium nicht erfüllt, kann gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens davon ausgegangen werden, dass es sich bei der schwarzen, im Wesentlichen kreisförmigen Fläche nicht um ein menschliches Auge handelt.In order to be able to check a further criterion, it can be checked, for example in the context of the analysis carried out with the data processing device, for at least one image acquisition, if the image acquisition in a circular region extending around the center of a black, substantially circular surface with a diameter of approx. 30 mm at least one substantially white surface. For although all people around the pupil around different colored rings, so you have in common that the individual color ring is surrounded by essentially white surfaces. Therefore, in a circular area with a diameter of about 30 mm around the center of a black, substantially circular area, a substantially white area must be encountered. If this criterion is not met, it can be determined according to a According to a preferred embodiment of the method according to the invention, it can be assumed that the black, substantially circular surface is not a human eye.

Selbstverständlich können eine Vielzahl weiterer biometrischer Werte bei der graphischen Analyse berücksichtigt werden. Diese werden jedoch nicht im Einzelnen aufgeführt.Of course, a variety of other biometric values can be taken into account in the graphical analysis. These are not listed in detail.

Die Pro-Referenzaufnahmen eignen sich dazu, individuelle Besonderheiten von Probanden herauszufinden und in die graphische Analyse mit einfließen zu lassen. So kann beispielsweise mit Pro-Referenzaufnahmen der minimale und der maximale Durchmesser des Probanden in der zu untersuchenden Situation ermittelt und diese Information dazu genutzt werden, die Grenzwerte bei der Analyse anzupassen. Ebenso kann der Augenabstand exakt bestimmt und die Toleranzen bei der entsprechenden Abstandsbestimmung verkleinert werden. Ferner wird ermittelt, in welchem Maße Abweichungen von der Kreisform der Pupille bei Blicken in den Beobachtungsbereich vorkommen, und diese Abweichungen werden bei der graphischen Analyse berücksichtigt werden.The Pro reference recordings are suitable for finding out individual peculiarities of test subjects and incorporating them into the graphic analysis. Thus, for example, with Pro reference images of the minimum and maximum diameter of the subject can be determined in the situation to be examined and this information can be used to adjust the limits in the analysis. Likewise, the eye relief can be determined exactly and the tolerances in the corresponding distance determination can be reduced. It is also determined to what extent deviations from the circular shape of the pupil occur when looking into the observation area, and these deviations will be taken into account in the graphic analysis.

Schließlich können auch Teile der Referenzaufnahmen, etwa der Bereich um Augen und Nase, oder die vollständigen Pro-Referenzaufnahmen für einen Vergleich mit den Bildaufnahmen verwendet werden, um die Erfolgsquote zu erhöhen.Finally, parts of the reference shots, such as the area around the eyes and nose, or the full Pro reference shots can be used to compare with the shots to increase the success rate.

Durch die Contra-Referenzaufnahmen kann für jeden Probanden exakt ermittelt und berücksichtigt werden, welche Abweichungen der Kreisform gerade nicht mehr toleriert werden dürfen. Ferner können auch die Contra-Referenzaufnahmen teilweise oder vollständig für einen Vergleich mit den Bildaufnahmen verwendet werden, um die Erfolgsquote weiter zu erhöhen. Dies kann kumulativ oder alternativ zu einer Berücksichtigung der Pro-Referenzaufnahmen erfolgen.The contra reference recordings allow the exact determination of each test subject and take into account which deviations of the circular shape can no longer be tolerated. Furthermore, the contra reference recordings can be partially or completely used for a comparison with the image recordings in order to further increase the success rate. This can be done cumulatively or alternatively to a consideration of the pro-reference recordings.

Besonders bevorzugt wird im Rahmen der mit der Datenverarbeitungseinrichtung durchgeführten Analyse überprüft, ob ein mindestens eine schwarze im Wesentlichen kreisförmige Fläche umfassender Bereich der Bildaufnahme im Wesentlichen mit einem Bereich einer Referenzaufnahme übereinstimmt. Eine solche Überprüfung ist besonders zeitsparend, da nur hochrelevante Bereiche der Aufnahmen miteinander verglichen werden.In the context of the analysis performed with the data processing device, it is particularly preferred to check whether an area of the image recording comprising at least one black substantially circular area substantially coincides with a region of a reference receptacle. Such a review is particularly time-saving, since only highly relevant areas of the images are compared.

Wenn zur Durchführung des erfindungsgemäßen Verfahrens als Kamera eine Digitalkamera verwendet wird, liegen die Aufnahmen unmittelbar in digitaler Form vor und können ohne weiteren Zeitverlust analysiert werden.If a digital camera is used as the camera for carrying out the method according to the invention, the images are directly available in digital form and can be analyzed without further loss of time.

Wenn der Proband an einem festgelegten Ort positioniert wird und wenn die Kamera auf diesen Ort ausgerichtet und in ihrer Position fixiert wird, können viele gleich bleibende Daten bereits in der Kamera oder der Analysevorrichtung vorgespeichert werden. Zu diesen Daten zählt beispielsweise ein Referenzfaktor, welcher das Verhältnis zwischen einem Maß auf der Bildaufnahme und dem realen Maß eines Objektes für einen vorgegebenen Abstand zwischen Kamera und Objekt angegeben wird. Die Anordnung eines Referenzobjektes kann daher bei dieser Ausführungsvariante entfallen.If the subject is positioned at a fixed location and the camera is aligned and fixed in position, many consistent data can already be pre-stored in the camera or analyzer. These data include, for example, a reference factor, which is the ratio between a measure of the image capture and the real measure of an object for a given distance between the camera and the object is specified. The arrangement of a reference object can therefore be omitted in this embodiment.

Der Proband kann gemäß einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens auf einem Sitz für ein Kraftfahrzeug gesetzt werden, wobei als Beobachtungsbereiche Bedienelemente und/oder eine Anzeige ausgewählt werden. Die Anzeige kann insbesondere zur Darstellung einer simulierten Fahrsimulation verwendet werden, und die Bedienelemente können Instrumente und Schalter eines Fahrzeugcockpits verwendet werden. Sofern die Größe der Bedienelemente ausreicht, um diese mit einer Kamera zu versehen oder um diese selbst vollständig oder teilweise als Kamera zu gestalten, kann die Kamera in den Beobachtungsbereich selbst angeordnet werden.The subject can be set according to a particularly preferred embodiment of the method according to the invention on a seat for a motor vehicle, being selected as observation areas controls and / or a display. The display can be used in particular for the presentation of a simulated driving simulation, and the operating elements can be used instruments and switches of a vehicle Cockpit. If the size of the controls is sufficient to provide them with a camera or to make them themselves completely or partially as a camera, the camera can be placed in the observation area itself.

Die Erfindung zeigt sich auch an einer Vorrichtung mit einer Kamera, einer Datenverarbeitungseinrichtung und einem auf der Datenverarbeitungseinrichtung ausführbaren Computerprogrammprodukt zur Analyse von in digitaler Form vorliegenden Bildaufnahmen daraufhin, ob ein Proband seinen Blick während einer Bildaufnahme auf die Kamera oder auf einen unmittelbar in der Umgebung der befindlichen Beobachtungsbereich gerichtet hat. Das Computerprogrammprodukt weist ein Augenanalysemodul sowie ein Konfigurationsmodul auf. Mit dem Augenanalysemodul kann eine Bildaufnahme auf im Wesentlichen kreisförmige schwarze Flächen mit einem Durchmesser zwischen 1 und 10 mm hin analysiert werden. Mit dem Konfigurationsmodul ist auf der Basis von in der Datenverarbeitungseinrichtung gespeicherten Referenzaufnahmen von dem Kopf des Probanden definierbar, in welchem Maße Abweichungen von der Kreisform zulässig sind, damit Flächen von dem Analysemodul als im Wesentlichen kreisförmige Flächen erkannt werden. Die Definition, in welchem Maße Abweichungen von der Kreisform zulässig sind, mit Hilfe des Konfigurationsmoduls kann beispielsweise dadurch erfolgen, dass definiert wird, welches Verhältnis von maximalem zu minimalem Durchmesser bei einem „Kreis” toleriert wird. Es können auch elliptische Flächenformen vorgegeben werden, welche toleriert werden sollen. Ferner können alternativ oder kumulativ Pro- und/oder Contra-Referenzaufnahmen zur Verfügung gestellt werden, welche mit der Bildaufnahme verglichen werden.The invention is also evident in a device having a camera, a data processing device and a computer program product executable on the data processing device for analyzing images in digital form to determine whether a subject is looking at the camera or at the immediate vicinity of the camera during image acquisition directed observation area has addressed. The computer program product has an eye analysis module and a configuration module. With the eye analysis module, an image acquisition can be analyzed for substantially circular black areas with a diameter between 1 and 10 mm. On the basis of reference images stored in the data processing device, it is possible with the configuration module to define to what extent deviations from the circular shape are permitted by the head of the test person, so that surfaces are recognized by the analysis module as substantially circular surfaces. The definition of the extent to which deviations from the circular shape are permissible with the aid of the configuration module can be effected, for example, by defining what ratio of maximum to minimum diameter is tolerated for a "circle". It is also possible to specify elliptical surface shapes which are to be tolerated. Furthermore, alternatively and cumulatively, pro- and / or contra reference recordings can be made available, which are compared with the image recording.

Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen sowie aus der Beschreibung im Zusammenhang mit den Zeichnungen. Further advantageous embodiments and modifications of the invention will become apparent from the dependent claims and from the description in conjunction with the drawings.

Es zeigt:It shows:

1 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform. 1 a flow diagram of a method according to the invention in a preferred embodiment.

Das in 1 gezeigte Ablaufdiagramm wird anhand eines in einem Fahrsimulator für Kraftfahrzeuge durchgeführten Verfahrens beschrieben, gemäß welchem festgestellt wird, ob ein Proband seinen Blick auf einen Beobachtungsbereich gerichtet hat. Gemäß diesem Verfahren wird zur Blickerfassung eines Probanden in einem Schritt S1 ein räumlich begrenzter Beobachtungsbereich festgelegt. Ein solcher Beobachtungsbereich kann beispielsweise das Display und das Bedienfeld eines Navigationssystems in einem Kraftfahrzeugcockpit sein.This in 1 The flowchart shown is described with reference to a method carried out in a driving simulator for motor vehicles, according to which it is determined whether a subject has his gaze directed to an observation area. According to this method, a spatially limited observation area is determined in a step S1 for the gaze detection of a subject. Such an observation area can be, for example, the display and the control panel of a navigation system in a motor vehicle cockpit.

In einem zweiten Schritt S2 wird dann in dem Beobachtungsbereich selbst oder in unmittelbarerer Umgebung eine Digitalkamera angeordnet. Dies kann beispielsweise dadurch erfolgen, dass unmittelbar neben das als Beobachtungsbereich festgelegte Navigationssystem eine Kamera in eine Mittelkonsole eines Kraftfahrzeuginnenraumes integriert wird.In a second step S2, a digital camera is then arranged in the observation area itself or in the immediate surroundings. This can be done, for example, by integrating a camera into a center console of a motor vehicle interior immediately adjacent to the navigation system defined as an observation area.

In einem dritten Schritt S3 werden Pro-Referenzaufnahmen von dem Kopf des Probanden gemacht und in einer externen Datenverarbeitungseinrichtung, welche vorliegend ein Personalcomputer (PC) ist, gespeichert. Während der Pro-Referenzaufnahmen richtet der Proband seinen Blick auf unterschiedliche Punke innerhalb des Beobachtungsbereiches, so dass aufgrund der Pro-Referenzaufnahmen ermittelbar ist, welche Abweichungen die Pupille des Probanden von der Kreisform aufweist, wenn der Proband seinen Blick in den Beobachtungsbereich richtet. Dazu sind insbesondere solche Pro-Referenzaufnahmen von Interesse, während welcher der Proband seinen Blick auf Außengrenzen des Beobachtungsbereiches richtet.In a third step S3, pro-reference images are taken from the subject's head and stored in an external data processing device, which in the present case is a personal computer (PC). During the pro-reference shots, the subject directs his gaze to different points within the observation area, so that it can be determined on the basis of the Pro reference shots, which deviations the pupil of the subject from the circular shape, when the subject directs his gaze into the observation area. In particular, such pro-reference images are of interest, during which the subject directs his view of the outer borders of the observation area.

Analog zu Schritt S3 werden in einem Schritt S4 Contra-Referenzaufnahmen gemacht, während derer der Proband seinen Blick auf unterschiedliche Punkte außerhalb des Beobachtungsbereiches, insbesondere in der unmittelbaren Umgebung des Beobachtungsbereiches gerichtet hat. Die Contra-Referenzaufnahmen werden ebenfalls in dem PC gespeichert.Analogous to step S3, in a step S4, contra-reference images are taken, during which the test person has directed his view to different points outside the observation area, in particular in the immediate vicinity of the observation area. The contra reference recordings are also stored in the PC.

In einem weiteren Schritt S5 wird mit der Digitalkamera eine Bildaufnahme gemacht, wobei eine Periodendauer t einstellbar ist, nach welcher der Schritt S5 wiederholt wird, bis eine Beobachtungszeitraum T beendet ist. In dem vorliegenden Beispiel ist eine Periodendauer von t = 20 ms gewählt.In a further step S5, an image is taken with the digital camera, wherein a period t is adjustable, after which the step S5 is repeated until an observation period T is completed. In the present example, a period of t = 20 ms is selected.

Jede durch den Schritt S5 erstellte Bildaufnahme wird in einem Schritt S6 an den PC übermittelt und mit Hilfe eines Computerprogrammproduktes insoweit graphisch analysiert, als ermittelt wird, wie viele schwarze, im Wesentlichen kreisförmige Flächen mit einem Durchmesser zwischen 1 und 10 mm die Bildaufnahme aufweist, wobei als Durchmesser der reale Durchmesser der jeweiligen Fläche bezeichnet ist.Each image acquisition created by step S5 is transmitted to the PC in a step S6 and analyzed graphically with the aid of a computer program product, as it is determined how many black, substantially circular areas with a diameter between 1 and 10 mm, the image recording, is designated as the diameter of the real diameter of the respective surface.

Die vorliegend verwendete Kamera ist dazu ausgebildet, den Abstand von schwarzen, im Wesentlichen kreisförmigen Fläche zu ermitteln und auf der Grundlage des ermittelten Abstandes und der Größe des jeweiligen Objektes auf der Bildaufnahme die realen Maße der jeweiligen Fläche zu bestimmen. Diese Informationen stehen also unmittelbar zur Verfügung. Aufgrund dieser Informationen wird zunächst eine Vorauswahl von schwarzen Flächen getroffen, welche innerhalb eines von der Digitalkamera aus bemessenen Entfernungsbereiches von 0,1 bis 1,5 m erfasst wurden. Dies ist der Bereich, in welchem ein Proband seinen Kopf typischerweise bewegt, um das Navigationssystem zu bedienen. Andere schwarze Flächen auf der Bildaufnahme werden nicht berücksichtigt.The camera used here is designed to determine the distance from the black, substantially circular area and to determine the real dimensions of the respective area on the basis of the determined distance and the size of the respective object on the image recording. This information is therefore immediately available. Based on this information, a pre-selection is first made of black areas detected within a distance range of 0.1 to 1.5 m measured by the digital camera. This is the area in which a subject typically moves his head to operate the navigation system. Other black areas on the image are not taken into account.

Die in Schritt S6 festgestellten schwarzen, im Wesentlichen kreisförmigen Flächen sind die Ausgangsbasis für weitere Analysen, welche in den nachfolgenden Schritten S7, S8 und S9 unabhängig voneinander durchgeführt werden.The black, substantially circular areas identified in step S6 are the starting point for further analyzes, which are carried out independently of one another in subsequent steps S7, S8 and S9.

In Schritt S7 wird der Abstand der Mittelpunkte aller schwarzen, im Wesentlichen kreisförmigen Flächen ermittelt, sofern mehr als eine Fläche ermittelt wurde. Für den Fall, dass aufgrund der Versuchsdurchführung bekannt ist, dass nur ein Proband von der Kamera erfasst werden kann und dass genau zwei schwarze, im Wesentlichen kreisförmige Flächen ermittelt wurden, kann eine Plausibilitätskontrolle erfolgen. Denn die zwei Flächen können nur dann die Pupillen eines Augenpaares sein, wenn deren Abstand zwischen 50 mm und 70 mm beträgt. Ist der Abstand größer oder kleiner, handelt es sich nicht um ein Augenpaar, und es muss eine Auswahl einer Fläche getroffen werden. Das gleiche gilt, wenn mehr als zwei Flächen ermittelt wurden und der Abstand zwischen keiner von zwei Flächen zwischen 50 mm und 70 mm beträgt.In step S7, the distance of the centers of all black, substantially circular areas is determined, if more than one area was determined. In the event that due to the experiment, it is known that only one subject can be detected by the camera and that exactly two black, substantially circular areas were determined, a plausibility check can be made. For the two surfaces can only be the pupils of a pair of eyes if their distance is between 50 mm and 70 mm. If the distance is greater or less, it is not an eye pair and a selection of a surface must be made. The same applies if more than two surfaces have been determined and the distance between any of two surfaces is between 50 mm and 70 mm.

In Schritt S8 wird die Bildaufnahme daraufhin überprüft, ob die Bildaufnahme in einem sich um den Mittelpunkt einer ermittelten schwarzen, im Wesentlichen kreisförmigen Fläche erstreckenden kreisförmigen Bereich mit einem Durchmesser von 30 mm mindestens eine im Wesentlichen weiße Fläche aufweist. Mit dieser Überprüfung erfolgt eine zusätzliche Kontrolle, ob es sich bei der ermittelten schwarzen, im Wesentlichen kreisförmigen Fläche um ein menschliches Auge oder um ein sonstiges Objekt handelt. Nur wenn in dem vorstehend genannten Bereich mindestens eine im Wesentlichen weiße Fläche ermittelbar ist, wird die ermittelte schwarze, im Wesentlichen kreisförmige Fläche als menschliches Auge angesehen.In step S8, the image pickup is checked to see if the image pickup has at least one substantially white area in a circular area having a diameter of 30 mm extending around the center of a detected black, substantially circular area. This check provides additional control as to whether the identified black, substantially circular area is a human eye or other object. Only if at least one essentially white surface can be determined in the abovementioned region, the determined black, substantially circular surface is regarded as a human eye.

In Schritt S9 erfolgt ein Vergleich der jeweiligen Bildaufnahme mit den bereits vorliegenden Pro- bzw. Contrareferenzaufnahmen. Durch einen solchen Vergleich stehen auf die jeweiligen Versuchsbedingungen angepasste Referenzen zur Verfügungen, mit welchen insbesondere die Toleranzen für das Schwarz der schwarzen, im Wesentlichen kreisförmigen Fläche und für das Weiß des mindestens einen weißen Bereichs gut konfigurierbar sind. Wenn ein besonders leistungsfähiger PC zur Verfügung steht, kann ein Einzelvergleich jeder Bildaufnahme mit sämtlichen Pro- und/oder Contrareferenzaufnahmen erfolgen, um auf der Grundlage von Vergleichen zu ermitteln, ob der Proband seinen Blick in den Beobachtungsbereich gerichtet hat oder nicht. Wenn eine Analyse mit geringen technischen Mitteln erfolgen soll, können die Referenzaufnahmen dazu genutzt werden, Toleranzen aufgrund der Referenzaufnahmen vorzugeben, beispielsweise Toleranzen für Graustufen und/oder die Form von zu berücksichtigenden schwarzen, im Wesentlichen kreisförmigen Flächen.In step S9, a comparison of the respective image recording with the already existing pro- or contrast reference images takes place. By means of such a comparison, references adapted to the respective experimental conditions are available, with which in particular the tolerances for the black of the black, substantially circular area and for the white of the at least one white area can be well configured. If a particularly high-performance PC is available, a single comparison of each image acquisition with all sample and / or contrast reference images can be made to determine based on comparisons whether the subject has his eyes in the observation area or not. If a low-tech analysis is to be performed, the reference images may be used to specify tolerances based on the reference images, for example gray scale tolerances and / or the shape of black, substantially circular surfaces to be considered.

Im Schritt S10 werden die in den Schritten S7, S8 und 89 ermittelten Informationen zusammengeführt und für ein endgültiges Ergebnis ermittelt, ob der Proband seinen Blick zum Zeitpunkt der Bildaufnahme in den Beobachtungsbereich gerichtet hat oder nicht. Nur wenn eine ermittelte schwarze, im Wesentlichen kreisförmige Fläche in allen Verfahrensschritten S6, S7, S8 und S9 als ein in den Beobachtungsbereich gerichtetes Auge eines Probanden ermittelt wurde, wird für die entsprechende Bildaufnahme der Blick als „in den entsprechenden Beobachtungsbereich gerichtet” gespeichert.In step S10, the information determined in steps S7, S8 and 89 is combined and, for a final result, it is determined whether or not the subject has directed his gaze into the observation area at the time the image was taken. Only when a determined black, essentially circular area was determined in all method steps S6, S7, S8 and S9 as an eye of a subject directed into the observation area is the view stored as "directed into the corresponding observation area" for the corresponding image acquisition.

Es können auch mehrere Beobachtungsbereiche gleichzeitig ausgewählt werden. In diesem Fall bietet es sich an, jede Bildaufnahme wie vorstehend beschrieben für den dazugehörigen Beobachtungsbereich separat auszuwerten und dann in einem weiteren Schritt (nicht dargestellt) zu überprüfen, dass für jeden Zeitpunkt nur ein Beobachtungsbereich ausgewählt wird. Falls mehrere Beobachtungsbereiche in Frage kommen, kann eine Auswahl beispielsweise aufgrund einer Erfolgswahrscheinlichkeit erfolgen.It is also possible to select several observation areas at the same time. In this case, it makes sense to separately evaluate each image acquisition as described above for the associated observation area and then to check in a further step (not shown) that only one observation area is selected for each time point. If several observation areas come into question, for example, a selection can be made on the basis of a probability of success.

Die im Zusammenhang mit 1 beschriebene Ausführungsvariante des erfindungsgemäßen Verfahrens ist lediglich beispielhaft und soll den Schutzbereich nicht einschränken. Das Verfahren ist in dem durch die Ansprüche vorgegebenen Rahmen beliebig veränderbar.The related to 1 described embodiment of the method according to the invention is merely exemplary and is not intended to limit the scope. The method can be changed as desired within the scope of the claims.

Claims

Method for detecting the gaze of a subject, with which it is possible to determine whether the subject directs his gaze to a spatially limited observation area, characterized by the following steps: a) The spatially limited observation area is determined, b) in the observation area itself or in the immediate vicinity of the observation area if a camera is arranged, c) at least one image is taken with the camera, d) a graphic analysis of the image acquisition is carried out with the aid of a data processing device and e) on the basis of the graphic analysis, it is determined whether the test person's gaze is in the observation area during image acquisition has been determined, characterized in step d) in the context of the analysis performed with the data processing device for at least one image acquisition, how many definable black, circular surfaces with a diameter between 1 and 10 mm, the image recording in which a circular surface is an area whose shape deviates from a circular shape less than a predetermined amount, in addition reference images are taken from the subject's head and stored in the data processing device, the reference images representing pro-reference images during which The proband directs his view to different points within the observation area, and / or wherein the reference images represent contra-reference images, during which the subject directs his gaze to different points outside the observation area, based on the reference photographs is determined to what extent deviations from the Circular form of the pupil of the subject occur when looking into the observation area and depending on the predetermined level is determined.

A method according to claim 1, characterized in that an observation period is determined, during which several image recordings are made at periodic intervals, wherein it is determined based on the graphical analysis, at which times the subject has his gaze in the observation area.

Method according to one of claims 1 to 2, characterized in that is determined in the context of the analysis performed with the data processing device for at least one image recording, the distance between the centers of all black, substantially circular areas.

Method according to one of claims 1 to 3, characterized in that is checked in the context of the analysis carried out with the data processing device for at least one image recording, if the image recording in a extending around the center of a black, substantially circular area circular area with a diameter of approximately 30 mm has at least one substantially white surface.

Method according to one of claims 1 to 4, characterized in that it is checked in the context of the analysis carried out with the data processing device, whether an at least one black substantially circular area comprising area of the image pickup substantially coincides with a region of the reference recordings.

Method according to one of claims 1 to 5, characterized in that a digital camera is used as the camera.

Method according to one of claims 1 to 6, characterized in that the subject is positioned at a fixed location and that the camera is aligned and fixed on this location.

A method according to claim 7, characterized in that the subject is placed on a seat for a motor vehicle and control elements and / or a display are selected as observation areas.

Device for viewing a subject, with which it can be determined whether the subject directs his gaze to a spatially limited observation area, wherein the device has a camera arranged in the observation area or in the immediate vicinity of the observation area, a data processing device and a computer program product executable on the data processing device Analysis of images in digital form to determine whether a subject has directed his gaze to the camera or to the observation area immediately adjacent to the camera during an image acquisition, characterized in that the device is adapted to a method according to one of the claims 1 to 10, wherein the computer program product comprises an eye analysis module, by means of which an image acquisition on circular, definable black areas with a diameter between 1 and 10 mm analyze out bar, as well as a configuration module, by means of which on the basis of stored in the data processing means reference recordings of the head of the subject is defined to what extent deviations from the circular shape are allowed so that surfaces are recognized by the analysis module as circular surfaces, the reference recordings Pro-reference record represent, during which the subject has his eyes on different points within the observation area, and / or wherein the reference images represent contra-reference photographs, during which the subject has his eyes on different points outside the observation area.

Apparatus according to claim 9, characterized in that the eye analysis module is further adapted to determine the distance between the determined substantially circular surfaces.

Apparatus according to claim 9 or 10, characterized in that the eye analysis module is further adapted to check the image pickup to determine whether a circular area extending about the center of a black, substantially circular area having a diameter of about 30 mm substantially has white surfaces.

Device according to one of claims 9 to 11, characterized in that the eye analysis module comprises a comparison module which is adapted to retrieve the reference recordings from a memory and to compare the reference recordings with the recording or with selected areas of the recording.