DE102018131780B4 - Determining a pupil diameter - Google Patents

Determining a pupil diameter Download PDF

Info

Publication number
DE102018131780B4
DE102018131780B4 DE102018131780.8A DE102018131780A DE102018131780B4 DE 102018131780 B4 DE102018131780 B4 DE 102018131780B4 DE 102018131780 A DE102018131780 A DE 102018131780A DE 102018131780 B4 DE102018131780 B4 DE 102018131780B4
Authority
DE
Germany
Prior art keywords
pupil
image
determined
center
difference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018131780.8A
Other languages
German (de)
Other versions
DE102018131780A1 (en
Inventor
Johannes Junggeburth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellar Data Broadcast Services GmbH
Original Assignee
Stellar Data Broadcast Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellar Data Broadcast Services GmbH filed Critical Stellar Data Broadcast Services GmbH
Priority to DE102018131780.8A priority Critical patent/DE102018131780B4/en
Priority to PCT/EP2019/084430 priority patent/WO2020120478A1/en
Publication of DE102018131780A1 publication Critical patent/DE102018131780A1/en
Application granted granted Critical
Publication of DE102018131780B4 publication Critical patent/DE102018131780B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Abstract

Verfahren zum Bestimmen eines Pupillendurchmessers (d) einer Pupille (3) in einem digitalen Bild (6), das ein Auge (1) mit der Pupille (3) zeigt, mit den Schritten:b) Erzeugen eines anisotrop unscharfen Bildes (7), das in einer y-Richtung unschärfer als das Bild (6) ist, aus dem Bild (6);c) Erzeugen eines Differenzbildes (8) aus dem anisotrop unscharfen Bild (7), indem für die Intensität jedes Bildpunktes des Differenzbildes (8) die Intensitäten von Bildpunkten des anisotrop unscharfen Bildes (7) voneinander subtrahiert werden, die in einer senkrecht zu der y-Richtung orientierten x-Richtung benachbart angeordnet sind;d) Bestimmen von zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenrändern (9, 10) aus Extremwerten (16) in dem Differenzbild (8);e) Bestimmen des Pupillendurchmessers (d) unter Heranziehen der zwei Pupillenränder (9, 10).Method for determining a pupil diameter (d) of a pupil (3) in a digital image (6) which shows an eye (1) with the pupil (3), with the following steps: b) generating an anisotropically blurred image (7), which is more blurred in a y-direction than the image (6) from the image (6); c) generating a difference image (8) from the anisotropically blurred image (7) by determining the intensity of each pixel of the difference image (8) the intensities of image points of the anisotropically blurred image (7) are subtracted from one another, which are arranged adjacent in an x-direction oriented perpendicular to the y-direction; d) determining two in the x-direction on opposite sides of the pupil delimiting the pupil Pupil edges (9, 10) from extreme values (16) in the difference image (8); e) determining the pupil diameter (d) using the two pupil edges (9, 10).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Pupillendurchmessers, eine Vorrichtung zur Datenverarbeitung, wobei die Vorrichtung Mittel zur Ausführung der Schritte des Verfahrens aufweist, ein Computerprogramm, das Befehle aufweist, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens auszuführen und einen computerlesbaren Datenträger, auf dem das Computerprogramm gespeichert ist.The invention relates to a method for determining a pupil diameter, a device for data processing, the device having means for executing the steps of the method, a computer program which has instructions which, when the program is executed by a computer, cause the program to perform the steps of the method execute and a computer-readable data carrier on which the computer program is stored.

Ein Pupillenreflex bei einem Menschen führt dazu, dass, wenn der Mensch einer höheren Bestrahlung durch sichtbares Licht ausgesetzt ist, dies zu einer Verkleinerung einer Pupille des Menschen führt. Dadurch wird eine Lichtmenge verringert, die durch die Pupille auf die Netzhaut des Menschen fällt. Umgekehrt führt der Pupillenreflex bei einer niedrigeren Bestrahlung durch das sichtbare Licht dazu, dass die Pupille vergrößert wird, wodurch eine größere Lichtmenge auf die Netzhaut fällt. In 7 ist der Fall dargestellt, dass der Mensch mit einem Lichtpuls angestrahlt wird, wie beispielsweise von einem Blitzlicht einer Kamera. 7 zeigt ein Diagramm, in dem drei mit einem Pupillometer aufgenommener Pupillendurchmesserverläufe 17a, 17b, 17c dargestellt sind, wobei über eine Abszisse des Diagramms die Zeit und über eine Ordinate des Diagramms ein jeweiliger Pupillendurchmesser d der Pupille aufgetragen ist. Man kann beobachten, dass sich zunächst die Pupille ausgehend von einem Ausgangspupillendurchmesser bis zu einem Minimum verkleinert. Anschließend vergrößert sich die Pupille wieder. Es ist bekannt, dass man anhand des in 7 dargestellten Pupillendurchmesserverlaufs auf eine körperliche Verfassung des Menschen zurückschließen kann. Bei der körperlichen Verfassung kann es sich beispielsweise um einen Grad von Müdigkeit oder um einen Blutalkoholgehalt des Menschen handeln.A pupillary reflex in a person means that when the person is exposed to higher levels of visible light radiation, this leads to a reduction in the size of a pupil of the person. This reduces the amount of light that falls through the pupil onto the human retina. Conversely, the pupil reflex at a lower level of exposure to visible light leads to the pupil being enlarged, which means that a greater amount of light falls on the retina. In 7th the case is shown in which the person is illuminated with a light pulse, such as a flash from a camera. 7th shows a diagram in which three pupil diameter profiles recorded with a pupillometer 17a , 17b , 17c are shown, the time being plotted on an abscissa of the diagram and a respective pupil diameter d of the pupil being plotted on an ordinate of the diagram. It can be observed that, starting from an exit pupil diameter, the pupil initially shrinks to a minimum. The pupil then enlarges again. It is known that the in 7th depicted pupil diameter profile can infer a physical condition of the human being. The physical condition can be, for example, a degree of tiredness or a person's blood alcohol content.

Zum Aufnehmen des Pupillendurchmesserverlaufs nimmt das Pupillometer einen Film des Auges auf, wobei der Film eine Vielzahl von Bildern des Auges zu unterschiedlichen Zeitpunkten enthält. Um den Pupillendurchmesserverlauf zu bestimmen, ist es erforderlich, in jedem Bild des Films einen Pupillendurchmesser zu bestimmen. Dies ist jedoch nachteilig rechenintensiv und damit zeitintensiv.To record the course of the pupil diameter, the pupillometer records a film of the eye, the film containing a large number of images of the eye at different times. In order to determine the course of the pupil diameter, it is necessary to determine a pupil diameter in each frame of the film. However, this is disadvantageously computationally intensive and therefore time-consuming.

JP H11-225 966 A offenbart ein ophthalmologisches Messgerät, das kontinuierlich die Änderung der Brechkraft misst. EP 2 382 912 B1 offenbart eine ophthalmologische Vorrichtung, das die Pupillengröße eines Prüflings misst. DE 601 32 459 T2 offenbart ein Pupillometer. JP H11-225 966 A discloses an ophthalmic measuring device that continuously measures the change in refractive power. EP 2 382 912 B1 discloses an ophthalmic device that measures the pupil size of a test subject. DE 601 32 459 T2 discloses a pupillometer.

Aufgabe der Erfindung ist es daher, ein Verfahren zum Bestimmen eines Pupillendurchmessers zu schaffen, das wenig rechenintensiv ist. Zudem ist es Aufgabe der Erfindung, eine Vorrichtung, mittels der das Verfahren ausführbar ist, ein Computerprogramm zum Ausführen des Verfahrens und einen Datenträger mit dem Computerprogramm zu schaffen.The object of the invention is therefore to create a method for determining a pupil diameter which is not very computationally intensive. In addition, it is an object of the invention to create a device by means of which the method can be carried out, a computer program for carrying out the method and a data carrier with the computer program.

Das erfindungsgemäße Verfahren zum Bestimmen eines Pupillendurchmessers einer Pupille in einem digitalen Bild, das ein Auge mit der Pupille zeigt, weist die Schritte auf: b) Erzeugen eines anisotrop unscharfen Bildes, das in einer y-Richtung unschärfer als das Bild ist, aus dem Bild; c) Erzeugen eines Differenzbildes aus dem anisotrop unscharfen Bild, indem für die Intensität jedes Bildpunktes des Differenzbildes die Intensitäten von Bildpunkten des anisotrop unscharfen Bildes voneinander subtrahiert werden, die in einer senkrecht zu der y-Richtung orientierten x-Richtung benachbart angeordnet sind; d) Bestimmen von zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenrändern aus Extremwerten in dem Differenzbild; e) Bestimmen des Pupillendurchmessers unter Heranziehen der zwei Pupillenränder. Bevorzugt handelt es sich bei dem Verfahren um ein computerimplentiertes Verfahren.The method according to the invention for determining a pupil diameter of a pupil in a digital image showing an eye with the pupil has the following steps: b) Generating an anisotropically blurred image from the image, which is blurred in a y-direction than the image ; c) generating a difference image from the anisotropically blurred image by subtracting the intensities of image points of the anisotropically blurred image from one another for the intensity of each image point of the difference image, which image points are arranged adjacently in an x-direction oriented perpendicular to the y-direction; d) determining two pupil edges delimiting the pupil in the x-direction on opposite sides of the pupil from extreme values in the difference image; e) Determining the pupil diameter using the two pupil edges. The method is preferably a computer-implemented method.

Das Erzeugen des anisotrop unscharfen Bildes führt dazu, dass fast die gesamte Pupille unschärfer wird, außer den zwei Pupillenrändern. In dem Differenzbild haben unscharfe Bereiche des anisotrop unscharfen Bildes einen betragsmäßig niedrigen Wert, wohingegen scharfe Bereiche des anisotrop unscharfen Bildes einen betragsmäßig hohen Wert haben. Damit können anhand der Extremwerte in dem anisotrop unscharfen Bild in Schritt d) die zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenränder besonders leicht identifiziert werden. Das Erzeugen des anisotrop unscharfen Bildes in Schritt b) und das Erzeugen des Differenzbildes in Schritt c) sind wenig rechenintensive Schritte. Auch das Auffinden der Extremwerte in Schritt d) und das Bestimmen des Pupillendurchmessers in Schritt e) sind vorteilhaft wenig rechenintensiv, so dass das gesamte Verfahren vorteilhaft wenig rechenintensiv ist.The creation of the anisotropically blurred image results in almost the entire pupil becoming blurred, except for the two pupil edges. In the difference image, unsharp areas of the anisotropically unsharp image have a low value in terms of absolute value, whereas sharp areas of the anisotropically unsharp image have a high value in terms of absolute value. The two edges of the pupil delimiting the pupil in the x-direction on opposite sides of the pupil can thus be identified particularly easily on the basis of the extreme values in the anisotropically blurred image in step d). The generation of the anisotropically blurred image in step b) and the generation of the difference image in step c) are steps that are not very computationally intensive. Finding the extreme values in step d) and determining the pupil diameter in step e) are also advantageously less computationally intensive, so that the entire method is advantageously less computationally intensive.

Es ist bevorzugt, dass in Schritt b) zum Erzeugen der Intensität jedes Bildpunktes des anisotrop unscharfen Bildes jeweils Intensitäten von mehreren in der y-Richtung nebeneinander angeordneten Bildpunkten des Bildes addiert werden. Die Anzahl der mehreren in der y-Richtung nebeneinander angeordneten Bildpunkten beträgt bevorzugt von 1,5 % bis 3,5 %, insbesondere von 2,0 % bis 3,0 %, der Anzahl aller Bildpunkte des Bildes einer in die y-Richtung orientierten Reihe. Bei dem Addieren der Intensitäten handelt es sich vorteilhaft um einen wenig rechenintensiven Verfahrensschritt.It is preferred that in step b) in order to generate the intensity of each pixel of the anisotropically blurred image, intensities of several pixels of the image arranged next to one another in the y-direction are added. The number of multiple image points arranged next to one another in the y-direction is preferably from 1.5% to 3.5%, in particular from 2.0% to 3.0%, of the number of all image points of the image of one oriented in the y-direction Line. The addition of the intensities is advantageously a process step that is not very computationally intensive.

Alternativ ist bevorzugt, dass in Schritt b) zum Erzeugen der Intensitäten jeder in die y-Richtung orientierten Reihe der Bildpunkte des anisotrop unscharfen Bildes jeweils eine Autokorrelationsfunktion der Intensitäten einer in die y-Richtung orientierten Reihe der Bildpunkte des Bildes gebildet wird. Auch beim Bilden der Autokorrelationsfunktion handelt es sich vorteilhaft um einen wenig rechenintensiven Verfahrensschritt.Alternatively, it is preferred that in step b) to generate the intensities of each row of the image points of the anisotropically fuzzy image oriented in the y-direction, an autocorrelation function of the intensities of a row of the image points of the image oriented in the y-direction is formed. The formation of the autocorrelation function is also advantageously a less computationally intensive process step.

Es ist bevorzugt, dass das Bild einen Beleuchtungsreflex aufweist, der von einer Beleuchtung des Auges während der Aufnahme des Bildes stammt, und das Verfahren den Schritt aufweist: a) Bestimmen der Position des Beleuchtungsreflexes und Erzeugen eines Suchfensters, das die Pupille in dem Differenzbild enthält, anhand der Position des Beleuchtungsreflexes; wobei in Schritt d) die Extremwerte in dem Differenzbild lediglich innerhalb des Suchfensters gesucht werden. Dadurch kann zum einen der Rechenaufwand in Schritt d) beim Finden der Extremwerte verringert werden, weil ein kleinerer Datensatz als ohne das Suchfenster durchsucht werden muss. Zum anderen ist die Fehleranfälligkeit des Bestimmens der zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenränder geringer, weil andere scharfe Bereiche des anisotrop unscharfen Bildes, wie beispielsweise der Rand des Augapfels des Auges, ausgeblendet werden können. Es ist auch möglich, in Schritt b) das anisotrop unscharfe Bild lediglich in dem Bereich des Suchfensters zu erzeugen, wodurch das Verfahren noch weniger rechenintensiv wird. Wenn das anisotrop unscharfe Bild lediglich in dem Suchfenster erzeugt wird, dann folgt daraus zwangsläufig, dass in Schritt c) auch das Differenzbild lediglich in dem Suchfenster erzeugt wird, wodurch das Verfahren noch weniger rechenintensiv wird.It is preferred that the image has an illumination reflex which originates from an illumination of the eye during the recording of the image, and the method has the step: a) determining the position of the illumination reflex and generating a search window which contains the pupil in the difference image , based on the position of the lighting reflex; wherein in step d) the extreme values in the difference image are only searched for within the search window. As a result, on the one hand, the computational effort in step d) when finding the extreme values can be reduced because a smaller data set has to be searched than without the search window. On the other hand, there is less susceptibility to errors in determining the two pupil edges delimiting the pupil in the x-direction on opposite sides of the pupil because other sharp areas of the anisotropically fuzzy image, such as the edge of the eyeball of the eye, can be masked out. It is also possible in step b) to generate the anisotropically blurred image only in the area of the search window, which makes the method even less computationally intensive. If the anisotropically fuzzy image is only generated in the search window, then it inevitably follows that in step c) the difference image is also only generated in the search window, which makes the method even less computationally intensive.

Es ist bevorzugt, dass ein in dem Suchfenster angeordneter Sicherheitsbereich bestimmt wird, der den Beleuchtungsreflex enthält und wobei in Schritt d) die Extremwerte in dem Differenzbild lediglich außerhalb des Sicherheitsbereichs gesucht werden. Dadurch ist die Fehleranfälligkeit des Bestimmens der zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenränder geringer als ohne den Sicherheitsbereich, weil scharfe Bereiche an dem Rand des Beleuchtungsreflexes ausgeblendet werden. Der Sicherheitsbereich erstreckt sich bevorzugt entlang der gesamten Länge in der y-Richtung des anisotrop unscharfen Bildes.It is preferred that a safety area arranged in the search window is determined which contains the illumination reflex and wherein in step d) the extreme values in the difference image are only searched outside the safety area. As a result, the susceptibility to errors in determining the two pupil edges delimiting the pupil in the x-direction on opposite sides of the pupil is lower than without the safety region, because sharp regions at the edge of the illumination reflex are masked out. The safety area preferably extends along the entire length in the y-direction of the anisotropically blurred image.

Es ist bevorzugt, dass in Schritt a) Differenzen von Intensitäten von benachbart angeordneten Bildpunkten des Bildes gebildet werden und die Position des Beleuchtungsreflexes unter Heranziehen der Differenzen bestimmt wird. Unter der Annahme, dass an dem Beleuchtungsreflex der höchste Kontrast in dem Bild auftritt, lässt sich der Beleuchtungsreflex besonders einfach und wenig rechenintensiv bestimmen, indem das Maximum der Differenzen und das Minimum der Differenzen bestimmt werden.It is preferred that in step a) differences in intensities of adjacent pixels of the image are formed and the position of the illumination reflex is determined using the differences. Assuming that the highest contrast occurs in the image at the lighting reflex, the lighting reflex can be determined in a particularly simple and less computationally intensive manner by determining the maximum of the differences and the minimum of the differences.

In Schritt a) wird bevorzugt zu einem Identifizieren des Beleuchtungsreflexes geprüft, ob der Abstand des Maximums der Differenzen zu dem Minimum der Differenzen innerhalb eines vorbestimmten Abstandsbereichs liegt. Dadurch können Fehler beim Bestimmen der Position des Beleuchtungsreflexes vermieden werden. Wenn der Abstand außerhalb des Abstandsbereichs liegt, können beispielsweise andere lokale Maxima der Differenzen und andere lokale Minima der Differenzen bestimmt werden, deren Abstand bestimmt werden und überprüft werden, ob deren Abstand in dem vorbestimmten Abstandsbereich liegt.In step a), in order to identify the lighting reflex, it is preferably checked whether the distance between the maximum of the differences and the minimum of the differences lies within a predetermined distance range. Errors in determining the position of the lighting reflex can thereby be avoided. If the distance lies outside the distance range, for example other local maxima of the differences and other local minima of the differences can be determined, their distance is determined and it is checked whether their distance lies in the predetermined distance range.

Es ist bevorzugt, dass in Schritt e) aus den Extremwerten in dem Differenzbild eine Mitte der Pupille in der y-Richtung bestimmt wird und der Pupillendurchmesser als der Abstand der Extremwerte in derjenigen in die x-Richtung orientierten Reihe des Differenzbildes bestimmt wird, die durch die Mitte der Pupille in der y-Richtung verläuft. Hier kann der Pupillendurchmesser einfach durch ein Zählen der Bildpunkte von dem einen der zwei in der x-Richtung die Pupille begrenzenden Pupillenrand zu dem anderen der zwei in der x-Richtung die Pupille begrenzenden Pupillenrand bestimmt werden. Dies ist vorteilhaft wenig rechenintensiv.It is preferred that in step e) a center of the pupil in the y-direction is determined from the extreme values in the difference image and the pupil diameter is determined as the distance between the extreme values in that row of the difference image oriented in the x-direction which is determined by the center of the pupil runs in the y-direction. Here the pupil diameter can be determined simply by counting the image points from one of the two pupil edge delimiting the pupil in the x direction to the other of the two pupil edge delimiting the pupil in the x direction. This is advantageously not very computationally intensive.

Dabei ist bevorzugt, dass die Mitte der Pupille in der y-Richtung aus dem Mittelwert der Koordinaten der y-Richtung der zwei Pupillenränder bestimmt wird.It is preferred that the center of the pupil in the y-direction is determined from the mean value of the coordinates of the y-direction of the two pupil edges.

Es ist bevorzugt, dass eine Mehrzahl der Bilder vorliegt, die einen Film des Auges bildet, wobei der Pupillendurchmesser für einen Teil der Bilder durch die Schritte b) bis e), und insbesondere a), bestimmt wird und der Pupillendurchmesser für einen anderen Teil der Bilder durch folgende Schritte bestimmt wird: f) Bestimmen einer Mitte der Pupille in der y-Richtung; g) Durchführen der Schritte c) bis e) lediglich für diejenige in die x-Richtung orientierte Reihe des Differenzbildes, die durch die Mitte der Pupille in der y-Richtung verläuft. Dadurch, dass der Film vorliegt, ist es vorteilhaft möglich, einen Pupillendurchmesserverlauf der Pupille zu bestimmen. Anhand des Pupillendurchmesserverlaufs ist es vorteilhaft möglich, auf eine körperliche Verfassung desjenigen Menschen zurückzuschließen, dessen Auge der Film zeigt. Die Schritte f) und g) sind wesentlich weniger rechenintensiv als die Schritte b) bis e). Indem nun der andere Teil der Bilder durch die wenigen rechenintensiven Schritte f) und g) bearbeitet wird, ist das Verfahren wesentlich weniger rechenintensiv, als wenn alle die Bilder des Films mit den Schritten b) bis e) bearbeitet würden.It is preferred that there is a plurality of the images which form a film of the eye, the pupil diameter for part of the images being determined by steps b) to e), and in particular a), and the pupil diameter for another part being determined Images is determined by the following steps: f) determining a center of the pupil in the y-direction; g) Carrying out steps c) to e) only for that row of the difference image which is oriented in the x-direction and which runs through the center of the pupil in the y-direction. Because the film is present, it is advantageously possible to determine a pupil diameter profile of the pupil. Using the course of the pupil diameter, it is advantageously possible to draw conclusions about the physical condition of the person whose eye the film shows. Steps f) and g) are significantly less computationally intensive than steps b) to e). Since the other part of the images is now processed by the few computation-intensive steps f) and g), the method is significantly less computation-intensive than if all the frames of the film were processed with steps b) to e).

Dabei ist bevorzugt, dass in Schritt e) aus den Extremwerten in dem Differenzbild eine Mitte der Pupille in der y-Richtung bestimmt wird und in Schritt f) diese in Schritt e) bestimmte Mitte als die Mitte der Pupille in der y-Richtung bestimmt wird.It is preferred that in step e) a center of the pupil in the y-direction is determined from the extreme values in the difference image and in step f) this center determined in step e) is determined as the center of the pupil in the y-direction .

Es ist bevorzugt, dass der eine Teil mehrere der Bilder aufweist und in jedem Schritt e) aus den Extremwerten in dem Differenzbild eine Mitte der Pupille in der y-Richtung bestimmt wird, wobei in Schritt f) die Mitte der Pupille in der y-Richtung durch Interpolation der in Schritt e) bestimmten Mitten der Pupille in der y-Richtung bestimmt werden. Dadurch ist möglich, den Pupillendurchmesser auch dann mit einer hohen Genauigkeit zu bestimmen, wenn sich der die Pupille aufweisende Augapfel in dem Film bewegt.It is preferred that the one part has a plurality of the images and in each step e) a center of the pupil in the y-direction is determined from the extreme values in the difference image, the center of the pupil in the y-direction in step f) can be determined by interpolation of the centers of the pupil determined in step e) in the y-direction. This makes it possible to determine the pupil diameter with a high degree of accuracy even when the eyeball having the pupil moves in the film.

Die erfindungsgemäße Vorrichtung zur Datenverarbeitung weist Mittel zur Ausführung der Schritte des Verfahrens auf. Die Vorrichtung weist bevorzugt eine Kamera auf, die eingerichtet ist, das Bild und insbesondere den Film aufzunehmen. Bevorzugt weist die Vorrichtung weiterhin eine Beleuchtungsquelle auf, die eingerichtet ist, das Auge zu beleuchten und den Beleuchtungsreflex hervorruft. Die Beleuchtungsquelle kann eingerichtet sein, das Auge während der vollständigen Aufnahme des Films zu beleuchten. Weiterhin weist die Vorrichtung bevorzugt ein Blitzlicht auf, das eingerichtet ist, das Auge mit einem Lichtpuls zu beleuchten. Der Lichtpuls kann eine Dauer von kürzer als 10 ms, insbesondere kürzer als 1,5 ms (volle Halbwertsbreite, FWHM) haben.The device according to the invention for data processing has means for carrying out the steps of the method. The device preferably has a camera which is set up to record the image and in particular the film. The device preferably also has an illumination source which is set up to illuminate the eye and cause the illumination reflex. The illumination source can be set up to illuminate the eye during the complete recording of the film. Furthermore, the device preferably has a flashlight which is set up to illuminate the eye with a light pulse. The light pulse can have a duration of less than 10 ms, in particular less than 1.5 ms (full half-width, FWHM).

Das erfindungsgemäße Computerprogramm weist Befehle auf, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens auszuführen. Auf dem erfindungsgemäßen computerlesbaren Datenträger ist das Computerprogramm gespeichert.The computer program according to the invention has commands which, when the program is executed by a computer, cause the computer to carry out the steps of the method. The computer program is stored on the computer-readable data carrier according to the invention.

Im Folgenden wird anhand der beigefügten schematischen Zeichnungen die Erfindung näher erläutert.

  • 1 zeigt ein Bild eines Auges.
  • 2 zeigt das Prinzip einer anisotrop unscharfen Pupille.
  • 3 zeigt ein anisotrop unscharfes Bild des Auges.
  • 4 zeigt Gradienten des anisotrop unscharfen Bildes des Auges.
  • 5 zeigt Gradienten einer Reihe von Bildpunkten des anisotrop unscharfen Bildes.
  • 6 zeigt Gradienten einer Reihe von Bildpunkten des Bildes.
  • 7 zeigt eine Auftragung mit drei Pupillendurchmesserverläufen.
The invention is explained in more detail below with reference to the accompanying schematic drawings.
  • 1 shows an image of an eye.
  • 2 shows the principle of an anisotropically blurred pupil.
  • 3 shows an anisotropically blurred image of the eye.
  • 4th shows gradients of the anisotropically blurred image of the eye.
  • 5 shows gradients of a series of pixels of the anisotropically blurred image.
  • 6th shows gradients of a series of pixels of the image.
  • 7th shows a plot with three pupil diameter profiles.

1 zeigt beispielhaft ein digitales Bild 6 eines Auges 1. Das Auge 1 weist einen Augapfel 2 auf und der Augapfel 2 weist eine Pupille 3 auf. Das Bild 6 kann beispielsweise, wie auch in 1 dargestellt, lediglich aus Graustufen bestehen. Im Folgenden wird ein Verfahren beschrieben, mit dem ein Pupillendurchmesser d in dem Bild 6 bestimmt werden kann. 1 shows an example of a digital image 6th one eye 1 . The eye 1 has an eyeball 2 on and the eyeball 2 has a pupil 3 on. The picture 6th can, for example, as in 1 shown, consist only of shades of gray. The following describes a method with which a pupil diameter d in the image 6th can be determined.

Das Verfahren weist folgende Schritte b), c), d) und e) auf:

  • b) Erzeugen eines anisotrop unscharfen Bildes 7, das in einer y-Richtung unschärfer als das Bild 6 ist, aus dem Bild 6. 3 zeigt ein Beispiel für das anisotrop unscharfe Bild 7. Durch einen Vergleich der 3 mit der 1 ist deutlich erkennbar, dass das anisotrop unscharfe Bild 7 in die y-Richtung verschwommen ist und dadurch deutlich unschärfer als das Bild 6 ist.
  • c) Erzeugen eines Differenzbildes 8 aus dem anisotrop unscharfen Bild 7, indem für die Intensität jedes Bildpunktes des Differenzbildes 8 die Intensitäten von Bildpunkten des anisotrop unscharfen Bildes 7 voneinander subtrahiert werden, die in einer senkrecht zu der y-Richtung orientierten x-Richtung benachbart angeordnet sind. 4 zeigt beispielhaft das Differenzbild 8. In dem Differenzbild 8 werden Gradienten der Intensität des anisotrop unscharfen Bildes 7 in der x-Richtung dargestellt. In 5 sind die Gradienten der Intensität des anisotrop unscharfen Bildes 7 für eine in die x-Richtung orientierte Reihe dargestellt.
  • d) Bestimmen von zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenrändern 9, 10 aus Extremwerten in dem Differenzbild 8. 4 zeigt beispielhaft den linken Pupillenrand 10 in dem Differenzbild 8.
  • e) Bestimmen des Pupillendurchmessers d unter Heranziehen der zwei Pupillenränder 9, 10.
The method has the following steps b), c), d) and e):
  • b) generating an anisotropically blurred image 7th that is more blurred in a y-direction than the image 6th is, from the picture 6th . 3 shows an example of the anisotropically blurred image 7th . By comparing the 3 with the 1 it can be clearly seen that the anisotropically blurred image 7th is blurred in the y-direction and therefore significantly more blurred than the image 6th is.
  • c) generating a difference image 8th from the anisotropically blurred image 7th by for the intensity of each pixel of the difference image 8th the intensities of pixels of the anisotropically blurred image 7th are subtracted from one another, which are arranged adjacently in an x-direction oriented perpendicular to the y-direction. 4th shows the difference image as an example 8th . In the difference image 8th become gradients of the intensity of the anisotropically blurred image 7th shown in the x-direction. In 5 are the gradients of the intensity of the anisotropically blurred image 7th shown for a row oriented in the x-direction.
  • d) Determination of two pupil edges delimiting the pupil in the x-direction on opposite sides of the pupil 9 , 10 from extreme values in the difference image 8th . 4th shows an example of the left edge of the pupil 10 in the difference image 8th .
  • e) Determining the pupil diameter d using the two pupil edges 9 , 10 .

Gemäß 1 bis 4 ist die x-Richtung eine horizontale Richtung und die y-Richtung ist eine vertikale Richtung, wobei es jedoch auch denkbar ist, dass die x-Richtung die vertikale Richtung und die y-Richtung die horizontale Richtung ist. Im Folgenden wird einer der zwei Pupillenränder als rechter Pupillenrand 9 und der andere der zwei Pupillenränder als der linke Pupillenrand 10 bezeichnet. 2 veranschaulicht, welchen Effekt das Erzeugen des anisotropen unscharfen Bildes 7 in Schritt b) hat. Die Pupille 3 wird in 2 durch einen Kreis vereinfacht dargestellt, wobei mehrere der Kreise dargestellt sind, die in der y-Richtung verschoben zueinander sind. Es ist deutlich erkennbar, dass der rechte Pupillenrand 9 und der linke Pupillenrand 10 immer noch relativ scharf sind, wobei der obere Pupillenrand 11 und der untere Pupillenrand 12 besonders unscharf geworden sind.According to 1 until 4th the x-direction is a horizontal direction and the y-direction is a vertical direction, although it is also conceivable that the x-direction is the vertical direction and the y-direction is the horizontal direction. In the following, one of the two edges of the pupil is called the right edge of the pupil 9 and the other of the two pupil edges as the left pupil edge 10 designated. 2 illustrates the effect of creating the anisotropic blurred image 7th in step b). The pupil 3 is in 2 simplified by a circle shown, wherein several of the circles are shown, which are shifted in the y-direction with respect to each other. It can be clearly seen that the right edge of the pupil 9 and the left edge of the pupil 10 are still relatively sharp, with the upper edge of the pupil 11 and the lower edge of the pupil 12th have become particularly blurred.

In Schritt b) können zum Erzeugen der Intensität jedes Bildpunktes des anisotrop unscharfen Bildes 7 jeweils Intensitäten von mehreren in der y-Richtung nebeneinander angeordneten Bildpunkten des Bildes 6 addiert werden. Dies umfasst auch eine Mittelwertwertbildung der Intensitäten der mehreren in der y-Richtung nebeneinander angeordneten Bildpunkte. Die Anzahl der mehreren in der y-Richtung nebeneinander angeordneten Bildpunkten beträgt bevorzugt von 1,5 % bis 3,5 %, insbesondere von 2,0 % bis 3,0 %, der Anzahl aller Bildpunkte des Bildes einer in die y-Richtung orientierten Reihe. Wenn das Bild beispielsweise 1000 in der y-Richtung nebeneinander angeordnete Bildpunkte aufweist, so beträgt die Anzahl dementsprechend von 15 bis 35, insbesondere von 20 bis 30. In 3 ist ein Beispiel für das derart erstellte anisotrop unscharfe Bild 7 dargestellt. Mathematisch lässt sich die Mittelwertbildung wie folgt dargestellt werden:

  • Alternativ ist denkbar, dass in Schritt b) zum Erzeugen der Intensitäten jeder in die y-Richtung orientierten Reihe der Bildpunkte des anisotrop unscharfen Bildes 7 jeweils eine Autokorrelationsfunktion der Intensitäten einer in die y-Richtung orientierten Reihe der Bildpunkte des Bildes 6 gebildet wird.
In step b), each pixel of the anisotropically blurred image can be used to generate the intensity 7th intensities of several image points of the image arranged next to one another in the y-direction 6th can be added. This also includes averaging the intensities of the plurality of image points arranged next to one another in the y-direction. The number of multiple image points arranged next to one another in the y-direction is preferably from 1.5% to 3.5%, in particular from 2.0% to 3.0%, of the number of all image points of the image of one oriented in the y-direction Line. If, for example, the image has 1000 image points arranged next to one another in the y-direction, the number is accordingly from 15 to 35, in particular from 20 to 30. In 3 is an example of the anisotropically blurred image created in this way 7th shown. Mathematically, the averaging can be represented as follows:
  • Alternatively, it is conceivable that in step b) for generating the intensities of each row of the image points of the anisotropically fuzzy image oriented in the y-direction 7th in each case an autocorrelation function of the intensities of a row of the image points oriented in the y-direction 6th is formed.

4 zeigt ein Beispiel für das in Schritt c) erzeugte Differenzbild 8. Der linke Pupillenrand 10 ist als ein lokaler Extremwert 16 deutlich erkennbar. 4th shows an example of the difference image generated in step c) 8th . The left edge of the pupil 10 is as a local extreme value 16 clearly.

Wie es aus 1, 3 und 4 ersichtlich ist, weist das Bild 6 einen Beleuchtungsreflex 4 auf, der von einer Beleuchtung des Auges 1 während der Aufnahme des Bildes 6 stammt. Für eine gute Bildqualität kann je nach Aufnahmebedingungen des Bildes 6 die Beleuchtung vorteilhaft sein. Dies ist insbesondere der Fall, wenn eine Brille verwendet wird, die einem Probanden aufgesetzt wird und die das Auge 1 gegenüber der Umgebung lichtdicht abkapselt sowie eine Kamera zum Aufnehmen der Bilder 6 aufweist. Der Beleuchtungsreflex 4 ist auf der dunklen Pupille 3 mit einem besonders hohen Kontrast erkennbar. Der zugehörige anisotrop unscharfe Beleuchtungsreflex 14 ist in dem anisotrop unscharfen Bild 7 mit einem geringeren Kontrast sichtbar. In dem Bild 6 ist zudem ein Blitzlichtreflex 5 sichtbar, der daher stammt, dass die Brille ein Blitzlicht aufweist, das eingerichtet ist, das Auge 1 mit einem den Blitzlichtreflex 5 verursachenden Lichtpuls zu beleuchten. Es ist deutlich erkennbar, dass der Blitzlichtreflex 5 wesentlich diffuser als der Beleuchtungsreflex 4 ist.How it looks 1 , 3 and 4th can be seen, shows the picture 6th a lighting reflex 4th on that of an illumination of the eye 1 while taking the picture 6th originates. For good picture quality, depending on the recording conditions of the picture 6th the lighting will be beneficial. This is particularly the case when glasses are used that are placed on a test person and that cover the eye 1 encapsulated light-tight from the environment and a camera for taking the pictures 6th having. The lighting reflex 4th is on the dark pupil 3 recognizable with a particularly high contrast. The associated anisotropically fuzzy lighting reflex 14th is in the anisotropically blurred image 7th visible with a lower contrast. In the picture 6th is also a flashlight reflex 5 visible, which comes from the fact that the glasses have a flashlight that is set up by the eye 1 with a flash reflex 5 to illuminate the causing light pulse. It can be clearly seen that the flash light reflex 5 much more diffuse than the lighting reflex 4th is.

In dem Fall, dass das Bild 6 den Beleuchtungsreflex 4 aufweist, kann das Verfahren den Schritt aufweisen: a) Bestimmen der Position des Beleuchtungsreflexes 4 und Erzeugen eines Suchfensters 13, das die Pupille 3 in dem Differenzbild 8 enthält, anhand der Position des Beleuchtungsreflexes 4; wobei in Schritt d) die Extremwerte 16 in dem Differenzbild 8 lediglich innerhalb des Suchfensters 13 gesucht werden.In the event that the picture 6th the lighting reflex 4th the method can have the step: a) determining the position of the lighting reflex 4th and creating a search window 13th that is the pupil 3 in the difference image 8th contains, based on the position of the lighting reflex 4th ; where in step d) the extreme values 16 in the difference image 8th only within the search window 13th to be sought.

An dem Beleuchtungsreflex 4 liegen mit einer hohen Wahrscheinlichkeit die höchsten Gradienten der Intensität vor. Dies gilt selbst dann, wenn im dem Bild 6 auch der Blitzlichtreflex 5 sichtbar ist, weil der Blitzlichtreflex 5 wesentlich diffuser als der Beleuchtungsreflex 4 ist. Von daher kann in Schritt a) die Position des Beleuchtungsreflexes 4 besonders einfach bestimmt werden, indem in Schritt a) Differenzen von Intensitäten von benachbart angeordneten Bildpunkten des Bildes 6 gebildet werden und die Position des Beleuchtungsreflexes 4 unter Heranziehen der Differenzen bestimmt wird. Dazu können beispielsweise die Differenzen von Intensitäten von in der x-Richtung benachbart angeordneten Bildpunkten des Bildes 6 gebildet werden. 6 zeigt eine Auftragung der Differenzen von einer in die x-Richtung orientierten Reihe, wobei über der vertikalen Achse die Differenz und über die horizontale Achse die Bildpunkte aufgetragen sind. Es sind deutlich ein rechter Beleuchtungsreflexrand 4a und ein linker Beleuchtungsreflexrand 4b als die Extremwerte in der Auftragung sichtbar, wobei der Extremwert des rechten Beleuchtungsreflexrandes 4a ein gegenteiliges Vorzeichen wie der Extremwert des linken Beleuchtungsreflexrandes 4b hat. Um die Genauigkeit bei dem Bestimmen der Position des Beleuchtungsreflexes 4 zu erhöhen, kann in dem Schritt a) zu einem Identifizieren des Beleuchtungsreflexes 4 geprüft werden, ob der Abstand des Maximums der Differenzen zu dem Minimum der Differenzen innerhalb eines vorbestimmten Abstandsbereichs liegt. In 6 ist der Abstand der Abstand von dem Extremwert des rechten Beleuchtungsreflexrandes 4a zu dem Extremwert des linken Beleuchtungsreflexrandes 4b.At the lighting reflex 4th there is a high probability that the highest gradients in intensity are present. This is true even if in the picture 6th also the flashlight reflex 5 is visible because of the flashlight reflex 5 much more diffuse than the lighting reflex 4th is. Therefore, in step a) the position of the lighting reflex 4th can be determined in a particularly simple manner by, in step a), differences in intensities of adjacent pixels of the image 6th and the position of the lighting reflex 4th is determined using the differences. For this purpose, for example, the differences in intensities of image points of the image arranged adjacently in the x-direction can be used 6th are formed. 6th shows a plot of the differences of a row oriented in the x-direction, the difference being plotted over the vertical axis and the pixels over the horizontal axis. There are clearly a right-hand lighting reflex edge 4a and a left lighting reflex rim 4b visible as the extreme values in the plot, with the extreme value of the right illumination reflex edge 4a a sign opposite to that of the extreme value of the left illumination reflex edge 4b Has. About the accuracy in determining the position of the lighting reflex 4th to increase, can in step a) to identify the lighting reflex 4th it can be checked whether the distance between the maximum of the differences and the minimum of the differences lies within a predetermined distance range. In 6th the distance is the distance from the extreme value of the right illumination reflex edge 4a to the extreme value of the left illumination reflex edge 4b .

Um die Genauigkeit bei dem Bestimmen der Position des Beleuchtungsreflexes 4 noch weiter zu erhöhen, können zusätzlich die Differenzen von Intensitäten von in der y-Richtung benachbart angeordneten Bildpunkten des Bildes 6 gebildet werden. Auch hier kann dem Schritt a) zu einem Identifizieren des Beleuchtungsreflexes 4 geprüft werden, ob dieser Abstand des Maximums der Differenzen zu dem Minimum der Differenzen innerhalb eines vorbestimmten Abstandsbereichs liegt. Falls einer der beiden Abstände nicht in dem vorbestimmten Abstandsbereich liegt, können andere lokale Extremwerte der Differenz gesucht werden und für diese anderen lokalen Extremwerte überprüft werden, ob deren Abstände in dem vorbestimmten Abstandsbereich liegen.About the accuracy in determining the position of the lighting reflex 4th To increase even further, the differences in intensities of image points of the image which are arranged adjacently in the y-direction can also be increased 6th are formed. Here, too, step a) can lead to an identification of the lighting reflex 4th it can be checked whether this distance between the maximum of the differences and the minimum of the differences lies within a predetermined distance range. If one of the two distances does not lie in the predetermined distance range, other local extreme values of the difference can be searched for and it can be checked for these other local extreme values whether their distances lie in the predetermined distance range.

Der vorherbestimmte Abstandsbereich kann beispielsweise bestimmt werden, indem für eine gegebene Aufnahmesituation, beispielsweise bei einem Prototypen der Brille, bei einem oder mehreren Probanden die Bilder aufgenommen werden und die Beleuchtungsreflexe 4 hinsichtlich ihrer Größe ausgewertet werden.The predetermined distance range can be determined, for example, in that for a given recording situation, for example in the case of a prototype of the glasses, the images and the lighting reflections are recorded from one or more test persons 4th be evaluated with regard to their size.

Die Genauigkeit beim Bestimmen der Position des Beleuchtungsreflexes 4 kann noch weiter erhöht werden, wenn die Differenzen über 2 oder 3 Bildpunkte gemittelt werden.The accuracy in determining the position of the lighting reflex 4th can be increased even further if the differences are averaged over 2 or 3 pixels.

Die Größe des Suchfensters 13 und die Positionierung des Suchfensters 13 relativ zu dem Beleuchtungsreflex 4 können bestimmt werden, indem für eine gegebene Aufnahmesituation, beispielsweise bei einem Prototypen der Brille, bei einem oder mehreren Probanden mehrere der Bilder 6 aufgenommen werden. Dabei ist es von Vorteil wenn der Proband bei den mehreren der Bilder 6 in unterschiedliche Richtungen blickt. Die Größe des Suchfensters 13 und die Positionierung des Suchfensters 13 relativ zu dem Beleuchtungsreflex 4 können nun so bestimmt werden, dass bei möglichst vielen oder bei all den Bildern 6 die Pupille 3 vollständig in dem Suchfenster liegt. Dabei ist zeitgleich die Größe des Suchfensters 13 möglichst klein zu bestimmen, um einen Rand des Augapfels 2 möglichst außerhalb des Suchfensters 13 zu haben, damit der Rand des Augapfels 2 nicht fälschlicherweise als einer der Pupillenränder 9, 10 identifiziert wird. 5 zeigt neben den Pupillenrändern 9, 10 noch zwei weitere lokale Extremwerte, die von dem Rand des Augapfels 2 herrühren.The size of the search window 13th and the positioning of the search window 13th relative to the lighting reflex 4th can be determined by taking several of the images for one or more test persons for a given recording situation, for example in the case of a prototype of the glasses 6th be included. It is advantageous if the test person is able to view several of the images 6th looks in different directions. The size of the search window 13th and the positioning of the search window 13th relative to the lighting reflex 4th can now be determined in such a way that for as many or all of the images as possible 6th the pupil 3 is completely in the search window. The size of the search window is at the same time 13th as small as possible to determine one edge of the eyeball 2 if possible outside the search window 13th to have so the edge of the eyeball 2 not mistakenly considered one of the pupillary margins 9 , 10 is identified. 5 shows next to the pupillary margins 9 , 10 two more local extreme values, those from the edge of the eyeball 2 originate.

3 zeigt, dass in Schritt b) das anisotrop unscharfe Bild 7 für das gesamte Bild 6 erzeugt wurde. Um das Verfahren zu beschleunigen, ist es auch denkbar, das anisotrop unscharfe Bild 6 nur in dem Bereich des Suchfensters 13 zu erzeugen. 3 shows that in step b) the anisotropically blurred image 7th for the whole picture 6th was generated. To speed up the process, it is also conceivable to use the anisotropically blurred image 6th only in the area of the search window 13th to create.

4 zeigt, dass ein in dem Suchfenster 13 angeordneter Sicherheitsbereich 15 bestimmt werden kann, der den vollständigen Beleuchtungsreflex 4 enthält und wobei in Schritt d) die Extremwerte in dem Differenzbild 8 lediglich außerhalb des Sicherheitsbereichs 15 gesucht werden. Der Sicherheitsbereich kann sich entlang der vollständigen Länge des Suchfensters 13 in der y-Richtung erstrecken. Es ist nun möglich, die beiden Pupillenränder 9, 10 zu identifizieren, in dem der minimale Extremwert 16 in dem Suchfenster 13 auf der einen Seite des Sicherheitsbereichs 15 und der maximale Extremwert 16 in dem Suchfenster auf der anderen Seite des Sicherheitsbereichs 15 identifiziert werden. In dem Fall, dass es mehrere der minimalen Extremwerte 16 gibt, die den gleichen Wert haben, wird derjenige der mehreren der minimalen Extremwerte 16 ausgewählt, der am meisten entfernt von dem Sicherheitsbereich 15 liegt. In dem Fall, dass es mehrere der maximalen Extremwerte 16 gibt, die den gleichen Wert haben, wird derjenige der mehreren der maximalen Extremwerte 16 ausgewählt, der am meisten entfernt von dem Sicherheitsbereich 15 liegt. 4th shows that one in the search window 13th arranged security area 15th can be determined that the complete lighting reflex 4th contains and wherein in step d) the extreme values in the difference image 8th just outside the security area 15th to be sought. The safety area can extend along the full length of the search window 13th extend in the y-direction. It is now possible to use the two edges of the pupil 9 , 10 identify where the minimum extreme value 16 in the search window 13th on one side of the security area 15th and the maximum extreme value 16 in the search window on the other side of the security area 15th be identified. In the event that there are several of the minimum extreme values 16 that have the same value becomes that of several of the minimum extreme values 16 selected the most distant from the security area 15th lies. In the event that there are several of the maximum extreme values 16 that have the same value becomes that of several of the maximum extreme values 16 selected the most distant from the security area 15th lies.

In Schritt e) können aus den Extremwerten 16 in dem Differenzbild 8 eine Mitte der Pupille 3 in der y-Richtung bestimmt werden und der Pupillendurchmesser d als der Abstand der Extremwerte 16 in derjenigen in die x-Richtung orientierten Reihe zmit des Differenzbildes 6 bestimmt werden, die durch die Mitte der Pupille 3 in der y-Richtung verläuft. Dabei wird die Mitte der Pupille 3 in der y-Richtung aus dem Mittelwert der Koordinaten der y-Richtung der zwei Pupillenränder 9, 10 bestimmt. In 1 ist die Reihe zmit eingezeichnet und 5 zeigt die Differenzen der Reihe zmit .In step e), from the extreme values 16 in the difference image 8th a center of the pupil 3 can be determined in the y-direction and the pupil diameter d as the distance between the extreme values 16 in the row oriented in the x-direction z with of the difference image 6th be determined by the center of the pupil 3 runs in the y-direction. This becomes the center of the pupil 3 in the y-direction from the mean value of the coordinates of the y-direction of the two pupil edges 9 , 10 certainly. In 1 is the turn z with drawn in and 5 shows the differences in the series z with .

7 zeigt eine Auftragung, bei der über die horizontale Achse die Zeit in willkürlichen Einheiten und über die vertikale Achse der Pupillendurchmesser d aufgetragen sind. Dargestellt sind drei verschiedene Pupillenduchmesserverläufe 17a, 17b und 17c. Zum Bestimmen der Pupillenduchmesserverläufe liegt eine Mehrzahl der Bilder 6 vor, die einen Film des Auges 1 bildet, wobei der Pupillendurchmesser d für einen Teil der Bilder 6 durch die Schritte a) bis e) bestimmt wird und der Pupillendurchmesser d für einen anderen Teil der Bilder 6 durch folgende Schritte bestimmt wird:

  • f) Bestimmen einer Mitte der Pupille 3 in der y-Richtung, wobei in Schritt e) aus den Extremwerten 16 in dem Differenzbild 8 eine Mitte der Pupille 3 in der y-Richtung bestimmt wird und in Schritt f) diese in Schritt e) bestimmte Mitte als die Mitte der Pupille 3 in der y-Richtung bestimmt wird;
  • g) Durchführen der Schritte c) bis e) lediglich für diejenige in die x-Richtung orientierte Reihe zmit des Differenzbildes 8, die durch die Mitte der Pupille 3 in der y-Richtung verläuft.
7th shows a plot in which the time is plotted in arbitrary units on the horizontal axis and the pupil diameter d is plotted on the vertical axis. Three different pupil diameter courses are shown 17a , 17b and 17c . A plurality of the images are available for determining the pupil diameter courses 6th before making a film of the eye 1 forms, where the pupil diameter d for part of the images 6th is determined by steps a) to e) and the pupil diameter d for another part of the images 6th is determined by the following steps:
  • f) determining a center of the pupil 3 in the y-direction, where in step e) from the extreme values 16 in the difference image 8th a center of the pupil 3 is determined in the y-direction and in step f) this center determined in step e) as the center of the pupil 3 is determined in the y-direction;
  • g) performing steps c) to e) only for the row oriented in the x-direction z with of the difference image 8th passing through the center of the pupil 3 runs in the y-direction.

Die Bilder 6 können in dem Film mit einer Wiederholrate von 240 Hz bis 1000 Hz aufgenommen sein.The pictures 6th can be recorded in the film with a repetition rate of 240 Hz to 1000 Hz.

In dem Fall, dass sich das Auge 1 in dem Film bewegt, kann der eine Teil mehrere der Bilder 6 aufweisen und in jedem Schritt e) aus den Extremwerten 16 in dem Differenzbild 8 eine Mitte der Pupille 3 in der y-Richtung bestimmt werden, wobei in Schritt f) die Mitte der Pupille 3 in der y-Richtung durch Interpolation der in Schritt e) bestimmten Mitten der Pupille 3 in der y-Richtung bestimmt werden. Dabei ist denkbar, dass für zwei unmittelbar aufeinanderfolgende Bilder 6 des einen Teils die Mitten der Pupillen 3 durch jeweils eine lineare Funktion interpoliert werden.In the event that the eye 1 Moved in the film, the one part can have several of the images 6th and in each step e) from the extreme values 16 in the difference image 8th a center of the pupil 3 in the y-direction, wherein in step f) the center of the pupil 3 in the y-direction by interpolating the centers of the pupil determined in step e) 3 can be determined in the y-direction. It is conceivable that for two images that follow one another 6th one part the centers of the pupils 3 can be interpolated by a linear function in each case.

Denkbar ist beispielsweise, dass der eine Teil der Bilder 6 von jedem 50. bis 150. Bild 6 gebildet wird und der andere Teil der Bilder 6 von all den anderen Bildern 6 gebildet wird.It is conceivable, for example, that one part of the images 6th from every 50th to 150th image 6th is formed and the other part of the images 6th from all the other pictures 6th is formed.

BezugszeichenlisteList of reference symbols

11
Augeeye
22
Augapfeleyeball
33
Pupillepupil
44th
BeleuchtungsreflexLighting reflex
4a4a
rechter Beleuchtungsreflexrandright lighting reflex edge
4b4b
linker Beleuchtungsreflexrandleft lighting reflex edge
55
BlitzlichtreflexFlash reflex
66th
Bildimage
77th
anisotrop unscharfes Bildanisotropically blurred image
88th
DifferenzbildDifference image
99
rechter Pupillenrandright edge of the pupil
1010
linker Pupillenrandleft edge of the pupil
1111
oberer Pupillenrandupper edge of the pupil
1212th
unterer Pupillenrandlower edge of the pupil
1313th
SuchfensterSearch window
1414th
anisotrop unscharfer Beleuchtungsreflexanisotropically unsharp lighting reflex
1515th
Sicherheitsbereichsecurity area
1616
ExtremwertExtreme value
17a17a
PupillendurchmesserverlaufPupil diameter course
17b17b
PupillendurchmesserverlaufPupil diameter course
17c17c
Pupillendurchmesserverlaufd PupillendurchmesserPupil diameter progresses the pupil diameter
zmitzmit
Reihe des Differenzbildes, die in die x-Richtung orientiert ist und durch die Mitte der Pupille in der y-Richtung verläuftRow of the difference image, which is oriented in the x-direction and runs through the center of the pupil in the y-direction

Claims (15)

Verfahren zum Bestimmen eines Pupillendurchmessers (d) einer Pupille (3) in einem digitalen Bild (6), das ein Auge (1) mit der Pupille (3) zeigt, mit den Schritten: b) Erzeugen eines anisotrop unscharfen Bildes (7), das in einer y-Richtung unschärfer als das Bild (6) ist, aus dem Bild (6); c) Erzeugen eines Differenzbildes (8) aus dem anisotrop unscharfen Bild (7), indem für die Intensität jedes Bildpunktes des Differenzbildes (8) die Intensitäten von Bildpunkten des anisotrop unscharfen Bildes (7) voneinander subtrahiert werden, die in einer senkrecht zu der y-Richtung orientierten x-Richtung benachbart angeordnet sind; d) Bestimmen von zwei in der x-Richtung an gegenüberliegenden Seiten der Pupille die Pupille begrenzenden Pupillenrändern (9, 10) aus Extremwerten (16) in dem Differenzbild (8); e) Bestimmen des Pupillendurchmessers (d) unter Heranziehen der zwei Pupillenränder (9, 10).Method for determining a pupil diameter (d) of a pupil (3) in a digital image (6) which shows an eye (1) with the pupil (3), with the steps: b) generating an anisotropically blurred image (7) which is blurred in a y-direction than the image (6) from the image (6); c) Generating a difference image (8) from the anisotropically fuzzy image (7) by subtracting the intensities of image points of the anisotropically fuzzy image (7) from each other for the intensity of each pixel of the difference image (8), which in a direction perpendicular to the y -Direction oriented x-direction are arranged adjacent; d) determining two pupil edges (9, 10) delimiting the pupil in the x-direction on opposite sides of the pupil from extreme values (16) in the difference image (8); e) determining the pupil diameter (d) using the two pupil edges (9, 10). Verfahren gemäß Anspruch 1, wobei in Schritt b) zum Erzeugen der Intensität jedes Bildpunktes des anisotrop unscharfen Bildes (7) jeweils Intensitäten von mehreren in der y-Richtung nebeneinander angeordneten Bildpunkten des Bildes (6) addiert werden.Procedure according to Claim 1 , wherein in step b) for generating the intensity of each pixel of the anisotropically blurred image (7) intensities of several pixels of the image (6) arranged next to one another in the y-direction are added. Verfahren gemäß Anspruch 1, wobei in Schritt b) zum Erzeugen der Intensitäten jeder in die y-Richtung orientierten Reihe der Bildpunkte des anisotrop unscharfen Bildes (7) jeweils eine Autokorrelationsfunktion der Intensitäten einer in die y-Richtung orientierten Reihe der Bildpunkte des Bildes (6) gebildet wird.Procedure according to Claim 1 , wherein in step b) an autocorrelation function of the intensities of a row of the image points of the image (6) oriented in the y direction is formed in order to generate the intensities of each row of pixels of the anisotropically blurred image (7) oriented in the y direction. Verfahren gemäß einem der Ansprüche 1 bis 3, wobei das Bild (6) einen Beleuchtungsreflex (4) aufweist, der von einer Beleuchtung des Auges (1) während der Aufnahme des Bildes (6) stammt, und das Verfahren den Schritt aufweist: a) Bestimmen der Position des Beleuchtungsreflexes (4) und Erzeugen eines Suchfensters (13), das die Pupille (3) in dem Differenzbild (8) enthält, anhand der Position des Beleuchtungsreflexes (4); wobei in Schritt d) die Extremwerte (16) in dem Differenzbild (8) lediglich innerhalb des Suchfensters (13) gesucht werden.Method according to one of the Claims 1 until 3 , wherein the image (6) has an illumination reflex (4) which originates from an illumination of the eye (1) during the recording of the image (6), and the method comprises the step of: a) determining the position of the illumination reflex (4) and generating a search window (13) containing the pupil (3) in the difference image (8) on the basis of the position of the illumination reflex (4); wherein in step d) the extreme values (16) in the difference image (8) are only searched for within the search window (13). Verfahren gemäß Anspruch 4, wobei ein in dem Suchfenster (13) angeordneter Sicherheitsbereich (15) bestimmt wird, der den Beleuchtungsreflex (4) enthält und wobei in Schritt d) die Extremwerte (16) in dem Differenzbild (8) lediglich außerhalb des Sicherheitsbereichs (15) gesucht werden.Procedure according to Claim 4 wherein a safety area (15) arranged in the search window (13) is determined which contains the lighting reflex (4) and wherein in step d) the extreme values (16) in the difference image (8) are only searched outside the safety area (15) . Verfahren gemäß Anspruch 4 oder 5, wobei in Schritt a) Differenzen von Intensitäten von benachbart angeordneten Bildpunkten des Bildes (6) gebildet werden und die Position des Beleuchtungsreflexes (4) unter Heranziehen der Differenzen bestimmt wird.Procedure according to Claim 4 or 5 , wherein in step a) differences in intensities of adjacent pixels of the image (6) are formed and the position of the illumination reflex (4) is determined using the differences. Verfahren gemäß Anspruch 6, wobei in Schritt a) zu einem Identifizieren des Beleuchtungsreflexes (4) geprüft wird, ob der Abstand des Maximums der Differenzen zu dem Minimum der Differenzen innerhalb eines vorbestimmten Abstandsbereichs liegt.Procedure according to Claim 6 wherein in step a), in order to identify the lighting reflex (4), it is checked whether the distance between the maximum of the differences and the minimum of the differences lies within a predetermined distance range. Verfahren gemäß einem der Ansprüche 1 bis 7, wobei in Schritt e) aus den Extremwerten (16) in dem Differenzbild (8) eine Mitte der Pupille (3) in der y-Richtung bestimmt wird und der Pupillendurchmesser (d) als der Abstand der Extremwerte (16) in derjenigen in die x-Richtung orientierten Reihe (zmit) des Differenzbildes (6) bestimmt wird, die durch die Mitte der Pupille (3) in der y-Richtung verläuft.Method according to one of the Claims 1 until 7th , wherein in step e) a center of the pupil (3) in the y-direction is determined from the extreme values (16) in the difference image (8) and the pupil diameter (d) is determined as the distance between the extreme values (16) in that row (z with ) of the difference image (6) oriented in the x-direction is determined which runs through the center of the pupil (3) in the y-direction. Verfahren gemäß Anspruch 8, wobei die Mitte der Pupille (3) in der y-Richtung aus dem Mittelwert der Koordinaten der y-Richtung der zwei Pupillenränder (9, 10) bestimmt wird.Procedure according to Claim 8 , the center of the pupil (3) in the y-direction being determined from the mean value of the coordinates of the y-direction of the two pupil edges (9, 10). Verfahren gemäß einem der Ansprüche 1 bis 9, wobei eine Mehrzahl der Bilder (6) vorliegt, die einen Film des Auges (1) bildet, wobei der Pupillendurchmesser (d) für einen Teil der Bilder (6) durch die Schritte b) bis e), und insbesondere a), bestimmt wird und der Pupillendurchmesser (d) für einen anderen Teil der Bilder (6) durch folgende Schritte bestimmt wird: f) Bestimmen einer Mitte der Pupille (3) in der y-Richtung; g) Durchführen der Schritte c) bis e) lediglich für diejenige in die x-Richtung orientierte Reihe (zmit) des Differenzbildes (8), die durch die Mitte der Pupille (3) in der y-Richtung verläuft.Method according to one of the Claims 1 until 9 , wherein a plurality of the images (6) is present, which forms a film of the eye (1), the pupil diameter (d) for a part of the images (6) being determined by steps b) to e), and in particular a) and the pupil diameter (d) for another part of the images (6) is determined by the following steps: f) determining a center of the pupil (3) in the y-direction; g) Carrying out steps c) to e) only for that row (z with ) of the difference image (8) oriented in the x-direction and which runs through the center of the pupil (3) in the y-direction. Verfahren gemäß Anspruch 10, wobei in Schritt e) aus den Extremwerten (16) in dem Differenzbild (8) eine Mitte der Pupille (3) in der y-Richtung bestimmt wird und in Schritt f) diese in Schritt e) bestimmte Mitte als die Mitte der Pupille (3) in der y-Richtung bestimmt wird.Procedure according to Claim 10 , whereby in step e) a center of the pupil (3) in the y-direction is determined from the extreme values (16) in the difference image (8) and in step f) this center determined in step e) is determined as the center of the pupil ( 3) is determined in the y-direction. Verfahren gemäß Anspruch 10, wobei der eine Teil mehrere der Bilder (6) aufweist und in jedem Schritt e) aus den Extremwerten (16) in dem Differenzbild (8) eine Mitte der Pupille (3) in der y-Richtung bestimmt wird, wobei in Schritt f) die Mitte der Pupille (3) in der y-Richtung durch Interpolation der in Schritt e) bestimmten Mitten der Pupille (3) in der y-Richtung bestimmt werden.Procedure according to Claim 10 wherein the one part has several of the images (6) and in each step e) a center of the pupil (3) in the y-direction is determined from the extreme values (16) in the difference image (8), wherein in step f) the center of the pupil (3) in the y-direction can be determined by interpolation of the centers of the pupil (3) determined in step e) in the y-direction. Vorrichtung zur Datenverarbeitung, wobei die Vorrichtung Mittel zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 12 aufweist.Apparatus for data processing, the apparatus having means for carrying out the steps of the method according to one of the Claims 1 until 12th having. Computerprogramm, das Befehle aufweist, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 12 auszuführen.Computer program which has instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method according to one of the Claims 1 until 12th to execute. Computerlesbarer Datenträger, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.Computer-readable data carrier on which the computer program is based Claim 14 is stored.
DE102018131780.8A 2018-12-11 2018-12-11 Determining a pupil diameter Active DE102018131780B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018131780.8A DE102018131780B4 (en) 2018-12-11 2018-12-11 Determining a pupil diameter
PCT/EP2019/084430 WO2020120478A1 (en) 2018-12-11 2019-12-10 Method for determining a pupil diameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018131780.8A DE102018131780B4 (en) 2018-12-11 2018-12-11 Determining a pupil diameter

Publications (2)

Publication Number Publication Date
DE102018131780A1 DE102018131780A1 (en) 2020-06-18
DE102018131780B4 true DE102018131780B4 (en) 2021-10-14

Family

ID=68848289

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018131780.8A Active DE102018131780B4 (en) 2018-12-11 2018-12-11 Determining a pupil diameter

Country Status (2)

Country Link
DE (1) DE102018131780B4 (en)
WO (1) WO2020120478A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225966A (en) 1998-02-19 1999-08-24 Topcon Corp Ophthalmologic measurement device
DE60132459T2 (en) 2000-07-07 2009-01-08 Hamamatsu Photonics K.K., Hamamatsu PUPILS MEASURING SYSTEM
EP2382912B1 (en) 2010-04-30 2016-04-20 Nidek Co., Ltd. Ophthalmic apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015131067A1 (en) * 2014-02-28 2015-09-03 Board Of Regents, The University Of Texas System System for traumatic brain injury detection using oculomotor tests
CN104463159B (en) * 2014-12-31 2017-11-28 北京释码大华科技有限公司 A kind of image processing method and device for positioning iris
JP2019506694A (en) * 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド Biometric analysis system and method
DE102016104417B4 (en) * 2016-03-10 2019-10-31 Johannes Junggeburth Method for determining a diameter of a pupil
JP6930223B2 (en) * 2017-05-31 2021-09-01 富士通株式会社 Pupil detection computer program, pupil detection device and pupil detection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225966A (en) 1998-02-19 1999-08-24 Topcon Corp Ophthalmologic measurement device
DE60132459T2 (en) 2000-07-07 2009-01-08 Hamamatsu Photonics K.K., Hamamatsu PUPILS MEASURING SYSTEM
EP2382912B1 (en) 2010-04-30 2016-04-20 Nidek Co., Ltd. Ophthalmic apparatus

Also Published As

Publication number Publication date
WO2020120478A1 (en) 2020-06-18
DE102018131780A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
EP3355104B2 (en) Method and device and computer program for determining a representation of a spectacle glass rim
EP1073988B1 (en) System for contactless recognition of hand and finger lines
DE102007055715A1 (en) Apparatus, method and program for eye detection
EP3183616B1 (en) Determining user data based on image data of a selected eyeglass frame
WO2009062945A1 (en) Method and device for finding and tracking pairs of eyes
DE3047490A1 (en) METHOD FOR THE CONTACT-FREE DETERMINATION OF QUALITY CHARACTERISTICS OF A TEST OBJECT OF THE MEAT PRODUCTS CATEGORY
EP3168783A1 (en) Method and device for evaluating the results of eye tracking
EP3730998A1 (en) Determination of at least one optical parameter of a spectacle lens
EP2787485B1 (en) Method and device for automatic detection of defects in flexible bodies
DE112011105116T5 (en) Method and apparatus for image content based automatic brightness detection
EP3089106A1 (en) Method for reflection adjustment of images and related apparatus
DE102011081541A1 (en) PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PROGRAM MEMORY CARRIER
DE102014006717A1 (en) Method for generating a three-dimensional information of an object with a digital microscope and data processing program for processing the method
EP3355101B1 (en) Computer-implemented method for determining a representation of a spectacle frame rim or a representation of the edges of the lenses of a pair of spectacles
DE102018131780B4 (en) Determining a pupil diameter
EP3730918A1 (en) Method and device for measuring the local refractive power and/or refractive power distribution of a spectacle lens
WO2012013186A2 (en) Method and device for determining eye torsion
EP3730036A1 (en) Determination of a refraction error of an eye
DE102016104417A1 (en) Method for determining a diameter of a pupil
DE10317142A1 (en) Automatic hit counting in numerical radiology, especially in mammography
DE102015003537B4 (en) BLOCKAGE DETECTION METHOD FOR A CAMERA AND AN ELECTRONIC DEVICE WITH CAMERAS
DE10046859B4 (en) Vision direction detection system from image data
EP3755203B1 (en) Pupillometer and method for operating the pupillometer
DE102014108357B4 (en) Whole body imaging and image processing system and method of operation
DE102016004430A1 (en) A method for determining a subject's optical parameters and computer program product for performing the method

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final