DE102016104417A1

DE102016104417A1 - Verfahren zum Bestimmen eines Durchmessers eine Pupille

Info

Publication number: DE102016104417A1
Application number: DE102016104417.2A
Authority: DE
Inventors: Johannes Junggeburth
Original assignee: Individual
Current assignee: JUNGGEBURTH, JOHANNES, DE
Priority date: 2016-03-10
Filing date: 2016-03-10
Publication date: 2017-09-14
Anticipated expiration: 2036-03-11
Also published as: DE102016104417B4

Abstract

Offenbart ist ein Verfahren zum Bestimmen eines Durchmessers einer Pupille (4) an einem Auge, wobei ein digitales Bild des Auges aufgenommen, die Pupille (4) in dem Bild lokalisiert und der Durchmesser auf dem Bild bestimmt wird. Um das Verfahren zu beschleunigen wird vorgeschlagen, dass in Zeilen des Bildes eine Helligkeit (1) von aufeinander folgenden Bildpunkten des Bildes ermittelt, und die Pupille (4) zwischen einem abrupten Abfall (5) und einem abrupten Anstieg (6) der Helligkeit lokalisiert wird.

Description

Verfahren zum Bestimmen eines Durchmessers einer Pupille
Die Erfindung betrifft ein Verfahren zum Bestimmen eines Durchmessers einer Pupille an einem Auge, wobei ein digitales Bild des Auges aufgenommen, die Pupille in dem Bild lokalisiert und der Durchmesser auf dem Bild bestimmt wird.
Ein solches Verfahren ist beispielsweise bekannt aus WO 2003/100708 A1 . Dort wird vorgeschlagen, den Verlauf des Pupillendurchmessers nach einem Lichtreiz anhand einer Bildfolge im Abstand von Mikro- oder Millisekunden zu beobachten, um daraus Schlussfolgerungen über die Müdigkeit eines Probanden zu ziehen.
Im Rahmen des bekannten Verfahrens wird an jedem einzelnen Bild ein Durchmesser der Pupille bestimmt. Hierzu stehen zwar verschiedene Algorithmen zur Verfügung. Das Ergebnis – in dem bekannten Verfahren die Beurteilung der Müdigkeit des Probanden – liegt aufgrund der hohen Komplexität der bekannten Algorithmen allerdings erst mit deutlicher zeitlicher Verzögerung nach der Aufnahme der Daten vor.
Aufgabe
Der Erfindung liegt die Aufgabe zugrunde, das Verfahren zu beschleunigen.
Lösung
Ausgehend von den bekannten Verfahren wird nach der Erfindung vorgeschlagen, dass in Zeilen des Bildes eine Helligkeit von aufeinander folgenden Bildpunkten des Bildes ermittelt, und die Pupille zwischen einem abrupten Abfall und einem abrupten Anstieg der Helligkeit lokalisiert wird.
Die Erfindung beruht auf der Erkenntnis, dass zunächst die Pupille in einem digitalen Bild eines Auges mit hinreichender Genauigkeit schon durch Vergleich der Farbwerte in einer Zeile von Bildpunkten erkannt wird, dass für die Bestimmung der Pupille die Analyse der Farbwerte zum Zweiten auf die Helligkeit und zum Dritten auf abrupte Änderungen dieses Werts beschränkt werden kann. Gegenüber dem in den bekannten Algorithmen üblichen Vergleich von Farbwerten im zweidimensionalen Umfeld jedes Bildpunktes stellt das erfindungsgemäße Verfahren so schon in der mathematischen und programmtechnischen Umsetzung eine signifikante Vereinfachung dar.
Darüber hinaus ermöglicht das erfindungsgemäße Verfahren den Einsatz einer Zeilenkamera mit einem reinen Helligkeitssensor, also gegenüber einer hochauflösenden Kamera auch eine signifikante Vereinfachung der benötigten Technik.
Vorzugsweise wird der Durchmesser als Länge einer Hauptachse einer die Pupille in dem Bild umrandenden Ellipse bestimmt wird. Die Hauptachse stellt auch bei von der Bildmitte abweichender Blickrichtung des Auges immer den tatsächlichen Durchmesser der Pupille dar.
Vorzugsweise wird zwischen einem zweiten Abfall der Helligkeit vor und einem zweiten Anstieg der Helligkeit hinter der Pupille eine Iris des Auges lokalisiert. Die Bestimmung des Irisdurchmessers bietet einen gegenüber dem Abstand des Auges von der Kamera invarianten, und insoweit für jeden Probanden individuell absoluten Vergleichsmaßstab für den Durchmesser der Pupille.
Vorzugsweise wird zwischen einem dritten Anstieg der Helligkeit und einem dritten Abfall der Helligkeit ein Lichtreflex lokalisiert. Das erfindungsgemäße Verfahren vermeidet so fehlerhafte Messungen.
Vorzugsweise wird zum Beurteilen eines Merkmals einer körperlichen Verfassung eines Probanden, wobei eine Pupillenreaktion des Probanden auf einen Lichtreiz und über eine bekannte Korrelation mit der Pupillenreaktion das Merkmal der körperlichen Verfassung ermittelt wird, zum Ermitteln der Pupillenreaktion ein Durchmesser der Pupille mehrfach hintereinander gemäß einem erfindungsgemäßen Verfahren bestimmt. Das erfindungsgemäße Verfahren ermöglicht auch mit einfacher Hardware eine Beurteilung der Pupillenreaktion nahezu in Echtzeit.
Vorzugsweise wird der Durchmesser der Pupille in Abständen kleiner 10 ms vorzugsweise kleiner 5 ms bestimmt. So kann die Pupillenreaktion unmittelbar nach dem Lichtreiz im Detail beobachtet werden. Aktuelle Untersuchungen legen nahe, dass der Verlauf des Pupillendurchmessers innerhalb etwa der ersten halben Sekunde nach einem Lichtreiz wichtige Rückschlüsse auf unterschiedliche Merkmale der körperlichen Verfassung eines Probanden erlaubt.
Vorzugsweise wird ein Integral des Durchmessers der Pupille über einer nach dem Lichtreiz verstrichenen Zeit als Maß der Pupillenreaktion ermittelt. Die Integration liefert anstelle einer Folge einzelner Messwerte eine für die Korrelation mit dem Merkmal der körperlichen Verfassung tabellierbare Kennzahl.
Vorzugsweise wird das Integral in verschiedenen Intervallen der nach dem Lichtreiz verstrichenen Zeit ermittelt. Die Aufteilung des Messzeitraums in verschiedene, definierte Intervalle erlaubt die Bestimmung verschiedener Kennzahlen.
Vorzugsweise umfasst eines der Intervalle eine Latenzzeit der Pupillenreaktion unmittelbar zeitlich nach dem Lichtreiz. Ein solches Intervall erlaubt Rückschlüsse über die Reizleitungsgeschwindigkeit zwischen dem Sehnerv, dem das reflexhafte Schließen der Pupille auslösenden Gehirnareal und dem ausführenden Muskel.
Vorzugsweise endet eines der Intervalle bei einer Wendestelle zeitlich vor einem Minimum des Durchmessers. Dieses Intervall erlaubt Rückschlüsse über die Kontraktionsgeschwindigkeit des ausführenden Muskels.
Vorzugsweise endet eines der Intervalle bei dem Minimum. Dieses Intervall erlaubt Rückschlüsse über die Ausdauer des ausführenden Muskels.
Vorzugsweise endet eines der Intervalle in einem zwischen dem Minimum und der Wendestelle ermittelten zeitlichen Abstand hinter dem Minimum. Dieses Intervall erlaubt Rückschlüsse über die Relaxation des ausführenden Muskels nach der Anspannung.
Vorzugsweise ist das Merkmal der körperlichen Verfassung ein Grad von Müdigkeit des Probanden. So kann insbesondere ein Maschinen- oder Fahrzeugführer arbeitsmedizinisch begründet von einer Tätigkeit ausgeschlossen werden.
Vorzugsweise ist das Merkmal der körperlichen Verfassung ein im Blut des Probanden zu bestimmender Pegel von Insulin. So kann bei Diabetespatienten ohne vorherige invasive Untersuchung gezielt eingegriffen werden. Weiterhin kann das erfindungsgemäße Verfahren zur Erkennung oder Früherkennung neurodegenerativer Erkrankung wie Demenz, Parkinson oder Alzheimer zum Einsatz kommen.
Vorzugsweise ist das Merkmal der körperlichen Verfassung ein im Blut des Probanden zu bestimmender Pegel einer psychoaktiven Substanz, beispielsweise Alkohol. So kann beispielsweise nicht-invasiv die Fahrtüchtigkeit beurteilt werden.
Vorzugsweise ist das Merkmal der körperlichen Verfassung ein im Blut des Probanden zu bestimmender Pegel eines Medikaments. So kann einerseits die Wirksamkeit einer Medikamentengabe überprüft oder andererseits eine Medikamentengabe – beispielsweise bei einer Dopingkontrolle – ausgeschlossen werden.
Ausführungsbeispiele
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen erläutert. Es zeigen
1 einen Verlauf einer gemessenen Helligkeit über einer Zeile eines Bildes und einen Gradienten des Helligkeitsverlaufs sowie
2 einen Verlauf einer gemessenen Pupillengröße über der Zeit.
Um die Fahrtüchtigkeit eines Probanden zu bestimmen, setzt dieser eine spezielle Brille auf. Diese Brille weist ein dunkles Gehäuse auf, das – ähnlich einer Taucherbrille – auf der Gesichtshaut weitgehend dicht aufliegt, um die Messung verfälschenden Lichteinfall zu vermeiden.
In dem Gehäuse sind zwei jeweils auf ein Auge gerichtete Digitalkameras angebracht sowie eine Infrarot-LED zur Beleuchtung und eine RGB-LED zur Erzeugung eines definierten Lichtimpulses.
Die Infrarot-LED weist einen Durchmesser von 5 mm und ein blau transparentes Gehäuse auf. Sie strahlt mit einer Intensität von 8 mW/sr und einer Wellenlänge von etwa 940 nm, der Öffnungswinkel von etwa 20 ° ist mechanisch auf 5 ° begrenzt. Die Infrarot-LED wird mit 1,0 bis 1,2 V bei 20 bis 50 mA betrieben.
Die RGB-LED erzeugt Lichtimpulse bei weißem Licht mit einer Wellenlänge von 400 bis 700 nm und einer Lichtstärke von 100 bis 200 lux mit einer Dauer von 100 ms und bei rotem Licht bis 250 ms und mit einer Frequenz von 1 bis 5 Hz. Die Retinale Beleuchtungsstärke beträgt 100 bis 500 Troland.
Die Brille löst zunächst mittels der RGB-LED einen Lichtreiz aus und nimmt anschließend mit den Digitalkameras Bilder der Augen auf.
1a zeigt beispielhaft den Verlauf der Helligkeit 1 über die Breite 2 einer Zeile des aufgenommenen Bildes eines Auges. In 1b ist der Gradient 3 der Helligkeit 1 über der Breite 2 der Zeile aufgetragen.
In den Verläufen wird die Pupille 4 zwischen einem ersten Abfall 5 und einem darauf folgenden ersten Anstieg 6 der Helligkeit 1 lokalisiert. Außerdem wird zwischen einem zweiten Abfall 7 und einem zweiten Anstieg 8 der Helligkeit 1 außerhalb der Pupille 4 die Iris 9 lokalisiert.
Die lokalen Wendepunkte der Helligkeit 1 – bzw. die entsprechenden Extrempunkte 10 des Gradienten 3 – markieren jeweils den exakten Übergang zwischen Lederhaut 11 und Iris 9 sowie zwischen Iris 9 und Pupille 4. Die zeilenweise ermittelten Extrempunkte 10 bilden zusammen ein vereinfachtes zweidimensionales Bild des Auges, das auf die Umrisslinien von Iris 9 und Pupille 4 beschränkt ist.
Diese Umrisslinien werden im nächsten Schritt durch Ellipsen angenähert und jeweils die Längen der Hauptachsen (also die Achsen durch die beiden Brennpunkte der Ellipse) als Durchmesser von Iris 9 und Pupille 4 bestimmt und der Durchmesser der Pupille 4 auf den Durchmesser der Iris 9 normiert. Durch die Näherung als Ellipse und die Normierung wird der Einfluss von natürlichen Augenbewegungen auf die Messung vermieden.
Die Aufnahme der Augen wird nach einem Lichtreiz mit 600 fps (frames per second, Bilder pro Sekunde) über eine Messdauer von ca. 1 s wiederholt.
2 zeigt den Verlauf des normierten Durchmessers der Pupille 4 über die Messdauer. In dem Verlauf ist zunächst der Zeitpunkt 12 des Lichtimpulses eingetragen. Im Verlauf werden weiterhin automatisch bestimmt

– der Ende 13 der Latenzzeit 14, in der keine Pupillenreaktion erkennbar ist (hier ca. 120 ms nach dem Lichtimpuls),
– der Zeitpunkt 15, in dem der Verlauf des Durchmessers eine Wendestelle 16 aufweist (ca. 250 ms nach dem Lichtimpuls),
– der Zeitpunkt 17, in dem der Verlauf des Durchmessers ein Minimum 18 aufweist (ca. 450 ms nach dem Lichtimpuls) und
– der dem Minimum 18 folgende Zeitpunkt 19 im zeitlichen Abstand von Wendestelle 16 und Minimum 18 (ca. 650 ms nach dem Lichtimpuls).

Der Verlauf des Durchmessers der Pupille 4 wird nun abschnittsweise durch Funktionen approximiert, nämlich

– zunächst durch eine lineare Funktion während der sog. Latenzzeit 14 nach dem Lichtimpuls,
– durch eine Funktion 3. Ordnung bis zu dem Minimum 18 und
– anschließend durch eine Funktion 2. Ordnung bis zu dem letzten Zeitpunkt.

Schließlich werden die Flächenintegrale zwischen den Zeitpunkten getrennt berechnet und als Maßzahl eines Merkmals der körperlichen Verfassung des Probanden mit in einer Auswerteeinrichtung hinterlegten Vergleichswerten verglichen.
Übersteigt eine der berechneten Maßzahlen die jeweiligen Vergleichswerte um mehr als 20 %, so weist der Proband eine um 20 % verlängerte Reaktionszeit auf – dies entspricht einem Alkoholwert im Blut von 0,5 ‰ – und wird als nicht fahrtüchtig beurteilt.
In einem anderen Ausführungsbeispiel wird das Auge des Probanden zeilenweise mit einer Zeilenkamera aufgenommen, also mit einer Kamera, die nur eine einzelne lichtempfindliche Zelle aufweist.
Bezugszeichenliste

1: Helligkeit
2: Breite
3: Gradient
4: Pupille
5: Abfall aus der Iris zur Pupille
6: Anstieg aus der Pupille zur Iris
7: Abfall aus zur Lederhaut zur Iris
8: Anstieg aus der Iris zur Lederhaut
9: Iris
10: Extrempunkt
11: Lederhaut
12: Zeitpunkt des Lichtimpulses
13: Ende der Latenzzeit
14: Latenzzeit
15: Zeitpunkt der Wendestelle
16: Wendestelle
17: Zeitpunkt des Minimums
18: Minimum
19: Zeitpunkt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2003/100708 A1 [0003]

Claims

Verfahren zum Bestimmen eines Durchmessers einer Pupille (4) an einem Auge, wobei ein digitales Bild des Auges aufgenommen, die Pupille (4) in dem Bild lokalisiert und der Durchmesser auf dem Bild bestimmt wird, dadurch gekennzeichnet, dass in Zeilen des Bildes eine Helligkeit (1) von aufeinander folgenden Bildpunkten des Bildes ermittelt, und die Pupille (4) zwischen einem abrupten Abfall (5) und einem abrupten Anstieg (6) der Helligkeit (1) lokalisiert wird.
Verfahren nach dem vorgenannten Anspruch, dadurch gekennzeichnet, dass der Durchmesser als Länge einer Hauptachse einer die Pupille (4) in dem Bild umrandenden Ellipse bestimmt wird.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass zwischen einem zweiten Abfall (7) der Helligkeit (1) vor und einem zweiten Anstieg (8) der Helligkeit (1) hinter der Pupille (4) eine Iris (9) des Auges lokalisiert wird.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass zwischen einem dritten Anstieg der Helligkeit (1) und einem dritten Abfall der Helligkeit (1) ein Lichtreflex lokalisiert wird.
Verfahren zum Beurteilen eines Merkmals einer körperlichen Verfassung eines Probanden, wobei eine Pupillenreaktion des Probanden auf einen Lichtreiz und über eine bekannte Korrelation mit der Pupillenreaktion das Merkmal der körperlichen Verfassung ermittelt wird, dadurch gekennzeichnet, dass zum Ermitteln der Pupillenreaktion ein Durchmesser der Pupille (4) mehrfach hintereinander gemäß einem der vorgenannten Verfahren bestimmt wird.
Verfahren nach dem vorgenannten Anspruch, dadurch gekennzeichnet, dass der Durchmesser der Pupille (4) in Abständen kleiner 10 ms vorzugsweise kleiner 5 ms bestimmt wird.
Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass ein Integral des Durchmessers der Pupille (4) über einer nach dem Lichtreiz verstrichenen Zeit als Maß der Pupillenreaktion ermittelt wird.
Verfahren nach dem vorgenannten Anspruch, dadurch gekennzeichnet, dass das Integral in verschiedenen Intervallen der nach dem Lichtreiz verstrichenen Zeit ermittelt wird.
Verfahren nach dem vorgenannten Anspruch, dadurch gekennzeichnet, dass eines der Intervalle a. eine Latenzzeit (14) der Pupillenreaktion unmittelbar zeitlich nach dem Lichtreiz umfasst, oder b. bei einer Wendestelle (16) zeitlich vor einem Minimum (18) des Durchmessers endet, oder c. bei dem Minimum (18) endet, oder d. in einem zwischen dem Minimum (18) und der Wendestelle (16) ermittelten zeitlichen Abstand hinter dem Minimum (18) endet.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Merkmal der körperlichen Verfassung a. ein Grad von Müdigkeit, oder b. ein im Blut des Probanden zu bestimmender Pegel i. von Insulin oder ii. einer psychoaktiven Substanz, beispielsweise Alkohol oder iii. eines Medikaments ist.